CN113196229A - 会话辅助音频设备个性化 - Google Patents

会话辅助音频设备个性化 Download PDF

Info

Publication number
CN113196229A
CN113196229A CN201980084200.0A CN201980084200A CN113196229A CN 113196229 A CN113196229 A CN 113196229A CN 201980084200 A CN201980084200 A CN 201980084200A CN 113196229 A CN113196229 A CN 113196229A
Authority
CN
China
Prior art keywords
audio
user
audio device
computer
simulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980084200.0A
Other languages
English (en)
Inventor
A·T·赛宾
J·D·艾希费尔德
B·D·帕克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bose Corp
Original Assignee
Bose Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bose Corp filed Critical Bose Corp
Publication of CN113196229A publication Critical patent/CN113196229A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Abstract

各种具体实施包括会话辅助音频设备，该会话辅助音频设备具有能够基于用户反馈进行调整的设置。在一些情况下，会话辅助音频设备被配置为使用一组模拟音频环境来将用户的音频设置个性化。在其他情况下，会话辅助音频设备被配置为响应于用户命令而从基线音频设置集迭代地调整音频设置。

Description

会话辅助音频设备个性化
技术领域
本公开整体涉及音频设备。更具体地，本公开涉及会话辅助音频设备，该会话辅助音频设备具有能够基于用户反馈进行调整的设置。
背景技术
会话辅助设备旨在使会话更明了和更易于理解。这些设备旨在减少不需要的背景噪声和混响。虽然这些设备可显著地增强具有轻度至中度听力损伤的用户的日常体验，但这些设备对于特定用户而言个性化可能是具有挑战性的。
发明内容
下文提及的所有示例和特征均可以任何技术上可能的方式组合。
各种具体实施包括会话辅助音频设备，该会话辅助音频设备具有能够基于用户反馈进行调整的设置。在一些情况下，会话辅助音频设备被配置为使用一组模拟音频环境来将用户的音频设置个性化。在其他情况下，会话辅助音频设备被配置为响应于用户命令而从基线音频设置集迭代地调整音频设置。
在一些特定方面，一种将会话辅助音频设备个性化的计算机实现的方法包括：向会话辅助音频设备的用户呈现在会话辅助音频设备处回放的一组模拟音频环境；从该用户接收关于该组模拟音频环境中的每个模拟音频环境的反馈；以及基于来自用户的反馈以及该组模拟音频环境和会话辅助音频设备的已知音频特性来调整会话辅助音频设备处的至少一个音频设置。
在其他特定方面，一种将会话辅助音频设备个性化的计算机实现的方法包括：从用户接收用于辅助会话辅助音频设备中的音频设置的命令；响应于接收到用于辅助的用户命令而将基线音频设置集应用于会话辅助音频设备；接收更改该基线音频设置集的用户命令；以及响应于接收到更改基线音频设置集的用户命令而将修改的音频设置集应用于会话辅助音频设备，其中该修改的音频设置集是基于会话辅助音频设备的使用和类似会话辅助音频设备的群体使用模型来应用的。
具体实施可包括以下特征中的一个特征、或它们的任何组合。
在特定情况下，该组中的每个模拟音频环境包括处于基本上相同的背景噪声级的音频回放。
在某些方面，该组中的每个模拟音频环境包括人以大于背景噪声级的声压级讲话的回放。
在一些具体实施中，调整至少一个音频设置包括基于从用户接收到的关于该组模拟音频环境中的所有模拟音频环境的反馈来为会话辅助音频设备选择最佳适配音频设置。
在特定情况下，该组模拟音频环境包括至少两个模拟音频环境。
在某些具体实施中，该方法还包括：提供用于从用户接收反馈的接口，其中该接口包括用于调整会话辅助音频设备上的至少一个音频设置的至少一个可致动机构，并且其中该接口位于会话辅助音频设备或与会话辅助音频设备连接的计算设备上。
在一些方面，至少一个可致动机构包括以下至少一者：加权评分机构、音量调整器或高音/低音调整器。
在某些情况下，会话辅助音频设备上的至少一个音频设置响应于用户修改接口上的至少一个可致动机构而进行调整。
在特定具体实施中，该方法还包括基于缩放因子来缩放对会话辅助音频设备上的至少一个音频设置的调整。
在一些情况下，缩放因子包括该组模拟音频环境中的每个模拟音频环境的音频特性与真实世界音频特性的模型之间的推断。
在某些方面，缩放因子包括正缩放因子，并且缩放对至少一个音频设置的调整包括正缩放会话辅助音频设备上的至少一个音频设置。
在特定具体实施中，该方法还包括基于来自用户的反馈以及该组模拟音频环境和会话辅助音频设备的已知音频特性来创建一组不同音频模式。
在一些情况下，该组不同音频模式包括各自与不同音频滤波器相关的一组用户可选择音频模式，该不同音频滤波器被配置为增强针对特定声学环境一系列频率的可听度。
在某些方面，该方法还包括响应于检测到在会话辅助音频设备处检测到的环境声音的声学签名的变化而在该组不同音频模式中的不同音频模式之间切换。
在特定情况下，调整会话辅助音频设备上的至少一个音频设置包括：调整会话辅助音频设备中的麦克风阵列的指向性、调整会话辅助音频设备中的麦克风阵列上的麦克风阵列滤波器、调整在会话辅助音频设备处提供给用户的音频的音量、调整控制宽动态范围压缩的参数或调整控制频率与增益函数的形状的增益参数。
在一些方面，该方法还包括在调整会话辅助音频设备上的至少一个设置之前，基于来自用户的反馈以及该组模拟音频环境和会话辅助音频设备的已知音频特性来向用户提供针对会话辅助音频设备的建议音频模式。
在某些情况下，调整会话辅助音频设备处的至少一个音频设置包括在会话辅助音频设备或与会话辅助音频设备连接的计算设备中的至少一者中应用信号处理修改。
在一些具体实施中，该组模拟音频环境中的每个模拟音频环境包括在可听度限制可懂度的信噪比(SNR)范围内的音频回放。
在特定方面，SNR范围是介于大约-5到大约20之间的值。
在某些具体实施中，用于辅助会话辅助音频设备中的音频设置的用户命令包括单个接口命令。
在一些情况下，单个接口命令包括单个语音命令、单个触觉命令或单个手势命令。
在特定具体实施中，将会话辅助音频设备个性化的方法还包括迭代地执行：接收更改该修改的音频设置集的后续用户命令；以及响应于接收到该后续用户命令而将进一步修改的音频设置集应用于会话辅助音频设备，其中该进一步修改的音频设置集是基于会话辅助音频设备的使用和类似会话辅助音频设备的群体使用模型来应用，并且其中后续用户命令包括单个接口命令。
在某些方面，基线音频设置集包括针对相应多个音频参数的中值音频设置或来自一组用户的针对该相应多个音频参数的用户定义音频设置。
在一些情况下，会话辅助音频设备上的音频设置包括以下至少一者：会话辅助音频设备中的麦克风阵列的指向性、会话辅助音频设备中的麦克风阵列上的麦克风阵列滤波器配置、在会话辅助音频设备处提供给用户的音频的音量、控制宽动态范围压缩的参数或控制频率与增益函数的形状的增益参数。
本公开中所述的两个或更多个特征，包括本发明内容部分中所述的那些，可组合以形成在本文未具体描述的具体实施。
一个或多个具体实施的细节在附图和以下描述中论述。其他特征、对象和优点在说明书、附图和权利要求书中将是显而易见的。
附图说明
图1是根据各种所公开的具体实施的描绘了示例性个人音频设备的框图。
图2示出了例示由图1的个人音频设备中的会话辅助音频引擎执行的控制过程的示意性数据流程图。
图3示出了例示由图2所示的会话辅助音频引擎执行的过程的过程流程图。
图4示出了根据各种具体实施的用于将会话辅助音频设备个性化的示例性接口。
图5示出了根据各种具体实施的用于将会话辅助音频设备个性化的另一示例性接口。
图6示出了根据各种具体实施的用于将会话辅助音频设备个性化的一组示例性接口。
图7示出了例示由图2所示的会话辅助音频引擎执行的过程的过程流程图。
需注意，各种具体实施的附图未必按比例绘制。附图仅旨在示出本公开的典型方面，因此不应视为限制具体实施的范围。在附图中，类似的编号表示附图之间类似的元件。
具体实施方式
本公开至少部分地基于以下认识：会话辅助音频系统中的音频设置可针对特定用户有利地进行定制。例如，会话辅助音频系统可被配置为向用户呈现一组模拟环境，以便引出用于调整音频系统中的音频设置的反馈。在其他情况下，会话辅助音频系统被配置为提供简化命令接口(例如，单个接口命令)以用于从基线设置迭代地细化音频设置。
出于说明的目的，附图中通常标记的部件被认为是基本上等同的部件，并且为了清楚起见，省略了对那些部件的冗余讨论。
常规听力辅助设备(或助听器)通常由听力学专业人员(诸如听力学家)在与用户的一次或多次约会中进行测试和调整。与专业人员面对面互动可使用户在设置过程中充满信心，并且可随着条件改变或发展而为设备设置的细化提供机会。
然而，群体中的一部分人可受益于增强会话和其他选定环境声学信号的设备，但可能不希望使用听力辅助设备和/或寻求专业医疗帮助。对于这些人中的许多人，会话辅助设备在助听器与不接收听力辅助之间提供了吸引人的折衷方案。尽管这些常规会话辅助设备具有益处，但在不寻求专业医疗帮助的情况下将用户体验个性化可能是具有挑战性的。在美国专利第9,560,451号(“会话辅助系统(Conversation Assistance System)”)中描述了常规会话辅助设备的示例，该专利全文以引用方式并入本文。
与常规会话辅助设备形成对照，各种具体实施包括被配置用于具有软件模块或移动应用程序的用户的会话辅助设备，该软件模块或移动应用程序允许用户在不咨询听力学家或其他听力辅助专业人员的情况下将设备个性化。根据各种具体实施所描述的方法经由会话辅助音频设备向用户呈现一组模拟音频环境。这些方法还涉及基于用户反馈以及该组模拟音频环境和会话辅助音频设备的已知音频特性来调整会话辅助音频设备上的一个或多个音频设置。
对于收听以电子方式提供的音频(例如，来自诸如移动电话、平板电脑、计算机、CD播放器、收音机或MP3播放器等音频源的音频)的那些人、仅仅寻求在给定环境中与不需要的或可能有害的声音在声学上隔离的那些人以及从事双向通信的那些人而言，使用个人音频设备执行这些功能已变得司空见惯。对于采用耳机或头戴式耳机形式的个人音频设备来收听以电子方式提供的音频的那些人而言，司空见惯的是为该音频提供至少两个音频通道(例如，具有左右通道的立体声音频)，以用单独的耳承分别在声学上输出到每只耳朵。对于仅仅寻求与不需要的或可能有害的声音在声学上隔离的那些人而言，已变得司空见惯的是，除了基于吸声和/或反射材料的被动降噪(PNR)技术之外，还使用基于抗噪声声音的声学输出的主动降噪(ANR)技术来实现声学隔离。进一步地，ANR可与耳机中的其他音频功能(诸如会话增强功能)组合，如美国专利第9,560,451号中所描述。虽然术语ANR用于指抗噪声声音的声学输出，但该术语也可包括可控噪声消除(CNC)，该CNC允许例如由用户控制抗噪声输出的水平。在一些示例中，CNC可允许用户控制音频输出的音量，而不管环境声学音量如何。
本文所公开的各方面和具体实施可适用于各种个人音频设备，诸如各种形状因数的可穿戴音频设备(诸如手表、眼镜、颈戴式扬声器、肩戴式扬声器、体戴式扬声器等)。除非另外指明，否则如本文档中所用，术语耳机包括各种类型的个人音频设备，诸如耳戴式耳机、包耳式耳机和入耳式耳机、听筒、耳塞、助听器或被构造成定位在用户的一只耳朵或两只耳朵附近、周围或之内的其他启用无线的音频设备。除非另外指明，否则如本文档中所用，术语可穿戴音频设备包括耳机和各种其他类型的个人音频设备，诸如肩戴式声学设备或体戴式声学设备，这些声学设备包括一个或多个声学驱动器以在不接触用户的耳朵的情况下产生声音。应注意的是，尽管主要服务于声学输出音频的目的的个人音频设备的特定具体实施以某种程度的细节呈现，但特定具体实施的此类呈现旨在通过提供示例来促进理解，并且不应视为限制本公开的范围或权利要求覆盖范围的范围。
本文所公开的各方面和具体实施可适用于支持或不支持双向通信的个人音频设备并且适用于支持或不支持主动降噪(ANR)的个人音频设备。对于确实支持双向通信或ANR的个人音频设备，本文公开和要求保护的内容旨在适用于包含一个或多个麦克风的个人音频设备，该一个或多个麦克风被设置在使用时保持在耳朵外部的个人音频设备的一部分上(例如，前馈麦克风)、被设置在使用时被插入到耳朵的一部分中的部分上(例如，反馈麦克风)或者被设置在此类部分中的两者上。对于本领域的技术人员而言，本文公开和要求保护的内容所适用的个人音频设备的仍其他具体实施将是显而易见的。
图1是具有两个耳承12A和12B的个人音频设备10(例如，会话辅助音频设备)的示例的框图，每个耳承被配置为朝向用户的耳朵引导声音。个人音频设备10的特征作为可穿戴音频设备(例如，头戴式会话辅助设备和/或肩戴式会话辅助设备)可特别有用。附有“A”或“B”的附图标号指示所识别的特征与耳承12中的特定耳承(例如，左耳承12A和右耳承12B)的对应关系。每个耳承12包括限定空腔16的壳体14。在一些示例中，一个或多个内置麦克风(内部麦克风)18可设置在空腔16内。附接到壳体14的耳部耦接件20(例如，耳尖或耳垫)包围空腔16的开口。通道22被形成为穿过耳部耦接件20并且与通向空腔16的开口连通。在一些示例中，外部麦克风24以允许声学耦接到壳体外部的环境的方式设置在壳体上。
在包括ANR(其可包括CNC)的具体实施中，内部麦克风18可以是反馈麦克风，并且外部麦克风24可以是前馈麦克风。在此类具体实施中，每个听筒12包括与内部麦克风18和外部麦克风24通信的ANR电路26。ANR电路26接收由内部麦克风18生成的内部信号和由外部麦克风24生成的外部信号，并且针对对应耳承12执行ANR过程。该过程包括向设置在空腔16中的电声换能器(例如，扬声器)28提供信号以生成抗噪声声学信号，该抗噪声声学信号减少或基本上防止来自听筒12外部的一个或多个声学噪声源的声音被用户听到。如本文所述，除了提供抗噪声声学信号之外，电声换能器28还可利用其声音辐射表面来提供音频输出以供回放，例如用于连续音频馈送。
控制电路30与内部麦克风18、外部麦克风24和电声换能器28通信，并且接收内部麦克风信号和/或外部麦克风信号。在某些示例中，控制电路30包括具有数字信号处理器(DSP)的微控制器或处理器，并且来自两个内部麦克风18的内部信号和/或来自两个外部麦克风24的外部信号通过模数转换器转换成数字格式。响应于所接收的内部麦克风信号和/或外部麦克风信号，控制电路30可采取各种动作。例如，可发起、暂停或恢复音频回放，可向穿戴者提供或更改通知，并且可控制与个人音频设备通信的设备。个人音频设备10还包括电源32。控制电路30和电源32可处于耳承12中的一个耳承或两个耳承中，或者可处于与耳承12连通的单独外壳中。个人音频设备10还可包括网络接口34，以提供个人音频设备10与一个或多个音频源和其他个人音频设备之间的通信。网络接口34可以是有线的(例如，以太网)或无线的(例如，采用无线通信协议，诸如IEEE802.11、蓝牙、蓝牙低功耗或其他局域网(LAN)或个人局域网(PAN)协议)。
网络接口34以虚线示出，因为接口34的部分可远离个人音频设备10定位。网络接口34可经由一个或多个通信协议提供个人音频设备10、音频源和/或其他联网(例如，无线)扬声器组和/或其他音频回放设备之间的通信。网络接口34可提供无线接口和有线接口中的任一者或两者。无线接口可允许个人音频设备10根据本文所指出的任何通信协议与其他设备进行无线通信。在一些特定情况下，有线接口可用于经由有线(例如，以太网)连接来提供网络接口功能。
在一些情况下，网络接口34还可包括网络媒体处理器，该网络媒体处理器用于支持例如Apple
Figure BDA0003121227750000081
(由总部位于加利福尼亚州库比蒂诺的苹果公司研发的专有协议栈/套件，其允许音频、视频和照片连同相关元数据在设备之间的无线流传输)或其他已知的无线流传输服务(例如，互联网音乐服务，诸如：
Figure BDA0003121227750000082
由美国加利福尼亚州奥克兰的潘多拉媒体公司提供的无线电台；
Figure BDA0003121227750000083
由美国纽约州纽约市的Spotify USA公司提供；或
Figure BDA0003121227750000084
由美国纽约州纽约市的vTuner.com公司提供；以及网络附接存储(NAS)设备)。例如，如果用户将启用了
Figure BDA0003121227750000085
的设备诸如iPhone或iPad设备连接至网络，则用户可随后经由Apple
Figure BDA0003121227750000086
将音乐流传输至连接到网络的音频回放设备。值得注意的是，音频回放设备可支持经由
Figure BDA0003121227750000087
和/或DLNA的UPnP协议的音频流，并且全部集成在一个设备内。来自网络分组的其他数字音频可直接从网络媒体处理器通过(例如，通过USB桥)到达控制电路30。如本文所述，在一些情况下，控制电路30可包括处理器和/或微控制器，该处理器和/或微控制器可包括解码器、DSP硬件/软件等，以用于在电声换能器28处回放(呈现)音频内容。在一些情况下，网络接口34还可包括用于蓝牙应用(例如，用于与诸如智能电话或平板电脑等启用蓝牙的音频源进行无线通信)的蓝牙电路。在操作中，流式数据可从网络接口34传递到控制电路30，包括处理器或微控制器。控制电路30可执行指令(例如，用于执行数字信号处理、解码和均衡功能等)，包括存储在对应存储器(该存储器可位于控制电路30内部或能够经由网络接口34或其他网络连接(例如，基于云的连接)访问)中的指令。控制电路30可被实现为芯片的芯片组，该芯片组包括单独的模拟和数字处理器以及多个模拟和数字处理器。控制电路30可提供例如个人音频设备10的其他部件的协调，诸如对用户接口(未示出)和由个人音频设备10运行的应用程序的控制。
除了处理器和/或微控制器之外，控制电路30还可包括用于将数字音频信号转换成模拟音频信号的一个或多个数模(D/A)转换器。该音频硬件还可包括一个或多个放大器，该一个或多个放大器向电声换能器28提供放大的模拟音频信号，每个电声换能器包括用于提供音频输出以供回放的声音辐射表面。此外，音频硬件可包括用于处理模拟输入信号的电路，以提供用于与其他设备共享的数字音频信号。
控制电路30中的存储器可包括例如闪存存储器和/或非易失性随机存取存储器(NVRAM)。在一些具体实施中，指令(例如，软件)存储在信息载体中。指令在由一个或多个处理设备(例如，控制电路30中的处理器或微控制器)执行时执行一个或多个过程，诸如本文其他地方所描述的那些过程。指令也可由一个或多个存储设备存储，该一个或多个存储设备为诸如一个或多个(例如，非暂态)计算机或机器可读介质(例如，存储器或处理器/微控制器上的存储器)。如本文所述，根据各种特定具体实施，控制电路30(例如，存储器或处理器/微控制器上的存储器)可包括控制系统，该控制系统包括用于控制会话辅助功能的指令。应当理解，控制系统的部分(例如，指令)也可被存储在远程位置或分布式位置中，并且可由控制电路30获取或以其他方式获得(例如，经由本文所述的任何通信协议)以供执行。指令可包括用于控制会话辅助功能以及数字信号处理和均衡的指令。附加细节可见于美国专利申请公开20140277644、美国专利申请公开20170098466和美国专利申请公开20140277639中，这些专利申请的公开内容全文以引用方式并入本文。
个人音频设备10还可包括与控制电路30耦接的传感器系统36，该传感器系统用于检测个人音频设备10附近的环境的一个或多个条件。传感器系统36可包括一个或多个本地传感器(例如，内部麦克风18和/或外部麦克风24)和/或远程或如若不然无线(或硬连线)传感器，这些传感器用于检测如本文所述的个人音频设备10附近的环境的条件。如本文进一步所述，传感器系统36可包括多个不同的传感器类型，该多个不同的传感器类型用于检测个人音频设备10附近的基于位置的条件。
根据各种具体实施，本文所述的会话辅助设备(其可为例如图1的个人音频设备10)可根据用户反馈而个性化。这些特定具体实施可允许用户在所有不同的声学环境中体验动态的个性化的会话辅助。与常规会话辅助系统相比，这些具体实施可增强用户体验。
如相对于图1所述，控制电路30可执行(并且在一些情况下存储)用于控制个人音频设备10和/或与个人音频设备10(例如，在网络中)耦接的智能设备中的音频功能的指令。如图2所示，控制电路30可包括会话辅助音频引擎210，该会话辅助音频引擎被配置为基于用户对一个或多个提示的反馈来实现换能器(例如，扬声器)28(图1)处的输出的音频设置(例如，图1的ANR电路26A、ANR电路26B中的设置)的修改。另外，会话辅助音频引擎210的一个或多个部分(例如，软件代码和/或逻辑基础结构)可被存储在智能设备280上或者以其他方式能够由该智能设备访问，该智能设备可通过本文所述的任何通信连接来与控制电路30连接。如本文所述，会话辅助音频引擎210的特定功能可有利地在智能设备280上使用。
具体地，图2示出了例示由与用户225连接的会话辅助音频引擎210执行的控制过程的示意性数据流程图。应当理解，在各种具体实施中，用户225可包括人类用户。图3示出了例示根据各种具体实施的由会话辅助音频引擎210执行的过程的过程流程图。图4至图6示出了呈现给用户225以执行个人音频设备10的控制操作的接口的示意图。同时参考图1至图6，其中特别强调图2和图3。
返回图2，示出了会话辅助音频引擎210与个人音频设备10中的其他部件之间的数据流。应当理解，数据流程图中所示的一个或多个部件可集成在同一物理外壳中(例如，在个人音频设备10的外壳中)，或者可驻留在一个或多个单独的物理位置中。
会话辅助音频引擎210可(例如，无线地和/或经由个人音频设备10中的硬连线连接)与音频库240耦接，该音频库可包括用于在个人音频设备10处回放(例如，流传输)的模拟音频环境文件250。
音频库240可与能够经由本文所述的网络接口34(图1)访问的数字音频源相关联，包括本地存储的音频库、远程存储的音频库或基于互联网的音频库。模拟音频环境文件250被配置用于在个人音频设备10处回放，以给用户225提供沉浸式音频体验，该沉浸式音频体验类似于用户225在穿戴个人音频设备10时可能遇到的环境。在一些特定具体实施中，模拟音频环境文件250可包括扬声器(例如，讲话的人)连同背景噪声或其他环境声音的回放。在某些情况下，扬声器以大于背景噪声的分贝级的分贝级进行回放。模拟音频环境文件250可包括环境的双声道记录，例如，汽车中扬声器的双声道记录或候机厅处扬声器的双声道记录。
在某些具体实施中，模拟音频环境可包括咖啡店或餐厅、火车站、飞机机舱、现场体育场等。这些模拟音频环境复制了真实世界环境，这对于许多用户而言可使听力变得具有挑战性。在特定情况下，模拟音频环境文件250以可听度限制可懂度的信噪比(SNR)在个人音频设备10处发起音频回放。在一些情况下，该SNR范围介于大约-5dB SNR到大约20dBSNR之间。在某些具体实施中，多个模拟音频环境能够用于以基本上相同的背景噪声级进行回放。在这些具体实施中，用户225可以基本上相同的背景噪声级体验一组两个或更多个模拟音频环境，以便提高从该用户225接收的关于该环境类型的反馈的准确性。在一个示例中，用户225暴露于在狭窄背景噪声范围(例如，大约5dB SNR或更小的背景噪声变化)内的至少两个模拟音频环境，并且被询问关于这些环境的反馈。在特定情况下，每个模拟音频环境可模拟常见设置(例如，咖啡店或体育场)，但在每个环境中具有不同的扬声器。
会话辅助音频引擎210还可与设置库260耦接，以用于控制个人音频设备10上的音频设置。设置库260可包括一组音频设置270，以用于对在个人音频设备10处接收的传入声学信号应用不同的修改。如本文所述，设置270可基于响应于体验模拟音频环境中的一个或多个模拟音频环境的用户反馈来进行调整。在某些情况下，调整个人音频设备中的音频设置270可包括调整以下一者或多者：个人音频设备10中的麦克风阵列的指向性、个人音频设备10中的麦克风阵列上的麦克风阵列滤波器、在个人音频设备10处提供给用户225的音频的音量、控制宽动态范围压缩的参数、控制频率与增益函数的形状的增益参数或每耳设置(例如，以每耳为基础的动态范围压缩参数)。
当在个人音频设备10处回放模拟音频环境文件250时，用户225根据个人音频设备10的当前设置270听到该特定模拟音频环境的预期SNR。即，模拟音频环境文件250被配置为以指定的声压级、背景/前景噪声比和噪声消除级为用户225提供音频回放，以模拟将如何根据个人音频设备10上的当前设置270来感知该环境。另外，模拟音频环境文件250可包括在助听器中发现的信号处理的任何效果。在一些特定具体实施中，模拟音频环境文件250还可包括用于在接口(例如，智能设备280上和/或个人音频设备10上的接口)上回放的视频文件(或与对应视频文件配对)。视频文件可与个人音频设备10处的音频回放同步，以给用户225提供沉浸式模拟体验。音频和/或视频的回放可由控制电路30和/或配对智能设备280上的处理部件控制。在各种具体实施中，模拟音频环境文件250可存储在智能设备280上，从另一个源(例如，基于云的存储设备)流传输和/或存储在个人音频设备10上。在个人音频设备10不具有无线技术的特定具体实施中，模拟音频环境文件250可存储在个人音频设备10上，从而实现独立个性化过程。在个人音频设备10依赖于蓝牙低功耗(BLE)通信协议的其他特定具体实施中，高保真音频流传输可能是不可能的。在这些情况下，模拟音频环境文件250有利地存储在个人音频设备10上，以便实现不会因BLE链路的低比特率编码而降级的高保真回放。
如本文所述，会话辅助音频引擎210还可与智能设备280耦接，该智能设备能够访问一个或多个用户简档290(例如，在简档系统300中)或关于用户225的生物识别信息。应当理解，智能设备280可包括一个或多个个人计算设备(例如，台式计算机或膝上型计算机)、可穿戴智能设备(例如，智能手表、智能眼镜)、智能电话、遥控设备、智能信标设备(例如，智能蓝牙信标系统)、固定扬声器系统等。智能设备280可包括用于允许与用户225进行交互的常规用户接口，并且可包括用于与控制电路30和个人音频设备10(图1)中的其他部件进行交互的一个或多个网络接口。在一些示例性具体实施中，智能设备280可用于：将个人音频设备10连接到Wi-Fi网络；为用户225创建系统帐户；设置音乐和/或基于位置的音频服务；浏览用于回放的内容；在个人音频设备10或其他音频回放设备上设置预设任务；个人音频设备10的传输控制(例如，播放/暂停、快进/快倒等)；以及选择用于内容回放(例如，单房间回放或同步多房间回放)的一个或多个个人音频设备10。在一些情况下，智能设备280还可用于：音乐服务设置；浏览内容；在音频回放设备上设置预设任务；音频回放设备的传输控制；以及选择用于内容回放的个人音频设备10(或其他回放设备)。智能设备280还可包括嵌入式传感器，该嵌入式传感器用于测量关于用户225的生物识别信息，例如，旅行、睡眠或锻炼模式；体温；心率；或步态速度(例如，经由加速度计)。如本文所述，智能设备280可用于使模拟音频环境文件250的回放同步，以给用户225提供沉浸式音频(并且在一些情况下为视频)模拟。进一步地，应当理解，会话辅助音频引擎210的一个或多个功能可在智能设备280处进行存储、访问和/或执行。
用户简档290可以是特定于用户的、特定于社区的、特定于设备的、特定于位置的或者以其他方式与特定实体(诸如用户225)相关联。用户简档290可包括用户定义的数字音乐文件播放列表、由用户225或另一用户存储的音频消息或者能够从与网络接口34(图1)耦接的网络音频源获得的其他音频文件，该网络音频源为诸如网络附接存储(NAS)设备和/或DLNA服务器(其能够由个人音频设备10(图1)通过诸如无线(例如，Wi-Fi)或有线(例如，以太网)家庭网络等局域网访问)以及互联网音乐服务(诸如
Figure BDA0003121227750000131
等，其能够由个人音频设备10通过诸如互联网等广域网访问)。在一些情况下，简档系统300位于本地服务器或基于云的服务器中，类似于本文所述的任何此类服务器。用户简档290可包括关于与用户225或其他类似用户(例如，具有共同听力属性或人口统计特征的那些用户)相关联的音频设置的信息、用户225或其他类似用户改变特定音频设置的频率等。简档系统300可与任何用户社区(例如，社交网络、基于订阅的音乐服务)相关联，并且可包括用户225以及多个其他用户的音频偏好、历史等。在特定具体实施中，简档系统300可包括对于音频设置270的特定于用户的偏好(作为简档290)。简档290可根据特定用户偏好进行定制，或者可由具有共同属性的用户共享。
会话辅助音频引擎210还被配置为从传感器系统36接收传感器数据。另外，如本文所述，会话辅助音频引擎210可从智能设备280接收传感器数据。该传感器数据可用于控制各种功能，诸如ANR(和CNC)功能、动态音量控制、通知等。在一些情况下，传感器系统36可包括以下传感器中的一者或多者：位置跟踪系统；加速度计/陀螺仪；麦克风(例如，包括一个或多个麦克风，其可包括麦克风18和/或麦克风24或者与麦克风18和/或麦克风24协同工作)；和无线收发器。这些传感器仅仅是根据各种具体实施可采用的传感器类型的示例。还应当理解，传感器系统36可将这些传感器部署在不同位置和不同子部件中，以便检测与用户225和个人音频设备10相关的特定环境信息。
位置跟踪系统可包括一个或多个基于位置的检测系统，诸如全球定位系统(GPS)位置系统、Wi-Fi位置系统、红外(IR)位置系统、蓝牙信标系统等。在各种附加具体实施中，位置跟踪系统可包括用于跟踪用户225和/或个人音频设备10的取向的取向跟踪系统。取向跟踪系统可包括头部跟踪或身体跟踪系统(例如，基于光学的跟踪系统、加速度计、磁力计、陀螺仪或雷达)，该头部跟踪或身体跟踪系统用于检测用户225面向的方向以及用户225和个人音频设备10的移动。位置跟踪系统可被配置为检测个人音频设备10和/或用户225(其中用户225与个人音频设备10分开)的物理位置的变化，并且向会话辅助音频引擎210提供更新的传感器数据。位置跟踪系统还可被配置为检测用户225的取向(例如，用户头部的方向)或用户取向的变化(诸如躯干的转动或面部转动移动)。在特定具体实施中，取向跟踪系统可用于通过将用户取向的真实世界特性(例如，头部跟踪位置)与用户225的模拟偏好进行比较来推荐设置。在附加具体实施中，头部跟踪可用于调整模拟，以实现更逼真的个性化体验。例如，取向跟踪系统可包括用于检测用户225的头部位置的头部跟踪引擎，并且会话辅助音频引擎210可基于用户225的头部位置来调整模拟音频环境的回放。会话辅助音频引擎210可使用头部相关传递函数(HRTF)来模拟相对于来自取向跟踪系统的用户头部在空间中的已知位置的音频环境。
加速度计/陀螺仪可包括不同的加速度计部件和陀螺仪部件，或者可共同地容纳在单个传感器部件(例如，惯性测量单元(IMU))中。该部件可用于在用户正穿戴个人音频设备10或正与和个人音频设备10连接的另一设备(例如，智能设备280)交互时基于用户身体(例如，头部、躯干、肢体)的移动来感测手势。与传感器系统36中的任何传感器一样，加速度计/陀螺仪可被容纳在个人音频设备10内或在连接到个人音频设备10的另一设备中。
麦克风(其可包括一个或多个麦克风或麦克风阵列)可具有与相对于图1所示和所述的麦克风18和麦克风24类似的功能，并且可被容纳在个人音频设备10内或在连接到个人音频设备10的另一设备中。如本文所述，麦克风可包括或以其他方式利用麦克风18和麦克风24来执行本文所述的功能。麦克风可被定位成接收环境声学信号(例如，个人音频设备10附近的声学信号)。在一些情况下，这些环境声学信号包括来自用户225的言语/语音输入以启用语音控制功能。在一些其他示例性具体实施中，麦克风可检测用户225和/或与用户225邻近或交互的其他用户的语音。在特定具体实施中，会话辅助音频引擎210被配置为(经由麦克风)分析来自用户225的一个或多个语音命令，以及修改个人音频设备10上的所应用的音频设置270。在一些情况下，会话辅助音频引擎210可包括用于分析语音命令的传感器数据处理逻辑，包括例如自然语言处理(NLP)逻辑或其他类似逻辑。
如本文所述，传感器系统36还可包括无线收发器(包括发射器和接收器)，该无线收发器可包括蓝牙(BT)或蓝牙低功耗(BTLE)收发器或其他常规收发器设备。无线收发器可被配置为与不同部件(例如，智能设备280)中的其他收发器设备通信。
应当理解，任何数量的附加传感器可被包含在传感器系统36中，并且可包括用于检测环境内的天气变化的温度传感器或湿度传感器、用于跟踪移动或速度的基于光学/激光的传感器和/或视觉系统、用于检测一天中的时间的光传感器、用于检测人类或其他用户言语或环境噪声的附加音频传感器(例如，麦克风)等。
根据各种具体实施，控制电路30包括会话辅助音频引擎210，或者以其他方式访问用于执行由会话辅助音频引擎210执行的过程的程序代码(例如，经由网络接口34)。会话辅助音频引擎210可包括用于处理来自用户225的关于模拟音频环境的反馈的逻辑。另外，会话辅助音频引擎210可包括用于根据从用户225接收的反馈和模拟音频环境的已知特性来查找和调整音频设置的逻辑。会话辅助音频引擎210还可包括用于处理来自传感器系统的传感器数据(例如，关于来自麦克风的环境声学信号的数据、关于个人音频设备10的位置的数据、来自智能设备的生物识别数据和/或来自智能设备的使用数据)的逻辑。
在各种具体实施中，会话辅助音频引擎210向个人音频设备(例如，会话辅助音频设备)10的用户225呈现一组模拟音频环境，该组模拟音频环境也可包括例如在视频播放器(诸如智能设备280)处的视频回放。模拟音频环境文件250可在个人音频设备10处的换能器(例如，换能器28A、换能器28B，图1)处回放。用户225直接向控制电路30(例如，经由个人音频设备10上的接口)或向智能设备280(例如，经由接口)提供关于每个模拟音频环境的反馈。
如本文所述，根据各种具体实施，会话辅助音频引擎210可包括用于执行音频控制功能的逻辑。图3示出了例示由会话辅助音频引擎210执行的会话辅助音频控制的过程及其相关联的逻辑的流程图。
同样如本文所述，会话辅助音频引擎210被配置为向个人音频设备10的用户225呈现在个人音频设备10处回放的一组模拟音频环境(模拟音频环境文件250)(过程410，图3)。如果向用户225呈现多于一个模拟音频环境，则这些模拟音频环境可依次呈现，其中以指定时间段为间隔一个接一个地呈现。如本文所述，在各种具体实施中，当向用户225呈现两个或更多个模拟音频环境时，这些环境可在基本上相同的背景噪声级的情况下进行呈现。在某些具体实施中，初步过程(未示出)可包括用户225例如经由智能设备280上的接口和/或经由个人音频设备10上的接口发起会话辅助个性化(或测试)过程。在一些情况下，用户225可通过在智能设备280和/或个人音频设备10上运行的软件应用程序(或应用)来发起个性化/测试过程。在其他情况下，会话辅助音频引擎210可例如使用本文所述的任何提示来提示用户225开始个性化过程。
根据各种具体实施，该组模拟音频环境以预定义音频设置集270呈现给用户。在某些情况下，这些预定义设置270是个人音频设备10的默认设置，例如，被设计成针对个人音频设备10和类似设备的潜在用户群体发挥最有效功能的标准设置。在其他情况下，例如，如果个人音频设备10的用户225或另一先前用户已经定义了该设备的设置，则基于先前使用将预定义设置保存在个人音频设备10中。在仍其他情况下，预定义设置是基于可归属于用户225和/或其他用户的一个或多个用户简档290。在某些情况下，基于简档的设置可由社区或网络中的多个用户所选择或肯定地验证的设置来定义。
在向用户225呈现该组模拟音频环境之后，会话辅助音频引擎210被配置为从用户225接收关于每个模拟音频环境的反馈(过程420，图3)。会话辅助音频引擎210可包括用于分析来自用户225的关于模拟音频环境文件250的反馈的反馈逻辑310。在一些情况下，反馈包括来自用户225的关于模拟音频环境文件250的负反馈(例如，“我无法听清该扬声器的话”、“否”、“改变”、“大声一点”、“安静一点”或对用户接口提示的类似响应，诸如反对、“否”表决等)。在其他情况下，反馈包括来自用户225的关于模拟音频环境文件250的正反馈(例如，“是”、“好”、“响亮而清晰”或对用户接口提示的类似响应，诸如同意、“是”表决等)。在各种具体实施中，用户225可提供语言响应或对用户接口提示的响应。在特定情况下，反馈可包括对接口控件(诸如旋钮、按钮、开关或投票机构)的调整。
在图4至图6中示出了示例性接口，这些图示出了个人音频设备10和会话辅助音频引擎210的各种功能中的仅一些功能。例如，图4示出了用于调整个人音频设备中的音调设置的示例性接口500。接口500被示出为处于初始状态(a)和后续状态(b)。该示例性接口500描绘了处于商店环境(诸如咖啡店)中的扬声器。接口500允许用户225在收听模拟音频环境文件250时提供关于该文件的特性的反馈。在穿戴个人音频设备10时，用户225可与智能设备280和/或个人音频设备10上的接口500进行交互。在该特定示例中，接口500包括用于向会话辅助音频引擎210提供反馈的多个可致动机构(例如，按钮)510。用户225可在音调A和音调B(在初始状态(a)中示出)之间进行选择，并且然后提供关于这些音调的反馈(在后续状态(b)中示出)。在该示例性具体实施中，用户225可(例如，经由触摸屏命令、语音命令或手势命令)致动可致动机构510中的一个可致动机构(诸如音调A或音调B)，并且可使用接口500或另一接口(诸如基于语音或手势的接口)来提供关于该音调的反馈。在所示的特定示例中，用户225可选择使用触摸屏来发起音调A和音调B，并且然后在加权评分机构520(其可包括按钮或类似可致动机构)中提供反馈。在该示例中，加权评分机构520在这两个音调A和B之间提供多个选项，例如，“A听起来好得多”、“A听起来好一点”、“A和B听起来相同”、“B听起来好一点”和“B听起来好得多”。在特定具体实施中，接口500可包括指令，例如，接口上的文本指令(如初始状态(a)中所示)或经由一个或多个换能器提供的音频指令。虽然图4中示出了加权评分机构，但也可使用附加可致动机构来请求反馈，诸如音量调整器和/或高音/低音调整器。
图5示出了附加示例性接口600。在该示例中，接口600可用于控制回放音量的设置。该示例性接口600描绘了处于餐厅环境(诸如露天咖啡馆)中的扬声器。接口600允许用户225在收听模拟音频环境文件250时提供关于该文件的主观质量的反馈。在穿戴个人音频设备10时，用户225可与智能设备340和/或个人音频设备10上的接口600进行交互。在该特定示例中，接口600包括用于向会话辅助音频引擎210提供关于模拟音频环境文件250的回放音量的反馈的至少一个可致动机构(例如，音量调整器610)。用户225可在一系列值上滑动调整器610以修改回放音量，并且然后致动另一可致动机构(例如，按钮620)以验证音量级是可接受的(例如，“听起来不错”)。用户225还可调整音量调整器并且提供语音命令或手势命令以验证音量级是可接受的。在特定具体实施中，接口600可包括指令，例如，接口上的文本指令(如初始状态(a)中所示)或经由一个或多个换能器提供的音频指令。
图6示出了三个不同的接口700、800、900，每个接口用于经由会话辅助音频引擎210调整个人音频设备10中的音量设置。这些接口700、800、900各自与不同的模拟音频环境文件250相关联，即，每个接口可在不同时间(例如，连续地或间隔开指定时间段)呈现给用户225。在该示例性具体实施中，接口700、800、900可描绘餐厅的不同扬声器(例如，员工)。类似于图5中的接口600，这些接口700中的每个接口可包括用于向会话辅助音频引擎210提供关于模拟音频环境文件250的回放音量的反馈的至少一个可致动机构(例如，音量调整器610)。用户225可在一系列值上滑动调整器610以修改回放音量，并且然后致动另一可致动机构(例如，按钮620)以验证音量级是可接受的(例如，“听起来不错”)。用户225还可调整音量调整器并且提供语音命令或手势命令以验证音量级是可接受的。在图6的示例性描绘中，与接口700、800、900中的每个接口相关联的模拟音频环境文件250可包括在基本上相同的声压级下的双声道回放，其中背景和扬声器音量比在所有样本之间保持大致相等。在该场景中，向用户225提供具有基本上相同的音频特性的三个视觉上不同的模拟。如本文进一步讨论的，使用两个或更多个模拟音频环境可例如使用来自用户225所评分的所有模拟音频环境的反馈来帮助会话辅助音频引擎210为个人音频设备10选择最佳适配音频设置(或多个基于情景的最佳适配音频设置)。
虽然相对于用户接口描述了反馈的一些示例，但应当理解，反馈和/或其他音频输入(诸如传感器数据)可包括音频信号，并且可使用声学特征提取针对一个或多个特征进行分析，该一个或多个特征包括：能量、过零率、梅尔频率倒谱系数、频谱平坦度、对任何信号测量的概括统计值(例如，平均值、方差、偏差或尖峰值)、每分钟搏动速度/次数和声纹辨识。在一些情况下，会话辅助音频引擎210(和其中的逻辑)可使用来自反馈或其他音频输入的这些声学特征以及来自模拟音频环境文件250的元数据特征来执行统计和概率建模，以便根据其他功能为用户225推荐或选择音频设置270。如本文所述，在各种具体实施中，统计和概率建模使得会话辅助音频引擎210能够基于模拟环境中的用户调整来推荐或选择用于真实世界使用(模拟环境之外)的音频设置270。
返回图2，并且如本文所述，会话辅助音频引擎210可包括用于处理例如经由一个或多个接口从用户225接收的反馈的反馈逻辑310。反馈逻辑310可与设置查找/调整逻辑320以及传感器数据处理逻辑330连接，并且可例如向设置查找/调整逻辑320提供反馈以用于调整个人音频设备10上的设置270。传感器数据处理逻辑330还可向设置查找/调整逻辑320提供传感器数据以用于调整个人音频设备10上的设置270。在一些情况下，反馈逻辑310可被配置为教导传感器数据处理逻辑330和设置查找/调整逻辑320关于用户225的偏好，例如，其中这些逻辑部件中的一个或多个逻辑部件包括人工智能(AI)部件以用于迭代地细化逻辑操作以增强其结果的准确性。示例性AI部件可包括机器学习逻辑、包括人工神经网络的神经网络、自然语言处理引擎、深度学习引擎等。在任何情况下，反馈逻辑310可被配置为分析反馈以及增强会话辅助音频引擎210的未来操作。还应当理解，反馈逻辑310、设置查找/调整逻辑320和/或传感器数据处理逻辑330可按以下方式互连：这些部件彼此协同或彼此依赖地起作用。
在一些情况下，反馈逻辑310被配置为处理来自用户225的命令或请求，以及按照对个人音频设备10的设置调整来对该命令或请求进行分类。例如，反馈逻辑310可被配置为将经由一个或多个接口作出的用户命令和/或请求转变成用于对应音频设置270的值调整。如本文所述，该值调整被发送到设置查找/调整逻辑320，以用于基于用户反馈来确定对应的设置调整。反馈逻辑310可被配置为将模拟音频环境文件250内的调整转变成用于个人音频设备10上的一个或多个设置的调整值。即，模拟接口内的调整可涉及用户225的可管理数量的变量，诸如音调或音量，但音频设置270可包括各种潜在调整以满足在个人音频设备10处用户225的期望音频输出。在这种意义上，反馈逻辑310将调整转变成模拟中的变量，其中调整值转变成个人音频设备10上的音频设置，例如，麦克风阵列的指向性、麦克风阵列滤波器、提供给用户的音频的音量、控制宽动态范围压缩的参数或控制频率与增益函数的形状的增益参数。在一些情况下，这些转变是使用关系数据库或索引数据结构来进行。
在一些示例性具体实施中，用户225可基于模拟音频环境文件250使用接口调整来在个人音频设备10上设置期望的宽动态范围压缩(WDRC)值(在本文中也称为“世界音量”)。附加示例性具体实施可包括：模拟模拟音频环境文件250中的多个声压级(SPL)，以及基于来自模拟环境的一个或多个所选SPL来调整WDRC(在音频设置270中)以匹配真实世界环境。虽然SPL和WDRC被用作示例，但是会话辅助音频引擎210可被配置为主动地进行设置调整或者基于模拟环境和真实世界环境之间的任何相关变量来推荐设置(或调整)。
如图3所示，在从用户225接收到关于模拟音频环境的反馈之后，会话辅助音频引擎210进一步被配置为基于来自用户225的反馈以及该组模拟音频环境(模拟音频环境文件250)和个人音频设备10的已知音频特性来调整个人音频设备10处的至少一个音频设置(过程430，图3)。
在一些特定具体实施中，该过程可包括基于来自用户225的反馈来选择用于会话辅助音频设备的最佳适配音频设置。在这些情况下，设置查找/调整逻辑320可为由反馈(如由反馈逻辑310提供)指示的调整选择最接近的设置值。在一些情况下，可使用来自用户225的关于两个或更多个模拟音频环境的反馈来选择最佳适配音频设置，例如，其中用户225在音频环境中的一个或多个音频环境中以至少一个调整因子提供不同的反馈。在这种情况下，会话辅助音频引擎210(例如，反馈逻辑310)可对跨多个模拟音频环境的调整机构的反馈值的差异进行平均、加权或以其他方式解释。在一些特定具体实施中，会话辅助音频引擎210可通过以下方式自适应地确定最佳适配音频设置：例如，通过要求用户225在足够数量的模拟音频环境中或在值选择之间具有足够窄的范围的情况下选择设置以满足阈值置信区间。在其他情况下，一旦在不同声压级下跨阈值数量的设置接收到反馈，会话辅助音频引擎210就可选择最佳拟合设置。会话辅助音频引擎可使用WDRC与输入SPL曲线来内插个人音频设备的WDRC设置值。另外，反馈逻辑310和/或设置查找/调整逻辑320可包括误差度量，该误差度量使根据模拟中的用户调整而推荐的音频设置270与用户225在真实世界设置中使用之后最终选择的音频设置270之间的差异相关。误差度量可随时间推移而更新以训练逻辑并且使推荐设置与所选设置之间的差值最小化。
在一些特定具体实施中，音频设置270调整基于缩放因子来缩放。例如，缩放因子可应用于音频设置调整，以说明演示设置中与真实世界设置中用户对音频内容的感知之间的区别。在一个特定具体实施中，缩放因子包括每个模拟音频环境的音频特性与真实世界音频特性的模型之间的推断。该推断可基于从测试用户收集的数据、已公布的研究和/或用户反馈。例如，缩放因子可被保存在用户简档290中，或者可由设置查找/调整逻辑320根据用户设置、简档特性、从用户225接收的反馈或从传感器系统36收集的数据来应用。在一个示例中，会话辅助音频引擎210将正缩放因子应用于用户调整，例如，应用于音量调整，包括正缩放个人音频设备10上的音频设置270。该正缩放因子推断用户将在模拟环境中将设置(例如，音量)调整到比其在真实世界使用环境中对该相同设置进行调整的程度更小的程度。在各种具体实施中，缩放因子可使用本文所述的任何机器学习引擎随时间推移而进行调整。例如，可基于用户225对其个人音频设备10进行的调整来随时间推移而细化各个缩放因子。另外，个人音频设备10的默认缩放因子可基于从由一组音频设备的用户进行的个性化调整和/或基于演示的调整收集的调整数据来进行调整和/或细化。随着越来越多的用户执行调整，会话辅助音频引擎210可使用一个或多个输入参数(例如，年龄、性别、初始“世界音量”设置等)来识别使用趋势并提高缩放因子准确性。
在一些特定具体实施中，会话辅助音频引擎210进一步被配置为基于来自用户225的反馈以及该组模拟音频环境和个人音频设备10的已知音频特性来创建一组不同的音频模式。例如，可根据来自一个或多个模拟音频环境的用户响应来创建不同音频模式。在某些情况下，会话辅助音频引擎210可创建各自与不同音频滤波器相关的一组用户可选择音频模式，该不同音频滤波器被配置为增强针对特定声学环境一系列频率的可听度。根据一些具体实施，不同音频模式可旨在用于不同真实世界环境中。音频模式可包括“安静会话”、“声音洪亮的房间”、“低频噪声”或类似类别。会话辅助音频引擎210可基于用户反馈和/或来自传感器系统36的传感器数据而在各模式之间动态地切换。在一些情况下，会话辅助音频引擎210可响应于检测到在会话辅助音频设备处检测到的环境声音的声学签名的变化而在不同音频模式之间切换。在特定示例中，当环境噪声的声压级超过阈值级(向上超过或向下超过)时，当传感器(诸如麦克风)检测到用户225正在提高其关于已建立的平均分贝范围的语音时，和/或当传感器(例如，麦克风)检测到声学签名(诸如在飞行期间飞机机舱的低频声音)时，会话辅助音频引擎210可在各音频模式之间切换。
在一些具体实施中，会话辅助音频引擎210可在调整个人音频设备10上的设置270之前，基于来自用户225的反馈以及模拟音频环境和个人音频设备10的已知音频特性来向用户225提供针对个人音频设备10的建议音频模式。在该示例中，会话辅助音频引擎210可在对设置270进行任何调整之前，向用户225呈现建议音频模式设置。参考图3中的流程图，该任选过程被示出为过程425，该过程可在过程420和过程430之间执行，从而在处理该用户的反馈之后给用户225提供潜在音频模式以供个人音频设备10使用。会话辅助音频引擎210可经由本文所述的任何机构(例如，经由诸如智能设备280或个人音频设备10上的通知(“考虑安静会话设置”)等接口提示和/或经由个人音频设备10上的换能器28进行的语音提示)通知用户225关于建议音频模式。
如本文所述，会话辅助音频引擎210可被配置为基于关于模拟音频环境的用户反馈以及环境和个人音频设备10的已知特性来调整音频设置270中的至少一个音频设置。在一些情况下，可通过在个人音频设备10或与个人音频设备10连接的计算设备(例如，智能设备280)中应用信号处理修改来调整音频设置270。信号处理修改可包括本文所述的任何调整，例如，宽动态范围压缩参数、指向性等。在某些情况下，信号处理修改作为加权调整来执行，使得一个参数的第一调整对音频设置270没有显著影响(例如，在错误地进行调整的情况下)。在这些情况下，后续类似调整可对音频设置270具有更大影响。加权调整可用于限制对音频设置270的非预期影响，并且可使用诸如N点滑动平均、中值滤波等技术来执行。
图7示出了例示根据各种具体实施的用于将会话辅助音频设备(例如，个人音频设备10)个性化的附加方法的流程图。所示的过程可由会话辅助音频引擎210执行，并且因此，图7与图1和图2同时被参考，特别关注图2。
在某些情况下，该过程可包括从用户225接收用于辅助个人音频设备10中的音频设置270的命令(过程710，图7)。在各种特定具体实施中，用户命令是单个接口命令，诸如单个触觉命令(例如，能够由传感器系统36检测)、单个手势命令(例如，能够由传感器系统36检测)或单个语音命令(例如，能够由个人音频设备10和/或智能设备280中的麦克风检测)。根据一些具体实施，用户225可通过使用单个接口命令(即，在不需要居间命令的情况下发起后续个性化过程的命令)来容易地发起该个性化过程。
响应于从用户225接收到单个接口命令，会话辅助音频引擎210(包括反馈逻辑310、设置查找/调整逻辑320和传感器数据处理逻辑330)可将基线音频设置集应用于个人音频设备10(过程720，图7)。在某些情况下，基线音频设置集是针对相应多个音频参数(例如，音量、音调、平衡)的中值音频设置或来自一组用户的针对该相应多个音频参数的用户定义音频设置。一些情况可依赖于根据用户简档290构建的个人音频设备10的基线或中值音频设置组。该基线可根据用户群体(诸如个人音频设备10的所有用户)的平均值或者根据该群体中的所选子集(例如，已使用该设备一段时间的用户、特定年龄的用户或特定性别的用户)进行构建。在其他情况下，个人音频设备10被配置为响应于经由会话辅助音频引擎210接收到单个接口命令而恢复到默认音频设置。
如本文所述，个人音频设备10上的基线音频设置可响应于单个接口命令而被应用，而无需任何居间命令或用户225与个人音频设备10之间的通信。在一些示例中，用户225轻击个人音频设备10上的接口按钮、使用其身体进行手势(由传感器系统36检测)或者做出简单的语音命令(例如，“帮帮忙”)，并且会话辅助音频引擎210将基线设置应用于个人音频设备10(没有来自用户225的介入提示或命令)。
在某些情况下，当基线音频设置应用于个人音频设备10时，用户225可能希望更改那些设置。在这些情况下，会话辅助音频引擎210可例如经由本文所述的任何接口接收更改基线音频设置的用户命令(过程730，图7)。如相对于过程710所述，用户命令可以是单个接口命令，诸如单个触觉命令、单个手势命令或单个语音命令。
响应于接收到该用户命令，会话辅助音频引擎210可将修改的音频设置集应用于个人音频设备10(过程740，图7)。这些修改的音频设置可基于个人音频设备10的使用(例如，来自存储在简档系统300中的用户简档290)和类似个人音频设备10的群体使用模型(例如，根据存储在简档系统300中的用户简档290进行构建)来应用。在某些具体实施中，会话辅助音频引擎210向用户225呈现在用户查看相同或不同模拟音频环境之后进行的最常见(例如，N最常见)调整。在特定情况下，会话辅助音频引擎210相继地向用户225呈现这些N最常见调整。在其他情况下，会话辅助音频引擎210可应用设置修改规则，诸如：将宽动态范围压缩参数(或“世界音量”)增大或减小明显步长(例如，5分贝)。
根据各种具体实施，会话辅助音频引擎210可被配置为响应于接收到用户命令(例如，单个接口命令)而迭代地调整个人音频设备10上的音频设置270。例如，如图7所示(在循环750中)，会话辅助音频引擎210可被配置为迭代地接收更改该修改的音频设置集的后续用户命令(循环回到过程730)，以及响应于接收到该后续用户命令而将进一步修改的音频设置集应用于个人音频设备10(过程740)。与音频设置的初始修改一样，后续修改可基于用户225对会话辅助音频设备的使用以及类似会话辅助音频设备的群体使用模型来应用。
在一些示例中，会话辅助音频引擎210被描述为包括用于执行一个或多个功能的逻辑。在各种具体实施中，会话辅助音频引擎210中的逻辑可基于从用户225接收的数据(例如，用户选择或命令)、从传感器系统36接收的传感器数据、设置更新(在设置库260中)、对音频库240的更新和/或添加和/或对简档系统300中的用户简档290的更新来连续地更新。
在一些示例性具体实施中，会话辅助音频引擎210(例如，使用反馈逻辑310、设置查找/调整逻辑320和/或传感器数据处理逻辑330)被配置为使用传感器数据、命令数据和/或能够经由简档系统300、智能设备280访问的其他数据等来执行以下逻辑过程中的一者或多者：语音辨识、扬声器识别、扬声器验证、单词定位(例如，唤醒词检测)、语音结束指示(例如，语音结束检测)、语音分段(例如，句子边界检测或其他类型的短语分段)、扬声器分类(speaker diarization)、对语音的情感情绪分类、声学事件检测、二维(2D)或三维(3D)波束形成、源距离/位置、音量级读数、声学特点图、环境噪声级数据收集、信号质量自检、性别识别(ID)、年龄ID、回波消除/闯入/闪避、语言识别和/或其他环境分类，诸如环境类型(例如，小房间、大房间、拥挤街道等；以及安静或喧吵)。
在一些具体实施中，会话辅助音频引擎210被配置为与传感器系统36协同工作以连续地监测一个或多个环境条件的变化。在一些情况下，传感器系统36可被设置在主动模式下，诸如，在该主动模式下，位置跟踪系统查验附近的Wi-Fi网络以三角测量个人音频设备10的位置，或者麦克风(例如，麦克风18和/或麦克风24)针对特定环境声音保持在“收听”模式下。在其他具体实施中，传感器系统36和会话辅助音频引擎210可被配置在被动模式下，诸如，在该被动模式下，无线收发器检测从附近收发器设备或网络设备发射的信号。在仍其他具体实施中，传感器系统36中的不同传感器可被设置在不同模式下，以用于检测环境条件的变化并且将更新的传感器数据发射到会话辅助音频引擎210。例如，当音频设备10活动(例如，通电)时，传感器系统36中的一些传感器可保持在主动模式下，而其他传感器则可保持在用于由事件触发的被动模式下。
如本文所述，用户提示可包括在音频设备10处提供的音频提示和/或在音频设备10或不同设备(例如，智能设备280)处提供的视觉提示或触觉/触感提示。在一些情况下，音频提示可包括短语，诸如“您想要将您的会话辅助设备个性化吗？”或“用点头或“是”来作出响应以调整音频设置”或“采取动作X来发起个性化模式”。这些仅仅是音频提示的示例，并且任何合适的音频提示都可用于引出用户225的致动。在其他情况下，可例如在智能设备280上或在音频设备10处(例如，在用户接口处)提供视觉提示，该视觉提示指示一个或多个操作模式或修改是可用的。视觉提示可包括可致动按钮、文本消息、符号、高亮/低亮或者能够在音频设备10和/或智能设备280上显示的任何其他视觉指示器。触觉/触感提示可包括例如纹理或表面粗糙度的振动或变化，并且可在音频设备10和/或智能设备280处进行呈现。该触觉/触感提示可特定于会话辅助音频引擎210，使得触觉/触感提示是指示操作模式(例如，个性化模式)或调整(例如，单命令调整)可用的签名。由于触觉/触感提示可提供关于所提供的底层内容的较少信息，因此不同的触觉/触感提示可用于例如基于用户简档290或其他设置来反映优先级。
在一些特定具体实施中，提示的致动可以是能够由音频设备10检测的，并且可包括由用户225作出的手势、触觉致动和/或语音致动。例如，用户225可发起点头或摇头来指示对提示的“是”或“否”响应，该提示是使用传感器系统36中的头部跟踪器来检测。在附加具体实施中，用户225可轻击音频设备10上的特定表面(例如，电容式触摸接口)以致动提示，或者可轻击或以其他方式接触音频设备10的任何表面以发起触觉致动(例如，经由传感器系统36处的可检测振动或移动)。在仍其他具体实施中，用户225可对音频设备10处的麦克风讲话以致动提示并且发起本文所述的个性化功能。
在一些其他具体实施中，提示的致动能够由智能设备280检测，诸如由智能设备280上的触摸屏、振动传感器、麦克风或其他传感器检测。在某些情况下，可在音频设备10和/或智能设备280上致动提示，而不管提示的来源如何。在其他具体实施中，提示仅能够在呈现提示的设备上致动。智能设备280上的致动可以与相对于音频设备10所述的方式类似的方式来执行，或者可以特定于智能设备280的方式来执行。
当与常规方法相比时，根据各种具体实施描述的个性化过程可例如通过根据用户偏好紧密地定制个人音频设备10上的音频设置来显著地改善用户体验。根据各种具体实施描述的个性化过程可使个人音频设备10的用户设置更容易并且在使用期间改善会话辅助功能。另外，某些具体实施允许用户利用单个接口命令来更改音频设置，从而精简调整设置的过程。因为会话辅助音频设备(个人音频设备10)通常用于公共设置中，所以用户应理解对音频设置的基于单个接口命令的调整的谨慎性质。
本文所述的功能或其部分，以及其各种修改(下文称为“功能”)可至少部分地经由计算机程序产品实现，例如在信息载体中有形实施的计算机程序，诸如一个或多个非暂态机器可读介质，用于执行，或控制一个或多个数据处理装置，例如可编程处理器、计算机、多个计算机和/或可编程逻辑部件的操作。
计算机程序可以任何形式的编程语言被写入，包括编译或解释语言，并且它可以任何形式部署，包括作为独立程序或作为模块、部件、子例程或适于用在计算环境中的其他单元。计算机程序可被部署在一个计算机上或在一个站点或多个站点分布以及通过网络互联的多个计算机上执行。
与实现全部或部分功能相关联的动作可由执行一个或多个计算机程序的一个或多个可编程处理器执行，以执行校准过程的功能。功能的全部或部分可被实现为专用目的逻辑电路，例如FPGA和/或ASIC(专用集成电路)。适用于执行计算机程序的处理器例如包括通用微处理器和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。一般来讲，处理器将接收来自只读存储器或随机存取存储器或两者的指令和数据。计算机的部件包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。
在各种具体实施中，被描述为彼此“耦接”的部件可沿一个或多个接口接合。在一些具体实施中，这些接口可包括不同部件之间的结合部，并且在其他情况下，这些接口可包括实心和/或一体形成的互连件。即，在一些情况下，可同时形成彼此“耦接”的部件以限定单个连续构件。然而，在其他具体实施中，这些耦接部件可形成为单独的构件，并且随后通过已知工艺(例如，焊接、紧固、超声焊接、粘结)接合。在各种具体实施中，被描述为“耦接”的电子部件可以经由常规的硬连线和/或无线装置链接，使得这些电子部件可以彼此传送数据。另外，给定部件内的子部件可被认为是经由常规路径链接的，这可能不一定被示出。
已描述了多个具体实施。然而，应当理解在不脱离本文所述发明构思的范围的情况下可进行附加修改，并且因此，其他实施方案在以下权利要求书的范围内。

Claims (25)

1.一种将会话辅助音频设备个性化的计算机实现的方法，所述方法包括：
向所述会话辅助音频设备的用户呈现在所述会话辅助音频设备处回放的一组模拟音频环境；
从所述用户接收关于所述一组模拟音频环境中的每个模拟音频环境的反馈；以及
基于来自所述用户的所述反馈以及所述一组模拟音频环境和所述会话辅助音频设备的已知音频特性来调整所述会话辅助音频设备处的至少一个音频设置。
2.根据权利要求1所述的计算机实现的方法，其中所述一组模拟音频环境中的每个模拟音频环境包括处于基本上相同的背景噪声级的音频回放。
3.根据权利要求2所述的计算机实现的方法，其中所述一组模拟音频环境中的每个模拟音频环境包括人以大于所述背景噪声级的分贝级讲话的回放。
4.根据权利要求2所述的计算机实现的方法，其中调整所述至少一个音频设置包括基于从所述用户接收到的关于所述一组模拟音频环境中的所有所述模拟音频环境的所述反馈来为所述会话辅助音频设备选择最佳适配音频设置。
5.根据权利要求4所述的计算机实现的方法，其中所述一组模拟音频环境包括至少两个模拟音频环境。
6.根据权利要求1所述的计算机实现的方法，还包括：
提供用于从所述用户接收所述反馈的接口，其中所述接口包括用于调整所述会话辅助音频设备上的所述至少一个音频设置的至少一个可致动机构，并且其中所述接口位于所述会话辅助音频设备或与所述会话辅助音频设备连接的计算设备上。
7.根据权利要求6所述的计算机实现的方法，其中所述至少一个可致动机构包括以下至少一者：加权评分机构、音量调整器或高音/低音调整器。
8.根据权利要求6所述的计算机实现的方法，其中所述会话辅助音频设备上的所述至少一个音频设置响应于所述用户修改所述接口上的所述至少一个可致动机构而进行调整。
9.根据权利要求8所述的计算机实现的方法，还包括：
基于缩放因子来缩放对所述会话辅助音频设备上的所述至少一个音频设置的所述调整。
10.根据权利要求9所述的计算机实现的方法，其中所述缩放因子包括所述一组模拟音频环境中的每个所述模拟音频环境的音频特性与真实世界音频特性的模型之间的推断。
11.根据权利要求9所述的计算机实现的方法，其中所述缩放因子包括正缩放因子，并且其中缩放对所述至少一个音频设置的所述调整包括正缩放所述会话辅助音频设备上的所述至少一个音频设置。
12.根据权利要求1所述的计算机实现的方法，还包括：
基于来自所述用户的所述反馈以及所述一组模拟音频环境和所述会话辅助音频设备的已知音频特性来创建一组不同音频模式。
13.根据权利要求12所述的计算机实现的方法，其中，所述一组不同音频模式包括各自与不同音频滤波器相关的一组用户可选择音频模式，所述不同音频滤波器被配置为增强针对特定声学环境的一系列频率的可听度。
14.根据权利要求12所述的计算机实现的方法，还包括：
响应于检测到在所述会话辅助音频设备处检测到的环境声音的声学签名的变化而在所述一组不同音频模式中的不同音频模式之间切换。
15.根据权利要求1所述的计算机实现的方法，其中调整所述会话辅助音频设备上的所述至少一个音频设置包括：调整所述会话辅助音频设备中的麦克风阵列的指向性、调整所述会话辅助音频设备中的所述麦克风阵列上的麦克风阵列滤波器、调整在所述会话辅助音频设备处提供给所述用户的音频的音量、调整控制宽动态范围压缩的参数或调整控制频率比对增益函数的形状的增益参数。
16.根据权利要求1所述的计算机实现的方法，还包括：
在调整所述会话辅助音频设备上的所述至少一个设置之前，基于来自所述用户的所述反馈以及所述组模拟音频环境和所述会话辅助音频设备的所述已知音频特性来向所述用户提供针对所述会话辅助音频设备的建议音频模式。
17.根据权利要求1所述的计算机实现的方法，其中调整所述会话辅助音频设备处的所述至少一个音频设置包括在所述会话辅助音频设备或与所述会话辅助音频设备连接的计算设备中的至少一者中应用信号处理修改。
18.根据权利要求1所述的计算机实现的方法，其中所述一组模拟音频环境中的每个模拟音频环境包括在可听度限制可懂度的信噪比(SNR)范围内的音频回放。
19.根据权利要求18所述的计算机实现的方法，其中所述SNR范围包括介于大约-5到大约20之间的值。
20.一种将会话辅助音频设备个性化的计算机实现的方法，所述方法包括：
从用户接收用于辅助所述会话辅助音频设备中的音频设置的命令；
响应于接收到用于辅助的所述用户命令而将基线音频设置集应用于所述会话辅助音频设备；
接收更改所述基线音频设置集的用户命令；以及
响应于接收到更改所述基线音频设置集的所述用户命令而将修改的音频设置集应用于所述会话辅助音频设备，其中所述修改的音频设置集是基于所述会话辅助音频设备的使用和类似会话辅助音频设备的群体使用模型来应用的。
21.根据权利要求20所述的计算机实现的方法，其中所述用户命令包括单个接口命令。
22.根据权利要求21所述的计算机实现的方法，其中所述单个接口命令包括单个语音命令、单个触觉命令或单个手势命令。
23.根据权利要求21所述的计算机实现的方法，还包括迭代地执行以下操作：
接收更改所述修改的音频设置集的后续用户命令；以及
响应于接收到所述后续用户命令而将进一步修改的音频设置集应用于所述会话辅助音频设备，
其中所述进一步修改的音频设置集是基于所述会话辅助音频设备的所述使用和类似会话辅助音频设备的所述群体使用模型来应用的，并且其中所述后续用户命令包括单个接口命令。
24.根据权利要求20所述的计算机实现的方法，其中所述基线音频设置集包括针对相应多个音频参数的中值音频设置或针对所述相应多个音频参数的来自一组用户的用户定义音频设置。
25.根据权利要求20所述的计算机实现的方法，其中所述会话辅助音频设备上的所述音频设置包括以下至少一者：所述会话辅助音频设备中的麦克风阵列的指向性、所述会话辅助音频设备中的所述麦克风阵列上的麦克风阵列滤波器配置、在所述会话辅助音频设备处提供给所述用户的音频的音量、控制宽动态范围压缩的参数或控制所述频率比对增益函数的形状的增益参数。
CN201980084200.0A 2018-10-19 2019-10-16 会话辅助音频设备个性化 Pending CN113196229A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/165,055 2018-10-19
US16/165,055 US10795638B2 (en) 2018-10-19 2018-10-19 Conversation assistance audio device personalization
PCT/US2019/056486 WO2020081653A2 (en) 2018-10-19 2019-10-16 Conversation assistance audio device personalization

Publications (1)

Publication Number Publication Date
CN113196229A true CN113196229A (zh) 2021-07-30

Family

ID=68503199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980084200.0A Pending CN113196229A (zh) 2018-10-19 2019-10-16 会话辅助音频设备个性化

Country Status (4)

Country Link
US (2) US10795638B2 (zh)
EP (1) EP3867741A2 (zh)
CN (1) CN113196229A (zh)
WO (1) WO2020081653A2 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438710B2 (en) 2019-06-10 2022-09-06 Bose Corporation Contextual guidance for hearing aid
US11602287B2 (en) * 2020-03-31 2023-03-14 International Business Machines Corporation Automatically aiding individuals with developing auditory attention abilities
US11474773B2 (en) * 2020-09-02 2022-10-18 Google Llc Automatic adjustment of muted response setting
US11972693B2 (en) 2020-12-02 2024-04-30 Joytunes Ltd. Method, device, system and apparatus for creating and/or selecting exercises for learning playing a music instrument
US11893898B2 (en) 2020-12-02 2024-02-06 Joytunes Ltd. Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US11670188B2 (en) 2020-12-02 2023-06-06 Joytunes Ltd. Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US11900825B2 (en) * 2020-12-02 2024-02-13 Joytunes Ltd. Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US11353708B1 (en) * 2020-12-07 2022-06-07 Thirdeye Gen, Inc. Custom mixed reality smart glasses and software for vision impaired use
WO2022169819A1 (en) * 2021-02-05 2022-08-11 Sound United Llc System and method for providing enhanced audio for streaming video content
US11553286B2 (en) * 2021-05-17 2023-01-10 Bose Corporation Wearable hearing assist device with artifact remediation
US11830514B2 (en) * 2021-05-27 2023-11-28 GM Global Technology Operations LLC System and method for augmenting vehicle phone audio with background sounds
US11902747B1 (en) * 2022-08-09 2024-02-13 Chromatic Inc. Hearing loss amplification that amplifies speech and noise subsignals differently

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030112987A1 (en) * 2001-12-18 2003-06-19 Gn Resound A/S Hearing prosthesis with automatic classification of the listening environment
US20060126865A1 (en) * 2004-12-13 2006-06-15 Blamey Peter J Method and apparatus for adaptive sound processing parameters
US20080165980A1 (en) * 2007-01-04 2008-07-10 Sound Id Personalized sound system hearing profile selection process
US20110176697A1 (en) * 2010-01-20 2011-07-21 Audiotoniq, Inc. Hearing Aids, Computing Devices, and Methods for Hearing Aid Profile Update
US20150023534A1 (en) * 2013-07-16 2015-01-22 iHear Medical, Inc. Interactive hearing aid fitting system and methods
US20150382106A1 (en) * 2014-04-08 2015-12-31 Doppler Labs, Inc. Real-time combination of ambient audio and a secondary audio source

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4419901C2 (de) * 1994-06-07 2000-09-14 Siemens Audiologische Technik Hörhilfegerät
US6004015A (en) * 1994-11-24 1999-12-21 Matsushita Electric Industrial Co., Ltd. Optimization adjusting method and optimization adjusting apparatus
US6118877A (en) * 1995-10-12 2000-09-12 Audiologic, Inc. Hearing aid with in situ testing capability
US5759658A (en) * 1996-04-26 1998-06-02 Tables International Corporation Composite panels, articles incorporating same and method
AU4278300A (en) * 1999-04-26 2000-11-10 Dspfactory Ltd. Loudness normalization control for a digital hearing aid
US7340062B2 (en) * 2000-03-14 2008-03-04 Revit Lawrence J Sound reproduction method and apparatus for assessing real-world performance of hearing and hearing aids
DE10304648B3 (de) 2003-02-05 2004-08-19 Siemens Audiologische Technik Gmbh Vorrichtung und Verfahren zur Kommunikation von Hörgeräten
KR100709848B1 (ko) * 2003-06-05 2007-04-23 마츠시타 덴끼 산교 가부시키가이샤 음질 조정 장치 및 음질 조정 방법
EP1665881B1 (en) 2003-09-19 2008-07-23 Widex A/S A method for controlling the directionality of the sound receiving characteristic of a hearing aid and a signal processing apparatus for a hearing aid with a controllable directional characteristic
DE10347211A1 (de) * 2003-10-10 2005-05-25 Siemens Audiologische Technik Gmbh Verfahren zum Nachtrainieren und Betreiben eines Hörgeräts und entsprechendes Hörgerät
US7483831B2 (en) * 2003-11-21 2009-01-27 Articulation Incorporated Methods and apparatus for maximizing speech intelligibility in quiet or noisy backgrounds
US20080165978A1 (en) * 2004-06-14 2008-07-10 Johnson & Johnson Consumer Companies, Inc. Hearing Device Sound Simulation System and Method of Using the System
JP4886783B2 (ja) * 2005-09-01 2012-02-29 ヴェーデクス・アクティーセルスカプ 補聴器の帯域分割コンプレッサを制御する方法および装置
CA2624373C (en) * 2005-10-11 2012-05-08 Widex A/S A hearing aid and a method of processing input signals in a hearing aid
CN101433098B (zh) * 2006-03-03 2015-08-05 Gn瑞声达A/S 助听器内的全向性和指向性麦克风模式之间的自动切换
WO2007110073A1 (en) * 2006-03-24 2007-10-04 Gn Resound A/S Learning control of hearing aid parameter settings
DE102006046315B4 (de) * 2006-09-29 2010-09-02 Siemens Audiologische Technik Gmbh Verfahren zur Bedienkontrolle zum Überprüfen einer Einstellung einer tragbaren Hörvorrichtung und entsprechende Hörvorrichtung
JP5530720B2 (ja) * 2007-02-26 2014-06-25 ドルビー ラボラトリーズ ライセンシング コーポレイション エンターテイメントオーディオにおける音声強調方法、装置、およびコンピュータ読取り可能な記録媒体
US8284968B2 (en) * 2007-04-25 2012-10-09 Schumaier Daniel R Preprogrammed hearing assistance device with user selection of program
US8077890B2 (en) * 2007-04-25 2011-12-13 Schumaier Daniel R Preprogrammed hearing assistance device with program selection using a multipurpose control device
CA2690238A1 (en) 2007-06-13 2008-12-18 Widex A/S A system and a method for establishing a conversation group among a number of hearing aids
DK2191662T3 (da) * 2007-09-26 2011-09-05 Phonak Ag Høresystem med en brugerpræferencestyring og fremgangsmåde til brug af et høresystem
DE102007056466A1 (de) * 2007-11-22 2009-05-28 Myworldofhearing E. K. Verfahren zur individuellen Anpassung eines Hörgeräts
EP2243303A1 (en) * 2008-02-20 2010-10-27 Koninklijke Philips Electronics N.V. Audio device and method of operation therefor
DK2238899T3 (da) * 2009-04-06 2017-01-02 Gn Resound As Effektiv bedømmelse af høreevne
DE102010010764A1 (de) * 2010-03-09 2011-09-15 Siemens Medical Instruments Pte. Ltd. Hörtestverfahren
CN102474697B (zh) 2010-06-18 2015-01-14 松下电器产业株式会社 助听器和信号处理方法
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US20120237064A1 (en) * 2011-03-18 2012-09-20 Reginald Garratt Apparatus and Method For The Adjustment of A Hearing Instrument
JP5036888B1 (ja) * 2011-03-31 2012-09-26 パナソニック株式会社 補聴器調整装置、補聴器調整方法、および補聴器調整用プログラム
DE102011087984A1 (de) 2011-12-08 2013-06-13 Siemens Medical Instruments Pte. Ltd. Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung
US8885856B2 (en) 2011-12-28 2014-11-11 Starkey Laboratories, Inc. Hearing aid with integrated flexible display and touch sensor
DE102012214081A1 (de) 2012-06-06 2013-12-12 Siemens Medical Instruments Pte. Ltd. Verfahren zum Fokussieren eines Hörinstruments-Beamformers
US9332359B2 (en) 2013-01-11 2016-05-03 Starkey Laboratories, Inc. Customization of adaptive directionality for hearing aids using a portable device
US9656071B2 (en) * 2013-03-15 2017-05-23 Cochlear Limited Control for hearing prosthesis fitting
US9330169B2 (en) 2013-03-15 2016-05-03 Bose Corporation Audio systems and related devices and methods
KR102127640B1 (ko) 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
US9131321B2 (en) 2013-05-28 2015-09-08 Northwestern University Hearing assistance device control
US20140378083A1 (en) 2013-06-25 2014-12-25 Plantronics, Inc. Device Sensor Mode to Identify a User State
US9439008B2 (en) 2013-07-16 2016-09-06 iHear Medical, Inc. Online hearing aid fitting system and methods for non-expert user
EP2840807A1 (en) 2013-08-19 2015-02-25 Oticon A/s External microphone array and hearing aid using it
WO2015024584A1 (en) * 2013-08-20 2015-02-26 Widex A/S Hearing aid having a classifier
US9633671B2 (en) * 2013-10-18 2017-04-25 Apple Inc. Voice quality enhancement techniques, speech recognition techniques, and related systems
US9648430B2 (en) * 2013-12-13 2017-05-09 Gn Hearing A/S Learning hearing aid
US9560451B2 (en) 2014-02-10 2017-01-31 Bose Corporation Conversation assistance system
EP2908549A1 (en) 2014-02-13 2015-08-19 Oticon A/s A hearing aid device comprising a sensor member
WO2015143151A1 (en) * 2014-03-19 2015-09-24 Bose Corporation Crowd sourced recommendations for hearing assistance devices
EP2928211A1 (en) 2014-04-04 2015-10-07 Oticon A/s Self-calibration of multi-microphone noise reduction system for hearing assistance devices using an auxiliary device
EP3054706A3 (en) 2015-02-09 2016-12-07 Oticon A/s A binaural hearing system and a hearing device comprising a beamformer unit
US9723415B2 (en) * 2015-06-19 2017-08-01 Gn Hearing A/S Performance based in situ optimization of hearing aids
DE102015212613B3 (de) * 2015-07-06 2016-12-08 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgerätesystems und Hörgerätesystem
US10454604B2 (en) 2015-10-02 2019-10-22 Bose Corporation Encoded audio synchronization
EP3236673A1 (en) 2016-04-18 2017-10-25 Sonova AG Adjusting a hearing aid based on user interaction scenarios
US20190028817A1 (en) 2017-07-20 2019-01-24 Wizedsp Ltd. System and method for a directional speaker selection
US10382872B2 (en) * 2017-08-31 2019-08-13 Starkey Laboratories, Inc. Hearing device with user driven settings adjustment
WO2019105520A1 (en) * 2017-11-28 2019-06-06 Sonova Ag Method and system for adjusting a hearing device personal preferences and needs of a user
US10859689B2 (en) 2018-09-28 2020-12-08 Silicon Laboratories Inc. Systems and methods for selecting operating mode based on relative position of wireless devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030112987A1 (en) * 2001-12-18 2003-06-19 Gn Resound A/S Hearing prosthesis with automatic classification of the listening environment
US20060126865A1 (en) * 2004-12-13 2006-06-15 Blamey Peter J Method and apparatus for adaptive sound processing parameters
US20080165980A1 (en) * 2007-01-04 2008-07-10 Sound Id Personalized sound system hearing profile selection process
US20110176697A1 (en) * 2010-01-20 2011-07-21 Audiotoniq, Inc. Hearing Aids, Computing Devices, and Methods for Hearing Aid Profile Update
US20150023534A1 (en) * 2013-07-16 2015-01-22 iHear Medical, Inc. Interactive hearing aid fitting system and methods
US20150382106A1 (en) * 2014-04-08 2015-12-31 Doppler Labs, Inc. Real-time combination of ambient audio and a secondary audio source

Also Published As

Publication number Publication date
US10795638B2 (en) 2020-10-06
US20200401369A1 (en) 2020-12-24
US11809775B2 (en) 2023-11-07
WO2020081653A3 (en) 2020-06-18
WO2020081653A2 (en) 2020-04-23
EP3867741A2 (en) 2021-08-25
US20200125317A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
US11809775B2 (en) Conversation assistance audio device personalization
US11089402B2 (en) Conversation assistance audio device control
US10817251B2 (en) Dynamic capability demonstration in wearable audio device
US10448139B2 (en) Selective sound field environment processing system and method
US10117032B2 (en) Hearing aid system, method, and recording medium
US20220295194A1 (en) Interactive system for hearing devices
US10929099B2 (en) Spatialized virtual personal assistant
US10922044B2 (en) Wearable audio device capability demonstration
US11039240B2 (en) Adaptive headphone system
US11438710B2 (en) Contextual guidance for hearing aid
CN109429132A (zh) 耳机系统
US10848849B2 (en) Personally attributed audio
CN112312297B (zh) 音频带宽减小
CN115699175A (zh) 具有用户自己的语音记录的可穿戴音频设备
TW202209901A (zh) 用於聲學透通的系統、裝置和方法
US10970040B2 (en) Systems and methods for augmented reality content harvesting and information extraction
CN115866489A (zh) 用于上下文相关的自动音量补偿的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination