CN111415673A - 基于用户特定和硬件特定音频信息的定制的音频处理 - Google Patents

基于用户特定和硬件特定音频信息的定制的音频处理 Download PDF

Info

Publication number
CN111415673A
CN111415673A CN202010004297.4A CN202010004297A CN111415673A CN 111415673 A CN111415673 A CN 111415673A CN 202010004297 A CN202010004297 A CN 202010004297A CN 111415673 A CN111415673 A CN 111415673A
Authority
CN
China
Prior art keywords
audio
user
specific
information
audio processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010004297.4A
Other languages
English (en)
Inventor
D.T.派伊
S.E.奥利芙
T.S.韦尔蒂
O.康萨里鲍尔
K.G.斯里尼迪
C.路德维格
M.克纳普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN111415673A publication Critical patent/CN111415673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/12—Audiometering
    • A61B5/121—Audiometering evaluating hearing capacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G5/00—Tone control or bandwidth control in amplifiers
    • H03G5/16—Automatic control
    • H03G5/165—Equalizers; Volume or gain control in limited frequency bands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/48—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using constructional means for obtaining a desired frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/05—Detection of connection of loudspeakers or headphones to amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种音频信号处理的方法，所述方法包括：访问特定用户的用户特定音频处理信息；确定用于从音频信号产生声音输出的音频装置的身份信息；基于所述音频装置的所述身份信息，访问所述音频装置的装置特定音频处理信息；基于所述用户特定音频处理信息和所述装置特定音频处理信息而生成所述音频信号的定制的音频处理过程；以及通过利用所述定制的音频处理过程处理所述音频信号来生成定制的音频信号。

Description

基于用户特定和硬件特定音频信息的定制的音频处理
相关申请的交叉引用
本申请要求2019年1月4日提交的美国临时申请号62/788,677 的优先权权益。该相关申请的主题在此以引用的方式全文并入。
技术领域
本公开的实施方案总体上涉及音频装置，并且更具体地，涉及基 于用户特定和软件特定音频信息的定制的音频处理。
背景技术
相关技术的描述在音频娱乐领域中，听众的音频体验可以受到当 前音频环境(例 如，房间、车辆、一副耳机等等)的各种方面影响。例 如，低音和高音水平的设置、扬声器之间的音量平衡以及音频环境的 其他特征可以降低或增强听众的音频体验，具体取决于此类特征是否 符合听众的个人音频偏好。因此，当音频环境与听众的个人音频偏好 冲突(例如，低音太多)时，听众可能具有较差的音频体验，即使在播 放喜爱的音频选择也是如此。
诸如汽车音频系统、无线耳机、家庭娱乐系统等等的离散音频产 品的定制使得音频环境能够符合听众对该音频环境的个人音频偏好。 例如，特定房间中的声音系统的性能可以经由房间均衡进行优化，房 间均衡可以校正由在房间本身内产生的音频的相互作用引起的问题 和/或另外考虑到听众的音频偏好。在另一个示例中，听众可以设置 车辆中的音频系统中的均衡、音量和其他设置，使得最终的音频环境 针对该车辆中的听众优化。因此，该特定的听众具有适合该听众的个 人音频偏好和音频环境的声学特性的最佳车舱内收听体验。
音频环境定制的一个缺点在于，此定制通常不适合当前的听众， 而是与上一个听众定制的特定音频环境相关联。因此，当新的听众进 入房间或使用具有已经被前一听众定制的音频环境的车辆时，默认实 现前一听众设置的定制。因此，每当不同的听众进入优化的音频环境 时，必须重复定制过程，这对新听众来说可能是耗时且令人沮丧的。 此外，每次用户进入优化的音频环境时，要获得某些个人音频偏好可 能是不切实际或不可能的。例如，在音频环境中可以采用增益调整以 补偿特定听众的听力缺陷简档，但每次听众重新定制音频环境时执行 听力测试至多是不切实际的。因此，这样的增益调整通常无法在与其他听众共享的音频环境中实现，也无法方便地应用于另一个音频环 境。
鉴于上述情况，用于在音频环境中实现定制的音频处理的更有效 技术将是有用的。
发明内容
各种实施方案阐述了一种用于音频信号处理的方法，所述方法包 括：访问特定用户的用户特定音频处理信息；确定用于从音频信号产 生声音输出的音频装置的身份信息；基于所述音频装置的所述身份信 息，访问所述音频装置的装置特定音频处理信息；基于所述用户特定 音频处理信息和所述装置特定音频处理信息而生成所述音频信号的 定制的音频处理过程；以及通过利用所述定制的音频处理过程处理所 述音频信号来生成定制的音频信号。
所公开的技术相对于现有技术的至少一个技术优点在于，所公开 的技术为听众实现个性化音频体验，而不管当前音频环境如何。具体 地，听众的个人偏好和/或听力缺陷简档可以自动地应用于任何音频 环境，同时还考虑到音频环境的音频特性，而听众无需在每个音频环 境中重新定制音频系统。另一个优点在于，可以在音频环境中实现个 性化音频体验，该音频环境包括执行一些或全部的音频信号处理以产 生个性化音频体验的智能音频装置或者不执行音频信号处理的“哑” 音频装置。这些技术优点呈现优于现有技术方法的一个或多个技术改 进。
附图说明
为了可以详细地理解一个或多个实施方案的上述特征，可以参考 某些特定实施方案来获得以上简要概述的一个或多个实施方案的更 具体描述，其中一些特定实施方案在附图中示出。然而，应注意，附 图仅示出典型实施方案，并且因此不应被视为以任何方式限制其范 围，因为各种实施方案的范围也包括其他实施方案。
图1是示出被配置为实现本公开的一个或多个方面的个性化音 频系统的示意图。
图2是根据本公开的各种实施方案的用于生成使音频体验个性 化的用户特定信息的方法步骤的流程图。
图3是根据本公开的各种实施方案的用于生成定制的音频信号 的方法步骤的流程图。
图4是示出根据本公开的各种实施方案的个性化音频系统的示 意图。
图5是被配置为实现各种实施方案的一个或多个方面的计算系 统的概念框图。
为了清楚起见，在适用的情况下，已经使用相同的附图标记来指 示附图之间共同的相同元件。设想一个实施方案的特征可以合并在其 他实施方案中而无需进一步详述。
具体实施方式
本文中描述的实施方案向各种音频环境中、诸如家中、车辆中和 /或在忙碌(例 如，经由耳机)的用户提供基于装置和/或基于云的个性 化音频体验。个性化音频体验针对特定用户的收听偏好和听力缺陷经 由个人声音和音频体验调整进行优化。当用户从在一个音频环境中 (例如，经由耳机)转变到在另一个音频环境中(例如，经由车载音频系 统)收听音频内容时，在每个音频环境中实现与该用户相关联的个人 收听偏好和/或听力损伤设置。因此，实施方案在不同的音频环境中 产生按特定用户定制并且无缝地遵循该用户的音频体验。因此，用户 的音频体验保持基本上相同，即使不同音频环境中包括的不同音频装 置在向用户提供音频内容也是如此。在各种实施方案中，移动计算装 置、软件应用程序(或“应用”)和/或云服务的组合向各种装置和环境递 送个性化音频体验。下面结合图1描述一个这样的实施方案。
图1是示出被配置为实现本公开的一个或多个方面的个性化音 频系统100的示意图。个性化音频系统100包括但不限于一个或多个 音频环境110、用户简档数据库120、装置简档数据库130，以及移 动计算装置140。个性化音频系统100被配置为向特定用户提供个性 化音频体验，而不管哪个特定音频环境110当前在向用户提供音频体 验。在一些实施方案中，音频体验的音频内容本地地存储在移动计算 装置140中，并且在其他实施方案中，此音频内容由在云基础设施 105中实现的流服务104提供。云基础设施105可以是任何技术上可 行的基于互联网的计算系统，诸如分布式计算系统和/或基于云的存 储系统。
一个或多个音频环境110中的每一个被配置为向特定用户播放 音频内容。例如，音频环境110可以包括但不限于汽车(或其他车辆) 音频环境101、耳机102和智能扬声器103中的一个或多个。在图1 所示的实施方案中，音频环境110例如经由无线连接(例如，
Figure BDA0002354661560000041
和/或
Figure BDA0002354661560000042
)和/或有线连接播放从移动计算装置140接收 到的音频内容。因此，音频环境110可以包括能够直接从移动计算装 置140接收音频内容的任何音频装置，诸如家中的“哑”扬声器、车辆 中的立体声系统或者常规的一对耳机。此外，在图1所示的实施方案 中，音频环境110不依赖于在内部执行音频信号处理或从在基于云的 基础设施105中实现的实体接收音频内容或其他信息的能力。
一个或多个音频环境110中的每一个包括一个或多个扬声器 107，并且在一些实施方案中，包括一个或多个传感器108。扬声器 107是被配置为基于从移动计算装置140接收到的定制的音频信号而 产生声音输出的音频输出装置。传感器108被配置为从用户获取生物 特征数据(例如，心率、皮肤电传导等等)并且将与生物特征数据相关 联的信号传输到移动计算装置140。由传感器108获取的生物特征数 据然后可以由在移动计算装置140上运行的控制算法145处理，以确 定特定用户的一个或多个个人音频偏好。在各种实施方案中，传感器 108可以包括能够获取生物特征数据的任何类型的图像传感器、电传 感器、生物特征传感器等，例如但不限于，相机、电极、麦克风等。
用户简档数据库120存储使得能够在任何音频环境110中为特定 用户产生个性化音频体验的用户特定和装置特定信息。如图所示，用 户简档数据库120在基于云的基础设施105中实现，并且因此每当移 动计算装置140具有互联网连接时就可由移动计算装置140访问。从 互联网连接可以是经由蜂窝连接、
Figure BDA0002354661560000051
连接和/或有线连接。存储在 用户简档数据库120中的用户特定和装置特定信息可以包括用户偏 好均衡(EQ)简档121、环境均衡(EQ)简档122和听力缺陷补偿简档123 中的一个或多个。在一些实施方案中，与特定用户相关联并存储在用 户简档数据库120中的信息也本地存储在与该特定用户相关联的移 动计算装置140中。在此类实施方案中，用户偏好简档121、环境EQ 简档122和/或听力缺陷补偿简档123存储在移动计算装置140的本 地用户简档数据库143中。
用户偏好简档121包括用来在任何音频环境110中为特定用户产 生个性化音频体验的用户特定信息。在一些实施方案中，用户偏好简 档121包括与特定用户相关联的声学过滤器和/或EQ曲线。通常，当 用作移动计算装置140的音频处理应用程序146对音频信号进行的定 制的音频处理过程的一部分时，声学过滤器或EQ曲线以特定频率调 整音频信号的幅值。因此，被特定用户选择并且在音频环境110中的 一个中回放的音频内容被修改成适合该用户的个人收听偏好。替代地 或另外地，在一些实施方案中，用户偏好简档121包括其他用户优选 的信号处理，诸如对音频信号的动态范围压缩、动态扩展、音频限制 和/或空间处理。在此类实施方案中，当被用户选择时，此用户优选 的信号处理也可以由音频处理应用程序146用来当在音频环境110中 的一个中回放时修改音频内容。
在一些实施方案中，用户偏好简档121包括反映与用户简档数据 库120相关联的特定用户优选的音频均衡的一个或多个基于用户偏 好的EQ曲线。在此类实施方案中，基于用户偏好的EQ曲线可以是 在用户对优选的收听设置的设置期间选择的预设EQ曲线。替代地或 另外地，在此类实施方案中，基于用户偏好的EQ曲线可以是与不同 的用户相关联的预设EQ曲线，诸如与公知的音乐家或知名人士相关 联的基于偏好的EQ曲线。替代地或另外地，在此类实施方案中，基 于用户偏好的EQ曲线可以是包括在用户对优选的收听设置的设置期 间由用户执行的一个或多个离散幅值调整的EQ曲线。替代地或另外 地，在此类实施方案中，基于用户偏好的EQ曲线可以包括特定用户 所特有的头部相关传递函数(HRTF)信息。这样的基于用户偏好的EQ 曲线可以在被音频处理应用程序146用作定制的音频处理过程的一 部分时针对与该用户偏好EQ曲线相关联的特定用户实现沉浸式和/ 或三维音频体验。
在一些实施方案中，每个用户偏好曲线121可以与一个或多个特 定类别的音乐的回放、一天的一个或多个特定时间、经由一个或多个 传感器108从用户接收到的生物特征反馈(可以指示情绪)的特定集合 等等相关联。因此，对于同一用户，可以采用不同的用户偏好曲线 121来产生不同的个性化音频环境。例如，基于经由移动计算装置140 的用户界面进行的用户选择，可以采用不同的用户偏好EQ曲线来为 用户产生个性化音频环境。
环境EQ简档122包括用来在任何音频环境110中为特定用户产 生个性化音频体验的位置特定信息。在一些实施方案中，环境EQ简 档122包括各自被配置为用于特定音频环境110和/或特定音频环境 110内的特定位置的声学过滤器和/或EQ曲线。
在一些实施方案中，环境EQ简档122中的一个被配置为向由在 特定音频环境110内产生的声音和/或音频环境110中的表面的相互 作用而引起的问题提供EQ补偿。例如，当这样的环境EQ简档122 被用作音频处理应用程序146的定制的音频处理过程的一部分时，用 户的音频体验可以在车辆中的特定座椅位置或房间内的位置得到改 进。对于固定的环境，诸如具有已知的扬声器类型和位置的特定车辆 内部，这样的环境EQ简档122可以在没有用户交互的情况下确定并 且作为预设座椅校正EQ的选项提供给用户。替代地或另外地，这样 的预设环境EQ简档122还可以由用户在个性化音频系统100的用户 声音偏好测试或设置操作期间修改。对于其他环境，诸如特定房间内 的特定位置，可以基于用户交互经由测试来确定环境EQ简档122， 诸如在该特定房间内的特定位置经由扬声器107(例如，智能扬声器 103)、传感器108和移动计算装置140执行的用户声音偏好测试。在 一些实施方案中，用户声音偏好测试可以经由控制应用程序145、音 频处理应用程序146或在移动计算装置140上运行的任何其他合适的 软件应用程序来执行。
听力缺陷补偿简档123包括可以用来补偿与特定用户相关联的 听力缺陷的用户特定信息。根据各种实施方案，此类听力缺陷补偿可 以是与用户简档数据库120相关联的用户的个性化音频体验的组成。 通常，听力缺陷补偿简档123包括被选择来补偿在与用户简档数据库 120相关联的用户中检测到或以其他方式与其相关联的听力缺陷的一 个或多个增益压缩曲线。在一些实施方案中，此类增益压缩曲线可以 实现多频段压缩，其中音频信号的频谱的不同部分精力不同水平的增 益压缩。增益压缩可以增加低于阈值水平的低水平声音，而不会使较 高水平的声音变得令人不快地大。因此，增益压缩用来补偿特定用户 的听力缺陷，并且此增益压缩经由包括在听力缺陷补偿简档123中的 一个或多个增益压缩曲线来实现。
在一些实施方案中，基于例如通过经由在移动计算装置140上运 行的合适软件应用程序向用户递送的问卷而从用户收集的人口统计 信息来确定特定用户的听力缺陷。在此类实施方案中，可以在个性化 音频系统100的设置操作期间向用户递送问卷。在其他实施方案中， 可以基于经由一个或多个扬声器107、一个或多个传感器108和移动 计算装置140执行的一个或多个听力测试来确定此类听力缺陷。在任 一种情况下，确定在某些频段的听力缺陷，并且基于此类听力缺陷而 选择合适的听力缺陷补偿简档123。例如，可以基于从用户收集的人 口统计信息和/或听力测试信息而为用户选择或构建特定增益压缩曲线。该特定增益压缩曲线然后被包括在该用户的听力缺陷补偿简档 123中，并且可以由音频处理应用程序146用作定制的音频处理过程 的一部分以便为该用户产生个性化音频体验。因此，可以在任何音频 环境110中向用户提供包括听力补偿的个性化音频体验。
图2是根据本公开的各种实施方案的用于生成使音频体验个性 化的用户特定信息的方法步骤的流程图。由所述方法步骤生成的用户 特定信息可以包括一个或多个用户偏好简档121、环境EQ简档122 和/或听力缺陷补偿简档123。尽管关于图1的系统描述了方法步骤， 但是本领域技术人员将理解，被配置为以任何次序执行方法步骤的任 何系统都落在各种实施方案的范围内。
如图所示，方法200在步骤201处开始，其中在移动计算装置 140上运行的合适的软件应用程序(诸如控制应用程序145)接收用户 输入以发起对当前用户的听力缺陷测试。
在步骤202中，软件应用程序选择特定听力缺陷测试以执行。每 个此类听力缺陷测试可以确定与用户相关联的听力缺陷补偿信息。例 如，在一些实施方案中，某些听力缺陷测试可以特定于不同的音频环 境110和/或特定于特定用户。因此，在此类实施方案中，可以根据 当前音频环境110而为用户选择不同的听力缺陷测试。此外，在一些 实施方案中，可以选择不同类型的听力缺陷测试，诸如基于人口统计 信息的听力缺陷测试和基于量化多个频段的听力损失的听力缺陷测 试。
在步骤203中，软件应用程序执行在步骤202中选择的听力缺陷 测试。例如，在一些情况下，可以收集人口统计用户信息以确定哪种 听力缺陷补偿可能有益于该用户。替代地或另外地，在一些实施方案 中，经由软件应用程序、设置在当前音频环境110中的一个或多个扬 声器107以及设置在当前音频环境110中的一个或多个传感器108来 执行听力缺陷测试。在此类实施方案中，可以针对多个频段中的每一 个将用户的听力缺陷量化，并且将此类测试的结果包括在用户的听力 缺陷补偿简档123中。
在步骤204中，软件应用程序确定是否要针对当前音频环境110 中的用户执行任何剩余的听力缺陷测试。例如，在一些实施方案中， 软件应用程序用尚未被用户执行的听力缺陷测试的列表来提示用户。 如果是的话，那么方法200返回到步骤202并且选择要执行的另一个 听力缺陷测试；如果否的话，那么方法200进行到步骤205。
在步骤205中，软件应用程序接收用户输入以发起对当前用户和 /或音频环境110的个性化测试。
在步骤206中，软件应用程序选择特定个性化测试以执行。例如， 在一些实施方案中，可能的个性化测试包括但不限于用于确定用户的 特定用户偏好简档121的个人EQ偏好测试、用于确定由用户指定的 特定音频环境110的特定环境EQ简档122的环境EQ测试，以及用 于确定用户的特定HRTF的HRTF测试。
在步骤207中，软件应用程序执行在步骤206中选择的个性化测 试。例如，在执行个人EQ偏好测试的情况下，可以经由当前音频环 境110向用户展示预设声学过滤器或其他声学简档，使得用户可以选 择提供最佳音频体验的预设声学简档。在此类个性化测试期间，软件 应用程序可以显示包括一个或多个预设声学过滤器响应的声学预设 排名屏幕。用户然后可以收听由预设声学过滤器响应中的每一个按次 序处理的测试声音，并且基于个人偏好对预设声学过滤器响应进行排 名。在一些实施方案中，这样采用的预设声学过滤器是基于与用户相 关的数据。例如，软件应用程序可以检索与用户相关联或由用户输入的人口统计数据相关的历史数据，以选择在人口统计范围内的用户先 前排名较高的一个或多个预设声学过滤器。替代地或另外地，在一些 实施方案中，此类个性化测试包括依赖于由用户做出的A/B选择的 “验光测试”型测试。此类验光测试型测试可以迅速地缩小到基于A/B 比较收听测试的选择。替代地或另外地，在一些实施方案中，此类个 性化测试提供对选定的预设声学过滤器响应的特定频段水平的离散 编辑。
在执行环境EQ测试的情况下，可以经由当前音频环境110向用 户展示预设声学过滤器，使得用户可以选择过去排名较高的预设声学 过滤器，以提供由用户指示的特定音频环境110的最佳音频体验。在 此类个性化测试期间，软件应用程序可以显示包括一个或多个预设声 学过滤器响应的声学预设排名屏幕，并且还对不同的预设声学过滤器 执行次序或A/B测试。替代地或另外地，在一些实施方案中，此类环 境EQ测试使得用户能够对选定的预设声学过滤器响应的特定频段水 平执行离散编辑。例如，在一些实施方案中，显示不同的滑动条以用 于选择每个频段的期望增益。
在执行HRTF测试的情况下，基于影响音频环境110中的声音的 定位的用户的特性(诸如用户的人体测量特征)来确定用户的特定 HRTF值。然后将用户的特定HRTF值包括在用户偏好数据库120中 作为可以用于处理音频信号的用户偏好简档121。当在音频环境110中播放基于HRTF处理的音频信号的音频输出时，用户的听力通常将 音频输出解释为来自所有方向，而不是来自设置在音频环境110内的 离散音频装置。
在步骤208中，软件应用程序确定是否要针对当前音频环境110 中的用户执行任何剩余的个性化测试。例如，在一些实施方案中，软 件应用程序用尚未被用户执行的个性化测试的列表来提示用户。如果 是的话，那么方法200返回到步骤206并且选择要执行的另一个个性 化测试；如果否的话，那么方法200进行到步骤209。
在步骤209中，软件应用程序将经由上述个性化测试确定的用户 特定和/或环境特定信息包括在用户简档数据库120中。
返回到图1，装置简档数据库130包括各自与特定音频装置相关 联的多个装置特定EQ曲线131，诸如耳机、车载音频系统的特定品 牌和型号、智能扬声器的品牌和型号等。此外，每个装置特定EQ曲 线131被配置为在音频信号被相关联的音频装置回放之前修改音频 信号，其中音频信号被修改为补偿该音频装置的非理想频率响应。在 一些实施方案中，理想的音频系统生成音频输出，其中音频输出所基 于的输入信号很少失真或不失真。也就是说，理想的音频系统在系统 的操作频率(例如，20Hz至20kHz)上以频率响应的均匀平坦幅值表 现。另外，在理想的音频系统中，音频输出在系统的所有操作频率下 都延迟确切地相同时间量。在实践中，任何给定的音频系统具有与理 想的音频系统的上述频率响应不同的不同频率响应。此外，很多扬声 器具有包括在某些频率处的峰和谷和/或过分强调某些频率处的响应 的粗糙非平坦频率响应。通常，具有非平坦频率响应的扬声器生成增 加了大多数用户可听见且普遍不喜欢的谐振或音调变化的音频输出。 因此，尽管大量的努力和资源被用于捕获具有高质量录音的特定音乐 表演，但回放装置的频率响应可以大大降低在收听录音时的用户体 验。
在一些实施方案中，经由对特定音频装置(诸如一副耳机、智能 扬声器、车载音频系统的扬声器、常规扬声器等)的标准测试或其他 性能量化测试来构建每个装置特定EQ曲线131。然后将装置特定EQ 曲线131存储在装置简档数据库130中并且使得其可供移动计算装置 140的音频处理应用程序146使用。因此，根据各种实施方案，当音 频处理应用程序146检测到特定音频装置时，可以将适当的装置特定 EQ曲线131合并到由音频处理应用程序146对音频信号进行的定制 的音频处理过程中。因此，经由定制的音频处理过程从特定用户的音 频信号中生成的个性化音频体验可以包括补偿音频装置的非理想频 率响应，从而提供个性化音频体验。
移动计算装置140可以是能够被配置为实现本文描述的本公开 的至少一个方面的任何移动计算装置，包括智能电话、电子平板、膝 上型计算机等。通常，移动计算装置140可以是能够执行应用程序(包 括但不限于，与控制应用程序145和/或音频处理应用程序146相关 联的指令)的任何类型的装置。在一些实施方案中，移动计算装置140 还被配置为存储本地用户简档数据库143，该本地用户简档数据库可 以包括用户偏好简档121、环境EQ简档122和/或听力缺陷补偿简档 123中的一个或多个。替代地或另外地，在一些实施方案中，移动计 算装置140还被配置为存储音频内容144，诸如音频内容的数字录音。
控制应用程序145被配置为执行移动计算装置140与用户简档数 据库120、装置简档数据库130和音频环境110之间的通信。在一些 实施方案中，控制应用程序145还被配置为向用户呈现用户界面(未 示出)，以实现个性化音频系统100的用户声音偏好测试、听力测试 和/或设置操作。在一些实施方案中，控制应用程序145还被配置为 基于用户特定音频处理信息和装置特定音频处理信息而生成对音频 信号的定制的音频处理过程。例如，用户特定音频处理信息可以包括 一个或多个用户偏好简档121和/或听力缺陷补偿简档123，而装置特 定音频处理信息可以包括一个或多个环境EQ简档122和/或装置特定 EQ曲线131。
在一些实施方案中，针对一个或多个特定收听场景，控制应用程 序145通过生成复合EQ曲线141和/或复合增益曲线142来生成定制 的音频处理过程。通常，每个特定收听场景是用户和收听环境110的 唯一组合。因此，对于特定用户，控制应用程序145被配置为针对其 中预期用户具有个性化音频体验的每个收听环境110生成不同的复 合EQ曲线141和/或复合非线性处理142。例如，当用户在特定汽车 音频环境101(诸如特定品牌和型号的车辆中的特定座椅)中时，控制 应用程序145基于一些或所有适用EQ曲线而生成复合EQ曲线141。 在这种情况下，适用EQ曲线的示例包括但不限于与用户相关联的一 个或多个适用用户偏好简档121、适用于用户所在的特定汽车音频环 境101的环境EQ简档122、适用于特定汽车音频环境101的装置特 定EQ曲线131、听力缺陷补偿简档123。
在一些实施方案中，控制应用程序145通过将所有适用EQ简档 的操作合计到单个声音均衡曲线中来生成特定收听场景的复合EQ曲 线141。因此，在由音频处理应用程序146执行的定制的音频处理过 程中，可以通过复合EQ曲线141来修改音频信号，而不是通过多个 EQ简档顺序地处理。在一些实施方案中，控制应用程序145还通过 将用户偏好简档121和/或听力缺陷补偿简档123的所有适用的非线 性处理部分的操作合计到单个复合非线性处理142中来生成特定收 听场景的非线性处理142。例如，此类非线性处理可以包括但不限于 听力缺陷补偿简档123中包括的一个或多个增益压缩操作、用户偏好 简档121中包括的一个或多个动态范围压缩操作、用户偏好简档121 中包括的一个或多个音频限制操作等等。
在一些实施方案中，当控制应用程序145生成特定收听场景的复 合EQ曲线141时，将复合EQ曲线存储在本地用户简档数据库143 中和/或在用户简档数据库120中以供未来使用。类似地，在此类实 施方案中，当控制应用程序145生成特定收听场景的复合分线性处理 142时，也将复合非线性处理142存储在本地用户简档数据库143中 和/或在用户简档数据库120中以供未来使用。
在一些实施方案中，每个特定收听场景是用户、收听环境110和 来自用户简档数据库120的用户选定的用户偏好简档121的唯一组 合。在此类实施方案中，用户选定的用户偏好简档121可以是与公知 的音乐家或知名人士相关联的EQ曲线、与特定活动(例如，玩视频游 戏、锻炼、驾驶等)相关联的用户的EQ曲线、与特定类别的音乐或播 放列表相关联的用户的EQ曲线等等。因此，在这样的实施方案中， 控制应用程序145被配置为针对用户、收听环境110和用户选定的用 户偏好简档121的特定组合生成不同的复合EQ曲线141。因此，通 过选择合适的用户偏好简档121，用户可以使个性化音频体验适合于 特定音频环境110和用户偏好简档121两者。
音频处理应用程序146被配置为通过利用由控制应用程序146生 成的定制的音频处理过程处理初始音频信号来生成定制的音频信号。 更具体地，音频处理应用程序146通过利用复合EQ曲线141并且在 一些实施方案中利用复合非线性处理142修改初始音频信号来生成 定制的音频信号。下面结合图3描述一个这样的实施方案。
图3是根据本公开的各种实施方案的用于生成定制的音频信号 的方法步骤的流程图。尽管关于图1和图2的系统描述了方法步骤， 但是本领域技术人员将理解，被配置为以任何次序执行方法步骤的任 何系统都落在各种实施方案的范围内。
如图所示，方法300在步骤301处开始，其中音频处理应用程序 146识别当前用户。例如，音频处理应用程序146可以基于用户登录、 由用户输入的用户信息等而确定用户的身份信息。
在步骤302中，音频处理应用程序146访问用户特定音频信息， 诸如一个或多个用户偏好EQ曲线151、听力缺陷补偿简档123，和/ 或使得定制的音频处理过程能够产生用户的个性化音频体验的其他 用户特定收听处理信息。在一些实施方案中，音频处理应用程序146 访问用户简档数据库120中的一些或全部用户特定音频信息。替代地 或另外地，在一些实施方案中，音频处理应用程序146访问本地用户 简档数据库143中的一些或全部用户特定音频信息。
在步骤303中，音频处理应用程序146识别当前音频环境中包括 的一个或多个音频装置。例如，在一些实施方案中，控制应用程序 145基于由用户输入的信息而确定当前音频环境110的音频装置的识 别信息，并且将识别信息传送到音频处理应用程序146。在其他实施 方案中，控制应用程序145通过直接查询每个音频装置来确定或接收 音频装置的识别信息。例如，在一个这样的实施方案中，控制应用程 序145经由与音频装置的无线连接来接收媒体访问控制(MAC)地址、 型号等。
在步骤304中，音频处理应用程序146访问使得定制的音频处理 过程能够产生用户的个性化音频体验的装置特定音频信息(诸如一个 或多个装置特定EQ曲线131)。在一些实施方案中，音频处理应用程 序146访问用户简档数据库120中的一些或全部装置特定音频信息， 并且在一些实施方案中，音频处理应用程序146访问本地用户简档数 据库143中的一些或全部装置特定音频信息。
在步骤305中，音频处理应用程序146确定音频环境特定的音频 处理信息是否可用。例如，基于在步骤303中确定的音频装置的识别 信息，控制应用程序145可以确定当前音频环境110包括与特定车辆 内部相关联的音频系统或者已经与特定房间或用于已经执行环境EQ 测试的其他位置相关联的智能扬声器。如果否的话，那么方法300进 行到步骤307；如果是的话，那么方法300进行到步骤306。
在步骤306中，音频处理应用程序146访问使得定制的音频处理 过程能够产生用户的个性化音频体验的环境特定音频信息(例如，诸 如一个或多个环境特定EQ简档122)。在一些实施方案中，音频处理 应用程序146访问用户简档数据库120中的一些或全部环境特定音频 信息，并且在一些实施方案中，音频处理应用程序146访问本地用户 简档数据库143中的一些或全部环境特定音频信息。
在步骤307中，音频处理应用程序146基于在步骤302、304和 306中访问的音频信息而生成定制的音频处理过程。具体地，针对当 前收听场景，音频处理应用程序146通过生成复合EQ曲线141和/ 或复合非线性处理142来生成定制的音频处理过程。如上所述，当前收听场景可以基于当前用户、当前收听环境110，以及在一些实施方 案中，由用户选择的用户偏好简档121和/或听力缺陷补偿简档123 的组合。
在步骤308中，音频处理应用程序146经由在步骤307中生成的 定制的音频处理过程来修改音频信号。在一些实施方案中，从本地存 储在移动计算装置140中的音频内容144来生成音频信号。在其他实 施方案中，从接收自流服务104的音频内容生成音频信号。
根据各种实施方案，经由定制的音频处理过程来修改音频信号是 以两个阶段进行。首先，使用复合EQ曲线141来处理音频信号以生 成修改的音频信号。然后对修改的音频信号执行增益修改操作以生成 定制的音频信号，该定制的音频信号当在适当的音频环境110中播放 时产生用户的个性化音频体验。应当注意，结合来形成复合EQ曲线 141的多个均衡或过滤操作并不是在音频信号上连续地执行，而是在 单个操作中执行。因此，音频信号中的噪声水平没有增加，当一个 EQ操作在特定频段中降低该水平并且随后的EQ操作在该频段中放 大该水平时可能出现噪声水平增加。类似地，还可以防止或减少限幅， 因为当一个EQ操作在超出阈值极限的特定频段中放大音频信号的水 平并且随后的EQ操作降低该频段的水平时可能出现限幅。
在图1所示的实施方案中，移动计算装置140、在移动计算装置 140上运行的一个或多个软件应用程序以及基于云的服务的组合将个 性化音频体验递送到各种音频环境110。在其他实施方案中，各种音 频环境中的一个或多个音频装置与基于云的服务直接通信以在各种 音频环境的每一个中实现个性化音频体验。在此类实施方案中，移动 计算装置可以提供用户界面和/或音频系统控制界面，但不作为用于 生成和/或实现音频信号的定制的音频处理过程的处理引擎操作。相 反，在基于云的服务中执行一些或全部定制的音频处理过程，并且在 音频环境中所包括的智能装置中本地地执行使用定制的音频处理过程的一些或全部音频处理。下面结合图4描述一个这样的实施方案。
图4是示出被配置为实现本公开的一个或多个方面的个性化音 频系统400的示意图。个性化音频系统400包括但不限于包括至少一 个可编程音频装置440的一个或多个音频环境410、用户简档数据库 120、装置简档数据库130，以及移动计算装置440。个性化音频系统 400被配置为向特定用户提供个性化音频体验，而不管哪个特定音频 环境410当前在向用户提供音频体验。个性化音频系统400的操作类 似于个性化音频系统100，除了在云基础设施105中运行的控制应用 程序445生成定制的音频处理过程以用于修改音频信号来在特定音 频环境中回放。此外，在与特定音频环境相关联的一个或多个可编程 音频装置440中执行使用定制的音频处理过程的音频信号处理。因 此，控制应用程序445生成类似于图1的复合EQ曲线141的复合 EQ曲线和/或类似于图1的复合非线性处理142的复合增益曲线。
在一些实施方案中，定制的音频处理过程通过编程到可编程音频 装置440的内部音频处理器446中而在个性化音频系统400中实现。 在此类实施方案中，与定制的音频处理过程相关联的音频处理由内部 音频处理器446执行，该内部音频处理器可以是可编程的数字信号处 理器(DSP)或其他处理器。音频信号(例如来自流服务104或基于音频 内容144)由内部音频处理器446使用定制的音频处理过程来修改，以 生成定制的音频信号444。当包括在可编程音频装置440中或以其他 方式与其相关联的扬声器408产生基于定制的音频信号444的声音输 出449时，为音频环境410中的用户产生个性化音频体验。因此，在 图4所示的实施方案中，音频信号(例如来自流服务104或基于音频 内容144)由内部音频处理器445利用定制的音频处理过程进行处理， 而不是由在音频环境410中所包括的音频装置外部的处理器处理。
图5是被配置为实现各种实施方案的一个或多个方面的计算系 统500的概念框图。计算系统500可以是能够执行应用程序(包括但 不限于，与控制应用程序145、音频处理应用程序146和/或控制应用 程序445相关联的指令)的任何类型的装置。例如但不限于，计算系 统500可以是电子平板、智能电话、膝上型计算机、结合到车辆中的 信息娱乐系统、家庭娱乐系统等。替代地，计算系统500可以被实现 为独立芯片，诸如微处理器，或者作为被实现为专用集成电路(ASIC)、 片上系统(SoC)等的更全面解决方案的一部分。应当注意，本文所述 的计算系统是说明性的，并且任何其他技术上可行的配置落在本发明 的范围内。
如图所示，计算系统500包括但不限于互连(总线)540，其将处理 器550、耦合到输入/输出(I/O)装置580的I/O装置接口560、存储器 510、存储设备530以及网络接口570相连接。处理器550可以是被 实现为以下项的任何合适的处理器：中央处理单元(CPU)、专用集成 电路(ASIC)、现场可编程门阵列(FPGA)、任何其他类型的处理单元， 或者不同处理单元的组合，诸如被配置为与数字信号处理器(DSP)结 合操作的CPU。例如，在一些实施方案中，处理器550包括CPU和 DSP。一般来说，处理器550可以是能够处理数据和/或执行指令以促进图5的计算系统500的操作的任何技术上可行的硬件单元，如本文 所述。此外，在本公开的上下文中，计算装置500中示出的计算元件 可以对应于物理计算系统(例如，数据中心中的系统)，或者可以是在 计算云内执行的虚拟计算实例。
I/O装置580可以包括能够提供输入的装置，诸如键盘、鼠标、 触敏屏麦克风581等等，以及能够提供输出的装置，诸如扬声器582 和显示屏。显示屏可以是计算机显示器、视频显示屏、结合到手持式 装置中的显示设备，或者任何其他技术上可行的显示屏。扬声器582 的特定实例可以包括作为诸如图1中的个性化音频系统100或图4中 的个性化音频系统400的音频系统的元件的一个或多个扬声器。
I/O装置580可以包括能够接收输入和提供输出的附加装置，诸 如触摸屏、通用串行总线(USB)端口等等。此类I/O装置580可以被 配置为从计算装置500的终端用户接收各种类型的输入，并且还将各 种类型的输出提供到计算装置500的终端用户，诸如所显示的数字图 像或数字视频。在一些实施方案中，I/O装置580中的一个或多个被 配置为将计算装置500耦合到通信网络505。
I/O接口560实现I/O装置580与处理器550的通信。I/O接口通 常包括用于解释由处理器550生成的对应于I/O装置580的地址。I/O 接口560还可以被配置为实现处理器550与I/O装置580之间的信号 交换，和/或生成与I/O装置580相关联的中断。I/O接口560可以被 实现为任何技术上可行的CPU、ASIC、FPGA、任何其他类型的处理 单元或装置。
网络接口570是将处理器550连接到通信网络505的计算机硬件 部件。网络接口570可以在计算装置500中实现为独立卡、处理器或 其他硬件装置。在通信网络505包括
Figure BDA0002354661560000191
网络或WPAN的实施方 案中，网络接口570包括合适的无线收发器。替代地或另外地，网络 接口570可以被配置为具有蜂窝通信能力、卫星电话通信能力、无线 WAN通信能力，或者允许与通信网络505和在计算系统500外部的 其他计算装置500通信的其他类型的通信能力。
存储器510可以包括随机存取存储器(RAM)模块、快闪存储器单 元，或者任何其他类型的存储器单元或其组合。处理器550、I/O装 置接口560和网络接口570被配置为从存储器510读取数据和将数据 写入该存储器。存储器510包括可以由处理器550执行的各种软件程 序以及与所述软件程序相关联的应用程序数据，包括控制应用程序 145、音频处理应用程序146和/或控制应用程序445。
存储设备530可以包括非暂时性计算机可读介质，诸如非易失性 存储装置。在一些实施方案中，存储设备530包括用户简档数据库 120、装置简档数据库130和/或本地用户简档数据库143。
总之，各种实施方案阐述了用于向各种音频环境中的用户提供基 于装置和/或基于云的个性化音频体验的系统和技术，其中个性化音 频体验针对特定用户的收听偏好和听力缺陷经由个人声音和音频体 验调整进行优化。在实施方案中，生成基于用户特定、音频装置特定 和环境特定的信息的定制的音频处理过程。当定制的音频处理过程用 来在回放之前修改音频信号时，用户可以具有适合于用户的收听偏好 的个性化音频体验。
所公开的技术相对于现有技术的至少一个技术优点在于，所公开 的技术为听众实现个性化音频体验，而不管当前音频环境如何。具体 地，听众的个人偏好和/或听力缺陷简档可以自动地应用于任何音频 环境，同时还考虑到音频环境的音频特性，而听众无需在每个音频环 境中重新定制音频系统。另一个优点在于，可以在音频环境中实现个 性化音频体验，该音频环境包括执行一些或全部的音频信号处理以产 生个性化音频体验的智能音频装置或者不执行音频信号处理的“哑” 音频装置。这些技术优点呈现优于现有技术方法的一个或多个技术改 进。
1.在一些实施方案中，一种音频信号处理的方法包括：访问特 定用户的用户特定音频处理信息；确定用于从音频信号产生声音输出 的音频装置的身份信息；基于所述音频装置的所述身份信息，访问所 述音频装置的装置特定音频处理信息；基于所述用户特定音频处理信 息和所述装置特定音频处理信息而生成所述音频信号的定制的音频 处理过程；以及通过利用所述定制的音频处理过程处理所述音频信号 来生成定制的音频信号。
2.如条款1的方法，所述方法还包括使所述音频装置从所述定 制的音频信号产生声音输出。
3.如条款1或2的方法，其中使所述音频装置从所述定制的音 频信号产生声音输出包括经由无线连接将所述定制的音频信号传输 到所述音频装置。
4.如条款1至3中任一项的方法，其中经由在所述音频装置外 部的处理器来执行所述利用所述定制的音频处理过程处理所述音频 信号。
5.如条款1至4中任一项的方法，其中经由在所述音频装置中 包括的处理器来执行所述利用所述定制的音频处理过程处理所述音 频信号。
6.如条款1至5中任一项的方法，其中访问所述特定用户的用 户特定音频处理信息包括：确定所述特定用户的身份信息；以及基于 所述特定用户的所述身份信息，从基于云的储库检索所述用户特定音 频处理信息。
7.如条款1至6中任一项的方法，其中访问所述特定用户的用 户特定音频处理信息包括：确定所述特定用户的身份信息；以及基于 所述特定用户的所述身份信息，从被配置为生成所述定制的音频处理 过程的计算装置检索所述用户特定音频处理信息。
8.如条款1至7中任一项的方法，其中生成所述定制的音频处 理过程包括从所述用户特定音频处理信息或所述装置特定音频处理 信息中的至少一个中包括的信息生成复合声音均衡曲线。
9.如条款1至8中任一项的方法，其中生成所述复合声音均衡 曲线包括将所述用户特定音频处理信息或所述装置特定音频处理信 息中包括的所有声音均衡曲线组合。
10.如条款1至9中任一项的方法，其中利用所述定制的音频处 理过程生成所述定制的音频信号包括：通过利用所述复合声音均衡曲 线修改所述音频信号来生成修改的音频信号；以及对所述修改的音频 信号执行所述用户特定音频信息或所述装置特定音频信息中的至少 一个中指示的增益修改操作。
11.在一些实施方案中，一种非暂时性计算机可读介质存储指 令，所述指令在被处理器执行时使所述处理器执行以下步骤：访问特 定用户的用户特定音频处理信息；确定用于从音频信号产生声音输出 的音频装置的身份信息；基于所述音频装置的所述身份信息，访问所 述音频装置的装置特定音频处理信息；基于所述用户特定音频处理信 息和所述装置特定音频处理信息而生成所述音频信号的定制的音频 处理过程；以及通过利用所述定制的音频处理过程处理所述音频信号 来生成定制的音频信号。
12.如条款11的非暂时性计算机可读介质，其中基于所述用户 特定音频处理信息和所述装置特定音频处理信息而生成所述音频信 号的所述定制的音频处理过程包括基于环境特定信息而生成所述音 频信号的所述定制的音频处理过程。
13.如条款11或12的非暂时性计算机可读介质，所述方法还包 括基于所述音频装置的所述身份信息和所述特定用户的身份信息中 的至少一个而确定所述环境特定信息。
14.如条款11至13中任一项的非暂时性计算机可读介质，其中 访问所述特定用户的用户特定音频处理信息包括：接收指示特定均衡 简档的用户输入；以及访问所述特定均衡简档。
15.如条款11至14中任一项的非暂时性计算机可读介质，其中 生成所述定制的音频处理过程包括基于所述特定均衡简档而生成所 述定制的音频处理过程。
16.如条款11至15中任一项的非暂时性计算机可读介质，所述 方法还包括基于由所述特定用户执行的个性化测试而生成所述特定 均衡简档。
17.如条款11至16中任一项的非暂时性计算机可读介质，其中 访问所述特定用户的用户特定音频处理信息包括：确定所述特定用户 的身份信息；以及基于所述特定用户的所述身份信息，从基于云的储 库检索所述用户特定音频处理信息。
18.如条款11至17中任一项的非暂时性计算机可读介质，其中 访问所述特定用户的用户特定音频处理信息包括：确定所述特定用户 的身份信息；以及基于所述特定用户的所述身份信息，从被配置为生 成所述定制的音频处理过程的计算装置检索所述用户特定音频处理 信息。
19.如条款11至18中任一项的非暂时性计算机可读介质，其中 生成所述定制的音频处理过程包括从所述用户特定音频处理信息或 所述装置特定音频处理信息中的至少一个中包括的信息生成复合声 音均衡曲线。
20.在一些实施方案中，一种系统包括：存储器，所述存储器存 储指令；以及处理器，所述处理器耦合到所述存储器，并且被配置为 在执行所述指令时执行以下步骤：访问特定用户的用户特定音频处理 信息；确定用于从音频信号产生声音输出的音频装置的身份信息；基 于所述音频装置的所述身份信息，访问所述音频装置的装置特定音频 处理信息；基于所述用户特定音频处理信息和所述装置特定音频处理 信息而生成所述音频信号的定制的音频处理过程；以及通过利用所述 定制的音频处理过程处理所述音频信号来生成定制的音频信号。
权利要求中的任一项所述的权利要求要素中的任一个和/或本申 请中所述的任何要素的任何和所有组合都落入本发明的预期的保护 范围内。
已经出于说明目的呈现了对各种实施方案的描述，但是这些描述 并非意图是详尽的或限制于所公开的实施方案。在不脱离所描述的实 施方案的范围和精神的情况下，许多修改和变化对本领域的普通技术 人员将是显而易见的。
本发明实施方案的各方面可以体现为系统、方法或计算机程序产 品。因此，本公开的各方面可以采取完全硬件实施方案、完全软件实 施方案(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实 施方案的形式，所述软件和硬件方面在本文中可以全部概括地称为 “模块”或“系统”。另外，本公开中描述的任何硬件和/或软件技术、过 程、功能、部件、引擎、模块或系统都可以被实现为电路或电路组。 此外，本公开的各方面可以采取体现在至少一个计算机可读介质中的 计算机程序产品的形式，所述一个或多个计算机可读介质具有在其上 体现的计算机可读程序代码。
可以利用至少一个计算机可读介质的任何组合。计算机可读介质 可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储 介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系 统、设备或装置，或者前述的任何合适的组合。计算机可读存储介质 的更具体示例(非详尽列表)将包括以下项：具有至少一条接线的电气 连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储 器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、 便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置， 或者前述的任何合适的组合。在本文档的背景中，计算机可读存储介 质可以是可包含或存储由或结合指令执行系统、设备或装置使用的程 序的任何有形介质。
以上参考根据本公开的实施方案的方法、设备(系统)和计算机程 序产品的流程图和/或框图来描述本公开的各方面。应理解，可以通 过计算机程序指令来实现流程图和/或框图中的每个框以及流程图和/ 或框图中的框组合。这些计算机程序指令可以被提供给通用计算机、 专用计算机或其他可编程数据处理设备的处理器以产生一种机器，使 得经由计算机或其他可编程数据处理设备的处理器执行的指令实现 流程图和/或框图的一个或多个框中指定的功能/动作的实现方式。这 样的处理器可以是，但不限于，通用处理器、专用处理器、应用特定 的处理器或现场可编程处理器或门阵列。
附图中的流程图和框图示出了根据本公开的各种实施方案的系 统、方法和计算机程序产品的可能的实现方式的架构、功能和操作。 就这一点而言，流程图或框图中的每个框都可以表示代码的模块、片 段或部分，所述代码包括用于实现指定的逻辑功能的至少一个可执行 指令。还应注意，在一些替代性实现方式中，框中指出的功能可以按 附图中指出的次序以外的次序发生。例如，连续示出的两个框实际上 可以基本上同时执行，或者所述框有时可以按相反的次序执行，这取 决于所涉及的功能。还应注意，框图和/或流程图中的每个框以及框 图和/或流程图中的框组合可以由执行指定功能或动作的基于专用硬 件的系统、或专用硬件和计算机指令的组合来实现。
虽然前述内容针对的是本公开的实施方案，但是在不脱离本公开 的基本范围的情况下可以设想本公开的其他和另外的实施方案，并且 本公开的范围由所附权利要求书确定。

Claims (15)

1.一种音频信号处理的方法，所述方法包括：
访问特定用户的用户特定音频处理信息；
确定用于从音频信号产生声音输出的音频装置的身份信息；
基于所述音频装置的所述身份信息，访问所述音频装置的装置特定音频处理信息；
基于所述用户特定音频处理信息和所述装置特定音频处理信息而生成所述音频信号的定制的音频处理过程；以及
通过利用所述定制的音频处理过程处理所述音频信号来生成定制的音频信号。
2.如权利要求1所述的方法，所述方法还包括使所述音频装置从所述定制的音频信号产生声音输出。
3.如权利要求2所述的方法，其中使所述音频装置从所述定制的音频信号产生声音输出包括经由无线连接将所述定制的音频信号传输到所述音频装置。
4.如权利要求3所述的方法，其中经由在所述音频装置外部的处理器来执行利用所述定制的音频处理过程处理所述音频信号。
5.如权利要求2所述的方法，其中经由在所述音频装置中包括的处理器来执行利用所述定制的音频处理过程处理所述音频信号。
6.如权利要求1所述的方法，其中访问所述特定用户的用户特定音频处理信息包括：
确定所述特定用户的身份信息；以及
基于所述特定用户的所述身份信息，从基于云的储库检索所述用户特定音频处理信息。
7.如权利要求1所述的方法，其中访问所述特定用户的用户特定音频处理信息包括：
确定所述特定用户的身份信息；以及
基于所述特定用户的所述身份信息，从被配置为生成所述定制的音频处理过程的计算装置检索所述用户特定音频处理信息。
8.如权利要求1所述的方法，其中生成所述定制的音频处理过程包括从所述用户特定音频处理信息或所述装置特定音频处理信息中的至少一个中包括的信息生成复合声音均衡曲线。
9.如权利要求8所述的方法，其中生成所述复合声音均衡曲线包括将所述用户特定音频处理信息或所述装置特定音频处理信息中包括的所有声音均衡曲线组合。
10.如权利要求8所述的方法，其中利用所述定制的音频处理过程生成所述定制的音频信号包括：
通过利用所述复合声音均衡曲线修改所述音频信号来生成修改的音频信号；以及
对所述修改的音频信号执行所述用户特定音频信息或所述装置特定音频信息中的至少一个中指示的增益修改操作。
11.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储指令，所述指令在被处理器执行时使所述处理器执行以下步骤：
访问特定用户的用户特定音频处理信息；
确定用于从音频信号产生声音输出的音频装置的身份信息；
基于所述音频装置的所述身份信息，访问所述音频装置的装置特定音频处理信息；
基于所述用户特定音频处理信息和所述装置特定音频处理信息而生成所述音频信号的定制的音频处理过程；以及
通过利用所述定制的音频处理过程处理所述音频信号来生成定制的音频信号。
12.如权利要求11所述的非暂时性计算机可读介质，其中基于所述用户特定音频处理信息和所述装置特定音频处理信息而生成所述音频信号的所述定制的音频处理过程包括基于环境特定信息而生成所述音频信号的所述定制的音频处理过程。
13.如权利要求12所述的非暂时性计算机可读介质，所述方法还包括基于所述音频装置的所述身份信息和所述特定用户的身份信息中的至少一个而确定所述环境特定信息。
14.如权利要求11所述的非暂时性计算机可读介质，其中访问所述特定用户的用户特定音频处理信息包括：
接收指示特定均衡简档的用户输入；以及
访问所述特定均衡简档。
15.一种系统，所述系统包括：
存储器，所述存储器存储指令；以及
处理器，所述处理器耦合到所述存储器，并且被配置为在执行所述指令时执行以下步骤：
访问特定用户的用户特定音频处理信息；
确定用于从音频信号产生声音输出的音频装置的身份信息；
基于所述音频装置的所述身份信息，访问所述音频装置的装置特定音频处理信息；
基于所述用户特定音频处理信息和所述装置特定音频处理信息而生成所述音频信号的定制的音频处理过程；以及
通过利用所述定制的音频处理过程处理所述音频信号来生成定制的音频信号。
CN202010004297.4A 2019-01-04 2020-01-03 基于用户特定和硬件特定音频信息的定制的音频处理 Pending CN111415673A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962788677P 2019-01-04 2019-01-04
US62/788,677 2019-01-04
US16/730,064 US11134353B2 (en) 2019-01-04 2019-12-30 Customized audio processing based on user-specific and hardware-specific audio information
US16/730,064 2019-12-30

Publications (1)

Publication Number Publication Date
CN111415673A true CN111415673A (zh) 2020-07-14

Family

ID=69105732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010004297.4A Pending CN111415673A (zh) 2019-01-04 2020-01-03 基于用户特定和硬件特定音频信息的定制的音频处理

Country Status (5)

Country Link
US (1) US11134353B2 (zh)
EP (1) EP3678388A1 (zh)
JP (1) JP7481116B2 (zh)
KR (1) KR20200085226A (zh)
CN (1) CN111415673A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2588197A (en) * 2019-10-14 2021-04-21 Global Radio Services Ltd Audio-based user matching
US11470162B2 (en) * 2021-01-30 2022-10-11 Zoom Video Communications, Inc. Intelligent configuration of personal endpoint devices
DK180999B1 (en) * 2021-02-26 2022-09-13 Gn Hearing As Fitting agent and method of determining hearing device parameters
CN113086547A (zh) * 2021-03-04 2021-07-09 蒋守卫 一种矿石开采用具有防溜坡功能的安全性高的运输设备
US20220295204A1 (en) * 2021-03-11 2022-09-15 Google Llc Real-Time Adaptation of Audio Playback
US20240007803A1 (en) * 2022-06-30 2024-01-04 Cerence Operating Company In-car assistive audio technologies for users with hearing loss
WO2024062757A1 (ja) * 2022-09-21 2024-03-28 ヤマハ株式会社 情報処理装置、情報処理システムおよび情報処理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1589588A (zh) * 2001-09-20 2005-03-02 声音识别公司 移动电话及为用户产生个性化音频的其他产品的声音增强
US20110293123A1 (en) * 2010-05-25 2011-12-01 Audiotoniq, Inc. Data Storage System, Hearing Aid, and Method of Selectively Applying Sound Filters
US20130177188A1 (en) * 2012-01-06 2013-07-11 Audiotoniq, Inc. System and method for remote hearing aid adjustment and hearing testing by a hearing health professional
US20140254828A1 (en) * 2013-03-08 2014-09-11 Sound Innovations Inc. System and Method for Personalization of an Audio Equalizer
US20140334644A1 (en) * 2013-02-11 2014-11-13 Symphonic Audio Technologies Corp. Method for augmenting a listening experience
WO2015026859A1 (en) * 2013-08-19 2015-02-26 Symphonic Audio Technologies Corp. Audio apparatus and methods
CN104956689A (zh) * 2012-11-30 2015-09-30 Dts（英属维尔京群岛）有限公司 用于个性化音频虚拟化的方法和装置
US20160366518A1 (en) * 2014-02-27 2016-12-15 Sonarworks Sia Method of and apparatus for determining an equalization filter
CN106465025A (zh) * 2014-03-19 2017-02-22 伯斯有限公司 用于助听设备的众包推荐

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032585A (ja) 1998-07-15 2000-01-28 Kenwood Corp オーディオ装置の音質補正回路
JP2005300772A (ja) 2004-04-08 2005-10-27 Denso Corp 楽曲情報紹介システム
JP2010050875A (ja) 2008-08-25 2010-03-04 Sony Corp イコライザ装置、周波数特性付加方法、周波数特性付加プログラムおよび音響再生装置
US9130527B2 (en) 2010-08-18 2015-09-08 Dolby Laboratories Licensing Corporation Method and system for controlling distortion in a critical frequency band of an audio signal
JP5630696B2 (ja) 2010-10-06 2014-11-26 ヤマハ株式会社 音響特性補正装置
US9613028B2 (en) * 2011-01-19 2017-04-04 Apple Inc. Remotely updating a hearing and profile
KR101251626B1 (ko) 2011-09-20 2013-04-08 (주)골든이어스 스마트 기기를 이용한 음향기기의 특성에 대한 보상 서비스 제공 방법
US9344793B2 (en) 2013-02-11 2016-05-17 Symphonic Audio Technologies Corp. Audio apparatus and methods
JP5780259B2 (ja) 2013-03-26 2015-09-16 ソニー株式会社 情報処理装置、情報処理方法、プログラム
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1589588A (zh) * 2001-09-20 2005-03-02 声音识别公司 移动电话及为用户产生个性化音频的其他产品的声音增强
US20110293123A1 (en) * 2010-05-25 2011-12-01 Audiotoniq, Inc. Data Storage System, Hearing Aid, and Method of Selectively Applying Sound Filters
US20130177188A1 (en) * 2012-01-06 2013-07-11 Audiotoniq, Inc. System and method for remote hearing aid adjustment and hearing testing by a hearing health professional
CN104956689A (zh) * 2012-11-30 2015-09-30 Dts（英属维尔京群岛）有限公司 用于个性化音频虚拟化的方法和装置
US20140334644A1 (en) * 2013-02-11 2014-11-13 Symphonic Audio Technologies Corp. Method for augmenting a listening experience
US20140254828A1 (en) * 2013-03-08 2014-09-11 Sound Innovations Inc. System and Method for Personalization of an Audio Equalizer
WO2015026859A1 (en) * 2013-08-19 2015-02-26 Symphonic Audio Technologies Corp. Audio apparatus and methods
US20160366518A1 (en) * 2014-02-27 2016-12-15 Sonarworks Sia Method of and apparatus for determining an equalization filter
CN106465025A (zh) * 2014-03-19 2017-02-22 伯斯有限公司 用于助听设备的众包推荐

Also Published As

Publication number Publication date
EP3678388A1 (en) 2020-07-08
JP7481116B2 (ja) 2024-05-10
US20200221240A1 (en) 2020-07-09
US11134353B2 (en) 2021-09-28
JP2020109968A (ja) 2020-07-16
KR20200085226A (ko) 2020-07-14

Similar Documents

Publication Publication Date Title
US11134353B2 (en) Customized audio processing based on user-specific and hardware-specific audio information
US10231074B2 (en) Cloud hosted audio rendering based upon device and environment profiles
JP6377018B2 (ja) 可搬型メディア再生装置に関するオーディオ・システム等化処理
CN105794231A (zh) 免提波束方向图配置
US10638245B2 (en) Dynamic multi-speaker optimization
US9847767B2 (en) Electronic device capable of adjusting an equalizer according to physiological condition of hearing and adjustment method thereof
US10827264B2 (en) Audio preferences for media content players
US9053710B1 (en) Audio content presentation using a presentation profile in a content header
CN116107537A (zh) 一种音频质量调整方法和装置、电子设备及存储介质
KR102648151B1 (ko) 동적 렌더링 디바이스 메타데이터 정보에 근거한 오디오 향상 시스템
US11249718B2 (en) System for outputting audio signals and respective method and setting device
US11601752B2 (en) Sound quality enhancement and personalization
JP6185363B2 (ja) 音響システム、音響機器および音質調整方法
TW202414389A (zh) 增強音頻信號之方法及裝置及相關的非暫時性電腦可讀媒體

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination