CN116189647A - 用于渲染的对象和环境相对水平控制 - Google Patents

用于渲染的对象和环境相对水平控制 Download PDF

Info

Publication number
CN116189647A
CN116189647A CN202211483501.0A CN202211483501A CN116189647A CN 116189647 A CN116189647 A CN 116189647A CN 202211483501 A CN202211483501 A CN 202211483501A CN 116189647 A CN116189647 A CN 116189647A
Authority
CN
China
Prior art keywords
track
environmental
leakage
audio signal
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211483501.0A
Other languages
English (en)
Inventor
M·T·维勒尔莫
R·O·贾维宁
T·H·梅金宁
H·J·普拉卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN116189647A publication Critical patent/CN116189647A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G10K11/17837—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by retaining part of the ambient acoustic environment, e.g. speech or alarm signals that the user needs to hear
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Stereophonic System (AREA)
  • Control Of Amplification And Gain Control (AREA)

Abstract

一种装置，包括被配置为执行以下操作的部件：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。

Description

用于渲染的对象和环境相对水平控制
技术领域
本申请涉及用于渲染的对象和环境相对水平控制的装置和方法。
背景技术
预计3GPP IVAS为移动通信带来对象和环境音频表示。对象音频信号通常能够表示用户的语音分量和在捕获设备周围的音频场景内的任何环境分量两者。这与其目标是衰减任何环境分量并只关注语音分量的上一代设备和标准显著不同。
可意识到，为了产生音频场景的逼真表示，环境分量应能够被再现。此外，一些用户更喜欢能够听到通话中的环境分量以便体验对方的周围环境。然而，一些用户可能更喜欢先前的衰减环境音频分量的方法。
因此，希望用户被给予进行这两者的机会，通常作为设置默认对象和环境水平差异的用户可选预设置。
发明内容
根据第一方面，提供了一种装置，其包括被配置为执行以下操作的部件：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏(leakage)；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。
控制值可以被配置为控制以下中的一项：对象轨道和环境轨道的相对水平；相对于环境轨道的水平的对象轨道的水平；以及相对于对象轨道的水平的环境轨道的水平。
对象轨道可以包括对象音频信号，环境轨道可以包括环境音频信号。
该部件可以被配置为：生成经渲染的音频信号，所生成的经渲染的音频信号包括以下中的至少一项：基于环境音频信号和被应用于对象音频信号的至少一个泄漏水平增益的音频信号；基于对象音频信号和被应用于环境音频信号的至少一个泄漏水平增益的音频信号；或者基于被应用于对象音频信号的至少一个第一泄漏水平增益和被应用于环境音频信号的至少一个第二泄漏水平增益的音频信号。
被配置为生成经渲染的音频信号的部件可以被配置为：输出经渲染的音频信号。
被配置为获得被配置为控制对象轨道和环境轨道的相对水平的控制值的部件可以被配置为：接收用户输入，该用户输入包括以下中的至少一项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值(ambience track to object track gain value)或对象轨道到环境轨道增益值(object track to ambience track gain value)；确定用于音频信号再现的相对水平值，该相对水平值包括以下中的一项或多项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值或对象轨道到环境轨道增益值。
被配置为估计对象轨道与环境轨道之间的泄漏的部件可以被配置为确定以下中的一项：对象轨道的能量的量在环境轨道内；环境轨道的能量的量在对象轨道内；对象轨道与环境轨道之间的相关性；以及环境轨道与对象轨道之间的相关性。
对象轨道可以包括定义至少一个空间参数的对象元数据部分，环境轨道可以包括也定义至少一个空间参数的环境元数据部分，其中，被配置为估计对象轨道与环境轨道之间的泄漏的部件可以被配置为：确定环境元数据部分的至少一个空间参数与对象元数据部分的至少一个空间参数之间的相关性。
被配置为基于控制值和泄漏，确定至少一个泄漏水平增益控制值的部件可以被配置为：确定至少一个泄漏水平增益控制值与控制值之间的映射函数，该映射函数是基于泄漏而选择的；以及将映射应用于控制值以确定至少一个泄漏水平增益控制值。
被配置为基于控制值和泄漏，确定至少一个泄漏水平增益控制值的部件可以被配置为：确定与对象轨道相关联的第一泄漏水平增益值和与环境轨道相关联的第二泄漏增益值，并且被配置为将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项的部件可以被配置为：将第一泄漏水平增益值应用于对象轨道以生成经修改的对象轨道；以及将第二泄漏水平增益值应用于环境轨道以生成经修改的环境轨道。
该部件可以进一步被配置为：组合经修改的对象轨道和经修改的环境轨道。
根据第二方面，提供了一种方法，其包括：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。
控制值可以被配置为控制以下中的一项：对象轨道和环境轨道的相对水平；相对于环境轨道的水平的对象轨道的水平；以及相对于对象轨道的水平的环境轨道的水平。
对象轨道可以包括对象音频信号，环境轨道可以包括环境音频信号。
该方法可以包括：生成经渲染的音频信号，所生成的经渲染的音频信号包括以下中的至少一项：基于环境音频信号和被应用于对象音频信号的至少一个泄漏水平增益的音频信号；基于对象音频信号和被应用于环境音频信号的至少一个泄漏水平增益的音频信号；或者基于被应用于对象音频信号的至少一个第一泄漏水平增益和被应用于环境音频信号的至少一个第二泄漏水平增益的音频信号。
生成经渲染的音频信号可以包括：输出经渲染的音频信号。
获得控制对象轨道和环境轨道的相对水平的控制值可以包括：接收用户输入，该用户输入包括以下中的至少一项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值或对象轨道到环境轨道增益值；确定用于音频信号再现的相对水平值，该相对水平值包括以下中的一项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值或对象轨道到环境轨道增益值。
估计对象轨道与环境轨道之间的泄漏可以包括确定以下中的一项：对象轨道的能量的量在环境轨道内；环境轨道的能量的量在对象轨道内；对象轨道与环境轨道之间的相关性；以及环境轨道与对象轨道之间的相关性。
对象轨道可以包括定义至少一个空间参数的对象元数据部分，环境轨道可以包括也定义至少一个空间参数的环境元数据部分，其中，估计对象轨道与环境轨道之间的泄漏可以包括：确定环境元数据部分的至少一个空间参数与对象元数据部分的至少一个空间参数之间的相关性。
基于控制值和泄漏，确定至少一个泄漏水平增益控制值可以包括：确定至少一个泄漏水平增益控制值与控制值之间的映射函数，该映射函数是基于泄漏而选择的；以及将映射应用于控制值以确定至少一个泄漏水平增益控制值。
基于控制值和泄漏，确定至少一个泄漏水平增益控制值可以包括：确定与对象轨道相关联的第一泄漏水平增益值和与环境轨道相关联的第二泄漏增益值，并且将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项可以包括：将第一泄漏水平增益值应用于对象轨道以生成经修改的对象轨道；以及将第二泄漏水平增益值应用于环境轨道以生成经修改的环境轨道。
该方法可以进一步包括：组合经修改的对象轨道和经修改的环境轨道。
根据第三方面，提供了一种装置，其包括至少一个处理器和包括计算机程序代码的至少一个存储器，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。
控制值可以被配置为控制以下中的一项：对象轨道和环境轨道的相对水平；相对于环境轨道的水平的对象轨道的水平；以及相对于对象轨道的水平的环境轨道的水平。
对象轨道可以包括对象音频信号，环境轨道可以包括环境音频信号。
该装置可以被使得生成经渲染的音频信号，所生成的经渲染的音频信号包括以下中的至少一项：基于环境音频信号和被应用于对象音频信号的至少一个泄漏水平增益的音频信号；基于对象音频信号和被应用于环境音频信号的至少一个泄漏水平增益的音频信号；或者基于被应用于对象音频信号的至少一个第一泄漏水平增益和被应用于环境音频信号的至少一个第二泄漏水平增益的音频信号。
被使得生成经渲染的音频信号的该装置可以被使得输出经渲染的音频信号。
被使得获得控制对象轨道和环境轨道的相对水平的控制值的该装置可以被使得：接收用户输入，该用户输入包括以下中的至少一项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值或对象轨道到环境轨道增益值；确定用于音频信号再现的相对水平值，该相对水平值包括以下中的一项或多项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值或对象轨道到环境轨道增益值。
被使得估计对象轨道与环境轨道之间的泄漏的该装置可以被使得确定以下中的一项：对象轨道的能量的量在环境轨道内；环境轨道的能量的量在对象轨道内；对象轨道与环境轨道之间的相关性；以及环境轨道与对象轨道之间的相关性。
对象轨道可以包括定义至少一个空间参数的对象元数据部分，环境轨道可以包括也定义至少一个空间参数的环境元数据部分，其中，被使得估计对象轨道与环境轨道之间的泄漏的该装置可以被使得确定环境元数据部分的至少一个空间参数与对象元数据部分的至少一个空间参数之间的相关性。
被使得基于控制值和泄漏，确定至少一个泄漏水平增益控制值的该装置可以被使得：确定至少一个泄漏水平增益控制值与控制值之间的映射函数，该映射函数是基于泄漏而选择的；以及将映射应用于控制值以确定至少一个泄漏水平增益控制值。
被使得基于控制值和泄漏，确定至少一个泄漏水平增益控制值的该装置可以被使得确定与对象轨道相关联的第一泄漏水平增益值和与环境轨道相关联的第二泄漏增益值，并且被使得将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项的该装置可以被使得：将第一泄漏水平增益值应用于对象轨道以生成经修改的对象轨道；以及将第二泄漏水平增益值应用于环境轨道以生成经修改的环境轨道。
该装置可以进一步被使得组合经修改的对象轨道和经修改的环境轨道。
根据第四方面，提供一种装置，其包括：用于获得对象轨道和环境轨道的部件；用于获得控制值的部件，其中，该控制值被配置为控制对象轨道和环境轨道的相对水平；用于估计对象轨道与环境轨道之间的泄漏的部件；用于基于控制值和泄漏，确定至少一个泄漏水平增益控制值的部件；以及用于将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项的部件，其中，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。
根据第五方面，提供一种包括指令的计算机程序[或者包括程序指令的计算机可读介质]，这些指令[或者程序指令]用于使装置至少执行以下操作：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。
根据第六方面，提供了一种非暂时性计算机可读介质，其包括用于使装置至少执行以下操作的程序指令：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。
根据第七方面，提供一种装置，其包括：获得电路，被配置为获得对象轨道和环境轨道；获得电路，被配置为获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计电路，被配置为估计对象轨道与环境轨道之间的泄漏；确定电路，被配置为基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及应用电路，被配置为将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。
根据第八方面，提供一种计算机可读介质，其包括用于使装置至少执行以下操作的程序指令：获得对象轨道和环境轨道；获得控制值，该控制值被配置为控制对象轨道和环境轨道的相对水平；估计对象轨道与环境轨道之间的泄漏；基于控制值和泄漏，确定至少一个泄漏水平增益控制值；以及将至少一个泄漏水平增益值应用于对象轨道和环境轨道中的至少一项，至少一个泄漏水平增益值的应用使得经渲染的音频信号是基于将至少一个泄漏水平增益控制值应用于对象轨道和环境轨道中的至少一项。
一种装置，包括用于执行如上所述的方法的动作的部件。
一种装置，被配置为执行如上所述的方法的动作。
一种计算机程序，包括用于使计算机执行如上所述的方法的程序指令。
一种在介质上存储的计算机程序产品可以使装置执行如上所述的方法。
一种电子设备可以包括如上所述的装置。
一种芯片组可以包括如上所述的装置。
本申请的实施例旨在解决与本领域现状相关联的问题。
附图说明
为了更好地理解本申请，现在将以举例的方式参考附图，其中：
图1a和图1b分别示出示例的归一化对象音频和环境音频的一个通道的曲线图；
图2示出泄漏相对互相关的曲线图；
图3示出满足用户期望增益所需的实际环境增益的曲线图，其中，对于不同的泄漏水平相对用户期望增益，所需的实际增益遵循在x＝0处的用户期望增益到泄漏水平被测量的点的彩色曲线；
图4示意性地示出适用于实现一些实施例的装置；
图5示出根据一些实施例的如图4中所示的解码器的示例操作的流程图；
图6示出根据一些实施例的合适的设备内的麦克风的实现的示意图。
具体实施方式
如上所讨论的，从基于对象和环境分量的捕获音频场景产生的挑战之一是能够使用户能够选择环境再现或环境抑制。
如本文所讨论的实施例旨在克服如下问题，即，根据捕获设备(麦克风数量、位置、软件、记录条件等)，对象和环境信号可能未被完全分离并且对象信号(用户语音)的部分可能会泄漏到环境信号(其他声音)中，反之亦然。因此，例如，如果用户已选择环境信号应始终低于对象信号6dB，那么当环境分量与对象分量之间的泄漏存在时，对环境信号的0.5(～-6dB)的简单增益设置将不再实现所期望的增益或抑制。
常规地，对象和环境音频信号相对水平将会被设置如下。这两个信号被归一化(针对最大幅度、相同的能量或功率等)，进而如果用户希望环境低于对象音频水平6dB，则环境将会被乘以10^(-6/20)＝0.5。
如果对象和环境信号两者是分离的(即，没有泄漏)，则这有效。然而，如果存在泄漏那么它会失效。例如，其中，对象音频信号是75％的用户语音和25％的其他声音，并且环境信号是75％的其他声音和25％的用户语音，也就是说，存在来自这两个信号的25％的泄漏。此外，在这个示例中，这两个信号针对相同的功率而被归一化。将0.5的增益应用于环境并组合所产生的信号(在典型播放中，这两个信号以相等的音量被播放并且其水平可以近似地被估计以进行组合)具有0.75+0.5*0.25的用户语音和0.25+0.5*0.75的其他声音。换句话说，在已应用增益之后的贡献是0.875的用户语音和0.625的其他声音。因此，0.625的分量远远未接近用户选择的0.875分量的一半。
因此，如本文所讨论的实施例描述了旨在根据用户偏好来改进音频信号的对象和环境分量的相对水平的设置(即使当对象信号和/或环境信号已泄漏到另一信号时)的装置和方法。
在一些实施例中，通过使用关于音频信号的相关性和/或元数据来分析泄漏量并使用分析结果来修改至少一个信号的增益值，实现了相对水平的设置。
在一些实施例中，这在回放对象和环境音频并基于用户偏好使用关于至少一个信号的增益来设置它们的相对水平差异的设备内被实现。在一些实施例中，该设备被配置为使用相关性和/或元数据分析来估计对象音频信号与环境音频信号之间的泄漏，并且当设置增益时，该设备使用相关性估计。
在一些实施例中，装置或设备(用户)被配置为接收IVAS呼叫。IVAS呼叫可以包括对象和环境轨道。在以下示例中，术语“轨道”将会被理解为与信号同义。例如，环境轨道将会被理解为环境(音频)信号，对象轨道将会被理解为对象(音频)信号。
此外，在一些实施例中，装置或设备(用户)被配置为设置(或已设置)所期望的分量比率或相对分量组成。例如，该设备可以被配置为具有如下设置，即，与对象轨道相比，环境轨道的幅度例如为0.5。该设置可以是相对分量的任何合适的表达。例如，在一些实施例中，用户可以控制用户输入，该用户输入被配置为使用视觉尺度、从键盘数字地、使用传感器、控制旋钮等来设置所期望的差异，以分贝为单位。该设备可以进一步控制(并且在一些实施例中该控制也可以通过用户操作用户接口来设置)单独的对象和环境水平，并从这些单独的水平设置中确定差异(其可以被计算)。
如先前所提及的，当(用户设置的)环境幅度直接被用作用于IVAS呼叫中的环境轨道的增益时，可存在其中最终结果并不是所期望的设置的原因(诸如泄漏)。因此，在如本文所讨论的实施例中，确定尽可能多地实现所期望的设置或控制的不同增益(或经修改的增益)。
在以下示例中，假设对象与环境之间的泄漏是对称的(因为泄漏是双向的)并且可以被表达为：
Object＝(1-leakage)*RealObject+leakage*RealAmbience
Ambience＝(1-leakage)*RealAmbience+leakage*RealObject
其中，RealObject和RealAmbience分别是实际对象和环境信号的幅度。IVAS对象和环境通道幅度是Object和Ambience并且由创建IVAS信号的设备或装置生成。
关于图1a，示出了被归一化在-0.4与0.4之间的示例对象音频的曲线图，并且图1b示出了也被归一化在-0.4与0.4之间的环境数据的一个示例通道的曲线图。
在一些实施例中，泄漏量的估计可以通过计算环境通道与对象通道之间的互相关(xcorr)来确定。在一些实施例中，该估计可以使用元数据来实现并且稍后将详述。互相关值取决于被用于数字信号的缩放比例和被用于计算的帧的长度。在图2中示出了互相关与泄漏之间的关系的示例，其中，y轴示出互相关，x轴以％表示示出泄漏。
在一些实施例中，针对不同的泄漏水平，计算互相关。
因此，在一些实施例中，互相关(xcorr)值可以被用作泄漏(leakage)的估计。例如，图2中所示的关系可以被简化或建模为：
Figure BDA0003960957740000111
其中，数字7是近似拟合一条线以描述互相关与泄漏量之间的关系的实验值。在此一条线就足够了，因为该关系取决于这两个信号并且该关系仅仅是估计(然而是有用的估计)。
由此，可以获得或接收IVAS对象和环境轨道并计算对象轨道与环境轨道的至少一个通道之间的互相关，从该计算中估计泄漏并使用所估计的泄漏来至少修改环境信号增益以实现对象轨道与环境轨道之间的用户期望水平差异。
因此，例如，在一些实施例中，当x是环境的实际所需增益时，则可以确定以下公式：
Figure BDA0003960957740000112
其中，UserPreference是用户期望增益。在该公式中，假设在IVAS信号的对象轨道中播放的RealObject信号部分与泄漏到IVAS信号的环境轨道中的RealObject部分相加。情况并非总是如此，但作为近似，这通常是正确的假设。对RealAmbience部分进行相同的假设。
由于不可能直接估计RealObject和RealAmbience信号的幅度，因此，在一些实施例中该公式被修改以达成一种方法，其中，可以使用对象和环境轨道的幅度以及所估计的泄漏。
由此，在一些实施例中，x的确定可以是：
Figure BDA0003960957740000113
其中，
Figure BDA0003960957740000114
Figure BDA0003960957740000121
因此，在一些实施例中，确定环境满足所期望的环境水平(相对于对象信号)所需的增益。
关于图3，示出了满足用户期望增益所需的所估计的实际环境增益的曲线图。不同的泄漏水平在x轴上以％被示出，用户期望增益在x＝0位置处的y轴上被示出，并且所需的实际增益遵循在x＝0处的用户期望增益到泄漏水平被测量的点的曲线。
因此，如图2和图3所示，当没有泄漏(x＝0)时，实际所需的增益与用户期望增益相同——如图3中由参考标记300所示。此外，当用户期望环境处于与图3中的对象(y＝1)参考标记301相同的水平时，无论泄漏量如何，实际增益也始终为1。此外，当期望环境是对象幅度的一半(曲线303在[0 0.5]处开始并在[34 0]处结束)时，当泄漏在0与34％之间时可以满足该期望，但是对于更高的泄漏值，由于负增益值在实际上不可行因此无法满足该用户期望。
因此，如果泄漏太高，则在某些情况下用户/所期望的偏好不能总是得到保证，在这种情况下，该装置可以被配置为限制x的值如下：x＝max(x,0)。
在一些实施例中，用户偏好可以是固定设置或者用户被配置为从用户接口上的滑块(或类似物)进行控制的可变或动态控制。
关于图4，示出了可以在其中实现一些实施例的示例装置系统。
在一些实施例中，该示例装置系统包括捕获设备400。在一些实施例中，该捕获设备可以包括被配置为捕获音频场景的麦克风阵列(或多个麦克风)401。
在一些实施例中，麦克风阵列音频信号可以被传递到预处理器403。在一些实施例中，预处理器403被配置为实现任何合适的预处理操作，并生成适合于传递到IVAS编码器405的音频信号。
此外，在一些实施例中，捕获设备400包括IVAS编码器405，其从预处理器获得经处理的音频信号并被配置为生成可经由网络407被传递到接收器设备420的对象轨道(包括音频和元数据)406和环境轨道(包括音频和元数据)408。
在图4所示的示例中，接收器设备420包括IVAS解码器421。在该示例中，IVAS解码器421被配置为接收或获得可经由网络407被接收(或者在一些实施例中从本地存储设备或存储器中恢复)的对象轨道(包括音频和元数据)406和环境轨道(包括音频和元数据)408。
在一些实施例中，IVAS解码器421包括相关器431。在一些实施例中，相关器431被配置为接收与对象轨道和环境轨道相关联的音频信号，并确定它们之间的互相关。进而，该互相关确定可以被传递到泄漏估计器433。
在一些实施例中，IVAS解码器421包括泄漏估计器433。泄漏估计器433被配置为获得互相关值，并基于这些互相关值，估计这两个通道之间的泄漏。可以使用如上所述的模型或者基于互相关与泄漏之间的任何合适的建模关系来实现泄漏估计。进而，该泄漏估计可以被传递到对象和/或环境相对增益确定器435。
在一些实施例中，IVAS解码器421包括对象和/或环境相对增益确定器435，其可以被配置为获得或接收泄漏估计和用户输入441，该用户输入提供与对象和/或环境信号相关联的所期望的比率或水平。在一些实施例中，对象和/或环境相对增益确定器435可以被配置为基于所期望的比率或水平输入和泄漏估计，生成至少一个增益值。这可以使用如上所讨论的公式或任何合适的映射(例如，被实现为查找表)来确定，其中，泄漏值和所期望的比率或水平输入值被用作输入，增益值将被应用于对象通道音频信号和环境通道音频信号中的一个或另一个(或者增益将被应用于这两者)。进而，该增益或增益值可以被传递到增益处理器437。
在一些实施例中，IVAS解码器421包括增益处理器437。增益处理器437被配置为将所确定的增益或增益值应用于通道音频信号。
此外，IVAS编码器和解码器以及这些设备可以包含许多其他部分，这些部分在本文中未被示出，因为它们从现有技术中已知并且与本发明不太相关。例如，将环境和对象轨道渲染成适合于用户收听的格式(用于家庭影院的5.1、用于耳机的双耳、用于多个扬声器的立体声、用于一个扬声器的单声道等)。在图4中所示的示例中，示出了用于输出音频信号的扬声器451，但是在一些实施例中可以使用任何其他合适的部件。此外，在一些实施例中，本文所讨论的一些处理可以在IVAS解码器的内部或解码器的外部发生。
泄漏估计和增益修改也可以在捕获设备侧发生，尽管在这种情况下需要将用户偏好发送到该侧或者需要有全局固定偏好。
在本文的示例中，泄漏是基于互相关估计而估计的，但是在一些实施例中，可以使用IVAS元数据，其包括如方向、能量比率(直接对环境比(direct-to-ambience ratio)，即，D/A比)的值。如果对象轨道与环境轨道之间的元数据非常相似，那么泄漏很高，反之亦然。因此，在一些实施例中，接收IVAS信号的设备可以被配置为计算元数据值之间的相关或差异信号，并使用从相关或差异到泄漏值的合适的映射。可以使用其中泄漏已知的测试信号来创建映射。当从元数据到泄漏的映射存在时，其余的处理与上述情况中相同，其中信号本身之间具有相关性。
在一些实施例中，还可以通过以下操作来使用音频和元数据的经组合的相关性：计算音频轨道与元数据之间的相关性，并通过取平均值、最大值、最小值等对相关性进行组合。
关于图5，示出了根据一些实施例的如图4中所示的接收器设备的示例操作。
如图5中由步骤501所示，第一操作可以是获得对象和环境轨道音频信号和元数据。
进而，如图5中由步骤503所示，在已获得这些轨道后，确定对象轨道与环境轨道(和/或其元数据)之间的相关性。
进而，如图5中由步骤505所示，基于相关性，估计泄漏。
如图5中由步骤507所示，该方法还包括：获得用户偏好(经由用户输入)。
如图5中由步骤509所示，在已估计泄漏并获得用户偏好后，这可以被用于基于泄漏和用户偏好来计算对象和/或环境相对增益。
进而，如图5中由步骤511所示，将所确定的增益应用于对象和/或环境信号，并将它们渲染为适合于收听的格式。
最后，如图5中由步骤513所示，输出经渲染的音频信号。
关于图6，示出了可以被用作如上所述的系统的任何装置部分的示例电子设备。该设备可以是任何合适的电子设备或装置。例如，在一些实施例中，设备1400是移动设备、用户设备、平板计算机、计算机、音频播放装置等。该设备例如可以被配置为实现如上所述的编码器或渲染器或任何功能块。
在一些实施例中，设备1400包括至少一个处理器或中央处理单元1407。处理器1407可以被配置为执行各种程序代码，诸如如本文所描述的方法。
在一些实施例中，设备1400包括存储器1411。在一些实施例中，至少一个处理器1407被耦接到存储器1411。存储器1411可以是任何合适的存储部件。在一些实施例中，存储器1411包括用于存储可在处理器1407上实现的程序代码的程序代码部分。此外，在一些实施例中，存储器1411还可以包括用于存储数据(例如根据本文所描述的实施例已被处理或将要被处理的数据)的存储数据部分。在需要时，被存储在程序代码部分内的所实现的程序代码和被存储在存储数据部分内的数据可以经由存储器-处理器耦接而由处理器1407取回。
在一些实施例中，设备1400包括用户接口1405。在一些实施例中，用户接口1405可以被耦接到处理器1407。在一些实施例中，处理器1707可以控制用户接口1405的操作并从用户接口1405接收输入。在一些实施例中，用户接口1705可以使得用户能够例如经由小键盘向设备1400输入命令。在一些实施例中，用户接口1405可以使得用户能够从设备1400获得信息。例如，用户接口1405可以包括被配置为向用户显示来自设备1400的信息的显示器。在一些实施例中，用户接口1405可以包括触摸屏或触摸接口，其既能够使信息被输入到设备1400中，又能够向设备1400的用户显示信息。在一些实施例中，用户接口2005可以是用于通信的用户接口。
在一些实施例中，设备1400包括输入/输出端口1409。在一些实施例中，输入/输出端口1409包括收发机。在这种实施例中，收发机可以被耦接到处理器2007，并且被配置为例如经由无线通信网络实现与其他装置或电子设备的通信。在一些实施例中，收发机或任何合适的收发机或发射机和/或接收机部件可以被配置为经由有线或有线耦接与其他电子设备或装置通信。
收发机可以通过任何合适的已知通信协议与其他装置通信。例如，在一些实施例中，收发机可以使用合适的通用移动电信系统(UMTS)协议、诸如IEEE 802.X之类的无线局域网(WLAN)协议、诸如蓝牙之类的合适的短距离射频通信协议、或红外数据通信路径(IRDA)。
输入/输出端口2009可以被配置为接收信号。
在一些实施例中，设备1400可以被用作捕获或接收器设备的至少一部分。输入/输出端口1409可以被耦接到头戴式耳机(其可以是头部跟踪或非跟踪头戴式耳机)等。
通常，本发明的各种实施例可以采用硬件或专用电路、软件、逻辑或其任何组合来实现。例如，一些方面可以采用硬件来实现，而其他方面可以采用可由控制器、微处理器或其他计算设备执行的固件或软件来实现，但本发明不限于此。尽管本发明的各个方面可以被图示和描述为框图、流程图或使用一些其他图形表示，但众所周知地，本文所描述的这些框、装置、系统、技术或方法可以作为非限制示例采用硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以通过可由移动设备的数据处理器(诸如在处理器实体中)执行的计算机软件来实现，或者由硬件、或者由软件和硬件的组合来执行。此外，就此而言，应当注意，如附图中的逻辑流程的任何块可以表示程序步骤、或者互连的逻辑电路、块和功能、或者程序步骤和逻辑电路、块和功能的组合。该软件可以被存储在诸如存储器芯片或在处理器内实现的存储器块之类的物理介质上，诸如硬盘或软盘之类的磁性介质上、以及诸如DVD及其数据变体、CD之类的光学介质上。
存储器可以是适合于本地技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，诸如基于半导体的存储器设备、磁存储器设备和系统、光学存储器设备和系统、固定存储器和可移除存储器。数据处理器可以是适合于本地技术环境的任何类型，并且作为非限制性示例，可以包括通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、门级电路以及基于多核处理器架构的处理器中的一个或多个。
可以在诸如集成电路模块之类的各种组件中实践本发明的实施例。集成电路的设计总体上是高度自动化的过程。复杂而功能强大的软件工具可用于将逻辑级设计转换为准备在半导体衬底上蚀刻和形成的半导体电路设计。
程序，诸如由加利福尼亚州山景城的Synopsys公司和加利福尼亚州圣何塞的Cadence Design所提供的程序，使用完善的设计规则以及预先存储的设计模块库来自动对导体进行布线并将组件定位在半导体芯片上。一旦完成了半导体电路的设计，就可以将标准化电子格式(例如，Opus、GDSII等)的所得设计传送到半导体制造设施或“fab”进行制造。
前面的描述已经通过示例性和非限制性示例提供了本发明的示例性实施例的完整和有益的描述。然而，当结合附图和所附权利要求书阅读时，鉴于以上描述，各种修改和改编对于相关领域的技术人员而言将变得显而易见。然而，本发明的教导的所有这些和类似的修改仍将落入所附权利要求书所限定的本发明的范围内。

Claims (20)

1.一种装置，包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少：
获得对象轨道和环境轨道；
获得控制值，所述控制值被配置为控制所述对象轨道和所述环境轨道的相对水平；
估计所述对象轨道与所述环境轨道之间的泄漏；
基于所述控制值和所述泄漏，确定至少一个泄漏水平增益控制值；以及
将所述至少一个泄漏水平增益值应用于所述对象轨道和所述环境轨道中的至少一项，所述至少一个泄漏水平增益值的所述应用使得经渲染的音频信号是基于将所述至少一个泄漏水平增益控制值应用于所述对象轨道和所述环境轨道中的至少一项。
2.根据权利要求1所述的装置，其中，所述控制值被配置为控制所述对象轨道和所述环境轨道的相对水平包括以下中的一项：
相对于所述环境轨道的水平的所述对象轨道的水平；以及
相对于所述对象轨道的水平的所述环境轨道的水平。
3.根据权利要求1所述的装置，其中，所述对象轨道包括对象音频信号，所述环境轨道包括环境音频信号。
4.根据权利要求3所述的装置，其中，所述装置被使得：生成所述经渲染的音频信号，所生成的经渲染的音频信号包括以下中的至少一项：
基于所述环境音频信号和被应用于所述对象音频信号的至少一个泄漏水平增益的音频信号；
基于所述对象音频信号和被应用于所述环境音频信号的至少一个泄漏水平增益的音频信号；或者
基于被应用于所述对象音频信号的至少一个第一泄漏水平增益和被应用于所述环境音频信号的至少一个第二泄漏水平增益的音频信号。
5.根据权利要求4所述的装置，其中，所述装置被使得：输出所述经渲染的音频信号。
6.根据权利要求1所述的装置，其中，所述装置被使得控制所述对象轨道和所述环境轨道的相对水平使得所述装置：
接收用户输入，所述用户输入包括以下中的至少一项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值；或者对象轨道到环境轨道增益值；以及
确定用于音频信号再现的相对水平值，所述相对水平值包括以下中的一项或多项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值；或者对象轨道到环境轨道增益值。
7.根据权利要求1所述的装置，其中，所述装置被使得估计所述对象轨道与所述环境轨道之间的所述泄漏使得所述装置确定以下中的一项：
所述对象轨道的能量的量在所述环境轨道内；
所述环境轨道的能量的量在所述对象轨道内；
所述对象轨道与所述环境轨道之间的相关性；以及
所述环境轨道与所述对象轨道之间的相关性。
8.根据权利要求1所述的装置，其中，所述对象轨道包括定义至少一个空间参数的对象元数据部分，所述环境轨道包括定义至少一个空间参数的环境元数据部分，其中，所述装置被使得估计所述对象轨道与所述环境轨道之间的所述泄漏使得所述装置：确定所述环境元数据部分的所述至少一个空间参数与所述对象元数据部分的所述至少一个空间参数之间的相关性。
9.根据权利要求1所述的装置，其中，所述装置被使得确定所述至少一个泄漏水平增益控制值使得所述装置：
确定所述至少一个泄漏水平增益控制值与所述控制值之间的映射函数，所述映射函数是基于所述泄漏而选择的；以及
将所述映射应用于所述控制值以确定所述至少一个泄漏水平增益控制值。
10.根据权利要求1所述的装置，其中，所述装置被使得确定所述至少一个泄漏水平增益控制值使得所述装置：确定与所述对象轨道相关联的第一泄漏水平增益值和与所述环境轨道相关联的第二泄漏增益值，并且所述装置被使得将所述至少一个泄漏水平增益值应用于所述对象轨道和所述环境轨道中的至少一项进一步使得所述装置：
将所述第一泄漏水平增益值应用于所述对象轨道以生成经修改的对象轨道；以及
将所述第二泄漏水平增益值应用于所述环境轨道以生成经修改的环境轨道。
11.根据权利要求10所述的装置，其中，所述装置被使得：组合所述经修改的对象轨道和所述经修改的环境轨道。
12.一种方法，包括：
获得对象轨道和环境轨道；
获得控制值，所述控制值被配置为控制所述对象轨道和所述环境轨道的相对水平；
估计所述对象轨道与所述环境轨道之间的泄漏；
基于所述控制值和所述泄漏，确定至少一个泄漏水平增益控制值；以及
将所述至少一个泄漏水平增益值应用于所述对象轨道和所述环境轨道中的至少一项，所述至少一个泄漏水平增益值的所述应用使得经渲染的音频信号是基于将所述至少一个泄漏水平增益控制值应用于所述对象轨道和所述环境轨道中的至少一项。
13.根据权利要求12所述的方法，其中，所述控制值被配置为控制以下中的一项：
所述对象轨道和所述环境轨道的相对水平；
相对于所述环境轨道的水平的所述对象轨道的水平；以及
相对于所述对象轨道的水平的所述环境轨道的水平。
14.根据权利要求12所述的方法，其中，所述对象轨道包括对象音频信号，所述环境轨道包括环境音频信号。
15.根据权利要求14所述的方法，其中，所述方法包括：生成所述经渲染的音频信号，所生成的经渲染的音频信号包括以下中的至少一项：
基于所述环境音频信号和被应用于所述对象音频信号的至少一个泄漏水平增益的音频信号；
基于所述对象音频信号和被应用于所述环境音频信号的至少一个泄漏水平增益的音频信号；或者
基于被应用于所述对象音频信号的至少一个第一泄漏水平增益和被应用于所述环境音频信号的至少一个第二泄漏水平增益的音频信号。
16.根据权利要求12所述的方法，其中，控制所述对象轨道和所述环境轨道的相对水平包括：
接收用户输入，所述用户输入包括以下中的至少一项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值；或者对象轨道到环境轨道增益值；以及
确定用于音频信号再现的相对水平值，所述相对水平值包括以下中的一项或多项：对象轨道增益值；环境轨道增益值；环境轨道到对象轨道增益值；或者对象轨道到环境轨道增益值。
17.根据权利要求12所述的方法，其中，估计所述对象轨道与所述环境轨道之间的所述泄漏包括确定以下中的一项：
所述对象轨道的能量的量在所述环境轨道内；
所述环境轨道的能量的量在所述对象轨道内；
所述对象轨道与所述环境轨道之间的相关性；以及
所述环境轨道与所述对象轨道之间的相关性。
18.根据权利要求12所述的方法，其中，所述对象轨道包括定义至少一个空间参数的对象元数据部分，所述环境轨道包括定义至少一个空间参数的环境元数据部分，其中，估计所述对象轨道与所述环境轨道之间的所述泄漏包括：确定所述环境元数据部分的所述至少一个空间参数与所述对象元数据部分的所述至少一个空间参数之间的相关性。
19.根据权利要求12所述的方法，其中，确定所述至少一个泄漏水平增益控制值包括：
确定所述至少一个泄漏水平增益控制值与所述控制值之间的映射函数，所述映射函数是基于所述泄漏而选择的；以及
将所述映射应用于所述控制值以确定所述至少一个泄漏水平增益控制值。
20.根据权利要求12所述的方法，其中，确定所述至少一个泄漏水平增益控制值包括：确定与所述对象轨道相关联的第一泄漏水平增益值和与所述环境轨道相关联的第二泄漏增益值，并且将所述至少一个泄漏水平增益值应用于所述对象轨道和所述环境轨道中的至少一项进一步包括：
将所述第一泄漏水平增益值应用于所述对象轨道以生成经修改的对象轨道；以及
将所述第二泄漏水平增益值应用于所述环境轨道以生成经修改的环境轨道。
CN202211483501.0A 2021-11-26 2022-11-24 用于渲染的对象和环境相对水平控制 Pending CN116189647A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB2117067.5 2021-11-26
GB2117067.5A GB2613185A (en) 2021-11-26 2021-11-26 Object and ambience relative level control for rendering

Publications (1)

Publication Number Publication Date
CN116189647A true CN116189647A (zh) 2023-05-30

Family

ID=79270445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211483501.0A Pending CN116189647A (zh) 2021-11-26 2022-11-24 用于渲染的对象和环境相对水平控制

Country Status (4)

Country Link
US (1) US20230169986A1 (zh)
EP (1) EP4187929A1 (zh)
CN (1) CN116189647A (zh)
GB (1) GB2613185A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08102687A (ja) * 1994-09-29 1996-04-16 Yamaha Corp 音声送受信方式
CA2328353A1 (en) * 1998-04-14 1999-10-21 Hearing Enhancement Company, Llc User adjustable volume control that accommodates hearing
WO2015097829A1 (ja) * 2013-12-26 2015-07-02 株式会社東芝 方法、電子機器およびプログラム

Also Published As

Publication number Publication date
GB202117067D0 (en) 2022-01-12
US20230169986A1 (en) 2023-06-01
EP4187929A1 (en) 2023-05-31
GB2613185A (en) 2023-05-31

Similar Documents

Publication Publication Date Title
US10924850B2 (en) Apparatus and method for audio processing based on directional ranges
US10142759B2 (en) Method and apparatus for processing audio with determined trajectory
US8457321B2 (en) Adaptive audio output
US8335331B2 (en) Multichannel sound rendering via virtualization in a stereo loudspeaker system
KR20080080875A (ko) 멀티 채널 스피커 시스템의 멀티 채널 신호 재생 방법 및장치
WO2018234628A1 (en) AUDIO DISTANCE ESTIMATING FOR SPATIAL AUDIO PROCESSING
US20180160225A1 (en) Audio Apparatus
EP3695616A1 (en) Audio signal rendering
US20220303710A1 (en) Sound Field Related Rendering
US20220328056A1 (en) Sound Field Related Rendering
EP4187929A1 (en) Object and ambience relative level control for rendering
WO2020209103A1 (ja) 情報処理装置および方法、再生装置および方法、並びにプログラム
JP2020537470A (ja) オーディオ信号の個人適用のためのパラメータを設定するための方法
US20240179488A1 (en) Audio zooming
CN112954579B (zh) 现场听音效果的重现方法及装置
CN116600242B (zh) 音频声像优化方法、装置、电子设备及存储介质
EP4312214A1 (en) Determining spatial audio parameters
KR100494288B1 (ko) 다채널 입체 음향 재생 장치 및 그 방법
CN116095594A (zh) 虚拟环境中渲染实时空间音频的系统和方法
WO2023083788A1 (en) Late reverberation distance attenuation
WO2024044113A2 (en) Rendering audio captured with multiple devices
KR20150124176A (ko) 다채널 오디오 신호의 채널 이득 제어 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination