CN111149156B - 音频信号的解码 - Google Patents

音频信号的解码 Download PDF

Info

Publication number
CN111149156B
CN111149156B CN201880063279.4A CN201880063279A CN111149156B CN 111149156 B CN111149156 B CN 111149156B CN 201880063279 A CN201880063279 A CN 201880063279A CN 111149156 B CN111149156 B CN 111149156B
Authority
CN
China
Prior art keywords
signal
parameters
synthesized
side signal
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880063279.4A
Other languages
English (en)
Other versions
CN111149156A (zh
Inventor
V·S·C·S·奇比亚姆
V·阿提
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111149156A publication Critical patent/CN111149156A/zh
Application granted granted Critical
Publication of CN111149156B publication Critical patent/CN111149156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/22Mode decision, i.e. based on audio signal content versus external parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明揭示一种装置,其包含接收器,所述接收器经配置以接收声道间预测增益参数及经编码音频信号。所述经编码音频信号包含经编码中间信号。所述装置还包含解码器,所述解码器经配置以基于所述经编码中间信号而产生经合成中间信号。所述解码器经配置以基于所述经合成中间信号及所述声道间预测增益参数而产生中介经合成侧信号。所述解码器经进一步配置以对所述中介经合成侧信号进行滤波以产生经合成侧信号。

Description

音频信号的解码
优先权主张
本申请案主张2017年10月5日申请的共同拥有美国临时专利申请案第62/568,719号及2018年9月28日申请的美国非临时专利申请案第16/147,208号的优先权益,所述专利申请案中的每一者的内容的全文以引用的方式明确地并入本文中。
技术领域
本发明大体上涉及音频信号的编码或解码。
背景技术
技术的进步已产生较小且较强大的计算装置。举例来说,当前存在各种便携式个人计算装置,包含无线电话,例如移动及智能电话、平板计算机及膝上型计算机,其为小型、轻量且容易由用户携载。这些装置可经由无线网络传递语音及数据包。此外,诸多这些装置并入有额外功能性,例如数字静态相机、数字视频相机、数字记录器及音频文件播放器。此外,这些装置可处理可执行指令,包含可用于访问互联网的软件应用程序,例如网页浏览器应用程序。因而,这些装置可包含显著计算能力。
计算装置可包含多个麦克风以接收音频信号。在立体声编码中,使用来自麦克风的音频信号来产生中间信号及一或多个侧信号。中间信号可对应于第一音频信号与第二音频信号的总和。侧信号可对应于第一音频信号与第二音频信号之间的差。第一装置处的编码器可产生对应于中间信号的经编码中间信号及对应于侧信号的经编码侧信号。经编码中间信号及经编码侧信号可从第一装置发送至第二装置。
第二装置可产生对应于经编码中间信号的经合成中间信号及对应于侧信号的经合成侧信号。第二装置可基于经合成中间信号及经合成侧信号产生输出信号。第一装置与第二装置之间的通信带宽有限。在存在有限带宽的情况下减少第二装置处产生的输出信号与第一装置处接收的音频信号之间的差为一种挑战。
发明内容
在特定方面中,装置包含编码器,其经配置以基于第一音频信号及第二音频信号产生中间信号。中间信号包含低频带中间信号及高频带中间信号。编码器经配置以基于第一音频信号及第二音频信号产生侧信号。编码器经进一步配置以基于低频带中间信号、高频带中间信号及侧信号而产生多个声道间预测增益参数。装置还包含发送器,其经配置以将多个声道间预测增益参数及经编码音频信号传送至第二装置。
在另一特定方面中,方法包含在第一装置处基于第一音频信号及第二音频信号而产生中间信号。中间信号包含低频带中间信号及高频带中间信号。方法包含基于第一音频信号及第二音频信号而产生侧信号。方法包含基于低频带中间信号、高频带中间信号及侧信号而产生多个声道间预测增益参数。方法进一步包含将多个声道间预测增益参数及经编码音频信号传送至第二装置。
在另一特定方面中,设备包含用于在第一装置处基于第一音频信号及第二音频信号而产生中间信号的装置。中间信号包含低频带中间信号及高频带中间信号。设备包含用于基于第一音频信号及第二音频信号而产生侧信号的装置。设备包含用于基于低频带中间信号、高频带中间信号及侧信号而产生多个声道间预测增益参数的装置。设备进一步包含用于将多个声道间预测增益参数及经编码音频信号传送至第二装置的装置。
在另一特定方面中,计算机可读存储装置存储指令,指令在由处理器执行时致使处理器执行包含在第一装置处基于第一音频信号及第二音频信号产生中间信号的操作。中间信号包含低频带中间信号及高频带中间信号。操作包含基于第一音频信号及第二音频信号产生侧信号。操作包含基于低频带中间信号、高频带中间信号及侧信号而产生声道间预测增益参数。操作进一步包含将多个声道间预测增益参数及经编码音频信号传送至第二装置。
在另一特定方面中,设备包含接收器,其经配置以接收一或多个升混参数、一或多个声道间带宽扩展参数、一或多个声道间预测增益参数及经编码音频信号。经编码音频信号包含经编码中间信号。设备还包含解码器,其经配置以基于经编码中间信号产生经合成中间信号。解码器经进一步配置以基于经合成中间信号及一或多个声道间预测增益参数而产生经合成侧信号。解码器还经配置以基于经合成中间信号、经合成侧信号、一或多个升混参数及一或多个声道间带宽扩展参数而产生一或多个输出信号。
在另一特定方面中,方法包含在第一装置从第二装置接收一或多个升混参数、一或多个声道间带宽扩展参数、一或多个声道间预测增益参数及经编码音频信号。经编码音频信号包含经编码中间信号。方法包含在第一装置处基于经编码中间信号产生经合成中间信号。方法进一步包含基于经合成中间信号及一或多个声道间预测增益参数而产生经合成侧信号。方法还包含基于经合成中间信号、经合成侧信号、一或多个升混参数及一或多个声道间带宽扩展参数而产生一或多个输出信号。
在另一特定方面中,设备包含用于接收一或多个升混参数、一或多个声道间带宽扩展参数、一或多个声道间预测增益参数及经编码音频信号的装置。经编码音频信号包含经编码中间信号。设备包含用于基于经编码中间信号产生经合成中间信号的装置。设备进一步包含用于基于经合成中间信号及一或多个声道间预测增益参数产生经合成侧信号的装置。设备包含用于基于经合成中间信号、经合成侧信号、一或多个升混参数及一或多个声道间带宽扩展参数而产生一或多个输出信号的装置。
在另一特定方面中,计算机可读存储装置存储指令,指令在由处理器执行时致使处理器执行包含在第一装置处从第二装置接收一或多个升混参数、一或多个声道间带宽扩展参数、一或多个声道间预测增益参数及经编码音频信号的操作。经编码音频信号包含经编码中间信号。操作包含在第一装置处基于经编码中间信号产生经合成中间信号。操作进一步包含基于经合成中间信号及一或多个声道间预测增益参数而产生经合成侧信号。操作包含基于经合成中间信号、经合成侧信号、一或多个升混参数及一或多个声道间带宽扩展参数而产生一或多个输出信号。
在另一特定方面中,装置包含编码器及发送器。编码器经配置以基于第一音频信号及第二音频信号产生中间信号。编码器还经配置以基于第一音频信号及第二音频信号产生侧信号。编码器经进一步配置以基于第一音频信号、第二音频信号或两者而确定多个参数。编码器还经配置以基于多个参数确定是否对侧信号进行编码以进行发送。编码器经进一步配置以产生对应于中间信号的经编码中间信号。编码器还经配置以响应于确定欲对侧信号进行编码以进行发送而产生对应于侧信号的经编码侧信号。发送器经配置以发送对应于经编码中间信号、经编码侧信号或两者的位流参数。
在另一特定方面中,装置包含接收器及解码器。接收器经配置以接收对应于至少经编码中间信号的位流参数。解码器经配置以基于位流参数而产生经合成中间信号。解码器还经配置以响应于确定位流参数是否对应于经编码侧信号而选择性地基于位流参数产生经合成侧信号。
在另一特定方面中,方法包含在装置处基于第一音频信号及第二音频信号产生中间信号。方法还包含在装置处基于第一音频信号及第二音频信号产生侧信号。方法进一步包含在装置处基于第一音频信号、第二音频信号或两者而确定多个参数。方法还包含基于多个参数确定是否欲对侧信号进行编码以进行发送。方法进一步包含在装置处产生对应于中间信号的经编码中间信号。方法还包含在装置处响应于确定欲对侧信号进行编码以进行发送而产生对应于侧信号的经编码侧信号。方法进一步包含从装置起始对应于经编码中间信号、经编码侧信号或两者的位流参数的发送。
在另一特定方面中,方法包含在装置处接收对应于至少经编码中间信号的位流参数。方法还包含在装置处基于位流参数产生经合成中间信号。方法进一步包含在装置处响应于确定位流参数是否对应于经编码侧信号而选择性地基于位流参数产生经合成侧信号。
在另一特定方面中,计算机可读存储装置存储指令,指令在由处理器执行时致使处理器执行包含基于第一音频信号及第二音频信号产生中间信号的操作。操作还包含基于第一音频信号及第二音频信号产生侧信号。操作进一步包含基于第一音频信号、第二音频信号或两者而确定多个参数。操作还包含基于多个参数确定是否欲对侧信号进行编码以进行发送。操作进一步包含产生对应于中间信号的经编码中间信号。操作还包含响应于确定欲对侧信号进行编码以进行发送而产生对应于侧信号的经编码侧信号。操作进一步包含起始对应于经编码中间信号、经编码侧信号或两者的位流参数的发送。
在另一特定方面中,计算机可读存储装置存储指令,指令在由处理器执行时致使处理器执行包含接收对应于至少经编码中间信号的位流参数的操作。操作还包含基于位流参数产生经合成中间信号。操作进一步包含响应于确定位流参数是否对应于经编码侧信号而选择性地基于位流参数产生经合成侧信号。
在另一特定方面中,装置包含编码器及发送器。编码器经配置以响应于确定译码或预测参数指示欲对侧信号进行编码以用于发送而产生具有第一值的降混参数。第一值是基于能量量度、相关性量度或两者。能量量度、相关性量度或两者是基于第一音频信号及第二音频信号。编码器还经配置以至少部分地基于确定译码或预测参数指示未对侧信号进行编码以用于发送而产生具有第二值的降混参数。第二值是基于默认降混参数值、第一值或两者。编码器经进一步配置以基于第一音频信号、第二音频信号及降混参数而产生中间信号。编码器还经配置以产生对应于中间信号的经编码中间信号。发送器经配置以发送对应于至少经编码中间信号的位流参数。
在另一特定方面中,装置包含接收器及解码器。接收器经配置以接收对应于至少经编码中间信号的位流参数。解码器经配置以基于位流参数而产生经合成中间信号。解码器还经配置以产生一或多个升混参数。一或多个升混参数中的升混参数基于确定位流参数是否对应于经编码侧信号而具有第一值或第二值。第一值是基于经接收降混参数。第二值是至少部分地基于默认参数值。解码器经进一步配置以至少基于经合成中间信号及一或多个升混参数产生输出信号。
在另一特定方面中,方法包含在装置处响应于确定译码或预测参数指示欲对侧信号进行编码以进行发送而产生具有第一值的降混参数。第一值是基于能量量度、相关性量度或两者。能量量度、相关性量度或两者是基于第一音频信号及第二音频信号。方法还包含在装置处至少部分地基于确定译码或预测参数指示不对侧信号进行编码以进行发送而产生具有第二值的降混参数。第二值是基于默认降混参数值、第一值或两者。方法进一步包含在装置处基于第一音频信号、第二音频信号及降混参数产生中间信号。方法还包含在装置处产生对应于中间信号的经编码中间信号。方法进一步包含从装置起始对应于至少经编码中间信号的位流参数的发送。
在另一特定方面中,方法包含在装置处接收对应于至少经编码中间信号的位流参数。方法还包含在装置处基于位流参数产生经合成中间信号。方法进一步包含在装置处产生一或多个升混参数。一或多个升混参数中的升混参数基于确定位流参数是否对应于经编码侧信号而具有第一值或第二值。第一值是基于经接收降混参数。第二值是至少部分地基于默认参数值。方法还包含在装置处至少基于经合成中间信号及一或多个升混参数产生输出信号。
在另一特定方面中,计算机可读存储装置存储指令,指令在由处理器执行时致使处理器执行包含响应于确定译码或预测参数指示欲对侧信号进行编码以进行发送而产生具有第一值的降混参数的操作。第一值是基于能量量度、相关性量度或两者。能量量度、相关性量度或两者是基于第一音频信号及第二音频信号。操作还包含至少部分地基于确定译码或预测参数指示不对侧信号进行编码以进行发送而产生具有第二值的降混参数。第二值是基于默认降混参数值、第一值或两者。操作进一步包含基于第一音频信号、第二音频信号及降混参数而产生中间信号。操作还包含产生对应于中间信号的经编码中间信号。操作进一步包含起始对应于至少经编码中间信号的位流参数的发送。
在另一特定方面中,计算机可读存储装置存储指令,指令在由处理器执行时致使处理器执行包含接收对应于至少经编码中间信号的位流参数的操作。操作还包含基于位流参数产生经合成中间信号。操作进一步包含产生一或多个升混参数。一或多个升混参数中的升混参数基于确定位流参数是否对应于经编码侧信号而具有第一值或第二值。第一值是基于经接收降混参数。第二值是至少部分地基于默认参数值。操作还包含至少基于经合成中间信号及一或多个升混参数产生输出信号。
在另一特定方面中,装置包含接收器,其经配置以接收声道间预测增益参数及经编码音频信号。经编码音频信号包含经编码中间信号。装置还包含解码器,其经配置以基于经编码中间信号产生经合成中间信号。解码器经配置以基于经合成中间信号及声道间预测增益参数而产生中介经合成侧信号。解码器经进一步配置以对中介经合成侧信号进行滤波以产生经合成侧信号。
在另一特定方面中,方法包含在第一装置处从第二装置接收声道间预测增益参数及经编码音频信号。经编码音频信号包含经编码中间信号。方法包含在第一装置处基于经编码中间信号产生经合成中间信号。方法包含基于经合成中间信号及声道间预测增益参数而产生中介经合成侧信号。方法进一步包含对中介经合成侧信号进行滤波以产生经合成侧信号。
在另一特定方面中,设备包含用于接收声道间预测增益参数及经编码音频信号的装置。经编码音频信号包含经编码中间信号。设备包含用于基于经编码中间信号产生经合成中间信号的装置。设备包含用于基于经合成中间信号及声道间预测增益参数而产生中介经合成侧信号的装置。设备进一步包含用于对中介经合成侧信号进行滤波以产生经合成侧信号的装置。
在另一特定方面中,计算机可读存储装置存储指令,指令在由处理器执行时致使处理器执行包含从装置接收声道间预测增益参数及经编码音频信号的操作。经编码音频信号包含经编码中间信号。操作包含基于经编码中间信号而产生经合成中间信号。操作包含基于经合成中间信号及声道间预测增益参数而产生中介经合成侧信号。操作进一步包含对中介经合成侧信号进行滤波以产生经合成侧信号。
在审阅整个申请案(包括以下章节)之后,本发明的其它方面、优点及特征将变得显而易见:附图说明、具体实施方式及权利要求书。
附图说明
图1为可操作以编码或解码音频信号的系统的特定说明性实例的框图;
图2为可操作以基于声道间预测增益参数来合成侧信号的系统的特定说明性实例的框图;
图3为图2的系统的编码器的特定说明性实例的框图;
图4为图2的系统的解码器的特定说明性实例的框图;
图5为绘示图1的系统的编码器的实例的图解;
图6为绘示图1的系统的编码器的实例的图解;
图7为绘示图1的系统的声道间对准器的实例的图解;
图8为绘示图1的系统的中间侧产生器的实例的图解;
图9为绘示图1的系统的译码或预测选择器的实例的图解;
图10为绘示图1的系统的译码或预测确定器的实例的图解;
图11为绘示图1的系统的升混参数产生器的实例的图解;
图12为绘示图1的系统的升混参数产生器的实例的图解;
图13为可操作以基于声道间预测增益参数而合成中介侧信号且对中介侧信号执行滤波以合成侧信号的系统的特定说明性实例的框图;
图14为图13的系统的解码器的第一说明性实例的框图;
图15为图13的系统的解码器的第二说明性实例的框图;
图16为图13的系统的解码器的第三说明性实例的框图;
图17为绘示对音频信号进行编码的特定方法的流程图;
图18为绘示对音频信号进行解码的特定方法的流程图;
图19为绘示对音频信号进行编码的特定方法的流程图;
图20为绘示对音频信号进行解码的特定方法的流程图;
图21为绘示对音频信号进行编码的特定方法的流程图;
图22为绘示对音频信号进行解码的特定方法的流程图;
图23为绘示对音频信号进行解码的特定方法的流程图;
图24为可操作以对音频信号进行编码或解码的装置的特定说明性实例的框图;及
图25为可操作以对音频信号进行编码或解码的基站的框图。
具体实施方式
本发明揭示可操作以对音频信号进行编码的系统及装置。装置可包含经配置以对音频信号进行编码的编码器。可在使用多个记录装置(例如多个麦克风)时同时捕获多个音频信号。在一些实例中,音频信号(或多声道音频)可通过对同时或不同时记录的数个音频声道进行复用来合成地(例如人工地)产生。作为说明性实例,音频声道的同时记录或复用可产生2声道配置(即,立体声:左与右)、5.1声道配置(左、右、中间、左环绕、右环绕及低频强调(LFE)声道)、7.1声道配置、7.1+4声道配置、22.2声道配置或N声道配置。
电话会议室(或遥现室)中的音频捕获装置可包含获取空间音频的多个麦克风。空间音频可包含语音以及编码及发送的背景音频。来自给定源(例如讲话者)的语音/音频可在不同时间到达多个麦克风,这取决于麦克风的布置方式以及源(例如讲话者)相对于麦克风及房间尺寸所定位的位置。例如,声源(例如讲话者)可更靠近与装置相关联的第一麦克风而非与装置相关联的第二麦克风。因此,从声源发出的声音可比第二麦克风更早地到达第一麦克风。装置可经由第一麦克风接收第一音频信号,且可经由第二麦克风接收第二音频信号。
音频信号可以段或帧进行编码。帧可对应于多个样本(例如1920个样本或2000个样本)。中间侧(MS)译码及参数立体声(PS)译码为立体声译码技术,其可提供比双单声道译码技术更高的效率。在双单声道译码中,左(L)声道(或信号)及右(R)声道(或信号)被独立译码而不利用声道间相关性。MS译码通过在译码之前将左声道及右声道变换为总和声道及差声道(例如侧声道)来减少相关L/R声道对之间的冗余。总和信号及差信号以MS译码进行波形译码。与在侧信号上相比,在总和信号上花费相对较多位。PS译码通过将L/R信号变换为总和信号及一组侧参数来减少每一子带中的冗余。侧参数可指示声道间强度差(IID)、声道间相位差(IPD)、声道间时间差(ITD)等等。总和信号连同侧参数一起经波形译码及发送。在混合系统中,侧声道可在较低频带(例如小于2千赫兹(kHz))中进行波形编码,且PS在较高频带(例如大于或等于2kHz)中进行译码,其中声道间相位保持在感知上不太重要。
MS译码及PS译码可在频域或子带域中完成。在一些实例中,左声道及右声道可能不相关。例如,左声道及右声道可包含不相关的合成信号。当左声道及右声道不相关时,MS译码、PS译码或两者的译码效率可接近双单声道译码的译码效率。
取决于记录配置,左声道与右声道之间可能存在时间偏移,以及其它空间效应,例如回声及房间混响。如果不补偿声道之间的时间偏移及相位失配,那么总和声道与差声道可包括可比较的能量,从而减少与MS或PS技术相关联的译码增益。译码增益的减少可基于时间(或相位)偏移的量。总和信号及差信号的可比较的能量可限制在某些帧中MS译码的使用,其中声道在时间上偏移但高度相关。在立体声译码中,可基于以下方程式产生中间声道(例如总和声道)及侧声道(例如差声道)。
M=(L+R)/2,S=(L-R)/2, 方程式1
其中M对应于中间声道,S对应于侧声道,L对应于左声道,R对应于右声道。
在一些状况下,可基于以下方程式产生中间声道及侧声道:
M=c(L+R),S=c(L-R), 方程式2
其中c对应于复数值或实数值,其可以逐帧,从一个频率或子带至另一频率或子带或其组合而变化。
在一些状况下,可基于以下方程式产生中间声道及侧声道:
M=(c1*L+c2*R),S=(c3*L-c4*R), 方程式3
其中c1、c2、c3及c4为复数值或实数值,其可逐帧,从一个子带或频率至另一子带或频率或其组合而变化。基于方程式1、方程式2或方程式3产生中间声道及侧声道可被称作执行“降混”算法。基于方程式1、方程式2或方程式3从中间声道及侧声道产生左声道及右声道的反向过程可被称作执行“升混”算法。
在一些状况下,中间声道可能基于其它方程式,例如:
M=(L+gDR)/2,或 方程式4
M=g1L+g2R 方程式5
其中g1+g2=1.0,其中gD为增益参数。在其它实例中,可在频带中执行降混,其中mid(b)=c1L(b)+c2R(b),其中c1及c2为复数,其中side(b)=c3L(b)–c4R(b),且其中c3及c4为复数。
用于在特定帧的MS译码或双单声道译码之间进行选择的特别方法可包含产生中间信号及侧信号,计算中间信号及侧信号的能量,以及基于能量确定是否执行MS译码。例如,可响应于确定侧信号与中间信号的能量比小于阈值来执行MS译码。出于说明起见,如果右声道偏移至少第一时间(例如约0.001秒或48kHz下的48个样本),那么中间信号的第一能量(对应于左信号与右信号的总和)对于有声语音帧可与侧信号的第二能量(对应于左信号与右信号之间的差)相当。当第一能量与第二能量相当时,可使用更高数目个位以对侧声道进行编码,由此相对于双单声道译码降低MS译码的译码效率。因此,当第一能量与第二能量相当时(例如当第一能量与第二能量的比率大于或等于阈值时),可使用双单声道编码。在替代方法中,可以基于左声道及右声道的阈值与归一化交叉相关性值的比较来做出针对特定帧的MS译码与双单声道编码之间的决定。
在一些实例中,编码器可确定指示第一音频信号相对于第二音频信号的时间失配(例如偏移)的失配值(例如时间失配值、增益值、能量值、声道间预测值)。时间失配值(例如失配值)可对应于在第一麦克风处接收第一音频信号与在第二麦克风处接收第二音频信号之间的时间延迟量。此外,编码器可逐帧地确定时间失配值,例如基于每20毫秒(ms)语音/音频帧。例如,时间失配值可对应于第二音频信号的第二帧相对于第一音频信号的第一帧延迟的时间量。替代地,时间失配值可对应于第一音频信号的第一帧相对于第二音频信号的第二帧延迟的时间量。
当声源更靠近第一麦克风而不是第二麦克风时,第二音频信号的帧可相对于第一音频信号的帧延迟。在此状况下,第一音频信号可被称作“参考音频信号”或“参考声道”,且延迟的第二音频信号可被称作“目标音频信号”或“目标声道”。替代地,当声源比第一麦克风更靠近第二麦克风时,第一音频信号的帧可相对于第二音频信号的帧延迟。在此状况下,第二音频信号可被称作参考音频信号或参考声道,且延迟的第一音频信号可被称作目标音频信号或目标声道。
取决于声源(例如讲话者)位于会议或遥现室中或声源(例如讲话者)位置相对于麦克风如何变化,参考声道及目标声道可从一个帧至另一帧改变;相似地,时间失配(例如偏移)值也可从一个帧至另一帧改变。然而,在一些实施方案中,时间失配值可始终为正以指示“目标”声道相对于“参考”声道的延迟量。此外,时间失配值可对应于“非因果偏移”值,延迟的目标声道在时间上被“拉回”所述“非因果偏移”值,使得目标声道与“参考”声道对准(例如最大程度地对准)。“拉回”目标声道可对应于在时间上推进目标声道。“非因果偏移”可对应于延迟音频声道(例如滞后音频声道)相对于前导音频声道的偏移,以在时间上将延迟音频声道与前导音频声道对准。可对参考声道及非因果偏移目标声道执行用于确定中间声道及侧声道的降混算法。
编码器可基于第一音频声道及应用于第二音频声道的多个时间失配值来确定时间失配值。例如,第一音频声道X的第一帧可在第一时间(m1)被接收。可在对应于第一时间失配值(例如shift1=n1-m1)的第二时间(n1)接收第二音频声道Y的第一特定帧。此外,可在第三时间(m2)接收第一音频声道的第二帧。可在对应于第二时间失配值(例如shift2=n2-m2)的第四时间(n2)接收第二音频声道的第二特定帧。
装置可执行成帧或缓冲算法以第一采样速率(例如32kHz采样速率(即,每帧640个样本))产生帧(例如20ms样本)。响应于确定第一音频信号的第一帧及第二音频信号的第二帧同时到达装置处,编码器可将时间失配值(例如shift1)估计为等于零样本。左声道(例如对应于第一音频信号)及右声道(例如对应于第二音频信号)可在时间上对准。在一些状况下,左声道及右声道即使在对准时也可能由于各种原因(例如麦克风校准)而在能量上不同。
在一些实例中,由于各种原因,左声道及右声道可能在时间上失配(例如未对准)(例如,例如讲话者的声源可能比另一声道更接近麦克风中的一者且两个麦克风可间隔大于阈值(例如1至20厘米)距离)。声源相对于麦克风的位置可能在左声道及右声道中引入不同延迟。另外,左声道与右声道之间可能存在增益差、能量差或电平差。
在一些实例中,当多个讲话者交替地讲话(例如无重叠)时,来自多个声源(例如讲话者)的麦克风处的音频信号的到达时间可变化。在此状况下,编码器可基于讲话者动态地调整时间失配值以识别参考声道。在一些其它实例中,多个讲话者可能同时讲话,这可能导致变化的时间失配值,这取决于谁为声音最响的讲话者、最接近麦克风等等。
在一些实例中,当两个信号可能展示较少(例如无)相关性时,可合成或人工地产生第一音频信号及第二音频信号。应理解,本文中所描述的实例为说明性的,且在相似或不同情况下确定第一音频信号与第二音频信号之间的关系中可能有指导性。
编码器可基于第一音频信号的第一帧及第二音频信号的多个帧的比较来产生比较值(例如差值或交叉相关性值)。多个帧中的每一帧可对应于特定时间失配值。编码器可基于比较值而产生第一估计时间失配值(例如第一估计失配值)。例如,第一估计时间失配值可对应于指示第一音频信号的第一帧与第二音频信号的对应第一帧之间的较高时间相似性(或较低差)的比较值。正时间失配值(例如第一估计时间失配值)可指示第一音频信号为前导音频信号(例如时间上前导的音频信号)且第二音频信号为滞后音频信号(例如时间上滞后的音频信号)。滞后音频信号的帧(例如样本)可相对于前导音频信号的帧(例如样本)在时间上延迟。
编码器可通过在多个阶段中精简一系列估计时间失配值来确定最终时间失配值(例如最终失配值)。例如,编码器可首先基于从第一音频信号及第二音频信号的立体声预处理及重采样版本产生的比较值来估计“暂定”时间失配值。编码器可产生与接近估计“暂定”时间失配值的时间失配值相关联的内插比较值。编码器可基于内插比较值而确定第二估计“内插”时间失配值。例如,第二估计“内插”时间失配值可对应于特定内插比较值,所述特定内插比较值指示比剩余内插比较值及第一估计“暂定”时间失配值更高的时间相似性(或更低差)。如果当前帧的第二估计“内插”时间失配值(例如第一音频信号的第一帧)不同于前一帧的最终时间失配值(例如在第一帧之前的第一音频信号的帧),那么进一步“修正”当前帧的“内插”时间失配值,以改进第一音频信号与偏移的第二音频信号之间的时间相似性。特定地说,第三估计“修正”时间失配值可对应于通过搜索当前帧的第二估计“内插”时间失配值及前一帧的最终估计时间失配值来较精确地测量时间相似性。第三估计“修正”时间失配值进一步经调节以通过限制帧之间的时间失配值的任何虚假改变来估计最终时间失配值,并进一步控制以在如本文中所描述的两个逐次(或连续)帧中不从负时间失配值切换至正时间失配值(或反之亦然)。
在一些实例中,编码器可避免在连续帧或毗邻帧中在正时间失配值与负时间失配值之间切换或反之亦然。举例来说,编码器可基于第一帧的估计“内插”或“修正”时间失配值以及在第一帧之前的特定帧中的对应估计“内插”或“修正”或最终时间失配值而将最终时间失配值设定为指示无时间偏移的特定值(例如0)。出于说明起见,编码器可响应于确定当前帧的估计“暂定”或“内插”或“修正”时间失配值中的一者为正且前一帧(例如在第一帧之前的帧)的估计“暂定”或“内插”或“修正”或“最终”估计时间失配值中的另一者为负而设定当前帧(例如第一帧)的最终时间失配值以指示无时间偏移(即,shift1=0)。替代地,编码器可响应于确定当前帧的估计“暂定”或“内插”或“修正”时间失配值中的一者为负且前一帧(例如在第一帧之前的帧)的估计“暂定”或“内插”或“修正”或“最终”估计时间失配值中的另一者为正而还设定当前帧(例如第一帧)的最终时间失配值以指示无时间偏移(即,shift1=0)。如本文中所提及,“时间偏移”可对应于时间偏移、时间位移、采样偏移、采样位移,或位移。
编码器可基于时间失配值将第一音频信号或第二音频信号的帧选择为“参考”或“目标”。例如,响应于确定最终时间失配值为正,编码器可产生具有指示第一音频信号为“参考”信号的第一值(例如0)且第二音频信号为“目标”信号的参考声道或信号指示符。替代地,响应于确定最终时间失配值为负,编码器可产生具有指示第二音频信号为“参考”信号的第二值(例如1)且第一音频信号为“目标”信号的参考声道或信号指示符。
参考信号可对应于前导信号,而目标信号可对应于滞后信号。在特定方面中,参考信号可为由第一估计时间失配值指示为前导信号的相同信号。在替代方面中,参考信号可与由第一估计时间失配值指示为前导信号的信号不同。无论第一估计时间失配值是否指示参考信号对应于前导信号,参考信号可被视为前导信号。例如,可通过相对于参考信号偏移(例如调整)其它信号(例如目标信号),可将参考信号视为前导信号。
在一些实例中,编码器可基于对应于待编码的帧的失配值(例如估计时间失配值或最终时间失配值)及对应于先前经编码帧的失配(例如偏移)值而识别或确定目标信号或参考信号中的至少一者。编码器可将失配值存储在存储器中。目标声道可对应于两个音频声道的时间上滞后的音频声道,且参考声道可对应于两个音频声道的时间上前导的音频声道。在一些实例中,编码器可识别时间上滞后的声道,且可不基于来自存储器的失配值而最大程度地将目标声道与参考声道对准。例如,编码器可基于一或多个失配值将目标声道与参考声道部分地对准。在一些其它实例中,编码器可通过对经编码的多个帧(例如四个帧)将整体失配值(例如100个样本)“非因果地”分布至较小的失配值(例如25个样本、25个样本、25个样本)而对一系列帧逐步调整目标声道。
编码器可估计与参考信号及非因果偏移目标信号相关联的相对增益(例如相对增益参数)。举例来说,响应于确定最终时间失配值为正,编码器可估计增益值以相对于位移非因果时间失配值(例如最终时间失配值的绝对值)的第二音频信号对第一音频信号的能量或功率电平进行归一化或均衡。替代地,响应于确定最终时间失配值为负,编码器可估计增益值以相对于第二音频信号对非因果偏移的第一音频信号的功率电平进行归一化或均衡。在一些实例中,编码器可估计增益值以相对于非因果偏移的“目标”信号对“参考”信号的能量或功率电平进行归一化或均衡。在其它实例中,编码器可相对于目标信号(例如未偏移的目标信号)基于参考信号来估计增益值(例如相对增益值)。
编码器可基于参考信号、目标信号(例如偏移的目标信号或未偏移的目标信号)、非因果时间失配值及相对增益参数产生至少一个编码信号(例如中间信号、侧信号或两者)。侧信号可对应于第一音频信号的第一帧的第一样本与第二音频信号的选定帧的选定样本之间的差。编码器可基于最终时间失配值来选择选定帧。与对应于与第一帧同时由装置接收的第二音频信号的帧的第二音频信号的其它样本相比较,较少位可用于由于第一样本与选定样本之间的减少差对侧信号进行编码。装置的发送器可发送至少一个经编码信号、非因果时间失配值、相对增益参数、参考声道或信号指示符,或其组合。
编码器可基于参考信号、目标信号(例如偏移的目标信号或未偏移的目标信号)、非因果时间失配值、相对增益参数、第一音频信号的特定帧的低频带参数、特定帧的高频带参数或其组合而产生至少一个编码信号(例如中间信号、侧信号或两者)。特定帧可在第一帧之前。来自一或多个先前帧的某些低频带参数、高频带参数或其组合可用于编码第一帧的中间信号、侧信号或两者。基于低频带参数、高频带参数或其组合对中间信号、侧信号或两者进行编码可改进非因果时间失配值及声道间相对增益参数的估计。低频带参数、高频带参数或其组合可包含音调参数、发声参数、译码器类型参数、低频带能量参数、高频带能量参数、倾斜参数、音调增益参数、FCB增益参数、编码模式参数、语音活动参数、噪音估计参数、信噪比参数、共振峰参数、语音/音乐决策参数、非因果偏移、声道间增益参数,或其组合。装置的发送器可发送至少一个经编码信号、非因果时间失配值、相对增益参数、参考声道或信号指示符,或其组合。如本文中所提及,音频“信号”对应于音频“声道”。如本文中所提及,“时间失配值”对应于位移值、失配值、时间偏移值、样本时间失配值或样本位移值。如本文中所提及,“偏移”目标信号可对应于代表目标信号的数据的偏移位置,将数据复制至一或多个存储器缓冲器,移动与目标信号相关联的一或多个存储器指针,或其组合。
下文参考图式描述本发明的特定方面。在描述中,共同特征由共同参考数字指定。如本文中所使用,各种术语仅用于描述特定实施方案的目的,且不旨在限制实施方案。例如,除非上下文另有明确指示,否则单数形式“一”及“所述”意欲包含复数形式。可进一步理解,术语“包括(comprise)”、“包括(comprises)”及“包括(comprising)”可与“包含(include)”、“包含(includes)”或“包含(including)”互换地使用。另外,应理解,术语“其中(wherein)”可与“其中(where)”互换地使用。如本文中所使用,“示范性”可指示实例、实施方案及/或方面,且不应被解释为限制或指示偏好或优选实施方案。如本文中所使用,用于修饰元件(例如结构、组件、操作等等)的序数术语(例如“第一”、“第二”、“第三”等等)本身并不指示元件相对于另一元件的任何优先顺序或次序,而仅将元件与具有相同名称(如果不使用序数术语)的另一元件区分。如本文中所使用,术语“组”是指特定元素中的一或多者,且术语“多个”是指特定多个(例如两个或多于两个)元素。
在本发明中,例如“确定”、“计算”、“估计”、“偏移”、“调整”等等的术语可用于描述如何执行一或多个操作。应注意,这些术语不应被解释为限制性,且可利用其它技术来执行相似操作。另外,如本文中所提及,“产生”、“计算”、“使用”、“选择”、“存取”及“确定”可互换地使用。例如,“产生”、“计算”或“确定”参数(或信号)可指主动地产生、计算或确定参数(或信号)或可指例如由另一组件或装置使用、选择或存取已产生的参数(或信号)。
参考图1,揭示系统的特定说明性实例且将其整体上指定为100。系统100包含第一装置104,第一装置104经由网络120以通信方式耦合至第二装置106。网络120可包含一或多个无线网络、一或多个有线网络或其组合。
第一装置104可包含编码器114、发送器110、一或多个输入接口112或其组合。输入接口112的第一输入接口可耦合至第一麦克风146。输入接口112的第二输入接口可耦合至第二麦克风147。编码器114可经配置以对音频信号进行降混及编码,如本文中所描述。编码器114包含耦合至译码或预测(CP)选择器122及中间侧产生器(gen)148的声道间对准器108。编码器114还包含耦合至CP选择器122及中间侧产生器148的信号产生器116。在特定方面中,声道间对准器108可被称作“时间均衡器”。
第二装置106可包含解码器118。解码器118可包含CP确定器172,其耦合至升混参数(param)产生器176及信号产生器174。信号产生器174经配置以升混及呈现音频信号。第二装置106可耦合至第一扩音器142、第二扩音器144或两者。
在操作期间,第一装置104可经由第一输入接口从第一麦克风146接收第一音频信号130且可经由第二输入接口从第二麦克风147接收第二音频信号132。第一音频信号130可对应于右声道信号或左声道信号中的一者。第二音频信号132可对应于右声道信号或左声道信号中的另一者。第一麦克风146及第二麦克风147可从声源152(例如用户、说话者、环境噪音、乐器等等)接收音频。在特定方面中,第一麦克风146、第二麦克风147或两者可从多个声源接收音频。多个声源可包含主导(或最主导)声源(例如声源152)及一或多个次级声源。一或多个次级声源可对应于交通、背景音乐、另一讲话者、街道噪音等等。声源152(例如主导声源)可比第二麦克风147更靠近第一麦克风146。因此,与经由第二麦克风147相比,可经由第一麦克风146在较早时间在输入接口112从声源152接收音频信号。经由多个麦克风的多声道信号获取的此自然延迟可能在第一音频信号130与第二音频信号132之间引入时间失配。
声道间对准器108可确定指示第一音频信号130(例如“目标”)相对于第二音频信号132(例如“参考”)的时间失配(例如非因果偏移)的时间失配值,如参考图7进一步所描述。时间失配值可指示第一音频信号130的第一帧的第一样本与第二音频信号132的第二帧的第二样本之间的时间失配量(例如时间延迟)。如本文中所提及,“时间延迟(timedelay)”可对应于“时间延迟(temporal delay)”。时间失配可指示第一音频信号130的经由第一麦克风146的接收与第二音频信号132的经由第二麦克风147的接收之间的时间延迟。例如,时间失配值的第一值(例如正值)可指示第二音频信号132相对于第一音频信号130被延迟。在此实例中,第一音频信号130可对应于前导信号,且第二音频信号132可对应于滞后信号。时间失配值的第二值(例如负值)可指示第一音频信号130相对于第二音频信号132被延迟。在此实例中,第一音频信号130可对应于滞后信号,且第二音频信号132可对应于前导信号。时间失配值的第三值(例如0)可指示第一音频信号130与第二音频信号132之间无延迟。
在一些实施方案中,时间失配值的第三值(例如0)可指示第一音频信号130与第二音频信号132之间的延迟已切换正负号。例如,第一音频信号130的第一特定帧可在第一帧之前。第二音频信号132的第一特定帧及第二特定帧可对应于由声源152发出的同一声音。与在第二麦克风147处相比,可在第一麦克风146处较早检测到同一声音。第一音频信号130与第二音频信号132之间的延迟可从使第一特定帧相对于第二特定帧延迟切换至使第二帧相对于第一帧延迟。替代地,第一音频信号130与第二音频信号132之间的延迟可从使第二特定帧相对于第一特定帧延迟切换至使第一帧相对于第二帧延迟。响应于确定第一音频信号130与第二音频信号132之间的延迟已切换正负号,如参考图7进一步所描述,声道间对准器108可设定时间失配值以指示第三值(例如0)。
声道间对准器108基于时间失配值而选择第一音频信号130或第二音频信号132中的一者作为参考信号103,且选择第一音频信号130或第二音频信号132中的另一者作为目标信号,如参考图7进一步所描述。声道间对准器108通过基于时间失配值调整目标信号来产生经调整目标信号105,如参考图7进一步所描述。声道间对准器108基于第一音频信号130、第二音频信号132或两者产生一或多个声道间对准(ICA)参数107,如参考图7进一步所描述。声道间对准器108将参考信号103及经调整目标信号105提供至CP选择器122、中间侧产生器148或两者。声道间对准器108将ICA参数107提供至CP选择器122、中间侧产生器148或两者。
CP选择器122基于ICA参数107、一或多个额外参数或其组合产生CP参数109,如参考图9进一步所描述。CP选择器122可基于确定ICA参数107是否指示对应于参考信号103及经调整目标信号105的侧信号113为用于预测的候选者来产生CP参数109。
在特定实例中,CP选择器122基于时间失配值的改变确定侧信号113是否为用于预测的候选者。当讲话者的位置相对于第一麦克风146及第二麦克风147的位置改变时,时间失配值可跨帧改变。CP选择器122可基于确定时间失配值正在跨帧改变大于阈值的值确定侧信号113并非用于预测的候选者。时间失配值的大于阈值的改变可指示预测的侧信号可能与侧信号113相对不同(例如并非接近近似)。替代地,CP选择器122可至少部分地基于确定时间失配值的改变小于或等于阈值来确定侧信号113为用于预测的候选者。时间失配值的改变小于或等于阈值可指示预测的侧信号可能为侧信号113的相对接近近似。在一些实施方案中,阈值可跨帧自适应地变化,以在确定CP参数109时启用迟滞及平滑,如参考图9进一步所描述。
响应于确定侧信号113并非用于预测的候选者,CP选择器122可产生具有第一值(例如0)的CP参数109。替代地,CP选择器122可响应于确定侧信号113为用于预测的候选者而产生具有第二值(例如1)的CP参数109。
CP参数109的第一值(例如0)指示将对侧信号113进行编码以用于发送,经编码侧信号123将发送至第二装置106,且解码器118将通过对经编码侧信号123进行解码产生经合成侧信号173。CP参数109的第二值(例如1)指示侧信号113未经编码用于发送,经编码侧信号123未发送至第二装置106,且解码器118将基于经合成中间信号171预测经合成侧信号173。当未发送经编码侧信号123时,可替代地发送声道间增益参数(例如声道间预测增益参数),如参考图2至4进一步所描述。
CP选择器122将CP参数109提供至中间侧产生器148。中间侧产生器148基于CP参数109确定降混参数115,如参考图8进一步所描述。例如,当CP参数109具有第一值(例如0)时,降混参数115可基于能量量度、相关性量度或两者。能量量度可基于第一音频信号130的第一能量及第二音频信号132的第二能量。相关性量度可指示第一音频信号130与第二音频信号132之间的相关性(例如,交叉相关性、差或相似性)。降混参数115具有在从第一值(例如0)至第二值(例如1)的范围内的值。在特定方面中,降混参数115的特定值(例如0.5)可指示第一音频信号130及第二音频信号132具有相似的能量(例如,第一能量近似等于第二能量)。降混参数115的值(例如小于0.5)更接近第一值(例如0)而非第二值(例如1)可指示第一音频信号130的第一能量大于第二音频信号132的第二能量。降混参数115的值(例如大于0.5)更接近第二值(例如1)而非第一值(例如0)可指示第二音频信号132的第二能量大于第一音频信号130的第一能量。在特定方面中,降混参数115可指示参考信号103与经调整目标信号105的相对能量。当CP参数109具有第二值(例如1)时,降混参数115可基于默认参数值(例如0.5)。
基于降混参数115,中间侧产生器148执行降混处理以产生中间信号111及对应于参考信号103及经调整目标信号105的侧信号113,如参考图8进一步所描述。例如,中间信号111可对应于参考信号103与经调整目标信号105的总和。侧信号113可对应于参考信号103与经调整目标信号105之间的差。中间侧产生器148将中间信号111、侧信号113、降混参数115或其组合提供至信号产生器116。
信号产生器116可具有可用于对中间信号111、侧信号113或两者进行编码的特定数目个位。信号产生器116可确定位分配,所述位分配指示第一数目个位经分配用于编码中间信号111,且第二数目个位经分配用于编码侧信号113。第一位数目可大于或等于第二位数目。响应于确定CP参数109具有指示不发送经编码侧信号123的第二值(例如1),信号产生器116可确定无位(例如第二位数目=零)经分配用于编码侧信号113。信号产生器116可改变原本用于对侧信号113进行编码的位的用途。例如,作为非限制性实例,信号产生器116可分配一些或全部经改变用途的位以对中间信号111进行编码或发送其它参数,例如一或多个声道间增益参数。
在特定实例中,信号产生器116可响应于确定CP参数109具有指示要发送经编码侧信号123的第一值(例如0)基于降混参数115确定位分配。降混参数115的特定值(例如0.5)可指示侧信号113具有较少信息且可能对第二装置106处的输出信号具有较小影响。进一步远离特定值(例如0.5)的降混参数115的值,例如更接近第一值(例如0)或第二值(例如1),可指示侧信号113具有更多能量。当降混参数115较接近特定值(例如0.5)时,信号产生器116可分配更少的位用于对侧信号113进行编码。
信号产生器116可基于中间信号111而产生经编码中间信号121。经编码中间信号121可对应于表示中间信号111的一或多个第一位流参数。可基于位分配来产生第一位流参数。例如,第一位流参数计数,第一位流参数的位流参数的精度(例如用于表示的位数目)或两者可基于分配用于对中间信号111进行编码的第一位数目。
响应于确定CP参数109具有指示经编码侧信号123未经发送的第二值(例如1),位分配指示分配零位用于对侧信号113进行编码或两者,信号产生器116可抑制产生经编码侧信号123。替代地,信号产生器116可响应于确定CP参数109具有指示经编码侧信号123将经发送的第一值(例如0)且位分配指示正位数经分配用于对侧信号113进行编码而基于侧信号113产生经编码侧信号123。经编码侧信号123可对应于表示侧信号113的一或多个第二位流参数。可基于位分配来产生第二位流参数。例如,第二位流参数的计数、第二位流参数的位流参数的精度或两者可基于经分配用于对侧信号113进行编码的第二位数目。信号产生器116可使用各种编码技术产生经编码中间信号121、经编码侧信号123或两者。例如,信号产生器116可使用时域技术(例如代数码活跃线性预测(ACELP))产生经编码中间信号121、经编码侧信号123或两者。在一些实施方案中,响应于确定CP参数109具有指示侧信号113未经编码用于发送的第二值(例如,1),中间侧产生器148可抑制产生侧信号113。
发送器110发送对应于经编码中间信号121、经编码侧信号123或两者的位流参数102。例如,发送器110响应于确定CP参数109具有指示不发送经编码侧信号123的第二值(例如1),位分配指示分配零位用于对侧信号113进行编码或两者而发送第一位流参数(对应于经编码中间信号121)作为位流参数102。响应于确定CP参数109具有指示未发送经编码侧信号123的第二值(例如1),位分配指示零位经分配用于对侧信号113进行编码或两者,发送器110抑制发送第二位流参数(对应于经编码侧信号123)。响应于确定CP参数109具有指示未发送经编码侧信号123的第二值(例如1),发送器110可发送一或多个声道间预测增益参数,如参考图2至3进一步所描述。替代地,发送器110响应于确定CP参数109具有指示经编码侧信号123将被发送的第一值(例如0)且位分配指示正数目个位经分配用于对侧信号113进行编码而发送第一位流参数及第二位流参数作为位流参数102。
发送器110可经由网络120将一或多个译码参数140与位流参数102同时发送至第二装置106。译码参数140可包含ICA参数107、降混参数115、CP参数109、时间失配值或一或多个额外参数中的至少一者。例如,编码器114可确定一或多个声道间预测增益参数,如参考图2进一步所描述。一或多个声道间预测增益参数可基于中间信号111及侧信号113。译码参数140可包含一或多个声道间预测增益参数,如参考图2至3进一步所描述。在一些实施方案中,发送器110可在网络120的装置或本地装置处存储位流参数102、译码参数140或其组合,以便稍后进一步处理或解码。
第二装置106的解码器118可基于位流参数102、译码参数140或其组合而对经编码中间信号121、经编码侧信号123或两者进行解码。CP确定器172可基于译码参数140确定CP参数179,如参考图10进一步所描述。CP参数179的第一值(例如0)指示位流参数102对应于经编码侧信号123(除了经编码中间信号121以外)且基于(例如从其解码)位流参数102且独立于经合成中间信号171而将产生经合成侧信号173。CP参数179的第二值(例如1)指示位流参数102不对应于经编码侧信号123,且基于经合成中间信号171预测经合成侧信号173。
在一些方面中,发送器110发送CP参数109作为译码参数140中的一者,且CP确定器172产生具有与CP参数109相同的值的CP参数179。在其它方面中,CP确定器172在CP选择器122执行以确定CP参数109时执行相似技术以确定CP参数179。例如,CP确定器172及CP选择器122可分别基于在编码器114处及在解码器118处皆可用的信息(例如核心类型或译码器类型)来确定CP参数109及CP参数179。
CP确定器172将CP参数179提供至升混参数产生器176、信号产生器174或两者。升混参数产生器176基于CP参数179、译码参数140或其组合产生升混参数175,如参考图11至12进一步所描述。升混参数175可对应于降混参数115。例如,编码器114可使用降混参数115来执行降混处理,以从参考信号103及经调整目标信号105产生中间信号111及侧信号113。信号产生器174可使用升混参数175来执行升混处理,以从经合成中间信号171及经合成侧信号173产生第一输出信号126及第二输出信号128。
在一些方面中,发送器110发送降混参数115作为译码参数140中的一者,且升混参数产生器176产生对应于降混参数115的升混参数175。在其它方面中,升混参数产生器176在中间侧产生器148执行以确定降混参数115时执行相似技术以确定升混参数175。例如,中间侧产生器148及升混参数产生器176可基于在编码器114及解码器118处皆可用的信息(例如发声因子)分别确定降混参数115及升混参数175。
在特定方面中,升混参数产生器176产生多个升混参数。例如,升混参数产生器176产生以下各者:第一升混参数175,如参考图11的1100进一步所描述;第二升混参数175,如参考图11的1102进一步所描述;第三升混参数175,如参考图12进一步所描述;或其组合。在此方面中,信号产生器174使用多个升混参数从经合成中间信号171及经合成侧信号173产生第一输出信号126及第二输出信号128。在特定实例中,升混参数175包含ICA增益参数709、ICA参数107(例如TMV 943)、ICP 208或升混配置中的一或多者。升混配置指示用于基于升混参数175混合经合成中间信号171及经合成侧信号173以产生第一输出信号126及第二输出信号128的配置。
在特定方面中,编码器114可通过抑制起始具有默认参数值的参数(例如译码参数140中的一或多者)的发送来节省网络资源(例如带宽)。例如,响应于确定第一参数与默认参数值(例如0)匹配,编码器114抑制发送第一参数作为译码参数140中的一者。响应于确定译码参数140不包含第一参数,解码器118基于默认参数值(例如0)确定对应第二参数。替代地,响应于确定第一参数不匹配默认参数值(例如1),编码器114起始(经由发送器110)发送第一参数作为译码参数140中的一者。响应于确定译码参数140包含第一参数,解码器118基于第一参数确定对应第二参数。
在特定实例中,第一参数包含CP参数109,对应第二参数包含CP参数179,且默认参数值包含第一值(例如0)或第二值(例如1)。在另一实例中,第一参数包含降混参数115,对应第二参数包含升混参数175,且默认参数值包含特定值(例如0.5)。
信号产生器174基于CP参数179确定位流参数102是否对应于经编码侧信号123。例如,信号产生器174基于CP参数179的第二值(例如1)确定位流参数102表示经编码中间信号121且不对应于经编码侧信号123。在特定方面中,信号产生器174可确定用于表示经编码中间信号121、经编码侧信号123或两者的全部可用位已经分配以表示经编码中间信号121。信号产生器174通过解码位流参数102来产生经合成中间信号171。在特定方面中,经合成中间信号171对应于低频带经合成中间信号或高频带经合成中间信号。信号产生器174基于经合成中间信号而产生(例如预测)经合成侧信号173,如参考图2及4进一步所描述。例如,信号产生器174通过将声道间预测增益应用于经合成中间信号171来产生经合成侧信号173。在特定方面中,经合成侧信号173对应于低频带经合成侧信号。
在特定实例中,信号产生器174基于CP参数179的第一值(例如0)确定位流参数102对应于经编码侧信号123及经编码中间信号121。信号产生器174通过解码位流参数102来产生经合成中间信号171及经合成侧信号173。信号产生器174通过解码对应于经编码中间信号121的第一组位流参数102来产生经合成中间信号171。信号产生器174通过解码对应于经编码侧信号123的第二组位流参数102来产生经合成侧信号173。通过对第二组位流参数102进行解码来产生经合成侧信号173可对应于独立于或部分地基于经合成中间信号171产生经合成侧信号173。在特定方面中,可与产生经合成中间信号171同时产生经合成侧信号173。在另一特定实例中,信号产生器174基于CP参数179的第二值(例如1)确定位流参数102不对应于经编码侧信号123。信号产生器174通过对位流参数102进行解码来产生经合成中间信号171,且信号产生器174基于经合成中间信号171及从第一装置104接收的一或多个声道间预测增益参数而产生经合成侧信号173,如参考图2及4进一步所描述。
信号产生器174可基于升混参数175执行升混,以从经合成中间信号171及经合成侧信号173产生第一输出信号126(例如对应于第一音频信号130)及第二输出信号128(例如对应于第二音频信号132)。例如,信号产生器174可使用对应于由中间侧产生器148所使用的降混算法的升混算法来产生中间信号111及侧信号113。在特定方面中,经合成中间信号171对应于高频带经合成中间信号。在此方面中,信号产生器174通过对高频带经合成中间信号执行声道间带宽扩展(BWE)来产生第一输出信号126的第一高频带输出信号。例如,位流参数102可包含一或多个声道间BWE参数。声道间BWE参数可包含一组调整增益参数。在特定实施方案中,信号产生器174可通过基于第一调整增益参数缩放高频带经合成中间信号而产生第一高频带输出信号。信号产生器174基于对高频带经合成中间信号执行声道间带宽扩展而产生第二输出信号128的第二高频带输出信号。例如,信号产生器174通过基于第二调整增益参数缩放高频带经合成中间信号而产生第二高频带输出信号。信号产生器174通过基于升混参数175升混低频带经合成中间信号及低频带经合成侧信号而产生第一输出信号126的第一低频带输出信号。第一输出信号126的第二低频带输出信号是基于基于升混参数175升混低频带经合成中间信号及低频带经合成侧信号。信号产生器174通过组合第一低频带输出信号及第一高频带输出信号产生第一输出信号126。信号产生器174通过组合第二低频带输出信号及第二高频带输出信号产生第二输出信号128。
在特定方面中,信号产生器174基于特定时间失配值调整第一输出信号126或第二输出信号128中的至少一者。译码参数140可指示特定时间失配值。特定时间失配值可对应于声道间对准器108用于产生经调整目标信号105的时间失配值。第二装置106可经由第一扩音器142输出第一输出信号126(或经调整的第一输出信号126),经由第二扩音器144输出第二输出信号128(或经调整的第二输出信号128),或两者。
系统100使得能够动态地调整网络资源使用(例如带宽)、输出信号126、128的质量(例如在近似音频信号130、132方面)或两者。当侧信号113并非用于预测的候选者时,可基于降混参数115动态地调整位分配。当降混参数115指示侧信号113包含较少信息时,可使用较少位来表示经编码侧信号123。当侧信号113包含较少信息时,减少表示经编码侧信号123的位数目可能对输出信号126、128的质量具有小的(例如不可感知的)影响。可将原本用于表示经编码侧信号123的位改变用途以表示经编码中间信号121(例如可将经编码中间信号121的额外位发送至第二装置106)。由于额外位,经合成中间信号171可更接近中间信号111。
当侧信号113为用于预测的候选者时,信号产生器116抑制发送对应于经编码侧信号123的位流参数。在特定方面中,发送器110通过抑制发送对应于经编码侧信号123的位流参数来使用较少网络资源。与通过解码表示经编码侧信号123的位流参数产生经合成侧信号173(例如经解码侧信号)相比,解码器118可基于经合成中间信号171产生经合成侧信号173(例如经预测侧信号)。
当侧信号113为用于预测的候选者时,基于经合成侧信号173(例如经预测侧信号)产生的输出信号(例如第一输出信号126及第二输出信号128)与基于经解码侧信号的输出信号之间的差异对收听者可能相对不显著。因此,系统100可使得发送器110能够以对输出信号的音频质量较小(例如不可感知的)影响来节省网络资源(例如带宽)。
在特定方面中,编码器114改变原本用于发送经编码侧信号123的位的用途。例如,信号产生器116可分配经改变用途的位中的至少一些重新调整以更好地表示经编码中间信号121、译码参数140或其组合。出于说明起见,可使用更多位来表示对应于经编码中间信号121的位流参数102。发送表示经编码中间信号121的额外位可导致经合成中间信号171更接近地接近中间信号111。基于经合成中间信号171(例如包含额外位)所预测的经合成侧信号173可更接近地(与经解码侧信号相比)接近侧信号113。
因此,系统100可使得解码器118能够通过使得发送器110在侧信号113为用于预测的候选者时,在侧信号113包含较少信息时或两者使用更多位来表示经编码中间信号121而产生更接近于音频信号130、132的输出信号126、128。以此方式,系统100可改进与输出信号126、128相关联的收听体验。
参考图2,展示基于声道间预测增益参数合成侧信号的系统200的特定说明性实例。在特定实施方案中,图2的系统200包含或对应于在基于经合成中间信号确定预测经合成侧信号之后的图1的系统100。系统200包含第一装置204,第一装置204经由网络205以通信方式耦合至第二装置206。网络205可包含一或多个无线网络、一或多个有线网络或其组合。在特定实施方案中,第一装置204、网络205及第二装置206可分别包含或对应于图1的第一装置104、网络120及第二装置106。在特定实施方案中,第一装置204包含或对应于移动装置。在另一特定实施方案中,第一装置204包含或对应于基站。在特定实施方案中,第二装置206包含或对应于移动装置。在另一特定实施方案中,第二装置206包含或对应于基站。
第一装置204可包含编码器214、发送器210、一或多个输入接口212或其组合。输入接口212的第一输入接口可耦合至第一麦克风246。输入接口212的第二输入接口可耦合至第二麦克风248。第一麦克风246及第二麦克风248可经配置以捕获一或多个音频输入并产生音频信号。例如,第一麦克风246可经配置以捕获由声源240产生的一或多个音频声音且基于一或多个音频声音输出第一音频信号230,且第二麦克风248可经配置以捕获由声源240产生的一或多个音频声音,且基于一或多个音频声音输出第二音频信号232。
编码器214可经配置以对音频信号进行降混及编码,如参考图1所描述。在特定实施方案中,编码器214可经配置以对第一音频信号230及第二音频信号232执行一或多个对准操作,如参考图1所描述。编码器214包含信号产生器216、声道间预测增益参数(ICP)产生器220及位流产生器222。信号产生器216可耦合至ICP产生器220及位流产生器222,且ICP产生器220可耦合至位流产生器222。信号产生器216经配置以基于经由输入接口212接收的输入音频信号产生音频信号,如参考图1所描述。例如,信号产生器216可经配置以基于第一音频信号230及第二音频信号232产生中间信号211。作为另一实例,信号产生器216还可经配置以基于第一音频信号230及第二音频信号232产生中间信号213。信号产生器216还经配置以对一或多个音频信号进行编码。例如,信号产生器216可经配置以基于中间信号211产生经编码中间信号215。在特定实施方案中,中间信号211、侧信号213及经编码中间信号215分别包含或对应于图1的中间信号111、侧信号113及经编码中间信号115。信号产生器216可经进一步配置以将中间信号211及侧信号213提供至ICP产生器220并将经编码中间信号215提供至位流产生器222。在特定实施方案中,编码器214可经配置以在将中间信号211及侧信号213提供至ICP产生器220之前(例如在产生声道间预测增益参数之前)将一或多个滤波器应用于中间信号211及侧信号213。
ICP产生器220经配置以基于中间信号211及侧信号213产生声道间预测增益参数(ICP)208。例如,ICP产生器220可经配置以基于侧信号213的能量或基于中间信号211的能量及侧信号213的能量来产生ICP 208,如参考图3进一步所描述。替代地,ICP产生器220可经配置以基于对中间信号211及侧信号213执行操作(例如点积运算)来确定ICP 208,如参考图3进一步所描述。ICP 208可表示中间信号211与侧信号213之间的关系,且ICP 208可由解码器使用以从经合成中间信号合成侧信号,如本文中进一步所描述。尽管绘示了产生单个ICP 208参数,但在其它实施方案中,可产生多个ICP参数。作为特定实例,中间信号211及侧信号213可经滤波为多个频带,且可产生对应于多个频带中的每一者的ICP,如参考图3进一步所描述。ICP产生器220可经进一步配置以将ICP 208提供至位流产生器222。
位流产生器222可经配置以接收经编码中间信号215并产生表示经编码音频信号的一或多个位流参数202(除了其它参数以外)。例如,经编码音频信号可包含或对应于经编码中间信号215。位流产生器222还可经配置以在一或多个位流参数202中包含ICP208。替代地,位流产生器222可经配置以产生一或多个位流参数202,使得可从一或多个位流参数202导出ICP 208。在一些实施方案中,一或多个额外参数(例如相关性参数)也可包含在一或多个位流参数202中,由其指示或另外向其传送,如参考图13及15进一步所描述。发送器210可经配置以经由网络205将包含(或除了)ICP 208的一或多个位流参数202(例如经编码中间信号215)传送至第二装置206。在特定实施方案中,一或多个位流参数202包含或对应于图1的一或多个位流参数102,且ICP 208包含在一或多个译码参数140中,所述一或多个译码参数包含在图1的一或多个位流参数102中(或另外向其传送)。
第二装置206可包含解码器218及接收器260。接收器260可经配置以经由网络205从第一装置204接收ICP 208及一或多个位流参数202(例如经编码中间信号215)。解码器218可经配置以对音频信号进行升混及解码。出于说明起见,解码器218可经配置以基于一或多个位流参数202(包含ICP 208)而对一或多个音频信号进行解码及升混。
解码器218可包含信号产生器274。在特定实施方案中,信号产生器274包含或对应于图1的信号产生器174。信号产生器274可经配置以基于经编码中间信号225而产生经合成中间信号252。在特定实施方案中,第二设备206(或解码器218)包含经配置以基于一或多个位流参数202而确定或产生经编码中间信号225的额外电路。替代地,信号产生器274可经配置以直接从一或多个位流参数202产生经合成中间信号252。
信号产生器274可经进一步配置以基于经合成中间信号252及ICP 208产生经合成侧信号254。在特定实施方案中,信号产生器274经配置以将ICP 208应用于经合成中间信号252(例如使经合成中间信号252乘以ICP 208)以产生经合成侧信号254。在其它实施方案中,经合成侧信号254是以其它方式产生,如参考图4进一步所描述。在一些实施方案中,将ICP 208应用于经合成中间信号252会产生中介经合成侧信号,且对中介经合成侧信号执行额外处理以产生经合成侧信号254,如参考图13至16进一步所描述。另外或替代地,可对经合成侧信号254选择性地执行一或多个不连续性减少操作,如参考图14进一步所描述。解码器218可经配置以对经合成中间信号252及经合成侧信号254进行进一步处理及升混以产生一或多个输出音频信号。在特定实施方案中,输出音频信号包含左音频信号及右音频信号。
输出音频信号可在一或多个音频输出装置处呈现及输出。出于说明起见,第二装置206可耦合至(或可包含)第一扩音器242、第二扩音器244,或两者。第一扩音器242可经配置以基于第一输出信号226产生音频输出,且第二扩音器244可经配置以基于第二输出信号228产生音频输出。
在操作期间,第一装置204可经由第一输入接口从第一麦克风246接收第一音频信号230且可经由第二输入接口从第二麦克风248接收第二音频信号232。第一音频信号230可对应于右声道信号或左声道信号中的一者。第二音频信号232可对应于右声道信号或左声道信号中的另一者。第一麦克风246及第二麦克风248可从声源240(例如用户、说话者、环境噪音、乐器等等)接收音频。在特定方面中,第一麦克风246、第二麦克风248或两者可从多个声源接收音频。多个声源可包含主导(或最主导)声源(例如声源240)及一或多个次级声源。编码器214可执行一或多个对准操作以考虑第一音频信号230与第二音频信号232之间的时间偏移或时间延迟,如参考图1所描述。
编码器214可基于第一音频信号230及第二音频信号232产生音频信号。例如,信号产生器216可基于第一音频信号230及第二音频信号232产生中间信号211。作为另一实例,信号产生器216可基于第一音频信号230及第二音频信号232产生侧信号213。中间信号211可表示与第二音频信号232叠加的第一音频信号230,且侧信号213可表示第一音频信号230与第二音频信号232之间的差。中间信号211及侧信号213可经提供至ICP产生器220。信号产生器216还可对中间信号211进行编码以产生经编码中间信号215,其经提供至位流产生器222。经编码中间信号215可对应于表示中间信号211的一或多个位流参数。
ICP产生器220可基于中间信号211及侧信号213产生ICP 208。ICP 208可表示编码器214处的中间信号211与侧信号213之间的关系(或在解码器218处经合成中间信号252与经合成侧信号254之间的关系)。可将ICP 208提供至位流产生器222。在一些实施方案中,可基于与先前帧相关联的声道间预测增益参数来使ICP 208平滑,如参考图3进一步所描述。
位流产生器222可接收经编码中间信号215及ICP 208,且产生一或多个位流参数202。例如,经编码中间信号215可包含位流参数,且一或多个位流参数可包含位流参数。在特定实施方案中,一或多个位流参数202包含ICP 208。在替代实施方案中,一或多个位流参数202包含使得能够导出ICP 208(例如从一或多个位流参数202导出ICP208)的一或多个参数。位流参数202(包含或指示ICP 208)由发送器210经由网络205传送至第二装置206。
在特定实施方案中,ICP 208是基于每帧产生。例如,ICP 208可具有与经编码中间信号215的第一音频帧相关联的第一值及与经编码中间信号215的第二音频帧相关联的第二值。对于与确定经合成侧信号254将被预测(而非经编码)相关联的每一帧,ICP 208与一或多个位流参数202传送(例如包含在其中),如参考图1所描述。对于这些帧,传送ICP 208且不传送经编码侧信号的一或多个音频帧。出于说明起见,位流产生器222可抑制包含响应于包含ICP 208的指示经编码侧信号的参数(例如响应于传送用于一或多个帧的ICP 208,第一装置204抑制传送针对一或多个帧的经编码侧信号)。对于与对侧信号213进行编码的确定相关联的帧,一或多个位流参数202包含指示经编码侧信号的帧的参数,且不包含(或指示)ICP 208。因此,指示经编码侧信号的ICP 208或参数(例如非两者)包含在关于中间信号211及侧信号213的每一帧的一或多个位流参数202中。因为ICP 208比经编码侧信号使用更少的位,原本用于传送经编码侧信号的位可替代地“改变用途”并用于传送经编码中间信号215的额外位,由此改进经编码中间信号215的质量(其改进经合成中间信号252及经合成侧信号254的质量,因为经合成侧信号254是从经合成中间信号252预测)。
第二装置206(例如接收器260)可接收包含(或指示)ICP 208的一或多个位流参数202(指示经编码中间信号215)。解码器218可基于一或多个位流参数202确定经编码中间信号225。经编码中间信号225可相似于经编码中间信号215,但由于发送期间的错误或由于将一或多个位流参数202转换为经编码中间信号225的过程而具有轻微的差异。信号产生器274可基于经编码中间信号225(例如一或多个位流参数202)产生经合成中间信号252。信号产生器274还可基于经合成中间信号252及ICP 208产生经合成侧信号254。在特定实施方案中,信号产生器274将经合成侧信号254与ICP 208相乘以产生经合成侧信号254。在其它实施方案中,经合成侧信号254基于经合成中间信号252、ICP 208及一或多个其它值。参考图4描述确定经合成侧信号254的额外细节。在一些实施方案中,在产生经合成侧信号254之前,在产生经合成侧信号254之后或这两者,对经合成中间信号252进行滤波,如参考图4进一步所描述。
在产生经合成中间信号252及经合成侧信号254之后,解码器218可对经合成中间信号252及经合成侧信号254执行进一步处理、滤波、上采样及升混以产生第一音频信号及第二音频信号。在特定实施方案中,第一音频信号对应于左信号或右信号中的一者,且第二音频信号对应于左信号或右信号中的另一者。可呈现第一音频信号及第二音频信号并将其输出作为第一输出信号226及第二输出信号228。在特定实施方案中,第一扩音器242基于第一输出信号226而产生音频输出,且第二扩音器244基于第二输出信号228而产生音频输出。
图2的系统200实现与预测侧信号(替代对侧信号进行编码)的确定相关联的用于帧的ICP 208的产生及传送。在编码器214处产生ICP 208,以使得解码器218能够基于经合成中间信号252预测(例如产生)经合成侧信号254。因此,传送ICP 208,而非对于与预测侧信号的确定相关联的帧的经编码侧信号。因为传送ICP 208比传送经编码侧信号使用更少的位,所以可保留网络资源,同时相对不引听众注意。替代地,原本用于传送经编码侧信号的一或多个位可替代地用于传送经编码中间信号215的额外位。增加用于传送经编码中间信号215的位数目会改进在解码器218处产生的经合成中间信号252的质量。另外,因为经合成侧信号254是基于经合成中间信号252产生,所以增加用于传送经编码中间信号215的位数目会改进经合成侧信号254的质量,这可减少音频伪影且改进整体用户体验。
图3为绘示图2的系统200的编码器314的特定说明性实例的图解。例如,编码器314可包含或对应于图2的编码器214。
编码器314包含信号产生器316、能量检测器324、ICP产生器320及位流产生器322。信号产生器316、ICP产生器320及位流产生器322可分别包含或对应于图2的信号产生器216、ICP产生器220及位流产生器222。信号产生器316可耦合至ICP产生器320、能量检测器324及位流产生器322。能量检测器324可耦合至ICP产生器320,且ICP产生器320可耦合至位流产生器322。
编码器314可任选地包含一或多个滤波器331、下采样器340、信号合成器342、ICP平滑器350、滤波器系数产生器360或其组合。一或多个滤波器331及下采样器340可耦合在信号产生器316与ICP产生器320之间,信号合成器342可耦合至能量检测器324及ICP产生器320,ICP平滑器350可耦合在ICP产生器320与位流产生器322之间,且滤波器系数产生器360可耦合在信号产生器316与位流产生器322之间。一或多个滤波器331、下采样器340、信号合成器342、ICP平滑器350及滤波器系数产生器360中的每一者是任选的,且因此可不包含在编码器314的一些实施方案中。
信号产生器316可经配置以基于输入音频信号而产生音频信号。例如,信号产生器316可经配置以基于第一音频信号330及第二音频信号332产生中间信号311。作为另一实例,信号产生器316可经配置以基于第一音频信号330及第二音频信号332产生中间信号313。第一音频信号330及第二音频信号332可分别包含或对应于图2的第一音频信号230及第二音频信号232。信号产生器316还可经配置以对一或多个音频信号进行编码。例如,信号产生器316可经配置以基于中间信号311产生经编码中间信号315。在一些实施方案中,信号产生器316经配置以基于侧信号313而产生经编码侧信号317,如本文中进一步所描述。
在一些实施方案中,一或多个滤波器331经配置以接收中间信号311及侧信号313且对中间信号311及侧信号313进行滤波。一或多个滤波器331可包含一或多种类型的滤波器。例如,一或多个滤波器331可包含预强调滤波器、带通滤波器、快速傅立叶变换(FFT)滤波器(或变换)、反FFT(IFFT)滤波器(或变换)、时域滤波器、频率或子带域滤波器,或其组合。在特定实施方案中,一或多个滤波器331包含固定预强调滤波器及50赫兹(Hz)高通滤波器。在另一特定实施方案中,一或多个滤波器331包含低通滤波器及高通滤波器。在此实施方案中,一或多个滤波器331的低通滤波器经配置以产生低频带中间信号333及低频带侧信号336,且一或多个滤波器331的高通滤波器经配置以产生高频带中间信号334及高频带侧信号338。在此实施方案中,可基于低频带中间信号333、高频带中间信号334、低频带侧信号336及高频带侧信号338来确定多个声道间预测增益参数,如本文中进一步所描述。在其它实施方案中,一或多个滤波器331包含不同的带通滤波器(例如低通滤波器及中通滤波器或中通滤波器及高通滤波器,作为非限制性实例)或不同数量的带通滤波器(例如低通滤波器、中通滤波器及高通滤波器,作为非限制性实例)。
在特定实施方案中,下采样器340经配置以对中间信号311及侧信号313进行下采样。例如,下采样器340可经配置以从输入采样速率(与第一音频信号330及第二音频信号332相关联)对中间信号311及侧信号313进行下采样。对中间信号311及侧信号313进行下采样使得能够以下采样速率(而非输入采样速率)产生声道间预测增益参数。尽管在图3中被绘示为耦合至一或多个滤波器331的输出,但在其它实施方案中,下采样器340可耦合在信号产生器316与一或多个滤波器331之间。
能量检测器324经配置以检测与一或多个音频信号相关联的能阶。例如,能量检测器324可经配置以检测与中间信号311(例如中间能阶326)相关联的能阶及与侧信号313(例如侧能阶328)相关联的能阶。能量检测器324可经配置以向ICP产生器320提供侧能阶328(或侧能阶328及中间能阶326两者)。
在特定实施方案中,编码器314包含信号合成器342。信号合成器342可经配置以产生一或多个经合成音频信号,所述经合成音频信号可用于产生要传送至另一装置(例如至解码器)的位流参数。信号合成器342(例如本地解码器)可经配置以与在解码器处产生经合成中间信号相似的方式产生经合成中间信号344。例如,经编码中间信号315可对应于表示中间信号311的位流参数。信号合成器342可通过解码位流参数来产生经合成中间信号344。经合成中间信号344可提供至能量检测器324及ICP产生器320。在特定实施方案中,能量检测器324经进一步配置以检测与经合成中间信号344相关联的能阶(例如经合成中间能阶329)。经合成中间能阶329可提供至ICP产生器320。
ICP产生器320经配置以基于音频信号及音频信号的能阶产生一或多个声道间预测增益参数。例如,ICP产生器320可经配置以基于中间信号311、侧信号313及一或多个能阶产生ICP 308。在特定实施方案中,ICP产生器320及ICP 308可分别包含或对应于图2的ICP产生器220及ICP 208。在一些实施方案中,ICP产生器320包含点积电路321。点积电路321可经配置以产生两个音频信号的点积,且ICP产生器320可经配置以基于点积确定ICP 308,如本文中进一步所描述。
在特定实施方案中,ICP 308是基于中间能阶326及侧能阶328。在此实施方案中,ICP产生器320(例如编码器314)经配置以确定侧能阶328与中间能阶326的比率,且ICP308是基于所述比率。在另一特定实施方案中,ICP 308是基于侧能阶328及经合成中间能阶329。在此实施方案中,ICP产生器320(例如编码器314)经配置以确定侧能阶328与经合成中间能阶329的比率,且ICP 308是基于所述比率。在另一特定实施方案中,ICP 308是基于侧能阶328(且并非中间能阶326或经合成中间能阶329)。在另一特定实施方案中,ICP 308是基于中间信号311、侧信号313及中间能阶326。在此实施方案中,点积电路321经配置以产生中间信号311及侧信号313的点积,ICP产生器320经配置以产生中间能阶326与点积的比率,且ICP 308是基于所述比率。在另一特定实施方案中,ICP 308是基于经合成中间信号344、侧信号313及经合成中间能阶329。在此实施方案中,点积电路321经配置以产生中间信号344及经合成侧信号313的点积,ICP产生器320经配置以产生经合成中间能阶329与点积的比率,且ICP 308是基于所述比率。在另一特定实施方案中,ICP产生器320经配置以产生对应于不同信号或信号带的多个声道间预测增益参数。例如,ICP产生器320可经配置以基于低频带中间信号333及低频带侧信号336产生ICP 308,且ICP产生器320可经配置以基于高频带中间信号334及高频带侧信号338而产生第二ICP 354。本文中进一步描述关于确定ICP308的其它细节。ICP产生器320还可经配置以将ICP 308(及第二ICP 354)提供至位流产生器322。
在特定实施方案中,ICP平滑器350经配置以在将ICP 308提供至位流产生器322之前对ICP 308执行平滑操作。平滑操作可调节ICP 308以减少(或消除)例如特定帧边界处的虚假值。可使用平滑因子352来执行平滑操作。在特定实施方案中,ICP平滑器350可经配置以根据以下方程式执行平滑操作:
gICP_smoothed=α*gICP_smoothed(前一帧)+(1–α)*gICP_instantaneous
其中gICP_smoothed为当前帧的ICP 308的平滑值,gICP_smoothed(前一帧)为前一帧的ICP 308的平滑值,gICP_instantaneous为ICP 308的瞬时值,且α为平滑因子352。
在特定实施方案中,平滑因子352为固定平滑因子。例如,平滑因子352可为ICP平滑器350可存取的特定值。作为特定实例,平滑因子可为0.7。替代地,平滑因子352可为自适应平滑因子。在特定实施方案中,自适应平滑因子可基于中间信号311的信号能量。出于说明起见,平滑因子352的值可基于中间信号311及侧信号313的短期信号电平(EST)及长期信号电平(ELT)。作为实例,可通过对中间信号311的下采样参考样本的绝对值的总和及侧信号313的下采样样本的绝对值的总和来计算正在处理的帧(N)的短期信号电平(EST(N))。长期信号电平可为短期信号电平的平滑版本。例如,ELT(N)=0.6*ELT(N-1)+0.4*EST(N)。此外,平滑因子352的值(例如,α)可根据如下所描述的伪码进行控制:
将α设定为初始值(例如,0.95)。
如果EST>4*ELT,那么修改α的值(例如,α=0.5)
如果EST>2*ELT且EST≤4*ELT,那么修改α的值(例如,α=0.7)。
尽管被描述为基于中间信号311及侧信号313而确定,但在其它实施方案中,可基于经合成中间信号344及侧信号313而确定短期信号电平及长期信号电平。在另一特定实施方案中,平滑因子352为自适应平滑因子,其是基于与中间信号311相关联的发声参数。发声参数可指示中间信号311(或第一音频信号330及第二音频信号332)中的固定声音或强有声段的量。如果发声参数具有相对高的值,那么信号可包含具有相对低噪音的强有声段,因此可降低平滑因子352以减少(例如最小化)执行平滑的速率。如果发声参数具有相对低的值,那么信号可包含具有相对高噪音的弱有声段,因此可增加平滑因子352以增加(例如最大化)执行平滑的速率。因此,在一些实施方案中,平滑因子352可与发声参数间接成比例。在其它实施方案中,平滑因子352可基于其它参数或值。尽管已经描述ICP 308的平滑,但在产生第二ICP 354的实施方案中,平滑操作也可应用于第二ICP 354。
在特定实施方案中,在解码器处预测经合成侧信号包含将自适应滤波器应用于经合成中间信号(或经预测的经合成侧信号),如参考图4进一步所描述。在此实施方案中,编码器314包含滤波器系数产生器360。滤波器系数产生器360可经配置以产生要在解码器处应用的自适应滤波器的一或多个滤波器系数362。例如,滤波器系数产生器360可经配置以基于中间信号311、侧信号313、经编码中间信号315、经编码侧信号317、一或多个其它参数或其组合来产生一或多个滤波器系数362。滤波器系数产生器360可经进一步配置以将一或多个滤波器系数362提供至位流产生器322,以包含在编码器314输出的位流参数中。
位流产生器322可经配置以产生指示经编码音频信号的一或多个位流参数(除了其它参数以外)。例如,位流产生器322可经配置以产生包含经编码中间信号315的一或多个位流参数302。一或多个位流参数302可包含其它参数,例如音调参数、发声参数、译码器类型参数、低频带能量参数、高频带能量参数、倾斜参数、音调增益参数、固定码本(FCB)增益参数、编码模式参数、语音活动参数、噪音估计参数、信噪比参数、共振峰参数、语音/音乐描述参数、非因果偏移参数,或其组合。在特定实施方案中,一或多个位流参数302包含ICP308。替代地,一或多个位流参数302包含使得能够导出ICP308(例如从一或多个位流参数302导出ICP 308)的一或多个参数。在一些实施方案中,一或多个位流参数302还包含(或指示)第二ICP 354。在特定实施方案中,一或多个位流参数302包含(或指示)一或多个滤波器系数362。编码器314可经配置以将一或多个位流参数302(包含或指示ICP 308)输出至发送器以便发送至其它装置。
在操作期间,编码器314接收第一音频信号330及第二音频信号332,例如从一或多个输入接口。信号产生器316可基于第一音频信号330及第二音频信号332产生中间信号311及侧信号313。信号产生器316还可基于中间信号311产生经编码中间信号315。在一些实施方案中,信号产生器316可基于侧信号313产生经编码侧信号317。例如,可针对与在解码器处不预测经合成侧信号的确定相关联的一或多个帧产生经编码侧信号317(例如对侧信号313进行编码的确定)。另外或替代地,可产生经编码侧信号317以确定在产生一或多个位流参数302中所使用的一或多个参数或确定一或多个滤波器系数362。
在一些实施方案中,一或多个滤波器331可对中间信号311及侧信号313进行滤波。例如,一或多个滤波器331可对中间信号311及侧信号313执行预强调滤波。在一些实施方案中,下采样器340可下采样中间信号311及侧信号313。例如,下采样器340可从与第一音频信号330及第二音频信号332相关联的输入采样频率至下采样频率对中间信号311及侧信号313进行下采样。在特定实施方案中,下采样频率在0至6.4kHz的范围内。在特定实施方案中,下采样器340可对中间信号311进行下采样以产生第一经下采样音频信号(例如经下采样中间信号)且可对侧信号313进行下采样以产生第二经下采样音频信号(例如经下采样侧信号),可基于第一经下采样音频信号及第二经下采样音频信号产生ICP 308。在替代实施方案中,下采样器340不包含在编码器314中,且以与第一音频信号330及第二音频信号332相关联的输入采样速率确定ICP 308。尽管滤波及下采样参考图3被描述为在中间信号311及侧信号313的产生之后执行,但在其它实施方案中,可替代地(或另外)在产生中间信号311及侧信号313之前对第一音频信号330及第二音频信号332执行滤波、下采样或两者。
能量检测器324可检测与一或多个音频信号相关联的一或多个能阶,且将检测到的能阶提供至ICP产生器320供用于产生ICP 308。例如,能量检测器324可检测中间能阶326、侧能阶328、经合成中间能阶329或其组合。中间能阶326是基于中间信号311,侧能阶328是基于侧信号313,且经合成中间能阶329是基于经合成中间信号344,其由信号合成器342产生。例如,在一些实施方案中,编码器314包含信号合成器342,其产生经合成中间信号344,其用于确定一或多个位流参数302的一或多个参数。在这些实施方案中,经合成中间信号344可用于产生声道间预测增益参数。在其它实施方案中,信号合成器342不包含在编码器314中,且编码器314不能存取经合成中间信号344。
ICP产生器320基于一或多个信号及一或多个能阶产生ICP 308。一或多个信号可包含中间信号311、侧信号313、经合成中间信号344或其组合,且一或多个能阶可包含中间能阶326、侧能阶328、经合成中间能阶329,或其组合。
在一些实施方案中,ICP 308的确定是“基于能量”。例如,ICP 308可经确定以保留特定信号的能量或两个不同信号的能量之间的关系。在第一特定实施方案中,ICP 308为在编码器314处保留中间信号311与侧信号313之间的相对能量的比例因子。在第一实施方案中,ICP 308是基于中间能阶326与侧能阶328的比率,且ICP 308是根据以下方程式确定:
ICP_Gain=sqrt(Energy(side_signal_unquantized)/Energy(mid_signal_unquantized))
其中ICP_Gain为ICP 308,Energy(side_signal_unquantized)为侧能阶328,且Energy(mid_signal_unquantized)为中间能阶326。在第一实施方案中,根据以下方程式在解码器处确定经预测的(例如经映射的)经合成侧信号:
Side_Mapped=Mid_signal_quantized*ICP_Gain
其中Side_Mapped为经预测的(例如经映射的)经合成侧信号,ICP_Gain为ICP308,且Mid_signal_quantized为基于位流参数(例如一或多个位流参数302)产生的经合成中间信号。尽管被描述为Side_Mapped为Mid_signal_quantized与ICP_Gain的乘积,但在其它实施方案中,Side_Mapped可为中介信号且可在用于解码器处的后续操作(例如升混操作)中之前经历进一步处理(例如全通滤波、去强调滤波等等)。
在第二特定实施方案中,ICP 308为将在解码器处产生的经合成侧信号的能量与编码器314处的侧能阶328匹配的比例因子。在第二实施方案中,ICP 308是基于经合成中间能阶329与侧能阶328的比率,且ICP 308是根据以下方程式确定:
ICP_Gain=sqrt(Energy(side_signal_unquantized)/Energy(mid_signal_quantized))
其中,Energy(side_signal_unquantized)为侧能阶328,Energy(mid_signal_quantized)为经合成中间能阶329,且ICP_Gain为ICP 308。在第二实施方案中,根据以下方程式在解码器处确定经预测的(例如经映射的)经合成侧信号:
Side_Mapped=Mid_signal_quantized*ICP_Gain
其中Side_Mapped为经预测的(例如经映射的)经合成侧信号,ICP_Gain为ICP308,且Mid_signal_quantized为基于位流参数产生的经合成中间信号。
在第三特定实施方案中,ICP 308表示编码器314处的侧能阶328的绝对值。在第三实施方案中,ICP 308是根据以下方程式确定:
ICP_Gain=sqrt(Energy(side_signal_unquantized))
其中Energy(side_signal_unquantized)为侧能阶328。在第三实施方案中,根据以下方程式在解码器处确定经预测的(例如经映射的)经合成侧信号:
Side_Mapped=Mid_signal_quantized*ICP_Gain/sqrt(Energy(Mid_signal_quantized))
其中Side_Mapped为经预测的(例如经映射的)经合成侧信号,ICP_Gain为ICP308,且Mid_signal_quantized为基于位流参数产生的经合成中间信号。
在一些实施方案中,ICP 308的确定是“基于均方误差(MSE)”。例如,可确定ICP308,使得解码器处的经合成侧信号与侧信号313之间的MSE减小(例如最小化)。在第四特定实施方案中,确定ICP 308,使得当从中间信号311进行映射(例如预测)时,编码器314处的侧信号313与解码器处的经合成侧信号之间的MSE最小化(或减小)。在第四实施方案中,ICP308是基于中间能阶326与中间信号311及侧信号313的点积的比率,且根据以下方程式确定ICP 308:
ICP_Gain=|Mid_signal_unquantized.Side_signal_unquantized|/Energy(mid_signal_unquantized)
其中ICP_Gain为ICP 308,|Mid_signal_unquantized.Side_signal_unquantized|为中间信号311与侧信号313的点积(由点积电路321产生),且Energy(mid_signal_unquantized)为中间能阶326。在第四实施方案中,根据以下方程式在解码器处确定经预测的(例如经映射的)经合成侧信号:
Side_Mapped=Mid_signal_quantized*ICP_Gain
其中Side_Mapped为经预测的(例如经映射的)经合成侧信号,ICP_Gain为ICP308,且Mid_signal_quantized为基于位流参数产生的经合成中间信号。
在第五特定实施方案中,确定ICP 308,使得当从经合成中间信号344进行映射(例如预测)时,编码器314处的侧信号313与解码器处的经合成侧信号之间的MSE最小化(或减小)。在第五实施方案中,ICP 308是基于经合成中间能阶329与经合成中间信号344及侧信号313的点积的比率,且根据以下方程式确定ICP 308:
ICP_Gain=|Mid_signal_quantized.Side_signal_unquantized|/Energy(mid_signal_quantized)
其中ICP_Gain为ICP 308,|Mid_signal_quantized.Side_signal_unquantized|为经合成中间信号344与侧信号313的点积(由点积电路321产生),且Energy(mid_signal_quantized)为经合成中间能阶329。在第五实施方案中,根据以下方程式在解码器处确定经预测的(例如经映射的)经合成侧信号:
Side_Mapped=Mid_signal_quantized*ICP_Gain
其中Side_Mapped为经预测的(例如经映射的)经合成侧信号,ICP_Gain为ICP308,且Mid_signal_quantized为基于位流参数产生的经合成中间信号。在其它实施方案中,可使用其它技术产生ICP 308。
在一些实施方案中,ICP平滑器350对ICP 308执行平滑操作。平滑操作可基于平滑因子352。平滑因子352可为固定平滑因子或自适应平滑因子。作为非限制性实例,在平滑因子352为自适应平滑因子的实施方案中,平滑因子352可基于中间信号311的信号能量(例如短期信号电平及长期信号电平)或基于与中间信号311相关联的发声参数。在特定实施方案中,ICP平滑器350可将ICP 308的值限制在固定范围内(例如在下限与上限之间)。作为特定实例,ICP平滑器350可根据以下伪码对ICP 308执行截剪操作:
st_stereo->gICP_final=min(st_stereo->gICP_smoothed,0.6)
其中gICP_final对应于ICP 308的最终值,且gICP_smoothed对应于在执行截剪操作之前ICP 308的平滑值。在其它实施方案中,截剪操作可将ICP 308的值限制为小于0.6或大于0.6。
在一些实施方案中,ICP产生器320还可基于中间信号311与侧信号313产生相关性参数。相关性参数可表示中间信号311与侧信号313之间的相关性。参考图15进一步描述关于相关性参数的产生的细节。可将相关性参数提供至位流产生器322以包含在一或多个位流参数302中(或除了一或多个位流参数302以外还用于输出)。在一些实施方案中,ICP平滑器350以与对ICP 308执行平滑操作相似的方式对相关性参数执行平滑操作。
位流产生器322可接收ICP 308及经编码中间信号315,且产生一或多个位流参数302。一或多个位流参数302可指示经编码中间信号315(例如一或多个位流参数302可使得能够在解码器处产生经合成中间信号)。一或多个位流参数302可包含(或指示)ICP308(或除了一或多个位流参数302以外还可输出ICP 308)。在特定实施方案中,位流产生器322接收由滤波器系数产生器360产生的一或多个滤波器系数362(例如一或多个自适应滤波器系数),且位流产生器322包含在一或多个位流参数302中的一或多个滤波器系数362(或能够导出一或多个滤波器系数362的值)。一或多个位流参数302(其包含或指示ICP 308)可由编码器314输出至发送器以发送至另一装置,如参考图2所描述。
在特定实施方案中,产生多个声道间预测增益参数。出于说明起见,一或多个滤波器331可包含带通滤波器或FFT滤波器,其经配置以产生不同信号带。例如,一或多个滤波器331可处理中间信号311以产生低频带中间信号333及高频带中间信号334。作为另一实例,一或多个滤波器331可处理侧信号313以产生低频带侧信号336及高频带侧信号338。在其它实施方案中,可产生其它信号带或可以产生多于两个信号带。在特定方面中,一或多个滤波器331产生对应于至少部分地与对应于第二滤波信号(例如高频带中间信号334或高频带侧信号338)的第二信号带重叠的第一信号带的第一滤波信号(例如低频带中间信号333或低频带侧信号336)。在另一方面中,第一信号带不与第二信号带重叠。多个信号333至338可提供至ICP产生器320,且ICP产生器320可基于多个信号产生多个声道间预测增益参数。例如,ICP产生器320可基于低频带中间信号333及低频带侧信号336产生ICP 308,且ICP产生器320可基于高频带中间信号334及高频带侧信号338而产生第二ICP 354。ICP 308及第二ICP354可经任选地平滑且经提供至位流产生器322以包含在一或多个位流参数302中(或除了一或多个位流参数302以外还用于输出)。产生多个ICP值可使得能够在不同频带中应用不同的增益,这可改进解码器处的经合成侧信号的整体预测。作为特定实例,侧信号313可对应于低频带中的总能量的20%(例如中间信号311的能量与侧信号313的能量的总和),但可对应于高频带中的总能量的60%。因此,基于ICP 308而合成侧信号的低频带且基于第二ICP 354而合成侧信号的高频带可导致比基于所有信号带的声道间预测增益参数合成侧信号更准确的经合成侧信号。
图3的编码器314使得能够产生与预测解码器处的侧信号的确定(替代对侧信号进行编码)相关联的帧的声道间预测增益参数。在编码器314处产生声道间预测增益参数(例如ICP 308)以使得解码器能够基于基于在编码器314处产生的一或多个位流参数产生的经合成中间信号而预测(例如产生)经合成侧信号。因为输出ICP 308而非经编码侧信号317的帧,且因为ICP 308使用比经编码侧信号317更少的位,所以可保留网络资源,同时相对不引听众注意。替代地,原本用于输出经编码侧信号317的多个位可替代地改变用途以(例如用于)输出经编码中间信号315的额外位。增加用于输出经编码中间信号315的位数目会增加与由编码器314输出的经编码中间信号315相关联的信息量。增加由编码器314输出的经编码中间信号315的位数目可改进在解码器处产生的经合成中间信号的质量,这可减少(或消除)解码器处的经合成中间信号中的音频伪影(且因为经合成侧信号是基于经合成中间信号预测的,所以在解码器处的经合成侧信号中)。
图4为绘示图2的系统200的解码器418的特定说明性实例的图解。例如,解码器418可包含或对应于图2的解码器218。
解码器418包含位流处理电路424及信号产生器450,信号产生器450包含中间合成器452及侧合成器456。信号产生器450可包含或对应于图2的信号产生器274。位流处理电路424可耦合至信号产生器450。
解码器418可任选地包含能量检测器460及上采样器464,且信号产生器450可任选地包含一或多个滤波器454及一或多个滤波器458。一或多个滤波器454可耦合在中间合成器452与侧合成器456之间,一或多个滤波器458可耦合至侧合成器456,上采样器464可耦合至信号产生器450(例如至信号产生器450的输出),且能量检测器460可耦合至中间合成器452及侧合成器456。一或多个滤波器454、一或多个滤波器458、上采样器464及能量检测器460中的每一者是任选的,且因此可不包含在解码器418的一些实施方案中。
位流处理电路424可经配置以处理位流参数并从位流参数中提取特定参数。例如,位流处理电路424可经配置以(例如从接收器)接收一或多个位流参数402。一或多个位流参数402可包含(或指示)声道间预测增益参数(ICP)408。替代地,除了一或多个位流参数402以外,还可接收ICP 408。一或多个位流参数402及ICP 408可分别包含或对应于图3的一或多个位流参数302及ICP 308。在一些实施方案中,一或多个位流参数402还可包含(或指示)一或多个系数406。一或多个系数406可包含由编码器(作为非限制性实例,图3的编码器314)产生的一或多个自适应滤波器系数。
位流处理电路424可经配置以从一或多个位流参数402中提取一或多个特定参数。例如,位流处理电路424可经配置以提取(例如产生)ICP 408及一或多个经编码中间信号参数426。一或多个经编码中间信号参数426包含指示在编码器处产生的经编码音频信号(例如经编码中间信号)的参数。一或多个经编码中间信号参数426可使得能够产生经合成中间信号,如本文中进一步所描述。位流处理电路424可经配置以将ICP 408及一或多个经编码中间信号参数426提供至信号产生器450(例如提供至中间合成器452)。在特定实施方案中,位流处理电路424经进一步配置以提取一或多个系数406且将一或多个系数406提供至信号产生器450(例如提供至一或多个滤波器454、一或多个滤波器458,或两者)。
信号产生器450可经配置以基于经编码中间信号参数426及ICP 408产生音频信号。出于说明起见,中间合成器452可经配置以基于经编码中间信号参数426(例如基于经编码中间信号)而产生经合成中间信号470。例如,经编码的中间信号参数426可使得能够导出经合成中间信号470,且中间合成器452可经配置以从经编码的中间信号参数426导出经合成中间信号470。经合成中间信号470可表示叠加在第二音频信号上的第一音频信号。
在特定实施方案中,一或多个滤波器454经配置以接收经合成中间信号470且对经合成中间信号470进行滤波。一或多个滤波器454可包含一或多种类型的滤波器。例如,一或多个滤波器454可包含去强调滤波器、带通滤波器、FFT滤波器(或变换)、IFFT滤波器(或变换)、时域滤波器、频率或子带域滤波器,或其组合。在特定实施方案中,一或多个滤波器454包含一或多个固定滤波器。替代地,一或多个滤波器454可包含一或多个自适应滤波器,其经配置以基于系数406(例如从另一装置接收的一或多个自适应滤波器系数)对经合成中间信号470进行滤波。在特定实施方案中,一或多个滤波器454包含去强调滤波器及50Hz高通滤波器。在另一特定实施方案中,一或多个滤波器454包含低通滤波器及高通滤波器。在此实施方案中,一或多个滤波器454的低通滤波器经配置以产生低频带经合成中间信号474,且一或多个滤波器454的高通滤波器经配置以产生高频带经合成中间信号473。在此实施方案中,多个声道间预测增益参数可用于预测多个经合成侧信号,如本文中进一步所描述。在其它实施方案中,一或多个滤波器454包含不同的带通滤波器(例如低通滤波器及中通滤波器或中通滤波器及高通滤波器,作为非限制性实例)或不同数量的带通滤波器(例如低通滤波器、中通滤波器及高通滤波器,作为非限制性实例)。
侧合成器456可经配置以基于经合成中间信号470及ICP 408产生经合成侧信号472。例如,侧合成器456可经配置以将ICP 408应用于经合成中间信号470以产生经合成侧信号472。经合成侧信号472可表示第一音频信号与第二音频信号之间的差。在特定实施方案中,侧合成器456可经配置以将经合成中间信号470乘以ICP 408以产生经合成侧信号472。在另一特定实施方案中,侧合成器456可经配置以基于经合成中间信号470、ICP 408及经合成中间信号470的能阶(例如经合成中间能量462)来产生经合成侧信号472。经合成中间能量462可在侧合成器456处从能量检测器460接收。例如,能量检测器460可经配置以从中间合成器452接收经合成中间信号470,且能量检测器460可经配置以从经合成中间信号470检测经合成中间能量462。在另一特定实施方案中,侧合成器456可经配置以基于多个声道间预测增益参数而产生多个侧信号(或信号带)。例如,侧合成器456可经配置以基于低频带经合成中间信号474及ICP 408产生低频带经合成侧信号476,且侧合成器456可经配置以基于高频带经合成中间信号473及第二ICP(例如图3的第二ICP 354)产生高频带经合成侧信号475。
在特定实施方案中,一或多个滤波器458经配置以接收经合成侧信号472且对经合成侧信号472进行滤波。一或多个滤波器458可包含一或多种类型的滤波器。例如,一或多个滤波器458可包含去强调滤波器、带通滤波器、FFT滤波器(或变换)、IFFT滤波器(或变换)、时域滤波器、频率或子带域滤波器,或其组合。在特定实施方案中,一或多个滤波器458包含一或多个固定滤波器。替代地,一或多个滤波器458可包含一或多个自适应滤波器,其经配置以基于系数406(例如,从另一装置接收的一或多个自适应滤波器系数)对经合成侧信号472进行滤波。在特定实施方案中,一或多个滤波器458包含去强调滤波器及50Hz高通滤波器。在另一特定实施方案中,一或多个滤波器458包含经配置以组合多个信号(或信号带)以产生经合成信号的组合滤波器(或其它信号组合器)。例如,一或多个滤波器458可经配置以组合高频带经合成侧信号475及低频带经合成侧信号476以产生经合成侧信号472。虽然被描述为对经合成侧信号执行滤波,但在其它实施方案(例如不包含一或多个滤波器454的实施方案)中,一或多个滤波器458还可经配置以对经合成中间信号执行滤波。
在特定实施方案中,上采样器464经配置以对经合成中间信号470及经合成侧信号472进行上采样。例如,上采样器464可经配置以从下采样速率(以其产生经合成中间信号470及经合成侧信号472)至上采样速率(例如在编码器处接收且用于产生一或多个位流参数402的音频信号的输入采样速率)对经合成中间信号470及经合成侧信号472进行上采样。对经合成中间信号470及经合成侧信号472进行上采样使得能够以与音频信号的播放相关联的输出采样速率产生(例如由解码器418)音频信号。
解码器418可经配置以基于经上采样的经合成中间信号470及经上采样的经合成侧信号472而产生第一音频信号480及第二音频信号482。例如,解码器418可基于升混参数而对经合成中间信号470及经合成侧信号472执行升混(如参考图1的解码器118所描述)以产生第一音频信号480及第二音频信号482。
在操作期间,解码器418接收一或多个位流参数402(例如从接收器)。一或多个位流参数402包含(或指示)ICP 408。在一些实施方案中,一或多个位流参数402还包含(或指示)系数406。位流处理电路424可处理一或多个位流参数402并提取各种参数。例如,位流处理电路424可从一或多个位流参数402中提取经编码中间信号参数426,且位流处理电路424可将经编码中间信号参数426提供至信号产生器450(例如至中间合成器452)。作为另一实例,位流处理电路424可从一或多个位流参数402提取ICP 408,且位流处理电路424可将ICP408提供至信号产生器450(例如提供至侧合成器456)。在特定实施方案中,位流处理电路424可从一或多个位流参数402提取一或多个系数406,且位流处理电路424可将一或多个系数406提供至信号产生器450(例如至一或多个滤波器454、一或多个滤波器458,或两者)。
中间合成器452可基于经编码中间信号参数426产生经合成中间信号470。在一些实施方案中,一或多个滤波器454可对经合成中间信号470进行滤波。例如,一或多个滤波器454可对经合成中间信号470执行去强调滤波、高通滤波或两者。在特定实施方案中,一或多个滤波器454将固定滤波器应用于经合成中间信号470(在产生经合成侧信号472之前)。在另一特定实施方案中,一或多个滤波器454将自适应滤波器应用于经合成中间信号470(例如在产生经合成侧信号472之前)。自适应滤波器可基于从另一装置接收的一或多个系数406(例如经由包括在一或多个位流参数402中)。
侧合成器456可基于经合成中间信号470及ICP 408产生经合成侧信号472。因为经合成侧信号472是基于经合成中间信号470(替代基于从另一装置接收的经编码侧信号参数)产生,所以产生经合成侧信号472可被称作从经合成中间信号470预测(或映射)经合成侧信号472。在一些实施方案中,可根据以下方程式产生经合成侧信号472:
Side_Mapped=Mid_signal_quantized*ICP_Gain
其中Side_Mapped为经合成侧信号472,ICP_Gain为ICP 408,且Mid_signal_quantized为经合成中间信号470。以此方式产生经合成侧信号472对应于产生ICP 308的第一、第二、第四及第五实施方案,如参考图3所描述。
在另一特定实施方案中,根据以下方程式产生经合成侧信号472:
Side_Mapped=Mid_signal_quantized*ICP_Gain/sqrt(Energy(Mid_signal_quantized))
其中Side_Mapped为经合成侧信号472,ICP_Gain为ICP 408,Mid_signal_quantized为经合成中间信号470,且Energy(Mid_signal_quantized)为由能量检测器460产生的经合成中间能量462。
在特定实施方案中,另一装置的编码器可包含一或多个位流参数402中的一或多个位以指示将使用哪种技术来产生经合成侧信号472。例如,如果特定位具有第一值(例如逻辑“0”值),那么可基于经合成中间信号470及ICP 408产生经合成侧信号472,且如果特定位具有第二值(例如逻辑“1”值),那么可基于经合成中间信号470、ICP 408及合成中间能量462而产生经合成侧信号472。在其它实施方案中,解码器418可基于其它信息(例如一或多个位流参数402中所包含的一或多个其它参数)或基于ICP 408的值来确定如何产生经合成侧信号472。
在一些实施方案中,经合成侧信号472可包含或对应于中介经合成侧信号,且可对中介经合成侧信号执行额外处理(例如全通滤波、带通滤波、其它滤波、上采样等等)以产生用于升混的最终经合成侧信号。在特定实施方案中,基于包含在一或多个位流参数402中(或另外接收)的相关性参数来控制对中介经合成侧信号执行的全通滤波。基于相关性参数执行全通滤波可减小经合成中间信号470与最终经合成侧信号之间的相关性(例如增加去相关性)。参考图15描述基于相关性参数对中介经合成侧信号进行滤波的细节。
在一些实施方案中,一或多个滤波器454可对经合成中间信号470进行滤波。例如,一或多个滤波器454可对经合成中间信号470执行去强调滤波、高通滤波或两者。在特定实施方案中,一或多个滤波器454将固定滤波器应用于经合成中间信号470(在产生经合成侧信号472之前)。在另一特定实施方案中,一或多个滤波器454将自适应滤波器应用于经合成中间信号470(例如在产生经合成侧信号472之前)。自适应滤波器可基于从另一装置接收的一或多个系数406(例如经由包括在一或多个位流参数402中)。
在一些实施方案中,一或多个滤波器458可对经合成侧信号472进行滤波。例如,一或多个滤波器458可对经合成侧信号472执行去强调滤波、高通滤波或两者。在特定实施方案中,一或多个滤波器458将固定滤波器应用于经合成侧信号472。在另一特定实施方案中,一或多个滤波器458将自适应滤波器应用于经合成侧信号472。自适应滤波器可基于从另一装置接收的一或多个系数406(例如经由包括在一或多个位流参数402中)。在一些实施方案中,一或多个滤波器454不包含在解码器418中,且一或多个滤波器458对经合成侧信号472及经合成中间信号470执行滤波。
在一些实施方案中,上采样器464可对经合成中间信号470及经合成侧信号472进行上采样。例如,上采样器464可从下采样速率(例如大约0至6.4kHz)至输出采样速率对经合成中间信号470及经合成侧信号472进行上采样。在上采样之后,解码器418可基于经合成中间信号470及经合成侧信号472产生第一音频信号480及第二音频信号482。第一音频信号480及第二音频信号482可输出至一或多个输出装置,例如一或多个扩音器。在特定实施方案中,第一音频信号480为左音频信号及右音频信号中的一者,且第二音频信号482为左音频信号及右音频信号中的另一者。
在特定实施方案中,使用多个声道间预测增益参数来产生多个信号(或信号带)。出于说明起见,一或多个滤波器454可包含带通或FFT滤波器,其经配置以产生不同信号带。例如,一或多个滤波器454可处理经合成中间信号470以产生低频带经合成中间信号474及高频带经合成中间信号473。在其它实施方案中,可产生其它信号带或可产生多于两个信号带。侧合成器456可基于多个声道间预测增益参数而产生多个经合成信号(或信号带)。例如,侧合成器456可基于低频带经合成中间信号474及ICP 408产生低频带经合成侧信号476。作为另一实例,侧合成器456可基于高频带经合成中间信号473及第二ICP(例如包含在一或多个位流参数402中或由一或多个位流参数402指示)来产生高频带经合成侧信号475。一或多个滤波器458(或另一信号组合器)可组合低频带经合成侧信号476及高频带经合成侧信号475以产生经合成侧信号472。将不同的声道间预测增益参数应用于不同的信号带可产生经合成侧信号,所述经合成侧信号与基于与所有信号带相关联的单个声道间预测增益参数产生的经合成侧信号相比更接近地匹配编码器处的侧信号。
图4的解码器418使用与预测解码器418处的侧信号(替代接收经编码侧信号)的确定相关联的帧的频带间预测增益参数(例如ICP 408)实现从经合成侧信号470预测(例如映射)经合成侧信号472。因为将ICP 408传送至解码器418而非经编码侧信号的帧,且因为ICP408使用比经编码侧信号更少的位,所以可保留网络资源,同时相对不引听众注意。替代地,原本用于传送经编码侧信号的多个位可替代地改变用途以(例如用于)传送经编码中间信号的额外位。增加经接收的经编码中间信号的位数目会增加与由解码器418接收的经编码中间信号相关联的信息量。增加由解码器418接收的经编码中间信号的位数目可改进经合成中间信号470的质量,这可减少(或消除)经合成中间信号470(以及经合成侧信号,这是因为经合成侧信号472是基于经合成中间信号470预测)中的音频伪影)。
图5至6及9绘示产生CP参数109的额外实例。图1绘示CP选择器122经配置以基于ICA参数107确定CP参数109的实例。图5绘示CP选择器122经配置以基于降混参数、一或多个其它参数或其组合来确定CP参数109的实例。图6绘示CP选择器122经配置以基于声道间预测增益参数来确定CP参数109的实例。图9绘示CP选择器122经配置以基于ICA参数107、降混参数、声道间预测增益参数、一或多个其它参数或其组合来确定CP参数109的实例。
参考图5,展示编码器114的实例。CP选择器122经配置以基于降混参数515、一或多个其它参数517(例如立体声参数)或其组合来确定CP参数109。
在操作期间,声道间对准器108将参考信号103及经调整目标信号105提供至中间侧产生器148,如参考图1所描述。中间侧产生器148通过对参考信号103及经调整目标信号105进行降混来产生中间信号511及侧信号513。中间侧产生器148基于降混参数515对参考信号103及经调整目标信号105进行降混,如参考图8进一步所描述。在特定方面中,降混参数515对应于默认值(例如0.5)。在特定方面中,降混参数515是基于能量量度、相关性量度或两者,其是基于参考信号103及经调整目标信号105。中间侧产生器148可产生其它参数517,如参考图8进一步所描述。例如,其它参数517可包含语音决策参数、瞬态指示符、核心类型或编码器类型中的至少一者。
在特定方面中,CP选择器122将CP参数509提供至中间侧产生器148。在特定方面中,CP参数509具有默认值(例如0),其指示将产生经编码侧信号用于发送,将通过解码经编码侧信号来产生经合成侧信号,或两者。CP参数509可对应于用于确定降混参数515的中介参数。例如,如本文中所描述,降混参数515(例如中介降混参数)可用于确定中间信号511(例如中介中间信号)、侧信号513(例如中介侧信号)、其它参数519(例如中介参数)或其组合。降混参数515、其它参数519或其组合可用于确定CP参数109(例如最终CP参数)。CP参数109可用于确定降混参数115(例如最终降混参数)。降混参数115用于确定中间信号111(例如最终中间信号)、侧信号113(例如最终侧信号)或两者。
中间侧产生器148将降混参数515、其它参数517或其组合提供至CP选择器122。CP选择器122基于降混参数515、其它参数517或其组合来确定CP参数109,如参考图9进一步所描述。CP选择器122将CP参数109提供至中间侧产生器148、信号产生器116或两者。中间侧产生器148基于CP参数109产生降混参数115,如参考图8进一步所描述。中间侧产生器148基于降混参数115产生中间信号111、侧信号113或两者,如参考图8进一步所描述。中间侧产生器148确定其它参数519(例如中介参数),如参考图8进一步所描述。
在特定方面中,响应于确定CP参数109匹配(例如等于)CP参数509,中间侧产生器148将降混参数115设定为具有与降混参数515相同的值,将中间信号511指定为中间信号111,将侧信号513指定为侧信号113,将其它参数517指定为其它参数519,或其组合。中间侧产生器148将中间信号111、侧信号113、降混参数115或其组合提供至信号产生器116。信号产生器116基于CP参数109、降混参数115、中间信号111、侧信号113或其组合产生经编码中间信号121、经编码侧信号123或两者,如参考图1所描述。发送器110阐述经编码中间信号121、经编码侧信号123、其它参数517中的一或多者或其组合,如参考图1所描述。因此,CP选择器122使得能够基于降混参数515、其它参数517或其组合而确定CP参数109。
参考图6,展示编码器114的实例。编码器114包含声道间预测增益(GICP)产生器612。在特定方面中,GICP产生器612对应于图2的ICP产生器220。例如,GICP产生器612经配置以执行参考ICP产生器220所描述的一或多个操作。CP选择器122经配置以基于GICP 601(例如声道间预测增益值)而确定CP参数109。
在操作期间,声道间对准器108将参考信号103及经调整目标信号105提供至中间侧产生器148,如参考图1所描述。中间侧产生器148基于CP参数509产生中间信号511及侧信号513,如参考图5所描述。中间侧产生器148将中间信号511及侧信号513提供至GICP产生器612。GICP产生器612基于中间信号511及侧信号513产生GICP 601,如参考图2的ICP产生器220所描述。例如,中间信号511可对应于图2的中间信号211,侧信号513可对应于图2的侧信号213,且GICP 601可对应于图2的ICP 208。在一些实施方案中,GICP 601可基于中间信号511的能量及侧信号513的能量。GICP 601可对应于用于确定CP参数109的中介参数(例如最终CP参数)。例如,如本文中所描述,CP参数109可用于确定降混参数115(例如最终降混参数)。降混参数115可用于确定中间信号111(例如最终中间信号)、侧信号113(例如最终侧信号)或两者。中间信号111、侧信号113或两者可用于确定GICP 603(例如最终GICP)。可将GICP 603发送至图1的第二装置106。
GICP产生器612将GICP 601提供至CP选择器122。CP选择器122基于GICP 601确定CP参数109,如参考图9进一步所描述。CP选择器122将CP参数109提供至中间侧产生器148。中间侧产生器148基于CP参数109产生中间信号111及侧信号113,如参考图8进一步所描述。中间侧产生器148将中间信号111及侧信号113提供至GICP产生器612。GICP产生器612基于中间信号111及侧信号113产生GICP 603,如参考图2的ICP产生器220进一步所描述。例如,中间信号111可对应于图2的中间信号211,侧信号113可对应于图2的侧信号213,且GICP603可对应于图2的ICP 208。在一些实施方案中,GICP 603可基于中间信号111的能量及侧信号113的能量。
在特定方面中,中间侧产生器148响应于确定CP参数109匹配(例如等于)CP参数509而将中间信号511指定为中间信号111,将侧信号513指定为侧信号113,将GICP 601指定为GICP 603,或其组合。中间侧产生器148将中间信号111、侧信号113或两者提供至信号产生器116。信号产生器116基于CP参数109产生经编码中间信号121、经编码侧信号123或两者,如参考图1所描述。在特定方面中,图1的发送器110发送GICP603、经编码中间信号121、经编码侧信号123或其组合。例如,图1的译码参数140可包含GICP 603。图1的位流参数102可对应于经编码中间信号121、经编码侧信号123或两者。
在特定方面中,图2的发送器210发送GICP 603、经编码中间信号121、经编码侧信号123或其组合。例如,GICP 603对应于图2的ICP 208。图2的位流参数202可对应于经编码中间信号121、经编码侧信号123或两者。因此,CP选择器122使得能够基于GICP 601确定CP参数109。
参考图7,展示声道间对准器108的实例。声道间对准器108经配置以基于第一音频信号130及第二音频信号132产生参考信号103、经调整目标信号105、ICA参数107或其组合。如本文中所使用,“声道间对准器”可被称作“时间均衡器”。声道间对准器108可包含重采样器704、信号比较器706、内插器710、偏移精简器711、偏移改变分析器712、绝对时间失配产生器716、参考信号指示符708、增益参数产生器714,或其组合。
在操作期间,重采样器704可产生一或多个重采样信号。例如,重采样器704可通过基于重采样因子(D)重采样第一音频信号130来产生第一重采样信号730,重采样因子可大于或等于1。重采样器704可通过基于重采样因子(D)重采样第二音频信号132来产生第二重采样信号732。重采样器704可将第一重采样信号730、第二重采样信号732或两者提供至信号比较器706。
信号比较器706可产生比较值734(例如差值、相似性值、相干性值或交叉相关性值)、暂定时间失配值701或其组合。例如,信号比较器706可基于第一重采样信号730及应用于第二重采样信号732的多个时间失配值来产生比较值734。信号比较器706可基于比较值734确定暂定时间失配值701。例如,暂定时间失配值701可对应于选择的比较值,所述比较值指示比比较值734的其它值更高的相关性(或更低的差)。信号比较器706可将比较值734、暂定时间失配值701或两者提供至内插器710。
内插器710可扩展暂定时间失配值701。例如,内插器710可产生内插时间失配值703。出于说明起见,内插器710可通过内插比较值734来产生对应于接近暂定时间失配值701的时间失配值的内插比较值。内插器710可基于内插比较值及比较值734而确定内插时间失配值703。比较值734可基于较粗糙粒度的时间失配值。例如,比较值734可基于一组时间失配值的第一子集,使得第一子集的第一时间失配值与第一子集的每一第二时间失配值之间的差大于或等于阈值(例如≥1)。阈值可基于重采样因子(D)。
内插比较值可基于接近于暂定时间失配值701的更精细粒度的时间失配值。例如,内插比较值可基于所述一组时间失配值的第二子集,使得第二子集的最高时间失配值与暂定时间失配值701之间的差小于阈值(例如<1),且第二子集的最低时间失配值与暂定时间失配值701之间的差小于阈值。内插器710可将内插时间失配值703提供至偏移精简器711。
偏移精简器711可通过精简内插时间失配值703来产生修正时间失配值705。举例来说,偏移精简器711可确定内插时间失配值703指示第一音频信号130与第二音频信号132之间的时间失配的改变是否大于时间失配阈值。时间失配的改变可通过内插时间失配值703与相关联于先前经编码帧的第一时间失配值之间的差来指示。偏移精简器711可响应于确定差小于或等于阈值而将修正时间失配值705设定为内插时间失配值703。替代地,偏移精简器711可响应于确定差值大于阈值而确定对应于小于或等于时间失配改变阈值的差的多个时间失配值。偏移精简器711可基于第一音频信号130及应用于第二音频信号132的多个时间失配值来确定比较值。偏移精简器711可基于比较值而确定修正时间失配值705。偏移精简器711可设定修正时间失配值705以指示选定时间失配值。偏移精简器711可将修正时间失配值705提供至偏移改变分析器712。
偏移改变分析器712可确定修正时间失配值705是否指示第一音频信号130与第二音频信号132之间的定时的切换或反向。特定地说,定时的反向或切换可指示,对于第一帧(例如先前经编码帧),在第二音频信号132之前在输入接口112处接收第一音频信号130,且针对后续帧,在第一音频信号130之前在输入接口112处接收第二音频信号132。替代地,定时的反向或切换可指示,对于第一帧,在第一音频信号130之前在输入接口112处接收第二音频信号132,且针对后续帧,在第二音频信号132之前在输入接口112处接收音频信号130。换句话说,定时的切换或反向可指示对应于第一帧的第一时间失配值(例如最终时间失配值)具有不同于对应于后续帧(例如正至负的转换或反之亦然)的修正时间失配值705的第二正负号的第一正负号。偏移改变分析器712可基于修正时间失配值705及与第一帧相关联的第一时间失配值来确定第一音频信号130与第二音频信号132之间的延迟是否已经切换正负号。偏移改变分析器712可响应于确定第一音频信号130与第二音频信号132之间的延迟已经切换正负号而将最终时间失配值707设定为指示无时间偏移的值(例如0)。替代地,偏移改变变化分析器712可响应于确定第一音频信号130与第二音频信号132之间的延迟尚未切换正负号而将最终时间失配值707设定为修正时间失配值705。偏移改变分析器712可通过精简修正时间失配值705来产生估计时间失配值。偏移改变分析器712可将最终时间失配值707设定为估计时间失配值。设定最终时间失配值707以指示无时间偏移可通过抑制第一音频信号130及第二音频信号132在第一音频信号130的连续(或毗邻)帧的相反方向上的时间偏移来减少解码器处的失真。偏移改变分析器712可将最终时间失配值707提供给绝对时间失配产生器716及参考信号指示符708。
绝对时间失配产生器716可通过将绝对函数应用于最终时间失配值707来产生非因果时间失配值717。绝对时间失配产生器716可将非因果时间失配值162提供至增益参数产生器714。
参考信号指示符708可产生参考信号指示符719。例如,响应于确定最终时间失配值707满足(例如大于)特定阈值(例如0),参考信号指示符708可将参考信号指示符719设定为具有第一值(例如1)。替代地,参考信号指示符719可响应于确定最终时间失配值707不满足(例如小于或等于)特定阈值(例如,0)而将参考信号指示符719设定为具有第二值(例如0)。在特定方面中,响应于确定最终时间失配值707具有指示无时间失配的特定值(例如0),参考信号指定器708可避免从对应于先前经编码帧的值改变参考信号指示符719。参考信号指示符719可具有指示第一音频信号130经指定为参考信号103的第一值或指示第二音频信号132经指定为参考信号103的第二值。参考信号指示符708可将参考信号指示符719提供至增益参数产生器714。
响应于确定参考信号指示符719指示第一音频信号130或第二音频信号132中的一者对应于参考信号103,增益参数产生器714可确定第一音频信号130或第二音频信号132中的另一者对应于目标信号。增益参数产生器714可基于非因果时间失配值717来选择目标信号(例如第二音频信号132)的样本。如本文中所提到,基于时间失配值选择音频信号的样本可对应于通过基于时间失配值调整(例如偏移)音频信号并选择经调整音频信号的样本来产生经调整(例如时间偏移的)音频信号。举例来说,增益参数产生器714可通过基于非因果性时间失配值717选择目标信号(例如第二音频信号132)的样本来产生经调整目标信号105(例如时间偏移的第二音频信号)。
增益参数产生器714可基于参考信号103的样本及经调整目标信号的选定样本来产生ICA增益参数709(例如声道间增益参数)。例如,增益参数产生器714可基于以下方程式中的一者产生ICA增益参数709:
Figure BDA0002428770300000461
Figure BDA0002428770300000462
Figure BDA0002428770300000463
Figure BDA0002428770300000464
Figure BDA0002428770300000465
Figure BDA0002428770300000466
其中gD对应于降混处理的ICA增益参数709,Ref(n)对应于参考信号103的样本,N1对应于非因果时间失配值717,且Targ(n+N1)对应于经调整目标信号105的选定样本。在一些实施方案中,增益参数产生器714可基于将第一音频信号130视为参考信号并将第二音频信号132视为目标信号而产生ICA增益参数709而与参考信号指示符719无关。ICA增益参数709可对应于参考信号104的第一样本的第一能量与经调整目标信号105的选定样本的第二能量的能量比。
可修改ICA增益参数709(gD)以合并长期平滑/迟滞逻辑以避免帧之间的增益的大跳跃。例如,增益参数产生器714可基于ICA增益参数709及第一ICA增益参数715产生平滑ICA增益参数713(例如平滑声道间增益参数)。第一ICA增益参数715可对应于先前经编码帧。出于说明起见,增益参数产生器714可基于ICA增益参数709及第一ICA增益参数715的平均值来输出平滑ICA增益参数713。ICA参数107可包含暂定时间失配值701、内插时间失配值703、修正时间失配值705、最终时间失配值707、非因果时间失配值717、第一ICA增益参数715、平滑ICA增益参数713、ICA增益参数709或其组合中的至少一者。
参考图8,展示中间侧产生器148的实例。中间侧产生器148包含降混参数产生器802。降混参数产生器802经配置以基于CP参数809而产生降混参数803。在特定方面中,CP参数809对应于图1的CP参数109,且降混参数803对应于图1的降混参数115。在特定方面中,CP参数809对应于图5的CP参数509,且降混参数803对应于图5的降混参数515。
降混参数产生器802包含耦合至参数产生器806的降混产生决策器804。降混产生决策器804经配置以产生降混产生决策895,其指示是使用第一技术还是第二技术来产生降混参数803。
参数产生器806经配置以使用第一技术产生降混参数值805。参数产生器806经配置以使用第二技术产生降混参数值807。参数产生器806经配置以基于降混产生决策895指定降混参数值805或降混参数值807作为降混参数803。虽然被描述为产生两个降混参数值805及807,但在其它实施方案中,仅产生选定降混参数值(例如基于降混产生决策895)。
中间侧产生器148经配置以基于降混参数803产生中间信号811及侧信号813。在特定方面中,中间信号811及侧信号813分别对应于图1的中间信号111及侧信号113。在特定方面中,中间信号811及侧信号813分别对应于图5的中间信号511及侧信号513。
在操作期间,响应于确定CP参数809具有第二值(例如1),降混产生决策器804将降混产生决策895设定为指示是否使用第一技术产生降混参数803的第一值(例如0)。CP参数809的第二值(例如1)可指示侧信号113未经编码用于发送,且图1的经合成侧信号173将在图1的解码器118处被预测。作为另一实例,响应于确定CP参数809具有第一值(例如0),降混产生决策器804将降混产生决策895设定为具有指示是否使用第二技术产生降混参数803的第二值(例如1)。CP参数809的第一值(例如0)可指示侧信号113经编码用于发送,且图1的经合成侧信号173是通过解码经编码侧信号123在解码器118处确定。降混产生决策器804将降混产生决策895提供至参数产生器806。
响应于确定降混产生决策895具有第一值(例如0),参数产生器806使用第一技术产生降混参数值805。例如,参数产生器806产生降混参数值805作为默认值(例如0.5)。参数产生器806将降混参数值805指定为降混参数803。替代地,响应于确定降混产生决策895具有第二值(例如1),参数产生器806使用第二技术产生降混参数值807。例如,参数产生器806基于参考信号103及经调整目标信号105,基于能量量度、相关性量度或两者产生降混参数值807。出于说明起见,参数产生器806可基于参考信号103的第一特性的第一值与经调整目标信号105的第一特性的第二值的比较而确定降混参数值807。例如,第一特性可对应于信号能量或信号相关性。参数产生器806可基于第一值与第二值之间的特性比较值(例如差)来确定降混参数值807。
在特定方面中,参数产生器806经配置以产生降混参数值807以在从第一范围值(例如0)至第二范围值(例如1)的范围内。例如,参数产生器806将特性比较值映射至所述范围内的值。在此方面中,具有特定值(例如0.5)的降混参数值807可指示参考信号103的第一能量近似等于经调整目标信号105的第二能量。参数产生器806可响应于确定特性比较值(例如差)满足(例如小于)阈值(例如容限水平)而确定降混参数值807具有特定值(例如0.5)。参考信号103的第一能量大于经调整目标信号105的第二能量,降混参数值807可越接近第一范围值(例如0)。经调整目标信号105的第二能量大于参考信号103的第一能量,降混参数值807可越接近第二范围值(例如1)。响应于确定降混产生决策895具有第二值(例如1),参数产生器806将降混参数值807指定为降混参数803。
在特定方面中,参数产生器806经配置以基于默认值(例如0.5)、降混参数值807或两者来产生降混参数值805。例如,参数产生器806经配置以通过将降混参数值807修改为在默认值(例如0.5)的特定范围内来产生降混参数值805。在特定方面中,参数产生器806经配置以响应于确定降混参数值807小于第一特定值而将降混参数值805设定为第一特定值(例如0.3)。替代地,参数产生器806经配置以响应于确定降混参数值807大于第二特定值而将降混参数值805设定为第二特定值(例如0.7)。在特定方面中,参数产生器806通过将动态范围减小函数(例如经修改S形)应用于降混参数值807来产生降混参数值805。
在特定方面中,参数产生器806经配置以基于默认值(例如0.5)、降混参数值807或一或多个额外参数来产生降混参数值805。例如,参数产生器806经配置以通过基于发声因子825修改降混参数值807来产生降混参数值805。出于说明起见,参数产生器806可基于以下方程式产生降混参数值805:
Ratio_L=(vf)*0.5+(1-vf)*original_Ratio_L 方程式7
其中,Ratio_L对应于降混参数值805,vf对应于发声因子825,而original_Ratio_L对应于降混参数值807。发声因子825可在特定范围(例如0.0至1.0)内。发声因子825可指示参考信号103、经调整目标信号105或两者的浊音/清音性质(例如强浊音、弱浊音、弱清音或强清音)。发声因子825可对应于由ACELP核心确定的发声因子的平均值。
在特定实例中,参数产生器806经配置以通过基于比较值855修改降混参数值807来产生降混参数值805。例如,参数产生器806可基于以下方程式产生降混参数值805:
Ratio_L=(ica_crosscorrelation)*0.5+(1–ica_crosscorrelation)*original_Ratio_L 方程式8
其中Ratio_L对应于降混参数值805,ica_crosscorrelation对应于比较值855,且original_Ratio_L对应于降混参数值807。中间侧产生器148可基于参考信号103的样本与经调整目标信号105的选定样本的比较而确定比较值855(例如差值、相似性值、相干性值或交叉相关性值)。
中间侧产生器148基于降混参数803产生中间信号811及侧信号813。例如,中间侧产生器148基于以下方程式产生中间信号811及侧信号813:
Mid(n)=Ratio_L*L(n)+(1-Ratio_L)*R(n) 方程式9(a)
Side(n)=(1-Ratio_L)*L(n)-(Ratio_L)*R(n) 方程式9(b)
Mid(n)=Ratio_L*L(n)+(1-Ratio_L)*R(n) 方程式10(a)
Side(n)=0.5*L(n)-0.5*R(n) 方程式10(b)
Mid(n)=0.5*L(n)+0.5*R(n) 方程式11(a)
Side(n)=(1-Ratio_L)*L(n)-(Ratio_L)*R(n) 方程式11(b)
其中Mid(n)对应于中间信号811,Side(n)对应于侧信号813,L(n)对应于第一音频信号130的样本,R(n)对应于第二音频信号132的样本,且Ratio_L对应于降混参数803。在特定方面中,L(n)对应于参考信号103的样本,且R(n)对应于经调整目标信号105的对应样本。在替代方面中,R(n)对应于参考信号103的样本,且L(n)对应于经调整目标信号105的对应样本。
在特定方面中,中间侧产生器148基于以下方程式对而产生中间信号811及侧信号813:
Mid(n)=Ratio_L*Ref(n)+(1-Ratio_L)*Targ(n+N1) 方程式12(a)
Side(n)=(1–Ratio_L)*Ref(n)–(Ratio_L)*Targ(n+N1) 方程式12(b)
Mid(n)=Ratio_L*Ref(n)+(1-Ratio_L)*Targ(n+N1) 方程式13(a)
Side(n)=0.5*Ref(n)–0.5*Targ(n+N1) 方程式13(b)
Mid(n)=0.5*Ref(n)+0.5*Targ(n+N1) 方程式14(a)
Side(n)=(1–Ratio_L)*Ref(n)–(Ratio_L)*Targ(n+N1) 方程式14(b)
其中Mid(n)对应于中间信号811,Side(n)对应于侧信号813,Ref(n)对应于参考信号103的样本,N1对应于图7的非因果时间失配值717,Targ(n+N1)对应于经调整目标信号105的样本,且Ratio_L对应于降混参数803。
在特定方面中,降混产生决策器804基于确定是否满足准则823来确定降混产生决策895。例如,响应于确定CP参数809具有第二值(例如1)且满足准则823,降混产生决策器804产生具有第一值(例如0)的降混产生决策895,所述第一值指示第一技术用于产生降混参数803。替代地,响应于确定CP参数809具有第一值(例如0)或未满足准则823,降混产生决策器804产生具有第二值(例如1)的降混产生决策895,所述第二值指示第一技术用于产生降混参数803。在特定方面中,满足准则823指示对应于参考信号103及经调整目标信号105的侧信号(例如侧信号813)为用于预测的候选者。
降混产生决策器804经配置以基于第一侧信号851、第二侧信号853、ICA参数107、比较值855、时间失配值857、一或多个其它参数810或其组合来确定是否满足准则823。在特定方面中,降混产生决策器804基于与对应于第一技术及第二技术的降混参数值中的每一者的侧信号的比较而确定是否满足准则823。例如,参数产生器806使用第一技术来产生降混参数值805并使用第二技术来产生降混参数值807。中间侧产生器148基于方程式9(b)至14(b)中的一者产生对应于降混参数值805的第一侧信号851。例如,Side(n)对应于第一侧信号851,且Ratio_L对应于降混参数值805。中间侧产生器148基于方程式9(b)至14(b)中的一者而产生对应于降混参数值807的第二侧信号853。例如,Side(n)对应于第二侧信号853,且Ratio_L对应于降混参数值807。
降混产生决策器804确定第一侧信号851的第一能量且确定第二侧信号853的第二能量。降混产生决策器804可基于第一能量及第二能量的比较而产生能量比较值。降混产生决策器804可基于确定能量比较值满足能量阈值而确定满足准则823。例如,降混产生决策器804可至少部分地基于确定第一能量低于第二能量且能量比较值满足能量阈值来确定满足准则823。因此,降混产生决策器804可响应于确定对应于降混参数值805的第一侧信号851的第一能量远低于对应于降混参数值807的第二侧信号853的第二能量而确定满足准则823。
中间侧产生器148可响应于确定CP参数809具有第二值(例如1)且满足准则823而将第一侧信号851指定为侧信号813。替代地,响应于确定CP参数809具有第一值(例如0)或者不满足准则823,中间侧产生器148可将第二侧信号853指定为侧信号813。
在特定方面中,降混产生决策器804基于ICA参数107确定是否满足准则823。在特定实例中,降混产生决策器804响应于确定时间失配值857指示相对小(例如无)时间失配而确定满足准则823。出于说明起见,降混产生决策器804响应于确定时间失配值857与特定值(例如0)之间的差满足时间失配值阈值而确定满足准则823。时间失配值857可包含暂定时间失配值701、内插时间失配值703、修正时间失配值705、最终时间失配值707或ICA参数107的非因果时间失配值717。
在特定方面中,降混产生决策器804基于比较值855而确定是否满足准则823。例如,降混产生决策器804基于参考信号103(例如Ref(n))的样本与经调整目标信号105(例如Targ(n+N1))的对应样本的比较而确定比较值855(例如差值、相似性值、相干性值或交叉相关性值)。出于说明起见,降混产生决策器804响应于确定比较值855(例如差值、相似性值、相干性值或交叉相关性值)满足阈值(例如差阈值、相似性阈值、相干性阈值或交叉相关性阈值)而确定满足准则823。在特定方面中,当比较值855指示可能的更高去相关性时,降混产生决策器804确定满足准则823。例如,降混产生决策器804响应于确定比较值855对应于高于阈值的交叉相关性而确定满足准则823。
中间侧产生器148可经配置以基于参考信号103、经调整目标信号105或两者产生一或多个其它参数810。其它参数810可包含语音决策参数815、核心类型817、编码器类型819、瞬态指示符821、发声因子825或其组合。例如,中间侧产生器148可使用各种语音/音乐分类技术来确定语音决策参数815。语音决策参数815可指示参考信号103、经调整目标信号105或两者是否被分类为语音或非语音(例如音乐或噪音)。
中间侧产生器148可经配置以确定核心类型817、编码器类型819或两者。例如,可基于先前的核心类型、先前的编码器类型或两者而对先前经编码帧进行编码。核心类型817可对应于先前的核心类型,编码器类型819可对应于先前的编码器类型,或两者。在替代方面中,中间侧产生器148基于语音决策参数815确定核心类型817、编码器类型819或两者。例如,响应于确定语音决策参数815具有指示参考信号103、经调整目标信号105或两者对应于语音的第一值(例如0),中间侧产生器148可选择ACELP核心类型作为核心类型817。替代地,响应于确定语音决策参数815具有指示参考信号103、经调整目标信号105或两者对应于非语音(例如音乐)的第二值(例如1),中间侧产生器148可选择变换译码活跃(TCX)核心类型作为核心类型817。
响应于确定语音决策参数815具有指示参考信号103、经调整目标信号105或两者对应于语音的第一值(例如0),中间侧产生器148可选择通用信号译码(GSC)编码器类型或非GSC编码器类型作为编码器类型819。例如,中间侧产生器148可响应于确定参考信号103、经调整目标信号105或两者对应于高频谱稀疏度(例如高于稀疏阈值)而选择非GSC编码器类型(例如修改的离散余弦变换(MDCT))。替代地,中间侧产生器148可响应于确定参考信号103、经调整目标信号105或两者对应于非稀疏频谱(例如低于稀疏度阈值)来选择GSC译码器类型。
中间侧产生器148可经配置以基于参考信号103的能量、经调整目标信号105的能量或两者而确定瞬态指示符821。例如,中间侧产生器148可响应于确定参考信号103的能量、经调整目标信号105的能量或两者皆不指示高于阈值尖峰而将瞬态指示符821设定为指示未检测到瞬态的第一值(例如0)。尖峰可对应于小于阈值数目个样本。替代地,中间侧产生器148可响应于确定参考信号103的能量、经调整目标信号105的能量或两者皆指示高于阈值尖峰而将瞬态指示符821设定为指示检测到瞬态的第一值(例如1)。能量的尖峰(例如增加)可与小于阈值数目个样本相关联。
在特定方面中,降混产生决策器804基于语音决策参数815确定是否满足准则823。例如,降混产生决策器804响应于确定语音决策参数815具有指示参考信号103、经调整目标信号105或两者对应于语音的第一值(例如0)而确定满足准则823。
在特定方面中,降混产生决策器804基于编码器类型819确定是否满足准则823。例如,降混产生决策器804响应于确定编码器类型819对应于浊音译码器类型(例如GSC译码器类型)而确定满足准则823。
在特定方面中,降混产生决策器804基于编码类型817确定是否满足准则823。例如,降混产生决策器804响应于确定编码器类型817对应于浊音译码类型(例如ACELP译码类型)而确定满足准则823。
在特定方面中,图1的发送器110可响应于确定降混参数115不同于默认降混参数值(例如0.5)而发送降混参数115(例如降混参数803)。在此方面中,响应于确定降混参数115匹配默认降混参数值(例如0.5),发送器110可抑制发送降混参数115。
在特定方面中,发送器110可响应于确定降混参数115基于解码器118处不可用的一或多个参数而发送降混参数115。在特定实例中,第一侧信号851的能量、第二侧信号853的能量、比较值855或语音决策参数815中的至少一者在解码器118处不可用。在此实例中,响应于确定降混参数115基于第一侧信号851的能量、第二侧能量信号853、比较值855或语音决策参数815中的至少一者,中间侧产生器148可经由发送器110起始降混参数115的发送。
降混参数803离特定值(例如0)越远,侧信号813包含的为中间信号811所共有的信息越多。例如,降混参数803离特定值(例如0)越远,侧信号813的能量越高,且侧信号813与中间信号811之间的相关性越高。当侧信号813具有较低能量且侧信号813与中间信号811之间的去相关性较高时,预测侧信号可更接近地接近侧信号813。
侧信号813与基于具有降混参数值807的降混参数803产生时相比在基于具有降混参数值805的降混参数803而产生时可具有更低的能量。当CP参数809具有指示解码器118将基于图1的经合成中间信号171而预测经合成侧信号173的第二值(例如1)时,降混参数产生器802使得能够基于降混参数值805产生侧信号813。在一些实施方案中,当CP参数809具有第二值(例如1)且当满足准则823指示侧信号813的较高去相关性为可能时,降混参数产生器802使得能够基于降混参数值805产生侧信号813。基于降混参数值805产生侧信号813会增加解码器处的预测侧信号更接近侧信号813的可能性。
参考图9,展示CP选择器122的实例。CP选择器122经配置以基于ICA参数107、降混参数515、其它参数517或GICP 601中的至少一者来产生CP参数919。在特定方面中,CP参数919对应于图1的CP参数109、图5的CP参数509或两者。
在操作期间,CP选择器122可接收ICA参数107、降混参数515、其它参数517或GICP610中的至少一者。CP选择器122可基于ICA参数107、降混参数515、其它参数517或GICP 610中的至少一者而确定一或多个指示符960。CP选择器122可基于确定ICA参数107、降混参数515、其它参数517、GICP 610或指示符960中的至少一者是否满足一或多个阈值901来确定CP参数919。
在特定方面中,CP选择器122基于以下伪码确定CP参数919:
Figure BDA0002428770300000531
Figure BDA0002428770300000541
其中st_stereo->icpFlag对应于CP参数919,isICAStable对应于ICA稳定性指示符975,isShiftStable对应于时间失配稳定性指示符965,且isGICPHigh对应于GICP高指示符977。
CP选择器122可基于GICP 601产生GICP高指示符977。例如,GICP高指示符977指示GICP 601是否满足(例如大于)GICP高阈值923(例如0.7)。例如,CP选择器122可响应于确定GICP 601未能满足(例如小于或等于)GICP高阈值923(例如0.7)而将GICP高指示符977设定为第一值(例如0)。替代地,CP选择器122可响应于确定GICP 601满足(例如大于)GICP高阈值923(例如0.7)而将GICP高指示符977设定为第二值(例如1)。
CP选择器122可基于跨帧的时间失配值(TMV)的演进而产生时间失配稳定性指示符965。例如,CP选择器122可基于TMV 943及第二TMV 945而产生时间失配稳定性指示符965。ICA参数107可包含TMV 943及第二TMV 945。TMV 943可包含图7的暂定TMV 701、内插TMV 703、修正TMV 705或最终TMV 707。第二TMV 945可包含暂定TMV、内插TMV、修正TMV或对应于先前编码帧的最终TMV。例如,TMV 943可基于参考信号103的第一样本,且第二TMV 945可基于参考信号103的第二样本。第一样本可与第二样本不同。例如,第一样本可包含不包含在第二样本中的至少一个样本,第二样本可包含不包含在第一样本中的至少一个样本,或两者。作为另一实例,TMV943可基于目标信号的第一特定样本,且第二TMV 945可基于目标信号的第二特定样本。第一特定样本可与第二特定样本不同。例如,第一特定样本可包含未包含在第二特定样本中的至少一个样本,第二特定样本可包含未包含在第一特定样本中的至少一个样本,或两者。
在特定方面中,响应于确定TMV 943与第二TMV 945之间的差大于时间失配稳定性阈值905,TMV 943或第二TMV 945中的一者为正,且TMV 943或第二TMV 945中的另一者为负,或两者,CP选择器122将时间失配稳定性指示符965设定为第一值(例如0)。时间失配稳定性指示符965的第一值(例如0)可指示时间失配不稳定。响应于确定TMV 943与第二TMV945之间的差小于或等于时间失配稳定性阈值905,TMV 943与第二TMV 945为正的,TMV 943与第二TMV 945为负,TMV 943或第二TMV 945中的一者为零,或其组合,CP选择器122将时间失配稳定性指示符965设定为第二值(例如1)。时间失配稳定性指示符965的第二值(例如1)可指示时间失配稳定。
CP选择器122可基于时间失配稳定性指示符965、ICA增益稳定性指示符973(例如声道间增益稳定性指示符)或ICA增益可靠性指示符971(例如声道间增益可靠性指示符)中的至少一者来产生ICA稳定性指示符975。例如,响应于确定时间失配稳定性指示符965具有指示时间失配不稳定的第一值(例如0),ICA增益稳定性指示符973具有指示ICA增益不稳定的第一值(例如0),或ICA增益可靠性指示符971具有指示ICA增益不可靠的第一值(例如,0),CP选择器122可将ICA稳定性指示符975设定为第一值(例如0)。替代地,响应于确定时间失配稳定性指示符965具有指示时间失配稳定的第二值(例如1),ICA增益稳定性指示符973具有指示ICA增益稳定的第二值(例如1),且ICA增益可靠性指示符971具有指示ICA增益可靠的第二值(例如1),CP选择器122可将ICA稳定性指示符975设定为第二值(例如1)。ICA稳定性指示符975的第一值(例如0)可指示ICA不稳定。ICA稳定性指示符975的第二值(例如1)可指示ICA稳定。
CP选择器122可基于跨帧的ICA增益的演进而产生ICA增益稳定性指示符973。CP选择器122可基于第一ICA增益参数715、ICA增益参数709、平滑ICA增益参数713或其组合来确定ICA增益稳定性指示符973。ICA参数107可包含ICA增益参数709、第一ICA增益参数715及平滑ICA增益参数713。CP选择器122可基于ICA增益参数709与第一ICA增益参数715之间的差而确定增益差。在替代方面中,CP选择器122可基于平滑ICA增益参数713与第一ICA增益参数715之间的差来确定增益差。
响应于确定增益差不满足(例如大于)ICA增益稳定性阈值913,CP选择器122可将ICA增益稳定性指示符973设定为第一值(例如0)。替代地,CP选择器122可响应于确定增益差满足(例如小于或等于)ICA增益稳定性阈值913而将ICA增益稳定性指示符973设定为第二值(例如1)。ICA增益稳定性指示符973的第一值(例如0)可指示ICA增益不稳定。ICA增益稳定性指示符973的第二值(例如1)可指示ICA增益稳定。
CP选择器122可基于ICA增益参数709及平滑ICA增益参数713而确定ICA增益可靠性指示符971。ICA参数107可包含ICA增益参数709及平滑ICA增益参数713。CP选择器122可响应于确定ICA增益参数709与平滑ICA增益参数713之间的差未能满足(例如大于)ICA增益可靠性阈值911而将ICA增益可靠性指示符971设定为第一值(例如0)。替代地,CP选择器122可响应于确定ICA增益参数709与平滑ICA增益参数713之间的差满足(例如小于或等于)ICA增益可靠性阈值911而将ICA增益可靠性指示符971设定为第二值(例如1)。ICA增益可靠性指示符971的第一值(例如0)可指示ICA增益不可靠。例如,ICA增益可靠性指示符971的第一值(例如0)可指示ICA增益被平滑得太慢,使得立体声感知正在改变。ICA增益可靠性指示符971的第二值(例如1)可指示ICA增益可靠。
在特定方面中,CP选择器122基于以下伪码确定CP参数919:
Figure BDA0002428770300000561
其中st_stereo->icpFlag对应于CP参数919,isGICPLow对应于GICP低指示符979,st_stereo->sp_aud_decision0对应于语音决策参数815,st[0]->last_core对应于核心类型817,isGICPHigh对应于GICP高指示符977,gICP对应于GICP 601,isICAStable对应于ICA稳定性指示符975,isICAGainReliable对应于ICA增益可靠性指示符971,且st_stereo->attackPresent对应于瞬态指示符821。
CP选择器122可基于GICP 601产生GICP低指示符979。例如,GICP低指示符979指示GICP 601是否满足(例如低于或等于)GICP低阈值921(例如0.5)。例如,CP选择器122可响应于确定GICP 601未能满足(例如大于)GICP低阈值921(例如0.5)而将GICP低指示符979设定为第一值(例如0)。替代地,CP选择器122可响应于确定GICP 601满足(例如小于或等于)GICP低阈值921(例如0.5)而将GICP低指示符979设定为第二值(例如1)。GICP低阈值921可与GICP高阈值923相同或不同。
在特定方面中,CP选择器122可基于确定ICA参数107、降混参数515、其它参数810或GICP 601中的一或多者是否满足对应阈值而确定CP参数919。例如,CP选择器122可响应于确定ICA参数107、降混参数515、其它参数810或GICP 601中的一或多者未能满足对应阈值而将CP参数919设定为第一值(例如0)。替代地,CP选择器122可响应于确定ICA参数107、降混参数515、其它参数810或GICP 601中的一或多者满足对应阈值而将CP参数919设定为第二值(例如1)。
在特定方面中,CP选择器122可响应于确定GICP 610未能满足(例如大于)GICP阈值915(例如声道间预测增益阈值)而将CP参数919设定为第一值(例如0)。替代地,CP选择器122可响应于确定GICP 610满足(例如小于或等于)GICP低阈值915而将CP参数919设定为第二值(例如1)。
在特定方面中,CP选择器122可基于确定ICA增益参数709未能满足(例如大于)ICA增益阈值(例如声道间增益阈值)而将CP参数919设定为第一值(例如0)。替代地,CP选择器122可基于确定ICA增益参数709满足(例如小于或等于)ICA增益阈值而将CP参数919设定为第二值(例如1)。
在特定方面中,CP选择器122可基于确定平滑ICA增益参数713未能满足(例如大于)平滑声道间增益阈值而将CP参数919设定为第一值(例如0)。替代地,CP选择器122可基于确定ICA增益参数713满足(例如小于或等于)平滑ICA增益阈值而将CP参数919设定为第二值(例如1)。
在特定方面中,CP选择器122可响应于确定降混参数515与特定值(例如0.5)之间的降混差未能满足(例如大于)降混阈值917而将CP参数919设定为第一值(例如0)。替代地,CP选择器122可响应于确定降混差满足(例如小于或等于)降混阈值917而将CP参数919设定为第二值(例如1)。
在特定方面中,CP选择器122可响应于确定译码器类型819对应于特定译码器类型(例如语音译码器)而将CP参数919设定为第一值(例如0)。替代地,CP选择器122可响应于确定译码器类型819不对应于特定译码器类型(例如非语音译码器)而将CP参数919设定为第二值(例如1)。
在特定方面中,CP选择器122可响应于确定发声因子825满足阈值(例如强浊音或弱浊音或弱清音)而将CP参数919设定为第一值(例如0)。替代地,CP选择器122可响应于确定发声因子825未能满足阈值(例如强清音)而将CP参数919设定为第二值(例如1)。
在特定方面中,CP选择器122可将CP参数919设定为默认值(例如1),其指示侧信号将被编码以用于发送,经编码侧信号将被发送,以及解码器将用于基于对经编码侧信号进行解码来产生经合成侧信号。例如,CP选择器122可响应于确定要独立于ICA参数107、降混参数515、其它参数517及GICP 610产生CP参数919而将CP参数919设定为默认值(例如1)。在此方面中,CP参数919可对应于图5的CP参数509。
在特定方面中,CP选择器122可应用迟滞来修改阈值901中的一或多者。例如,CP选择器122可响应于确定与先前经编码帧相关联的GICP满足(例如大于)第二个GICP阈值(例如0.9)而将GICP高阈值923从第一值(例如0.7)修改为第二值(例如0.6)。CP选择器122可基于GICP高阈值923的第二值而确定GICP高指示符977。应理解,GICP高阈值923用作说明性实例,在其它实施方案中,CP选择器122可应用迟滞来修改一或多个额外阈值。将迟滞应用于阈值901中的一或多者可减少跨越帧的CP参数919的可变性。
应理解,ICA参数107、降混参数515、其它参数810、GICP 601、阈值901及指示符960在本文中被描述为说明性实例,在其它实施方案中,CP选择器122可使用其它参数、指示符、阈值或其组合以确定CP参数919。例如,CP选择器122可基于音调、倾斜、中间至侧交叉相关性,侧的绝对能量或其组合来确定CP参数919。应理解,基于ICA增益或时间失配的演进来确定CP参数919被描述为说明性实例,在其它实施方案中,CP选择器122可基于跨帧的一或多个额外参数的演进来确定CP参数919。
参考图10,展示CP确定器172的实例。CP确定器172经配置以产生CP参数179。CP参数179可对应于CP参数109。
在操作期间,CP确定器172响应于确定译码参数140包含CP参数109而将CP参数179设定为与CP参数109相同的值。替代地,CP确定器172响应于确定译码参数140不包含CP参数109而通过执行参考图9被描述为由CP选择器122执行的一或多种技术确定CP参数179。例如,CP确定器172可基于降混参数115、ICA参数107、其它参数810、阈值901或指示符960中的至少一者而确定CP参数179。CP参数179的第一值(例如0)可指示位流参数102对应于经编码侧信号123。CP参数179的第二值(例如1)可指示位流参数102不对应于经编码侧信号123。因此,CP确定器172使得解码器118能够动态地确定经合成侧信号173是否将基于经合成中间信号171而预测,或基于位流参数102而解码。
参考图11,展示升混参数产生器176的实例且将其整体上指定为1100。在实例1100中,译码参数140包含降混参数115。
在操作期间,升混参数产生器176响应于确定译码参数140包含降混参数115而产生对应于降混参数115的升混参数175。例如,升混参数175可具有与降混参数115相同的值。降混参数115可具有降混参数值805或降混参数值807,如参考图8所描述。在特定方面中,降混参数值805可对应于默认参数值(例如0.5)。在特定方面中,升混参数产生器176可响应于确定译码参数140不包含降混参数115而将升混参数175设定为默认值(例如0.5)。
图11还包含升混参数产生器176的实例1102。在实例1102中,升混参数产生器176基于CP参数179确定升混参数175。例如,升混参数产生器176可响应于确定CP参数179具有第一值(例如0)而将升混参数175设定为降混参数值807。译码参数140可包含降混参数值807。替代地,升混参数产生器176可响应于确定CP参数179具有第二值(例如1)而将升混参数175设定为降混参数值805。在特定方面中,降混参数值805可对应于默认参数值(例如0.5)。在替代方面中,升混参数产生器176可基于降混参数值807确定降混参数值805,如参考图8的参数产生器806所描述。例如,升混参数产生器176可通过将动态范围减小函数(例如经修改S形)应用于降混参数值807来确定降混参数值805。作为另一实例,升混参数产生器176可基于降混参数值807、发声因子825或两者而确定降混参数值805,如参考图8的参数产生器806所描述。译码参数140可包含降混参数值807、发声因子825或两者。
在特定方面中,升混参数产生器176响应于确定译码参数140不包含降混参数115而基于CP参数179确定升混参数175。在替代方面中,响应于确定CP参数179具有第一值(例如0),升混参数产生器176确定译码参数140包含降混参数115并确定对应于升混参数115的升混参数175。升混参数175可与降混参数115相同。降混参数115可指示降混参数值807。在替代方面中,响应于确定CP参数179具有第二值(例如1),升混参数产生器176确定译码参数140不包含降混参数115并将升混参数175设定为升混参数值805。降混参数值805可基于默认参数值(例如0.5)、降混参数值807或两者,如参考图8所描述。译码参数140可包含降混参数值807。
因此,升混参数产生器176可基于CP参数179而确定升混参数175。在特定方面中,发送器110发送指示CP参数109的第二值(例如1)的单个位,CP确定器172基于由单个位指示的第二值(例如1)而确定CP参数179,且升混参数产生器176基于CP参数179而确定对应于默认值(例如0)的升混参数175。在此方面中,升混参数产生器176基于由发送器110发送的单个位的值而产生升混参数175。升混参数产生器176通过抑制发送降混参数115来节省网络资源(例如带宽)。升混参数产生器176可改变原本用于发送降混参数115的位的用途以发送另一参数(例如图6的GICP 603)、位流参数102或其组合。
参考图12,展示升混参数产生器176的实例且将其整体上指定为1200。在实例1200中,译码参数140包含降混产生决策895。
响应于确定降混产生决策895具有第一值(例如0),升混参数产生器176将降混参数值805指定为升混参数175。替代地,响应于确定降混产生决策895具有第二值(例如1),升混参数产生器176将降混参数值807指定为升混参数175。在特定方面中,降混参数值805可对应于默认值(例如0.5)。在替代方面中,升混参数产生器176可基于降混参数值807确定降混参数值805,如参考图8的参数产生器806所描述。译码参数140可包含降混参数值807。
图12还包含升混参数产生器176的实例1202。在实例1202中,升混参数产生器176包含耦合至参数产生器1206的降混产生决策器1204。降混产生决策器1204对应于图8的降混产生决策器804。参数产生器1206对应于图8的参数产生器806。
降混产生决策器1204可基于CP参数179、图8的准则823或两者而产生降混产生决策1295。例如,降混产生决策器1204可执行由图8的降混产生决策器804执行的一或多个操作以产生降混产生决策895。CP参数179可对应于图8的CP参数809。参数产生器1206可基于降混产生决策1295指定降混参数值805或降混参数807作为升混参数175。
参数产生器1206可执行由图8的参数产生器806执行的一或多个操作以产生降混产生决策803。例如,升混参数产生器176可响应于确定降混产生决策1295具有第一值(例如0)而将降混参数值805指定为升混参数175。替代地,升混参数产生器176可响应于确定降混产生决策1295具有第二值(例如1)而将降混参数值807指定为升混参数175。
在特定方面中,升混参数产生器176基于在编码器114及解码器118处可用的信息而确定升混参数175。例如,降混产生决策器1204可基于译码器类型819(图8的核心类型817)或两者确定是否满足准则823,如参考图8的降混产生决策器804所描述。作为另一实例,参数产生器1206可基于降混参数值807、发声因子825或两者而产生降混参数值805,如参考图8的参数产生器806所描述。译码参数140可包含降混参数值807、发声因子825、编码器类型819、核心类型817或其组合。
在特定方面中,图1的发送器110可发送指示是否满足准则823的准则满足指示符。降混产生决策器1204可基于CP参数179及准则满足指示符而确定降混产生决策1295。例如,响应于确定CP参数179具有第一值(例如0)或准则满足指示符具有第一值(例如0),降混产生决策器1204可产生具有第二值(例如1)的降混产生决策1295。作为另一实例,响应于确定CP参数179具有第二值(例如1)或准则满足指示符具有第二值(例如1),降混产生决策器1204可产生具有第一值(例如1)的降混产生决策1295。准则满足指示符的第一值(例如0)可指示降混产生决策器804确定不满足准则823。准则满足指示符的第二值(例如1)可指示降混产生决策器804确定满足准则823。
在特定方面中,升混参数产生器176可基于配置设定选择一或多个参数,且可基于选定参数确定升混参数175。例如,降混产生决策器1204可基于第一组选定参数来确定是否满足准则823。作为另一实例,参数产生器1206可基于第二组选定参数确定降混参数值805。因此,升混参数产生器176可启用确定对应于图1的降混参数115的升混参数175的各种技术。
参考图13,展示基于声道间预测增益参数而合成中介侧信号且对中介侧信号执行滤波(例如基于去相关性滤波)以合成侧信号的系统的特定说明性实例。在特定实施方案中,图13的系统1300包含或对应于在基于经合成中间信号确定预测经合成侧信号之后的图1的系统100。在一些实施方案中,系统1300包含或对应于图2的系统200。系统1300包含第一装置1304,第一装置1304经由网络1305以通信方式耦合至第二装置1306。网络1305可包含一或多个无线网络、一或多个有线网络或其组合。在特定实施方案中,第一装置1304、网络1305及第二装置1306可分别包含或对应于图1的第一装置104、网络120及第二装置106,或图2的第一装置204、网络205及第二装置206。在特定实施方案中,第一装置1304包含或对应于移动装置。在另一特定实施方案中,第一装置1304包含或对应于基站。在特定实施方案中,第二装置1306包含或对应于移动装置。在另一特定实施方案中,第二装置1306包含或对应于基站。
第一装置1304可包含编码器1314、发送器1310、一或多个输入接口1312或其组合。一或多个输入接口1312可经配置以接收第一音频信号1330及第二音频信号1332,例如来自一或多个麦克风,如参考图1至2所描述。
编码器1314可经配置以对音频信号进行降混及编码,如参考图1所描述。在特定实施方案中,编码器1314可经配置以对第一音频信号1330及第二音频信号1332执行一或多个对准操作,如参考图1所描述。编码器1314包含信号产生器1316、声道间预测增益参数(ICP)产生器1320及位流产生器1322。信号产生器1316可耦合至ICP产生器1320及位流产生器1322,且ICP产生器1320可耦合至位流产生器1322。信号产生器1316经配置以基于经由一或多个输入接口1312接收的输入音频信号产生音频信号,如参考图1所描述。例如,信号产生器1316可经配置以基于第一音频信号1330及第二音频信号1332产生中间信号1311。作为另一实例,信号产生器1316可经配置以基于第一音频信号1330及第二音频信号1332产生中间信号1313。信号产生器1316还可经配置以对一或多个音频信号进行编码。例如,信号产生器1316可经配置以基于中间信号1311产生经编码中间信号1315。在特定实施方案中,中间信号1311、侧信号1313及经编码中间信号1315分别包含或对应于图1的中间信号111、侧信号113及经编码中间信号115,或图2的中间信号211、侧信号213及经编码中间信号215。信号产生器1316可经进一步配置以将中间信号1311及侧信号1313提供至ICP产生器1320并将经编码中间信号1315提供至位流产生器1322。在特定实施方案中,编码器1314可经配置以在提供中间信号1311及侧信号1313之前(例如在产生声道间预测增益参数之前)将一或多个滤波器应用于中间信号1311及侧信号1313。
ICP产生器1320经配置以基于中间信号1311及侧信号1313产生声道间预测增益参数(ICP)1308。例如,ICP产生器1320可经配置以基于侧信号1313的能量或基于中间信号1311的能量及侧信号1313的能量来产生ICP 1308,如参考图3所描述。替代地,ICP产生器1320可经配置以基于对中间信号1311及侧信号1313执行操作(例如点积运算)来确定ICP1308,如参考图3进一步所描述。尽管绘示了产生单个ICP 1308参数,但在其它实施方案中,可产生多个ICP参数。作为特定实例,中间信号1311及侧信号1313可经滤波为多个频带,且可产生对应于多个频带中的每一者的ICP,如参考图3所描述。ICP产生器1320可经进一步配置以将ICP 1308提供至位流产生器1322。
位流产生器1322可经配置以接收经编码中间信号1315并产生表示经编码音频信号的一或多个位流参数1302(除了其它参数以外)。例如,经编码音频信号可包含或对应于经编码中间信号1315。位流产生器1322还可经配置以在一或多个位流参数1302中包含ICP1308。替代地,位流产生器1322可经配置以产生一或多个位流参数1302,使得可从一或多个位流参数1302导出ICP 1308。在一些实施方案中,相关性参数1309可包含在一或多个位流参数1302中,由其指示或另外向其传送,如参考图15进一步所描述。发送器1310可经配置以经由网络1305将包含(或除了)ICP 1308(及任选地为相关性参数1309)的一或多个位流参数1302(例如经编码中间信号1315)传送至第二装置1306。在特定实施方案中,一或多个位流参数1302包含或对应于图1的一或多个位流参数102,且ICP 1308(及任选地为相关性参数1309)包含在一或多个译码参数140中,所述一或多个译码参数包含在图1的一或多个位流参数102中(或另外向其传送)。
第二装置1306可包含解码器1318及接收器1360。接收器1360可经配置以经由网络1305从第一装置1304接收ICP 1308及一或多个位流参数1302(例如经编码中间信号1315)。在一些实施方案中,接收器1360经配置以接收相关性参数1309。解码器1318可经配置以对音频信号进行升混及解码。出于说明起见,解码器1318可经配置以基于一或多个位流参数1302(包含ICP 1308及任选地为相关性参数1309)而对一或多个音频信号进行解码及升混。
解码器1318可包含信号产生器1374、滤波器1375及升混器1390。在特定实施方案中,信号产生器1374包含或对应于图1的信号产生器174或图2的信号产生器274。信号产生器1374可经配置以基于经编码中间信号1325(由一或多个位流参数1302指示或对应于一或多个位流参数1302)产生经合成中间信号1352。
信号产生器1374可经进一步配置以基于经合成中间信号1352及ICP 1308而产生中介经合成侧信号1354。作为非限制性实例,信号产生器1374可经配置以通过将ICP 1308应用于经合成中间信号1352(例如将经合成中间信号1352乘以ICP 1308)或基于ICP 1308及一或多个能阶而产生中介经合成侧信号1354,如参考图4所描述。滤波器1375可经配置以对中介经合成侧信号1354进行滤波以产生经合成侧信号1355。在特定实施方案中,滤波器1375包含“全通”滤波器,其经配置以执行相位调整(例如相位模糊、相位分散、相位扩散或相位去相关性)、混响及立体声扩展,如参考图14进一步所描述。解码器1318可经配置以进一步处理且升混器1390可经配置以对经合成中间信号1352及经合成侧信号1355进行升混以产生一或多个输出音频信号,其可经呈现及输出例如至一或多个扩音器。在特定实施方案中,输出音频信号包含左音频信号及右音频信号。在一些实施方案中,可在升混及额外处理之前使用经合成侧信号1355选择性地执行一或多个不连续性减少操作,如参考图14进一步所描述。
在操作期间,第一装置1304可经由一或多个输入接口1312的第一输入接口接收第一音频信号1330,且可经由一或多个输入接口1312的第二输入接口接收第二音频信号1332。第一音频信号1330可对应于右声道信号或左声道信号中的一者。第二音频信号1332可对应于右声道信号或左声道信号中的另一者。编码器1314可执行一或多个对准操作以考虑第一音频信号1330与第二音频信号1332之间的时间偏移或时间延迟,如参考图1所描述。编码器1314可基于第一音频信号1330及第二音频信号1332而产生中间信号1311及侧信号1313,如参考图1所描述。中间信号1311及侧信号1313可经提供至ICP产生器1320。信号产生器1316还可对中间信号1311进行编码以产生经编码中间信号1315,其经提供至位流产生器1322。
ICP产生器1320可基于中间信号1311及侧信号1313产生ICP 1308,如参考图2至3所描述。可将ICP 1308提供至位流产生器1322。在一些实施方案中,可基于与先前帧相关联的声道间预测增益参数来使ICP 1308平滑,如参考图3所描述。在一些实施方案中,ICP产生器1320还可产生相关性参数1309。相关性参数1309可表示中间信号1311与侧信号1313之间的相关性。
位流产生器1322可接收经编码中间信号1315及ICP 1308(以及任选地为相关性参数1309)且产生一或多个位流参数1302。一或多个位流参数1302包含位流(例如经编码中间信号1315)及ICP 1308(以及任选地为相关性参数1309)。替代地,一或多个位流参数1302包含使得能够导出ICP 1308(以及任选地为相关性参数1309)的一或多个参数。一或多个位流参数1302(包含或指示ICP 1308及任选地为相关性参数1309)由发送器1310经由网络1305传送至第二装置1306。
第二装置1306(例如接收器1360)可接收包含(或指示)ICP 1308(及任选地为相关性参数1309)的一或多个位流参数1302(指示经编码中间信号1315)。解码器1318可基于一或多个位流参数1302确定经编码中间信号1325,如参考图2所描述。信号产生器1374可基于经编码中间信号1325(或从一或多个位流参数1302直接)产生经合成中间信号1352。信号产生器1374还可基于经合成中间信号1352及ICP 1308产生中介经合成侧信号1354。作为非限制性实例,信号产生器1374通过将经合成中间信号1352乘以ICP 1308或基于经合成中间信号1352、ICP 1308及能阶来产生中介经合成侧信号1354,如参考图4所描述。
在产生中介经合成侧信号1354之后,可使用滤波器1375(例如全通滤波器)对中介经合成侧信号1354进行滤波以产生经合成侧信号1355。应用滤波器1375可减小经合成中间信号1352与经合成侧信号1355之间的相关性(例如增加去相关性)。在一些实施方案中,相关性参数1309用于配置滤波器1375,如参考图15进一步所描述。在一些实施方案中,接收对应于不同信号带的多个ICP,且可使用滤波器1375对多个中介经合成侧信号带进行滤波,如参考图16进一步所描述。在产生经合成侧信号1355之后,解码器1318可执行进一步处理,且对经合成中间信号1352及经合成侧信号1355进行滤波,且升混器1390可对经合成中间信号1352及经合成侧信号1355进行升混以产生第一音频信号及第二音频信号。在一些实施方案中,可在产生第一音频信号及第二音频信号之前使用经合成侧信号1355来执行一或多个不连续性抑制操作,如参考图14进一步所描述。
在特定实施方案中,第一音频信号对应于左信号或右信号中的一者,且第二音频信号对应于左信号或右信号中的另一者。在特定实施方案中,可基于经合成中间信号1352及经合成侧信号1355的总和而产生左信号,且可基于经合成中间信号1352及经合成侧信号1355之间的差而产生右信号。减小经合成中间信号1352与经合成侧信号1355之间的相关性可改进由左信号及右信号表示的空间音频信息。出于说明起见,如果经合成中间信号1352及经合成侧信号1355高度相关,那么左信号可近似于经合成中间信号1352的两倍,且右信号可近似于空信号。减少经合成中间信号1352与经合成侧信号1355之间的相关性可增加信号之间的空间差异,这可导致空间上不同的左信号及右信号,这可改进收听者的体验。
图13的系统1300使得能够在解码器处使经合成侧信号及经预测的经合成侧信号去相关(基于经合成中间信号及声道间预测增益参数的经合成侧信号)。使经合成中间信号及经合成侧信号去相关会使得能够产生具有空间差异的音频信号(例如左信号及右信号)。具有空间差异的左信号及右信号可能听起来好像其来自两个不同的位置,与缺乏空间差异的信号(例如基于高度相关的信号)相比,这改进了听众体验,且因此听起来像其来自单个位置(例如一个说话者)。
图14为绘示图13的系统1300的解码器1418的第一说明性实例的图解。例如,解码器1418可包含或对应于图13的解码器1318。
解码器1418包含位流处理电路1424、包含中间合成器1452及侧合成器1456的信号产生器1450,及全通滤波器1430。位流处理电路1424可耦合至信号产生器1450,且信号产生器1450可耦合至全通滤波器1430。
解码器1418可任选地包含能量检测器1460、一或多个滤波器1468、上采样器1464及不连续性抑制器1466。能量检测器1460可耦合至信号产生器1450(例如耦合至中间合成器1452及侧合成器1456)。一或多个滤波器1468、上采样器1464及不连续性抑制器1466可耦合在全通滤波器1430与解码器1418的输出之间。能量检测器1460、一或多个滤波器1468、上采样器1464及不连续性抑制器1466中的每一者是任选的,且因此可不包含在解码器1418的一些实施方案中。
位流处理电路1424可经配置以处理一或多个位流参数1402(包含ICP 1408)并从一或多个位流参数1402中提取特定参数。例如,位流处理电路1424可经配置以提取ICP1408及一或多个经编码中间信号参数1426,如参考图4所描述。位流处理电路1424可经配置以将ICP 1408及一或多个经编码中间信号参数1426提供至信号产生器1450(例如,ICP1408可经提供至侧合成器1456且一或多个经编码中间信号参数1426可经提供至中间合成器1452)。在一些实施方案中,解码器1418可接收译码模式参数1407,且位流处理电路1424可经配置以提取译码模式参数1407并将译码模式参数1407提供至全通滤波器1430。
信号产生器1450可经配置以基于一或多个经编码中间信号参数1426及ICP 1408产生音频信号。出于说明起见,中间合成器1452可经配置以基于经编码中间信号参数1426(例如基于经编码中间信号)而产生经合成中间信号1470,且侧合成器1456可经配置以基于经合成中间信号1470及ICP 1408而产生中介经合成侧信号1471,如参考图4所描述。在特定实施方案中,能量检测器1460经配置以基于经合成中间信号1470检测经合成中间能阶1462,且侧合成器1456经配置以基于经合成中间信号1470而产生中介经合成侧信号1471、ICP 1408及经合成中间能阶1462,如参考图4所描述。
全通滤波器1430可经配置以对中介经合成侧信号1471进行滤波以产生经合成侧信号1472。例如,全通滤波器1430可经配置以执行相位调整(例如相位模糊、相位分散、相位扩散或相位去相关性)、混响及立体声扩展。出于说明起见,全通滤波器1430可执行相位调整或模糊以合成在编码器处(例如在发送侧)估计的立体声宽度的效应。在一些实施方案中,全通滤波器1430包含多级级联相位调整(例如相位模糊、相位分散、相位扩散或相位去相关性)滤波器。全通滤波器1430可经配置以在时域中对中介经合成侧信号1471进行滤波以产生经合成侧信号1472。在解码器1418处在时域中执行相位调整,随后以低位率进行时间升混及合成可有助于平衡且可改进信号编码效率与立体声图像加宽之间的折衷。CP参数的此平衡可导致来自多个麦克风的音乐及语音记录的经改进译码。全通滤波器1430被称作全通滤波器,因为全通滤波器1430的频率响应是(或近似)单位,使得滤波信号的量值跨越不同的频率相同(或大致相同)。全通滤波器1430可具有随频率变化的相位响应,使得滤波信号的相位在不同频率上变化。
通过相对于输入信号(例如中介经合成侧信号1471)改变经滤波信号(例如经合成侧信号1472)的相位,例如通过相位调整或模糊,添加混响及立体声图像扩展,全通滤波器1430经配置以减少经合成侧信号1472与经合成中间信号1470之间的相关性(例如增加去相关性)。出于说明起见,因为中介经合成侧信号1471是从经合成中间信号1470产生的,所以中介经合成侧信号1471及经合成中间信号1470可高度相关,这可产生缺少空间差异的输出音频信号。通过相对于中介经合成侧信号1471的相位改变经合成侧信号1472的相位,全通滤波器1430可减小经合成侧信号1472与经合成中间信号1470之间的相关性,这可增加输出音频信号之间空间差异,从而改进收听体验。
在一些实施方案中,全通滤波器1430包含单个级。在其它实施方案中,全通滤波器1430包含串联耦合的多个级。出于说明起见,全通滤波器1430可包含第一级、第二级、第三级及第四级。在其它实施方案中,全通滤波器1430包含少于四个或多于四个级。所述级可串联耦合(例如级联)。所述级的每一级可与控制由级提供的延迟量(例如相位调整)的延迟参数及控制由级提供的增益量(例如量值调整)的增益参数相关联。例如,第一级可与第一延迟参数及第一增益参数相关联,第二级可与第二延迟参数及第二增益参数相关联,第三级可与第三延迟参数及第三增益参数相关联,且第四级可与第四延迟参数及第四增益参数相关联。在一些实施方案中,所述级中的每一者是固定的。例如,延迟参数的值及增益参数的值可经设定为相同或不同的值,例如在解码器1418的配置或设置阶段期间。在其它实施方案中,所述级中的每一级可为单独可配置的。例如,可单独启用(或停用)每一级,可单独设定(或调整)与多个级相关联的参数中的一或多者,或其组合。例如,可基于ICP 1408设定(或调整)参数中的一或多者,如本文中进一步所描述。
在特定实施方案中,全通滤波器1430包含静止全通滤波器。例如,可将与全通滤波器1430相关联的参数设定(或调整)至固定值。在另一特定实施方案中,全通滤波器1430包含非静止全通滤波器。例如,可将与全通滤波器1430相关联的参数设定(或调整)为随时间改变的值。
在特定实施方案中,全通滤波器1430可经配置以进一步基于译码模式参数1407而对中介经合成侧信号1471进行滤波。例如,可基于译码模式参数1407的值来设定(或调整)与全通滤波器1430相关联的一或多个参数,如本文中进一步所描述。作为另一实例,可基于编码模式参数1407启用(或停用)全通滤波器1430的级中的一或多者,如本文中进一步所描述。
在特定实施方案中,一或多个滤波器1468经配置以接收经合成中间信号1470及经合成侧信号1472,且对经合成中间信号1470、经合成侧信号1472或两者进行滤波。一或多个滤波器1468可包含一或多种类型的滤波器。例如,一或多个滤波器1468可包含去强调滤波器、带通滤波器、FFT滤波器(或变换)、IFFT滤波器(或变换)、时域滤波器、频率或子带域滤波器,或其组合。在特定实施方案中,一或多个滤波器1468包含一或多个固定滤波器。替代地,一或多个滤波器1468可包含一或多个自适应滤波器,其经配置以基于从另一装置接收的一或多个自适应滤波器系数而对经合成中间信号1470、经合成侧信号1472或两者进行滤波,如参考图4所描述。在特定实施方案中,一或多个滤波器1468包含去强调滤波器,其经配置以对经合成中间信号1470、经合成侧信号1472或两者以及50Hz高通滤波器执行去强调滤波。
在特定实施方案中,上采样器1464经配置以对经合成中间信号1470及经合成侧信号1472进行上采样。例如,上采样器1464可经配置以从下采样速率(以其产生经合成中间信号1470及经合成侧信号1472)至上采样速率(例如在编码器处接收且用于产生一或多个位流参数1402的音频信号的输入采样速率)对经合成中间信号1470及经合成侧信号1472进行上采样。对经合成中间信号1470及经合成侧信号1472进行上采样会使得能够以与音频信号的播放相关联的输出采样速率产生(例如由解码器1418)音频信号。
在特定实施方案中,不连续性抑制器1466可经配置以减少(或消除)经合成侧信号1472的第一帧与基于在接收器处接收并提供至解码器1418的经编码侧信号而产生第二经合成侧信号的第二帧之间的不连续性。出于说明起见,对于包含第一帧的第一组帧,另一装置(其包含经编码)可传送ICP 1408且一或多个位流参数1402(例如经编码中间信号)。例如,第一组帧可与解码器1418将基于ICP 1408而预测经合成侧信号1472的确定相关联。对于包含第二帧的第二组帧,另一装置可传送经编码侧信号而非ICP 1408。例如,第二组帧可与解码器1418将对经编码侧信号进行解码以产生第二经合成侧信号的确定相关联。在一些状况下,经合成侧信号1472与经解码侧信号之间可能存在不连续性(例如,经合成侧信号1472的第一帧可与经解码侧信号的第二帧在增益、音调或一些其它特性方面相对不同。当解码器1418从预测经合成侧信号1472切换至解码经接收的经编码侧信号时,或当解码器1418从解码经接收的经编码侧信号切换至预测经合成侧信号1472时,可能存在不连续性。
在一些实施方案中,不连续性抑制器1466经配置以在从预测经合成侧信号1472切换至解码以产生第二经合成侧信号(例如经解码侧信号)时减少不连续性。在特定实施方案中,不连续性抑制器1466可经配置以使经合成侧信号1472的一或多个帧与第二经合成侧信号的一或多个帧交叉淡入淡出(cross-fade)。例如,可将范围从第一值(例如1)至第二值(例如0)的第一滑动窗口应用于经合成侧信号1472的一或多个帧,且将范围从第二值至第一值的第二滑动窗口应用于第二经合成侧信号的一或多个帧,且可组合帧以使经合成侧信号1472“锥出(taper out)”并使第二经合成侧信号“锥入(taper in)”。在另一特定实施方案中,不连续性抑制器1466可经配置以推迟针对一或多个帧产生第二经合成侧信号。例如,不连续性抑制器1466可识别要避免不连续性的一或多个特定帧,且不连续性抑制器1466可预测一或多个特定帧的经合成侧信号1472。作为实例,不连续性抑制器1466可将最后经接收声道间预测增益参数应用于经合成中间信号1470的一或多个特定帧以产生针对一或多个特定帧的经合成侧信号1472。作为另一实例,不连续性抑制器1466可基于经合成中间信号1470及第二经合成侧信号(例如解码侧信号)来估计声道间预测增益参数,且不连续性抑制器可使用估计声道间预测增益参数来产生经合成侧信号1472。在另一特定实施方案中,解码器1418可接收针对一或多个帧的ICP 1408及经编码侧信号,且不连续性抑制器1466可使经合成侧信号1472及第二经合成侧信号交叉淡入淡出。
在一些实施方案中,不连续性抑制器1466经配置以在从解码切换至产生第二经合成侧信号(例如经解码侧信号)以预测经合成侧信号1472时减少不连续性。在特定实施方案中,不连续性抑制器1466可经配置以产生第二经合成信号的镜象样本。镜象样本可以相反顺序产生(例如,第一镜象样本可从第二经合成信号的最后样本镜像,第二镜象样本可从第二经合成信号的倒数第二样本镜像,等等)。不连续性抑制器1466可经进一步配置以针对一或多个帧使具有经合成侧信号1472的镜象样本交叉淡入淡出。因此,不连续性抑制器1466可经配置以减少(或消除)在解码器1418处产生侧信号的方法被改变(例如从预测至解码或从解码至预测)的帧的不连续性,这可改进收听体验。
在特定实施方案中,解码器1418经进一步配置以对经合成中间信号1470及经合成侧信号1472执行升混以产生输出信号,如参考图1所描述。例如,解码器1418可经配置以基于经上采样的经合成中间信号1470及经上采样的经合成侧信号1472而产生第一音频信号1480及第二音频信号1482。
在操作期间,解码器1418接收一或多个位流参数1402(例如从接收器)。一或多个位流参数1402包含(或指示)ICP 1408。在一些实施方案中,一或多个位流参数1402还包含译码模式参数1407或另外接收译码模式参数1407。位流处理电路1424可处理一或多个位流参数1402并提取各种参数。例如,位流处理电路1424可从一或多个位流参数1402中提取经编码中间信号参数1426,且位流处理电路1424可将经编码中间信号参数1426提供至信号产生器1450(例如至中间合成器1452)。作为另一实例,位流处理电路1424可从一或多个位流参数1402提取ICP 1408,且位流处理电路1424可将ICP 1408提供至信号产生器1450(例如提供至侧合成器1456)。在特定实施方案中,位流处理电路1424可提取译码模式参数1407并将译码模式参数1407提供至全通滤波器1430。
中间合成器1452可基于经编码中间信号参数1426产生经合成中间信号1470。侧合成器1456可基于经合成中间信号1470及ICP 1408产生中介经合成侧信号1471。作为非限制性实例,侧合成器1456可根据参考图4所描述的技术产生中介经合成侧信号1471。
全通滤波器1430可对中介经合成侧信号1471进行滤波以产生经合成侧信号1472。在一些实施方案中,可根据以下方程式产生经合成侧信号1472:
Side_Mapped(z)=HAP(z)Mid_signal_decoded(z)*ICP_Gain
其中Side_Mapped(z)为经合成侧信号1472,ICP_Gain为ICP 1408,Mid_signal_decoded(z)为经合成中间信号1470,且HAP(z)为由全通滤波器1430施加的滤波。
在一些实施方案中,HAP(z)可根据以下方程式确定:
HAP(z)=∏iHi(z)
其中Hi(z)为由全通滤波器1430的级i应用的滤波。因此,由全通滤波器1430施加的滤波可等于由全通滤波器1430的级中的每一者施加的滤波的乘积。
在一些实施方案中,Hi(z)可根据以下方程式确定:
Figure BDA0002428770300000701
其中gi为与全通滤波器1430的级i相关联的增益参数,且Mi为与全通滤波器1430的级i相关联的延迟参数。
在一些实施方案中,可基于ICP 1408设定全通滤波器1430的一或多个参数的值。例如,基于ICP 1408相对较高(例如满足第一阈值),可将一或多个参数设定(或调整)为增加由全通滤波器1430提供的去相关性量的值。作为另一实例,基于ICP 1408为相对较低(例如未能满足第二阈值),可将一或多个参数设定(或调整)至减少由全通滤波器1430提供的去相关性量的值。在其它实施方案中,可基于ICP 1408来另外设定或调整参数的值。
在特定实施方案中,可基于编码模式参数1407启用(或停用)全通滤波器1430的级中的一或多者。例如,可基于指示音乐译码模式(例如变换译码器(TCX)模式)的编码模式参数1407而启用级中的每一者。作为另一实例,可基于指示语音译码模式的译码模式参数1407(例如代数码活跃线性预测(ACELP)译码器模式)而停用第二级及第四级。停用级中的一或多者可减少滤波后语音信号中的回声。在一些实施方案中,停用全通滤波器1430的特定级可包含将对应延迟参数及对应增益参数设定为特定值(例如0)。在其它实施方案中,可以其它方式停用(或启用)所述级。尽管描述了译码模式参数1407,但在其它实施方案中,可基于其它参数(例如指示语音或音乐内容的其它参数)而停用(或启用)所述级。
在一些实施方案中,一或多个滤波器1468可对经合成中间信号1470、经合成侧信号1472或两者进行滤波。例如,一或多个滤波器1468可对经合成中间信号1470、经合成侧信号1472或两者执行去强调滤波、高通滤波或两者。在特定实施方案中,一或多个滤波器1468将固定滤波器应用于经合成中间信号1470、经合成侧信号1472,或两者。在另一特定实施方案中,一或多个滤波器1468将自适应滤波器应用于经合成中间信号1470、经合成侧信号1472,或两者。
在一些实施方案中,上采样器1464可对经合成中间信号1470及经合成侧信号1472进行上采样。例如,上采样器1464可从下采样速率(例如大约0至6.4kHz)至输出采样速率对经合成中间信号1470及经合成侧信号1472进行上采样。在上采样之后,解码器1418可基于经合成中间信号1470及经合成侧信号1472产生第一音频信号1480及第二音频信号1482。例如,解码器1418可执行升混以产生第一音频信号1480及第二音频信号1482,如参考图1所描述。第一音频信号1480及第二音频信号1482可输出至一或多个输出装置,例如一或多个扩音器。在特定实施方案中,第一音频信号1480为左音频信号及右音频信号中的一者,且第二音频信号1482为左音频信号及右音频信号中的另一者。在一些实施方案中,不连续性抑制器1466可在产生第一音频信号1480及第二音频信号1482之前执行一或多个不连续性减少操作。
图14的解码器1418使用声道间预测增益参数(例如ICP 1408)实现从经合成中间信号1470预测(映射)经合成侧信号1472。另外,解码器1418减少经合成中间信号1470与经合成侧信号1472之间的相关性(例如增加去相关性),这可增加第一音频信号1480与第二音频信号1482之间的空间差异,这可改进收听体验。
图15为绘示图13的系统1300的解码器1518的第二说明性实例的图解。例如,解码器1518可包含或对应于图13的解码器1318。
解码器1518可包含位流处理电路1524、信号产生器1550(包含中间合成器1552及侧合成器1556)、全通滤波器1530以及任选地为能量检测器1560。在特定实施方案中,全通滤波器1530可包括与第一延迟参数及第一增益参数相关联的第一级、与第二延迟参数及第二增益参数相关联的第二级、与第三延迟参数及第三增益参数相关联的第三级,以及与第四延迟参数及第四增益参数相关联的第四级。位流处理电路1524、信号产生器1550、中间合成器1552、侧合成器1556、能量检测器1560及全通滤波器1530可执行与分别参考图14的位流处理电路1424、信号产生器1450、中间合成器1452、侧合成器1456、能量检测器1460及全通滤波器1430所描述的操作相似的操作。解码器1518还可包含侧信号混合器1590。侧信号混合器1590可经配置以基于相关性参数混合中介经合成侧信号及经滤波的经合成侧信号,如本文中进一步所描述。
在操作期间,解码器1518接收一或多个位流参数1502(例如从接收器)。一或多个位流参数1502包含(或指示)经编码中间信号参数1526、声道间预测增益参数(ICP)1508及相关性参数1509。ICP 1508可表示编码器处的中间信号及侧信号的能阶之间的关系,且相关性参数1509可表示编码器处的中间信号与侧信号之间的相关性。在特定实施方案中,ICP1508在编码器处根据以下方程式确定:
ICP_Gain=sqrt(Energy(side_signal_unquantized)/Energy(mid_signal_unquantized))
其中ICP_Gain为ICP 1508,Energy(side_signal_unquantized)为编码器处的侧信号的侧能阶,而Energy(mid_signal_unquantized)为编码器处的中间信号的中间能阶。可根据以下方程式在编码器处确定相关性参数1509:
ICP_correlation=|Side_signal_unquantized.Mid_signal_unquantized|/Energy(mid_signal_unquantized)
其中ICP_Gain为ICP 1508,|Side_signal_unquantized.Mid_signal_unquantized|为编码器处的侧信号与中间信号的点积,而Energy(mid_signal_unquantized)为编码器处的中间信号的中间能阶。在其它实施方案中,可基于其它值来确定ICP 1508及相关性参数1509。
位流处理电路1524可处理一或多个位流参数1502并提取各种参数。例如,位流处理电路1524可从一或多个位流参数1502中提取经编码中间信号参数1526,且位流处理电路1524可将经编码中间信号参数1526提供至信号产生器1550(例如至中间合成器1552)。作为另一实例,位流处理电路1524可从一或多个位流参数1502提取ICP 1508,且位流处理电路1524可将ICP 1508提供至信号产生器1550(例如提供至侧合成器1556)。作为另一实例,位流处理电路1524可从一或多个位流参数1502提取相关性参数1509,且位流处理电路1524可将相关性参数1509提供至侧信号混合器1590。
中间合成器1552可基于经编码中间信号参数1526产生经合成中间信号1570。侧合成器1556可基于经合成中间信号1570及ICP 1508产生中介经合成侧信号1571。作为非限制性实例,侧合成器1556可根据参考图4所描述的技术产生中介经合成侧信号1571。
全通滤波器1530可对中介经合成侧信号1571进行滤波以产生经滤波的经合成侧信号1573。全通滤波器1530可经配置以执行相位调整(例如相位模糊、相位分散、相位扩散或相位去相关性)、混响及立体声扩展。出于说明起见,全通滤波器1530可执行相位调整或模糊以合成在编码器处(例如在发送侧)估计的立体声宽度的效应。在一些实施方案中,全通滤波器1530包含多级级联相位调整(例如相位模糊、相位分散、相位扩散或相位去相关性)滤波器。出于说明起见,全通滤波器1530包含相位分散滤波器,其包含一或多个静止去相关性滤波器、一或多个非静态去相关性滤波器、一或多个非线性全通重采样滤波器,或其组合。全通滤波器1530可对中介经合成侧信号1571进行滤波,如参考图14所描述。
在一些实施方案中,可基于ICP 1508设定(或调整)全通滤波器1530的一或多个参数的值,如参考图14所描述。在一些实施方案中,可基于相关性参数1509设定(或调整)全通滤波器1530的一或多个参数的值,可基于相关性参数1509停用(或启用)全通滤波器1530的级中的一或多者,或这两者。例如,如果相关性参数1509指示相对高的相关性,那么可减小参数中的一或多者,可停用级中的一或多者,或这两者,使得经滤波的经合成侧信号1573及经合成中间信号1570也具有相对较高的相关性。作为另一实例,如果相关性参数1509指示相对低的相关性,那么可增加参数中的一或多者,可启用级中的一或多者,或这两者,使得经滤波的经合成侧信号1573及经合成中间信号1570也具有相对较低的相关性。另外,可设定(或调整)参数中的一或多者,可进一步基于译码模式参数(或其它参数)启用(或停用)级中的一或多者,如参考图14所描述。
可将中介经合成侧信号1571及经滤波的经合成侧信号1573提供至侧信号混合器1590。侧信号混合器1590可基于相关性参数1509将中介经合成侧信号1571与经滤波的经合成侧信号1573混合以产生经合成侧信号1572。在替代实施方案中,可将经合成中间信号1570提供至全通滤波器1530以进行全通滤波以产生经全通滤波的经量化中间信号(在应用ICP 1508之前),且侧信号混合器1590可接收经合成中间信号1570、经全通滤波的经量化中间信号、ICP 1508及相关性参数1509。侧信号混合器1590可基于ICP 1508及相关性参数1509缩放并混合经合成中间信号1570及经全通滤波的经量化中间信号以产生经合成侧信号1572。
在特定实施方案中,侧信号混合器1590可根据以下方程式产生经合成侧信号1572:
Mapped_side(z)=ICP_Gain*[(ICP_correlation)*mid_quantized(z)+(1–ICP_correlation)*HAP(z)*mid_quantized(z)]
其中Mapped_side(z)为经合成侧信号1572,ICP_Gain为ICP 1508,ICP_correlation为相关性参数1509,mid_quantized(z)为经合成中间信号1570,且HAP(z)为全通滤波器1530应用的滤波。因为ICP_Gain*mid_quantized(z)等于中介经合成侧信号1571,且ICP_Gain*HAP(z)*mid_quantized(z)等于经滤波的经合成侧信号1573,所以经合成侧信号1572还可根据以下方程式产生:
经合成侧信号1572=相关性参数1509*中介经合成侧信号1571+(1-相关性参数1509)*经滤波的经合成侧信号1573
在另一特定实施方案中,侧信号混合器1590可根据以下方程式产生经合成侧信号1572:
Mapped_side(z)=[(ICP_correlation)*mid_quantized(z)+square_root(ICP_Gain*ICP_Gain-ICP_correlation*ICP_correlation)*HAP(z)*mid_quantized(z)]
其中Mapped_side(z)为经合成侧信号1572,ICP_Gain为ICP 1508,ICP_correlation为相关性参数1509,mid_quantized(z)为经合成中间信号1570,且HAP(z)为全通滤波器1530应用的滤波。在此方程式中,HAP(z)*mid_quantized(z)对应于(例如表示)在ICP应用之前的经全通滤波的经量化中间信号。
在另一特定实施方案中,侧信号混合器1590可根据以下方程式产生经合成侧信号1572:
Mapped_side(z)=scale_factor1*mid_quantized(z)+scale_factor2*HAP(z)*mid_quantized(z)。
其中,基于ICP_correlation及ICP_Gain在解码器1518处估计scale_factor1及scale_factor2,使得满足以下两个约束:1.)Mapped_side与mid_quantized之间的交叉相关性与ICP_correlation相同,以及2.)Mapped_side与mid_quantized的能量的比率等于ICP_Gain^2。scale_factor1及scale_factor2的值可通过各种分析或替代方法或其它替代方案来解决。在一些实施方案中,可在用于产生Mapped_side之前进一步处理scale_factor1及scale_factor2。
因此,混合的经滤波的经合成侧信号1573的量及中介经合成侧信号1571的量可基于相关性参数1509。例如,可基于相关性参数1509的减小来增加经滤波的经合成侧信号1573的量(且中介经合成侧信号1571的量可减小)。作为另一实例,可基于相关性参数1509的减小来增加经滤波的经合成侧信号1573的量(且中介经合成侧信号1571的量可减小)。尽管已描述基于相关性参数1509而配置全通滤波器1530且基于相关性参数1509混合信号,但在其它实施方案中,仅执行配置全通滤波器1530或混合信号中的一者。
解码器1518可基于经合成中间信号1570及经合成侧信号1572产生输出音频信号。在一些实施方案中,可在升混之前执行额外滤波、上采样、不连续性降低中的一或多者以产生输出音频信号,如参考图14进一步所描述。
因此,图15的解码器1518经配置以使经合成侧信号与经合成中间信号之间的相关性与编码器处的中间信号与侧信号之间的相关性匹配。匹配相关性可导致产生具有空间差异的输出信号,所述空间差异基本上匹配在编码器处接收的输入信号之间的空间差异。
图16为绘示图13的系统1300的解码器1618的第三说明性实例的图解。例如,解码器1618可包含或对应于图13的解码器1318。
解码器1618可包含位流处理电路1624、信号产生器1650(包含中间合成器1652及侧合成器1656)、全通滤波器1630以及任选地为能量检测器1660。在一些实施方案中,全通滤波器1630可包括与第一延迟参数及第一增益参数相关联的第一级、与第二延迟参数及第二增益参数相关联的第二级、与第三延迟参数及第三增益参数相关联的第三级,以及与第四延迟参数及第四增益参数相关联的第四级。位流处理电路1624、信号产生器1650、中间合成器1652、侧合成器1656、能量检测器1660及全通滤波器1630可执行与分别参考图14的位流处理电路1424、信号产生器1450、中间合成器1452、侧合成器1456、能量检测器1460及全通滤波器1430所描述的操作相似的操作。解码器1618还可包含滤波器/组合器1692。滤波器/组合器1692可包含一或多个滤波器、一或多个信号组合器,其组合,或经配置以将在多个信号带上的经合成信号组合以产生经合成信号的其它电路,如本文中进一步所描述。
在操作期间,解码器1618接收一或多个位流参数1602(例如从接收器)。一或多个位流参数1602包含(或指示)经编码中间信号参数1626、声道间预测增益参数(ICP)1608及第二ICP 1609。ICP 1608可表示编码器处的第一信号带中的中间信号及侧信号的能阶之间的关系,且第二ICP 1609可表示编码器处的第二信号频段中的中间信号与侧信号的能阶之间的关系。
位流处理电路1624可处理一或多个位流参数1602并提取各种参数。例如,位流处理电路1624可从一或多个位流参数1602中提取经编码中间信号参数1626,且位流处理电路1624可将经编码中间信号参数1626提供至信号产生器1650(例如至中间合成器1652)。作为另一实例,位流处理电路1624可从一或多个位流参数1602提取ICP 1608及第二ICP 1609,且位流处理电路1624可将ICP 1608及第二ICP 1609提供至信号产生器1650(例如提供至侧合成器1656)。
中间合成器1652可基于经编码中间信号参数1626产生经合成中间信号。信号产生器1650还可包含一或多个滤波器,其将经合成中间信号滤波成多个频带以产生低频带经合成中间信号1670及高频带经合成中间信号1671。侧合成器1656可基于低频带经合成中间信号1670、高频带经合成中间信号1671、ICP 1608及第二ICP 1609产生中介经合成侧信号的多个信号带。例如,侧合成器1656可基于低频带中介经合成中间信号1670及ICP 1608产生低频带经合成侧信号1672。作为另一实例,侧合成器1656可基于高频带经合成中间信号1671及第二ICP 1609产生高频带中介经合成侧信号1673。
全通滤波器1630可对低频带中介经合成侧信号1672及高频带中介经合成侧信号1673进行滤波以输出低频带经合成侧信号1674及高频带经合成侧信号1675。例如,全通滤波器1630可对低频带中介经合成侧信号1672及高频带经合成侧信号1673进行滤波,如参考图14所描述。尽管将信号描述为经滤波为两个频带(例如低频带及高频带),但此描述并非旨为限制性。在其它实施方案中,可将信号滤波至不同频带,例如中频带,或滤波至多于两个频带。另外,如参考图14所描述,全通滤波器14可执行相位调整(例如相位模糊、相位分散、相位扩散或相位去相关性)、混响及立体声扩展。出于说明起见,全通滤波器1630可执行相位调整或模糊以合成在编码器处(例如在发送侧)估计的立体声宽度的效应。在一些实施方案中,全通滤波器1630包含多级级联相位调整(例如相位模糊、相位分散、相位扩散或相位去相关性)滤波器。
在一些实施方案中,与全通滤波器1630相关联的参数的值、全通滤波器1630的级的状态(例如启用或停用)或两者可相同以用于对低频带中介经合成侧信号1672及高频带中介经合成侧信号1673两者进行滤波。在其它实施方案中,与对高频带中介经合成侧信号1673进行滤波相比,当对低频带中介经合成侧信号1672进行滤波时,参数、级的状态(例如启用或停用)或两者的值可为不同的。例如,可在对低频带中介经合成侧信号1672进行滤波之前将参数设定为第一组值。在对低频带中介经合成侧信号1672进行滤波之后,可调整参数值中的一或多者,且可基于经调整参数值对高频带中介经合成侧信号1673进行滤波。作为另一实例,能够对低频带中介经合成侧信号1672进行滤波的全通滤波器1630的级的数目可与经启用以对高频带中介经合成侧信号1673进行滤波的级的数目不同。在一些实施方案中,可另外基于对应于信号带中的每一者的相关性参数来配置全通滤波器1630,如参考图15所描述。因此,应用的去相关性量可在不同的信号带中不同。
可将低频带经合成中间信号1670、高频带经合成中间信号1671、低频带经合成侧信号1674及高频带经合成侧信号1675提供至滤波器/组合器1692。滤波器/组合器1692可组合多个信号带以产生经合成信号。例如,滤波器/组合器1692可组合低频带经合成中间信号1670及高频带经合成中间信号1671以产生经合成中间信号1676。作为另一实例,滤波器/组合器1692可组合低频带经合成侧信号1674及高频带经合成侧信号1675以产生经合成中间信号1677。
解码器1618可基于经合成中间信号1676及经合成侧信号1677产生输出音频信号。在一些实施方案中,可在升混之前执行额外滤波、上采样及不连续性降低中的一或多者以产生输出音频信号,如参考图14进一步所描述。
图16的解码器1618针对不同频带使用多个声道间预测增益参数(例如ICP 1608及第二ICP 1609)实现从经合成中间信号1676预测(映射)经合成侧信号1677。另外,解码器1618针对不同频带中的不同量减少经合成中间信号1676与经合成侧信号1677之间的相关性(例如增加去相关性),这可导致产生在不同频率上具有变化的空间分集的输出音频信号。
图17为绘示对音频信号进行编码的特定方法1700的流程图;在特定实施方案中,方法1700可在图2的第一装置204或图3的编码器314处执行。
方法1700包含在1702处在第一装置处基于第一音频信号及第二音频信号产生中间信号。例如,第一装置可包含或对应于图2的第一装置204或包含图3的编码器314的装置,中间信号可包含或对应于图2的中间信号211或图3的中间信号311,第一音频信号可包含或对应于图2的第一音频信号230或图3的第一音频信号330,且第二音频信号可包含或对应于图2的第二音频信号232或图3的第二音频信号332。在特定实施方案中,第一装置包含或对应于移动装置。在另一特定实施方案中,第一装置包含或对应于基站。
方法1700包含在1704处基于第一音频信号及第二音频信号而产生侧信号。例如,侧信号可包含或对应于图2的侧信号213或图3的侧信号313。
方法1700包含在1706处基于中间信号及侧信号而产生声道间预测增益参数。例如,声道间预测增益参数可包含或对应于图2的ICP 208或图3的ICP 308。
方法1700进一步包含在1708处将声道间预测增益参数及经编码音频信号传送至第二装置。例如,ICP 208可包含在一或多个位流参数202(其指示经编码中间信号)中且可传送至第二装置206,如参考图2所描述。
在特定实施方案中,方法1700进一步包含下采样第一音频信号以产生第一下采样音频信号且下采样第二音频信号以输出第二下采样音频信号。声道间预测增益参数可基于第一下采样音频信号及第二下采样音频信号。例如,下采样器340可在ICP产生器320产生ICP 308之前对中间信号311及侧信号313进行下采样,如参考图3所描述。在替代实施方案中,以与第一音频信号及第二音频信号相关联的输入采样速率确定声道间预测增益参数。例如,在一些实施方案中,下采样器340不包含在编码器314中,且以输入采样速率产生ICP308,如参考图3进一步所描述。
在另一特定实施方案中,方法1700进一步包含在将声道间预测增益参数传送至第二装置之前对声道间预测增益参数执行平滑操作。例如,ICP平滑器350可基于平滑因子352使ICP 308平滑。在特定实施方案中,平滑操作是基于固定平滑因子。在替代实施方案中,平滑操作是基于自适应平滑因子。自适应平滑因子可基于中间信号的信号能量。例如,平滑因子352可基于长期信号能量及短期信号能量,如参考图3所描述。替代地,自适应平滑因子可基于与中间信号相关联的发声参数。例如,平滑因子352可基于发声参数,如参考图3所描述。
在另一特定实施方案中,方法1700包含处理中间信号以产生低频带中间信号及高频带中间信号并处理侧信号以产生低频带侧信号及高频带侧信号。例如,一或多个滤波器331可处理中间信号311以产生低频带中间信号333及高频带中间信号334,且一或多个滤波器331可处理侧信号313以产生低频带侧信号336及高频带侧信号338,如参考图3所描述。方法1700包含基于低频带中间信号及低频带侧信号产生声道间预测增益参数,且基于高频带中间信号及高频带侧信号产生第二声道间预测增益参数。例如,ICP产生器320可基于低频带中间信号333及低频带侧信号336产生ICP 308,且ICP产生器320可基于高频带中间信号334及高频带侧信号338产生第二ICP 354,如参考图3所描述。方法1700进一步包含将具有声道间预测增益参数及经编码音频信号的第二声道间预测增益参数传送至第二装置。例如,ICP 308及第二ICP 354可包含在由编码器314输出的一或多个位流参数302中(或由其表示),如参考图3所描述。
在特定实施方案中,方法1700进一步包含基于中间信号及侧信号产生相关性参数,且将具有声道间预测增益参数及经编码音频信号的相关性参数传送至第二装置。例如,相关性参数可包含或对应于图15的相关性参数1509。声道间预测增益参数可基于侧信号的能阶与中间信号的能阶的比率,且相关性参数可基于中间信号的能阶与中间信号与侧信号的点积的比率。例如,可如参考图15所描述确定相关性参数。
因此,方法1700使得能够产生用于音频信号的帧的声道间预测增益参数,所述帧与在解码器处预测侧信号的确定相关联。与传送编码侧信号的帧相比,传送声道间预测增益参数可节省网络资源。替代地,原本用于传送经编码侧信号的一或多个位可替代地改变用途(例如使用)以传送经编码中间信号的额外位,这可改进解码器处的经合成中间信号及经预测侧信号的质量。
图18为绘示解码参数音频的特定方法1800的流程图。在特定实施方案中,方法1800可在图2的第二装置206或图4的解码器418处执行。
方法1800包含在1802处在第一装置处从第二装置接收声道间预测增益参数及经编码音频信号。经编码音频信号可包含经编码中间信号。例如,第一装置可包含或对应于图2的第二装置206或包含图4的解码器418的装置,声道间预测增益参数可包含或对应于图2的ICP 208或图4的ICP 408,且经编码音频信号可由图2的一或多个位流参数202或图4的一或多个位流参数402指示。在特定实施方案中,经编码音频信号包含或对应于图2的经编码中间信号225。
方法1800包含在1804处在第一装置处基于经编码中间信号产生经合成中间信号。例如,经合成中间信号可包含或对应于图2的经合成中间信号252或图4的经合成中间信号470。
方法1800进一步包含在1806处基于经合成中间信号及声道间预测增益参数产生经合成侧信号。例如,经合成侧信号可包含或对应于图2的经合成侧信号254或图4的经合成侧信号472。
在特定实施方案中,方法1800进一步包含在产生经合成侧信号之前将固定滤波器应用于经合成中间信号。例如,一或多个滤波器454可包含固定滤波器,其在产生经合成侧信号472之前应用于经合成中间信号470,如参考图4所描述。在另一特定实施方案中,方法1800进一步包含将固定滤波器应用于经合成侧信号。例如,一或多个滤波器458可包含应用于经合成侧信号472的固定滤波器,如参考图4所描述。在另一特定实施方案中,方法1800包含在产生经合成侧信号之前将自适应滤波器应用于经合成中间信号。可从第二装置接收与自适应滤波器相关联的自适应滤波器系数。例如,一或多个滤波器454可包含自适应滤波器,其在产生经合成侧信号472之前基于一或多个系数406应用于经合成中间信号470,如参考图4所描述。在另一特定实施方案中,方法1800包含将自适应滤波器应用于经合成侧信号。可从第二装置接收与自适应滤波器相关联的自适应滤波器系数。例如,一或多个滤波器458可包含自适应滤波器,其基于一或多个系数406应用于经合成侧信号472,如参考图4所描述。
在另一特定实施方案中,方法1800包含从第二装置接收第二声道间预测增益参数,处理经合成中间信号以产生低频带经合成中间信号,以及处理经合成中间信号以产生高频带经合成中信号。例如,一或多个滤波器454可处理经合成中间信号470以产生低频带经合成中间信号474及高频带经合成中间信号473。产生经合成侧信号包含基于低频带经合成中间信号及声道间预测增益参数产生低频带经合成侧信号,基于高频带经合成中间信号及第二声道间预测增益参数产生高频带经合成侧信号,以及处理低频带经合成侧信号及高频带经合成侧信号以输出经合成侧信号。例如,侧合成器456可基于低频带经合成中间信号474及ICP 408产生低频带经合成侧信号476,且侧合成器456可基于高频带经合成中间信号473及第二ICP产生高频带经合成侧信号475。一或多个滤波器458可处理低频带经合成侧信号476及高频带经合成侧信号475以产生经合成侧信号472,如参考图4所描述。
因此,方法1800使得能够使用经编码中间信号(或指示其参数)及声道间预测增益参数来在解码器处对经合成侧信号进行预测(例如映射)。与从编码器接收经编码侧信号的帧相比,接收声道间预测增益参数可节省网络资源。替代地,经接收原本用于将经编码侧信号传送至解码器的一或多个位可改变用途(例如使用)以将经编码中间信号的额外位传送至解码器,这可改进解码器处的经合成中间信号及经合成侧信号的质量。
参考19,展示操作方法且将其整体上指定为1900。方法1900可由中间侧产生器148、声道间对准器108、信号产生器116、发送器110、编码器114、第一装置104、图1的系统100、信号产生器216、发送器210、编码器214、第一装置204或图2的系统200中的至少一者执行。
方法1900包含在1902处在装置处基于第一音频信号及第二音频信号产生中间信号。例如,图1的中间侧产生器148可基于第一音频信号130及第二音频信号132而产生中间信号111,如参考图1及8所描述。
方法1900还包含在1904处在装置处基于第一音频信号及第二音频信号产生侧信号。例如,图1的中间侧产生器148可基于第一音频信号130及第二音频信号132而产生侧信号113,如参考图1及8所描述。
方法1900进一步包含在1906处在装置处基于第一音频信号、第二音频信号或两者而确定多个参数。例如,图1的声道间对准器108可基于第一音频信号130、第二音频信号132或两者而确定ICA参数107,如参考图1及7所描述。
方法1900还包含在1908处基于多个参数确定是否欲对侧信号进行编码以进行发送。例如,图1的CP选择器122可基于ICA参数107而确定CP参数109,如参考图1及9所描述。CP参数109可指示是否将对侧信号113进行编码以进行发送。
方法1900进一步包含在1910处在装置处产生对应于中间信号的经编码中间信号。例如,图1的信号产生器116可产生对应于中间信号111的经编码中间信号121,如参考图1所描述。
方法1900还包含在1912处在装置处响应于确定欲对侧信号进行编码以进行发送而产生对应于侧信号的经编码侧信号。例如,图1的信号产生器116响应于确定CP参数109指示将对侧信号113进行编码以用于发送而产生经编码侧信号123。
方法1900进一步包含在1914处从装置发送对应于经编码中间信号、经编码侧信号或两者的位流参数。例如,图1的发送器110可发送对应于经编码中间信号121、经编码侧信号123或两者的位流参数102。
因此,方法1900使得能够基于ICA参数107动态地确定是否要发送经编码侧信号123。当ICA参数107指示经预测的经合成信号可能接近于侧信号113时,CP选择器122可确定侧信号113未经编码用于发送。因此,当经预测经合成信号可能对对应输出信号具有很小或无可感知的影响时,编码器114可通过抑制发送经编码侧信号123来节省网络资源。
参考20,展示操作方法且将其整体上指定为2000。方法2000可由接收器160、CP确定器172、升混参数产生器176、信号产生器174、解码器118、第二装置106、图1的系统100、信号产生器274、解码器218或图2的第二装置206中的至少一者执行。
方法2000包含在2002处在装置处接收对应于至少经编码中间信号的位流参数。例如,图1的接收器160可接收对应于至少经编码中间信号121的位流参数102。
方法2000还包含在2004处在装置处基于位流参数产生经合成中间信号。例如,图1的信号产生器174可基于位流参数102而产生经合成中间信号171,如参考图1所描述。
方法2000还包含在2006处在装置处确定位流参数是否对应于经编码侧信号。例如,图1的CP选择器172可产生CP参数179,如参考图1及10进一步所描述。CP参数179可指示位流参数102是否对应于经编码侧信号123。
方法2000包含在2008处响应于在2006处确定位流参数对应于经编码侧信号而基于位流参数产生经合成侧信号。例如,图1的信号产生器174可响应于确定位流参数102对应于经编码侧信号123而基于位流参数102产生经合成中间信号173,如参考图1所描述。
方法2000包含在2010处响应于在2006处确定位流参数不对应于经编码侧信号而至少部分地基于经合成中间信号产生经合成侧信号。例如,图1的信号产生器174可响应于确定位流参数102不对应于经编码侧信号123而至少部分地基于经合成中间信号171产生经合成中间信号173,如参考图1所描述。因此,方法2000使得解码器118能够基于经合成中间信号171动态地预测经合成侧信号173,或基于位流参数102对经合成侧信号173进行解码。
参考21,展示操作方法且将其整体上指定为2100。方法2100可由中间侧产生器148、声道间对准器108、信号产生器116、发送器110、编码器114、第一装置104、图1的系统100、信号产生器216、发送器210、编码器214、第一装置204或图2的系统200中的至少一者执行。
方法2100包含在2102处在装置处响应于确定预测或译码参数指示要对侧信号进行编码以进行发送而产生具有第一值的降混参数。例如,图8的降混参数产生器802可响应于确定CP参数809指示要对侧信号113进行编码以进行发送而产生具有降混参数值807(例如第一值)的降混参数803,如参考图8所描述。降混参数值807可基于能量量度、相关性量度或两者。能量量度、相关性量度或两者可基于参考信号103及经调整目标信号105。
方法2100还包含在2104处在装置处至少部分地基于确定预测或译码参数指示侧信号未经编码用于发送而产生具有第二值的降混参数。例如,图8的降混参数产生器802可响应于确定CP参数809指示未对侧信号113进行编码以进行发送而产生具有降混参数值805(例如第二值)的降混参数803,如参考图8所描述。降混参数值805可基于默认降混参数值(例如0.5)、降混参数值807或两者,如参考图8所描述。
方法2100进一步包含在2106处在装置处基于第一音频信号、第二音频信号及降混参数产生中间信号。例如,图1的中间侧产生器148可基于第一音频信号130、第二音频信号132及降混参数115而产生中间信号111,如参考图1及8所描述。
方法2100还包含在2108处在装置处产生对应于中间信号的经编码中间信号。例如,图1的信号产生器116可产生对应于中间信号111的经编码中间信号121,如参考图1所描述。
方法2100进一步包含在2110处从装置发送对应于至少经编码中间信号的位流参数。例如,图1的发送器110可发送对应于至少经编码中间信号121的位流参数102。
因此,方法2100能够基于侧信号113是否经编码用于发送来动态地将降混参数115设定为降混参数值805或降混参数值807。降混参数值805可减少侧信号113的能量。经预测经合成侧信号可以减少的能量更接近地接近侧信号113。
参考22,展示操作方法且将其整体上指定为2200。方法2200可由接收器160、CP确定器172、升混参数产生器176、信号产生器174、解码器118、第二装置106、图1的系统100、信号产生器274、解码器218或图2的第二装置206中的至少一者执行。
方法2200包含在2202处在装置处接收对应于至少经编码中间信号的位流参数。例如,图1的接收器160可接收对应于至少经编码中间信号121的位流参数102。
方法2200还包含在2204处在装置处基于位流参数产生经合成中间信号。例如,图1的信号产生器174可基于位流参数102而产生经合成中间信号171,如参考图1所描述。
方法2200还包含在2206处在装置处确定位流参数是否对应于经编码侧信号。例如,图1的CP确定器172可产生指示位流参数102是否对应于经编码侧信号123的CP参数179,如参考图1及10所描述。
方法2200还包含在2208处在装置处响应于确定位流参数对应于经编码侧信号而产生具有第一值的升混参数。例如,升混参数产生器176可响应于确定CP参数179指示位流参数102对应于经编码侧信号123而产生具有降混参数值807(例如第一值)的升混参数175,如参考图1及11所描述。降混参数值807可基于从第一装置104接收的降混参数115,如参考图1及11所描述。
方法2200进一步包含在2210处在装置处至少部分地基于确定位流参数不对应于经编码侧信号而产生具有第二值的升混参数。例如,升混参数产生器176可至少部分地基于确定CP参数179指示位流参数102不对应于经编码侧信号123而产生具有降混参数值805(例如第二值)的升混参数175,如参考图1及11所描述。降混参数值805可至少部分地基于默认参数值(例如0.5),如参考图8及11所描述。
方法2200还包含在2212处在装置处至少基于经合成中间信号及升混参数而产生输出信号。例如,图1的信号产生器174可至少基于经合成中间信号171及升混参数175而产生第一输出信号126、第二输出信号128或两者,如参考图1所描述。
因此,方法2200使得解码器118能够基于CP参数179而确定升混参数175。当CP参数179指示位流参数102不对应于经编码侧信号123时,解码器118可独立于从编码器114接收降混参数115来确定升混参数175。当不发送降混参数115时,可节省网络资源(例如带宽)。在特定实施方案中,可将原本用于发送降混参数115的位改变用途以表示位流参数102或其它参数。基于经改变用途的位的输出信号可具有更好的音频质量,例如输出信号可更接近地接近第一音频信号130、第二音频信号132或两者。
图23为绘示对音频信号进行解码的特定方法的流程图。在特定实施方案中,方法2300可在图13的第二装置1306、图14的解码器1418、图15的第二装置1518或图16的解码器1618处执行。
方法2300可包含在2302处在第一装置处从第二装置接收声道间预测增益参数及经编码音频信号。例如,声道间预测增益参数可包含或对应于图13的ICP 1308、图14的ICP1408、图15的ICP 1508,或图16的ICP 1608,经编码音频信号可包含或对应于图13的一或多个位流参数1302、图14的一或多个位流参数1402、图15的一或多个位流参数1502,或图16的一或多个位流参数1602,第一装置可包含或对应于图13的第一装置1304,且第二装置可包含或对应于图13的第二装置1306、包含图14的解码器1418的装置、包含图15的解码器1518的装置,或包含图16的解码器1618的装置。经编码音频信号可包含经编码中间信号。
方法2300可包含在2304处在第一装置处基于经编码中间信号产生经合成中间信号。例如,经合成中间信号可包含或对应于图13的经合成中间信号1352、图14的经合成中间信号1470、图15的经合成中间信号1570,或图16的经合成中间信号1676。
方法2300可包含在2306处基于经合成中间信号及声道间预测增益参数产生中介经合成侧信号。例如,中介经合成侧信号可包含或对应于图13的中介经合成侧信号1354、图14的中介经合成侧信号1471,或图15的中介经合成侧信号1571。
方法2300可进一步包含在2308处对中介经合成侧信号进行滤波以产生经合成侧信号。例如,经合成侧信号可包含或对应于图13的经合成侧信号1355、图14的经合成侧信号1472、图15的经合成侧信号1572,或图16的经合成侧信号1677。
在特定实施方案中,可由全通滤波器(例如图13的滤波器1375、图14的全通滤波器1430、图15的全通滤波器1530或图16的全通滤波器1630)执行滤波。方法2300可进一步包含基于声道间预测增益参数来设定全通滤波器的至少一个参数的值。例如,可基于ICP 1408来设定与全通滤波器1430相关联的参数中的一或多者的值,如参考图14所描述。至少一个参数可包含延迟参数、增益参数或两者。
在特定实施方案中,全通滤波器包含多个级。例如,全通滤波器可包含多个级,如参考图14至16所描述。方法2300可包含在第一装置处从第二装置接收译码模式参数,且基于指示音乐译码模式的译码模式参数而启用全通滤波器的多个级中的每一者。例如,可基于指示音乐译码模式的译码模式参数1407而启用多个级中的每一者,如参考图14所描述。方法2300可进一步包含基于指示语音编码模式的译码模式参数而停用全通滤波器的至少一个级。例如,可基于指示语音译码模式的译码模式参数1407而停用多个级中的一或多者,如参考图14所描述。
在另一特定实施方案中,方法2300可包含在第一装置处从第二装置接收第二声道间预测增益参数,且处理经合成中间信号以产生低频带经合成中间信号及高频带经合成中间信号。例如,可在解码器1618处接收第二ICP 1609及ICP 1608,且可处理经合成中间信号以产生低频带经合成中间信号1670及高频带经合成中间信号1671,如参考图16所描述。产生中介经合成侧信号可包含基于低频带经合成中间信号及声道间预测增益参数而产生低频带中介经合成侧信号,且基于高频带经合成中间信号及第二声道间预测增益参数而产生高频带中介经合成侧信号。例如,可基于低频带经合成中间信号1670及ICP 1608而产生低频带中介经合成侧信号1672,且可基于高频带经合成中间信号1671及第二ICP 1609而产生高频带中介经合成侧信号1673。方法2300可包含使用全通滤波器对低频带中介经合成侧信号进行滤波以产生第一经合成侧信号并调整全通滤波器的多级中的至少一者的至少一个参数。例如,可在产生低频带经合成侧信号1674之后调整全通滤波器1630的参数中的一或多者,如参考图16所描述。方法2300可进一步包含使用全通滤波器对高频带中介经合成侧信号进行滤波以产生第二经合成侧信号,且组合第一经合成侧信号及第二经合成侧信号以产生经合成侧信号。例如,可通过使用经调整参数值对高频带中介经合成侧信号1673进行滤波来产生高频带经合成侧信号1675,如参考图16所描述。
在另一特定实施方案中,使用全通滤波器对中介经合成侧信号进行滤波会产生经滤波的中介经合成侧信号。在此实施方案中,方法2300包含在第一装置处从第二装置接收相关性参数,且基于相关性参数将中介经合成侧信号与经滤波的中介经合成侧信号混合以产生经合成侧信号。例如,中介经合成侧信号1571及经滤波的经合成侧信号1573可基于相关性参数1509在侧信号混合器1590处混合,如参考图15所描述。可基于相关性参数的减小来增加与中介经合成侧信号混合的经滤波的中介经合成侧信号的量,如参考图15所描述。
图23的方法2300使用解码器处的声道间预测增益参数实现从经合成中间信号预测(映射)经合成侧信号。另外,方法2300减少经合成中间信号与经合成侧信号之间的相关性(例如增加去相关性),这可增加第一音频信号与第二音频信号之间的空间差异,这可改进收听体验。
参考图24,描绘装置(例如无线通信装置)的特定说明性实例的框图且将其整体上指定为2400。在各种方面中,装置2400可具有比图24中所绘示的更少或更多的组件。在说明性方面中,装置2400可对应于图1的第一装置104、第二装置106,图2的第一装置204、第二装置206,图13的第一装置1304、第二装置1306,或其组合。在说明性方面中,装置2400可执行参考图1至23的系统及方法所描述的一或多个操作。
在特定方面中,装置2400包含处理器2406(例如中央处理器(CPU))。装置2400可包含一或多个额外处理器2410(例如一或多个数字信号处理器(DSP))。处理器2410可包含媒体(例如语音与音乐)译码器-解码器(CODEC)2408及回声消除器2412。媒体CODEC2408可包含解码器2418、编码器2414或两者。编码器2414可包含图1的编码器114、图2的编码器214、图3的编码器314或图13的编码器1314中的至少一者。解码器2418可包含图1的解码器118、图2的解码器218、图4的解码器418、图13的解码器1318、图14的解码器1418、图15的解码器1518或图16的解码器1618中的至少一者。
编码器2414可包含声道间对准器108、CP选择器122、中间侧产生器148、信号产生器2416或ICP产生器220中的至少一者。信号产生器2416可包含图1的信号产生器116、图2的信号产生器216、图3的信号产生器316、图4的信号产生器450或图13的信号产生器1316中的至少一者。
解码器2418可包含CP确定器172、升混参数产生器176、滤波器1375或信号产生器2474中的至少一者。信号产生器2474可包含图1的信号产生器174、图2的信号产生器274、图4的信号产生器450、图13的信号产生器1374、图14的信号产生器1450、图15的信号产生器1550或图16的信号产生器1650中的至少一者。
装置2400可包含存储器2453及CODEC 2434。尽管媒体CODEC 2408被绘示为处理器2410的组件(例如专用电路及/或可执行编程代码),但在其它方面中,媒体CODEC2408中的一或多个组件(解码器2418、编码器2414,或两者)可包含在处理器2406、CODEC 2434、另一处理组件或其组合中。
装置2400可包含耦合至天线2442的收发器2440。收发器2440可包含接收器2461、发送器2411或两者。接收器2461可包含图1的接收器160、图2的接收器260、图13的接收器1360中的至少一者。发送器2411可包含图1的发送器110、图2的发送器210或图13的发送器1310中的至少一者。
装置2400可包含耦合至显示控制器2426的显示器2428。一或多个扬声器2448可耦合至CODEC 2434。一或多个麦克风2446可经由一或多个输入接口2413耦合至CODEC 2434。输入接口2413可包含图1的输入接口112、图2的输入接口212或图13的输入接口1312。
在特定方面中,扬声器2448可包含图1的第一扩音器142、第二扩音器144,图2的第一扩音器242或第二扩音器244中的至少一者。在特定方面中,麦克风2446可包含图1的第一麦克风146、第二麦克风147,图2的第一麦克风246或第二麦克风248中的至少一者。CODEC2434可包含数/模转换器(DAC)2402及模/数转换器(ADC)2404。
存储器2453可包含可由处理器2406、处理器2410、CODEC 2434、装置2400的另一处理单元执行以执行参考图1至23所描述的一或多个操作的指令2460。存储器2453可存储参考图1至23所描述的一或多个信号、一或多个参数、一或多个阈值、一或多个指示符或其组合。
装置2400的一或多个组件可经由专用硬件(例如电路)、由执行指令以执行一或多个任务的处理器或其组合来实施。作为实例,存储器2453或处理器2406、处理器2410及/或CODEC 2434的一或多个组件可为存储器装置(例如计算机可读存储装置),例如随机存取存储器(RAM)、磁阻式随机存取存储器(MRAM)、自旋扭矩转移MRAM(STT-MRAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动磁盘或压缩光盘只读存储器(CD-ROM)。存储器装置可包含(例如存储)指令(例如指令2460),所述指令在由计算机(例如CODEC 2434中的处理器、处理器2406及/或处理器2410)执行时可致使计算机执行参考图1至23所描述的一或多个操作。作为实例,存储器2453或处理器2406、处理器2410及/或CODEC 2434的一或多个组件可为包含指令(例如指令2460)的非暂时性计算机可读媒体,指令在由计算机(例如CODEC 2434中的处理器、处理器2406,及/或处理器2410)执行时致使计算机执行参考图1至23所描述的一或多个操作。
在特定实施方案中,移动装置2400可包含在系统级封装或系统单芯片装置(例如移动站调制解调器(MSM))2422中。在特定方面中,处理器2406、处理器2410、显示控制器2426、存储器2453、CODEC 2434及收发器2440包含在系统级封装或系统单芯片装置2422中。在特定方面中,例如触摸屏及/或小键盘的输入装置2430及电源2444耦合至系统单芯片装置2422。此外,在特定方面中,如图24中所绘示,显示器2428、输入装置2430、扬声器2448、麦克风2446、天线2442及电源2444在系统单芯片装置2422的外部。然而,显示器2428、输入装置2430、扬声器2448、麦克风2446、天线2442及电源2444中的每一者可耦合至系统单芯片装置2422的组件,例如接口或控制器。
装置2400可包含无线电话、移动通信装置、移动装置、移动电话、智能电话、蜂窝电话、膝上型计算机、桌上型计算机、计算机、平板计算机、机顶盒、个人数字助理(PDA)、显示装置、电视、游戏控制台、音乐播放器、收音机、视频播放器、娱乐单元、通信装置、固定位置数据单元、个人媒体播放器、数字视频播放器、数字视频磁盘(DVD)播放器、调谐器、相机、导航装置、解码器系统、编码器系统或其任何组合。
在特定方面中,参考图1至23所描述的系统的一或多个组件及装置2400可集成至解码系统或设备(例如电子装置、CODEC或其中的处理器)中、集成至编码系统或设备中,或两者。在其它方面中,参考图1至23所描述的系统的一或多个组件及装置2400可集成至以下各者中:移动装置、无线电话、平板计算机、桌上型计算机、膝上型计算机、机顶盒、音乐播放器、视频播放器、娱乐单元、电视、游戏控制台、导航装置、通信装置、个人数字助理(PDA)、固定位置数据单元、个人媒体播放器或另一类型的装置。
应注意,由参考图1至23所描述的系统的一或多个组件及装置2400执行的各种功能被描述为由某些组件或模块执行。组件及模块的此划分仅用于说明。在替代方面中,可在多个组件或模块间划分由特定组件或模块执行的功能。此外,在替代方面中,参考图1至23所描述的两个或多于两个组件或模块可集成至单个组件或模块中。参考图1至23所描述的系统中所绘示的每一组件或模块可使用以下各者来实施:硬件(例如现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、DSP、控制器等等)、软件(例如可由处理器执行的指令),或其任何组合。
结合所描述的方面,设备包含用于基于第一音频信号及第二音频信号产生中间信号以及基于第一音频信号及第二音频信号产生侧信号的装置。例如,用于产生中间信号及侧信号的装置可包含图1的信号产生器116、编码器114或第一装置104,图2的信号产生器216、编码器214或第一装置204,图3的信号产生器316或编码器314,图24的信号产生器2416、编码器2414或处理器2410,经配置以基于第一音频信号及第二音频信号而产生中间信号及基于第一音频信号及第二音频信号而产生侧信号的一或多个结构、装置或电路,或其组合。
设备包含用于基于中间信号及侧信号产生声道间预测增益参数的装置。例如,用于产生声道间预测增益参数的装置可包含图2的ICP产生器220、编码器214或第一装置204,图3的ICP产生器320或解码器314,图24的ICP产生器220、编码器2414或处理器2410,经配置以基于中间信号及侧信号而产生声道间预测增益参数的一或多个结构、装置或电路,或其组合。
设备进一步包含用于将声道间预测增益参数及经编码音频信号传送至第二装置的装置。例如,用于产生中间信号及侧信号的装置可包含图1的发送器110或第一装置104,图2的发送器210或第一装置204,图24的发送器2410、收发器2440或天线2442,经配置以将声道间预测增益参数及经编码音频信号传送至第二装置的一或多个结构、装置或电路,或其组合。
结合所描述的方面,设备包含用于在第一装置处从第二装置接收声道间预测增益参数及经编码音频信号的装置。例如,用于接收的装置可包含图1的接收器160或第二装置106,图2的接收器260或第二装置206,图24的接收器2461、收发器2440或天线2442,经配置以将声道间预测增益参数及经编码音频信号传送至第二装置的一或多个结构、装置或电路,或其组合。经编码音频信号包含经编码中间信号。
设备包含用于基于经编码中间信号产生经合成中间信号的装置。例如,用于产生经合成中间信号的装置可包含图1的信号产生器174、编码器118或第二装置106,图2的信号产生器274、编码器218或第二装置206,图4的信号产生器450、中间合成器452或解码器418,图24的信号产生器2474、编码器2418或处理器2410,经配置以基于经编码中间信号产生经合成中间信号的一或多个结构、装置或电路,或其组合。
设备进一步包含用于基于经合成中间信号及声道间预测增益参数而产生经合成侧信号的装置。例如,用于产生经合成侧信号的装置可包含图1的信号产生器174、编码器118或第二装置106,图2的信号产生器274、编码器218或第二装置206,图4的信号产生器450、侧合成器456或解码器418,图24的信号产生器2474、编码器2418或处理器2410,经配置以基于经编码中间信号产生经合成中间信号的一或多个结构、装置或电路,或其组合。
结合所描述的方面,设备包含用于基于第一音频信号、第二音频信号或两者产生多个参数的装置。例如,用于产生多个参数的装置可包含图1的声道间对准器108、中间侧产生器148、编码器114、第一装置104、系统100,图6的GICP产生器612,图8的降混参数产生器802、参数产生器806、编码器2414、媒体CODEC 2408、处理器2410、装置2400,经配置以产生多个参数的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。
设备还包含用于确定是否要对侧信号进行编码以进行发送的装置。例如,用于确定是否欲对侧信号进行编码以用于发送的装置可包含图1的CP选择器122、编码器114、第一装置104、系统100,编码器2414、媒体CODEC 2408、处理器2410、装置2400,经配置以确定是否欲对侧信号进行编码以用于发送的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。确定可基于多个参数(例如ICA参数107、降混参数515、GICP601、其它参数810或其组合)。
设备进一步包含用于基于第一音频信号及第二音频信号而产生中间信号及侧信号的装置。例如,用于产生中间信号及侧信号的装置可包含图1的中间侧产生器148、编码器114、第一装置104、系统100,编码器2414、媒体CODEC 2408、处理器2410、装置2400,经配置以产生中间信号及侧信号的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。
设备还包含用于产生至少一个经编码信号的装置。例如,用于产生至少一个经编码信号的装置可包含图1的信号产生器116、编码器114、第一装置104、系统100,编码器2414、媒体CODEC 2408、处理器2410、装置2400,经配置以产生至少一个经编码信号的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。至少一个经编码信号可包含对应于中间信号111的经编码中间信号121。至少一个经编码信号可包含响应于欲对侧信号113进行编码以用于发送的确定,经编码侧信号123对应于侧信号113。
设备进一步包含用于发送对应于至少一个经编码信号的位流参数的装置。例如,用于发送的装置可包含图1的发送器110、第一装置104、系统100,发送器2411、收发器2440、天线2442、装置2400,经配置以发送位流参数的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。
还结合所描述方面,设备包含用于接收对应于至少经编码中间信号的位流参数的装置。例如,用于接收位流参数的装置可包含图1的接收器160、第二装置106、系统100,接收器2461、收发器2440、天线2442、装置2400,经配置以接收位流参数的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。
设备还包含用于确定位流参数是否对应于经编码侧信号的装置。例如,用于确定位流参数是否对应于经编码侧信号的装置可包含图1的CP选择器172、解码器118、第二装置106、系统100,解码器2418、媒体CODEC 2408、处理器2410、装置2400,经配置以确定位流参数是否对应于经编码侧信号的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。
设备进一步包含用于产生经合成中间信号及经合成侧信号的装置。例如,用于产生经合成中间信号及经合成侧信号的装置可包含图1的信号产生器174、解码器118、第二装置106、系统100,编码器2418、媒体CODEC 2408、处理器2410、装置2400,经配置以产生经合成中间信号及经合成侧信号的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。经合成中间信号171可基于位流参数102。在特定方面中,响应于确定位流参数102是否对应于经编码侧信号123,经合成侧信号173是选择性地基于位流参数102。例如,响应于确定位流参数102对应于经编码侧信号123,经合成侧信号173是基于位流参数102。响应于确定位流参数102不对应于经编码侧信号123,经合成侧信号173是至少部分地基于经合成中间信号171。
进一步结合所描述方面,设备包含用于产生降混参数及中间信号的装置。例如,用于产生降混参数及中间信号的装置可包含图1的中间侧产生器148、编码器114、第一装置104、系统100,图8的降混参数产生器802、参数产生器806,编码器2414、媒体CODEC 2408、处理器2410、装置2400,经配置以产生降混参数及中间信号的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。降混参数115可响应于确定CP参数109指示欲对侧信号113进行编码以用于发送而具有降混参数值807(例如第一值)。降混参数115可至少部分地基于确定CP参数109指示侧信号113未经编码用于发送而具有降混参数值805(例如第二值)。降混参数值807可基于能量量度、相关性量度或两者。能量量度、相关性量度或两者可基于第一音频信号130及第二音频信号132。降混参数值805可基于默认降混参数值(例如0.5)、降混参数值807或两者。中间信号111可基于第一音频信号130、第二音频信号132及降混参数115。
设备还包含用于产生对应于中间信号的经编码中间信号的装置。例如,用于产生经编码中间信号的装置可包含图1的信号产生器116、编码器114、第一装置104、系统100,编码器2414、媒体CODEC 2408、处理器2410、装置2400,经配置以产生经编码中间信号的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。
设备进一步包含用于发送对应于至少经编码中间信号的位流参数的装置。例如,用于发送的装置可包含图1的发送器110、第一装置104、系统100,发送器2411、收发器2440、天线2442、装置2400,经配置以发送位流参数的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。
还结合所描述方面,设备包含用于接收对应于至少经编码中间信号的位流参数的装置。例如,用于接收位流参数的装置可包含图1的接收器160、第二装置106、系统100,接收器2461、收发器2440、天线2442、装置2400,经配置以接收位流参数的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。
设备进一步包含用于产生一或多个升混参数的装置。例如,用于产生一或多个升混参数的装置可包含图1的升混参数产生器176、解码器118、第二装置106、系统100,编码器2418、媒体CODEC 2408、处理器2410、装置2400,经配置以产生升混参数的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。一或多个升混参数可包含升混参数175。升混参数175可基于确定位流参数102是否对应于经编码侧信号123而具有降混参数值807(例如第一值)或降混参数值805(例如第二值)。例如,响应于确定位流参数102对应于经编码侧信号123,升混参数175可具有降混参数值807(例如第一值)。降混参数值807可基于降混参数115。接收器160可接收降混参数值807。升混参数175可至少部分地基于确定位流参数102不对应于经编码侧信号123而具有降混参数值805(例如第二值)。降混参数值805可至少部分地基于默认参数值(例如0.5)。
设备还包含用于基于位流参数而产生经合成中间信号的装置。例如,用于产生经合成中间信号的装置可包含图1的信号产生器174,图1的编码器118、第一装置106、系统100,解码器2418、媒体CODEC 2408、处理器2410、装置2400,经配置以产生经合成中间信号的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。
设备进一步包含用于至少基于经合成中间信号及一或多个升混参数而产生输出信号的装置。例如,用于产生输出信号的装置可包含图1的信号产生器174,图1的编码器118、第一装置106、系统100,解码器2418、媒体CODEC 2408、处理器2410、装置2400,经配置以产生输出信号的一或多个装置(例如执行存储在计算机可读存储装置处的指令的处理器),或其组合。
结合所描述的方面,设备包含用于在第一装置处从第二装置接收声道间预测增益参数及经编码音频信号的装置。例如,用于接收的装置可包含图13的接收器1360或第二装置1306,图24的接收器2461、收发器2440或天线2442,经配置以将声道间预测增益参数及经编码音频信号传送至第二装置的一或多个结构、装置或电路,或其组合。经编码音频信号包含经编码中间信号。
设备包含用于基于经编码中间信号产生经合成中间信号的装置。例如,用于产生经合成中间信号的装置可包含图13的信号产生器1374、编码器1318或第二装置1306,图14的信号产生器1450、中间合成器1452或解码器1418,图15的信号产生器1550、中间合成器1552或解码器1518,图16的信号产生器1650、中间合成器1652或解码器1618,图24的信号产生器2474、编码器2418或处理器2410,经配置以基于经编码中间信号产生经合成中间信号的一或多个结构、装置或电路,或其组合。
设备包含用于基于经合成中间信号及声道间预测增益参数而产生中介经合成侧信号的装置。例如,用于产生中介经合成侧信号的装置可包含图13的信号产生器1374、编码器1318或第二装置1306,图4的信号产生器1450、侧合成器1456或解码器1418,图15的信号产生器1550、侧合成器1556或解码器1518,图16的信号产生器1650、侧合成器1656或解码器1618,图24的信号产生器2474、编码器2418或处理器2410,经配置以基于经编码中间信号产生中介经合成中间信号的一或多个结构、装置或电路,或其组合。
设备进一步包含用于对中介经合成侧信号进行滤波以产生经合成侧信号的装置。例如,用于滤波的装置可包含图13的滤波器1375、图14的全通滤波器1430、图15的全通滤波器1530、图16的全通滤波器1630、图24的滤波器1375、经配置以对中介经合成侧信号进行滤波以产生经合成侧信号的一或多个结构、装置或电路,或其组合。
参考图25,描绘基站2500(例如基站装置)的特定说明性实例的框图。在各种实施方案中,基站2500可具有比图25中所绘示的更多的组件或更少的组件。在说明性实例中,基站2500可包含图1的第一装置104、第二装置106,图2的第一装置204、第二装置206,图13的第一装置1304、第二装置1306,或其组合。在说明性实例中,基站2500可根据参考图1至24所描述的方法或系统中的一或多者来操作。
基站2500可为无线通信系统的部分。无线通信系统可包含多个基站及多个无线装置。无线通信系统可为长期演进(LTE)系统、码分多址接入(CDMA)系统、全球移动通信系统(GSM)系统、无线局域网(WLAN)系统或一些其它无线系统。CDMA系统可实施宽带CDMA(WCDMA)、CDMA 1X、演进式数据优化(EVDO)、时分同步CDMA(TD-SCDMA)或CDMA的一些其它版本。
无线装置也可被称作用户设备(UE)、移动站、终端、接入终端、用户单元、站等等。无线装置可包含蜂窝电话、智能电话、平板计算机、无线调制解调器、个人数字助理(PDA)、手持式装置、膝上型计算机、智能本、上网本、平板计算机、无线电话、无线本地回路(WLL)站、蓝牙装置等等。无线装置可包含或对应于图24的装置2400。
各种功能可由基站2500的一或多个组件(及/或以未展示的其它组件)执行,例如传送及接收消息及数据(例如音频数据)。在特定实例中,基站2500包含处理器2506(例如CPU)。基站2500可包含转码器2510。转码器2510可包含音频CODEC 2508。例如,转码器2510可包含经配置以执行音频CODEC 2508的操作的一或多个组件(例如电路)。作为另一实例,转码器2510可经配置以执行一或多个计算机可读指令以执行音频CODEC2508的操作。虽然音频CODEC 2508被绘示为转码器2510的组件,但在其它实例中,音频CODEC 2508的一或多个组件可包含在处理器2506、另一处理组件或其组合中。例如,解码器2538(例如声码器解码器)可包含在接收器数据处理器2564中。作为另一实例,编码器2536(例如声码器编码器)可包含在发送数据处理器2582中。
转码器2510可用于在两个或多于两个网络之间对消息及数据进行转码。转码器2510可经配置以将消息及音频数据从第一格式(例如数字格式)转换成第二格式。出于说明起见,解码器2538可对具有第一格式的经编码信号进行解码,且编码器2536可将经解码信号编码成具有第二格式的经编码信号。另外或替代地,转码器2510可经配置以执行数据速率适配。例如,转码器2510可将数据速率降频转换或将数据速率升频转换而不改变音频数据的格式。出于说明起见,转码器2510可将64千位/s(kbit/s)信号降频转换成16kbit/s信号。
音频CODEC 2508可包含编码器2536及解码器2538。编码器2536可包含图1的编码器114、图2的编码器214、图3的编码器314或图13的编码器1314中的至少一者。解码器2538可包含图1的解码器118、图2的解码器218、图4的解码器418、图13的解码器1318、图14的解码器1418、图15的解码器1518或图16的解码器1618中的至少一者。
基站2500可包含存储器2532。存储器2532(例如计算机可读存储装置)可包含指令。指令可包含可由处理器2506、转码器2510或其组合执行的一或多个指令,以执行参考图1至24的方法及系统所描述的一或多个操作。基站2500可包含多个发送器及接收器(例如收发器),例如耦合至天线阵列的第一收发器2552及第二收发器2554。天线阵列可包含第一天线2542及第二天线2544。天线阵列可经配置以与一或多个无线装置(例如图24的装置2400)无线通信。例如,第二天线2544可从无线装置接收数据流2514(例如位流)。数据流2514可包含消息、数据(例如经编码语音数据)或其组合。
基站2500可包含网络连接2560,例如回程连接。网络连接2560可经配置以与无线通信网络的核心网络或一或多个基站进行通信。例如,基站2500可经由网络连接2560从核心网络接收第二数据流(例如消息或音频数据)。基站2500可处理第二数据流以产生消息或音频数据,且经由天线阵列的一或多个天线将消息或音频数据提供至一或多个无线装置,或经由网络连接2560将消息或音频数据提供至另一基站。在特定实施方案中,网络连接2560可为广域网(WAN)连接,作为说明性非限制性实例。在一些实施方案中,核心网络可包含或对应于公共交换电话网(PSTN),分组骨干网,或两者。
基站2500可包含耦合至网络连接2560及处理器2506的媒体网关2570。媒体网关2570可经配置以在不同电信技术的媒体流之间进行转换。例如,媒体网关2570可在不同发送协议、不同译码方案或两者之间转换。出于说明起见,作为说明性非限制实例,媒体网关2570可从PCM信号转换成实时传输协议(RTP)信号。媒体网关2570可在分组交换网(例如互联网语音协议(VoIP)网络、IP多媒体子系统(IMS)、第四代(4G)无线网络,例如LTE、WiMax及UMB,等等),电路交换网(例如PSTN)及混合网络(例如第二代(2G)无线网络,例如GSM、GPRS及EDGE,第三代(3G)无线网络,例如WCDMA、EV-DO及HSPA,等等)之间转换数据。
另外,媒体网关2570可包含转码器,例如转码器2510,且可经配置以在编解码器不兼容时对数据进行转码。例如,作为说明性非限制性实例,媒体网关2570可在自适应多速率(AMR)编解码器与G.711编解码器之间转码。媒体网关2570可包含路由器及多个物理接口。在一些实施方案中,媒体网关2570还可包含控制器(未展示)。在特定实施方案中,媒体网关控制器可在媒体网关2570外部、在基站2500外部,或两者。媒体网关控制器可控制及协调多媒体网关的操作。媒体网关2570可从媒体网关控制器接收控制信号,且可用于在不同发送技术之间桥接并可将服务添加至终端用户能力及连接。
基站2500可包含耦合至收发器2552、2554、接收器数据处理器2564及处理器2506的解调器2562,且接收器数据处理器2564可耦合至处理器2506。解调器2562可经配置以解调从收发器2552、2554接收的经调制信号,且将经解调数据提供至接收器数据处理器2564。接收器数据处理器2564可经配置以从经解调数据中提取消息或音频数据,并将消息或音频数据传送至处理器2506。
基站2500可包含发送数据处理器2582及发送多输入多输出(MIMO)处理器2584。发送数据处理器2582可耦合至处理器2506及发送MIMO处理器2584。发送MIMO处理器2584可耦合至收发器2552、2554及处理器2506。在一些实施方案中,发送MIMO处理器2584可耦合至媒体网关2570。发送数据处理器2582可经配置以从处理器2506接收消息或音频数据,且基于例如CDMA或正交频分复用(OFDM)的译码方案对消息或音频数据进行译码,作为说明性非限制性实例。发送数据处理器2582可将经译码数据提供至发送MIMO处理器2584。
可使用CDMA或OFDM技术将经译码数据与其它数据(例如导频数据)进行复用以产生经复用数据。可接着由发送数据处理器2582基于特定调制方案(例如二元相移键控(“BPSK”)、正交相移键控(“QSPK”)、M元相移键控(“M-PSK”)、M元正交振幅调制(“M-QAM”)等等)来调制经复用数据(即,符号映射)以产生调制符号。在特定实施方案中,可使用不同调制方案来调制经译码数据及其它数据。可由处理器2506执行的指令来确定每一数据流的数据速率、译码及调制。
发送MIMO处理器2584可经配置以从发送数据处理器2582接收调制符号,且可进一步处理调制符号并可对数据执行波束成形。例如,发送MIMO处理器2584可将波束成形权重应用于调制符号。波束成形权重可对应于从其发送调制符号的天线阵列中的一或多个天线。
在操作期间,基站2500的第二天线2544可接收数据流2514。第二收发器2554可从第二天线2544接收数据流2514,且可将数据流2514提供至解调器2562。解调器2562可解调数据流2514的经调制信号,且将经解调数据提供至接收器数据处理器2564。接收器数据处理器2564可从经解调数据中提取音频数据,且将所提取音频数据提供至处理器2506。
处理器2506可将音频数据提供至转码器2510用于转码。转码器2510的解码器2538可将音频数据从第一格式解码成经解码音频数据,且编码器2536可将经解码音频数据编码成第二格式。在一些实施方案中,编码器2536可与从无线装置接收的数据速率相比使用较高数据速率(例如升频转换)或较低数据速率(例如降频转换)而对音频数据进行编码。在其它实施方案中,可不对音频数据进行转码。尽管转码(例如解码及编码)被绘示为由转码器2510执行,但转码操作(例如解码及编码)可由基站2500的多个组件执行。例如,解码可由接收器数据处理器2564执行,且编码可由发送数据处理器2582执行。在其它实施方案中,处理器2506可将音频数据提供至媒体网关2570以便转换为另一发送协议、译码方案或两者。媒体网关2570可经由网络连接2560将所转换数据提供至另一基站或核心网络。
编码器2536可基于第一音频信号130及第二音频信号132产生CP参数109。编码器2536可确定降混参数115。编码器2536可基于降混参数115而产生中间信号111及侧信号113。编码器2536可产生对应于至少一个经编码信号的位流参数102。例如,位流参数102对应于经编码中间信号121。位流参数102可基于CP参数109对应于经编码侧信号123。编码器2536还可基于CP参数109而产生ICP 208。在编码器2536处产生的经编码音频数据(例如经转码数据)可经由处理器2506提供至发送数据处理器2582或网络连接2560。
来自转码器2510的经转码音频数据可提供至发送数据处理器2582,用于根据例如OFDM的调制方案进行译码,以产生调制符号。发送数据处理器2582可将调制符号提供至发送MIMO处理器2584以供用于进一步处理及波束成形。发送MIMO处理器2584可应用波束成形权重,且可经由第一收发器2552将调制符号提供至天线阵列的一或多个天线,例如第一天线2542。因此,基站2500可将对应于从无线装置接收的数据流2514的经转码数据流2516提供至另一无线装置。经转码数据流2516可具有与数据流2514不同的编码格式、数据速率或两者。在其它实施方案中,可将经转码数据流2516提供至网络连接2560,以便发送至另一基站或核心网络。
在特定方面中,解码器2538接收位流参数102且选择性地接收ICP 208。解码器2538可确定CP参数179及升混参数175。解码器2538可产生经合成中间信号171。解码器2538可基于CP参数179产生经合成侧信号173。例如,响应于确定CP参数179具有第一值(例如0),解码器2538可通过解码位流参数102来产生经合成侧信号173。作为另一实例,解码器2538可响应于确定CP参数179具有第二值(例如1)而基于经合成中间信号171及ICP 208产生经合成侧信号173。在一些实施方案中,解码器2538可使用全通滤波器对中介经合成侧信号进行滤波以产生经合成侧信号173,如参考图13至16所描述。解码器2538可通过基于升混参数175、经合成中间信号171及经合成侧信号173进行升混而产生第一输出信号126及第二输出信号128。
基站2500可包含存储指令的计算机可读存储装置(例如存储器2532),所述指令在由处理器(例如处理器2506或转码器2510)执行时致使处理器执行包含在第一装置处基于第一音频信号及第二音频信号而产生中间信号的操作。操作包含基于第一音频信号及第二音频信号产生侧信号。操作包含基于中间信号及侧信号而产生声道间预测增益参数。操作还包含将声道间预测增益参数及经编码音频信号传送至第二装置。
基站2500可包含存储指令的计算机可读存储装置(例如存储器2532),所述指令在由处理器(例如处理器2506或转码器2510)执行时致使处理器执行包含在第一装置处从第二装置接收声道间预测增益参数及经编码音频信号的操作。经编码音频信号包含经编码中间信号。操作包含在第一装置处基于经编码中间信号产生经合成中间信号。操作进一步包含基于经合成中间信号及声道间预测增益参数来产生经合成侧信号。
基站2500可包含存储指令的计算机可读存储装置(例如存储器2532),所述指令在由处理器(例如处理器2506或转码器2510)执行时致使处理器执行包含基于第一音频信号及第二音频信号而产生中间信号的操作。操作还包含基于第一音频信号及第二音频信号产生侧信号。操作进一步包含基于第一音频信号、第二音频信号或两者而确定多个参数。操作还包含基于多个参数确定是否欲对侧信号进行编码以进行发送。操作进一步包含产生对应于中间信号的经编码中间信号。操作还包含响应于确定欲对侧信号进行编码以进行发送而产生对应于侧信号的经编码侧信号。操作进一步包含起始对应于经编码中间信号、经编码侧信号或两者的位流参数的发送。
基站2500可包含存储指令的计算机可读存储装置(例如存储器2532),所述指令在由处理器(例如处理器2506或转码器2510)执行时致使处理器执行包含响应于确定译码或预测参数指示要对侧信号进行编码以进行发送而产生具有第一值的降混参数的操作。第一值是基于能量量度、相关性量度或两者。能量量度、相关性量度或两者是基于第一音频信号及第二音频信号。操作还包含至少部分地基于确定译码或预测参数指示不对侧信号进行编码以进行发送而产生具有第二值的降混参数。第二值是基于默认降混参数值、第一值或两者。操作进一步包含基于第一音频信号、第二音频信号及降混参数而产生中间信号。操作还包含产生对应于中间信号的经编码中间信号。操作进一步包含起始对应于至少经编码中间信号的位流参数的发送。
基站2500可包含存储指令的计算机可读存储装置(例如存储器2532),所述指令在由处理器(例如处理器2506或转码器2510)执行时致使处理器执行包含接收对应于至少经编码中间信号的位流参数的操作。操作还包含基于位流参数产生经合成中间信号。操作进一步包含确定位流参数是否对应于经编码侧信号。操作还包含响应于确定位流参数对应于经编码侧信号而基于位流参数产生经合成侧信号。操作进一步包含响应于确定位流参数不对应于经编码侧信号而至少部分地基于经合成中间信号产生经合成侧信号。
基站2500可包含存储指令的计算机可读存储装置(例如存储器2532),所述指令在由处理器(例如处理器2506或转码器2510)执行时致使处理器执行包含接收对应于至少经编码中间信号的位流参数的操作。操作还包含基于位流参数产生经合成中间信号。操作进一步包含确定位流参数是否对应于经编码侧信号。操作还包含响应于确定位流参数对应于经编码侧信号而产生具有第一值的升混参数。第一值是基于经接收降混参数。操作进一步包含至少部分地基于确定位流参数不对应于经编码侧信号而产生具有第二值的升混参数。第二值是至少部分地基于默认参数值。操作还包含至少基于经合成中间信号及升混参数而产生输出信号。
基站2500可包含存储指令的计算机可读存储装置(例如存储器2532),所述指令在由处理器(例如处理器2506或转码器2510)执行时致使处理器执行包含在第一装置处从第二装置接收声道间预测增益参数及经编码音频信号的操作。经编码音频信号包含经编码中间信号。操作包含在第一装置处基于经编码中间信号产生经合成中间信号。操作包含基于经合成中间信号及声道间预测增益参数而产生中介经合成侧信号。操作进一步包含对中介经合成侧信号进行滤波以产生经合成侧信号。
在特定方面中,装置包含编码器,其经配置以基于第一音频信号及第二音频信号产生中间信号。编码器经配置以基于第一音频信号及第二音频信号产生侧信号。编码器经进一步配置以基于中间信号及侧信号而产生声道间预测增益参数。装置还包含发送器,其经配置以将声道间预测增益参数及经编码音频信号传送至第二装置。经编码音频信号包含经编码中间信号。发送器经进一步配置以响应于传送声道间预测增益参数而抑制传送编码侧信号的一或多个音频帧。声道间预测增益参数具有与经编码音频信号的第一音频帧相关联的第一值。声道间预测增益参数具有与经编码音频信号的第二音频帧相关联的第二值。
在特定实施方案中,声道间预测增益参数是基于中间信号的能阶及侧信号的能阶。编码器经配置以确定侧信号的能阶与中间信号的能阶的比率。声道间预测增益参数是基于比率。
在特定实施方案中,声道间预测增益参数是基于侧信号的能阶。在特定实施方案中,声道间预测增益参数是基于中间信号、侧信号及中间信号的能阶。编码器经配置以产生中间信号的能阶与中间信号及侧信号的点积的比率。声道间预测增益参数是基于比率。
在特定实施方案中,声道间预测增益参数是基于经合成中间信号、侧信号及经合成中间信号的能阶。编码器经配置以产生经合成中间信号的能阶与经合成中间信号及侧信号的点积的比率。声道间预测增益参数是基于比率。在特定实施方案中,编码器经配置以在产生声道间预测增益参数之前将一或多个滤波器应用于中间信号及侧信号。在特定实施方案中,编码器及发送器集成至移动装置中。在特定实施方案中,编码器及发送器集成至基站中。
在特定方面中,方法包含在第一装置处基于第一音频信号及第二音频信号而产生中间信号。方法包含基于第一音频信号及第二音频信号而产生侧信号。方法包含基于中间信号及侧信号而产生声道间预测增益参数。方法进一步包含将声道间预测增益参数及经编码音频信号传送至第二装置。在特定实施方案中,第一装置包含移动装置。在特定实施方案中,第一装置包含基站。
方法包含下采样第一音频信号以产生第一下采样音频信号。方法还包含下采样第二音频信号以产生第二下采样音频信号。声道间预测增益参数是基于第一下采样音频信号及第二下采样音频信号。以与第一音频信号及第二音频信号相关联的输入采样速率确定声道间预测增益参数。
方法包含在将声道间预测增益参数传送至第二装置之前对声道间预测增益参数执行平滑操作。在特定实施方案中,平滑操作是基于固定平滑因子。在特定实施方案中,平滑操作是基于自适应平滑因子。在特定实施方案中,自适应平滑因子是基于中间信号的信号能量。在特定实施方案中,自适应平滑因子是基于与中间信号相关联的发声参数。
方法包含处理中间信号以产生低频带中间信号及高频带中间信号。方法还包含处理侧信号以产生低频带侧信号及高频带侧信号。方法进一步包含基于低频带中间信号及低频带侧信号而产生声道间预测增益参数。方法进一步包含基于高频带中间信号及高频带侧信号而产生第二声道间预测增益参数。方法还包含将具有声道间预测增益参数及经编码音频信号的第二声道间预测增益参数传送至第二装置。
方法包含基于中间信号及侧信号而产生相关性参数。方法还包含将具有声道间预测增益参数及经编码音频信号的相关性参数传送至第二装置。在特定实施方案中,声道间预测增益参数是基于侧信号的能阶与中间信号的能阶的比率。在特定实施方案中,相关性参数是基于中间信号的能阶与中间信号与侧信号的点积的比率。
在特定方面中,装置包含编码器及发送器。编码器经配置以基于第一音频信号及第二音频信号产生中间信号。编码器还经配置以基于第一音频信号及第二音频信号产生侧信号。编码器经进一步配置以基于第一音频信号、第二音频信号或两者而确定多个参数。编码器还经配置以基于多个参数确定是否对侧信号进行编码以进行发送。编码器经进一步配置以产生对应于中间信号的经编码中间信号。编码器还经配置以响应于确定欲对侧信号进行编码以进行发送而产生对应于侧信号的经编码侧信号。发送器经配置以发送对应于经编码中间信号、经编码侧信号或两者的位流参数。
在特定实施方案中,编码器经进一步配置以响应于确定将对信号进行编码以用于发送而产生具有第一值的译码或预测参数。发送器经配置以发送译码或预测参数。
在特定实施方案中,编码器经进一步配置以确定指示第一音频信号的第一样本与第二音频信号的第一特定样本之间的时间失配的量的时间失配值。编码器还经配置以基于确定时间失配值满足失配阈值而确定欲对侧信号进行编码以用于发送。在特定实施方案中,编码器经进一步配置以基于时间失配值与第二时间失配值的比较而确定时间失配稳定性指示符。第二时间失配值至少部分地基于第一音频信号的第二样本。编码器还经配置以基于确定时间失配稳定性指示符满足时间失配稳定性阈值而确定要对侧信号进行编码以用于发送。多个参数包含时间失配稳定性指示符。
在特定实施方案中,编码器进一步经配置以确定对应于第一音频信号的第一样本的第一能量与第二音频信号的第一特定样本的第一特定能量的能量比的声道间增益参数。编码器还经配置以基于确定声道间增益参数满足声道间增益阈值而确定欲对信号进行编码以用于发送。多个参数包含声道间增益参数。
在特定实施方案中,编码器经进一步配置以确定对应于第一音频信号的第一样本的第一能量与第二音频信号的第一特定样本的第一特定能量的能量比的声道间增益参数。编码器还经配置以基于声道间增益参数与第二声道间增益参数而确定平滑声道间增益参数。第二声道间增益参数是至少部分地基于第一音频信号的第二样本的第二能量。编码器经进一步配置以基于确定平滑声道间增益参数满足平滑声道间增益阈值而确定欲对侧信号进行编码以用于发送。多个参数包含平滑声道间增益参数。
在特定实施方案中,编码器经进一步配置以确定对应于第一音频信号的第一样本的第一能量与第二音频信号的第一特定样本的第一特定能量的能量比的声道间增益参数。编码器还经配置以基于声道间增益参数与第二声道间增益参数而确定平滑声道间增益参数。第二声道间增益参数是至少部分地基于第一音频信号的第二样本的第二能量。编码器经进一步配置以基于声道间增益参数与平滑声道间增益参数的比较而确定声道间增益可靠性指示符。编码器还经配置以基于确定声道间增益可靠性指示符满足声道间增益可靠性阈值而确定欲对信号进行编码以用于发送。多个参数包含声道间增益可靠性指示符。
在特定实施方案中,编码器经进一步配置以确定对应于第一音频信号的第一样本的第一能量与第二音频信号的第一特定样本的第一特定能量的能量比的声道间增益参数。编码器还经配置以基于声道间增益参数与第二声道间增益参数的比较而确定声道间增益稳定性指示符。第二声道间增益参数是至少部分地基于第一音频信号的第二样本的第二能量。编码器经进一步配置以基于确定声道间增益稳定性指示符满足声道间增益稳定性阈值而确定欲对信号进行编码以用于发送。多个参数包含声道间增益稳定性指示符。在特定实施方案中,多个参数包含语音决策参数、核心类型或瞬态指示符中的至少一者。
在特定实施方案中,编码器经进一步配置以基于侧信号的能量、中间信号的能量或两者而确定声道间预测增益值。编码器还经配置以基于确定声道间预测增益值数满足声道间预测增益阈值而确定欲对信号进行编码以用于发送。多个参数包含声道间预测增益值。
在特定实施方案中,编码器经进一步配置以基于经编码中间信号而产生经合成中间信号。编码器还经配置以基于侧信号的能量与经合成中间信号的能量而确定声道间预测增益值。编码器经进一步配置以基于确定声道间预测增益值数满足声道间预测增益阈值而确定欲对信号进行编码以用于发送。多个参数包含声道间预测增益值。
在特定实施方案中,编码器经进一步配置以产生对应于侧信号的经编码侧信号。编码器还经配置以基于经编码侧信号而产生经合成侧信号。编码器经进一步配置以基于侧信号的能量与经合成侧信号的能量而确定声道间预测增益值。编码器还经配置以基于确定声道间预测增益值数满足声道间预测增益阈值而确定欲对信号进行编码。多个参数包含声道间预测增益值。
在特定实施方案中,编码器、发送器及天线集成至移动装置中。在特定实施方案中,编码器、发送器及天线集成至基站装置中。
在特定方面中,方法包含在装置处基于第一音频信号及第二音频信号而产生中间信号。方法还包含在装置处基于第一音频信号及第二音频信号产生侧信号。方法进一步包含在装置处基于第一音频信号、第二音频信号或两者而确定多个参数。方法还包含基于多个参数确定是否欲对侧信号进行编码以进行发送。方法进一步包含在装置处产生对应于中间信号的经编码中间信号。方法还包含在装置处响应于确定欲对侧信号进行编码以进行发送而产生对应于侧信号的经编码侧信号。方法进一步包含从装置起始对应于经编码中间信号、经编码侧信号或两者的位流参数的发送。
在特定实施方案中,方法包含在装置处产生指示是否要对侧信号进行编码以用于发送的译码或预测参数。方法还包含从装置发送译码或预测参数。
在特定方面中,计算机可读存储装置存储指令,指令在由处理器执行时致使处理器执行包含基于第一音频信号及第二音频信号产生中间信号的操作。操作还包含基于第一音频信号及第二音频信号产生侧信号。操作进一步包含基于第一音频信号、第二音频信号或两者而确定多个参数。操作还包含基于多个参数确定是否欲对侧信号进行编码以进行发送。操作进一步包含产生对应于中间信号的经编码中间信号。操作还包含响应于确定欲对侧信号进行编码以进行发送而产生对应于侧信号的经编码侧信号。操作进一步包含起始对应于经编码中间信号、经编码侧信号或两者的位流参数的发送。
在特定实施方案中,多个参数包含时间失配值、时间失配稳定性指示符、声道间增益参数、平滑声道间增益参数、声道间增益可靠性指示符、声道间增益稳定性指示符、语音决策参数、核心类型、瞬态指示符或声道间预测增益值中的至少一者。
在特定方面中,设备包含编码器及发送器。编码器经配置以响应于确定译码或预测参数指示欲对侧信号进行编码以用于发送而产生具有第一值的降混参数。第一值是基于能量量度、相关性量度或两者。能量量度、相关性量度或两者是基于第一音频信号及第二音频信号。编码器还经配置以至少部分地基于确定译码或预测参数指示未对侧信号进行编码以用于发送而产生具有第二值的降混参数。第二值是基于默认降混参数值、第一值或两者。编码器经进一步配置以基于第一音频信号、第二音频信号及降混参数而产生中间信号。编码器还经配置以产生对应于中间信号的经编码中间信号。发送器经配置以发送对应于至少经编码中间信号的位流参数。
在特定实施方案中,编码器经配置以确定第一音频信号的第一能量,确定第二音频信号的第二能量,且基于第一能量与第二能量的比较而确定第一值。在特定实施方案中,编码器经配置以基于第一音频信号、第二音频信号及降混参数而产生侧信号。编码器还经配置以响应于确定译码或预测参数指示欲对侧信号进行编码以用于发送而产生对应于侧信号的经编码侧信号。位流参数还对应于经编码侧信号。
在特定实施方案中,编码器经配置以产生具有在满足准则时进一步调节的第二值的降混参数。编码器经配置以产生具有在不满足准则时进一步调节的第一值的降混参数。
在特定实施方案中,编码器经配置以基于第一音频信号、第二音频信号及第一值而产生第一侧信号。编码器还经配置以基于第一音频信号、第二音频信号及第二值而产生第二侧信号。编码器还经配置以基于第一侧信号的第一能量与第二侧信号的第二能量的比较而确定能量比较值。编码器还经配置以响应于确定能量比较值满足能量阈值而确定满足准则。
在特定实施方案中,编码器经配置以基于时间失配值而选择第一音频信号的第一样本及第二音频信号的第二样本。时间失配值指示第一音频信号与第二音频信号之间的时间失配量。编码器还经配置以基于第一样本与第二样本的比较而确定交叉相关性值。编码器还经配置以响应于确定交叉相关性值满足交叉相关性阈值而确定满足准则。
在特定实施方案中,编码器经配置以响应于确定时间失配值满足失配阈值而确定满足准则。在特定实施方案中,编码器经配置以基于译码器类型、核心类型或语音决策参数中的至少一者而确定是否满足准则。
在特定实施方案中,发送器经配置以发送第一值。在特定实施方案中,发送器经配置以发送降混参数。例如,传送器经配置以响应于确定降混参数的值与默认降混参数值不同而发送降混参数。作为另一实例,发送器经配置以响应于确定降混参数基于解码器处不可用的一或多个参数而传送降混参数。
在特定实施方案中,编码器经配置以进一步基于发声因子而确定第二值。在特定实施方案中,编码器经配置以基于时间失配值而选择第一音频信号的第一样本及第二音频信号的第二样本。时间失配值指示第一音频信号与第二音频信号之间的时间失配量。编码器还经配置以基于第一样本与第二样本的比较而确定交叉相关性值。第二值是基于交叉相关性值。
在特定实施方案中,装置包含耦合至发送器的天线。在特定实施方案中,天线、编码器及发送器集成至移动装置中。在特定实施方案中,天线、编码器及发送器集成至基站中。
在特定方面中,方法包含在装置处响应于确定译码或预测参数指示欲对侧信号进行编码以进行发送而产生具有第一值的降混参数。第一值是基于能量量度、相关性量度或两者。能量量度、相关性量度或两者是基于第一音频信号及第二音频信号。方法还包含在装置处至少部分地基于确定译码或预测参数指示不对侧信号进行编码以进行发送而产生具有第二值的降混参数。第二值是基于默认降混参数值、第一值或两者。方法进一步包含在装置处基于第一音频信号、第二音频信号及降混参数产生中间信号。方法还包含在装置处产生对应于中间信号的经编码中间信号。方法进一步包含从装置起始对应于至少经编码中间信号的位流参数的发送。
在特定实施方案中,方法包含在装置处基于第一音频信号、第二音频信号及降混参数而产生侧信号。方法还包含在装置处响应于确定译码或预测参数指示欲对侧信号进行编码以用于发送而产生对应于侧信号的经编码侧信号。位流参数还对应于经编码侧信号。
在特定方面中,计算机可读存储装置存储指令,指令在由处理器执行时致使处理器执行包含响应于确定译码或预测参数指示欲对侧信号进行编码以进行发送而产生具有第一值的降混参数的操作。第一值是基于能量量度、相关性量度或两者。能量量度、相关性量度或两者是基于第一音频信号及第二音频信号。操作还包含至少部分地基于确定译码或预测参数指示不对侧信号进行编码以进行发送而产生具有第二值的降混参数。第二值是基于默认降混参数值、第一值或两者。操作进一步包含基于第一音频信号、第二音频信号及降混参数而产生中间信号。操作还包含产生对应于中间信号的经编码中间信号。操作进一步包含起始对应于至少经编码中间信号的位流参数的发送。
在特定实施方案中,操作包含基于时间失配值、译码器类型、核心类型或语音决策参数中的至少一者而确定是否满足准则。降混参数具有在满足准则时进一步调节的第二值。
此外,所属领域的技术人员将进一步了解,结合本文中所揭示的方面所描述的各种说明性逻辑块、配置、模块、电路及算法步骤可被实施为电子硬件、由例如硬件处理器的处理装置执行的计算机软件,或两者的组合。各种说明性组件、块、配置、模块、电路及步骤已在上文大体上就其功能方面加以描述。此功能性被实施为硬件还是可执行软件取决于特定应用及强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以变化方式实施所描述功能性,但不应将这些实施决策解释为导致脱离本发明的范围。
结合本文中所揭示的方面所描述的方法或算法的步骤可直接以硬件、由处理器执行的软件模块或两者的组合来体现。软件模块可驻留于存储器装置中,例如随机存取存储器(RAM)、磁阻式随机存取存储器(MRAM)、自旋扭矩转移MRAM(STT-MRAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动磁盘或压缩光盘只读存储器(CD-ROM)。示范性存储器装置耦合至处理器,使得处理器可从存储器装置读取信息及将信息写入至存储器装置。在替代方案中,存储器装置可与处理器成一体。处理器及存储媒体可驻留于专用集成电路(ASIC)中。ASIC可驻留于计算装置或用户终端中。在替代方案中,处理器及存储媒体可作为离散组件驻留于计算装置或用户终端中。
所揭示方面的前述描述经提供以使得所属领域的技术人员能够制作或使用所揭示方面。在不脱离本发明的范围的情况下,对这些方面的各种修改对于所属领域的技术人员来说将易于显而易见,且本文中所定义的原理可应用于其它方面。因此,本发明并不意欲限于本文中所展示的方面,而是欲赋予其与所附权利要求书所定义的原理及新颖特征相一致的最宽广范围。

Claims (30)

1.一种用于译码音频信号的装置,其包括:
接收器,其经配置以接收声道间预测增益参数及经编码音频信号,其中所述经编码音频信号包括经编码中间信号;及
解码器,其经配置以:
基于所述经编码中间信号而产生经合成中间信号;
基于所述经合成中间信号及所述声道间预测增益参数而产生中介经合成侧信号;及
对所述中介经合成侧信号进行滤波以产生经合成侧信号。
2.根据权利要求1所述的装置,其中所述解码器包含经配置以对所述中介经合成侧信号进行滤波以产生所述经合成侧信号的相位分散滤波器。
3.根据权利要求2所述的装置,其中所述相位分散滤波器包括一或多个静止去相关性滤波器、一或多个非静止去相关性滤波器,或其组合。
4.根据权利要求2所述的装置,其中所述相位分散滤波器包括一或多个非线性全通重采样滤波器。
5.根据权利要求1所述的装置,其中所述解码器进一步包含经配置以对所述经合成中间信号执行去强调滤波的去强调滤波器。
6.根据权利要求1所述的装置,其中所述解码器进一步包含经配置以对所述经合成中间信号及所述经合成侧信号进行上采样的上采样器。
7.根据权利要求1所述的装置,其中所述解码器进一步包含不连续性抑制器,所述不连续性抑制器经配置以减少所述经合成侧信号的第一帧与第二经合成侧信号的第二帧之间的不连续性,所述第二经合成侧信号是基于在所述接收器处接收的经编码侧信号而产生。
8.根据权利要求7所述的装置,其中所述不连续性抑制器经配置以使所述经合成侧信号的一或多个帧与所述第二经合成侧信号的一或多个帧交叉淡入淡出。
9.根据权利要求7所述的装置,其中所述不连续性抑制器经配置以:
产生所述第二经合成侧信号的镜像样本;及
针对一或多个帧使所述镜像样本与所述经合成侧信号交叉淡入淡出。
10.根据权利要求7所述的装置,其中所述不连续性抑制器经配置以推迟针对一或多个帧产生所述第二经合成侧信号。
11.根据权利要求1所述的装置,其中所述解码器及所述接收器集成至移动装置中。
12.根据权利要求1所述的装置,其中所述解码器及所述接收器集成至基站中。
13.一种通信方法,其包括:
在第一装置处从第二装置接收声道间预测增益参数及经编码音频信号,其中所述经编码音频信号包括经编码中间信号;
在所述第一装置处基于所述经编码中间信号而产生经合成中间信号;
基于所述经合成中间信号及所述声道间预测增益参数而产生中介经合成侧信号;及
对所述中介经合成侧信号进行滤波以产生经合成侧信号。
14.根据权利要求13所述的方法,其进一步包括减少所述经合成侧信号的第一帧与第二经合成侧信号的第二帧之间的不连续性,所述第二经合成侧信号是基于经编码侧信号而产生,其中所述经编码音频信号包括所述经编码侧信号。
15.根据权利要求14所述的方法,其进一步包括使所述经合成侧信号的一或多个帧与所述第二经合成侧信号的一或多个帧交叉淡入淡出。
16.根据权利要求14所述的方法,其进一步包括:
产生所述第二经合成侧信号的镜像样本;及
针对一或多个帧使所述镜像样本与所述经合成侧信号交叉淡入淡出。
17.根据权利要求13所述的方法,其进一步包括基于所述声道间预测增益参数而设定全通滤波器的至少一个参数的值,其中所述滤波是由所述全通滤波器执行,且其中所述至少一个参数包括延迟参数、增益参数或两者。
18.根据权利要求13所述的方法,其进一步包括:
在所述第一装置处从所述第二装置接收译码模式参数;及
基于指示音乐译码模式的所述译码模式参数而启用全通滤波器的多个级中的每一者,其中所述滤波是由所述全通滤波器执行。
19.根据权利要求18所述的方法,其进一步包括基于指示语音编码模式的所述译码模式参数而停用所述全通滤波器的至少一个级。
20.根据权利要求13所述的方法,其进一步包括:
在所述第一装置处从所述第二装置接收第二声道间预测增益参数;及
处理所述经合成中间信号以产生低频带经合成中间信号及高频带经合成中间信号。
21.根据权利要求20所述的方法,其中产生所述中介经合成侧信号包括:
基于所述低频带经合成中间信号及所述声道间预测增益参数而产生低频带中介经合成侧信号;及
基于所述高频带经合成中间信号及所述第二声道间预测增益参数而产生高频带中介经合成侧信号。
22.根据权利要求21所述的方法,其中产生所述经合成侧信号包括:
使用全通滤波器对所述低频带中介经合成侧信号进行滤波以产生第一经合成侧信号;
调整所述全通滤波器的多个级中的至少一者的至少一个参数;
使用所述全通滤波器对所述高频带中介经合成侧信号进行滤波以产生第二经合成侧信号;及
组合所述第一经合成侧信号及所述第二经合成侧信号以产生所述经合成侧信号。
23.根据权利要求13所述的方法,其中所述第一装置包括移动装置。
24.根据权利要求13所述的方法,其中所述第一装置包括基站。
25.一种计算机可读存储装置,其存储指令,所述指令在由处理器执行时致使所述处理器执行操作,所述操作包括:
从装置接收声道间预测增益参数及经编码音频信号,其中所述经编码音频信号包括经编码中间信号;
基于所述经编码中间信号而产生经合成中间信号;
基于所述经合成中间信号及所述声道间预测增益参数而产生中介经合成侧信号;及
对所述中介经合成侧信号进行滤波以产生经合成侧信号。
26.根据权利要求25所述的计算机可读存储装置,其中所述滤波是由全通滤波器执行,且其中使用所述全通滤波器对所述中介经合成侧信号进行滤波会产生经滤波的中介经合成侧信号。
27.根据权利要求26所述的计算机可读存储装置,其中所述操作进一步包括:
从所述装置接收相关性参数;及
基于所述相关性参数而将所述中介经合成侧信号与所述经滤波的中介经合成侧信号混合以产生所述经合成侧信号。
28.根据权利要求27所述的计算机可读存储装置,其中基于所述相关性参数的减少而使与所述中介经合成侧信号混合的所述经滤波的中介经合成侧信号的量增加。
29.一种用于译码音频信号的设备,其包括:
用于接收声道间预测增益参数及经编码音频信号的装置,其中所述经编码音频信号包括经编码中间信号;
用于基于所述经编码中间信号而产生经合成中间信号的装置;
用于基于所述经合成中间信号及所述声道间预测增益参数而产生中介经合成侧信号的装置;及
用于对所述中介经合成侧信号进行滤波以产生经合成侧信号的装置。
30.根据权利要求29所述的设备,其中所述用于接收所述声道间预测增益参数的装置、所述用于产生所述经合成中间信号的装置、所述用于产生所述中介经合成侧信号的装置及所述用于对所述中介经合成侧信号进行滤波的装置集成至以下各者中的至少一者中:移动电话、基站、通信装置、计算机、音乐播放器、视频播放器、娱乐单元、导航装置、个人数字助理PDA、解码器,或机顶盒。
CN201880063279.4A 2017-10-05 2018-10-01 音频信号的解码 Active CN111149156B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762568719P 2017-10-05 2017-10-05
US62/568,719 2017-10-05
US16/147,208 US10580420B2 (en) 2017-10-05 2018-09-28 Encoding or decoding of audio signals
US16/147,208 2018-09-28
PCT/US2018/053799 WO2019070605A1 (en) 2017-10-05 2018-10-01 DECODING AUDIO SIGNALS

Publications (2)

Publication Number Publication Date
CN111149156A CN111149156A (zh) 2020-05-12
CN111149156B true CN111149156B (zh) 2021-03-19

Family

ID=65993423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880063279.4A Active CN111149156B (zh) 2017-10-05 2018-10-01 音频信号的解码

Country Status (9)

Country Link
US (1) US10580420B2 (zh)
EP (1) EP3692528B1 (zh)
KR (1) KR102208842B1 (zh)
CN (1) CN111149156B (zh)
AU (1) AU2018345331B2 (zh)
BR (1) BR112020006776A2 (zh)
SG (1) SG11202001641VA (zh)
TW (1) TWI725343B (zh)
WO (1) WO2019070605A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10734001B2 (en) * 2017-10-05 2020-08-04 Qualcomm Incorporated Encoding or decoding of audio signals
US10839814B2 (en) * 2017-10-05 2020-11-17 Qualcomm Incorporated Encoding or decoding of audio signals
US10535357B2 (en) * 2017-10-05 2020-01-14 Qualcomm Incorporated Encoding or decoding of audio signals

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1973320A (zh) * 2004-04-05 2007-05-30 皇家飞利浦电子股份有限公司 立体声编码和解码的方法及其设备
CN101053017A (zh) * 2004-11-04 2007-10-10 皇家飞利浦电子股份有限公司 多通道音频信号的编码和解码
WO2011049416A2 (en) * 2009-10-23 2011-04-28 Samsung Electronics Co., Ltd. Apparatus and method encoding/decoding with phase information and residual information
EP2830053A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7835918B2 (en) 2004-11-04 2010-11-16 Koninklijke Philips Electronics N.V. Encoding and decoding a set of signals
CA2754671C (en) * 2009-03-17 2017-01-10 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
EP2323130A1 (en) 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
EP2375409A1 (en) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
IN2014CN01270A (zh) 2011-09-29 2015-06-19 Dolby Int Ab
UA107771C2 (en) 2011-09-29 2015-02-10 Dolby Int Ab Prediction-based fm stereo radio noise reduction
US9384746B2 (en) * 2013-10-14 2016-07-05 Qualcomm Incorporated Systems and methods of energy-scaled signal processing
WO2016007528A1 (en) 2014-07-10 2016-01-14 Analog Devices Global Low-complexity voice activity detection
US10157621B2 (en) 2016-03-18 2018-12-18 Qualcomm Incorporated Audio signal decoding
US10535357B2 (en) * 2017-10-05 2020-01-14 Qualcomm Incorporated Encoding or decoding of audio signals
US10839814B2 (en) * 2017-10-05 2020-11-17 Qualcomm Incorporated Encoding or decoding of audio signals
US10734001B2 (en) * 2017-10-05 2020-08-04 Qualcomm Incorporated Encoding or decoding of audio signals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1973320A (zh) * 2004-04-05 2007-05-30 皇家飞利浦电子股份有限公司 立体声编码和解码的方法及其设备
CN101053017A (zh) * 2004-11-04 2007-10-10 皇家飞利浦电子股份有限公司 多通道音频信号的编码和解码
WO2011049416A2 (en) * 2009-10-23 2011-04-28 Samsung Electronics Co., Ltd. Apparatus and method encoding/decoding with phase information and residual information
EP2830053A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IETF Definition of the Opus Audio Codec;Jm Valin 等;《URL:http://www.rfc-editer.org/rfc/pdfrfc/rfc6716.txt.pdf》;20120901;全文 *

Also Published As

Publication number Publication date
AU2018345331B2 (en) 2021-01-21
KR102208842B1 (ko) 2021-01-27
BR112020006776A2 (pt) 2020-10-06
TWI725343B (zh) 2021-04-21
EP3692528C0 (en) 2023-12-06
SG11202001641VA (en) 2020-04-29
EP3692528A1 (en) 2020-08-12
AU2018345331A1 (en) 2020-03-19
EP3692528B1 (en) 2023-12-06
KR20200040888A (ko) 2020-04-20
WO2019070605A1 (en) 2019-04-11
CN111149156A (zh) 2020-05-12
US20190108846A1 (en) 2019-04-11
US10580420B2 (en) 2020-03-03
TW201923741A (zh) 2019-06-16

Similar Documents

Publication Publication Date Title
KR102230623B1 (ko) 다중의 오디오 신호들의 인코딩
CN111164681B (zh) 音频信号的解码
CN111164680B (zh) 一种用于通信的装置及方法
KR102505148B1 (ko) 다수의 오디오 신호들의 디코딩
CN111149158B (zh) 音频信号的解码
CN110800051B (zh) 具有时域信道间带宽延展的高频带残值预测
AU2018297938B2 (en) Time-domain inter-channel prediction
CN111149156B (zh) 音频信号的解码
CN110447072B (zh) 声道间带宽扩展

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40019169

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant