CN110100280B - 信道间相位差参数的修改 - Google Patents
信道间相位差参数的修改 Download PDFInfo
- Publication number
- CN110100280B CN110100280B CN201780080408.6A CN201780080408A CN110100280B CN 110100280 B CN110100280 B CN 110100280B CN 201780080408 A CN201780080408 A CN 201780080408A CN 110100280 B CN110100280 B CN 110100280B
- Authority
- CN
- China
- Prior art keywords
- channel
- domain
- value
- ipd
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012986 modification Methods 0.000 title description 13
- 230000004048 modification Effects 0.000 title description 13
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000002123 temporal effect Effects 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 24
- 238000009499 grossing Methods 0.000 claims description 4
- 230000005236 sound signal Effects 0.000 description 83
- 230000001364 causal effect Effects 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000003111 delayed effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000009977 dual effect Effects 0.000 description 6
- 239000003607 modifier Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种方法,所述方法包含在解码器处执行基于失配值而修改信道间相位差IPD参数值的至少一部分以产生经修改IPD参数值。所述失配值指示编码器侧参考信道与编码器侧目标信道之间的时间未对准的量。所述经修改IPD参数值在升混运算期间应用于经频域解码中间信道。
Description
相关申请的交叉引用
本申请主张共同拥有的2017年1月19日申请的标题为“多信号译码和信道间参数修改(MULTIPLE SIGNAL CODING AND INTER-CHANNEL PARAMETER MODIFICATION)”的第62/448,297号美国临时专利申请和2017年12月8日申请的标题为“信道间相位差参数的修改(INTER-CHANNEL PHASE DIFFERENCE PARAMETER MODIFICATION)”的第15/836,618号美国非临时专利申请的权益,前述申请中每一者的内容明确地以全文引用的方式并入本文中。
技术领域
本发明大体上涉及多音频信号的编码。
背景技术
技术的进步已带来更小且更强大的计算装置。举例来说,当前存在多种便携式个人计算装置,包含无线电话(例如移动电话及智能电话)、平板计算机及笔记本电脑,所述便携式个人计算装置是小的、轻质的且易于由用户携载。这些装置可经由无线网络传达语音及数据包。另外,许多此类装置并入有额外功能性,例如数字静态相机、数字视频相机、数字记录器及音频文件播放器。而且,此类装置可处理可执行指令,包含软件应用程序,例如可用以接入因特网的网络浏览器应用程序。因而,这些装置可包含显著的计算能力。
计算装置可包含或耦合到多个麦克风以接收音频信号。一般来说,与多个麦克风的第二麦克风相比,声源更接近于第一麦克风。因此,由于麦克风距声源的相应距离,从第二麦克风接收的第二音频信号可相对于从第一麦克风接收的第一音频信号延迟。在其它实施方案中,第一音频信号可相对于第二音频信号延迟。在立体声编码中,来自麦克风的音频信号可经编码以产生中间信道信号及一或多个旁信道信号。中间信道信号可对应于第一音频信号与第二音频信号的总和。旁信道信号可对应于第一音频信号与第二音频信号之间的差。由于接收第二音频信号相对于第一音频信号的延迟,第一音频信号可能不与第二音频信号对准。第一音频信号相对于第二音频信号的未对准可能增大两种音频信号之间的差值。由于差值增大,音频信号的频域版本之间的相位差可能变得较不相关。
发明内容
在特定实施方案中,一种装置包含经配置以接收包含经编码中间信道及立体声参数的经编码位流的接收器。所述立体声参数包含信道间相位差(IPD)参数值及失配值,所述失配值指示编码器侧参考信道与编码器侧目标信道之间的时间未对准的量。所述装置还包含经配置以对所述经编码中间信道进行解码以产生经解码中间信道的中间信道解码器。所述装置进一步包含变换单元,所述变换单元经配置以对所述经解码中间信道执行变换运算以产生经频域解码中间信道。所述装置还包含立体声参数调整单元,所述立体声参数调整单元经配置以基于所述失配值而修改所述IPD参数值的至少一部分以产生经修改IPD参数值。所述装置还包含升混器,所述升混器经配置以对所述经频域解码中间信道执行升混运算以产生频域左信道及频域右信道。所述经修改IPD参数值在所述升混运算期间应用于所述经频域解码中间信道。所述装置还包含第一逆变换单元,所述第一逆变换单元经配置以对频域左信道执行第一逆变换运算以产生时域左信道。所述装置进一步包含第二逆变换单元,所述第二逆变换单元经配置以对所述频域右信道执行第二逆变换运算以产生时域右信道。
在另一特定实施方案中,一种对音频信道进行解码的方法包含在解码器处接收包含经编码中间信道及立体声参数的经编码位流。所述立体声参数包含信道间相位差(IPD)参数值及失配值,所述失配值指示编码器侧参考信道与编码器侧目标信道之间的时间未对准的量。所述方法还包含对所述经编码中间信道进行解码以产生经解码中间信道及对所述经解码中间信道执行变换运算以产生经频域解码中间信道。所述方法进一步包含基于所述失配值而修改所述IPD参数值的至少一部分以产生经修改IPD参数值。所述方法还包含对所述经频域解码中间信道执行升混运算以产生频域左信道及频域右信道。所述经修改IPD参数值在所述升混运算期间应用于所述经频域解码中间信道。所述方法进一步包含对频域左信道执行第一逆变换运算以产生时域左信道及对所述频域右信道执行第二逆变换运算以产生时域右信道。
在另一特定实施方案中,一种非暂时性计算机可读媒体包含指令,所述指令在由解码器内的处理器执行时使得所述处理器执行包含以下各者的操作:对经编码中间信道进行解码以产生经解码中间信道。所述经编码中间信道包含于由所述解码器接收的经编码位流中。所述经编码位流进一步包含包含信道间相位差(IPD)参数值及失配值的立体声参数,所述失配值指示编码器侧参考信道与编码器侧目标信道之间的时间未对准的量。所述操作还包含对所述经解码中间信道执行变换运算以产生经频域解码中间信道。所述操作还包含基于所述失配值而修改所述IPD参数值的至少一部分以产生经修改IPD参数值。所述操作还包含对所述经频域解码中间信道执行升混运算以产生频域左信道及频域右信道。所述经修改IPD参数值在所述升混运算期间应用于所述经频域解码中间信道。所述操作还包含对频域左信道执行第一逆变换运算以产生时域左信道及对所述频域右信道执行第二逆变换运算以产生时域右信道。
在另一特定实施方案中,一种设备包含用于接收包含经编码中间信道及立体声参数的经编码位流的装置。所述立体声参数包含信道间相位差(IPD)参数值及失配值,所述失配值指示编码器侧参考信道与编码器侧目标信道之间的时间未对准的量。所述设备还包含用于对所述经编码中间信道进行解码以产生经解码中间信道的装置及用于对所述经解码中间信道执行变换运算以产生经频域解码中间信道的装置。所述设备进一步包含用于基于所述失配值而修改所述IPD参数值的至少一部分以产生经修改IPD参数值的装置。所述设备还包含用于对所述经频域解码中间信道执行升混运算以产生频域左信道及频域右信道的装置。所述经修改IPD参数值在所述升混运算期间应用于所述经频域解码中间信道。所述设备进一步包含用于对频域左信道执行第一逆变换运算以产生时域左信道的装置及用于对所述频域右信道执行第二逆变换运算以产生时域右信道的装置。
在检阅整个申请之后,本发明的其它实施方案、优势及特征将变得显而易见,所述整个申请包含以下章节:附图说明、具体实施方式及权利要求书。
附图说明
图1是包含可操作以修改信道间相位差(IPD)参数的编码器及可操作以修改IPD参数的解码器的系统的特定说明性实例的框图;
图2是说明图1的编码器的实例的图式;
图3是说明图1的解码器的实例的图式;
图4是确定IPD信息的方法的特定实例;
图5是对位流进行解码的方法的特定实例;
图6是包含可操作以修改IPD参数的编码器及可操作以修改IPD参数的解码器的装置的特定说明性实例的框图;且
图7是包含可操作以修改IPD参数的编码器及可操作以修改IPD参数的解码器的基站的特定说明性实例的框图。
具体实施方式
下文参考图式描述本发明的特定方面。在本说明书中,共同部件由共同参考编号指示。如本文所使用,各种术语仅仅用于描述特定实施方案的目的,且并不打算限制实施方案。举例来说,除非上下文另外明确指示,否则单数形式“一”及“所述”打算同样包含复数形式。可进一步理解,术语“包括”及“包括着”可与“包含”或“包含着”互换使用。另外,应理解,术语“其中(wherein)”可与“在…的情况下(where)”互换使用。如本文所使用,用以修改例如结构、组件、操作等元件的序数术语(例如“第一”、“第二”、“第三”等)本身不指示元件关于另一元件的任何优先权或次序,而是仅将元件与具有相同名称的另一元件区别开(除非使用序数术语)。如本文所使用,术语“组”指代特定元件中的一或多者,且术语“多个”指代特定元件中的多者(例如两者或更多者)。
在本发明中,例如“确定”、“计算”、“移位”、“调整”等术语可用以描述如何执行一或多个操作。应注意,这些术语不应被理解为限制性的且其它技术可用以执行类似操作。另外,如本文中所提及,“产生”、“计算”、“使用”、“选择”、“存取”与“确定”可互换使用。举例来说,“产生”、“计算”或“确定”参数(或信号)可指代积极主动地产生、计算或确定参数(或信号),或可指代使用、选择或存取已例如由另一组件或装置产生的参数(或信号)。
公开了可操作以编码多音频信号的系统及装置。装置可包含经配置以编码多重音频信号的编码器。可使用多个记录装置(例如多个麦克风)同时及时地捕获多个音频信号。在一些实例中,可通过对若干同时或非同时记录的音频信道进行多工来合成地(例如人工地)产生多个音频信号(或多信道音频)。作为说明性实例,音频信道的并行记录或多工可产生2信道配置(即,立体声:左及右)、5.1信道配置(左、右、中央、左环绕、右环绕及低频重音(low frequency emphasis,LFE)信道)、7.1信道配置、7.1+4信道配置、22.2信道配置或N信道配置。
电话会议室(或远程呈现室)内的音频捕获装置可包含获取空间音频的多个麦克风。空间音频可包含语音以及经编码且经传输的背景音频。视如何配置麦克风以及给定来源(例如讲话者)位于相对于麦克风及房间大小的位置而定,来自所述来源(例如讲话者)的话语/音频可在不同时间到达多个麦克风处。举例来说,相比于与装置相关联的第二麦克风,声源(例如讲话者)可更接近与装置相关联的第一麦克风。因此,与第二麦克风相比,从声源发出的声音可更早到达第一麦克风。装置可经由第一麦克风接收第一音频信号,且可经由第二麦克风接收第二音频信号。
中侧(mid-side,MS)译码及参数立体声(parametric stereo,PS)译码为可提供优于双单信道译码技术的经改进性能的立体声译码技术。在双单信道译码中,左(L)信道(或信号)及右(R)信道(或信号)经独立地译码,而不利用信道间相关。在译码之前,通过将左信道及右信道变换为总和信道及差信道(例如旁信道),MS译码减少相关L/R信道对之间的冗余。总和信号及差信号经波形译码或基于MS译码中的模型而译码。总和信号比侧信号耗费相对更多的位。PS译码通过将L/R信号变换为总和信号及一组侧参数来减少每一子带中的冗余。旁参数可指示信道间强度差(inter-channel intensity difference,IID)、信道间相位差(IPD)、信道间时差(inter-channel time difference,ITD)、旁或残余预测增益等。总和信号为经译码的波形且连同旁参数传输。在混合型系统中,可在较低频带(例如小于2千赫兹(kHz))中对旁信道进行波形译码,且可在较高频带(例如大于或等于2kHz)中对旁信道进行PS译码,其中间信道间相位保存在感知上较不关键。在一些实施方案中,PS译码还可在波形译码之前用于较低频带中以减少信道间冗余。
可在频域或子带域中完成MS译码及PS译码。在一些实例中,左信道与右信道可不相关。举例来说,左信道及右信道可包含不相关的合成信号。当左信道与右信道不相关时,MS译码、PS译码或两者的译码效率可接近于双单信道译码的译码效率。
取决于记录配置,可在左信道与右信道之间存在时间移位以及其它空间效应(例如回声及室内回响)。如果并不补偿信道之间的时间移位及相位失配,那么总和信道及差信道可含有减少与MS或PS技术相关的译码增益的可比能量。译码增益的减少可基于时间(或相位)移位的量。总和信号与差信号的可比能量可限制信道经时间移位但高度相关的某些帧中的MS译码的使用。在立体声译码中,中间信道(例如总和信道)及旁信道(例如差信道)可基于以下公式而产生:
M=(L+R)/2,S=(L-R)/2, 公式1
其中M对应于中间信道,S对应于旁信道,L对应于左信道,且R对应于右信道。
在一些状况下,中间信道及旁信道可基于以下公式而产生:
M=c(L+R),S=c(L-R), 公式2
其中c对应于频率相关的复合值。基于式1或式2而产生中间信道及旁信道可被称作“降混”。基于式1或式2而从中间信道及旁信道产生左信道及右信道的相反过程可被称作“升混”。
在一些状况下,中间信道可基于其它公式,例如:
M=(L+gDR)/2或 公式3
M=g1L+g2R 公式4
其中g1+g2=1.0,且其中gD是增益参数。在其它实例中,可在频带中执行降混,其中中(b)=c1L(b)+c2R(b),其中c1及c2是复数,其中旁(b)=c3L(b)-c4R(b),且其中c3及c4是复数。
用以针对特定帧在MS译码或双单信道译码之间进行选择的特别途径可包含:产生中间信号及侧信号,计算中间信号及侧信号的能量,并基于所述能量确定是否执行MS译码。举例来说,可进行MS译码以响应侧信号与中间信号的能量比小于阈值的确定。为了说明,如果右信道移位了第一时间(例如48kHz下约0.001秒或48个样本),那么中间信号的第一能量(对应于左信号与右信号的总和)可与有声语音帧的旁信号的第二能量(对应于左信号与右信号之间的差)相当。当第一能量与第二能量相当时,较高数目的位可用于对旁信道进行编码,由此减少相对于双单信道译码的MS译码的译码性能。当第一能量与第二能量相当时(例如当第一能量与第二能量的比大于或等于阈值时),可因此使用双单信道译码。在替代途径中,可基于左信道与右信道的阈值及归一化交叉相关值的比较来在MS译码与双单信道译码之间决定何者用于特定帧。
在一些实例中,编码器可确定指示第一音频信号与第二音频信号之间的时间未对准的量的失配值。如本文所使用,“时间移位值”、“移位值”与“失配值”可互换使用。举例来说,编码器可确定指示第一音频信号相对于第二音频信号的移位(例如时间失配)的时间移位值。时间失配值可对应于在第一麦克风处第一音频信号的接收与在第二麦克风处第二音频信号的接收之间的时间性延迟的量。此外,编码器可例如基于每一20毫秒(ms)语音/音频帧而在逐帧基础上确定时间失配值。举例来说,时间失配值可对应于第二音频信号的第二帧相对于第一音频信号的第一帧延迟的时间的量。替代地,时间失配值可对应于第一音频信号的第一帧相对于第二音频信号的第二帧延迟的时间的量。
当声源距第一麦克风的距离比距第二麦克风的距离更近时,第二音频信号的帧可相对于第一音频信号的帧而延迟。在此状况下,第一音频信号可被称为“参考音频信号”或“参考信道”且经延迟第二音频信号可被称为“目标音频信号”或“目标信道”。替代地,当声源距离第二麦克风的距离比距第一麦克风的距离更近时,第一音频信号的帧可相对于第二音频信号的帧而延迟。在此状况下,第二音频信号可被称为参考音频信号或参考信道,且经延迟第一音频信号可被称为目标音频信号或目标信道。
视声源(例如讲话者)位于会议室或远程呈现室内的位置及声源(例如讲话者)位置如何相对于麦克风改变而定,参考信道及目标信道可从一个帧改变到另一帧;类似地,时间延迟值还可从一个帧改变到另一帧。然而,在一些实施方案中,时间失配值可始终是正的,以指示“目标”信道相对于“参考”信道的延迟的量。此外,时间失配值可对应于“非因果移位”值,经延迟目标信道通过所述“非因果移位”值在时间上“经拉回”,使得目标信道与“参考”信道对准(例如最大限度地对准)。可对参考信道及非因果移位目标信道执行确定中间信道及旁信道的降混算法。
编码器可基于参考音频信道及应用于目标音频信道的多个时间失配值而确定时间失配值。举例来说,参考音频信道的第一帧X可在第一时间(m1)接收。可在对应于第一时间失配值(例如shift1=n1-m1)的第二时间(n1)处接收目标音频信道的第一特定帧Y。另外,可在第三时间(m2)处接收参考音频信道的第二帧。可在对应于第二时间失配值(例如shift2=n2-m2)的第四时间(n2)处接收目标音频信道的第二特定帧。
装置可以第一采样速率(例如32kHz采样速率(即,640个样本每帧))进行成帧或缓冲算法,以产生帧(例如20ms样本)。为响应第一音频信号的第一帧及第二音频信号的第二帧同时到达装置的确定,编码器可估计如等于0样本的时间失配值(例如shift1)。可在时间上对准左信道(例如对应于第一音频信号)及右信道(例如对应于第二音频信号)。在一些状况下,即使当对准时,左信道及右信道可归因于各种原因(例如麦克风校准)在能量方面存在不同。
在一些实例中,左信道及右信道可由于各种原因(例如与麦克风中的另一者相比,例如讲话者的声源可更接近麦克风中的一者,且两个麦克风相隔距离可大于阈值(例如1到20厘米)距离)在时间上不对准。声源相对于麦克风的位置可在左信道及右信道中引入不同延迟。另外,在左信道与右信道之间可存在增益差、能量差或电平差。
在一些实例中,在存在超过两个信道的情况下,参考信道最初基于信道的电平或能量而被选择,且随后基于不同信道对之间的时间失配值(例如t1(ref,ch2),t2(ref,ch3),t3(ref,ch4),…t3(ref,chN))而被改进,其中ch1是最初参考信道且t1(.)、t2(.)等为估计失配值的函数。如果所有时间失配值是正的,那么ch1被视为参考信道。如果失配值中的任一者是负值,那么参考信道经重配置成与产生负值的失配值相关联的信道且上述过程继续直到实现参考信道的最优选选择(即,基于最大限度地去相关最大数目的旁信道)为止。滞后可用于克服参考信道选择中的任何急剧变化。
在一些实例中,当多个讲话者交替地讲话时(例如在不重叠的情况下),音频信号从多个声源(例如讲话者)到达麦克风的时间可变化。在此状况下,编码器可基于讲话者动态地调整时间失配值以识别参考信道。在一些其它实例中,多个讲话者可同时讲话,取决于哪个讲话者最大声、距麦克风最近等,这可产生变化时间失配值。在此状况下,参考及目标信道的识别可基于当前帧中的变化的时间移位值及先前帧中的经估计时间失配值,及第一及第二音频信号的能量或时间演进。
在一些实例中,当两种信号可能展示较少(例如无)相关时,可合成或人工产生第一音频信号及第二音频信号。应理解,本文所描述的实例是说明性的且可在类似或不同情境中确定第一音频信号与第二音频信号之间的关系中具指导性。
编码器可基于第一音频信号的第一帧与第二音频信号的多个帧的比较而产生比较值(例如差值或交叉相关值)。所述多个帧中的每一帧可对应于特定时间失配值。编码器可基于比较值产生第一经估计时间失配值。举例来说,第一估计时间失配值可对应于指示第一音频信号的第一帧与第二音频信号的对应第一帧之间较高时间类似性(或较低差)的比较值。
编码器可通过在多个阶段中优化一系列经估计时间失配值来确定最终时间失配值。举例来说,编码器可首先基于从第一音频信号及第二音频信号的立体声经预处理及经重新采样版本产生的比较值而估计“暂定”时间失配值。编码器可产生与接近于经估计“暂定”时间失配值的时间失配值相关联的经内插比较值。编码器可基于经内插的比较值确定第二经估计“内插”时间失配值。举例来说,第二经估计“内插”时间失配值可对应于指示比剩余经内插的比较值及第一经估计“暂定”时间失配值更高的时间类似性(或较低差)的特定内插比较值。如果当前帧(例如第一音频信号的第一帧)的第二经估计“内插”时间失配值与前一帧(例如先于第一帧的第一音频信号的帧)的最终时间失配值不同,那么当前帧的“内插”时间失配值经进一步“修正”以改进第一音频信号与经移位第二音频信号之间的时间类似性。具体来说,第三经估计“修正”时间失配值可通过查究当前帧的第二经估计“内插”时间失配值及前一帧的最终经估计时间失配值来对应于时间类似性的更准确度量。第三经估计“修正”时间失配值经进一步调节以通过限制帧之间的时间失配值中的任何伪改变来估计最终时间失配值,且受进一步控制以不在如本文中所描述的两个连续(或相连)帧中从负时间失配值切换到正时间失配值(或反之亦然)。
在一些实例中,编码器可节制在相连帧中或在邻近帧中在正时间失配值与负时间失配值之间切换或反之亦然。举例来说,编码器可将最终时间失配值设定成特定值(例如0),所述特定值基于第一帧的经估计“内插”或“修正”时间失配值及先于第一帧的特定帧中的对应经估计“内插”或“修正”或最终时间失配值而指示无时间移位。为了说明,为响应当前帧的经估计“暂定”或“内插”或“修正”时间失配值中的一者为正的且前一帧(例如前于第一帧的帧)的经估计“暂定”或“内插”或“修正”或“最终”估计时间失配值中的另一者为负的确定,编码器可设定当前帧(例如第一帧)的最终时间失配值以指示无时间移位,即shift1=0。替代地,为响应当前帧的经估计“暂定”或“内插”或“修正”时间失配值中的一者为负的且前一帧(例如前于第一帧的帧)的经估计“暂定”或“内插”或“修正”或“最终”估计时间失配值中的另一者为正的确定,编码器还可设定当前帧(例如第一帧)的最终时间失配值以指示无时间移位,即shift1=0。
编码器可基于时间失配值而将第一音频信号或第二音频信号的帧选作“参考”或“目标”。举例来说,响应于确定了最终时间失配值是正的,编码器可产生具有第一值(例如0)的参考信道或信号指示符,第一值指示第一音频信号是“参考”信号且第二音频信号是“目标”信号。替代地,响应于确定了最终时间失配值是负的,编码器可产生具有第二值(例如1)的参考信道或信号指示符,第二值指示第二音频信号是“参考”信号且第一音频信号是“目标”信号。
编码器可估计与参考信号及非因果经移位目标信号相关联的相对增益(例如相对增益参数)。举例来说,响应于确定了最终时间失配值是正的,编码器可估计增益值以归一化或均衡第一音频信号相对于第二音频信号的按非因果时间失配值(例如最终时间失配值的绝对值)偏移的振幅或功率电平。替代地,响应于确定了最终时间失配值是负的,编码器可估计增益值以归一化或均衡非因果经移位第一音频信号相对于第二音频信号的振幅或功率电平。在一些实例中,编码器可估计增益值以归一化或均衡“参考”信号相对于非因果经移位“目标”信号的幅度或功率电平。在其它实例中,编码器可基于相对于目标信号(例如未移位目标信号)的参考信号估计增益值(例如相对增益值)。
编码器可基于参考信号、目标信号、非因果时间失配值及相对增益参数而产生至少一个经编码信号(例如中间信号、旁信号或两者)。在其它实施方案中,编码器可基于参考信道及经时间失配调整目标信道而产生至少一个经编码信号(例如中间信道、旁信道或两者)。侧信号可对应于第一音频信号的第一帧的第一样本与第二音频信号的所选择帧的所选择样本之间的差。编码器可基于最终时间失配值选择所选帧。由于第一样本与所选样本之间的减小的差,相比于对应于第二音频信号的与第一帧同时由装置接收到的帧的第二音频信号的其它样本,更少的位可用于对旁信道信号进行编码。装置的传输器可传输至少一个经编码信号、非因果时间失配值、相对增益参数、参考信道或信号指示符或其组合。
编码器可基于参考信号、目标信号、非因果时间失配值、相对增益参数、第一音频信号的特定帧的低频带参数、特定帧的高频带参数或其组合而产生至少一个经编码信号(例如中间信号、旁信号或两者)。特定帧可先于第一帧。来自一或多个前面的帧的某些低频带参数、高频带参数或其组合可用于对第一帧的中间信号、旁信号或两者进行编码。基于低频带参数、高频带参数或其组合对中间信号、旁信号或两者进行编码可改进非因果时间失配值及信道间相对增益参数的估计值。低频带参数、高频带参数或其组合可包含音调参数、语音参数、译码器类型参数、低频带能量参数、高频带能量参数、倾角参数、音调增益参数、FCB增益参数、译码模式参数、语音活动参数、噪声评估参数、信噪比参数、共振峰参数、话语/音乐决策参数、非因果移位、信道间增益参数或其组合。装置的传输器可传输至少一个经编码信号、非因果时间失配值、相对增益参数、参考信道(或信号)指示符或其组合。在本发明中,例如“确定”、“计算”、“移位”、“调整”等术语可用以描述如何执行一或多个操作。应注意,这些术语不应被理解为限制性的且其它技术可用以执行类似操作。
参看图1,公开了系统的特定说明性实例且通常将所述系统指定为100。系统100包含经由网络120以通信方式耦合到第二装置106的第一装置104。网络120可包含一或多个无线网络、一或多个有线网络或其组合。
第一装置104包含编码器114、传输器110及一或多个输入接口112。输入接口112中的第一输入接口耦合到第一麦克风146,且输入接口112中的第二输入接口耦合到第二麦克风148。关于图2描述编码器114的架构的非限制性实例。第二装置106包含接收器115及解码器118。关于图3描述解码器118的架构的非限制性实例。第二装置106耦合到第一扩音器142且耦合到第二扩音器144。
在操作期间,第一装置104经由第一输入接口从第一麦克风146接收参考信道130(例如第一音频信号),且经由第二输入接口从第二麦克风148接收目标信道132(例如第二音频信号)。参考信道130对应于左信道或右信道中的一者,且目标信道132对应于左信道或右信道中的另一者。与第二麦克风148相比,声源152(例如用户、扬声器、环境噪声、乐器等)可更接近第一麦克风146。因此,相比于经由第二麦克风148,来自声源152的音频信号可在较早时间经由第一麦克风146在输入接口112处接收。经由多个麦克风的多信道信号获取中的此固有延迟可在参考信道130与目标信道132之间引入时间未对准。因此,目标信道132可经调整(例如在时间上经移位)以与参考信道130大体上对准。
编码器114经配置以确定指示参考信道130与目标信道132之间的时间未对准的量的失配值116(例如非因果移位值)。根据一个实施方案,失配值116在时域中指示时间未对准的量。根据另一实施方案,失配值116在频域中指示时间未对准的量。编码器114经配置以按失配值116调整目标信道132以产生经调整目标信道134。因为按失配值116调整了目标信道132,所以经调整目标信道134与参考信道130大体上对准。
编码器114经配置以基于经调整目标信道134及参考信道130的频域版本而估计立体声参数162。根据一个实施方案,失配值116包含于立体声参数162中。立体声参数162还包含信道间相位差(IPD)参数值164及信道间时差(ITD)参数值166。根据一个实施方案,失配值116与ITD参数值166类似(例如值相同)。IPD参数值164可在逐频带基础上指示信道130、134之间的相位差。
根据一个实施方案,编码器114基于时间失配值116而修改IPD参数值164以产生经修改IPD参数值165。举例来说,响应于失配值116的绝对值满足阈值的确定,编码器114可修改IPD参数值164以产生经修改IPD参数值165。是否应修改IPD参数值164的确定可基于短期及长期IPD值。
根据一个实施方案,编码器114将IPD参数值164中的一或多者设定成零以产生经修改IPD参数值165。根据另一实施方案,编码器114在时间上平滑(smooth)IPD参数值164中的一或多者以产生经修改IPD参数值165。
为了说明,编码器114可基于失配值116而确定IPD信息。IPD信息可指示应如何修改IPD参数值164,且IPD参数值164可指示在不同频带(b)下参考信道130的频域版本与经调整目标信道134的频域版本之间的相位差。根据一个实施方案,修改IPD参数值164包含将IPD参数值164中的一或多者设定成零值(或其它增益值)。根据另一实施方案,修改IPD参数值164可包含在时间上平滑IPD参数值164中的一或多者。根据一个实施方案,修改使用残余译码的IPD参数值(例如具有较低频带(b)的IPD参数),且具有较高频带的IPD参数值不变。
编码器114可确定失配值116是否满足第一失配阈值(例如上失配阈值)。如果编码器114确定失配值116满足(例如大于)第一失配阈值,那么编码器114经配置以针对与经调整目标信道134的频域版本相关联的每一频带(b)而修改IPD参数值164。因此,如果信道130、132之间的时间未对准是大的(例如大于第一失配阈值),那么使目标信道132移位以改进目标信道130与参考信道132的时间对准可使得在移位之后产生的IPD参数值在一个帧与下一帧之间具有大的变化。举例来说,目标信道132的时间移位可使目标信道132移位远大于可由IPD参数值164指示的时间距离。为了说明,IPD参数值164可指示来自-pi到pi范围的值。然而,时间移位可大于所述范围。因此,如果失配值116大于第一失配阈值,那么编码器114可确定IPD参数值164不具有特定相关性。结果,IPD参数值164可设定成零值(或在若干帧内在时间上经平滑)。
编码器114还可确定失配值116是否满足第二失配阈值(例如下失配阈值)。如果编码器114确定失配值116未能满足(例如小于)第二失配阈值,那么编码器114经配置以绕过对IPD参数值164的修改。因此,如果信道130、132之间的时间未对准是小的(例如小于第二失配阈值),那么使目标信道132移位以改进目标信道130与参考信道132的时间对准可使得在移位之后产生的IPD参数值164在一个帧与下一帧之间具有小的变化。结果,由IPD参数值164指示的变化可具有更大的显著性,且每一频带(b)的IPD参数值164可保持不变。
编码器114可响应于失配值116未能满足第一失配阈值的第一确定及响应于失配值116满足第二失配阈值的确定而修改与目标信道132的频域版本相关联的频带(b)的子集的IPD参数值164。根据一个实施方案,可响应于失配值116未能满足第一失配阈值且满足第二失配阈值而针对与残余译码相关联的频带(b)来修改IPD参数值164(例如设定成零或在时间上平滑)。根据另一实施方案,可响应于失配值116未能满足第一失配阈值且满足第二失配阈值而修改用于选择频带(b)的IPD参数值164。
编码器114经配置以使用IPD参数值164、经修改IPD参数值165等来对经调整目标信道134(或经调整目标信道134的频域版本)及参考信道130(或参考信道130的频域版本)执行升混运算。举例来说,编码器114可至少部分地基于升混运算而产生中间信道262及旁信道264。关于图2更详细地描述中间信道262及旁信道264的产生。编码器114经进一步配置以对中间信道262进行编码以产生经编码中间信道340,且编码器经配置以对旁信道264进行编码以产生经编码旁信道342。
位流248(例如经编码位流)包含经编码中间信道340、经编码旁信道342及立体声参数162。根据一个实施方案,经修改IPD参数值165不包含于位流248中,且解码器118调整IPD参数值164以产生经修改IPD参数值(如关于图3所描述)。根据另一实施方案,经修改IPD参数值165包含于位流248中。传输器110经配置以经由网络120将位流248传输到第二装置106。
接收器115经配置以接收位流248。如关于图3所描述,解码器118经配置以执行位流248的解码操作组件以产生左信道126及右信道128。一或多个扬声器经配置以输出左信道126及右信道128。举例来说,第二装置106可经由第一扩音器142输出左信道126,且第二装置106可经由第二扩音器144输出右信道128。在替代性实例中,左信道126及右信道128可作为立体声信号对传输到单个输出扩音器。
系统100可基于失配值116而修改IPD参数以在解码阶段期间减少伪影。举例来说,为了减少可由对不包含相关信息的IPD参数值进行解码引起的伪影的引入,编码器114可产生指示编码器114是否应修改(例如在时间上平滑)IPD参数、指示应修改哪些IPD参数等的IPD信息(例如一或多个旗标、具有预定义模式的IPD参数值、在低频带中设定成零的IPD参数值)。
参看图2,展示说明编码器114A的特定实施方案的图式。编码器114A可对应于图1的编码器114。编码器114A包含变换单元202、立体声参数估计器206、降混器、立体声参数调整单元11、逆变换单元213、中间信道编码器216、旁信道编码器210、旁信道修改器230、逆变换单元232及多路复用器252。
参考信道130及经调整目标信道134被提供到变换单元202。通过以失配值116使目标信道132移位(例如非因果地移位)来产生经调整目标信道134。编码器114A可基于失配值116而确定是否应对目标信道132执行时间移位运算,且可确定译码模式以产生经调整目标信道134。在一些实施方案中,如果失配值116未用以使目标信道132在时间上移位,那么经调整目标信道134可与目标信道132的时间移位相同。
变换单元202经配置以对参考信道130执行第一变换运算以产生频域参考信道258,且变换单元202经配置以对经调整目标信道134执行第二变换运算以产生经频域调整目标信道256。变换运算可包含离散傅里叶变换(Discrete Fourier Transform,DFT)运算、快速傅里叶变换(Fast Fourier Transform,FFT)运算等。根据一些实施方案,正交镜像滤波器组(Quadrature Mirror Filterbank,QMF)运算(使用滤波器组,例如复杂低延迟滤波器组)可用于将输入信号(例如参考信道130及经调整目标信道134)分裂成多个子频带。编码器114A可经配置以基于第一时间移位操作而确定是否应在变换域中对经频域调整目标信道256执行第二时间移位(例如非因果)运算,以产生经频域调整目标信道256的经修改版本。
频域参考信道258及经频域调整目标信道256提供到立体声参数估计器206。立体声参数估计器206经配置以基于频域参考信道258及经频域调整目标信道256而提取(例如产生)立体声参数162。举例来说,IID(b)可取决于频带(b)中的左信道的能量EL(b)及频带(b)中的右信道的能量ER(b)。举例来说,IID(b)可表达为20×log10(EL(b)/ER(b))。在编码器处估计且传输的IPD可提供在频带(b)中的左信道与右信道之间的相位差在频域中的相位差值的估计。立体声参数162可包含额外(或替代)参数,例如ICC、ITD等。立体声参数162可传输到图1的第二装置106且可提供到降混器207。降混器207包含中间信道产生器212及旁信道产生器208。在一些实施方案中,立体声参数162被提供到旁信道编码器210。
立体声参数162还被提供到立体声参数调整单元111。立体声参数调整单元111经配置以基于失配值116而修改IPD参数值164(例如立体声参数162)以产生经修改IPD参数值165。另外地或替代性地,立体声参数调整单元111经配置以确定待应用于残余信道(例如旁信道264)的残余增益(例如残余增益值)。在一些实施方案中,立体声参数调整单元111还可确定IPD旗标(未展示)的值。IPD旗标的值指示一或多个频带的IPD参数值是否应被忽略或置零。举例来说,当IPD旗标经确证时,一或多个频带的IPD参数值可被忽略或置零。立体声参数调整单元111可向降混器207(例如旁信道产生器208)及旁信道修改器230提供IPD信息(例如经修改IPD参数值165、IPD参数值164、IPD旗标或其组合)。
频域参考信道258及经频域调整目标信道256被提供到降混器207。根据一些实施方案,立体声参数162被提供到中间信道产生器212。降混器207的中间信道产生器212经配置以基于频域参考信道258及经频域调整目标信道256而产生频域中间信道Mfr(b)266。根据一些实施方案,还基于立体声参数162而产生频域信道266。
频域中间信道Mfr(b)266从中间信道产生器212提供到逆变换单元213(例如DFT合成器)及旁信道修改器230。逆变换单元213经配置以对频域中间信道266执行逆变换运算以产生中间信道262(例如时域中间信道)。逆变换运算可包含离散傅里叶逆变换(InverseDiscrete Fourier Transform,IDFT)运算、离散余弦逆变换(Inverse Discrete CosineTransform,IDCT)运算等。根据一个实施方案,逆变换单元213合成频域中间信道266以产生中间信道262。中间信道262提供到中间信道编码器216。中间信道编码器216经配置以对中间信道262进行编码以产生经编码中间信道340。经编码中间信道340被提供到多路复用器252。
降混器207的旁信道产生器208经配置以基于频域参考信道258、经频域调整目标信道256、立体声参数162及经修改IPD参数值165而产生频域旁信道Sfr(b)270。在频域旁信道270的每一频带(例如区间)中,增益参数(g)可不同且可基于信道间电平差(例如基于立体声参数162)。举例来说,频域旁信道270可表达为(Lfr(b)-c(b)×Rfr(b))/(1+c(b)),其中c(b)可以是ILD(b)或取决于ILD(b)(例如c(b)=10^(ILD(b)/20))。频域旁信道270被提供到旁信道修改器230。旁信道修改器230经修改IPD参数值165。旁信道修改器230经配置以基于频域旁信道270、频域中间信道266及经修改IPD参数值165而产生经修改旁信道268(例如经频域修改旁信道)。
逆变换单元232经配置以对经修改旁信道268执行逆变换运算以产生旁信道264(例如时域旁信道)。逆变换运算可包含IDFT运算、IDCT运算等。根据一个实施方案,逆变换单元232合成经修改旁信道268以产生旁信道264。旁信道264被提供到旁信道编码器210。响应于残余译码启用信号254启动旁信道编码器210,旁信道编码器210经配置以对旁信道264进行编码以产生经编码旁信道342。如果残余译码启用信号254指示停用了残余编码,那么旁信道编码器210可不针对一或多个频带而产生经编码旁信道342。
经编码中间信道340、经编码旁信道342及立体声参数162提供到多路复用器252。多路复用器252经配置以基于经编码中间信道340、经编码旁信道342及立体声参数162而产生位流248。
编码器114A可基于失配值116而修改IPD参数以在解码阶段期间减少伪影。举例来说,为了减少可由对不包含相关信息的IPD参数值进行解码引起的伪影的引入,编码器114A可产生指示编码器114A是否应修改(例如在时间上平滑)IPD参数、指示应修改哪些IPD参数等的IPD信息(例如一或多个旗标、具有预定义模式的IPD参数值、在低频带中设定成零的IPD参数值)。
参看图3,展示了说明解码器118A的特定实施方案的图式。解码器118A可对应于图1的解码器118。解码器118A包含中间信道解码器302、旁信道解码器304、变换单元306、变换单元308、升混器310、立体声参数调整单元312、逆变换单元318、逆变换单元320及信道间对准单元322。
位流248被提供到解码器118A,且解码器118A经配置以对位流248的部分进行解码以产生左信道126及右信道128。位流248包含经编码中间信道340、经编码旁信道342及立体声参数162。根据一个实施方案,解复用器(未展示)可从位流248提取经编码中间信道340、经编码旁信道342及立体声参数162。经编码中间信道340被提供到中间信道解码器302,经编码旁信道342经旁信道解码器304,且立体声参数162被提供到立体声参数调整单元312。立体声参数162至少包含IPD参数值164、ITD参数值166及失配值116。
中间信道解码器302经配置以对经编码中间信道340进行解码以产生经解码中间信道344(例如时域中间信道mCODED(t))。经解码中间信道344被提供到变换单元306。变换单元306经配置以对经解码中间信道344执行变换运算以产生经频域解码中间信道348。变换运算可包含离散余弦变换(DCT)运算、离散傅里叶变换(DFT)运算、快速傅里叶变换(FFT)运算等。经频域解码中间信道348被提供到升混器310。
旁信道解码器304经配置以对经编码旁信道342进行解码以产生经解码旁信道346。经解码旁信道346被提供到变换单元308。变换单元308经配置以对经解码旁信道346执行第二变换运算以产生经频域解码旁信道350。第二变换运算可包含DCT运算、DFT运算、FFT运算等。经频域解码旁信道350还被提供到升混器310。尽管说明了经编码旁信道342的解码操作,但在一个实施方案中,解码器118A可接收指示解码器118A是应处理还是忽略一或多个频带的残余信号信息的IPD旗标。因此,当IPD旗标指示应忽略一或多个频带的残余信息时,可绕过(针对一或多个频带)经编码旁信道342的解码操作。
经编码成位流248的立体声参数162被提供到立体声参数调整单元312。立体声参数调整单元312包含比较单元314及修改单元316。比较单元314经配置以比较失配值116的绝对值与阈值。修改单元316经配置以响应于失配值116的绝对值满足(例如大于)阈值的确定修改IPD参数值164的至少一部分以产生经修改IPD参数值352。为了说明,对是否应修改IPD参数值352的确定可使用以下假码来表达:
作为非限制性实例,修改单元316可通过将IPD参数值164中的一或多者设定成零值来产生经修改IPD参数值352。作为另一非限制性实例,修改单元316可通过在时间上平滑IPD参数值164中的一或多者来产生经修改IPD参数值352。经修改IPD参数值352被提供到升混器310。根据一个实施方案,立体声参数调整单元312经配置以基于经编码旁信道342的可用性而修改IPD参数值164。根据另一实施方案,立体声参数调整单元312经配置以基于与位流248相关联的位速率而修改IPD参数值164。
根据另一实施方案,立体声参数调整单元312经配置以基于发声参数、与先前帧相关联的包损耗确定、语音/音乐分类或另一参数而修改IPD参数值164。作为非限制性实例,响应于前一帧在传输中丢失的确定,立体声参数调整单元312可修改IPD参数值164以产生经修改IPD参数值352。
升混器310经配置以对经频域解码中间信道348执行升混运算以产生频域左信道354及频域右信道356。经修改IPD参数值352及其它立体声参数162(例如ILD、残余预测增益等)在升混运算期间应用于经频域解码中间信道348。根据一些实施方案,升混器310对经频域解码中间信道348及经频域解码旁信道350执行升混运算以产生频域信道354、356。在此情境下,经修改IPD参数值352在升混运算期间应用于经频域解码中间信道348及经频域解码旁信道350。频域左信道354被提供到逆变换单元318,且频域右信道356被提供到逆变换单元320。
逆变换单元318经配置以对频域左信道354执行第一逆变换运算以产生时域左信道358。举例来说,第一逆变换运算可包含离散余弦逆变换(IDCT)运算、离散傅里叶逆变换(IDFT)运算、快速傅里叶逆变换(IFFT)运算等。根据一个实施方案,逆变换单元318经配置以对频域左信道354执行合成开窗操作以产生时域左信道358。时域左信道358被提供到信道间对准单元322。逆变换单元320经配置以对频域右信道356执行第二逆变换运算以产生时域右信道360。举例来说,第二逆变换运算可包含IDCT运算、IDFT运算、IFFT运算等。根据一个实施方案,逆变换单元320经配置以对频域右信道356执行合成开窗操作以产生时域右信道368。时域右信道360还被提供到信道间对准单元322。
立体声参数162的ITD参数值166被提供到信道间对准单元322。根据图3的所说明实例,立体声参数调整单元312将ITD参数值166提供到信道间对准单元322。在其它实施方案中,ITD参数值166被直接提供到信道间对准单元322。根据一个实施方案,信道间对准单元322经配置以基于ITD参数值166而调整时域右信道360,以产生右信道128及将时域左信道358作为左信道126传递。根据一个实施方案,信道间对准单元322经配置以基于ITD参数值166而调整时域左信道358,以产生左信道126及将时域右信道360作为右信道128传递。
解码器118A可产生相比于产生为不具有经修改IPD参数值352的信道具有减少的伪影的信道126、128。举例来说,为了减少可由对不包含相关信息的IPD参数值(例如IPD参数值164)进行解码引起的伪影的引入,解码器118A可修改IPD参数值164以在时间上平滑可另外引起伪影的不相关IPD参数值164。
参考图4,展示确定IPD信息的方法400。方法400可由图1的第一装置104、图2的编码器114A或其组合执行。
方法400包含在402处在编码器处对参考信道执行第一变换运算以产生频域参考信道。举例来说,参看图2,变换单元202对参考信道130执行第一变换运算以产生频域参考信道258。
方法400还包含在404处对目标信道的经调整版本执行第二变换运算以产生经频域调整目标信道。举例来说,参看图2,变换单元202对经调整目标信道134(例如基于失配值116的目标信道132的经调整版本)执行第二变换运算以产生经频域调整目标信道256。
方法400还包含在406处确定指示参考信道与目标信道之间的时间未对准的量的失配值。举例来说,参考图1,编码器114确定指示参考信道130与目标信道132之间的时间未对准的量的失配值116。
方法400还包含在408处基于失配值而确定IPD信息。IPD信息指示应修改IPD参数的至少一部分,且IPD参数指示在不同频带下频域参考信道与经频域调整目标信道之间的相位差。举例来说,参看图2,立体声参数调整单元111基于失配值116而确定IPD参数值164的待修改的至少一部分。
根据一个实施方案,方法400包含将IPD参数值164中的一或多者设定成零值以修改IPD参数值164。根据一个实施方案,方法400包含在时间上平滑IPD参数值164中的一或多者以修改IPD参数值164。根据一个实施方案,方法400包含确定失配值116满足第一失配阈值。方法400还可包含响应于确定失配值116满足第一失配阈值而修改与经频域调整目标信道256相关联的每一频带的IPD参数值164。根据一个实施方案,方法400包含确定失配值116未能满足第二失配阈值。方法400还可包含响应于失配值116未能满足第二失配阈值的确定而绕过修改IPD参数值164。
根据一个实施方案,方法400包含确定失配值116未能满足第一失配值及确定失配值116满足第二失配值。方法400还可包含响应于确定失配值116未能满足第一失配阈值及响应于确定失配值116满足第二失配阈值而修改与经频域调整目标信道256相关联的频带的子集的IPD参数值164。
方法400还包含在410处基于IPD信息而传输位流。举例来说,参看图1,传输器110可将位流传输到第二装置106。
图4的方法400可基于失配值116而修改IPD参数值,以在解码阶段期间减少伪影。举例来说,为了减少可由对不包含相关信息的IPD参数值进行解码引起的伪影的引入,方法400可使得能够产生指示编码器114A是否应修改(例如在时间上平滑)IPD参数、指示应修改哪些IPD参数等的IPD信息(例如一或多个旗标、具有预定义模式的IPD参数值、在低频带中设定成零的IPD参数值)。
参考图5,展示对位流进行解码的方法500。方法400可由图1的第二装置106、图3的解码器300或其组合执行。
方法500包含在502处在解码器处接收包含经编码中间信道及立体声参数的经编码位流。立体声参数包含IPD参数值及指示编码器侧参考信道与编码器侧目标信道之间的时间未对准的量的失配值。举例来说,参看图1,接收器115接收包含经编码中间信道340、经编码旁信道342及立体声参数162的位流248。
方法500还包含在504处对经编码中间信道进行解码以产生经解码中间信道。举例来说,参看图3,中间信道解码器302对经编码中间信道340进行解码以产生经解码中间信道344。方法500还包含在506处对经解码中间信道执行变换运算以产生经频域解码中间信道。举例来说,参看图3,变换单元306对经解码中间信道344执行变换运算以产生经频域解码中间信道348。
方法500还包含在508处基于失配值而修改IPD参数值的至少一部分以产生经修改IPD参数值。举例来说,参看图3,比较单元314比较失配值116的绝对值与阈值。修改单元316响应于失配值116的绝对值满足(例如大于)阈值的确定而修改IPD参数值164的至少一部分以产生经修改IPD参数值352。
方法500还包含在510处对经频域解码中间信道执行升混运算以产生频域左信道及频域右信道。经修改IPD参数在升混运算期间应用于经频域解码中间信道。举例来说,参看图3,升混器310在升混过程期间将经修改IPD参数值应用于经频域解码中间信道348以产生频域左信道354及频域右信道356。
方法500包含在512处对频域左信道执行第一逆变换运算以产生时域左信道。举例来说,参看图3,逆变换单元318对频域左信道354执行第一逆变换运算以产生时域左信道358。方法500还包含在514处对频域右信道执行第二逆变换运算以产生时域右信道。举例来说,参看图3,逆变换单元520对频域右信道356执行第二逆变换运算以产生时域右信道360。
方法500还包含在516处输出左信道或右信道中的至少一者。左信道与时域左信道相关联,且右信道与时域右信道相关联。举例来说,参看图1,第一扩音器142输出与时域左信道358相关联的左信道126,且第二扩音器144输出与时域右信道360相关联的右信道128。
图5的方法500可使得能够产生相比于产生为不具有经修改IPD参数值352的信道具有减少的伪影的信道126、128。举例来说,为了减少可由对不包含相关信息的IPD参数值(例如IPD参数值164)进行解码引起的伪影的引入,解码器118A可修改IPD参数值164以在时间上平滑可另外引起伪影的不相关IPD参数值164。
参看图6,描绘了装置(例如无线通信装置)的特定说明性实例的框图,且通常将所述装置指定为600。在各种实施方案中,与图6中所说明相比,装置600可具有更少或更多组件。在说明性实施方案中,装置600可对应于图1的第一装置104、图1的第二装置106或其组合。在说明性实施方案中,装置600可执行参考图1到5的系统及方法所描述的一或多个操作。
在特定实施方案中,装置600包含处理器606(例如中央处理单元(centralprocessing unit,CPU))。装置600包含一或多个额外处理器610(例如一或多个数字信号处理器(digital signal processor,DSP))。处理器610可包含媒体(例如语音及音乐)编解码器(CODEC)608及回声消除器612。媒体CODEC 608包含解码器118A及编码器114A。编码器114A包含立体声参数调整单元111,且解码器118A包含立体声参数调整单元312。
装置600包含存储器153及CODEC 634。尽管媒体CODEC 608说明为处理器610的组件(例如专用电路及/或可执行程序代码),但在其它实施方案中,媒体CODEC 608的一或多个组件(例如解码器118A、编码器114A或其组合)可包含于处理器606、CODEC 634、另一处理组件或其组合中。
装置600包含传输器110及接收器115。传输器110及接收器115耦合到天线642。装置600包含耦合到显示器控制器626的显示器628。一或多个扬声器648耦合到CODEC 634。可经由输入接口112将一或多个麦克风646耦合到CODEC 634。在特定实施方案中,扬声器648包含图1的第一扩音器142、第二扩音器144或其组合。在特定实施方案中,麦克风646包含图1的第一麦克风146、第二麦克风148或其组合。CODEC 634包含数字到模拟转换器(digital-to-analog converter,DAC)602及模拟到数字转换器(analog-to-digital converter,ADC)604。
存储器153包含指令660,指令660可由处理器606、处理器610、CODEC 634、编码器114A、解码器118A、装置600的另一处理单元或其组合执行以执行参考图1到5所描述的一或多个操作。
可通过执行用以执行一或多个任务或其组合的指令的处理器经由专用硬件(例如电路)实施装置600的一或多个组件。作为实例,存储器153或处理器606、处理器610及/或CODEC 634的一或多个组件可以是存储器装置,例如随机存取存储器(random accessmemory,RAM)、磁阻随机存取存储器(magnetoresistive random access memory,MRAM)、自旋力矩转移MRAM(spin-torque transfer MRAM,STT-MRAM)、闪存器、只读存储器(read-only memory,ROM)、可编程只读存储器(programmable read-only memory,PROM)、可擦除可编程只读存储器(erasable programmable read-only memory,EPROM)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、寄存器、硬盘、可移动磁盘或光盘只读存储器(compact disc read-only memory,CD-ROM)。存储器装置可包含指令(例如指令660),所述指令在由计算机(例如CODEC 634中的处理器、处理器606、编码器114A、解码器118A及/或处理器610)执行时可使得计算机执行参考图1到5所描述的一或多个操作。作为实例,存储器153或处理器606、处理器610、编码器114A、解码器118A及/或CODEC 634的一或多个组件可以是包含指令(例如指令660)的非暂时性计算机可读媒体,所述指令在由计算机(例如CODEC 634中的处理器、处理器606及/或处理器610)执行时使得计算机执行参考图1到5所描述的一或多个操作。
在特定实施方案中,装置600可包含于系统级封装或系统单芯片装置(例如移动台调制解调器(mobile station modem,MSM))622中。在特定实施方案中,处理器606、处理器610、显示器控制器626、存储器153、CODEC 634、传输器110及接收器115包含于系统级封装或系统单芯片装置622中。在特定实施方案中,例如触控屏幕及/或小键盘的输入装置630及电源644耦合到系统单芯片装置622。此外,在特定实施方案中,如图6中所说明,显示器628、输入装置630、扬声器648、麦克风646、天线642及电源644在系统单芯片装置622外部。然而,显示器628、输入装置630、扬声器648、麦克风646、天线642及电源644中的每一者可耦合到系统单芯片装置622的组件,例如接口或控制器。
装置600可包含:无线电话、移动通信装置、移动电话、智能电话、蜂窝式电话、笔记本电脑、台式计算机、计算机、平板计算机、机顶盒、个人数字助理(personal digitalassistan,PDA)、显示装置、电视、游戏控制台、音乐播放器、收音机、视频播放器、娱乐单元、通信装置、固定位置数据单元、个人媒体播放器、数字视频播放器、数字视频光盘(digitalvideo disc,DVD)播放器、调谐器、摄影机、导航装置、解码器系统、编码器系统或其任何组合。
在特定实施方案中,本文所公开的系统及装置的一或多个组件可集成到解码系统或设备(例如电子装置、CODEC或其中的处理器)中、编码系统或设备中或两者中。在其它实施方案中,本文所公开的系统及装置的一或多个组件可集成到以下各者中:无线电话、平板计算机、台式计算机、笔记本电脑、机顶盒、音乐播放器、视频播放器、娱乐单元、电视、游戏控制台、导航装置、通信装置、个人数字助理(PDA)、固定位置数据单元、个人媒体播放器或另一类型的装置。
结合上文所公开的技术,一种设备包含用于接收包含经编码中间信道及立体声参数的经编码位流的装置。立体声参数包含IPD参数值及指示编码器侧参考信道与编码器侧目标信道之间的未对准的量的失配值。举例来说,用于接收的装置可包含图1及6的接收器115、图6的天线642、其它处理器、电路、硬件组件或其组合。
所述设备还包含用于对经编码中间信道进行解码以产生经解码中间信道的装置。举例来说,用于解码的装置可包含图1的解码器118、图1及3的中间信道解码器302、图1及6的解码器118A、图6的处理器610、图6的处理器606、可由图6的处理器组件执行的指令660、其它处理器、电路、硬件组件或其组合。
所述设备还包含用于对经解码中间信道执行变换运算以产生经频域解码中间信道的装置。举例来说,用于执行变换运算的装置可包含图1的解码器118、图1及3的变换单元306、图1及6的解码器118A、图6的处理器610、图6的处理器606、可由图6的处理器组件执行的指令660、其它处理器、电路、硬件组件或其组合。
所述设备还包含用于基于失配值而修改IPD参数值的至少一部分以产生经修改IPD参数值的装置。举例来说,用于修改的装置可包含图1的解码器118、图1、3及6的立体声参数调整单元312、图1及6的解码器118A、图6的处理器610、图6的处理器606、可由图6的处理器组件执行的指令660、其它处理器、电路、硬件组件或其组合。
所述设备还包含用于对经频域解码中间信道执行升混运算以产生频域左信道及频域右信道的装置。经修改IPD参数值在升混运算期间应用于经频域解码中间信道。举例来说,用于执行升混运算的装置可包含图1的解码器118、图1及3的升混器310、图1及6的解码器118A、图6的处理器610、图6的处理器606、可由图6的处理器组件执行的指令660、其它处理器、电路、硬件组件或其组合。
所述设备还包含用于对频域左信道执行第一逆变换运算以产生时域左信道的装置。举例来说,用于执行第一逆变换运算的装置可包含图1的解码器118、图1及3的逆变换单元318、图1及6的解码器118A、图6的处理器610、图6的处理器606、可由图6的处理器组件执行的指令660、其它处理器、电路、硬件组件或其组合。
所述设备还包含用于对所述频域右信道执行第二逆变换运算以产生时域右信道的装置。举例来说,用于执行第二逆变换运算的装置可包含图1的解码器118、图1及3的逆变换单元320、图1及6的解码器118A、图6的处理器610、图6的处理器606、可由图6的处理器组件执行的指令660、其它处理器、电路、硬件组件或其组合。
所述设备还包含用于输出左信道或右信道中的至少一者的装置,左信道与时域左信道相关联,且右信道与时域右信道相关联。举例来说,用于输出的装置可包含图1的第一扩音器142、图1的第二扩音器144、图6的扬声器648、其它处理器、电路、硬件组件或其组合。
参考图7,描绘了基站700的特定说明性实例的框图。在各种实施方案中,基站700可相比图7中所说明具有更多组件或更少组件。在说明性实例中,基站700可根据图4的方法400、图5的方法500或两者而操作。
基站700可以是无线通信系统的部分。无线通信系统可包含多个基站及多个无线装置。无线通信系统可以是长期演进(Long Term Evolution,LTE)系统、第四代(fourthgeneration,4G)LTE系统、第五代(fifth generation,5G)系统、码分多址(Code DivisionMultiple Access,CDMA)系统、全球移动通信系统(Global System for MobileCommunications,GSM)系统、无线局域网络(wireless local area network,WLAN)系统或某一其它无线系统。CDMA系统可实施宽带CDMA(Wideband CDMA,WCDMA)、CDMA 1X、演进数据优化(Evolution-Data Optimized,EVDO)、分时同步CDMA(Time Division SynchronousCDMA,TD-SCDMA),或一些其它版本的CDMA。
无线装置还可被称作用户装备(user equipment,UE)、移动台、终端、存取终端、用户单元、工作台等。所述无线装置可包含:蜂窝式电话、智能电话、平板计算机、无线调制解调器、个人数字助理(PDA)、手持型装置、笔记本电脑、智能本、迷你笔记型计算机、平板计算机、无接线电话、无线区域回路(wireless local loop,WLL)站、蓝牙装置等。无线装置可包含或对应于图6的装置600。
各种功能可由基站700的一或多个组件(及/或在未展示的其它组件中)执行,例如发送及接收消息及数据(例如音频数据)。在特定实例中,基站700包含处理器706(例如CPU)。基站700可包含转码器710。转码器710可包含音频CODEC 708(例如话音及音乐CODEC)。举例来说,转码器710可包含经配置以执行音频CODEC 708的操作的一或多个组件(例如电路)。作为另一实例,转码器710经配置以执行一或多个计算机可读指令以执行音频CODEC 708的操作。尽管音频CODEC 708经说明为转码器710的组件,但在其它实例中,音频CODEC 708的一或多个组件可包含于处理器706、另一处理组件或其组合中。举例来说,解码器118(例如声码器解码器)可包含于接收器数据处理器764中。作为另一实例,编码器114(例如声码器编码器)可包含于传输数据处理器782中。
转码器710可起到在两个或多于两个网络之间转码消息及数据的作用。转码器710经配置以将消息及音频数据从第一格式(例如数字格式)转换成第二格式。为了说明,解码器118可对具有第一格式的经编码信号进行解码,且编码器114可将经解码信号编码成具有第二格式的经编码信号。另外或替代地,转码器710经配置以执行数据速率调适。举例来说,转码器710可在不改变音频数据的格式的情况下降频转换数据速率或升频转换数据速率。为进行说明,转码器710可将64kbit/s信号降频转换成16kbit/s信号。音频CODEC 708可包含编码器114及解码器118。解码器118可包含立体声参数调节器618。
基站700包含存储器732。存储器732(计算机可读存储装置的实例)可包含指令。指令可包含可由处理器706、转码器710或其组合执行以执行图4的方法400、图5的方法500或两者的一或多个指令。基站700可包含耦合到天线的阵列的多个传输器及接收器(例如收发器),例如第一收发器752及第二收发器754。天线阵列可包含第一天线742及第二天线744。天线阵列经配置以无线方式与一或多个无线装置通信,例如图6的装置600。举例来说,第二天线744可从无线装置接收数据流714(例如位流)。数据流714可包含消息、数据(例如经编码话音数据)或其组合。
基站700可包含网络连接760,例如回程连接。网络连接760经配置以与核心网络或无线通信网络的一或多个基站通信。举例来说,基站700可经由网络连接760从核心网络接收第二数据流(例如消息或音频数据)。基站700可处理第二数据流以产生消息或音频数据,且经由天线阵列的一或多个天线将消息或音频数据提供到一或多个无线装置,或经由网络连接760将其提供到另一基站。在特定实施方案中,作为说明性非限制性实例,网络连接760可为广域网(wide area network,WAN)连接。在一些实施方案中,核心网络可包含或对应于公众交换电话网络(Public Switched Telephone Network,PSTN)、包骨干网络或两者。
基站700可包含耦合到网络连接760及处理器706的媒体网关770。媒体网关770经配置以在不同电信技术的媒体流式传输之间转换。举例来说,媒体网关770可在不同传输协议、不同译码方案或两者之间转换。为了说明,作为说明性非限制性实例,媒体网关770可从PCM信号转换成实时输送协议(RTP)信号。媒体网关770可在包交换式网络(例如因特网通信协议语音(Voice Over Internet Protocol,VoIP)网络、IP多媒体子系统(IP MultimediaSubsystem,IMS)、第四代(4G)无线网络,例如LTE、WiMax及UMB、第五代(5G)无线网络等)、电路交换式网络(例如PSTN)及混合型网络(例如第二代(second generation,2G)无线网络,例如GSM、GPRS及EDGE、第三代(third generation,3G)无线网络,例如WCDMA、EV-DO及HSPA等)之间转换数据。
另外,媒体网关770可包含例如转码器710的转码器,且经配置以在编码解码器不兼容时转码数据。举例来说,作为说明性非限制性实例,媒体网关770可在适应性多重速率(Adaptive Multi-Rate,AMR)编解码器与G.711编解码器之间进行转码。媒体网关770可包含路由器及多个物理接口。在一些实施方案中,媒体网关770还可包含控制器(未展示)。在特定实施方案中,媒体网关控制器可在媒体网关770外部、在基站700外部或在两者外部。媒体网关控制器可控制并协调多个媒体网关的操作。媒体网关770可从媒体网关控制器接收控制信号,且可起到在不同传输技术之间桥接的作用,且可添加对最终用户能力及连接的服务。
基站700可包含耦合到收发器752、收发器754、接收器数据处理器764及处理器706的解调制器762,且接收器数据处理器764可耦合到处理器706。解调制器762经配置以解调制从收发器752、754所接收的经调制信号,且经配置以将经解调制量据提供到接收器数据处理器764。接收器数据处理器764经配置以从经解调数据提取消息或音频数据,且将消息或音频数据发送到处理器706。
基站700可包含传输数据处理器782及传输多输入多输出(multiple input-multiple output,MIMO)处理器784。传输数据处理器782可耦合到处理器706及传输MIMO处理器784。传输MIMO处理器784可耦合到收发器752、收发器754及处理器706。在一些实施方案中,传输MIMO处理器784可耦合到媒体网关770。作为说明性非限制性实例,传输数据处理器782经配置以从处理器706接收消息或音频数据,且基于例如CDMA或正交分频多工(orthogonal frequency-division multiplexing,OFDM)的译码方案译码所述消息或所述音频数据。传输数据处理器782可提供经译码数据到传输MIMO处理器784。
可使用CDMA或OFDM技术将经译码数据与例如导频数据的其它数据多工在一起以产生经多工数据。接着可通过传输数据处理器782基于特定调制方案(例如二进制相移键控(“Binary phase-shift keying,BPSK”)、正交相移键控(“Quadrature phase-shiftkeying,QSPK”)、M-元相移键控(“M-ary phase-shift keying,M-PSK”)、M-元正交振幅调制(“M-ary Quadrature amplitude modulation,M-QAM”)等)而调制(即,符号映射)经多工数据以产生调制符号。在特定实施方案中,可使用不同调制方案调制经译码数据及其它数据。针对每一数据流的数据速率、译码及调制可由处理器706执行的指令确定。
传输MIMO处理器784经配置以从传输数据处理器782接收调制符号,且可进一步处理调制符号,且可对数据执行波束成形。举例来说,传输MIMO处理器784可将波束成形权重应用到调制符号。
在操作期间,基站700的第二天线744可接收数据流714。第二收发器754可从第二天线744接收数据流714,且可将数据流714提供到解调制器762。解调制器762可解调制量据流式传输714的经调制信号且将经解调制量据提供到接收器数据处理器764。接收器数据处理器764可从经解调制量据提取音频数据,且将经提取音频数据提供到处理器706。
处理器706可将音频数据提供到转码器710以供转码。转码器710的解码器118可将音频数据从第一格式解码成经解码音频数据,且编码器114可将经解码音频数据编码成第二格式。在一些实施方案中,编码器114可使用比从无线装置接收到的数据速率更高的数据速率(例如升频转换)或更低的数据速率(例如降频转换)来对音频数据进行编码。在其它实施方案中,音频数据可未经转码。尽管转码(例如解码及编码)经说明为通过转码器710执行,但转码操作(例如解码及编码)可由基站700的多个组件执行。举例来说,解码可由接收器数据处理器764执行,且编码可由传输数据处理器782执行。在其它实施方案中,处理器706可将音频数据提供到媒体网关770以转换成另一传输协议、译码方案或两者。媒体网关770可经由网络连接760将经转换数据提供到另一基站或核心网络。
在编码器114处产生的经编码音频数据,例如经转码数据,可经由处理器706提供到传输数据处理器782或网络连接760。可将来自转码器710的经转码音频数据提供到传输数据处理器782,以供根据例如OFDM的调制方案进行译码以产生调制符号。传输数据处理器782可将调制符号提供到传输MIMO处理器784以供进一步处理及波束成形。传输MIMO处理器784可应用波束成形权重,且可经由第一收发器752将调制符号提供到天线阵列的一或多个天线,例如第一天线742。因此,基站700可将对应于从无线装置接收的数据流714的经转码数据流716提供到另一无线装置。经转码数据流716可具有与数据流714不同的编码格式、数据速率或两者。在其它实施方案中,可将经转码数据流716提供到网络连接760以供传输到另一基站或核心网络。
应注意,通过本文所公开的系统及装置的一或多个组件执行的各种功能经描述为通过某些组件或模块执行。组件及模块的此划分仅用于说明。在替代实施方案中,由特定组件或模块执行的功能可划分于多个组件或模块之中。此外,在替代实施方案中,两个或多于两个组件或模块可集成到单个组件或模块中。每一组件或模块可使用硬件(例如现场可编程门阵列(field-programmable gate array,FPGA)装置、专用集成电路(application-specific integrated circuit,ASIC)、DSP、控制器等)、软件(例如可由处理器执行的指令)或其任何组合来予以实施。
所属领域的技术人员将进一步了解,结合本文中所公开的实施方案而描述的各种说明性逻辑块、配置、模块、电路及算法步骤可实施为电子硬件、由例如硬件处理器的处理装置执行的计算机软件或两者的组合。上文大体上在功能性方面描述各种说明性组件、块、配置、模块、电路及步骤。此功能性实施为硬件还是可执行软件取决于特定应用及强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用而以变化的方式实施所描述的功能性,而但不应将这些实施决策解译为引起脱离本发明的范围。
结合本文中所公开的实施方案所描述的方法或算法的步骤可直接体现于硬件中、由处理器执行的软件模块中或两者的组合中。软件模块可存在于存储器装置中,例如随机存取存储器(RAM)、磁阻随机存取存储器(MRAM)、自旋力矩转移MRAM(STT-MRAM)、闪存器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动磁盘或光盘只读存储器(CD-ROM)。示范性存储器装置耦合到处理器,以使得处理器可从存储器装置读取信息及将信息写入到存储器装置。在替代方案中,存储器装置可与处理器成一体式。处理器及存储媒体可驻留于专用集成电路(ASIC)中。ASIC可驻留于计算装置或用户终端中。在替代例中,处理器及存储媒体可作为离散组件驻留于计算装置或用户终端中。
提供对所公开实施方案的先前描述,以使得所属领域的技术人员能够制作或使用所公开实施方案。所属领域的技术人员将容易地显而易见对这些实施方案的各种修改,且在不背离本发明的范围的情况下,本文中所定义的原理可应用于其它实施方案。因此,本发明并不打算限于本文中所展示的实施方案,而应符合可能与如以下权利要求书所定义的原理及新颖特征相一致的最广泛范围。
Claims (35)
1.一种装置,其包括:
接收器,其经配置以接收包含经编码中间信道及立体声参数的经编码位流,所述立体声参数包含信道间相位差IPD参数值及失配值,所述失配值指示编码器侧参考信道与编码器侧目标信道之间的时间未对准的量;
中间信道解码器,其经配置以对所述经编码中间信道进行解码以产生经解码中间信道;
变换单元,其经配置以对所述经解码中间信道执行变换运算以产生经频域解码中间信道;
立体声参数调整单元,其经配置以基于所述失配值而修改所述IPD参数值的至少一部分以产生经修改IPD参数值;
升混器,其经配置以对所述经频域解码中间信道执行升混运算以产生频域左信道及频域右信道,所述经修改IPD参数值在所述升混运算期间应用于所述经频域解码中间信道;
第一逆变换单元,其经配置以对所述频域左信道执行第一逆变换运算以产生时域左信道;及
第二逆变换单元,其经配置以对所述频域右信道执行第二逆变换运算以产生时域右信道。
2.根据权利要求1所述的装置,其中所述立体声参数调整器单元经配置以:
比较所述失配值的绝对值与阈值;及
响应于所述失配值的所述绝对值满足所述阈值的确定而修改所述IPD参数值的至少所述部分。
3.根据权利要求1所述的装置,其进一步包括:
一或多个扬声器,其经配置以输出左信道或右信道中的至少一者,所述左信道与所述时域左信道相关联,且所述右信道与所述时域右信道相关联。
4.根据权利要求3所述的装置,其中所述立体声参数包含信道间时差ITD参数值作为所述失配值,且其进一步包括:
信道间对准单元,其经配置以:
基于所述ITD参数值而调整所述时域右信道以产生所述右信道;或
基于所述ITD参数值而调整所述时域左信道以产生所述左信道。
5.根据权利要求4所述的装置,其中所述信道间对准单元包含于所述升混器中。
6.根据权利要求1所述的装置,其进一步包括:
旁信道解码器,其经配置以对经编码旁信道进行解码以产生经解码旁信道,所述经编码旁信道包含于所述经编码位流中;及
第二变换单元,其经配置以对所述经解码旁信道执行第二变换运算以产生经频域解码旁信道。
7.根据权利要求6所述的装置,其中所述立体声参数调整单元经进一步配置以基于所述经编码旁信道的可用性而修改所述IPD参数值。
8.根据权利要求1所述的装置,其中所述立体声参数调整单元经进一步配置以基于与所述经编码位流相关联的位速率而修改所述IPD参数值。
9.根据权利要求1所述的装置,其中所述立体声参数调整单元经进一步配置以基于发声参数、与先前帧相关联的包损耗确定、语音/音乐分类或另一参数而修改所述IPD参数值。
10.根据权利要求1所述的装置,其中所述立体声参数调整单元经配置以将所述IPD参数值中的一或多者设定成零值。
11.根据权利要求1所述的装置,其中所述立体声参数调整单元经配置以在时间上平滑所述IPD参数值中的一或多者。
12.根据权利要求1所述的装置,其中所述失配值在频域中指示时间未对准的所述量。
13.根据权利要求1所述的装置,其中所述失配值在时域中指示时间未对准的所述量。
14.根据权利要求1所述的装置,其中所述立体声参数调整单元集成到移动装置中。
15.根据权利要求1所述的装置,其中所述立体声参数调整单元集成到基站中。
16.一种对音频信道进行解码的方法,所述方法包括:
在解码器处接收包含经编码中间信道及立体声参数的经编码位流,所述立体声参数包含信道间相位差IPD参数值及失配值,所述失配值指示编码器侧参考信道与编码器侧目标信道之间的时间未对准的量;
对所述经编码中间信道进行解码以产生经解码中间信道;
对所述经解码中间信道执行变换运算以产生经频域解码中间信道;
基于所述失配值而修改所述IPD参数值的至少一部分以产生经修改IPD参数值;
对所述经频域解码中间信道执行升混运算以产生频域左信道及频域右信道,所述经修改IPD参数值在所述升混运算期间应用于所述经频域解码中间信道;
对所述频域左信道执行第一逆变换运算以产生时域左信道;及
对所述频域右信道执行第二逆变换运算以产生时域右信道。
17.根据权利要求16所述的方法,其中修改所述IPD参数值的至少所述部分包括:
比较所述失配值的绝对值与阈值;及
响应于所述失配值的所述绝对值满足所述阈值的确定而修改所述IPD参数值的至少所述部分。
18.根据权利要求16所述的方法,其进一步包括输出左信道或右信道中的至少一者,所述左信道与所述时域左信道相关联,且所述右信道与所述时域右信道相关联。
19.根据权利要求18所述的方法,其中所述立体声参数包含信道间时差ITD参数值作为所述失配值,且其进一步包括:
基于所述ITD参数值而调整所述时域右信道以产生所述右信道;或
基于所述ITD参数值而调整所述时域左信道以产生所述左信道。
20.根据权利要求16所述的方法,其进一步包括:
对经编码旁信道进行解码以产生经解码旁信道,所述经编码旁信道包含于所述经编码位流中;及
对所述经解码旁信道执行第二变换运算以产生经频域解码旁信道。
21.根据权利要求20所述的方法,其进一步包括基于所述经编码旁信道的可用性而修改所述IPD参数值。
22.根据权利要求16所述的方法,其进一步包括基于与所述经编码位流相关联的位速率而修改所述IPD参数值。
23.根据权利要求16所述的方法,其进一步包括将所述IPD参数值中的一或多者设定成零值。
24.根据权利要求16所述的方法,其进一步包括在时间上平滑所述IPD参数值中的一或多者。
25.根据权利要求16所述的方法,其中所述失配值在频域中指示时间未对准的所述量。
26.根据权利要求16所述的方法,其中所述失配值在时域中指示时间未对准的所述量。
27.根据权利要求16所述的方法,其中在移动装置处执行修改所述IPD参数值的至少所述部分。
28.根据权利要求16所述的方法,其中在基站处执行修改所述IPD参数值的至少所述部分。
29.一种包括指令的非暂时性计算机可读媒体,所述指令在由解码器内的处理器执行时使得所述处理器执行包括以下各者的操作:
对经编码中间信道进行解码以产生经解码中间信道,所述经编码中间信道包含于由所述解码器接收的经编码位流中,所述经编码位流进一步包括包含信道间相位差IPD参数值及失配值的立体声参数,所述失配值指示编码器侧参考信道与编码器侧目标信道之间的时间未对准的量;
对所述经解码中间信道执行变换运算以产生经频域解码中间信道;
基于所述失配值而修改所述IPD参数值的至少一部分以产生经修改IPD参数值;
对所述经频域解码中间信道执行升混运算以产生频域左信道及频域右信道,所述经修改IPD参数值在所述升混运算期间应用于所述经频域解码中间信道;
对所述频域左信道执行第一逆变换运算以产生时域左信道;及
对所述频域右信道执行第二逆变换运算以产生时域右信道。
30.根据权利要求29所述的非暂时性计算机可读媒体,其中修改所述IPD参数值的至少所述部分包括:
比较所述失配值的绝对值与阈值;及
响应于所述失配值的所述绝对值满足所述阈值的确定而修改所述IPD参数值的至少所述部分。
31.根据权利要求29所述的非暂时性计算机可读媒体,其中所述操作进一步包括向一或多个扬声器提供左信道或右信道中的至少一者,所述左信道与所述时域左信道相关联,且所述右信道与所述时域右信道相关联。
32.一种设备,其包括:
用于接收包含经编码中间信道及立体声参数的经编码位流的装置,所述立体声参数包含信道间相位差IPD参数值及失配值,所述失配值指示编码器侧参考信道与编码器侧目标信道之间的时间未对准的量;
用于对所述经编码中间信道进行解码以产生经解码中间信道的装置;
用于对所述经解码中间信道执行变换运算以产生经频域解码中间信道的装置;
用于基于所述失配值而修改所述IPD参数值的至少一部分以产生经修改IPD参数值的装置;
用于对所述经频域解码中间信道执行升混运算以产生频域左信道及频域右信道的装置,所述经修改IPD参数值在所述升混运算期间应用于所述经频域解码中间信道;
用于对所述频域左信道执行第一逆变换运算以产生时域左信道的装置;及
用于对所述频域右信道执行第二逆变换运算以产生时域右信道的装置。
33.根据权利要求32所述的设备,其进一步包括用于输出左信道及右信道的装置,所述左信道与所述时域左信道相关联,且所述右信道与所述时域右信道相关联。
34.根据权利要求32所述的设备,其中用于修改的所述装置集成到基站中。
35.根据权利要求32所述的设备,其中用于修改的所述装置集成到移动装置中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310093578.5A CN116033328A (zh) | 2017-01-19 | 2017-12-11 | 信道间相位差参数的修改 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762448297P | 2017-01-19 | 2017-01-19 | |
US62/448,297 | 2017-01-19 | ||
US15/836,618 | 2017-12-08 | ||
US15/836,618 US10366695B2 (en) | 2017-01-19 | 2017-12-08 | Inter-channel phase difference parameter modification |
PCT/US2017/065547 WO2018136167A1 (en) | 2017-01-19 | 2017-12-11 | Inter-channel phase difference parameter modification |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310093578.5A Division CN116033328A (zh) | 2017-01-19 | 2017-12-11 | 信道间相位差参数的修改 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110100280A CN110100280A (zh) | 2019-08-06 |
CN110100280B true CN110100280B (zh) | 2023-02-24 |
Family
ID=62840896
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780080408.6A Active CN110100280B (zh) | 2017-01-19 | 2017-12-11 | 信道间相位差参数的修改 |
CN202310093578.5A Pending CN116033328A (zh) | 2017-01-19 | 2017-12-11 | 信道间相位差参数的修改 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310093578.5A Pending CN116033328A (zh) | 2017-01-19 | 2017-12-11 | 信道间相位差参数的修改 |
Country Status (9)
Country | Link |
---|---|
US (2) | US10366695B2 (zh) |
EP (1) | EP3571695B1 (zh) |
KR (2) | KR20230138046A (zh) |
CN (2) | CN110100280B (zh) |
AU (1) | AU2017394681B2 (zh) |
BR (1) | BR112019014544A2 (zh) |
SG (1) | SG11201904753WA (zh) |
TW (1) | TWI763754B (zh) |
WO (1) | WO2018136167A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10366695B2 (en) | 2017-01-19 | 2019-07-30 | Qualcomm Incorporated | Inter-channel phase difference parameter modification |
US10304468B2 (en) * | 2017-03-20 | 2019-05-28 | Qualcomm Incorporated | Target sample generation |
US10224045B2 (en) | 2017-05-11 | 2019-03-05 | Qualcomm Incorporated | Stereo parameters for stereo decoding |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1748247A (zh) * | 2003-02-11 | 2006-03-15 | 皇家飞利浦电子股份有限公司 | 音频编码 |
WO2010097748A1 (en) * | 2009-02-27 | 2010-09-02 | Koninklijke Philips Electronics N.V. | Parametric stereo encoding and decoding |
CN104246873A (zh) * | 2012-02-17 | 2014-12-24 | 华为技术有限公司 | 用于编码多声道音频信号的参数编码器 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE0402650D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Improved parametric stereo compatible coding of spatial audio |
EP2212883B1 (en) * | 2007-11-27 | 2012-06-06 | Nokia Corporation | An encoder |
US8666752B2 (en) * | 2009-03-18 | 2014-03-04 | Samsung Electronics Co., Ltd. | Apparatus and method for encoding and decoding multi-channel signal |
PL2405425T3 (pl) | 2009-04-08 | 2014-12-31 | Fraunhofer Ges Forschung | Urządzenie, sposób i program komputerowy do realizacji upmixu sygnału audio downmixu z użyciem wygładzania wartości faz |
FR2966634A1 (fr) * | 2010-10-22 | 2012-04-27 | France Telecom | Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase |
JP2015517121A (ja) * | 2012-04-05 | 2015-06-18 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | インターチャネル差分推定方法及び空間オーディオ符号化装置 |
ES2710774T3 (es) | 2013-11-27 | 2019-04-26 | Dts Inc | Mezcla de matriz basada en multipletes para audio de múltiples canales de alta cantidad de canales |
CN104681029B (zh) | 2013-11-29 | 2018-06-05 | 华为技术有限公司 | 立体声相位参数的编码方法及装置 |
US10366695B2 (en) | 2017-01-19 | 2019-07-30 | Qualcomm Incorporated | Inter-channel phase difference parameter modification |
-
2017
- 2017-12-08 US US15/836,618 patent/US10366695B2/en active Active
- 2017-12-11 SG SG11201904753WA patent/SG11201904753WA/en unknown
- 2017-12-11 CN CN201780080408.6A patent/CN110100280B/zh active Active
- 2017-12-11 CN CN202310093578.5A patent/CN116033328A/zh active Pending
- 2017-12-11 WO PCT/US2017/065547 patent/WO2018136167A1/en unknown
- 2017-12-11 KR KR1020237031667A patent/KR20230138046A/ko active IP Right Grant
- 2017-12-11 BR BR112019014544-3A patent/BR112019014544A2/pt active Search and Examination
- 2017-12-11 KR KR1020197020763A patent/KR102581558B1/ko active IP Right Grant
- 2017-12-11 AU AU2017394681A patent/AU2017394681B2/en active Active
- 2017-12-11 EP EP17822912.6A patent/EP3571695B1/en active Active
- 2017-12-12 TW TW106143607A patent/TWI763754B/zh active
-
2019
- 2019-06-14 US US16/442,145 patent/US10854212B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1748247A (zh) * | 2003-02-11 | 2006-03-15 | 皇家飞利浦电子股份有限公司 | 音频编码 |
WO2010097748A1 (en) * | 2009-02-27 | 2010-09-02 | Koninklijke Philips Electronics N.V. | Parametric stereo encoding and decoding |
TW201103008A (en) * | 2009-02-27 | 2011-01-16 | Koninkl Philips Electronics Nv | Parametric stereo encoding and decoding |
CN104246873A (zh) * | 2012-02-17 | 2014-12-24 | 华为技术有限公司 | 用于编码多声道音频信号的参数编码器 |
Also Published As
Publication number | Publication date |
---|---|
US10366695B2 (en) | 2019-07-30 |
CN110100280A (zh) | 2019-08-06 |
TW201832572A (zh) | 2018-09-01 |
KR20230138046A (ko) | 2023-10-05 |
EP3571695A1 (en) | 2019-11-27 |
AU2017394681B2 (en) | 2022-08-18 |
US10854212B2 (en) | 2020-12-01 |
TWI763754B (zh) | 2022-05-11 |
BR112019014544A2 (pt) | 2020-02-27 |
US20190295559A1 (en) | 2019-09-26 |
KR20190107025A (ko) | 2019-09-18 |
EP3571695B1 (en) | 2022-03-23 |
CN116033328A (zh) | 2023-04-28 |
SG11201904753WA (en) | 2019-08-27 |
US20180204579A1 (en) | 2018-07-19 |
AU2017394681A1 (en) | 2019-06-20 |
WO2018136167A1 (en) | 2018-07-26 |
KR102581558B1 (ko) | 2023-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9978381B2 (en) | Encoding of multiple audio signals | |
CN110622242B (zh) | 用于立体声解码的立体声参数 | |
US10885922B2 (en) | Time-domain inter-channel prediction | |
US10885925B2 (en) | High-band residual prediction with time-domain inter-channel bandwidth extension | |
US10438598B2 (en) | Coding of multiple audio signals | |
US10854212B2 (en) | Inter-channel phase difference parameter modification | |
CN110447072B (zh) | 声道间带宽扩展 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40005257 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |