CN116686306A - 音频系统高度声道上混 - Google Patents
音频系统高度声道上混 Download PDFInfo
- Publication number
- CN116686306A CN116686306A CN202180087411.7A CN202180087411A CN116686306A CN 116686306 A CN116686306 A CN 116686306A CN 202180087411 A CN202180087411 A CN 202180087411A CN 116686306 A CN116686306 A CN 116686306A
- Authority
- CN
- China
- Prior art keywords
- channel
- audio signal
- audio
- computer program
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 120
- 238000004590 computer program Methods 0.000 claims description 34
- 238000005192 partition Methods 0.000 claims description 12
- 230000003111 delayed effect Effects 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 10
- 238000009499 grossing Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 5
- 238000010304 firing Methods 0.000 description 5
- 210000005069 ears Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009960 carding Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003447 ipsilateral effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000005010 torso Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Abstract
音频系统高度声道上混被配置为从不包括高度相关编码的音频源产生两个或更多个高度声道。上混涉及确定输入音频信号之间的相关性和归一化声道能量。从相关性和归一化能量产生至少两个高度声道(例如,左高度音频信号和右高度音频信号)。
Description
相关申请的交叉引用
本申请要求于2020年11月3日提交的申请17/088,062的优先权,其全部公开内容以引用方式并入本文用于所有目的。
背景技术
本公开涉及在环绕声音频系统中虚拟地定位声音。
环绕声音频系统可以使用位于收听者周围和上方的音频驱动器来在三维中虚拟化声源。这些音频系统是昂贵的,并且可能需要针对收听区域进行定制设计。
发明内容
下文提及的所有示例和特征均可以任何技术上可能的方式组合。
在一个方面,一种具有非暂态计算机可读介质的计算机程序产品,该非暂态计算机可读介质包括在其上编码的计算机程序逻辑,当在具有至少两个音频驱动器的音频系统上执行并且被配置为输入包括至少左输入音频信号和右输入音频信号的音频信号并且呈现被提供给所述驱动器的至少左高度音频信号和右高度音频信号时,该计算机程序产品使得该音频系统:确定输入音频信号之间的相关性;确定输入音频信号的归一化声道能量;以及从所确定的相关性和归一化声道能量产生至少左高度音频信号和右高度音频信号。
一些示例可包括上述和/或下述的特征中的一者或它们的任何组合。在一些示例中,该计算机程序逻辑还使得该音频系统对输入音频信号执行傅里叶变换。在一个示例中,该相关性基于傅里叶变换。在一个示例中,傅里叶变换产生一系列分仓,并且该相关性基于该分仓。在一个示例中,该归一化的声道能量基于傅里叶变换。
一些示例可包括上述和/或下述的特征中的一者或它们的任何组合。在一些示例中,傅里叶变换产生一系列分仓。在一个示例中,该计算机程序逻辑还使得该音频系统使用亚倍频程间隔对分仓进行划分。在一个示例中,该相关性和归一化声道能量是针对分仓分别确定的。在一个示例中,该计算机程序逻辑还使得该音频系统对划分进行时间平滑化和频率平滑化,以产生平滑的相关性和平滑的归一化声道能量。在一个示例中,根据平滑的相关性和平滑的归一化声道能量两者,针对划分提取高度音频信号。
一些示例可包括上述和/或下述的特征中的一者或它们的任何组合。在一些示例中,该计算机程序逻辑使得该音频系统产生左前高度音频声道信号、右前高度音频声道信号、左后高度音频声道信号和右后高度音频声道信号。在一些示例中,该计算机程序逻辑还使得该音频系统产生去相关的左声道音频信号和去相关的右声道音频信号。在一个示例中,该计算机程序逻辑还使得该音频系统对去相关的左声道音频信号和右声道音频信号执行串扰消除。在一个示例中,串扰消除将去相关的左声道音频信号的延迟、反相且缩放版本添加到右声道音频信号,并且将去相关的右声道音频信号的延迟、反相且缩放版本添加到左声道音频信号。在一个示例中,串扰消除使得所述左声道音频信号被分成单独的低频带左声道音频信号和高频带左声道音频信号以及单独的低频带右声道音频信号和高频带右声道音频信号,通过头影滤波器、延迟器和反相缩放器来处理所述高频带左声道音频信号和所述高频带右声道音频信号以产生经滤波的高频带左声道音频信号和高频带右声道音频信号,将所述经滤波的高频带左声道音频信号和高频带右声道音频信号与所述高频带左声道音频信号和高频带右声道音频信号组合以产生第一组合信号,并且将所述第一组合信号与所述低频带左音频声道信号和所述低频带右音频声道信号组合以产生串扰消除信号。
在另一方面,音频系统包括:多个驱动器,所述多个驱动器被配置为再现至少前左音频信号、前右音频信号、前中央音频信号、左高度音频信号和右高度音频信号;以及处理器,所述处理器被配置为确定输入音频信号之间的相关性,确定所述输入音频信号的归一化声道能量,从所确定的相关性和归一化声道能量产生至少左高度音频信号和右高度音频信号,并且向所述驱动器提供所述左高度音频信号和所述右高度音频信号。
一些示例可包括上述和/或下述的特征中的一者或它们的任何组合。在一些示例中,所述处理器被进一步配置为对输入音频信号执行傅里叶变换,其中所述相关性和所述归一化声道能量基于所述傅里叶变换。在一些示例中,所述傅里叶变换产生一系列分仓,并且所述处理器被进一步配置为使用亚倍频程间隔来划分所述分仓,并且分别确定所述分仓的相关性和归一化声道能量。在一个示例中,所述处理器被进一步配置为使得所述音频系统产生去相关的左声道音频信号和右声道音频信号,并且对所述去相关的左声道音频信号和右声道音频信号执行串扰消除。
附图说明
图1是被配置为实现高度声道上混的音频系统的示意图。
图2是被配置为实现高度声道上混的环绕声音频系统的示意图。
图3是从输入立体声信号发展高度声道的上混频器的各方面的示意图。
图4是与四轴条形音箱一起使用的上混频器和串扰消除器的示意图。
图5是图4的串扰消除器的更详细的示意图。
具体实施方式
如在音频领域中众所周知的,环绕声音频系统可具有多个声道(通常为,5个或7个声道,或更多),该声道或多或少地布置在收听者前面、侧面和后面的水平面上。该系统还可以具有多个高度声道(通常为,2个或4个或更多个),这些高度声道被布置成从收听者上方提供声音。最后,该系统可以具有一个或多个低频声道。例如,5.1.4系统将具有1个低频声道,4个高度声道并且在水平平面中具有5个声道。
基于对象的环绕声技术(例如,杜比全景声和DTS:X)包括大量音轨加上相关联的空间音频描述元数据(例如,位置数据)。每个音轨可以被分配给音频声道或音频对象。用于基于对象的音频的环绕声系统可具有比典型住宅5.1系统更多的声道。例如,基于对象的系统可以具有十个声道,包括多个头顶扬声器,以便完成3-D位置虚拟化。在播放期间,环绕声系统实时呈现音频对象,使得每个声音来自其相对于扬声器的指定点。
传统音频源通常仅包括两个声道-左和右。这样的源不具有允许通过当前声音技术开发高度声道的信息。因此,收听者不能享受来自传统音频源的完全沉浸式环绕声体验。
本公开包括上混频器,其被配置为从不包括高度相关编码的音频源(例如,具有左音频信号和右音频信号的立体声源)产生两个(或更多个)高度声道。因此,本发明的上混允许收听者享受比立体声输入中可用的音频体验更沉浸的音频体验。上混涉及确定输入音频信号之间的相关性和归一化声道能量。从相关性和归一化能量产生至少两个高度声道(例如,左高度音频信号和右高度音频信号)。
图1的音频系统10被配置为用于实现由音频源18提供给系统10的音频内容的高度声道上混。在一些示例中,音频源18提供左声道和右声道(即,立体声)音频信号。在其他示例中,音频源包括不具有高度声道的环绕声音频信号的源,诸如杜比5.1兼容音频。音频系统10包括处理器16,该处理器接收音频信号、如本文别处所述地处理它们,并且将经处理的音频信号分发到用于再现音频的一些或所有音频驱动器。在一个示例中,该经处理的音频信号包括一个或多个高度信号。在一个示例中,该经处理的音频信号包括至少中央信号、左信号、右信号和低频能量(LFE)信号。在一些示例中,系统10包括驱动器12和14,其可以是但不必是条形音箱的左驱动器和右驱动器。条形音箱通常被设计成用于为电视系统产生声音。条形音箱可以包括两个或更多个驱动器。条形音箱是音频领域众所周知的,并且因此本文不再完全描述。在一个示例中,来自处理器16的输出信号定义具有五个水平声道(中央声道、左声道、右声道、左环绕声道和右环绕声道)、一个LFE声道以及右高度声道和左高度声道的5.1.2音频系统。在一个示例中,利用将声音反射离开天花板的左向上发射驱动器(up-firing driver)和右向上发射驱动器来再现高度声道。
处理器16包括非暂态计算机可读介质,其具有在其上编码的计算机程序逻辑,该计算机程序逻辑被配置为从由音频源18提供的音频信号产生分别提供给驱动器12和14的至少左高度音频信号和右高度音频信号。下面更详细地描述从不包括高度相关信息(例如,高度对象或高度编码)的输入音频信号产生高度信号。
图2中的条形音箱音频系统20包括条形音箱壳体22,该条形音箱壳体分别包括中央声道驱动器26、左前声道驱动器28、右前声道驱动器30,以及左高度声道驱动器32和右高度声道驱动器34。在许多但不是所有情况下,驱动器26、28和30被定向为使得他们的主辐射轴线通常是水平的并且从壳体22向外指向,例如分别直接朝向和指向收听者的预期位置的左侧和右侧,而驱动器32和34向上指向使得他们的辐射将从天花板弹回,并且从收听者的角度看起来是从天花板发出的。条形音箱音频系统20还包括超低音扬声器35,该超低音扬声器通常不包括在壳体22中,而是位于房间中的其他地方,并且被配置为再现LFE声道。最后,条形音箱音频系统20包括处理器24(例如,数字信号处理器(DSP)),其被配置为处理从音频源36接收的输入音频信号。注意,在大多数情况下,输入音频信号将由信号接收和处理部件接收,该信号接收和处理部件在图2中未示出(为了便于说明)并且将输入信号提供给处理器24。处理器24被配置为(经由编程)执行本文所描述的功能,其导致向驱动器32和34以及其他高度驱动器(如果其他高度驱动器被包括在音频系统中)提供高度音频信号。还要注意,本公开不以任何方式限于与条形音箱音频系统一起使用,而是可以与包括音频驱动器的其他音频系统一起使用,该音频驱动器可以用于播放由处理器产生的高度音频信号。此类其他音频系统的示例包括戴在耳朵、头部或躯干上并且不将声音直接输入到耳道中的开放式音频设备(包括但不限于音频眼镜和耳戴式设备)以及耳机。
高度声道上混
在本文所描述的示例中,高度声道上混用于从不包括高度分量的音频信号合成高度分量。合成的高度分量可以用在音频系统的一个或多个声道中。在一些示例中,高度分量用于从输入立体声或传统环绕声内容产生左高度声道和右高度声道。在一些示例中,高度分量用于从输入立体声或传统环绕声内容产生左前高度声道、右前高度声道、左后高度声道和右后高度声道。合成的高度分量可以以其他方式使用,这对于本技术领域的技术人员来说是显而易见的。
在一些实施方案中,除其他三维或基于对象的环绕声技术(诸如杜比全景声和DTS:X)之外或作为其替代,可使用本文中所描述的高度声道上混技术。具体来说,本文中所描述的高度声道上混技术可提供由三维或基于对象的环绕声技术提供的相似高度(或垂直轴线)体验,即使当内容未如此编码时也是如此。例如,高度声道上混技术可将高度分量添加到立体声声音以使收听者更完全地沉浸在音频内容中。此外,声道上混技术可用于允许包括一个或多个向上发射驱动器(或相对向上发射驱动器,诸如与水平相比朝向天花板成更大角度的驱动器,诸如相对于条形音箱的主平面大于45度)的条形音箱添加或增加声音的高度分量,即使在内容不包括高度分量或含有高度分量的内容不能以其他方式充分解码/呈现的情况下也是如此。例如,许多条形音箱使用到电视机的单个HDMI eARC连接来接收和播放包括高度分量的音频内容(诸如杜比全景声或DTS:X内容),但是对于不支持HDMIeARC的电视机,此类音频内容可能不能够从电视机传递到条形音箱,而不管电视机是否能够接收音频内容。因此,本文中所描述的高度声道上混技术可用于解决此类问题。
图3是示例性频域上混频器50的各方面的示意图,该频域上混频器被配置为从输入左立体声信号和输入右立体声信号产生多达四个高度声道。在一个示例中,上混频器50是用经编程的处理器(诸如,图2的处理器24)来实现的。在WOLA分析52中,使用加权、重叠、添加对分析连续函数的样本有用的离散时间快速傅里叶变换来处理传入信号。用作WOLA的输入的音频数据块(其在一个示例中包括2048个样本)可被称为帧。WOLA分析技术是该领域众所周知的,并且因此本文不再进一步描述。输出是被解析的离散频率或映射到输入频率的分仓(bin)。然后将变换后的信号提供给复相关性和归一化功能54以及声道提取计算功能60两者。
在复相关性和归一化54中,使用以下方法对每个FFT分仓执行相关:考虑用于左声道和右声道的每个FFT分仓是复平面中的向量。然后,使用表达式Dot(左,右)/(mag(左)*mag(右))来计算一个向量到另一个向量上的标量投影,其中mag(a)=Sqrt(Real(a)^2+Imag(a)^2)。这导致从负相关性的-1到正相关性的+1的相关性值的范围。使用以下方法在每个FFT分仓上计算归一化能量:左声道归一化能量=mag(左)/(mag(左)+mag(右))。右声道归一化能量=mag(右)/(mag(左)+mag(右))。这导致对于相等能量的0.5的范围和对于硬平移情况的1.0或0.0的范围。
在感知划分56中,使用亚倍频程(sub-octave)间隔(例如,1/3倍频程间隔)来划分FFT分仓,并且针对每个划分来计算相关性和能量值。每个划分的相关性值和能量随后被用于计算每个合成声道输出的上混映射。可基于可用处理资源来使用其他基于感知的划分方案。在一个示例中,划分有效地将1024个分仓减少到24个唯一值或频带。
在时间和频率平滑化58中,使用以下方法在时间和频率轴线上对每个划分频带进行指数平滑化。对于时间平滑化,使用表达式:P平滑(i,n)=(1-α)*P未平滑(i,n)+α*P平滑(i,n-1)来计算每个划分的相关性和归一化能量,其中α可以具有0:1之间的值,并且P平滑(i,n-1)表示第i个划分的先前FFT帧结果。对于频率平滑化,每个划分的相关性值通过其最近邻居的加权平均来进行平滑化。对于j!=I的所有j,越接近当前划分,权重越大,W平均(i)=Sum(P未平滑(j)/abs(j-i)),则最终的加权平均值是P平滑(i)=(W平均(i)+P未平滑(i))/(1.0+Sum(1.0/(abs(j-i)))。这有助于消除有时存在于频域实现中的音乐噪声伪影。
在声道提取计算60中,根据相关性和归一化声道能量两者,在能量保留的基础上针对每个划分提取声道。对于硬平移内容,存在确保原始平移被保留的引导;这是必要的,因为硬平移内容将具有相关性=0.0。通过标准数据格式化、WOLA合成和低音管理技术(未示出)来处理计算60的输出,以产生包括左前高度声道、右前高度声道、左后高度声道和右后高度声道的5.1.4声道输出。四个高度声道信号可以被提供给适当的驱动器,诸如条形音箱的左高度驱动器和右高度驱动器,或专用高度驱动器。在一些示例中,存在两个高度声道(左和右),并且在其他示例中,存在多于四个高度声道。
在一个示例中,输入左音频信号和输入右音频信号由音频系统处理器上混以产生5.1.4声道输出。这五个水平声道包括左前声道和右前声道、中央声道以及左环绕声道和右环绕声道。四个高度声道包括左前高度声道和右前高度声道以及左后高度声道和右后高度声道。可以通过确定-1.0和1.0之间的耳间相关性系数以及确定左归一化能量值和右归一化能量值来形成左声道、中央声道和右声道,如以上关于复相关性和归一化功能52所述。基于分别与左声道输入和右声道输入中的每一者相乘的中央声道系数来确定中央声道信号。如果耳间相关性系数大于零,则中央声道系数具有大于零的值,否则其为零。左声道信号和右声道信号基于在中央声道中未使用的能量。在输入被硬平移到左侧或右侧的情况下,能量被保持在适当的输入声道中。
在一个示例中,这些左声道信号和右声道信号被进一步划分为左前信号和右前信号、左环绕信号和右环绕信号、左前高度信号和右前高度信号以及左后高度信号和右后高度信号。这些划分基于耳间相关性系数和输入被左右平移的程度。如果耳间相关性系数大于0.5,则没有内容被引导到高度声道或环绕声道。否则,基于耳间相关性系数的值和左或右平移的程度来确定前系数、前高度系数、环绕系数和后高度系数。前系数用于确定新的左声道输出信号和右声道输出信号。左前高度信号和右前高度信号基于这些新的左声道输出信号和右声道输出信号乘以他们各自的前高度系数,而左后高度信号和右后高度信号基于这些新的左声道输出信号和右声道输出信号乘以他们各自的后高度系数。左环绕信号和右环绕信号基于这些新的左声道输出信号和右声道输出信号乘以他们各自的环绕系数。新的左声道输出信号和右声道输出信号与原始的左输入信号和右输入信号(如由平移的程度所修改的)混合,以形成左声道和右声道。
典型的条形音箱包括至少三个单独的音频驱动器-左、右和中央。为了更好地再现高度声道,条形音箱还可以包括左高度驱动器和右高度驱动器。高度驱动器可以被物理地定向,使得他们的主声辐射轴线向上指向;这使得声音从天花板反射,使得用户更可能感知到声音从上方发出。
串扰消除
在条形音箱的正常使用中,用户或多或少地位于条形音箱前方,在声远场中(意味着用户位于距离音频驱动器的至少大约两个平均波长处)。传统的立体声再现由于声学串扰而引入空间失真,其中左声道被左耳以及右耳听到,并且右声道被右耳以及左耳听到。可以通过使用处理器来实现跨耳串扰消除来改善串扰,跨耳串扰消除被设计为通过将每个声道的延迟、反转且缩放版本路由到相对声道(即,从左到右,以及从右到左)来补救由串扰引起的问题。延迟和增益被设计为将附加传播延迟和频率相关的头影近似到相对的耳朵。该附加信号将在声学上消除相对耳朵处的串扰分量。
然而,这种消除方法导致相关信号分量(即,左声道和右声道共有的信号分量)将梳理伪影引入到输出中。当信号被延迟并添加到其自身时,发生梳理(combing)。梳理可能导致听得见的异常,因此应当避免。在当前串扰消除机制中,采取步骤以确保被延迟并被加在一起的信号被去相关,从而减少或消除梳理伪影。
图4是与具有左声道、右声道、中央声道和LFE声道的四轴(或3.1)条形音箱一起使用的上混频器和串扰消除器的示意图。典型的立体声输入具有去相关的频率相关分量和相关的频率相关分量两者。为了确保无失真或接近无失真消除,使用本文中所描述的技术将相关的分量与去相关的分量分开。如上所述,上混频器50a可用于产生去相关的左信号和右信号。应当理解,可以在不使用上混频器的情况下产生音频信号的去相关的分量。在一个示例中,可选的上混频器50a(其可以被认为是重新格式化器)可以接受两个声道输入和输出3.1(即,在该示例性具体实施中,去相关的左声道和右声道、相关的中央声道和低频能量(LFE)声道)。由于上混频器50a是可选的,所以一些具体实施不需要使用上混频器。此外,一些具体实施可以使用可选的下混频器来在播放之前减少输入声道的数量。在其他示例中,通过应用诸如拥有随机相位响应的一系列全通滤波器之类的去相关算法来产生去相关的分量。注意,本文中所描述的技术可用于输出任何数目的多个声道的系统,诸如用于输出2.0、2.1、3.0、3.1、5.0、5.1、7.0、7.1、5.1.2、5.1.4、7.1.2、7.1.4等等。因此,串扰消除技术可用于来自双扬声器设备或系统的立体声输出以改进音频中的相关内容的播放。还应注意,所述技术可用于接收具有任何数目的多个声道的音频输入的系统,诸如用于2声道(立体声)输入、6声道输入(例如,用于5.1系统)、8声道输入(例如,用于5.1.2或7.1系统)、10声道输入(例如,用于7.1.2系统)等等。
串扰消除可用于从不包括这样的源位置的输入信号虚拟化源位置。如本文中以各种方式描述的串扰消除技术可与本文中以各种方式描述的高度声道上混技术分开使用或与其一起使用。
去相关的左信号和右信号被提供给串扰消除功能80。下文相对于图5描述了串扰消除功能的示例。所得到的信号以及相关的中央声道和LFE信号随后被提供给条形音箱100。
图5是图4的串扰消除器80的示例的更详细的示意图。注意,例如在输入音频信号或数据已经定义了期望的高度声道或高度对象的情况下,或者当除了高度声道上混之外还使用串扰消除时,诸如用于虚拟化多个声源位置的跨耳空间音频呈现,串扰消除可以与声道上混分开使用。去相关的左信号和右信号被提供给输出低频带和高频带左和右信号的低频带/高频带分离功能82。在一个示例中,使用本技术领域中已知类型的带通滤波器来实现分离器82。在一个示例中,选择两个频带的频率范围以减少低频响应的损失,因为大多数低频内容是高度相关的。在该示例中,在执行串扰消除之前,将低频和高频分开。在一个非限制性示例中,低频带涵盖从DC到约200Hz,并且高频带涵盖从约200Hz到Fs/2Hz。高频带信号被提供给头影滤波器84,该头影滤波器旨在基于预定的到达角来模拟从同侧耳朵到对侧耳朵的传递函数,并且然后在由加法器90与原始高频带信号相加之前分别模拟延迟和反相增益86和88。该输出在加法器92中与低频带信号相加,然后提供给条形音箱。
在一些示例中,诸如图4中所示出的,将串扰消除与高度声道上混一起使用。如上所述,在其他示例中,使用串扰消除而不考虑高度声道上混。
在一些示例中,如本文中以各种方式描述的高度声道上混和/或串扰消除技术被呈现为可使用例如设备上控制、遥控器和/或移动应用程序从默认状态改变的可控制的特征。此类用户可定制控制可以包括根据需要启用/禁用特征和/或定制特征。例如,用于高度声道上混的用户可定制特征可以包括改变虚拟化高度声道的默认相对体积(即,相对于一个或多个其他声道的体积)。在另一示例中,用户可以定制用于虚拟化高度声道的主要收听位置距离以改变高度声道在给定空间中如何被引导。此外,在一些具体实施中,用户定制可以与输入源和/或音频内容相关联。例如,当输入源是用于视频(A4V)内容的音频时,诸如当输入来自连接的电视机时,用户可以启用高度声道上混特征,但是诸如当输入是音乐流服务时,用户可以禁用音乐输入源的特征。此外,用户可以在收听音乐内容时启用高度声道上混特征(不管输入源如何),但是禁用播客和音频书内容的特征(再次不管输入源如何)。
图中的元件在框图中示出并描述为离散元件。这些元件可以实现为模拟电路或数字电路中的一者或多者。作为另外一种选择或除此之外,它们可用执行软件指令的一个或多个微处理器来实现。软件指令可包括数字信号处理指令。操作可由模拟电路或由执行软件的微处理器执行,该软件执行等效模拟操作。信号线可被实现为离散的模拟或数字信号线,具有能够处理单独信号的适当信号处理的离散数字信号线,和/或无线通信系统的元件。
当在框图中表示或暗示过程时,步骤可以由一个元件或多个元件执行。步骤可一起执行或在不同时间执行。执行活动的元件可在物理上彼此相同或靠近,或者可在物理上分开。一个元件可执行不止一个框的动作。音频信号可被编码或不编码,并且可以以数字或模拟形式发射。在一些情况下,从图中省略了常规音频信号处理设备和操作。
本文所述系统和方法的示例包括对于本领域技术人员将显而易见的计算机部件和计算机实现的步骤。例如,本领域技术人员应当理解,计算机实现的步骤可以作为计算机可执行指令存储在计算机可读介质上,诸如,例如,软盘、硬盘、光盘、闪存ROM、非易失性ROM和RAM。此外,本领域技术人员应当理解,计算机可执行指令可以在各种处理器上执行,诸如,例如,微处理器、数字信号处理器、门阵列等。为了便于说明,上述系统和方法并不是每一个步骤或元件在本文中都被描述为计算机系统的一部分,但是本领域技术人员将认识到每个步骤或元件可以具有对应的计算机系统或软件部件。因此,通过描述其对应的步骤或元件(即,它们的功能)来实现此类计算机系统和/或软件部件在本公开的范围内。
已描述了多个具体实施。然而,应当理解在不脱离本文所述发明构思的范围的情况下可进行附加修改,并且因此,其他示例在以下权利要求书的范围内。
Claims (22)
1.一种具有非暂态计算机可读介质的计算机程序产品,所述非暂态计算机可读介质包括在其上编码的计算机程序逻辑,当在具有至少两个音频驱动器的音频系统上执行并且所述音频系统被配置为输入包括至少左输入音频信号和右输入音频信号的音频信号并且呈现被提供给所述驱动器的至少左高度音频信号和右高度音频信号时,所述计算机程序产品使得所述音频系统:
确定输入音频信号之间的相关性;
确定输入音频信号的归一化声道能量;以及
从所确定的相关性和归一化声道能量产生至少左高度音频信号和右高度音频信号。
2.根据权利要求1所述的计算机程序产品,其中所述计算机程序逻辑还使得所述音频系统对输入音频信号执行傅里叶变换。
3.根据权利要求2所述的计算机程序产品,其中所述相关性基于所述傅里叶变换。
4.根据权利要求3所述的计算机程序产品,其中所述傅里叶变换产生一系列分仓,并且所述相关性基于所述分仓。
5.根据权利要求2所述的计算机程序产品,其中所述归一化声道能量基于所述傅里叶变换。
6.根据权利要求5所述的计算机程序产品,其中所述傅里叶变换产生一系列分仓,并且所述归一化声道能量基于所述分仓。
7.根据权利要求2所述的计算机程序产品,其中所述傅里叶变换产生一系列分仓。
8.根据权利要求7所述的计算机程序产品,其中所述计算机程序逻辑还使得所述音频系统使用亚倍频程间隔对所述分仓进行划分。
9.根据权利要求8所述的计算机程序产品,其中所述相关性和归一化声道能量是针对所述分仓分别确定的。
10.根据权利要求9所述的计算机程序产品,其中所述计算机程序逻辑还使得所述音频系统对所述划分进行时间平滑化和频率平滑化,以产生平滑的相关性和平滑的归一化声道能量。
11.根据权利要求10所述的计算机程序产品,其中根据所述平滑的相关性和所述平滑的归一化声道能量两者,针对所述划分提取所述高度音频信号。
12.根据权利要求1所述的计算机程序产品,其中所述计算机程序逻辑使得所述音频系统产生左前高度音频声道信号、右前高度音频声道信号、左后高度音频声道信号和右后高度音频声道信号。
13.根据权利要求1所述的计算机程序产品,其中所述计算机程序逻辑还使得所述音频系统产生去相关的左声道音频信号和右声道音频信号。
14.根据权利要求13所述的计算机程序产品,其中所述计算机程序逻辑还使得所述音频系统对所述去相关的左声道音频信号和右声道音频信号执行串扰消除。
15.根据权利要求14所述的计算机程序产品,其中所述串扰消除将所述去相关的左声道音频信号的延迟、反相且缩放版本添加到所述右声道音频信号,并且将所述去相关的右声道音频信号的延迟、反相且缩放版本添加到所述左声道音频信号。
16.根据权利要求14所述的计算机程序产品,其中串扰消除使得所述左声道音频信号被分成单独的低频带左声道音频信号和高频带左声道音频信号以及单独的低频带右声道音频信号和高频带右声道音频信号,通过头影滤波器、延迟器和反相缩放器来处理所述高频带左声道音频信号和所述高频带右声道音频信号以产生经滤波的高频带左声道音频信号和高频带右声道音频信号,将所述经滤波的高频带左声道音频信号和高频带右声道音频信号与所述高频带左声道音频信号和高频带右声道音频信号组合以产生第一组合信号,并且将所述第一组合信号与所述低频带左音频声道信号和所述低频带右音频声道信号组合以产生串扰消除信号。
17.根据权利要求1所述的计算机程序产品,其中用户能够启用和禁用至少所述左高度音频信号和所述右高度音频信号的呈现。
18.根据权利要求1所述的计算机程序产品,其中用户能够定制相对于所述音频系统的主音量的至少所述左高度音频信号和所述右高度音频信号的音量。
19.一种音频系统,包括:
多个驱动器,所述多个驱动器被配置为再现至少前左音频信号、前右音频信号、前中央音频信号、左高度音频信号和右高度音频信号;和
处理器,所述处理器被配置为确定输入音频信号之间的相关性,确定输入音频信号的归一化声道能量,从所确定的相关性和归一化声道能量产生至少左高度音频信号和右高度音频信号,并且向所述驱动器提供所述左高度音频信号和所述右高度音频信号。
20.根据权利要求19所述的音频系统,其中所述处理器被进一步配置为对输入音频信号执行傅里叶变换,其中所述相关性和所述归一化声道能量基于所述傅里叶变换。
21.根据权利要求20所述的音频系统,其中所述傅里叶变换产生一系列分仓,并且其中所述处理器被进一步配置为使用亚倍频程间隔来划分所述分仓,并且分别确定所述分仓的相关性和归一化声道能量。
22.根据权利要求21所述的音频系统,其中所述处理器被进一步配置为使得所述音频系统产生去相关的左声道音频信号和右声道音频信号,并且对所述去相关的左声道音频信号和右声道音频信号执行串扰消除。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/088,062 US11373662B2 (en) | 2020-11-03 | 2020-11-03 | Audio system height channel up-mixing |
US17/088,062 | 2020-11-03 | ||
PCT/US2021/057778 WO2022098675A1 (en) | 2020-11-03 | 2021-11-02 | Audio system height channel up-mixing |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116686306A true CN116686306A (zh) | 2023-09-01 |
Family
ID=79316729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180087411.7A Pending CN116686306A (zh) | 2020-11-03 | 2021-11-02 | 音频系统高度声道上混 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11373662B2 (zh) |
EP (1) | EP4241465A1 (zh) |
JP (1) | JP2023548570A (zh) |
CN (1) | CN116686306A (zh) |
WO (1) | WO2022098675A1 (zh) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8306243B2 (en) | 2007-08-13 | 2012-11-06 | Mitsubishi Electric Corporation | Audio device |
US20130156431A1 (en) * | 2010-12-28 | 2013-06-20 | Chen-Kuo Sun | System and method for multiple sub-octave band transmissions |
EP2560161A1 (en) * | 2011-08-17 | 2013-02-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Optimal mixing matrices and usage of decorrelators in spatial audio processing |
WO2013111034A2 (en) | 2012-01-23 | 2013-08-01 | Koninklijke Philips N.V. | Audio rendering system and method therefor |
EP2645749B1 (en) | 2012-03-30 | 2020-02-19 | Samsung Electronics Co., Ltd. | Audio apparatus and method of converting audio signal thereof |
WO2014036121A1 (en) * | 2012-08-31 | 2014-03-06 | Dolby Laboratories Licensing Corporation | System for rendering and playback of object based audio in various listening environments |
CN105917674B (zh) | 2013-10-30 | 2019-11-22 | 华为技术有限公司 | 用于处理音频信号的方法和移动装置 |
CN110636415B (zh) * | 2014-08-29 | 2021-07-23 | 杜比实验室特许公司 | 用于处理音频的方法、系统和存储介质 |
US10225657B2 (en) | 2016-01-18 | 2019-03-05 | Boomcloud 360, Inc. | Subband spatial and crosstalk cancellation for audio reproduction |
US10511277B2 (en) * | 2016-04-29 | 2019-12-17 | Cirrus Logic, Inc. | Audio signal processing |
US10575116B2 (en) | 2018-06-20 | 2020-02-25 | Lg Display Co., Ltd. | Spectral defect compensation for crosstalk processing of spatial audio signals |
US10796704B2 (en) * | 2018-08-17 | 2020-10-06 | Dts, Inc. | Spatial audio signal decoder |
-
2020
- 2020-11-03 US US17/088,062 patent/US11373662B2/en active Active
-
2021
- 2021-11-02 EP EP21840716.1A patent/EP4241465A1/en active Pending
- 2021-11-02 WO PCT/US2021/057778 patent/WO2022098675A1/en active Application Filing
- 2021-11-02 JP JP2023527086A patent/JP2023548570A/ja active Pending
- 2021-11-02 CN CN202180087411.7A patent/CN116686306A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US11373662B2 (en) | 2022-06-28 |
US20220139403A1 (en) | 2022-05-05 |
WO2022098675A1 (en) | 2022-05-12 |
EP4241465A1 (en) | 2023-09-13 |
JP2023548570A (ja) | 2023-11-17 |
US20220328054A1 (en) | 2022-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10863298B2 (en) | Method and apparatus for reproducing three-dimensional audio | |
EP3406088B1 (en) | Synthesis of signals for immersive audio playback | |
US8605914B2 (en) | Nonlinear filter for separation of center sounds in stereophonic audio | |
US10764709B2 (en) | Methods, apparatus and systems for dynamic equalization for cross-talk cancellation | |
CN113170271B (zh) | 用于处理立体声信号的方法和装置 | |
JP2014506416A (ja) | オーディオ空間化および環境シミュレーション | |
CN107431871B (zh) | 过滤音频信号的音频信号处理装置和方法 | |
US11750994B2 (en) | Method for generating binaural signals from stereo signals using upmixing binauralization, and apparatus therefor | |
JP6660982B2 (ja) | オーディオ信号レンダリング方法及び装置 | |
KR101546849B1 (ko) | 주파수 영역에서의 음장효과 생성 방법 및 장치 | |
KR20170128368A (ko) | 전방 라우드 스피커에 의해 개별 입체 사운드를 달성하기 위해서 자동차의 재생용 스테레오 신호를 처리하는 장치 및 방법 | |
US12008998B2 (en) | Audio system height channel up-mixing | |
US11373662B2 (en) | Audio system height channel up-mixing | |
WO2018200000A1 (en) | Immersive audio rendering | |
KR102290417B1 (ko) | 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치 | |
KR102217832B1 (ko) | 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치 | |
US11924628B1 (en) | Virtual surround sound process for loudspeaker systems | |
KR102443055B1 (ko) | 입체 음향 재생 방법 및 장치 | |
KR102380232B1 (ko) | 입체 음향 재생 방법 및 장치 | |
GB2609667A (en) | Audio rendering | |
WO2024081957A1 (en) | Binaural externalization processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |