CN101278598A - 音频信号处理装置以及音频信号处理方法 - Google Patents

Abstract

本发明提供一种音频信号处理装置，能够减少矩阵运算的运算量，并且该音频信号处理装置，将缩混为NI声道的音频信号转换为NO(NO＞NI)声道的音频信号，包括：第一矩阵运算部(241)，对被缩混为所述NI声道的音频信号进行K(NO＞K≥NI)行、NI列的矩阵运算，并输出矩阵运算后的K个信号；K个解相关(De correlate)部(242、243)，生成信号，该信号继续维持了被矩阵运算的信号的频率特性，而在时间特性上与被矩阵运算的信号不相关(incoherent)；以及第二矩阵运算部(244)，对被缩混为所述NI声道的音频信号和所述K个不相关的信号进行NO行、(NI+K)列的矩阵运算，并输出所述NO声道的音频信号。

Description

音频信号处理装置以及音频信号处理方法

技术领域

本发明涉及音频信号处理装置以及音频信号处理方法，尤其涉及将被缩混为NI声道的音频信号转换为NO(NO＞NI)声道的音频信号的技术。

背景技术

近年，正在开发被称作Spatial Codec(空间编解码)的技术。其目的在于要以非常少的信息量来对表示多声道的临场感的信息进行压缩及编码，例如，在作为数字电视的声音方式已被广泛使用的多声道编解码方式的AAC(先进音频编码)方式，5.1声道要有512kbps或384kbps的比特率，然而，在Spatial Codec则以用128kbps或64kbps甚至于48kbps这样非常少的比特率来对多声道信号进行压缩及编码为目标。为此，在MPEG音频标准化会议正在进行国际标准规格化活动，并且公开了所谓的Reference Model Zero(以下，记作“RMO”)的空间编解码的基本处理方式(非专利文献1)。

另外，在此对空间编解码的基本原理进行说明。

图1是针对空间编解码的基本原理以L、R两声道为例进行说明的图。

在编码过程中，如图1(a)所示，空间音频编码器通过复数运算，从L、R两声道的音频信号求出缩混信号S(S＝(L+R)/2)、强度比c以及相位差θ。缩混信号S与强度比c以及相位差θ一起，根据MPEG方式AAC标准等在编码装置中被进一步编码。

在解码过程中，如图1(b)所示，生成解相关信号D(decorrelatesignal)，该解相关信号与缩混信号S垂直相交，且带有混响感。

并且，如图1(c)所示，使缩混信号S和解相关信号D混合，并根据被解码的强度比c和相位差θ，生成满足图1(a)所示的平行四边形关系的L、R的两声道信号。

在此，对从两个声道缩混到一个声道，再对一个声道进行多声道化恢复为两个声道的情况进行了说明，通过对这个原理进行多次反复，从而可以将5.1声道缩混为两个声道，并可以对两个声道进行多声道化使其返回到5.1声道。

以下对RMO中的信号传输进行说明。

图2示出了RMO中的基本信号的一个传输的例子，并且是示出将两个声道的信号转换为五个声道的信号的音频信号处理装置900的功能构成的方框图。

在此，输入的两个声道的信号是将原来的五个声道的信号缩混为两个声道的信号，输出的五个声道的信号是恢复为原来的五个声道的信号。并且，在此，两个声道的信号通常是指从前方的左右扬声器输出的信号，五个声道的信号通常是指分别从前方的左右扬声器、后方的左右扬声器、以及前方中央扬声器输出的信号。

而且，如图2所示，音频信号处理装置900包括：pre-mixingmatrix M1(901)、解相关器(记作De correlator或Decorrelator。)902和903、以及post-mixing matrix M2(904)。

pre-mixing matrix M1(901)通过对输入的input1和input2进行有关增益控制的矩阵运算处理，从而转换为五个系统的信号。其中两个系统的信号由解相关器(De correlator)902和903来处理，并分别被转换为无相关信号。post-mixing matrix M2(904)通过对五个系统的信号进行有关相位控制的矩阵运算处理，从而生成输出的五个声道的信号，所述五个系统的信号是指，由解相关器(De correlator)902和903转换的两个系统的信号以及未被转换而剩下的三个系统的信号合在一起的信号。

图3是示出音频信号处理装置900的更加详细的功能构成的方框图。并且，在图2中示出信号从左向右传输，在图3中示出信号从右向左传输。由于pre-mixing matrix M1(901)和post-mixing matrixM2(904)的内部由矩阵运算来定义，因此，为了使矩阵运算公式的数学表示和信号的传输一致，仅示出了信号从右向左传输，本质上与图2所示一致。

音频信号处理装置900除包括上述的pre-mixing matrixM1(901)、解相关器(De correlator)902和903、post-mixing matrixM2(904)以外，还包括两个行列式生成部905和907，以及两个内插法部906和908。

另外，如图3所示，pre-mixing matrix M1(901)的信号处理是由5行×2列的行列式来实现的。一般而言，以下(公式1)所示出的行列式为pre-mixing matrix M1(901)的一个例子。

(公式1)

$R_1^{l,m}={\mathrm{\γ}}^{l,m}\frac{1}{3}\left[\begin{array}{ccc}{\mathrm{\α}}^{l,m}+2& {\mathrm{\β}}^{l,m}-1& 1\\ {\mathrm{\α}}^{l,m}-1& {\mathrm{\β}}^{l,m}+2& 1\\ (1-{\mathrm{\α}}^{l,m})\sqrt{2}& (1-{\mathrm{\β}}^{l,m})\sqrt{2}& -\sqrt{2}\\ {\mathrm{\α}}^{l,m}+2& {\mathrm{\β}}^{l,m}-1& 1\\ {\mathrm{\α}}^{l,m}-1& {\mathrm{\β}}^{l,m}+2& 1\end{array}\right],$

在(公式1)中，α、β是根据被称作CPC(Channel PredictionCoefficients)的音频空间系数而被求出的值，Y是根据被称作ICC(Inter Channel Correlation)的音频空间系数而被求出的值。

并且，下标1表示数据是来自第一个参数集(压缩编码参数的集合)的数据。并且，下标m表示数据是来自第m个频带的数据。对于它们的详细意思，因与本申请的主旨无关故省略说明。

(公式1)是5行×3列的行列式，其中第3列所表示的意思是非专利文献1中叙述的所谓ResidualCoding被执行的情况，但是在比特率的限制和解码运算的负荷减轻方面通常是不执行ResidualCoding的，因此，在这种情况下(公式1)可以被看作为以下的(公式2)。

【0020】

(公式2)

$R_1^{l,m}={\mathrm{\γ}}^{l,m}\frac{1}{3}\left[\begin{array}{cc}{\mathrm{\α}}^{l,m}+2& {\mathrm{\β}}^{l,m}-1\\ {\mathrm{\α}}^{l,m}-1& {\mathrm{\β}}^{l,m}+2\\ (1-{\mathrm{\α}}^{l,m})\sqrt{2}& (1-{\mathrm{\β}}^{l,m})\sqrt{2}\\ {\mathrm{\α}}^{l,m}+2& {\mathrm{\β}}^{l,m}-1\\ {\mathrm{\α}}^{l,m}-1& {\mathrm{\β}}^{l,m}+2\end{array}\right]$

即，(公式2)与图3中右侧的行列式相对应。当然，ResidualCoding在被执行的情况下，图3中右侧的行列式是参照(公式1)的5行×3列的行列式，作为输入信号，追加了ResidualSignal，而成为三个通道。

像这样被生成的五个系统的信号中的两个系统的信号通过解相关器(De correlator)902和903的处理，被分别转换为不相关的信号。这样，被转换的两个系统的信号和没有被转换而剩下的三个系统的信号合计五个系统的信号，通过post-mixing matrix M2(904)中的处理被转换，从而生成输出的五个声道的信号。这个信号处理通过5行×5列的矩阵运算公式来实现。

在此，为了简便说明仅以5行×5列的矩阵运算公式作为一个例子，这是与前方两个声道，后方两个声道，中央一个声道的五个声道相对应的，另外，若加上LFE声道，则该行列式成为6行5列的行列式。并且，在非专利文献1中说明的所谓的TttElement中采用Decorrelator的情况下，由于在该矩阵运算的输入侧增加了一个声道，因此，该行列式则成为6行6列的行列式。

另外，各矩阵运算中的行列式的要素(系数)，由编码了原来的五个声道的信号间的强度比和相互关系(相位差)以及声道间预测系数的参数来生成。

首先，解码被编码的强度比、相互关系(相位差)、声道间预测系数的信息，并通过行列式生成部905和907来求出将两个声道的信号分离为五个声道的信号时所需要的信号间的强度比和相位差以及预测系数。

由于这些编码信号是以规定时间间隔的帧为单位而被更新的，因此为了使这个变动比较顺利，则根据前一个帧和当前的帧的状态，由内插法部906和908来对强度比和相位差的值进行修匀。这样，在pre-mixing matrix M1(901)和post-mixing matrix M2(904)中的矩阵运算公式的各要素就被决定了，决定这个矩阵运算公式的各要素的过程与本申请没有特别的关系，因此省略详细说明。

并且，在非专利文献1中，解相关器(De correlator)902和903的处理所描述的是：在输入信号的频率特性继续维持的状态下的时间特性中，生成与输入信号不相关(incoherent)的信号，其方法是利用lattice all pass filter。

非专利文献1

J.Herre，et al，″The Reference Model Architecture for MPEGSpatial Audio Coding″，118th AES Convention，Barcelona、AudioEngineering Society Convention Paper 6447，2005年5月28-31日

然而，在上述的音频信号处理装置900中存在以下这样的问题。

即第一个问题是：由于pre-mixing matrix M1(901)和post-mixing matrix M2(904)均由具有较大的行列式的矩阵运算来实现，因此需要进行大量的乘法和加法运算。

并且，第二个问题是：在内插法部906和908也要按照各个帧在以前的帧之间进行修匀处理，因此需要进行大量的运算。

并且，第三个问题是：在De correlator902和903的处理中所使用的lattice all pass filter处理也是由多个抽头的IIR滤波器构成的，因此需要进行大量的运算。

发明内容

本发明鉴于以往的问题，第一个目的在于提供一种可以减少矩阵运算的运算量的音频信号处理装置以及音频信号处理方法。

并且，第二个目的在于提供一种可以减少内插法处理中所需要的运算量的音频信号处理装置以及音频信号处理方法。

而且，第三个目的在于提供一种可以减少解相关处理中所需要的运算量的音频信号处理装置以及音频信号处理方法。

因此，为了解决上述的第一个问题，本发明所涉及的音频信号处理装置将缩混为NI声道的音频信号转换为NO(NO＞NI)声道的音频信号，其中包括：第一矩阵运算单元，对被缩混为所述NI声道的音频信号进行K(NO＞K≥NI)行、NI列的矩阵运算，并输出矩阵运算后的K个信号；K个解相关单元(De correlate)，生成信号，该信号继续维持了被矩阵运算的信号的频率特性，而在时间特性上与被矩阵运算的信号不相关(incoherent)；以及第二矩阵运算单元，对被缩混为所述NI声道的音频信号和所述K个不相关的信号进行NO行、(NI+K)列的矩阵运算，并输出所述NO声道的音频信号。

据此，在以往的RMO，pre-mixing matrix M1的行列式的行数为NO，是一个必需比解相关单元的个数K大的数，而在本发明，在第一矩阵运算单元运算的行列式的行数与解相关单元的个数K相同或比解相关单元的个数K小，因此可以大幅度地减少运算量。

并且，在本发明所涉及的音频信号处理装置中可以是所述K与所述NI相等。

据此，在RMO中，pre-mixing matrix M1例如是5行×2列的行列式运算，post-mixing matrix M2例如是5行×5列的行列式运算，而在本发明，第一矩阵运算单元的矩阵运算是2行×2列的比较小的行列式运算，第二矩阵运算单元的矩阵运算是5行×4列的比较小的行列式运算，因此可以大幅度地减少运算量。

并且，为了解决上述的第二个问题，本发明所涉及的音频信号处理装置进一步包括：第一行列式生成单元，根据参数生成所述第一矩阵运算单元中的第一行列式的各个系数，所述参数是以按照规定的时间间隔而被划分的帧为单位而被更新的；第二行列式生成单元，根据所述参数生成所述第二矩阵运算单元中的第二行列式的各个系数；以及内插法单元，利用前一个帧中的参数或前一个帧中的第二行列式的各个系数来依次内插(Interpolate)，并算出所述第二矩阵运算单元中的第二行列式的各个系数。

据此，只要对在第二矩阵运算单元运算的第二行列式进行行列式的各要素的内插处理即可，即，跳过了在听觉上不需要的、对在第一矩阵运算单元运算的第一行列式进行的行列式的各要素的内插处理，因此可以进一步减少运算量。

并且，为了解决上述的第三个问题，在本发明所涉及的音频信号处理装置，也可以是所述K个解相关单元包括使输入信号的相位旋转90度的处理。

据此，K个解相关单元的构成可以变的非常的简单，因此可以进一步减少运算量。

并且，在本发明所涉及的音频信号处理装置，也可以是所述第一矩阵运算单元的矩阵运算所使用的K行、NI列的第一行列式，是通过从与增益控制相关的系数中，分离与所述解相关单元中不需要的增益控制相关的系数而得到的，且是以与所述解相关单元中所需要的增益控制相关的最小单位的系数构成的；所述第二矩阵运算单元的矩阵运算所使用的NO行、(NI+K)列的第二行列式是由系数构成的，所述系数是通过结合与所述解相关单元中不需要的增益控制相关的系数和与相位控制相关的系数而得到的。

据此，既可以减少运算量，又可以输出没有向其它声道串入(串道)的高音质的NO声道的音频信号。

并且，本发明不仅可以作为上述这样的音频信号处理装置来实现，而且还可以作为将这样的音频信号处理装置所具备的特征性单元作为步骤的音频信号处理方法来实现，并且还可以将这些步骤作为使计算机执行的程序来实现。并且，这样的程序可以通过CD-ROM等记录介质或互联网等传输介质来分发。

通过以上说明可以明确知道，根据本发明所涉及的音频信号处理装置以及音频信号处理方法所取得的效果是，可以减少运算量，即使是运算能力较低的处理器也可以再生高音质的声音。

因此，通过本发明可以不受固定场所的限制，使在汽车等移动物体中的视听成为可能，在音乐等内容分发非常普及的今天，本发明的实用价值非常高。

附图说明

图1是针对空间音频编解码的基本原理，以L、R这两个声道为例进行说明的图。

图2是示出在RMO中以往的音频信号处理装置900的功能构成的方框图。

图3是示出音频信号处理装置900的更详细的功能构成的方框图。

图4是利用本发明实施例1中所涉及的音频信号处理装置的音频内容分发系统1的全体构成图。

图5是示出图4所示出的音频编码器10和音频解码器20的详细构成的方框图。

图6是示出图5所示出的音频信号处理装置24的功能构成的方框图。

图7是以往技术中的主要的信号处理的传输示意图。

图8是通过将“0”插入到图7中的pre-mixing matrix M1中的矩阵运算公式，而被扩展的图。

图9是通过将“1”插入到图8中的被扩展的行列式，而分离为两个行列式的图。

图10是对图9所示的内容改变信号处理的顺序的图。

图11是对图10所示的内容进行合理化的图。

图12是在音频信号处理装置24的各个部所执行的处理的工作流程图。

图13是本发明的实施例2所涉及的音频信号处理装置中，本发明的技术适用于从一个声道的信号转换为五个声道的信号时的示意图。

符号说明

24      音频信号处理装置

241     第一矩阵运算部

242，243解相关部

244     第二矩阵运算部

245     第一行列式生成部

246     第二行列式生成部

247     内插法部

具体实施方式

以下利用附图对本发明的实施例进行详细的说明。

(实施例1)

图4是利用本发明实施例1中所涉及的音频信号处理装置的音频内容分发系统1的全体构成图。

如图4所示，音频内容分发系统1包括音频编码器10、音频解码器20、以及通信路40，且该通信路40可以使音频编码器10和音频解码器20相互连接，在该音频内容分发系统1中，通过一个分区的通信路40，从音频编码器10发送音频内容，在音频解码器20一边接收音频内容，一边以规定的比特率来进行流播放。并且，在实施例1中所说明的情况是，音频编码器10和音频解码器20被分别设置，即：音频编码器10被设置在广播站等中，音频解码器20被设置在汽车中。

通信路40包括：作为通信路40的中心的互联网42、与互联网42相连接的互联网服务提供商(Internet Service Provider，以下记作“ISP”)43、形成移动电话网的网关45和基地电台44、形成无线LAN的多个访问点46a到46n。为了能够使汽车在行进中也可以通信，此访问点46a到46n沿着道路被连续地设置。

音频编码器10经由ISP43与互联网42相连接。音频解码器20经由移动电话网和无线LAN与互联网42相连接。

图5是示出图4所示出的音频编码器10和音频解码器20的详细构成的方框图。并且，在图5中通信路40的图示被省略。

音频编码器10以1024采样或2048采样等示出的帧为单位，对多个声道的音频信号(例如，五个声道的音频信号)进行处理，该音频编码器10包括：缩混部11、双声列检测部12、编码器13、多路复用部14、以及用于与通信路40相连接的通信部15。

缩混部11通过对以谱表示的五个声道的音频信号取平均，而生成被缩混为两个声道的缩混音频信号M。

双声列检测部12通过按照各个谱带对五个声道的音频信号以及缩混信号M进行比较，从而生成用于将缩混信号M复原到五个声道的音频信号的BC信息(双声列)。

BC信息包括：由音频空间系数而求出的值CPC、表示声道间相干/相关的相关信息ICC、以及由音频空间系数求出的值，即声道强度差CLD。

在此，相关信息ICC示出五个音频信号的类似性，声道强度差CLD示出五个声道的音频信号的相对强度。一般而言，声道强度差CLD是用于控制声音的平衡和定位的信息，相关信息ICC是用于控制声音的幅度和扩散性的信息。这些信息均为帮助听者在头脑中构成听觉情景的空间参数。

以谱表示的五个声道的音频信号以及缩混信号M被划分为由“参数频带(parameter band)”构成的通常的多个组。因此，BC信息是按照各个参数频带被算出的。并且，“BC信息”和“空间参数”会经常被作为同义词语来使用。

编码器13例如可以根据MP3(MPEG Audio Layer-3)，AAC(Advanced Audio Coding)等，来压缩编码缩混信号M。

多路复用部14通过对缩混信号M和被量化了的BC信息进行多路复用而生成比特流，并将该比特流作为所述的编码信号来输出。

音频解码器20包括：用于与通信路21连接的通信部21、逆多路复用部22、解码器23、以及音频信号处理装置24。

逆多路复用部22获得所述的比特流，并从该比特流中将被量化的BC信息和被编码的缩混信号M分离出来后输出。并且，逆多路复用部22对被量化的BC信息进行逆量化后输出。

解码器23将被编码的缩混信号M解码后输出到音频信号处理装置24。

音频信号处理装置24获得从解码器23输出的缩混信号M和从逆多路复用部22输出的BC信息。并且，音频信号处理装置24利用所述BC信息，将缩混信号M复原为五个音频信号。

并且，在以上所述中，以对五个声道的音频信号进行编码及解码为例对音频内容分发系统进行了说明，不过，音频内容分发系统也可以对两声道以上的声道的音频信号(例如构成5.1声道声源的六个声道的音频信号)进行编码及解码。

另外，在本实施例1，与以上述的背景技术说明的RMO中将两个声道的输入信号转换为五个声道的输出信号的技术相比，示出了对于以RMO公开的技术有了怎样的改善。在此，是以输入为两个声道，输出为五个声道的设定对实施例进行了说明，当然，这只不过是一个例子，输出也可以是5.1声道等。

图6是示出图5所示的音频信号处理装置24的功能构成的方框图。

如图6所示，音频信号处理装置24包括：第一矩阵运算部241，进行2行×2列的矩阵运算；两个解相关部(De correlate)242和243；第二矩阵运算部244，进行5行×4列的矩阵运算；第一行列式生成部245，按每个以规定时间间隔划分的帧，根据被传输来的BC信息，算出在第一矩阵运算部241运算的第一行列式的各个要素；第二行列式生成部246，按每个以规定时间间隔划分的帧，根据被传输来的BC信息，算出在第二矩阵运算部244运算的第二行列式的各个要素；内插法部247，通过将第二行列式生成部246所生成的值在帧间内插，从而进行修匀。

像这样的第一矩阵运算部241、第一以及第二解相关部242和243、第二矩阵运算部244、第一行列式生成部245、第二行列式生成部246以及内插法部247，由ROM内预先记忆的程序和执行该程序的数字信号处理器(DSP)、以及在执行该程序时提供工作区域的存储器等来实现。

对于以上这样构成的音频信号处理装置24的工作将在以下进行说明，在说明之前，首先对图3所示的以往技术中的行列式可以变形为图6所示的构成中的行列式的理由，利用图7到图11来说明。

图7是将图3中示出主要信号传输的部分提出来的图。因此，信号的传输与以上背景技术中说明的相同，从右侧输入两个声道的信号，最后输出五个声道的信号。

图8是通过将“0”插入到图7的pre-mixing matrix M1中的矩阵运算公式而得到的扩展图。

随着这样的行列式的扩展，原本两个声道的输入信号被分别复制，从而扩展为四个声道。但是，可以从右侧的行列式明确知道，信号的处理含意在数学上与图7所示完全相同。

图9是通过将“1”插入到图8中的被扩展了的行列式，从而分离为两个行列式的示意图。

在此，行列式只是单纯地被分割为两个，从右侧的行列式可以明确地知道，在数学上与图7所示完全相同。

图10是对图9所示的内容改变信号处理的顺序的图。

即，在图9所示的被分离的行列式中，对左侧的行列式的处理和解相关处理进行了调换。

图11是对将图10所示的内容进行合理化后的图。

即，图11所示的是：通过预先对图10所示的左侧的两个行列式进行矩阵运算从而合为一个，以及通过从图10所示的右侧的行列式中删除系数为“1”的要素，从而使矩阵的大小变小。例如，图11的左侧所示的行列式的第一行第一列的要素w0按照通常的矩阵运算规则，可以用以下公式来求出，即：w0＝c0×a0+d0×a1+e0×a2+f0×0+g0×0。

其它要素也是同样，可以按照通常的矩阵运算的规则来求出。

这样，如从图7到图11所示，通过分解行列式，调换处理的顺序，以及结合行列式，从而RMO所示的信号处理的传输可以被加工为图6所示的本申请中的信号处理的传输。

据此，可以减少运算量，并可以输出没有向其它声道串入(串道)的高音质的NO声道的音频信号。

那么，以下对图6所示的构成音频信号处理装置24的各个部分的工作进行说明。

DSP在将两个声道的缩混信号转换为五个声道的信号的情况下，首先执行前处理。

在前处理中包括以下决定，即：第一矩阵运算部241中的第一行列式通过从与增益控制相关的系数中，分离与第一以及第二解相关部242和243所不需要的增益控制相关的系数而得到，且第一矩阵运算部241中的第一行列式可以由与第一以及第二解相关部242和243所需要的增益控制相关的最小单位的系数构成。并且，在前处理中包括以下决定，即：在第二矩阵运算部244运算的第二行列式由通过结合以下的系数而得到的系数构成，在此，被结合的系数是指：与第一以及第二解相关部242和243所不需要的增益控制相关的系数，以及与相位控制相关的系数。并且，在前处理中包括以下决定，即：对第一以及第二解相关部242和243中的处理进行简略化(例如，相位的90°旋转)。而且，在前处理中还包括以下决定，即：跳过由第一行列式生成部245生成的系数的内插处理。

在前处理结束的情况下，DSP重复执行每个帧的处理(S12-S19)。

在每个帧的处理中，DSP首先在第一行列式生成部245根据以规定的时间间隔划分的每个帧而被传输的相位差信息(Inter channelcoherence)、强度比(channel level difference)以及通道间预测系数(Channel Prediction Coefficient)，算出在第一矩阵运算部241运算的第一行列式的各要素(S13)。

即，算出在第一矩阵运算部241运算的行列式的要素：a3、b3、a4、以及b4。在此，a3、b3、a4、以及b4的值与图3中的a3、b3、a4、以及b4的值的含意相同，其算出方法也可以和RMO所规定的方法相同。即，图6中右侧的行列式若以RMO所使用的字符来表示的话，与以下(公式3)所示的2行×2列的行列式相同。

(公式3)

$R_1^{l,m}={\mathrm{\γ}}^{l,m}\frac{1}{3}\left[\begin{array}{cc}{\mathrm{\α}}^{l,m}+2& {\mathrm{\β}}^{l,m}-1\\ {\mathrm{\α}}^{l,m}-1& {\mathrm{\β}}^{l,m}+2\end{array}\right]$

当然，(公式3)是未执行所谓的ResidualCoding的情况下的例子，在ResidualCoding被执行的情况下，则成为以下(公式4)所示的2行×3列的行列式。

(公式4)

$R_1^{l,m}={\mathrm{\γ}}^{l,m}\frac{1}{3}\left[\begin{array}{ccc}{\mathrm{\α}}^{l,m}+2& {\mathrm{\β}}^{l,m}-1& 1\\ {\mathrm{\α}}^{l,m}-1& {\mathrm{\β}}^{l,m}+2& 1\end{array}\right]$

但是，不同之处是，图3中的a3、b3、a4、b4的值是经过内插法部247加工后的值，而图6的第一矩阵运算部241中的行列式的要素a3、b3、a4、b4则是经过内插法部247加工后而得到的值，而相同的是，不管上述哪个值的算出方法都是以RMO来规定的。

以下，对图6中的主信号的传输进行说明。

输入的input1和input2的各要素的矩阵运算在第一矩阵运算部241被执行。即，DSP执行在第一矩阵运算部241运算的第一行列式的运算处理(S14)。像这样被生成的信号在第一以及第二解相关部242和243被处理。即，DSP在第一以及第二解相关部242和243执行解相关处理(S15)。

该第一以及第二解相关部242和243执行生成某种信号的处理，这种信号是在维持输入信号的频率特性的状态下，而在时间特性上与输入信号不相关(incoherent)的信号。其方法是，在RMO示出了利用lattice all pass filter的方法，不过，使输入信号的相位旋转90度的简略方法也可以。使输入信号的相位旋转90度是因为，信号所具有的频率特性被完全维持，而且，可以生成数学上完全不相关的信号。而且，由于在输入信号为复数的情况下，可以通过调换实数项和虚数项，并使一方的符号反转的处理来实现所述处理，因此，可以简化第一以及第二解相关部242和243的构成，从而可以大幅度地减少运算量。

在解相关处理结束的情况下，DSP在第二行列式生成部246根据以规定的时间间隔划分的每个帧而被传输的相位差信息(Interchannel coherence)和强度比(channel level difference)，算出在所述第二矩阵运算部244运算的行列式的各要素的基本值(S16)。

即，所述第二行列式生成部246求出图10所示的左侧的两个行列式，而且，所述第二行列式生成部246是执行结合这两个行列式的过程的单元。在此，由于图10所示的a0、b0、a1、b1、a2、b2的值具有与图3中的a0、b0、a1、b1、a2、b2的值相同的含意，因此其算出方法也可以与RMO规定的方法相同。

即，图10中左侧的两个行列式中右侧的行列式在以RMO所使用的字符来表示的情况下，与以下(公式5)所示的5行×4列的行列式相同。

(公式5)

$R_1^{l,m}={\mathrm{\γ}}^{l,m}\frac{1}{3}\left[\begin{array}{cccc}{\mathrm{\α}}^{l,m}+2& {\mathrm{\β}}^{l,m}-1& 0& 0\\ {\mathrm{\α}}^{l,m}-1& {\mathrm{\β}}^{l,m}+2& 0& 0\\ (1-{\mathrm{\α}}^{l,m})\sqrt{2}& (1-{\mathrm{\β}}^{l,m})\sqrt{2}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

当然，(公式5)是在没有执行所谓的ResidualCoding的情况下，而且在没有执行所谓的TttDecorrelator的处理的情况下，而且在LFE声道被省略的情况下的例子，在这些都被执行的情况下，则成为以下(公式6)所示出的构成。

(公式6)

$R_1^{l,m}={\mathrm{\γ}}^{l,m}\frac{1}{3}\left[\begin{array}{cccccc}{\mathrm{\α}}^{l,m}+2& {\mathrm{\β}}^{l,m}-1& 1& 0& 0& 0\\ {\mathrm{\α}}^{l,m}-1& {\mathrm{\β}}^{l,m}+2& 1& 0& 0& 0\\ (1-{\mathrm{\α}}^{l,m})\sqrt{2}& (1-{\mathrm{\β}}^{l,m})\sqrt{2}& -\sqrt{2}& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right]$

但是，图3中的a0、b0、a1、b1、a2、b2的值是经过内插法部247加工后的值，在此所使用的a0、b0、a1、b1、a2、b2的值是由内插法部247加工之前的值。

并且，图10所示的c0-c4、d0-d4、e0-e4、f0-f4、g0-g4的值与图3中的c0-c4、d0-d4、e0-e4、f0-f4、g0-g4的值的含意相同，其算出方法也可以与以RMO规定的方法相同。但是，图3中的c0-c4、d0-d4、e0-e4、f0-f4、g0-g4的值是经过内插法部247加工后的值，在此所使用的c0-c4、d0-d4、e0-e4、f0-f4、g0-g4的值为由内插法部247加工之前的值。将像这样被算出的a0、b0、a1、b1、a2、b2以及c0-c4、d0-d4、e0-e4、f0-f4、g0-g4的值，按照矩阵运算的一般规则，作为图11所示的w0-w4、x0-x4、y0-y4、z0-z4而结合为一个行列式。

而后，DSP通过在内插法部247对在所述第二行列式生成部246生成的所述w0-w4、x0-x4、y0-y4、z0-z4的值和在前一个处理帧中生成的这些值进行内插，从而对w0-w4、x0-x4、y0-y4、z0-z4的值进行修匀(S17)，以防止在帧的边界处行列式的要素发生急剧的变化。像这样得到的值是图6的第二矩阵运算部244内所示的w0^-w4^、x0^-x4^、y0^-y4^、z0^-z4^。

在此，各要素中附加了“^”记号，表示的是这个值是被内插处理后的值。在图7到图11中，在示出信号处理的变形过程时，在图11的左侧的行列式的最终各要素上没有附加“^”，此时，只是以数学的观点示出了信号处理的变形过程，图6中左侧的行列式的各要素是经过了内插处理的，因此，为了明确区分而附加了记号“^”。

不过，内插法部247为了减少运算量，也可以删除内插处理。并且，至于第一行列式生成部245所生成的行列式的系数，由于没有在图6的内插法部247加工，因此可以通过内插处理来修匀。

不过，从对音质产生影响的角度来看，如图6所示，对于所述第一行列式生成部245所生成的行列式的系数而言，即使不进行修匀也不会给音质带来太多的不好影响。

其原因是，第一行列运算部241的输出全部被输入到在这之后的第一以及第二解相关部242和243，在第一以及第二解相关部242和243根据RMO的规定，由于施行了给声音留下混响成分的处理，因此，在不进行修匀的情况下，即使出现急剧地行列式的变化，也会因第一以及第二解相关部242和243使声音模糊的效果，而可以使行列式的变化点上的不连续感减弱。

这样，由第一以及第二解相关部242和243而被转换的两个系统的信号以及input1和input2合计四个系统的信号由所述第二行列运算部242处理，输出的五个声道的信号被生成。即，DSP利用在第二矩阵运算部244运算的第二行列式执行运算处理(S18)。在此，值得注意的是在所述第二矩阵运算部244运算的行列式的各要素是依次被内插的要素。

例如，一帧的时间长度为持续了32单位时间的情况下，在所述第一矩阵运算部241中，行列式的各要素在32单位时间之间一直是相同的值，而所述第二矩阵运算部244中的行列式的各要素则按每1单位时间依次变化。例如，以在所述第二矩阵运算部244中的行列式的第一行第一列的w0为例，在所述第二行列式生成部246生成的当前帧的w0的值为w0(t)，在所述第二行列式生成部246生成的前一个帧的w0的值为w0(t-1)的情况下，按每1单位时间对w0(t-1)和w0(t)进行内插，使值平滑地从w0(t-1)移向w0(t)。

如以上所述，根据本实施例1，本发明的音频信号处理装置包括进行NI行的矩阵运算的第一矩阵运算部241、NI个的第一以及第二解相关部242和243、以及进行NO行的矩阵运算的第二矩阵运算部244，将NI声道信号作为所述第一矩阵运算部241的输入，将第一矩阵运算部241的输出信号作为第一以及第二解相关部242和243的输入，将第一矩阵运算部241的输入信号和第一以及第二解相关部242和243的输出信号作为第二矩阵运算部244的输入，据此，可以减少运算量。

例如在RMO中，若pre-mixing matrix M1为5行×2列的行列式运算，post-mixing matrix M2为5行×5列的行列式运算，则根据本申请的技术，可以减少运算量，即：第一矩阵运算成为2行×2列的行列式运算，第二矩阵运算成为5行×4列的行列式运算。

并且还包括行列式生成部245，根据以规定的时间间隔而划分的帧为单位而被更新的参数，来生成第一矩阵运算部241和第二矩阵运算部244中的行列式的各个系数，第一矩阵运算部241中的行列式的各个系数在各个帧中是固定的，第二矩阵运算部244中的行列式的各个系数利用前一个帧的参数，或前一个帧的行列式的各个系数，来依次内插(Interpolate)并算出，从而可以仅对第二矩阵运算式进行行列式的各个要素的内插处理，因此，减少了运算量。

并且，通过使所述第一以及第二解相关部242和243进行使输入信号的相位旋转90度的处理，从而可以非常简单地构成第一以及第二解相关部242和243。

并且，在本实施例1中，算出第二行列式的系数的处理(S16)和对第二行列式的系数执行内插处理(S17)是在解相关处理之后执行的，不过，也可以在步骤S13和步骤S14之间执行。这样，可以分离为求出系数的处理和转换为五个声道的音频信号的主处理。

并且，在本实施例1中示出了对两个声道的输入生成多声道的输出时的处理过程，不过，本发明也可以适用于对一个声道的输入生成多声道的输出。

(实施例2)

利用图13来说明例如对于一个声道的输入而输出声道数为5的情况。

本申请的主旨是，通过将所述第一矩阵运算部241中的行列式的行数与Decorrelator的数量相同，从而使所述第一矩阵运算部241所需要的运算量比在RMO中所叙述的pre-mixing matrix M1所需要的运算量少。

图13的最上边的图，即图13(a)示出了在RMO中对于一个声道的输入生成多个声道的输出时的信号的传输。从上开始第二个图和第三个图，即图13(b)和图13(c)是从数学的角度上扩大并分离的图。思路与图8和图9所说明的相同。

从上开始第四个图，即图13(d)调换了Decorrelator的处理和矩阵运算处理的图。思路与图10所说明的相同。

最下边的图，即图13(e)是针对从上开始第四个图，预先结合左侧的两个行列式而减少运算量，并通过对右侧的行列式进行最小化(最佳化)而减少运算量的图。

这样，在第一矩阵运算部241中的行列式成为4行1列，其行数与Decorrelator相同，并可以减少运算量。

并且，如像上述这样，则得到的优点是：由于第一矩阵运算部241的输出全都被输入到Decorrelator，因此以由Decorrelator而附加的混响成分的效果，即使在第一矩阵运算部241的行列式的各个要素在帧间发生急剧地变动，这个急剧地变动也不会在听觉上产生问题，所以不需要由内插法部对第一行列式的各个要素进行修匀处理。

在这个例子中输出的声道为五个声道，当然也可以加上LFE声道，而成为六个声道。这时，左侧的行列式的行数为6行。

根据本发明所涉及的音频信号处理装置，由于可以以较少的运算量来施行将被缩混的信号解码为原来的多个声道的信号的处理，因此可以适用于低比特率的音乐播放服务和音乐分发服务以及这些服务的接收机器等。

权利要求书(按照条约第19条的修改)

1. 一种音频信号处理装置，利用以规定的时间间隔而被划分的帧为单位而被更新的空间信息参数，将被缩混为NI声道的音频信号转换为NO声道的音频信号，NO＞NI，其特征在于，包括：

第一矩阵运算单元，对被缩混为所述NI声道的音频信号进行矩阵运算；

K个解相关单元，针对所述第一矩阵运算单元的输出信号生成信号，该被生成的信号继续维持了被矩阵运算的信号的频率特性，而在时间特性上与被矩阵运算的信号不相关；

第二矩阵运算单元，对上述解相关单元的输出信号和没有被解相关的信号进行矩阵运算，并输出所述NO声道的音频信号；以及

行列式生成单元，根据所述空间信息参数，生成所述第一矩阵运算单元的矩阵系数和所述第二矩阵运算单元的矩阵系数；

所述行列式生成单元以每一帧为单位生成行列式，以使在所述第一矩阵运算单元运算的行列式成为K行。

2. 如权利要求1所述的音频信号处理装置，其特征在于，所述K与所述NI相等。

3. 如权利要求1所述的音频信号处理装置，其特征在于，

所述行列式生成单元包括：

第一行列式生成单元，根据参数生成在所述第一矩阵运算单元运算的第一行列式的各个系数，所述参数是以按照规定的时间间隔而被划分的帧为单位而被更新的；

第二行列式生成单元，根据所述参数生成在所述第二矩阵运算单元运算的第二行列式的各个系数；以及

内插法单元，利用前一个帧中的参数或前一个帧中的第二行列式的各个系数来依次内插，并算出在所述第二矩阵运算单元运算的第二行列式的各个系数。

4. 如权利要求1所述的音频信号处理装置，其特征在于，所述K个解相关单元包括使输入信号的相位旋转90度的处理。

5. 如权利要求1所述的音频信号处理装置，其特征在于，

所述第一矩阵运算单元的矩阵运算所使用的K行、NI列的第一行列式，是通过从与增益控制相关的系数中，分离与所述解相关单元中不需要的增益控制相关的系数而得到的，且是仅以与所述解相关单元中所需要的增益控制相关的最小单位的系数构成的；

所述第二矩阵运算单元的矩阵运算所使用的NO行、(NI+K)列的第二行列式是由系数构成的，所述系数是通过结合与所述解相关单元中不需要的增益控制相关的系数和与相位控制相关的系数而得到的。

6. 一种音频信号处理方法，利用以规定的时间间隔而被划分的帧为单位而被更新的空间信息参数，将被缩混为NI声道的音频信号转换为NO声道的音频信号，NO＞NI，其特征在于，包括：

第一矩阵运算步骤，对被缩混为所述NI声道的音频信号进行矩阵运算；

K个解相关步骤，针对在所述第一矩阵运算步骤得到的输出信号生成信号，该被生成的信号继续维持了被矩阵运算的信号的频率特性，而在时间特性上与被矩阵运算的信号不相关；

第二矩阵运算步骤，对在上述解相关步骤得到的输出信号和没有被解相关的信号进行矩阵运算，并输出所述NO声道的音频信号；以及

行列式生成步骤，根据所述空间信息参数，生成在所述第一矩阵运算步骤的矩阵系数和在所述第二矩阵运算步骤的矩阵系数；

所述行列式生成步骤以每一帧为单位生成行列式，以使在所述第一矩阵运算步骤运算的行列式成为K行。

7. 一种程序，用于使计算机执行权利要求6所述的音频信号处理方法中包含的步骤。

Claims (7)

1. 一种音频信号处理装置，将缩混为NI声道的音频信号转换为NO声道的音频信号，NO＞NI，其特征在于，包括：

第一矩阵运算单元，对被缩混为所述NI声道的音频信号进行K行、NI列的矩阵运算，并输出矩阵运算后的K个信号，NO＞K≥NI；

K个解相关单元，生成信号，该信号继续维持了被矩阵运算的信号的频率特性，而在时间特性上与被矩阵运算的信号不相关；以及

第二矩阵运算单元，对被缩混为所述NI声道的音频信号和所述K个不相关的信号进行NO行、(NI+K)列的矩阵运算，并输出所述NO声道的音频信号。

2. 如权利要求1所述的音频信号处理装置，其特征在于，所述K与所述NI相等。

3. 如权利要求1所述的音频信号处理装置，其特征在于，

所述音频信号处理装置进一步包括：

第一行列式生成单元，根据参数生成在所述第一矩阵运算单元运算的第一行列式的各个系数，所述参数是以按照规定的时间间隔而被划分的帧为单位而被更新的；

第二行列式生成单元，根据所述参数生成在所述第二矩阵运算单元运算的第二行列式的各个系数；以及

内插法单元，利用前一个帧中的参数或前一个帧中的第二行列式的各个系数来依次内插，并算出在所述第二矩阵运算单元运算的第二行列式的各个系数。

4. 如权利要求1所述的音频信号处理装置，其特征在于，所述K个解相关单元包括使输入信号的相位旋转90度的处理。

5. 如权利要求1所述的音频信号处理装置，其特征在于，

所述第一矩阵运算单元的矩阵运算所使用的K行、NI列的第一行列式，是通过从与增益控制相关的系数中，分离与所述解相关单元中不需要的增益控制相关的系数而得到的，且是以与所述解相关单元中所需要的增益控制相关的最小单位的系数构成的；

所述第二矩阵运算单元的矩阵运算所使用的NO行、(NI+K)列的第二行列式是由系数构成的，所述系数是通过结合与所述解相关单元中不需要的增益控制相关的系数和与相位控制相关的系数而得到的。

6. 一种音频信号处理方法，将缩混为NI声道的音频信号转换为NO声道的音频信号，NO＞NI，其特征在于，包括：

第一矩阵运算步骤，对被缩混为所述NI声道的音频信号进行K行、NI列的矩阵运算，并输出矩阵运算后的K个信号，NO＞K≥NI；

K个解相关步骤，生成信号，该信号继续维持了被矩阵运算的信号的频率特性，而在时间特性上与被矩阵运算的信号不相关；以及

第二矩阵运算步骤，对被缩混为所述NI声道的音频信号和所述K个不相关的信号进行NO行、(NI+K)列的矩阵运算，并输出所述NO声道的音频信号。

7. 一种程，用于使计算机执行权利要求6所述的音频信号处理方法中包含的步骤。

Images