CN101578655A - 流合成装置、解码装置、方法 - Google Patents

Abstract

提供一种流合成装置，其可以在不断地提高多点连接时的临场感的情况下减轻在多点连接装置的运算负荷。该流合成装置包括：输入部，输入两个以上的编码信号，该编码信号包含第一缩混声信号和扩展信号，所述第一缩混声信号是通过对缩混两个以上的声音信号而得到的声信号进行编码而得到的，所述扩展信号用于从所述第一缩混声信号中获取所述两个以上的声音信号；编码信号生成部，根据所述输入部所输入的各个编码信号，生成第二缩混声信号和扩展信号，并生成包含该被生成的第二缩混声信号、该被生成的扩展信号以及被输入的所述各个编码信号的各个扩展信号的编码信号，所述被生成的第二缩混声信号是可以获取所述各个第一缩混声信号的信号，所述被生成的扩展信号用于从该第二缩混声信号中获取所述各个第一缩混声信号；以及输出部，输出该被生成的编码信号。

Description

流合成装置、解码装置、方法

技术领域

本发明涉及利用音频编解码器进行通信的多点会议系统，尤其涉及多点连接装置。

背景技术

近些年提出了通过InternetProtocol(IP)连接多点的会议室系统。以往，各个点与该点以外的点被一对一连接，作为语音编码方式采用了G.726等语音编码技术。

在采用了非专利文献1中所记载的G.726等单声道语音编码技术的情况下，在各个点多人同时发话时，由于声信号是单声道，因此各个点的临场感就不会太好，这样接收方要想确认发话人就会比较困难。这是因为声音的分离性能变差了的缘故。

于是，采用了在非专利文献2中记载的MPEG-AAC方式等多信道编码技术，从而提高了分离性能。在MPEG-AAC方式虽然能够在各个点之间达到临场感，但是，由于传输量(位速率)增大，从而会对网络造成负担。一般而言，与语音的编码方式相比，若采用多信道编码方式，则传输量就会增大100倍左右。

对于MPEG-AAC方式，在非专利文献3所记载的MPEG-Surround方式，通过采用低位速率的多信道编码方式，从而防止了传输量的增大。

非专利文献1  ITU-TG.726标准

非专利文献2  MPEG-AAC标准ISO/IEC 13818-3

非专利文献3  MPEG-Surround标准ISO/IEC 23003-3

非专利文献4  互联网

<URL：http://winnie.kuis.kyoto-u.ac.jp/～ogata/le4-pr/node2.html>，[2007年7月15日检索]

非专利文献5“階

的变换符号化基本モジユ一ルによつて構成されるスケ一ラブル楽音符号化(由分层的变换编码基本模块构成的可伸缩音频编码)”，電子情報学会論文誌(电子信息学会论文杂质)Vol.J83-A，No.3(20000325)，pp.241-252

非专利文献6  互联网

<URL：http://www.murata.elec.waseda.ac.jp/～mura/Research/ICA/ieice99/mld.m>，[2007年7月15日检索]

然而，将MPEG-Surround方式用于会议系统时会出现一个很大的问题。

如图1以及图2所示，会议系统的连接方式有网型(图1)和星型(图2)。多个点以网型(图1)连接的情况下，若增加连接点数，则需要在各个点的收发终端装置同时进行非常多的解码处理。在点数为n个的情况下，就需要在各个点的终端进行n次解码处理，并且以MPEG-Surround方式等多信道编码方式进行编码以及解码时需要非常大的运算量，因此像上述那样同时执行多个解码处理时，进行编码和解码处理的处理器需要具有高的运算性能，这样，就需要大规模的处理器。然而这样的处理器一般价格比较高，从而出现成本过高的问题。并且，运算存储器也需要较大的容量，这样就更会造成成本增加。以上这些课题是需要节省电力的便携式终端的致命之处。

另外，通过多点连接装置(MCU)403(图2)连接的星型的情况下也会出现问题。在各个点的收发终端装置，由于只进行一组收发信处理即可，因此虽然不需要过高性能的处理器和运算存储器，但是多点连接装置(MCU)需要较高的运算能力。图3示出了三点通过多点连接装置403连接，并且各个点之间以MPEG-Surround方式等以往的多信道编码方法进行通信。各个点以进行三个信道的通信为例，在多点连接装置403对从点1和点2接收的编码信息401和402进行多信道解码，并对各个信道进行缩混后，再次进行三个信道的编码并发送到点3。也就是说，n点与多点连接装置(MCU)连接的情况下，在多点连接装置需要进行的处理是，暂先对从各个点接收的编码列进行解码，并进行为了合成一个信号后再次发送的编码处理n次以及解码处理n次，在网型的点终端出现的问题也会在多点连接装置中出现。

发明内容

本发明就是鉴于以往的问题点的发明。

为了解决上述课题，本发明的第一流合成装置是一种流合成装置，包括：输入部，输入两个以上的编码信号，该编码信号包含第一缩混声信号和扩展信号，所述第一缩混声信号是通过对缩混两个以上的声音信号而得到的声信号进行编码而得到的，所述扩展信号用于从所述第一缩混声信号中获取所述两个以上的声音信号；编码信号生成部，根据所述输入部所输入的各个编码信号，生成第二缩混声信号和扩展信号，并生成包含该被生成的第二缩混声信号、该被生成的扩展信号以及被输入的所述各个编码信号的各个扩展信号的编码信号，所述被生成的第二缩混声信号是可以获取所述各个第一缩混声信号的信号，所述被生成的扩展信号用于从该第二缩混声信号中获取所述各个第一缩混声信号；以及输出部，输出该被生成的编码信号。

并且，本发明的解码装置包括输入部和解码部，所述输入部输入编码信号，该编码信号包含缩混声信号和扩展信号，该缩混声信号是通过对缩混两个以上的声音信号而得到的声信号进行编码而得到的，该扩展信号用于从该缩混声信号中获取所述两个以上的声音信号；被输入的所述编码信号的所述缩混声信号是被获取了预先规定的两个以上的编码信号的各个缩混声信号的第二缩混声信号；被输入的所述编码信号的所述扩展信号是用于从所述第二缩混声信号中获取所述各个第一缩混声信号的扩展信号；所述解码部至少根据被包含在所述扩展信号中的相关值和频率功率比，生成两个以上的中间信号，并对该被生成的两个以上的中间信号与所述频率功率比进行乘法运算，所述两个以上的中间信号是通过所述相关值对从所述第二缩混声信号中获取的解码信号进行无相关化而得到的。并且，解码部至少根据相关值(ICC)和频率功率比(ILD)生成各个中间信号。解码部也可以根据相关值(ICC)、频率功率比(ILD)、以及除相关值(ICC)和频率功率比(ILD)以外的其他的数据来生成各个中间信号。

第二流合成装置是这样一种流合成装置，将由缩混声信号和扩展信号所构成的编码信号作为输入输出信号，所述缩混声信号是通过对缩混一个以上的单声道信号而得到的声信号进行编码而得到的，所述扩展信号用于将所述缩混声信号解码为一个以上的单声道信号，且，该流合成装置接收两个以上的编码信号，并将一个以上的编码信号的缩混声信号部分整形为一个缩混声信号和用于将所述缩混声信号解码为一个以上的单声道信号的扩展信号。

并且，第三流合成装置是这样一种流合成装置，将由缩混声信号和扩展信号所构成的编码信号作为输入输出信号，所述缩混声信号是通过对缩混一个以上的单声道信号而得到的声信号进行编码而得到的，所述扩展信号用于将所述缩混声信号解码为一个以上的单声道信号，且，该流合成装置接收两个以上的所述编码信号，发送一个所述编码信号，并将接收的编码信号中所包含的扩展信号合成为一个编码信号。

并且，第四流合成装置是这样一种流合成装置，将由缩混声信号和扩展信号所构成的编码信号作为输入输出信号，所述缩混声信号是通过对缩混一个以上的单声道信号而得到的声信号进行编码而得到的，所述扩展信号用于将所述缩混声信号解码为一个以上的单声道信号，并且合成为包含示出两个以上的所述编码信号的发送方的信息的信号。

并且，第一解码装置是这样一种解码装置，将由缩混声信号和扩展信号所构成的编码信号作为输入，所述缩混声信号是通过对缩混一个以上的单声道信号而得到的声信号进行编码而得到的，所述扩展信号用于将所述缩混声信号解码为一个以上的单声道信号，且，该解码装置接收信号，该信号是通过从两个以上的所述编码信号中，将一个以上的编码信号的缩混声信号部分整形为一个缩混声信号和用于将所述缩混声信号解码为一个以上的单声道信号的扩展信号而得到的。所述扩展信号中包含一个以上的单声道信号的频率功率比(ILD)和一个以上的单声道信号的相关值(ICC)，并针对解码所述缩混的声信号而得到的信号，生成通过所述相关值(ICC)进行无相关化后的两个以上的中间信号，并将所述频率功率比(ILD)与所述两个以上的中间信号相乘。

并且，第二解码装置是这样一种解码装置，将由缩混声信号和扩展信号所构成的编码信号作为输入，所述缩混声信号是通过对缩混一个以上的单声道信号而得到的声信号进行编码而得到的，所述扩展信号用于将所述缩混声信号解码为一个以上的单声道信号，且，该解码装置接收信号，该信号是通过从两个以上的所述编码信号中，将一个以上的编码信号的缩混声信号部分整形为一个缩混声信号和用于将所述缩混声信号解码为一个以上的单声道信号的扩展信号而得到的，所述扩展信号包含一个以上的单声道信号的功率频率比的平方，在所述功率频率比的平方比规定的阈值大时，不进行解码。

并且，第五流合成装置是这样一种流合成装置，将由缩混声信号和扩展信号所构成的编码信号作为输入输出信号，所述缩混声信号是通过对缩混一个以上的单声道信号而得到的声信号进行编码而得到的，所述扩展信号用于将所述缩混声信号解码为一个以上的单声道信号，且，该流合成装置接收两个以上的编码信号，并将一个以上的编码信号的缩混声信号部分整形为一个缩混声信号和用于将所述缩混声信号解码为一个以上的单声道信号的扩展信号。

在利用G.726等单声道语音编码技术的情况下，在各个点的多个人同时发话时，出现的问题是，由于声信号为单声道，声音的分离性能比较差，因此不能很好地表现各个点的临场感，在接收方也会很难确定发话人，然而通过该第五流合成装置就能够解决上述的问题。

通过设置了上述这样的流合成装置，除能够提高到点1连接时的临场感以外，还能够减少在多点连接装置的运算负载。

附图说明

图1示出了通信路径的连接种类。

图2示出了通信路径的连接种类。

图3示出了多信道多点通信的课题。

图4示出了本发明的实施例1中的流合成装置。

图5示出了本发明的实施例1中的多点连接的例子。

图6示出了本发明的实施例1中的缩混整形电路。

图7示出了本发明的实施例1中的解码装置。

图8示出了本发明的实施例1中的分离电路。

图9示出了本发明的实施例2中的多点连接的例子。

图10示出了本发明的实施例2中的编码列的例子。

图11示出了本发明的实施例3中的缩混整形电路。

图12示出了本发明实施例4中的多点连接的例子。

图13示出了本发明的实施例4中的编码列的例子。

图14示出了本发明的实施例1中的多点连接的例子。

图15示出了本发明的实施例1中的多点连接的其他的构成。

图16是在流合成装置中检测接收点数量的流程图。

图17是在流合成装置中算出缩混分离系数的流程图。

图18示出了算出缩混分离系数的流程图的其他的构成。

图19示出了本发明的实施例1中的编码列的例子。

图20示出了编码列中所保持的分离树信息的例子。

图21是在流合成装置中算出优先级的顺序的流程图。

图22是用于说明流合成装置向多个点分别发送编码信息的处理的概念图。

符号说明

100流合成装置

101、102、107编码信息

103分离电路

104缩混整形电路

105扩展信息算出电路

106多路复用电路

201、204缩混编码信号

202、203、205、206扩展信息

207缩混编码信号

208缩混分离信息

401、402、407编码信息

501、502解码电路

503缩混电路

504编码电路

601缩混编码信号

602扩展信息

603、604分离电路

701输入信号

702分离信息(相关值)

703分离信息(功率比)

704无相关电路

705、706增益调整电路

707被分离的第一信号

708被分离的第二信号

801点1的缩混编码信号

802、803点1的扩展信息

804点2的缩混编码信号

805、806、807点2的扩展信息

808点3的缩混编码信号

809点3的缩混分离信息

901Tree信息

902点3的缩混编码信号

903点3的缩混分离信息

904、905、906扩展信息

907判别信息

908点信息

909信号数

910Tree的深度信息

911信号1的Tree系数

912信号2的Tree系数

913信号3的Tree系数

914终止信息

1001逆量化部

1101缩混信号

1102、1103、1104扩展信息

1105缩混信号

1106、1107、1108、1109扩展信息

1110缩混信号

1111缩混分离信息

1112、1113扩展信息

1114、1115、1116编码信息

1301输入信号数

1401优先级信息

1402点1的输入信号1的扩展信号(优先级为最高)

1403点2的输入信号6的扩展信号(优先级为第二)

具体实施方式

以下，参照附图对本发明的实施例进行说明。

(实施例1)

图4示出了本发明的流合成装置100的构成。并且，图5示出了点1、点2、点3通过本发明的流合成装置(多点连接装置)100而被连接。以下将具有点1～点3和流合成装置100的多点会议系统称为系统1(图5)。首先，利用图5来说明概要。

图5是系统1的构成图。

在各个点分别利用麦克风收录两个以上的独立的声信号，得到多信道的PCM信号。在图5中，在点1收录了信号1、信号2、信号3，在点2收录了信号4、信号5、信号6。将得到的PCM信号根据公式1来算出立体声或单声道的缩混PCM信号。

(公式1)DMX(n)＝∑a(i，n)·Input(i)n＝1或2

在此，a(i，n)是各个输入信号的缩混系数，在收录的信号的数量为5个的情况下，采用ITU-R BS.775-1标准中所公开的缩混系数。另外，“∑”是表示数列总和的记号。也就是说，“∑”具有通常的数学中的“∑”记号的意义。

即，将独立的多个声信号作为通常的多声道信号来使用。

对通过这样算出的单声道或立体声的缩混信号进行单声道或立体声的声音编码处理。作为声音编码处理，在立体声信号的情况下，以非专利文献2所记载的MPEG-AAC方式来编码。在单声道的情况下采用非专利文献1所记载的G.726方式或MPEG-AAC的单声道编码。并且，关于缩混信号的编码方式，不仅限于MPEG-AAC和G.726，也可以是杜比数字(AC-3)、MPEG-Layer3方式、TwinVQ方式等。

在图5，将编码缩混信号PCM信号后而得到的信号以DMX信号201、DMX信号204来表示。这些被统称为缩混编码信号。

另外，为了说明上的方便，在本申请中，多个声音信号等的多个原信号被缩混，被缩混的缩混PCM信号被编码为DMX信号的处理的全体构成的全体处理位称为缩混编码。另外，为了方便而将缩混编码简单称为“编码”。并且，相反地，从DMX信号生成多个原信号的处理被称为缩混解码。并且，为了方便而将缩混解码简单称为“解码”。

之后，算出被称为扩展信号的信号。该信号是用于根据所述缩混信号(DMX信号201、DMX信号204等)而解码为多个独立的信号的信息。以下，以点1为例进行说明。在输入信号(在此为信号1、信号2、以及各个单声道信号的情况)之间，以每个帧为单位按照以下的方法算出功率比(ILD)以及相关值(ICC)。若将信号1作为Input1(n)、将信号2作为Input2(n)，则

(公式2)  Gain(n)＝10·log(Input1(n)/Input2(n))

(公式3)  Cor(n)＝∑(Input1(n)·Input2(n)/Input2(i)^2)

另外，在本发明中，记号“^”表示乘方运算。具体而言，记号“^”以“A^B”的形式出现，表示A的B次方。

像这样被算出的功率比(ILD)以及相关值(ICC)被量化、Huffman编码等，从而成为扩展信号203。详细的顺序可以参照非专利文献3所记载的MPEG-Surround编码中的OTT电路(从两个输入中生成上述扩展信号的电路)。并且，扩展信息虽然以功率比(ILD)和相关值(ICC)为例，但是并非受此所限。并且，虽然在此以两个独立的输入信号来生成扩展信息为例进行说明，但是也有利用三个独立的输入信号来求扩展信息的方法。详细内容可以参照非专利文献3所记载的MPEG-Surround编码中的TTT电路。在四个以上的独立的输入信号的情况下，可以以串联连接具有两个输入的信号装置的OTT电路的形式来实现。例如，在四个独立的信号的情况下，利用两个OTT电路，得到两组缩混信号，再次利用OTT电路来得到一个缩混信号。即，利用三个OTT电路。

另外，作为扩展信息除可以包含功率比(ILD)以及相关值(ICC)以外，还可以包含相位差信息(IPD)。

之后，缩混信号1和信号2并转换为单声道信号，并利用该信号和信号3，按照公式2和公式3来算出功率比(ILD)和相关值(ICC)，并进行量化、Huffman编码等，从而得到扩展信号202。编码信息101包括缩混编码信号201、扩展信息202、以及扩展信息203，所述扩展信号202用于从缩混编码信号201中分离出信号3和由信号1+信号2构成的合成信号，所述扩展信号203用于将由所述扩展信息202分离出来的信号1+信号2的合成信号分离为信号1和信号2。以上所述若在模式上用图来表示，则成为图5的信号树209所示。

点2也是同样，从信号4和信号5算出扩展信息206，对信号4和信号5进行缩混从而得到合成信号，并从该合成信号和信号6算出扩展信息205。

像以上这样得到的缩混编码信号和扩展信息被归结到各个点，通过Internet等通信路径，被输入到流合成装置100。

图4示出了本发明的流合成装置100的详细构成。在流合成装置100的内部进行以下运算。

首先，分离电路103分别从点1的编码信息101和点2的编码信息102中分离缩混编码信息和扩展信息。在进行该分离时，区别缩混编码信号和扩展信息的信息被分别赋予在各个信息的开头，从而分离电路103进行分离。

图6示出了缩混整形电路104(图4)的构成。

被分离的缩混编码信号在构成缩混整形电路104的解码电路501以及502，按照规定的顺序，由缩混整形电路104暂先被解码为PCM信号。并且，在缩混编码信号以MPEG-AAC方式被编码的情况下，以非专利文献2所记载的解码方法解码，并算出PCM信号。像以上这样得到的PCM信号被设为PCM1、PCM2。

在缩混整形电路104，被解码的这些PCM信号(PCM1、PCM2)进一步由缩混电路503缩混，并由编码电路504编码为规定的编码形式(MPEG-AAC形式)，从而得到缩混编码信号207(图6)。此时的缩混过程的一个例子如公式所示。

(公式4)DMX＝0.5·PCM1+0.5·PCM2

并且，在此虽然系数采用了0.5，但并非受此所限，若分别将PCM1、PCM2的系数设为a(i)、b(i)，则

(公式5)a(i)+b(i)＝1

的关系成立。该过程相当于图6的缩混电路503。

之后，扩展信息算出电路105(图4)根据PCM1和PCM2，按照上述的公式2以及公式3算出扩展信息。将此输出作为缩混分离信息(缩混扩展信息)208(图5的DMX分离)。

缩混分离信息的算出可以按照以下所示进行。

图16是判断是否算出缩混分离信息的流程图。

在本实施例所描述的点构成中，举例示出了，流合成装置100接收来自两个点的信号，并向一个点发送合成信号。在这种情况下，接收点数量n为“2”。流合成装置100检测接收点数量(步骤S11)。由于被检测出的接收点数量比1大(步骤S12：“是”)，流合成装置100通过扩展信息算出电路105算出点信号分离系数(缩混分离信息)(步骤S13)。关于该计算将在以后叙述。算出点信号分离系数后，该系数和原来的扩展信息由多路复用电路106合成为一个流(步骤S14)，并由输出部12发送到第三个点(步骤S15)。这样，点信号分离系数在步骤S14由多路复用电路16重叠，点信号分离系数(缩混分离信息)的算出过程如图18所示。

图18是算出第一缩混分离系数的处理的流程图。

点1和点2的缩混编码信号201和204(图6)被分别解码，从而得到解码后的PCM1、PCM2的信号，并按照公式3从该PCM1、PCM2的信号中算出这些信号的相关值(ICC)(步骤S32)。之后，检测算出的相关值(ICC)的绝对值是比规定的阈值P_ICC大还是小(步骤S33)。比P_ICC小的情况下(步骤S33：“是”)，算出所述PCM1和PCM2的差分信号。另外，例如P_ICC为0.5，该值为流合成装置100(图4、图5)中预先设定的值，在0至1.0的这个范围内，用户可以自由地变更设定。因此，以上虽然设定为0.5，但并非受此所限。

在步骤S35中，对差分PCM信号按照规定的次数进行LPC分析，算出LPC系数和残差信号。LPC分析的一个例子可以参照非专利文献4。

通过以上的过程算出的相关系数ICC以及LPC系数、LPC分析次数在步骤S36被编码，并作为缩混分离信息。并且，相关值ICC的绝对值在规定的阈值P_ICC以上的情况下，仅将ICC信息作为缩混分离信息发送。仅在所有发送点之间重复这些发送点的所有组合的运算(步骤S31)，算出ICC或LPC系数。在本实施例的情况下，进行一次循环计算。并且，在步骤S31判断，例如在步骤S32至步骤S37中上述说明的各个处理是否在发送点的各个组合中的所有组合之间均已结束。并且，在步骤S31判断为所有的组合的处理已经结束的情况下(步骤S31：“是”)，在步骤S31e，结束图18的处理(算出第一缩混分离系数的处理)。并且，在步骤S31判断为所有的组合的处理没有结束的情况下(步骤S31：“否”)，对于没有结束的组合中的一个组合，开始从步骤S32至步骤S37的处理。

图17是在流合成装置100中算出第二缩混分离系数的流程图。

或者，也可以按照图17的流程图算出缩混分离信息。在步骤S22按照公式3(以前所述的)，从分别解码了点1和点2的缩混编码信号201和204(图6)而得到的PCM1和PCM2(以前所述的)的信号中，算出这些信号的相关值(ICC)。之后，在步骤S23检测被算出的相关值(ICC)的绝对值是比规定的阈值P_ICC大还是小。在步骤S24，在比P_ICC小的情况下(步骤S23：“是”)，按照公式2从所述PCM1和PCM2的信号中算出功率比(ILD)。将算出的ILD以及ICC作为缩混分离信息发送。相关值(ICC)的绝对值在规定的阈值P_ICC以上的情况下(步骤S23：“否”)，仅编码相关值(ICC)并发送(步骤S26)。仅对所有发送点的组合重复进行这些运算(步骤S21：“否”)，算出ICC以及ILD、LPC的系数。在本实施例中，流合成装置100的输出点为点3的情况下，上述ICC和ILD的算出是针对点1和点2的组合进行的。同样，在输出点为点1的情况下，上述ICC、ILD、LPD的算出是针对点2和点3的缩混信号进行运算的。以上对点数量为三个情况进行了说明，当然不仅限于此，三个以上也是同样的构成。

并且，在步骤S21判断，例如在步骤S21至步骤S26中上述说明的各个处理是否在发送点的各个组合中的所有组合之间均已结束。并且，在步骤S21判断为所有的组合的处理已经结束的情况下(步骤S21：“是”)，在步骤S21e，结束图17的处理(算出第二缩混分离系数的处理)。并且，在步骤S21判断为所有的组合的处理没有结束的情况下(步骤S21：“否”)，对于没有结束的组合中的一个组合，开始从步骤S32至步骤S37的处理。

图19示出了缩混分离信息(DMX分离)的构造。

缩混分离信息具有表示在其开头的缩混分离信息的区域，据此来识别是缩混分离信息还是各个点内的扩展信息。在缩混分离信息中，在上述区域之后存储有表示缩混分离信息全体是多少字节(Byte)的DMX分离代码的长度信息。在缩混分离信息中，在该长度信息之后存储有相关值(ICC)的个数。该个数与上述所示的所有发送点数量的组合的数量一致。缩混分离信息中同样保持有信道间的强度差信息(ILD)的个数以及各个ILD的值。在缩混分离信息中，在ILD的个数以及值之后保持有进行了LPC分析的分析次数以及各个LPC系数。对于扩展信息，在DMX分离信息(缩混分离信息)之后保持有用于分离各个点和各个信号的扩展信息。在图19的情况下，如图15所示构成了各个扩展信息(扩展信息1402和扩展信息1403)，在扩展6的开头部分具有表示该扩展信息为用于分离“点2、信号6”的信号的识别码，在其后保持的是图20所示的分离树信息，再后边是分离电路C以及分离电路E的扩展系数(ICC系数以及ILD系数)。

这样，通过根据相关值(ICC)的绝对值的大小来切换缩混分离信息的内容，从而能够减少在MCU计算缩混分离信息时所需要的运算量。

另外，在本实施例中，对于缩混信号以MPEG-AAC方式为例进行了说明，在利用LPC分析进行编码的方式的情况下，在计算上述缩混分离信息时，可以在LPC分析的结果而得到的LSP系数上通过进行算术的加法运算以及线性插值处理来合成。也就是说，可以在比特流的状态下算出缩混分离信息，由于可以不必进行繁琐的解码处理，因此能够简单地求出缩混分离信息。作为利用LPC分析进行编码的方式的一个例子，可以参照非专利文献5所记载的TwinVQ方式。

在以往的技术中，本来是不附加缩混分离信息的，而在本发明，流合成装置100除以往的信号分离的参数(功率比(ILD)、相关值(ICC))以外还发送差分PCM的LPC系数。

在此，不是对PCM1和PCM2进行LPC分析，而是对差分PCM进行LPC分析，这样，能够压缩声信号的动态范围，从而即使在解码装置，也可以不必假定大的动态范围就能够实现良好的电路构成，具有减少电路成本的优点。当然，能够提高缩混信号的分离性能这一本来的目的也是不言而喻的。在PCM1和PCM2之间算出并编码缩混分离信息208(图5)的情况下，对于很有可能具有完全不同特性的点1和点2的缩混编码信号进一步进行缩混时，原本所具有的声特性就会消失，对于这种失去了声特性的状态下的信号即使再进行扩展，失去的声特性也不会得到恢复。因此，为了在尽量地不增加信息量的基础上保持声特性，就需要生成上述的缩混编码信号的扩展信息。

通过上述的方式而得到的缩混编码信号207(图5、图6)和缩混分离信息208(图5)、以及编码信息101、102中所包含的扩展信息202、203、205、206(图5)在多路复用电路106(图4)被多路复用，并作为编码信息107由输出部12(图4)发送到点3。

以下，对接收了缩混编码信号和扩展信息的解码装置进行说明。在解码装置A(图5)，首先解码装置A分离缩混信号和扩展信号，之后，在规定的解码电路解码缩混编码信号。不过，在MPEG-AAC方式按照非专利文献2所记载的顺序进行。根据上述的解码结果而得到的解码PCM信号和上述的被分离的扩展信息，解码独立的多个声信号。上述的解码电路的例子如图7和图8所示。

另外，解码装置A例如是在点3被实现了功能的功能块。更具体而言，例如解码装置A是通过点3的计算机执行预先在该计算机中所存储的软件，而在该计算机实现的功能的功能块。

图7示出了解码装置A(图5)。

若以点1为例，解码装置A则如图7所示那样，将作为PCM信号而得到的缩混信号601和扩展信号602作为输入，在内部多阶段地连接有分离电路603、604。作为分离的电路的执行例子，可以举出非专利文献3所公开的MPEG-Surround的OTT电路、TTT电路，简单的分离电路的例子如图8所示。

图8示出了解码装置A所具有的分离电路709。

根据输入信号701、公式2和公式3所记载的功率比(ILD、图8中的分离信息(功率比)703)和相关值(ICC、图8中的分离信息(相关值)702)，首先在无相关化电路704对输入信号701进行无相关化。在此，作为实施的一个例子，可以参照非专利文献3记载的Decorrelator电路。不过，对于无相关化电路704而言，并非仅限于此，例如在非专利文献6中公开了通过Levinson-Durbin算法对信号进行无相关化的方法。

经过上述的无相关化电路704，再由增益调整电路705、706调整增益，从而得到被分离的信号707和708。

在增益调整电路705、706根据功率比(ILD)703进行以下的运算。

(公式6)Sig1＝Deco(Input801(n))Gain(i)

(公式7)Sig2＝Deco(Input801(n))(1-Gain(i))

在此，Dec运算符表示信号的无相关化处理，Sig1以及Sig2表示被分离的信号707、708(图8)。通过上述一连串的处理，能够从缩混扩展编码信号解码为所希望的独立的多个单声道或立体声信号。

另外，对于扩展信息的算出过程以及从成为PCM信号的缩混信号和扩展信息编码为原来的独立的信号的顺序，可以采用非专利文献3记载的MPEG-Surround方式的编码装置、解码装置。在该顺序中所采用的编码方式自然不仅限于MPEG-Surround方式，即使是根据缩混信号和扩展信息对多信道信号进行编码和解码的具有参数性能的多信道空间编码方式(MP3环绕编码方式)，本发明也有效。

图11示出了缩混整形电路104a。流合成装置100也可以具有缩混整形电路104a。

以上举例说明了在流合成装置100暂先解码为PCM信号并进行缩混，除此之外的例子如以下所示。在缩混整形电路104a(图11)的缩混信号分别为MPEG-AAC方式的情况下，其解码顺序在非专利文献1中有所记载。大致的流程是，分别经由编码信息的解析、逆量化、频率-时间转换后，被编码为PCM信号。在解析了编码信息之后，输入的缩混信号201和204分别在各个逆量化部1001进行逆量化(Requantize)处理。详细的顺序已被记载在非专利文献1，在此简单而言，以

(公式8)Spec(n)＝Gain(n)·2^(QuantizeValue(n)·4/3)的形式，由各个逆量化部1001来算出频谱信息(Spec(n))。在此，QuantizeValue(n)是通过缩混而得到的量化值，Gain(n)是该帧的量化Gain。

通过对输入的缩混信号201和204分别进行逆量化处理，从而得到两个频谱数据(Spec201(n)，Spec204(n))。并按照公式9由加法部104aX对这些频谱数据进行加法运算，从而得到合成频谱Spec(n)。

(公式9)Spec(n)＝0.5·Spec201(n)+0.5·Spec204(n)

并且，在此作为系数采用了0.5，但并非受此所限，Spec201(n)和Spec204(n)的系数只要与(公式7)同样成立即可。像以上这样得到的合成频谱再次按照MPEG-AAC方式由量化部104aY进行量化。所得到的结果就是流合成装置100的输出，即，编码信息107(图5)中所包含的缩混信号207。接在逆量化处理之后继续进行加法处理，也就是说在频率信息的基础上进行加法运算的目的是，返回到PCM信号所需的频率-时间转换(MDCT处理等)可以被省去，并能够抑制流合成装置100的运算能力，从而能够减少制造成本和涉及成本。

以上所实现的流合成装置100(MCU)只是一个实施例子，并非受此所限。并且，虽然将流合成装置100的输入编码信息的数量设定为2，但并非受此所限，也可以是3以上的构成。

以下，对实施例1的变形例进行说明。

并且，在本实施例1中，说明了将缩混分离信息附加在流合成装置100，不过，也可以通过附加其他的信息而得到其他的效果。

图14示出了系统1a。

例如，如图14所示，除缩混分离信息208(图2)以外，还可以在流合成装置100附加各个点的输入信号的数量。在图14的情况下，加上了点1的输入信号数量3和点2的输入信号数量3，流合成装置100使相加值为“6”的输入信号数量1301保持到编码信息107，并发送给点3。在接收了编码信息107的点3的解码装置A，首先获取该编码信息107中所包含的各个发送点的输入信号数量1301。此时，利用用于分离各个点的信号的信息的缩混信号207的分离和扩展还没有被进行。

在解码并再生编码信息107的装置中具有按照再生信道数对解码信号进行不同的处理的渲染(rendering)装置。渲染装置是指，按照再生信道对解码信号1′-5′进行分配的装置。例如，以下对解码信号为5个，再生信道数为2个的情况进行说明。设解码信号1至5分别为s1至s5，再生信道信号分别为o1和o2，则成为

(公式10)o1＝s1+0.5·s2+1/√2·s3

        o2＝s4+0.5·s2+1/√2·s5

上述运算所采用的系数相当于渲染信息。作为渲染信息采用了ITU-RBS.775-1标准中所记载的缩混系数。该渲染系数由解码装置的再生信道信号的分配来决定。在上述的例子中，信号s1为左前方信道信号、信号s2为前方正中信道信号、信号s3为左后方信道信号、信号s4为右前方信道信号、信号s5为右后方信道信号。这些信号被输出到左前方输入信道o1和右前方输出信道o2。

在此构成中，决定渲染装置中所使用的渲染信息的时机是，在进行缩混信号207的扩展之前检测出输入信号数量的合计之时。渲染信息构成部的处理和编码信息107的解码能够同时并列进行，因此能够大幅度地减少信号处理延迟量。

图15示出了系统1b。

在本实施例的流合成装置100中，合成并发送各个点的扩展信息，此时假定按照各个点以及各个输入信号的优先级来构成扩展信息。例如，点1的输入信号1的优先级最大，其次是点2的输入信号6的优先级的情况下，如图15所示，根据优先级信息1401，以扩展信息1402(分离点1的信号1的信息)、1403(分离点2的信号6的信息)的顺序来构成。通过采用了这样的构成，在对从流合成装置100发送到点3的编码信息107进行解码之时，在不能对编码信息107全体进行处理时的舍去处理就可以根据优先级来进行。也就是说，由于从开头部分以优先级高的顺序来排列，因此，在该解码处理装置中只要进行了优先级为第一位的处理就可以的情况下，就能够舍去扩展信息1403。这样，解码处理只进行一次就可以，与进行全体的解码处理相比，仅利用了一般的处理次数，也就是说实现了节省电力的解码处理装置。

优先级信息1401是通过以下的方法决定的。在流合成装置100中，首先检测从哪个点发送来的信号多(发送频率)。之后，检测发送频率多的点中所包含的扩展信号中发送次数最多的扩展信息，以作为优先级信息。其他点也按照同样的顺序来生成优先级信息。这样，算出所有点所有输入信号的优先级，并按照该优先级在流合成装置100重新排列扩展信息。这样，被附加了优先级的扩展信息就会按照这个顺序在流合成装置100内按顺序排列，并被发送。

图21是算出优先级顺序的流程图。

优先级也可以以其他的构成而被检测出来。如图21所示，分离各个输入信号的ICC值，该值比预先在流合成装置100中设定的N_ICC值小的情况下(步骤S42：“是”)，进一步由扩展信息分离扩展系数ILD(步骤S43)，按照分离了的扩展系数ILD来设定优先级。即，通过算出所有信号中所包含的ILD系数的各个顺序(步骤S44)，从而将算出的顺序设定为各个信号的优先级(步骤S45)。N_ICC值是本发明中的流合成装置100在进行工作时在初始阶段被设定的值，且该值是一定的。并且，该值也可以按照需要随着经过的时间而发生变化。在随着经过的时间而发生变化时，由于可以调整优先顺序的检测精确度，因此能够实现目前未能达到的灵活地调整优先级的流合成装置。

以下对在上述的实施例1中附加的内容进行附加说明。不过，以下将要进行的附加说明并非对上述所说明的内容加以限定。

图5示出了系统1的构成。

系统1是多点会议系统，在各个点的用户进行会议之时，通过将发送点的会议中的语音的语音信号发送给接收点，从而发送来的语音信号就会在接收点被再生。并且，具体而言，在系统1，为了使接收点的用户得到较好的临场感，将发送点的多个语音信号发送给接收点，使多个语音信号在接收点被再生。

以下，以点1和点2为各个发送点、点3为接收点为例进行说明。

多个点分别包括多个麦克风(图略)和计算机，该计算机从多个麦克风所分别收录的多个语音信号(PCM信号)中，生成用于确定这些多个语音信号的编码信息(图5的编码信息101、编码信息102)，并将被生成的编码信息发送给流合成装置100。并且，各个点的计算机按照各自的点以外的其他的点向流合成装置100发送的编码信息(图5的编码信息101、编码信息102)，从流合成装置100中接收该流合成装置100所生成的编码信息(图5的编码信息107)，并再生接收的编码信息所确定的各个语音信号。

图4示出了流合成装置100的构成。

流合成装置100包括：多个分离电路103、缩混整形电路104、扩展信息算出电路105、以及多路复用电路106。

编码信息如图5的编码信息101、编码信息102、编码信息107所示，包含DMX信号(缩混编码信号)以及扩展信息。并且，图4的编码信息101的DMX信号为DMX信号201，扩展信息为由扩展信息202和扩展信息203的全体所构成的信息。并且，编码信息102的DMX信号为DMX信号204，扩展信息为扩展信息205和扩展信息206。并且，编码信息107的DMX信号为DMX信号207，扩展信息为缩混分离信息208、扩展信息202、扩展信息203、扩展信息205、以及扩展信息206。

扩展信息确定该扩展信息所包含的编码信息的多个语音信号的性质。具体而言，扩展信息确定这些多个语音信号之间的功率比(ILD)和相关值(ICC)。更具体而言，扩展信息包含对其语音信号的功率比(ILD)以及相关值(ICC)进行了量化以及Huffman编码等处理后的数据。并且，通过扩展信息包含上述的处理后的数据，从而确定从处理后的数据中算出的处理前的上述功率比(ILD)以及相关值(ICC)。即，扩展信息为根据处理后的数据的数据结构来存储上述功率比(ILD)以及相关值(ICC)的信息。换而言之，扩展信息具有的结构是，在物理上的数据结构上为上述处理后的数据的数据结构，在通过该物理上的数据结构而被存储的逻辑上的数据结构为上述功率比(ILD)以及相关值(ICC)的数据结构。

DMX信号为该DMX信号所包含的编码信息所表示的多个语音信号被缩混后得到的缩混PCM信号再次被编码而得到的信号。

多个分离电路103从由多个发送点(图5的点1以及点2)接收的流合成装置100中的各个编码信息中，分别分离这些编码信息的DMX信号和扩展信息。

以下，将由发送点发送到流合成装置100的、并且由流合成装置100接收的编码信息(编码信息101、编码信息102)称为接收编码信息。并且，将由接收点从流合成装置100接收的，并且由流合成装置100发送的编码信息(编码信息107)称为发送编码信息。

并且，具体而言，多个分离电路103进行各自所对应的编码信息的分离处理。

并且，多个分离电路103例如分别是由软件在流合成装置100所实现的功能的功能块。这些功能块例如可以具有相互并行工作的功能。

缩混整形电路104以及扩展信息算出电路105根据多个分离电路103所分离的各个DMX信号(DMX信号201、DMX信号204：图4)以及各个扩展信息、来生成被发送到接收点(图5的点3)的编码信息107(图4、图5)的DMX信号207以及缩混分离信息208。

图6示出了缩混整形电路104(图4)的构成的一个例子。在此，图6的构成仅为一个例子。缩混整形电路104以及扩展信息算出电路105若具有上述的功能就可以不必具有图6所示的构成中的全部或其中的一部分。

缩混整形电路104具有多个解码电路(解码电路501、解码电路502)和缩混电路503、编码电路504。

多个解码电路(各个解码电路501等：图6)分别将各个发送点(图5的点1、点2)的编码信息中所分离出来的DMX信号(DMX信号201、DMX信号204：图6、图5)解码为缩混PCM信号。

并且，扩展信息算出电路105(图4)根据被解码的各个发送点的缩混PCM信号，算出缩混分离信息208(图5)。

并且，缩混电路503(图6)根据扩展信息算出电路105所算出的缩混分离信息208，对多个解码电路(解码电路501等)所解码的各个发送点的缩混PCM信号进行缩混，从而生成缩混PCM信号。

并且，编码电路504对被生成的缩混PCM信号进行编码，生成DMX信号207(参照图5)。

多路复用电路106(图4)根据缩混整形电路104所生成的DMX信号207和扩展信息算出电路105所算出的缩混分离信息208，生成编码信息107(图4、图5)。更具体而言，多路复用电路106根据这些DMX信号207以及缩混分离信息208、和由多个分离电路103分离的各个发送点(图5的点1、点2)的扩展信息(图5的扩展信息202以及扩展信息203、扩展信息205以及扩展信息206)，来生成包含这些DMX信号207、缩混分离信息208以及各个发送点的扩展信息的编码信息107。

另外，接收点(点3)具有解码装置(解码装置A：图5)，对由流合成装置100发送到该接收点的编码信息107进行解码，并生成编码信息107所确定的各个语音信号(PCM信号)。

解码装置A对在点3的计算机接收到的来自流合成装置100的编码信息107(图5、图4)进行解码。解码装置A进行解码从而生成各个发送点(点1、点2)的DMX信号(图5的DMX信号201、204)以及扩展信息(扩展信息202以及扩展信息203、扩展信息205以及扩展信息206)。解码装置A利用生成的各个信息生成各个发送点的各个语音信号，并再生被生成的各个语音信号。

图8示出了解码装置A所具有的分离电路709。

分离电路709根据输入信号701、相关值702以及功率比(ILD)703，生成从输入信号701分离出来的分离信号707和分离信号708。

输入信号701例如是流合成装置100发送到点3的编码信息107中所包含的DMX信号207。并且，输入信号701例如是根据从DMX信号207，利用分离信息(缩混分离信息208(图5)、扩展信息202等(图5))进行一次以上的解码(缩混解码)而获取的编码信息。

相关值702是用于解码输入信号701的扩展信息的相关值(ICC)。

功率比(ILD)703是用于解码输入信号701的扩展信息的功率比(ILD)。

分离电路709具有无相关化电路704、多个增益调整电路705、706。

无相关化电路704通过相关值702对输入信号701进行无相关化，并生成被无相关化后的两个以上的中间信号。

多个增益调整电路705、706通过功率比(ILD)703来分别调整被生成的各个中间信号的增益。多个增益调整电路705、706通过进行上述各个调整，分别生成从输入信号701分离出来的分离信号707、分离信号708。

图7示出了解码装置A的构成。

解码装置A具有多个分离电路603、分离电路604。图8的分离电路709是这些多个分离电路603、分离电路604中的一个例子。

通过多个分离电路603、分离电路604对编码信息进行一次以上的解码，从在接收点(点3)接收的编码信息107(图5)的DMX信号601，各个发送点的DMX信号(DMX信号201、DMX信号204)被解码，进而，在各个点收录的多个语音信号被解码。

另外，系统1也可以具有图22所说明的状态。

图22用于说明流合成装置100针对多个点1至点3分别发送编码信息所进行的处理。

在图22所示的状态下，流合成装置100的各个功能块(参照图4)分别进行以下的处理。

输入部I1(图4)从多个点1至点3分别将编码信息(图略)输入到流合成装置100。并且，从点n(n＝1、2、3)输入的编码信息被称为点n的输入编码信息。并且，点n的输入编码信息中所包含的DMX信号被称为点n的输入DMX信号。并且，点n的输入编码信息中所包含的扩展信息被称为来自点n的输入扩展信息。

输出部I2针对点1至点3分别输出编码信息(输出编码信息107a、输出编码信息107b、输出编码信息107c：图22)。并且，被输出到点n的输出编码信息被称为点n的输出编码信息。

输出编码信息107a至输出编码信息107c各自的输出编码信息中所包含的DMX信号具有共同的输出DMX信号207x。也就是说，输出编码信息107a至输出编码信息107c所具有的DMX信号的内容均为共同的输出DMX信号207x，彼此是相同的。并且，输出编码信息107a至输出编码信息107c分别具有作为扩展信息的输出扩展信息H1、输出扩展信息H2、以及输出扩展信息H3。这些各个点的输出扩展信息H1至输出扩展信息H3是互不相同的。

共同的输出DMX信号207x是各个点1至点3的输入DMX信号被解码后得到的DMX信号。即，共同的输出DMX信号207x是点1的输入DMX信号、点2的输入DMX信号以及点3的输入DMX信号这三个输入DMX信号被解码后得到的DMX信号。

以下，对各个输出扩展信息(输出扩展信息H1至输出扩展信息H3)中的点1的输出扩展信息H1进行说明。

给点1的输出编码信息107a包含缩混分离信息H11，以作为缩混分离信息，该缩混分离信息HI1是用于解码除作为输出目的地的点1以外的其他的各个点(点2以及点3)的各个输入DMX信号的点分离所使用的信息。并且，给点1的输出编码信息107a包含点2的输入扩展信息和点3的输入扩展信息。也就是说，输出编码信息107a包含其他的各个点(点2以及点3)的各个输入扩展信息。也就是说，输出扩展信息H1是用于从共同的输出DMX信号207解码其他的各个点(点2、点3)的语音信号的扩展信息。

并且，点n的输出扩展信息中所包含的输出扩展信息(输出扩展信息H1至扩展信息H3)被称为点n的输出扩展信息。

点1的输出扩展信息H1至点3的输出扩展信息H3分别具有与上述的点1的输出扩展信息H1相同的构成。

即，点1至点3的各个输出扩展信息(例如输出扩展信息H1)包含来自该输出扩展信息的点(例如点1)以外的其他的各个点(例如点2和点3)的输入扩展信息(例如点2的输入扩展信息和点3的输入扩展信息)、以及来自共同的输出DMX信号207x的、用于解码其他的各个点(例如点2和点3)的语音信号的缩混分离信息(例如缩混分离信息H11)。

输出编码信息生成部I3(图4)根据在流合成装置100接收的各个输入编码信息，生成给点1至点3的各个输出编码信息(输出编码信息107a至输出编码信息107c)。

具体而言，输出编码信息生成部I3的缩混整形电路104生成共同的输出DMX信号207x。并且，扩展信息算出电路105生成输出扩展信息H1至输出扩展信息H3。并且，多路复用电路106根据生成的共同的输出DMX信号207x和生成的输出扩展信息H1至输出扩展信息H3，分别生成给各个点的输出编码信息(输出编码信息107a至107c)。

并且，输出部I2(图4)将生成的各个输出编码信息(输出编码信息107a至107c)分别输出到该输出编码信息的点。

这样，就构成了流合成装置(流合成装置100)，该流合成装置包括：输入部I1、输出编码信息生成部I3、以及输出部I2；所述输入部I1输入两个以上的编码信号(输入编码信息)，该编码信号包含第一缩混声信号(输入DMX信号)和扩展信号(输入扩展信息)，所述第一缩混声信号是通过对缩混了两个以上的声音信号而得到的声信号进行编码而得到的，所述扩展信号用于从该第一缩混声信号中获取所述两个以上的声音信号；所述输出编码信息生成部I3，根据所述输入部所输入的各个编码信号(例如点1的输入编码信息和点2的输入编码信息)，生成第二缩混声信号(共同的输出DMX信号207x)和扩展信号，并生成包含被生成的第二缩混声信号和被生成的扩展信号以及被输入的所述各个编码信号的各个扩展信号(扩展信息H12)的编码信号(给点1的输出编码信息107a)，所述被生成的第二缩混声信号是可以获取所述各个第一缩混声信号的信号，所述被生成的扩展信号用于从第二缩混声信号获取所述各个第一缩混声信号(点1的输入DMX信号、点2的输入DMX信号)；所述输出部I2输出被生成的编码信号。

并且，流合成装置(流合成装置100)具有以下的构成：所述输入部I1分别从预先规定的多个输入输出目的地(点1至点3)输入编码信号(输入编码信息)，所述输出部I2将编码信号(输出编码信息)分别输出到多个输入输出目的地，所述输出编码信息生成部I3生成一个所述第二缩混声信号(共同的输出DMX信号207x)和与所述多个输入输出目的地的个数相同个数的扩展信号(输出扩展信息H1、输出扩展信息H2、输出扩展信息H3)，被生成的一个所述第二缩混声信号是用于获取从所述多个输入输出目的地被输入的所述各个编码信号的各个第二缩混声信号(各个输入DMX信号)的缩混声信号，被生成的所述各个扩展信号(例如输出扩展信息H1)分别与彼此互不相同的所述输入输出目的地(例如点1)相对应，并且仅包含除所对应的所述输入输出目的地(点1)以外的其他的输入输出目的地(点2以及点3)的扩展信号(点2以及点3的各个输入扩展信息)，所述输出部I2将所述输出编码信息生成部I3所生成的所述各个编码信号分别输出到该编码信号所包含的扩展信号(输出扩展信息H1等)所对应的所述输入输出目的地(点1等)。

并且，流合成装置具有以下的构成：扩展信号(例如图5的扩展信息202以及扩展信息203的全体)包含多个部分扩展信号(各个扩展信息202、扩展信息203)，在该多个部分扩展信号中，通过声音信号(例如点1的信号3)所对应的一部分的部分扩展信号(扩展信息202)，从该编码信号(编码信息101)中获取该声音信号(信号3)。

并且，也可以是，缩混整形电路104以及扩展信息算出电路105等按照预先规定的时间40毫秒等来进行输入编码信息中的这段时间部分的处理。点1等所具有的多个麦克风可以分别收录不同的用户的声音的语音信号。并且，被收录的语音信号的数量可以随着参加会议的用户的数量的变化而变化。并且，被缩混为被输入到流合成装置100的编码信息(编码信息101等)的语音信号的数量也是可以变化的。

(实施例2)

图9示出了通过在实施例1说明的流合成装置100而进行了多点连接的系统1c。

在点1，由信号1和信号2来形成扩展信息802，由信号1和信号2的缩混信号和信号3之间形成扩展信号803。详细内容在实施例1中描述过。同样，在点2，由信号4和信号5来计算扩展信息805，由信号6和信号7来计算扩展信息806，由信号4和信号5的缩混信号以及信号6和信号7的缩混信号来计算扩展信息807。这些扩展信息与MPEG-Surround的OTT电路的系数相同。并且，在各个点，缩混输入信号，并以MPEG-AAC形式等进行编码，从而生成缩混编码信号801以及804，并通过网络传输到在实施例1说明的流合成装置100。

在流合成装置100进行在实施例1说明的处理，编码信息通过网络被发送到点3。

此时，标记有表示是从哪个点发送来的信息，以作为被发送到点3的编码信息107的扩展信息。在以往的例子中没有发送点信息，在点3进行解码时不能分别对点1和点2进行再生控制。然而，在本实施例2，作为编码信息对表示是从哪个点发送来的信息进行编码并发送，并通过发送到点3，从而在点3进行解码时，能够分别对点1和点2进行再生控制。点1的各个语音信号的语音能够在点3的左边的扬声器具有临场感地再生，点2的各个语音信号能够在点3的右边的扬声器具有临场感地再生，各个点之间能够顺利地进行交流。

图10示出了被接收的编码信息107的编码列的一个例子。

图10示出的是包含有点信息908的情况下的编码信息107的一个例子。在图10所示的编码信息107中，扩展信息904中包含点信息908。

首先，编码信息107的开头部分被设置了表示扩展信息的连接的信息。在图10中为树信息901。扩展信息是用于分离缩混信号的信息，在这些信息为多个的情况下，发送怎样进行分离的信息。例如，在图9的情况下，扩展信号802保持有功率比(ILD)和相关值(ICC)，发送判别将要分离哪个信号以及将要输出到哪个信道的信息。如图9所示，信号1成为，对DMX信号808和DMX分离(缩混分离信息)809的分离结果的第一信道，进一步以扩展信息803进行分离而得到的第一信道，再进一步以扩展信息802进行分离而得到的第一信道。同样，信号2成为，对DMX信号808和DMX分离(缩混分离信息)809的分离结果的第一信道，进一步以扩展信息803进行分离而得到的第一信道，再以扩展信息802进行分离而得到的第二信道。信号3成为，对DMX信号808和DMX分离(缩混分离信息)809的分离结果的第一信道，进一步以扩展信息803进行的分离而得到的第二信道。这样，发送了表示该信号以怎样的分离电路连接并且被输出到哪个信道的信息。

例如，扩展信息904包含了判别信息907，该判别信息907用于区别该扩展信息904是缩混编码信号的分离的扩展信息还是各个点的信号的分离的扩展信息。扩展信息904为了分离各个点的信号(信号1和信号2的分离)，此时存储的是被称为“各个点的分离”的信息。除此以外，可以以表示各个扩展信息是从哪个点被发送来的点信息908(在此为表示点1)、以及用于分离信号1和信号2的功率比(ILD)和相关值(ICC)等的扩展信息909等来构成。同样，扩展信息905由用于分离各个点的分离和用于分离点1的信号3和信号1及2的缩混信号的扩展信息构成。

DMX分离信号(缩混分离信息)903由表示该扩展信息为用于分离缩混编码信号的扩展信息的信息、以及用于分离点1和点2的缩混信号的扩展信息构成。

并且，在图10的下部示出了树信息901(图10)的构成。

与这些信号不相关，表示分离电路的连接的树信息901被附加在编码信息107而被发送。图10示出了详细内容。首先，保持全体的信号数量909。在图9中的点3所接受的信号由于是信号1至7的这七个信号，因此在信号数量909中保持“7”。接着，保持表示分离电路的“深度”的信息以作为树的最大深度910。在图9中的点3，由于连接了三个阶段的分离电路，因此保持“3”以作为深度信息。之后，保持用于分离信号1的输出信道，以作为信号1的树系数911。为了分离信号1，由于DMX信号808和DMX分离(缩混分离信息)809的分离结果被输出到第一信道，进而以扩展信息803进行的分离被输出到第一信道，进而以扩展信息802进行的分离被输出到第一信道，因此保持表示第一信道的“0”以作为联系这三个信道的系数。同样，为了分离信号2需要通过第一信道→第一信道→第二信道，因此将“001”作为信号2的树系数912来保持。由于信号3为第一信道→第二信道(到此为止)，因此保持表示“01”+终止的信息，以作为信号3的树系数913。

通过存储这样的树信息，从而能够容易地判别所希望的解码结果应该在分离电路(MPEG-Surround的情况下为OTT电路)中被分离多少次才好。通过采用这样的构成，在解码装置A进行解码运算之前，能够预测在分离电路(MPEG-Surround的情况下为OTT电路)的树信息的运算量，因此，能够有效地分配解码装置A所具有的运算资源。这样，由于能够事先预想运算资源的全体分配，从而能够容易地分散运算峰值。能够分散运算峰值意味着具有以下优点：由于能够事先保证解码所需要的处理器功率的最低状况，因此能够实现低频率的处理器时钟，从而能够构成节省电力的解码电路。除此之外，通过分配运算资源，从而提高了运算所必需的记忆容量的再利用性，因此实现了省内存设计的解码LSI。

并且，图10示出了树信息901的一个例子，信号数量909和树的最大深度910等不受该图的顺序的限制。若能够单独地保持信号数量909或者各种树系数、树的深度信息910等，则图10所示的组合起来进行保持的形态是容易构成的。

并且，在本实施例中，作为编码信息论述了发送信号数量和树构成信息的情况，除此之外，例如还可以与编码信息无关联地进行发送。也有连接点1、点2、点3，利用各个编码装置、解码装置开始通信时所进行地初始化信息来进行发送的方法。作为初始化信息，点数量和各个点的点编号不进行动态地变化的情况下，若在对各个点的编码及解码装置进行初始化时事先进行发送，则与在各个编码信息中进行发送的情况相比，能够提高编码信息本身的编码效率，并且能够以相同的传输速率来提高音质。在不将信号数量以及点数量、点编号、输入信号数量等作为初始化信息发送的情况下，即作为各个帧的编码信息来发送这些信息的情况下，能够按照各个帧使连接点进行动态地变化。当然，输入信号数量也能够按照各个帧进行变化，例如在用于将各个点的输入信号分配给各个发话人，并对临场感进行收发的交流系统活用本发明的情况下，发话人能够进行动态地交替，从而能够实现按照不同的场面灵活地构成参加者的效果。

并且，在上述的各个发送点(在本实施例中为点1和点2)中各个输入信号被作为了多个麦克风收录的信号，不过也可以是，将在收录时的多个麦克风之间的距离和各个麦克风的方向信息作为点信息而被包含在编码信息中来被发送。在将各个麦克风之间的距离和各个麦克风的方向信息包含在编码信息中时，在接收该编码信息的解码装置，例如收录输入信号1的麦克风和收录输入信号3的麦克风的距离在10cm以内的短距离的情况下，为了提高信号1和信号3的相关概率，而将信号1和信号3作为相同的信号输出，这样就可以省略解码处理。对于利用移动电话的会议系统以及小型家庭用的临场感交流工具等需要消耗电力低的系统而言，能够节省电力的本发明是一个非常灵活且有益方式。

(实施例3)

图11示出了以上所述的缩混整形电路104a。

在实施例1中，缩混整形电路104采用了图6的构成，在图11中示出了其他的实施例。在图11中举例示出了以MPEG-AAC方式或MP3方式等现有的立体声编码方法等编码了输入的缩混信号201和204为输入。

以下对以MPEG-AAC方式编码缩混信号201和204为例进行说明。当然，并非受MPEG-AAC方式所限，也可以是MP3的形式或者是TwinVQ方式、MPEG-Layer2方式等以往的非可逆立体声压缩方式。并且，也可以是LPCM以及MPEG-ALS、MPEG-SLS方式等可逆立体声压缩方式。

由于缩混信号分别是MPEG-AAC方式，因此，其解码顺序被记载在非专利文献1。大体上的流程是，分别经由编码信息的解码、逆量化、频率-时间转换后被解码为PCM信号。在本实施例中，逆量化的后过程是本发明的重要之处，因此进行重点说明。在解析编码信息之后，输入的缩混信号201和204分别在各个逆量化部1001被进行逆量化(Requantize)处理。详细的顺序被记载在非专利文献1，简单地说利用公式8(参照实施例1的图11的说明)来算出频谱信息(Spec(n))。在此，QuantizeValue(n)是由于缩混而得到的量化值，Gain(n)是该帧的量化Gain。

通过对输入的缩混信号201和204在各个逆量化部1001分别进行逆量化处理，从而得到两个频谱数据(Spec201(n)、Spec204(n))。由加法部104aX按照上述的公式9对这些频谱数据进行加法运算，从而得到合成频谱Spec(n)。

另外，在此虽然作为系数采用了0.5，但并非受此所限，Spec201(n)、Spec204(n)的系数只要是与公式7相同的关系成立就可以。

像通过上述这样得到的合成频谱再次按照MPEG-AAC方式由量化部104aY量化。得到的结果就是流合成装置100的输出，也就是编码信息107中所包含的缩混信号207。

在本发明的构成中，在逆量化处理之后进行加法运算处理，也就是说，由于是在频率信息上进行加法运算，因此就不需要进行在将频率信息返回到PCM信号时所进行的频率-时间转换(IMDCT处理等)。这样，就能够将流合成装置100的处理器运算能力抑制得较低。也就是说，能够将处理器的最大工作频率抑制得较低，并且可以不必进行多余的处理，从而节省了运算存储器的容量，得到的结果是降低了制造成本和设计成本。

另外，在本实施例中，缩混信号采用的是MPEG-AAC方式，但是并非受此所限，也可以MPEG-Layer3方式或TwinVQ方式，除此之外还可以是利用的时间频率转换的声编码方式。

(实施例4)

图12示出了流合成装置100的其他的实施例。

在图12所示的系统1d中，点1和点2、点3通过本发明的流合成装置(多点连接装置)100相互连接。在各个点，分别由麦克风收录两个以上的独立的声信号，并得到多信道的PCM信号。图12所示的情况是，在点1收录了信号1、信号2、信号3，在点2收录了信号4、信号5、信号6、信号7。对于得到的PCM信号，像实施例1所示那样，计算立体声或单声道的缩混PCM信号。

对被算出的单声道或立体声的缩混信号进行单声道或立体声的声编码处理。作为声编码处理，在立体声信号的情况下，例如采用非专利文献2所记载的MPEG-AAC方式编码。单声道的情况下采用非专利文献1所记载的G.726方式或MPEG-AAC的单声道编码。在图12中，将通过编码缩混PCM信号而得到的信号以DMX信号1101和DMX信号1105来表示。将这些信号总称为缩混编码信号。

之后，算出被称为扩展信号的信号。该信号是根据所述缩混信号(DMX信号1101、DMX信号1105等)向多个独立的信号解码的信息。以点1为例进行说明。在输入信号(在此为信号1、信号2、各个单声道信号的情况)之间，如实施例1所示那样，按照每个帧算出功率比(ILD)以及相关值(ICC)。

被算出的功率比(ILD)以及相关值(ICC)经过量化以及Huffman编码等成为系数A。详细的顺序在非专利文献3所记载的MPEG-Surround编码中的OTT电路(根据两个输入来生成上述扩展信号的电路)中有详细记载。另外，对于扩展信息，以功率比(ILD)和相关值(ICC)为例进行了说明，但并非受此所限。并且，在此虽然以根据两个独立的输入信号生成扩展信息为例进行了说明，不过，也有根据三个独立的输入信号来求扩展信息的方法。详细内容在非专利文献3所记载的MPEG-Surround编码的TTT电路中有所记载。

之后，缩混信号1和信号2并转换为单声道信号，并利用该信号和信号3，按照公式2和公式3算出功率比(ILD)和相关值(ICC)，并进行量化和Huffman编码等，从而成为系数B。图12的点1中的信号树209在模式上示出了以上所述的内容。

与实施例1不同之处是，将上述所算出的系数A和系数B分别存储到以下的编码列中。

扩展信息1102意味着“分离信号1时所必需的完结的信息”，是上述的系数A和系数B的合计。同样，扩展信息1103意味着“分离信号2时所必需的完结的信息”，是上述的系数A和系数B的合计。扩展信息1104仅为系数B。点2也是同样，扩展信息1106是系数C和系数D的合计，扩展信息1107是系数C和系数D的合计，扩展信息1108是系数C和系数E的合计，扩展信息1109是系数C和系数E的合计。

通过以上这样得到的缩混编码信号和扩展信息作为各个点的编码信息101(1114)和102(1115)，经由Internet等通信路径，从发送点(点1、点2)被输入到流合成装置100。

在本发明的流合成装置100进行与实施例1同样的处理。具体而言，在各个分离电路103(图4)，从点1的编码信息101和点2的编码信息102分别分离缩混编码信号和扩展信息。在进行此分离时，用于区别缩混编码信号和扩展信息的信息被分别附加在各个信息的开头，根据此信息在分离电路103进行分离。

被分离的缩混编码信号按照规定的顺序暂先被解码为PCM信号。另外，此时的处理顺序会因缩混信号是以哪种形式被编码的而发生改变，若以MPEG-AAC方式为一个例子的话，可以参照非专利文献2所记载的方法。通过以上的方法得到的PCM信号被视为PCM1、PCM2。被解码的这些PCM信号在缩混整形电路104被再次缩混，并由规定的编码形式(例如，MPEG-AAC形式)编码，从而得到缩混编码信号207。作为此时的缩混过程的一个例子，被记载在公式4(参照实施例1的图4的说明)。此过程相当于图6的缩混电路503。

之后，根据PCM1和PCM2，按照公式2和公式3(参照实施例1的图5的说明)在扩展信息算出电路105算出扩展信息。该输出被成为缩混分离信息208。详细的顺序例如被记载在MPEG-Surround的OTT电路。

在此，在PCM1和PCM2之间算出缩混分离信息208的理由如以下所示。在对能够具有完全不同特性的点1和点2的缩混编码信号进一步缩混时，原有的声特性就会消失，对失去了声特性的信号即使进行扩展，失去的声特性也不会恢复。因此，为了尽可能地不增加信息量而保持声特性，而像上述这样构成了附加了缩混编码信号的扩展信息的编码信息。

像以上这样得到的缩混编码信号207和缩混分离信息208、以及编码信息101、102中所包含的扩展信息202、203、205、206在多路复用电路106被多路复用，并作为编码信息107被发送到点3。

以下，对接收了缩混编码信号和扩展信息的解码装置A进行说明。在解码装置A，首先分离缩混信号和扩展信号，接着，在规定的解码电路对缩混编码信号进行解码。若是MPEG-AAC方式，则按照非专利文献2所记载的顺序进行。这样，根据得到的解码PCM信号和所述的被分离的扩展信息，解码独立的多个声信号。该解码电路的一个例子由图7和图8示出。

若以点3为例，则将作为PCM信号而得到的缩混信号601和扩展信号602作为输入，在内部连接了多级分离电路603和604。作为分离电路的实施例，可以例举出非专利文献3所公开的MPEG-Surround的OTT电路和TTT电路，简单的分离电路的一个例子如图8所示。

根据输入信号701和公式2以及公式3(参照实施例1的图8的说明)所记载的功率比(ILD、图8中的分离信息(功率比703))和相关值(ICC、图8中的分离信息(相关值)702)，首先在无相关化电路704对输入信号701进行无相关化。其中的一个实施例如非专利文献3所记载的Decorrelator电路。另外，关于无相关化电路704不仅限于此，例如在非专利文献6中公开了通过Levinson-Durbin算法对信号进行无相关化的方法。

经过上述的无相关化电路704，由增益调整电路705、706来调整增益，从而得到被分离的信号707和708。在增益调整电路705、706，根据功率比(ILD)703，利用上述的公式6和公式7(参照实施例1的图8的说明)进行运算。

在此，公式6和公式7中的Dec运算符表示信号的无相关化处理，Sig1以及Sig2表示被分离的信号707、708。通过上述一连串的处理，能够从缩混扩展编码信号(缩混分离信息)解码所希望的独立的多个单声道或立体声信号。

关于扩展信息的算出过程以及从成为PCM信号的缩混信号和扩展信息解码原有的独立的信号的顺序，例如可以利用非专利文献3所记载的MPEG-Surround方式的编码装置、解码装置，并且，可以不仅限于MPEG-Surround方式，也可以采用MP3环绕声方式，或者如LPCM方式这种非压缩的编码方式。

像以上这样实现的流合成装置(MCU)只是一个实施例子，在此并非受此所限。并且，输入的点的数量以两个为例进行了说明，但并非受此所限，也可以采用三个以上的构成。

如图12所示，点1的编码信息101由DMX信号1101和根据DMX信号用于分离信号1的扩展信息1102、用于分离信号2的扩展信息1103、用于分离信号3的扩展信息1104构成。扩展信息1102和扩展信息1103是通过编码分离系数A和B而得到的。扩展信息1104中保持分离信息B，该分离信息B是从DMX信号1101分离信号3时所必需的分离信息。同样，点2的编码信息102由DMX信号1105和根据DMX信号1105用于分离信号4的扩展信息1106、用于分离信号5的扩展信息1106、用于分离信号5的扩展信息1107、用于分离信号6的扩展信息1108、用于分离信号7的扩展信息1109构成。扩展信息1106和扩展信息1107是通过编码分离信息C和D而得到的。扩展信息1108和扩展信息1109保持分离信息C和E，该分离信息C和E是从DMX信号1105分离信号6和信号7时所必需的分离信息。

像这样被构成的编码信息在本实施例的流合成装置100中被合成为编码信息1116(图12)，并被发送到点3。此时，计算由DMX信号1101和DMX信号1105合成的新的DMX信号1110。该计算过程在本发明的实施例1中有详细记载。并且，由于DMX信号1101和DMX信号1105具有不同的声特性的概率非常高，因此，可以不是进行单纯地合成及缩混，而是从合成信号(DMX信号1110)算出用于分离DMX信号1101和1105的DMX扩展信号(缩混分离信息)1111，并附加到编码信息1116中。像上述那样构成编码信息1114和1115，并在流合成装置100将扩展信息1102作为扩展信息1112来合成，将扩展信息1108作为扩展信息1113来合成，并将合成的编码信息1116发送到点3。在接受了编码信息1116的点3，只能解码信号1和信号6。即，通过DMX扩展信息(缩混分离信息)1111，DMX信号1110能够被分离为DMX1′信号和DMX2′。若将上述分离的信号分别以扩展信息1112(＝1102)中所包含的分离系数B进行分离，则信号3和信号1+信号2所合成的信号能够被分离，进一步，以扩展信息1112(＝1102)中所包含的分离系数A分离所述信号1+信号2的合成信号，从而能够算出信号1。同样，若以扩展信息1113(＝1108)中所包含的分离系数C来分离DMX2′，则能够分离成信号4+信号5的合成信号和信号6+信号7的合成信号。所述的信号6+信号7的合成信号若由扩展信息1113(＝1108)中所包含的分离系数E来分离，则能够算出信号6。

以上仅为一个例子，也可以收发其他的组合的输入信号。将扩展信息1104和扩展信息1107的组合在流合成装置进行合成，若作为编码信息1116来构成，则输入信号3和输入信号5能够进行发送。

通过图12的编码信息1114和1115的构成，从而能够构成能够对各个点的发送信道(输入信道)的一部分进行选择取舍的流合成装置。通过此构成，可以在流合成装置自由地生成按照各个点以及各个输入信号而组合的编码信息1116。而且，不必发送编码信息1114以及编码信息1115的全体，仅通过发送其中的一部分就能够抑制信息传输量(位速率)的增加。在图12所示的情况下(发送点数量为2，信号数为7的情况下)，若单纯地计算需要22条编码信息，并且全部需要发送。其结果是造成位速率的增大。若单纯地发送22条编码信息，例如在MPEG-AAC方式，1个信道需要64kbps，22个信道则大约是1.4Mbps。但是，通过本发明，只需要在流合成装置对七个扩展信息进行取舍选择就可以，因此，发送信号数最大为7，传输速率也仅需要对应七个扩展信息就可以。一个扩展信息最多也只不过是几kbps左右，因此即使发送七个也不过是30kbps左右。如图12所示，若为两个信号，则DMX编码部分为64kbps左右，这样，能够发送的信息量即使是编码信息1116全体也不会超过100kbps。通过本发明，能够以低位速率且灵活地构成点及发送信号，因此，在产业上非常有益。

这样，分别构成了以下的流合成装置(A1)至流合成装置(A11)以及解码装置(B)。

即，被构成的流合成装置(A1)包括：输入部(输入部I1)，输入两个以上的编码信号(编码信息101、编码信息102)，该编码信号包含第一缩混声信号(图5中的DMX信号201、DMX信号204)和扩展信号(扩展信息202和扩展信息203、以及扩展信息205和扩展信息206)，所述第一缩混声信号是通过对缩混由多个麦克风收录的两个以上的声音信号(语音信号)而得到的声信号(缩混PCM信号)进行编码而得到的，所述扩展信号用于从所述第一缩混声信号中获取所述两个以上的声音信号；编码信号生成部(输出编码信息生成部I3)，根据所述输入部所输入的各个编码信号，生成第二缩混声信号(DMX信号207)和扩展信号(缩混分离信息208)，并生成包含该被生成的第二缩混声信号(DMX信号207)、该被生成的扩展信号(缩混分离信息208)以及被输入的所述各个编码信号的各个扩展信号(点1的扩展信息202和扩展信息203、点2的扩展信息205和扩展信息206)的编码信号(编码信息107)，所述被生成的第二缩混声信号是可以获取所述各个第一缩混声信号的信号(DMX信号201、DMX信号204)，所述被生成的扩展信号用于从该第二缩混声信号(DMX信号207)中获取所述各个第一缩混声信号(DMX信号201、DMX信号204)；以及输出部(输出部I2)，输出该被生成的编码信号。

通过上述这样构成的流合成装置(A1)，在流合成装置中，不必进行从被输入的各个编码信号被解码成一个一个的声音信号，再将被解码的声音信号编码为被输出的编码信号这样的大处理量的处理，只需要通过简单的处理就能够实现被输入的各个编码信号的各个声音信号的通信。

并且，(A1)的流合成装置还具有的构成(A2)是，所述编码信号生成部(输出编码信息生成部I3)算出所述输入部所输入的各个编码信号的声音信号的个数的合计数量(图9的信号数909)，被生成的所述编码信号(编码信息107)包括该被算出的合计数量。

并且，(A1)的流合成装置还具有的构成(A3)是，所述输入部所输入的编码信号(例如，图5的扩展1(扩展信息202)至扩展2(扩展信息203)所构成的全体)包含多个部分扩展信号(扩展1、扩展1)，通过在该多个部分扩展信号中与声音信号(例如图5中的点1的信号3)对应的一部分的部分扩展信号(扩展1)，从该编码信号(编码信息101)中获取声音信号(信号3)，所述编码信号生成部(输出编码信息生成部I3)生成编码信号，该编码信号中存储有与各个声音信号(例如点1的信号3)相对应的所述一部分的部分扩展信号(扩展1)，且该存储是与各个声音信号相对应的。

并且，(A3)的流合成装置还具有的构成(A4)是，所述编码信号生成部生成各个点的声音信号中的、仅包含用于获取预先规定的声音信号的部分扩展信号的编码信号。

并且，(A1)的流合成装置还具有的构成(A5)是，所述编码信号生成部生成所述输入部所输入的梭胡各个编码信号中的、仅包含预先规定的一部分的编码信号的扩展信号的编码信号。

并且，(A5)的流合成装置还具有的构成(A6)是，所述编码信号生成部生成编码信号，该编码信号仅包含输入源的预先规定的优先顺序比预先规定的标准顺序高的编码信号的扩展信号，且来自所述输入源的编码信号由所述输入部输入。

并且，(A1)的流合成装置还具有的构成(A7)是，所述输入部所输入的编码信号的扩展信号包含多个部分扩展信号，通过在该多个部分扩展信号中与声音信号对应的一部分的部分扩展信号，从该编码信号中获取该声音信号；所述编码信号生成部生成编码信号，该编码信号仅包含与声音信号的预先规定的优先顺序比预先规定的标准顺序高的声音信号相对应的所述一部分的部分扩展信号。

并且，(A1)的流合成装置还具有的构成(A8)是，所述输入部所输入的编码信号的扩展信号包含多个部分扩展信号，通过在该多个部分扩展信号中与声音信号对应的一部分的部分扩展信号，从该编码信号解码该声音信号；所述编码信号生成部生成编码信号，该编码信号包含用于确定树结构的树信息(图10的树信息901)，该树结构是由该编码信号生成部所生成的所述扩展信号和被生成的该编码信号的各个部分扩展信号构成的。

并且，(A1)的流合成装置还具有的构成(A9)是，所述编码信号生成部生成编码信号，该编码信号包含判别信息(图10的判别信息907)，该判别信息示出，在该编码信号生成部生成的扩展信号和所述输入部输入的各个编码信号的各个扩展信号之中的相应的扩展信号是由所述编码信号生成部生成的扩展信号。

并且，(A1)的流合成装置还具有的构成(A10)是，所述输入部所输入的各个编码信号分别包含示出输入源的输入源信息(图10的点信息908)，且所述各个编码信号是由所述输入部从输入源输入的；所述编码信号生成部确定在被输入的所述各个编码信号中、所包含的输入源信息表示预先规定的输入源的各个编码信号，并生成能够获取被确定的各个编码信号的各个第一缩混声信号的第二缩混声信号和为了获取而使用的扩展信号，并生成包含该被生成的第二缩混声信号、被生成的所述扩展信号以及被确定的所述各个编码信号的所述各个扩展信号的编码信号。

并且，(A1)的流合成装置还具有的构成(A11)是，所述编码信号生成部(输出编码信息生成部I3)包括：分离部(图4的多个分离电路103)，从所述输入部所输入的所述各个编码信号中，分别将该编码信号中所包含的所述第一缩混声信号分离出来；缩混声信号生成部(缩混整形电路104)，根据所述分离部所分离出来的各个第一缩混声信号，生成所述第二缩混声信号；扩展信号生成部(扩展信息算出电路)，根据所述分离部所分离出来的各个第一缩混声信号，生成用于从所述第二缩混声信号中获取所述各个第一缩混声信号的扩展信号；以及合成部(多路复用电路106)，对所述缩混声信号生成部所生成的所述第二缩混声信号、所述扩展信号生成部所生成的所述扩展信号、以及所述输入部所输入的所述各个编码信号的各个扩展信号进行合成，并生成编码信号。

并且，解码装置(解码装置A)所具有的构成(B)是，包括输入部(图略)和解码部(分离电路709)所述输入部输入编码信号(图5的编码信息107)，该编码信号包含缩混声信号和扩展信号，该缩混声信号是通过对缩混两个以上的声音信号而得到的声信号进行编码而得到的，该扩展信号用于从该缩混声信号中获取所述两个以上的声音信号；被输入的所述编码信号的所述缩混声信号(DMX信号207)是被获取了预先规定的两个以上的编码信号(编码信息101、编码信息102)的各个缩混声信号(DMX信号201、DMX信号204)的第二缩混声信号；被输入的所述编码信号的所述扩展信号是用于从所述第二缩混声信号(DMX信号207)中获取所述各个第一缩混声信号(DMX信号201、DMX信号204)的扩展信号(缩混分离信息208)；所述解码部至少根据被包含在所述扩展信号(缩混分离信息208)中的相关值(ICC)和频率功率比(ILD)，生成两个以上的中间信号(图8的无相关化电路704所生成的两个中间信号)，并对该被生成的两个以上的中间信号与所述频率功率比(ILD)进行乘法运算，所述两个以上的中间信号是通过所述相关值对从所述第二缩混声信号中获取的解码信号进行无相关化而得到的。

(其他变形例)

并且，在此虽然根据上述的实施例对本发明进行了说明，但是本发明并非受上述的实施例所限。以下的情况也包含在本发明中。

(1)上述的各个装置具体而言可以是由微型处理器、ROM、RAM、硬盘单元、显示装置、键盘、鼠标等构成的计算机系统。在所述RAM或硬盘单元记忆有计算机程序。所述微型处理器通过按照所述计算机程序工作，从而使各个装置实现各自的功能。在此，计算机程序是为了实现规定的功能，而由多个指令代码构成的，该多个指令代码示出对计算机的指令。

(2)构成上述的各个装置的构成要素的一部分或全部可以由一个系统LSI(Large Scale Integration：大规模集成电路)来构成。系统LSI可以是将多个构成部集成在一个芯片上而被制造的超多功能LSI，具体而言，是包括微型处理器、ROM、RAM等的计算机系统。所述RAM中记忆有计算机程序。通过所述微型处理器按照所述计算机程序工作，从而系统LSI能够实现其功能。

(3)构成上述的各个装置的构成要素的一部分或全部可以由能够拆装于各个装置的IC卡或单体的模块构成。所述IC卡或所述模块是由微型处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块可以包含上述的超多功能LSI。通过微型处理器按照计算机程序工作，从而所述IC卡或所述模块能够实现其功能。该IC卡或该模块具有抗篡改性能。

(4)本发明也可以是以上所示的方法。并且，也可以作为由计算机执行这些方法的计算机程序来实现，还可以作为由所述计算机程序构成的数字信号。

并且，本发明也可以将所述计算机程序或所述数字信号记录到诸如盘片、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc)、半导体存储器等计算机可读取的记录介质中。并且，也可以是被记录到这些记录介质中的所述数字信号。

并且，本发明也可以将所述计算机程序或所述数字信号通过以电信线路、无线或有线通信电路、互联网为代表的网络、数据广播等来传输。

并且，本发明可以是具有微型处理器和存储器的计算机系统，所述存储器记忆上述计算机程序，所述微型处理器按照所述计算机程序工作。

并且，通过将所述程序或所述数字信号记录并移送到所述记录介质，或通过经由所述网络等移送所述程序或所述数字信号，可以由独立地其他的计算机系统来执行。

(5)可以分别组合上述的实施例以及上述的变形例。

本发明有用于多点会议系统，该多点会议系统中的多个点通过通信路径连接，且各个点被多信道编码。

通过设置上述这样的流合成装置，能够在不断地提高多点连接时的临场感的状态下，减轻多点连接装置的运算负荷。

Claims (17)

1.一种流合成装置，其特征在于，包括：

输入部，输入两个以上的编码信号，该编码信号包含第一缩混声信号和扩展信号，所述第一缩混声信号是通过对缩混了两个以上的声音信号而得到的声信号进行编码而得到的，所述扩展信号用于从所述第一缩混声信号中获取所述两个以上的声音信号；

编码信号生成部，根据所述输入部所输入的各个编码信号，生成第二缩混声信号和扩展信号，并生成包含该被生成的第二缩混声信号、该被生成的扩展信号以及被输入的所述各个编码信号的各个扩展信号在内的编码信号，所述被生成的第二缩混声信号是可以获取各个所述第一缩混声信号的信号，所述被生成的扩展信号用于从该第二缩混声信号中获取各个所述第一缩混声信号；以及

输出部，输出该被生成的编码信号。

2.如权利要求1所述的流合成装置，其特征在于，

所述编码信号生成部，算出所述输入部所输入的各个编码信号的声音信号的个数的合计数量，被生成的所述编码信号包括该被算出的合计数量。

3.如权利要求1所述的流合成装置，其特征在于，

所述输入部所输入的编码信号的扩展信号包含多个部分扩展信号，通过在该多个部分扩展信号中与声音信号对应的一部分的部分扩展信号，从该编码信号中获取该声音信号；

所述编码信号生成部生成编码信号，该编码信号中与各个声音信号相对应地分别存储有与各个声音信号相对应的所述一部分的部分扩展信号。

4.如权利要求3所述的流合成装置，其特征在于，

所述编码信号生成部生成仅包含用于获取预先规定的声音信号的部分扩展信号的编码信号。

5.如权利要求1所述的流合成装置，其特征在于，

所述编码信号生成部生成在所述输入部所输入的所述各个编码信号中的、仅包含预先规定的一部分的编码信号的扩展信号的编码信号。

6.如权利要求5所述的流合成装置，其特征在于，

所述编码信号生成部生成编码信号，该编码信号仅包含输入源的预先规定的优先顺序比预先规定的标准顺序高的编码信号的扩展信号，且来自所述输入源的编码信号由所述输入部输入。

7.如权利要求1所述的流合成装置，其特征在于，

所述输入部所输入的编码信号的扩展信号包含多个部分扩展信号，通过在该多个部分扩展信号中与声音信号对应的一部分的部分扩展信号，从该编码信号中获取该声音信号；

所述编码信号生成部生成编码信号，该编码信号仅包含与声音信号的预先规定的优先顺序高于预先规定的标准顺序的声音信号相对应的所述一部分的部分扩展信号。

8.如权利要求1所述的流合成装置，其特征在于，

所述输入部所输入的编码信号的扩展信号包含多个部分扩展信号，通过在该多个部分扩展信号中与声音信号对应的一部分的部分扩展信号，从该编码信号解码该声音信号；

所述编码信号生成部生成编码信号，该编码信号包含用于确定树结构的树信息，该树结构是由该编码信号生成部所生成的所述扩展信号和被生成的该编码信号的各个部分扩展信号构成的。

9.如权利要求1所述的流合成装置，其特征在于，

所述编码信号生成部生成编码信号，该编码信号包含判别信息，该判别信息示出，在该编码信号生成部生成的扩展信号和由所述输入部输入的各个编码信号的各个扩展信号之中的相应的扩展信号是由所述编码信号生成部生成的扩展信号。

10.如权利要求1所述的流合成装置，其特征在于，

所述输入部所输入的各个编码信号分别包含示出输入源的输入源信息，且所述各个编码信号是由所述输入部从输入源输入的；

所述编码信号生成部确定在被输入的所述各个编码信号中的、所包含的输入源信息表示预先规定的输入源的各个编码信号，并生成能够获取被确定的各个编码信号的各个第一缩混声信号的第二缩混声信号和为了该获取而使用的扩展信号，并生成包含该被生成的第二缩混声信号、被生成的所述扩展信号以及被确定的所述各个编码信号的所述各个扩展信号在内的编码信号。

11.如权利要求1所述的流合成装置，其特征在于，

所述输入部从预先规定的多个输入输出目的地分别输入编码信号；

所述输出部向该多个输入输出目的地分别输出编码信号；

所述编码信号生成部生成一个所述第二缩混声信号和与所述多个输入输出目的地的个数相同个数的扩展信号，被生成的一个所述第二缩混声信号是用于获取从所述多个输入输出目的地输入来的所述各个编码信号的各个第二缩混声信号的缩混声信号，被生成的所述各个扩展信号分别与互不相同的所述输入输出目的地相对应，且仅包含对应的所述输入输出目的地以外的其他的输入输出目的地的扩展信号；

所述输出部将所述编码信号生成部所生成的所述各个编码信号分别输出到，与该编码信号中所包含的、由所述编码信号生成部生成的所述扩展信息相对应的所述输入输出目的地。

12.如权利要求1所述的流合成装置，其特征在于，

所述编码信号生成部包括：

分离部，从由所述输入部所输入的所述各个编码信号中，分别将该编码信号中所包含的所述第一缩混声信号分离出来；

缩混声信号生成部，根据所述分离部所分离出来的各个第一缩混声信号，生成所述第二缩混声信号；

扩展信号生成部，根据所述分离部所分离出来的各个第一缩混声信号，生成用于从所述第二缩混声信号中获取所述各个第一缩混声信号的扩展信号；以及

合成部，对所述缩混声信号生成部所生成的所述第二缩混声信号、所述扩展信号生成部所生成的所述扩展信号、以及所述输入部所输入的所述各个编码信号的各个扩展信号进行合成，并生成编码信号。

13.一种解码装置，其特征在于，包括输入部和解码部，

所述输入部输入编码信号，该编码信号包含缩混声信号和扩展信号，该缩混声信号是通过对缩混两个以上的声音信号而得到的声信号进行编码而得到的，该扩展信号用于从该缩混声信号中获取所述两个以上的声音信号；

被输入的所述编码信号的所述缩混声信号是被获取了预先规定的两个以上的编码信号的各个缩混声信号的第二缩混声信号；

被输入的所述编码信号的所述扩展信号是用于从所述第二缩混声信号中获取所述各个第一缩混声信号的扩展信号；

所述解码部至少根据被包含在所述扩展信号中的相关值和频率功率比，生成两个以上的中间信号，并对该被生成的两个以上的中间信号与所述频率功率比进行乘法运算，所述两个以上的中间信号是通过所述相关值对从所述第二缩混声信号中获取的解码信号进行无相关化而得到的。

14.一种流合成方法，其特征在于，包括：

输入工序，输入两个以上的编码信号，该编码信号包含第一缩混声信号和扩展信号，所述第一缩混声信号是通过对缩混两个以上的声音信号而得到的声信号进行编码而得到的，所述扩展信号用于从所述第一缩混声信号中获取所述两个以上的声音信号；

编码信号生成工序，根据在所述输入工序所输入的各个编码信号，生成第二缩混声信号和扩展信号，并生成包含该被生成的第二缩混声信号、该被生成的扩展信号以及被输入的所述各个编码信号的各个扩展信号的编码信号，所述被生成的第二缩混声信号是可以获取各个所述第一缩混声信号的信号，所述被生成的扩展信号用于从该第二缩混声信号中获取各个所述第一缩混声信号；以及

输出工序，输出该被生成的编码信号。

15.一种计算机程序，其特征在于，用于使计算机执行以下工序：

输入工序，输入两个以上的编码信号，该编码信号包含第一缩混声信号和扩展信号，所述第一缩混声信号是通过对缩混两个以上的声音信号而得到的声信号进行编码而得到的，所述扩展信号用于从所述第一缩混声信号中获取所述两个以上的声音信号；

编码信号生成工序，根据在所述输入工序所输入的各个编码信号，生成第二缩混声信号和扩展信号，并生成包含该被生成的第二缩混声信号、该被生成的扩展信号以及被输入的所述各个编码信号的各个扩展信号的编码信号，所述被生成的第二缩混声信号是可以获取各个所述第一缩混声信号的信号，所述被生成的扩展信号用于从该第二缩混声信号中获取各个所述第一缩混声信号；以及

输出工序，输出该被生成的编码信号。

16.一种解码方法，其特征在于，包括输入工序和解码工序，

在所述输入工序中输入编码信号，该编码信号包含缩混声信号和扩展信号，该缩混声信号是通过对缩混两个以上的声音信号而得到的声信号进行编码而得到的，该扩展信号用于从该缩混声信号中获取所述两个以上的声音信号；

被输入的所述编码信号的所述缩混声信号是被获取了预先规定的两个以上的编码信号的各个缩混声信号的第二缩混声信号；

被输入的所述编码信号的所述扩展信号是用于从所述第二缩混声信号中获取所述各个第一缩混声信号的扩展信号；

在所述解码工序中，至少根据被包含在所述扩展信号中的相关值和频率功率比，生成两个以上的中间信号，并对该被生成的两个以上的中间信号与所述频率功率比进行乘法运算，所述两个以上的中间信号是通过所述相关值对从所述第二缩混声信号中获取的解码信号进行无相关化而得到的。

17.一种计算机程序，其特征在于，用于使计算机执行输入工序和解码工序，

在所述输入工序中输入编码信号，该编码信号包含缩混声信号和扩展信号，该缩混声信号是通过对缩混两个以上的声音信号而得到的声信号进行编码而得到的，该扩展信号用于从该缩混声信号中获取所述两个以上的声音信号；

被输入的所述编码信号的所述缩混声信号是被获取了预先规定的两个以上的编码信号的各个缩混声信号的第二缩混声信号；

被输入的所述编码信号的所述扩展信号是用于从所述第二缩混声信号中获取所述各个第一缩混声信号的扩展信号；

在所述解码工序中，至少根据被包含在所述扩展信号中的相关值和频率功率比，生成两个以上的中间信号，并对该被生成的两个以上的中间信号与所述频率功率比进行乘法运算，所述两个以上的中间信号是通过所述相关值对从所述第二缩混声信号中获取的解码信号进行无相关化而得到的。

Images