CN102318373A - 解码装置、编解码装置及解码方法 - Google Patents

Abstract

不存在将从接收到的对象编码信息得到的对象信号的虚拟音源在接收据点侧配置在受听空间中的方法。具备：对象解码部(806)，接收多个被对象编码的声响编码信息，通过将接收到的声响编码信息进行对象解码，生成多个对象信号；以及描绘部(807)，将通过对象解码得到的各对象信号的虚拟音源的位置按照将对象信号合成得到的声响信号配置在受听空间中；在声响编码信息中叠加有表示对于声响信号的优先级的大小的优先级信息；描绘部(807)根据优先级信息表示的优先级的大小，或者根据包含在声响信号中的对象信号的数量，决定在受听空间中对声响信号分配的区域的大小，将各个包含在声响信号中的对象信号的虚拟音源配置在上述区域内。

Description

解码装置、编解码装置及解码方法

技术领域

本发明涉及将多据点、多数人的讲话者参加的会议系统中的声响信号进行对象编码及对象解码的装置。

背景技术

随着近年来的宽带通信技术的发展，IP通信技术变得普遍，在一般的商界中的会议或一般家庭间的通讯现场中，也出现了以IP通信技术为基础的电话会议系统、或不仅提示声音信号、同时也提示视频图像那样的临场感通讯系统。此外，通过IP通信的速度及稳定性的提高，还出现了能够多据点、多数人参加的临场感会议系统。通过便利性的提高，随着使用多数人、多据点的会议及通信系统的机会增加，如能够更简单地参加会议那样的机制变得重要。

在以往型的视频会议系统中，在多数人、多据点参加的情况下，进行了以人数量或据点量等分割的画面显示。因此，在非常多的人数、许多据点参加的情况下，画面显示变得非常繁杂。进而，通过多数人、多据点参加，会话的声音信号也会交扰，难以判断是哪个据点的谁发言等。为了解决该问题，需要在发言的最初明示地讲出从现在起谁发言、或者通过影像表示谁正在发言等的辅助的手段，需要非常繁杂的处理。

此外，如果在参加会议的各据点参加的人数增加，则由各据点的发送装置或接收装置编码、解码的声音影像信号的数量增加，导致对收发装置的负荷增加。

为了解决这些问题，需要能够将多个信号同时且以低位速率编码的方式。进而，还需要能够灵活地控制多个声音信号的技术。所以，提出了声音对象编码技术(以下称作对象编码技术)，并提出了采用该技术的具备将多个对象信号单独以低速率收发的特征的装置(例如参照专利文献1)。根据使用对象编码技术的编码，除了传送将多个对象信号缩混(down mix)到M个声响信号中而编码的缩混信息以外，还附加较少的控制信息并传送，在接收侧能够重构为N个音频对象信号(M比N小)。

[专利文献1]美国专利申请公开第2008/0008323号说明书

[非专利文献1]B.B.Bauer，“Phasor analysis of some stereophonicphenomena”，IRE TRANSACTIONS ON AUDIO，Vol 10，pp 18-21，January1962.

如上所述，通过将对象编码技术应用到会议系统中、将各讲话者(音源)分别作为音频对象来处理，能够用对象编码技术进行高效率的编码。但是，仅通过采用对象编码技术，在对应于多据点、多数人的会议系统中，并没有解决会话的声音交扰的问题，也没有改善各自的会话的不易听取。

发明内容

本发明鉴于上述问题，目的是提供一种在采用对象编码技术的会议系统中容易听取各据点的会话的声音的编码装置、解码装置、会议系统、编码方法及解码方法。

为了解决上述问题，本发明的解码装置具备：对象解码部，接收多个被对象编码的声响编码信息，通过将接收到的上述声响编码信息进行对象解码，从一个上述声响编码信息生成合成了一个以上的对象信号的一个声响信号；以及描绘部，将分别与包含在所生成的上述声响信号中的一个以上的上述对象信号对应的虚拟音源的位置配置在对每一个上述声响信号预先设定的受听空间中；在上述声响编码信息中，叠加有表示对上述声响信号的优先级的高低的优先级信息，上述描绘部根据上述优先级信息表示的优先级的高低，决定在上述受听空间中对上述声响信号分配的区域的大小，并将各个包含在上述声响信号中的上述对象信号的上述虚拟音源配置在对上述声响信号分配的上述区域内。

通过做成这样的结构，由于将与某个声响编码信息对应的每个声响空间(据点)的对象信号的虚拟音源根据其重要度或其数量配置在受听空间中，所以在属于声响空间(据点)的对象信号的数量较多的情况下，也能够将该虚拟音源配置在受听空间中以便容易分辨各个对象信号。此外，能够根据声响信号的优先级配置在受听空间中，即，使得属于优先级高的声响信号的对象信号更容易听取。因而，由此能够将重要的据点、或讲话者等的音源较多而活跃的据点的声响在空间上较大地配置，在听感上容易听取。

此外，也可以是，一个以上的上述对象信号分别与上述声响编码信息被对象编码的声响空间中的一个音源对应；上述声响信号是将在上述声响空间中发生的一个以上的对象信号合成而得到的信号。由此，声响空间中的一个以上的对象信号在接收侧以适当的间隔虚拟地配置在接收侧的受听空间中，所以在接收侧能够降低各个对象信号的混合，能够得到容易单独听取的效果。

也可以是，上述描绘部决定上述区域的大小，以使对于上述声响信号的优先级越高，上述区域的大小越大。由此，描绘部能够将包含在优先级较高的重要的声响信号中的对象信号的虚拟音源的位置配置在接收侧声响空间的更大的区域中。因而，能够使包含在优先级较高的重要声响信号中的对象信号变得容易听取。

此外，也可以是，上述优先级信息是表示对象编码中的缩混信息的增益的全局增益信息，上述优先级的高低与上述增益成比例。由此，解码装置即使在声响编码信息中没有复用优先级信息的情况下，也能够通过将包含在与各个声响信号对应的声响编码信息中的全局增益信息比较来计算优先级信息。

进而，也可以是，在上述声响编码信息中包含增益比信息，该增益比信息表示各个上述对象信号相对于缩混信息的增益比，上述对象解码部对每个对象信号计算上述全局增益信息的值与上述增益比信息的值的乘积，并将计算出的值作为各上述对象信号的第二优先级信息。由此，本发明的解码装置即使在声响编码信息中没有叠加有与各个对象信号对应的第二优先级信息的情况下，也能够检测各对象信号的音量的大小作为第二优先级信息，并进行配置以使检测到的第二优先级越大的对象信号、即音量越大的对象信号处于越容易听取的位置。

此外，也可以是，上述对象解码部在上述声响信号中仅对由上述第二优先级信息表示的优先级是预先设定的位次以上的对象信号解码，对优先级比上述位次低的对象信号不进行解码。通过这样，将不太重要的对象信号删除，由此能够降低解码装置中的解码的处理负荷。

也可以是，上述对象解码部在上述声响信号中仅对由上述第2优先级信息表示的优先级是预先设定的位次以上的对象信号确认优先级的高低，对于上述优先级比上述位次低的对象信号看作是比上述位次低的相同的优先级。由此，能够降低用来将重要度比一定程度低的对象信号的虚拟音源以优先级的顺序配置到受听空间中的处理负荷。

此外，也可以是，在各个上述声响编码信息中包含用来确定上述声响空间的识别信息；上述对象解码部对每个上述识别信息测量每单位时间接收到上述声响编码信息的声响编码信息的代码长度，将测量出的每单位时间的声响编码信息的代码长度作为由上述识别信息确定的上述声响空间的活动度，根据上述优先级信息和上述活动度，决定每个上述声响空间的声响信号的优先级的高低；上述描绘部决定上述区域的大小，以使对每个上述识别信息决定的优先级越高，对来自由上述识别信息确定的声响空间的上述声响信号分配的区域越大。由此，在解码装置中，即使在声响编码信息中没有叠加有优先级信息的情况下，也按照确定声响空间的每个识别信息，将发送每单位时间的代码长度较长的声响编码信息的声响空间看作重要的声响空间，对该发送侧声响空间将更大的区域分配给受听空间。因而，例如能够使作为在会议中发言量较多的发送据点的发言的对象信号在听感上容易听取。

此外，也可以是，上述对象解码部决定每个上述声响空间的声响信号的优先级的高低，以使其与包含在上述声响信号中的上述对象信号的数量成比例。由此，能够更离散地配置到受听空间中，以使包含在声响信号中的对象信号的数量、例如在电视会议的会议室中同时发言的讲话者的数量越多，则作为包含在该声响信号中的各个讲话者的发言的对象信号越容易听取。

也可以是以下的结构：上述描绘部进行配置，以使各个上述声响信号的上述优先级信息表示的优先级越高，对该声响信号分配的上述区域越接近于上述受听位置的预先设定的正面方向。由此，越是优先级较高的重要的声响信号越接近于受听位置的正面而配置，越是重要性高的据点中的发言越容易听取。

进而，也可以是，在各个上述声响编码信息中叠加有表示上述声响空间彼此的相对的位置关系的信息，上述描绘部按照表示上述位置关系的上述信息，将上述声响信号配置在上述预先设定的受听位置的周围。由此具有如下效果：能够进行对应于各声响信号的据点的关系及据点的状态在听感上容易知道的空间配置，在受听位置上，容易掌握发言者所属的据点的位置关系，能够直感上掌握讲话者的发言在哪个据点进行。

此外，也可以是，上述描绘部决定各个上述对象信号的配置，以使对于上述对象信号的上述第二优先级信息表示的优先级越高，该对象信号为越接近于上述受听位置的位置。由此，将作为优先级较高的对象信号的、例如重要人物的声音配置成从受听位置较近的位置，所以越是重要的人物的发言越容易听取。

进而，也可以是，在各个上述声响编码信息中包含有相对位置信息，该相对位置信息表示上述声响空间中的、各个对象信号的音源相对于预先设定的基准位置的相对位置，上述描绘部将对各个上述声响信号分配的上述区域的预先设定的位置作为上述基准位置，根据由上述声音环境信息表示的上述相对位置，计算上述对象信号的上述受听空间中的上述虚拟音源的位置，并在计算出的上述位置上配置上述对象信号的上述虚拟音源。由此，能够在各据点向接收侧通知各据点的讲话者的位置，在接收侧能够配置讲话者的声音的虚拟音源以使其与各据点处的讲话者的位置相同。

为了解决上述问题，本发明的编解码装置具备：收音部，接收作为一个以上的对象信号的集合的声响信号；分离部，将接收到的上述声响信号分离为各个上述对象信号；对象编码部，将分离的上述对象信号进行对象编码而生成声响编码信息，在生成的上述声响编码信息上叠加表示对各个上述声响信号的优先级的高低的优先级信息以及包含在上述声响信号中的上述对象信号的数量；对象解码部，从多个其他装置接收上述声响编码信息，通过将接收到的各个上述声响编码信息进行对象解码，从一个上述声响编码信息生成合成了一个以上的对象信号的一个声响信号；以及描绘部，将上述对象解码部生成的一个以上的上述对象信号的各自的虚拟音源的位置配置在对每一个上述声响信号预先设定的受听空间中；上述描绘部根据上述优先级信息表示的优先级的高低，决定在上述受听空间中对上述声响信号分配的区域的大小，并将各个包含在上述声响信号中的上述对象信号的上述虚拟音源配置在对上述声响信号分配的上述区域内。由此，能够生成在进行用于使得容易听取会议的发言者的声音的描绘时有用的、包含各据点的声响信号的优先级的声响编码信息，并且能够将从其他装置接收到的声响编码信息进行对象解码，将通过解码得到的对象信号的虚拟音源配置在受听空间中以使受听者容易听取。

在多据点、多数人经由IP通信网进行会议的系统中，如果使用对象编码技术，则能够自由地控制接收据点侧的声响信号的空间配置。进而，根据本发明，能够将重要讲话者及重要据点的声音虚拟地较大地配置到接收侧的声响空间，能够将重要据点中的重要讲话者的声音的虚拟音源配置于在听感上容易听取的虚拟空间。此外，还能够实现与发送侧及接收侧的状况匹配的配置，能够得到使会议的临场感飞跃性地提高的良好的效果。此外，能够实现能够独立灵活地控制个别的讲话者的声音信号的虚拟会议系统。通过实现虚拟会议系统，加上对每个对象(讲话者)控制声音信号，具有能够进一步提高会议的临场感的效果。

附图说明

图1是采用对象编码、具有描绘部的虚拟会议系统的结构图。

图2是表示多据点连接装置MCU和据点间的初始化信息的收发方法的图。

图3是接收据点中的各据点的虚拟空间配置图。

图4是自动描绘过程的流程图。

图5是基于接收据点的据点的优先级的虚拟空间的配置设定图。

图6是接收据点的据点的虚拟空间的位置设定图。

图7是接收据点的规定对象信号的配置图。

图8是表示立体声系统中的描绘处理的例子的图。

图9是5.1ch环绕系统结构图。

图10是接收据点的对象信号的几何学配置图。

图11是表示实施方式3的描绘方法的图。

图12是表示实施方式4的对象编码信息的数据结构的图。

具体实施方式

以下，参照附图说明本发明的实施方式。

(实施方式1)

利用图1，对本实施方式的多据点、多数人参加的临场感会议系统中的对象编码部、解码装置进行说明。另外，虽然没有图示，但假设图1的据点A、据点D以外，据点B、据点C参加到该会议系统的会议中。以下，作为发送侧(编码装置侧)的代表例仅对据点A的处理进行说明，对于其他据点B及据点C，假设进行与据点A同样的处理而省略说明。此外，对于据点D，作为接收侧(解码装置侧)的代表例，仅对接收了对象编码信息之后的声响信号的再现处理进行说明，但也可以在据点D中与据点A～C同样具备发送侧的结构。在这样的会议系统中，在仅具备接收侧的结构、而不具备发送侧的结构的情况下，该据点为在会议中不发言的观察者的立场。此外，关于据点A～C，作为发送侧的例子进行说明，但假设也具备接收侧的结构。在接收侧的据点、例如据点D中，具备对象解码部806及描绘部807。在接收侧的据点中，例如也可以在前段具备多据点连接装置805。此外，在发送侧的据点、例如据点A中，具备收音部801、分离部803、对象编码部804。

在据点A的会议室802中，使用通过由多个麦克风构成的麦克风阵列等实现的收音部801，接收声响信号。

分离部803在从由收音部801得到的声响信号中去除噪声成分之后，分离为相互没有空间上的关联性的在声响上独立的多个声响信号。分离部803还将分离后的各个声响信号(以下称作“音频对象信号”，或简单称作“对象信号”)输入到对象编码部804中。这里，所谓在声响上独立的对象信号，例如是进行会话的各讲话者的声音、在会话的背后播放的音乐、电话的呼叫音等，所谓声响信号，是将同时讲话的讲话者的声音合成的信号。因而，对象信号并不仅限于人的声音，但在通常的情况下，作为电视会议的会议室而选择杂音较少的房间，所以即使将各对象信号看作是各讲话者的声音也没有问题。

将分离后的各音频对象信号用对象编码部804进行对象编码。该对象编码如在背景技术中说明那样进行。在对象编码部804中，作为对象分离信号而生成若干个控制信息，叠加在位流中。该控制信息是各对象的声响上的等级差(OLD：Object Level Difference)、各对象间的标准化能量(NRG：Normalized Related Gain)、对象间相关一致性(IOC：Inter Object Coherence)等。控制信息并不限于这些，也可以是其他的每个对象、或与跨越对象间的声响信号关联的信息。其中，优选的是，OLD、NRG、IOC的至少某一个包含在控制信息中。

在对象编码部804中，除了该据点的声响信号、控制信息的编码以外，还传送两个信息。是表示参加据点的数量(numSite)的信息、和各参加据点的或各对象的优先级信息(Priority_i)。另外，在Priority_i表示各参加据点的优先级信息的情况下，i例如是能够唯一地确定各据点的各据点的序列号或ID，表示是哪个据点，在Priority_i表示各对象的优先级的情况下，i例如表示能够唯一确定各对象的各对象的序列号或ID，表示是哪个对象。另外，在图1中，表示了优先级信息被附加在对象编码信息的末尾的例子，但本发明并不限定于此，也可以为将优先级信息附加在对象编码信息的前段的、例如头部或记述参数的部分等中而发送的结构。这样，如果将优先级信息附加在对象编码信息的前段，则在对象解码部中，能够在开始对象编码信息的解码处理之前从对象编码信息中仅提取优先级信息而掌握该据点的优先级。结果，在对象解码部侧，例如在对象数为多个而进行控制以不将优先级较低的对象信号再现的情况下，可以仅将所需最小限度的对象信号解码。由此，在本实施方式的对象解码部中能够降低解码中的处理负荷。并且，由此对于各对象信号，能够并行地执行决定用来将各对象信号的虚拟音源的位置配置到受听空间中的描绘角度的处理、和对象信号的解码处理，能够降低解码中的处理延迟量。各据点的对象编码部804将numSite的值设定为作为默认值的1，对多据点连接装置(MCU)805发送在声响信号和控制信息的编码信息上叠加了numSite和Priority_i的对象编码信息。发送给据点连接装置805的对象编码信息经由多据点连接装置805发送至其他据点。另外，也可以是不经由多据点连接装置805而在各据点间收发的结构。在此情况下，对象编码部804对别的据点的对象解码部806发送对象编码信息。

接着，对多据点连接装置805进行说明。多据点连接装置805基本上如以下这样动作：接收从多个不同的据点发送的信息，这里是接收从据点A发送的对象编码信息A809、从据点B发送的对象编码信息B810、从据点C发送的对象编码信息C，并将它们合成为一个对象编码信息，向别的据点发送。在通过该合成得到的合成对象编码信息812中，包含多据点连接装置805接收到的来自所有据点的信息和将它们分离的分离信息。这样，对各据点发送包括能够将全部据点的信息和该据点以外的全部据点信息分离的分离信息的位流。

对多据点连接装置805的动作内容详细地说明。首先，在开始会议时，在各据点和多据点连接装置805间，进行用来将编码装置和解码装置初始化的信息的交换。作为被初始化的信息，有据点数、编码方式的种类、再现信道数、麦克风的数量、画面的析像度、帧速率等。如果多据点连接装置805判断为这些信息在各据点间能够正常地交换，则能够开始会议。所谓不能正常地交换的情况，是某个据点的解码器不具有将对象编码信息解码的手段而不能对应于对象编码的情况、以及再现装置的可再现信道数比发送信道数少的情况等。

多据点连接装置805将如上所述的初始化信息中的有关各据点的信息收集完毕全部据点量之后，将从各据点发送的numSite合计。由此，能够计算实际的numSite的值。这也可以通过图2所示的方法计算。图2例示了初始化时的各据点与多据点连接装置805间的交换。据点A对多据点连接装置805发送预先决定的进行初始化的信息(例如字符串“hello”)，据点B也同样发送。多据点连接装置805计数发送来的“hello”的数量也能够计算实际的numSite的值。在会议中参加据点增减的情况下，如果各据点总是将numSite设为1而发送给多据点连接装置805，则难以知道哪个据点中止参加、哪个据点新参加。但是，在最初参加会议的情况下，如果决定发送这样的初始化的信息，则具有容易掌握新参加的据点的效果。

接着，多据点连接装置805将合成对象编码信息812发送给各据点。该合成对象编码信息812是在下述编码信息上叠加了实际的numSite和除了接收据点以外的各据点的初始化信息的信息，上述编码信息是对将全部参加据点的声响信号和控制信息的编码信息合成的信息、以及从该合成信息中分离接收据点以外的各据点的编码信息的分离信息进行了编码的信息。通过发送该合成对象编码信息812，将有关参加据点的信息向各据点的编码、解码装置反馈。

进而，多据点连接装置805根据需要来调节在从多个据点发送的对象编码信息上叠加的Priorityi的值。该调节如以下这样进行：在发送来的所有的Priority_i中，从优先级高者起将上位的规定个数量以下作为新的优先级信息附加，将其他设为一定的优先级。例如，到上位5级为止附加有位次的优先级，6位以下都附加同级的6位的优先级。由此，不进行太多的优先级的分级，能够仅对重要的据点或对象的优先级发送，减少解码装置中的繁杂的处理。此外，该调节也可以根据表示据点的参加人数、参加的人的关系性、声音功率的大小、声音的持续时间的信息，对每个据点或对每个对象设定优先级。例如，在关于据点A的某个对象信号的Priority与关于据点B的某个对象信号的Priority是相同值的情况下，进行将声音功率较强的一方重新设定得较高的调节。此外，也可以忽视设定的优先级而将各对象信号的声音功率的强度的顺序作为优先级。即，也可以设定优先信息，以使得声音功率较大的对象信号比声音功率较小的对象信号优先级更大。进而，也可以对比其他据点包括更多声音功率较大的对象信号的据点设定更大的优先信息。另外，所谓表示参加的人的关系性的信息，例如表示在某个据点没有发言者、而只有听众参加了会议的信息、表示在某个据点在参加者中包括VIP的信息等。这样对每个据点或对每个对象设定优先级，并叠加在对象编码信息上，向接收据点发送。通过如以上这样根据需要调节Priority_i，能够在接收据点中按照优先级进行适当的处理。

对象解码部806对从多据点连接装置805接收到的各据点的合成对象编码信息812进行对象解码，将各据点的对象信号分离。此外，与此同时，将控制信息、全部据点数(numSite)、优先级信息(Priority)分离。另外，是不经由多据点连接装置805而在各据点间收发的结构的情况下，对象解码部806从接收侧据点以外的据点的对象编码部804分别接收对象编码信息。在此情况下也同样进行对象解码，将各据点的对象信号分离，将其他的控制信息等也分离。基于这里分离的信息，对象解码部806进行实际的全部据点数计算，在必要的情况下，与在多据点连接装置805中进行的情况同样，进行上述Priority的重新设定。

接着，对自动描绘部807进行说明。在自动描绘部807中，在进行各据点的对象信号的描绘之前，首先，在接收据点(在图1中是据点D)中，决定有关接收据点以外的据点的、各对象信号的虚拟的配置。图3是示意地表示据点D的会议室808中的、各对象信号的空间配置方法的图。图3的受听位置110表示据点D处的参加者的中心、据点D的会议室808的中心、参加者为1人的情况下的参加者自身或多个参加者中的作为目标的指定的一个参加者自身等，表示在据点D能够受听由扬声器再现的声音的一点。图3的方形表示据点B，101、102、103、104表示在据点B发生的对象信号。描绘部807如图3的圆所示，将从相同的据点发送来的对象信号虚拟地分组，在声响上配置成不同据点的对象信号被相互区分。例如如图3所示，在参加会议的据点数是据点A～据点E的5个的情况下，在接收据点D，从接收到的信息中分离除了自身以外的4个据点的信息，将按照每个据点分组后的对象信号配置在受听位置110的周围。通过这样分组，容易知道从哪个据点发送来了怎样的声响。

以下，利用图4说明按照据点分组后的对象信号的配置方法。该配置是按照各发送据点的优先级Priorityi和各据点的对象信号数numObject_site_i决定的。首先，取得包含在接收到的位流中的据点数等的信息(步骤S121)，根据numObject_site_i计算各据点的受听位置110的周围的描绘角(步骤S122)。所谓据点的描绘角，是指包括全部的按照每个据点分组后的对象信号、且按照据点划分以使得不包括不同的据点的对象信号的、如图3所示的通过受听位置110的箭头所成的角度。各据点的描绘角使用式1、由包含在对象编码信息中的numObject_site_i决定。

${\mathrm{area}\_\mathrm{site}}_i=\frac{2\mathrm{\π}}{\underset{j=1}{\overset{\mathrm{numSite}}{\mathrm{\Σ}}}\mathrm{num}{\mathrm{Object}\_\mathrm{site}}_j}\×\mathrm{num}{\mathrm{Object}\_\mathrm{site}}_i$ …(式1)

即，将受听位置110的周围2π用应描绘的全部对象信号数分割，其中乘以各据点的对象信号数后的值为各据点的描绘角area_site_i。这样，按照各据点的对象数，使各据点的声响信号的空间中的扩散程度变化。通过虚拟地对包括许多对象信号的据点分配较宽的声响空间、对包括较少的对象信号的据点分配较窄的声响空间，能够防止对象信号过密地、即相互接近配置。此外，在听觉上容易判别各据点的对象数的差异。这样，根据本实施方式的描绘部807，由于在接收据点D中自动地将各据点的各讲话者等的音源在听觉上分离，所以能够容易听取各个讲话者的声音，此外，在受听位置，处于其他据点中的讲话者能够像存在于受听者的周围那样听到发言，所以带来会议的临场感提高。另外，这里将各据点在虚拟空间上占用的区域的描绘角根据包含在各据点中的对象信号的数量分配，但本发明并不限定于此，也可以根据各据点的优先级来分配。例如，通过在上述式1中代替numObject_site_i而代入第i个据点的优先级(priority_i)，能够根据优先级分配各据点的描绘角。

接着，决定配置在上述中求出的各据点的描绘角的受听位置110周围的位置(以下称作据点的描绘位置)(步骤S123)。据点的描绘位置在设定有表示各据点的优先级的Priority_i的情况下基于Priority_i决定。例如，在受听位置110表示受听者的位置的情况下，由于人具有与从后方发生的声音相比更容易听取来自前方的声音的性质，所以如图5所示将优先级最高的据点的描绘位置设定在受听位置110的前方。接着，以优先级由高到低的顺序在容易听取的位置上也设定其他据点的描绘位置就可以。另外，在多个据点的优先级相同的情况下，也可以将优先级最高的一个据点的描绘角配置在容易听取的位置(initial_angle)上，将其他据点单纯利用式2、式3绕逆时针配置。另外，在Priority_i表示各对象信号的优先级的情况下，只要将包括优先级最高的对象信号的据点、或包含较多优先级高的对象信号的据点配置在容易听取的位置上就可以。通过这样基于优先级信息决定据点的描绘位置，能够更容易听取优先级高的声响。

[数学式2]

angle_site_i＝angle_site_i-1+area_site_i-1，(2≤i≤numSite)…(式2)

[数学式3]

angle_site₁＝initial_angle  …(式3)

另外，该据点描绘位置也可以在没有设定或设定了Priority_i的情况下，都不基于该值而根据接收据点与各发送据点的位置关系来决定。例如，在日本、美国、中国和澳大利亚的据点间进行会议的情况下，日本的据点描绘位置也可以设定为使来自美国据点的信号靠东、来自中国据点的信号靠西、来自澳大利亚据点的信号靠南。此外，也可以根据会议系统的受听位置110与会议系统的图像显示装置的位置关系等设备环境来决定。此外，也可以基于发送侧据点的会议室的大小等的信息，在接收侧据点决定各对象信号彼此的最大配置距离。这些信息既可以作为上述初始化信息发送，也可以根据需要发送。将这些据点彼此的位置关系及据点的设备环境等的信息定义为声音环境信息。通过这样基于会议中的参加据点彼此的关系及各据点的环境决定据点的描绘位置，能够进一步提高临场感。

接着，说明按照每个据点分组的对象信号的配置。在通过area_site_i和angle_site_i决定各据点的描绘角和描绘位置之后，将对象信号虚拟地配置在由该据点的描绘角和描绘位置决定的区域内。例如，将图3所示的据点B的对象信号101～104如105～108那样虚拟地配置在接收据点D中的据点B的虚拟空间109内。在对各对象信号设定了Priority_i的情况下，该虚拟空间上的配置配置为，使优先级信息高的信号接近于受听位置、或为容易听取的位置。通过这样配置，在分组为使得容易分辨各据点的声响的对象信号之中，也能够更容易听取优先级较高的声音。

另外，在各据点的虚拟空间内，在将描绘的对象信号配置在该据点的区域的边界附近的情况下，与相邻的其他据点区域内的对象信号距离变近，不易分清据点间的区域的区别。在这样的情况下，描绘部807对于配置在区域的边界附近的对象信号进行修正以使音量变小。例如，对于配置在区域的边界附近的对象信号，相对于由对象解码部解码后的对象信号的本来的音量，将音量缩小到其7成左右。

此外，作为除此以外的方法，也可以对于配置在区域的边界附近的对象信号，修正对象信号的描绘位置，以使得以受听位置为中心、该对象信号的位置与区域边界所成的角为规定的角度以上、例如5°以上。或者，也可以计算描绘位置以使各区域内的对象信号的描绘位置处于该区域的描绘角的8成左右的夹角的内部中，或将各据点的区域的描绘角计算到8成左右。

另外，在上述说明中，将位于边界附近的对象信号的音量缩小到7成左右、或使位于边界附近的对象信号与区域边界所成的角为5°以上，并将各区域的描绘角修正为计算出的角度的8成左右，但本发明并不限定于这些数值。音量的修正、从区域边界修正的角度、或者各区域的描绘角的修正的比例等的具体的数值，只要例如一边将数值改变为各种值一边通过仿真等决定值、以使受听位置处的对象信号的听取容易度变得最佳就可以。

进而，作为使得不将对象信号描绘到各据点的区域的边界附近的其他方法，有如下的方法。例如，也可以将各据点的虚拟空间的描绘角area_site_i用将属于该据点的对象信号的数量numObject_site_i与规定的常数α相加的数(numObject_site_i+α)分割，将各对象信号根据其优先级，从连结受听位置和区域的中心的受听位置的正面向左右依次分配来描绘各对象信号。例如，将优先级最高的对象信号描绘在受听位置的正面，将接下来优先级高的对象信号描绘到从受听位置的正面向左成(area_site_i)/(numObject_site_i+α)的角度的位置上。此外，将优先级第3高的对象信号描绘到从受听位置的正面向右成(area_site_i)/(numObject_site_i+α)的角度的位置上，将优先级第4高的对象信号描绘到从受听位置的正面向左成2(area_site_i)/(numObject_site_i+α)的角度的位置上。此时，优选描绘为：按照优先级的顺序，对象信号从受听位置逐个远离规定的距离。这样，将对各据点的虚拟空间分配的描绘角用对象信号的总数以上的数分割，并进行描绘以使对象信号的位置按照优先级的顺序从受听位置的正面向左右依次逐个远离(area_site_i)/(numObject_site_i+α)，所以能够在两侧的边界的内侧分别设置角度α(area_site_i)/2(numObject_site_i+α)量的间隙的空间、即不配置对象信号的空间。

由此，能够将各据点在虚拟空间中占用的区域彼此用具有规定的宽度的边界划分，所以能够在听感上更明确地区分各据点占用的区域。结果，根据本实施方式的临场感会议系统，能够实现具有临场感、并且容易听到其他据点的发言的会议系统。

另外，在没有设定Priority_i的情况下、或在虽然设定但没有利用该信息的情况下，也可以配置为：保持据点B中的对象信号101～104彼此的相对位置。通过这样保持相对位置，能够在虚拟空间上再现据点的音源的状态。其中，各个据点的对象信号的相对位置也可以作为来自该据点的声音环境信息而在对象编码信息中复用，并发送至其他据点。其中，对象信号的相对位置例如以对应于各据点的会议室的中央或据点D的上述受听位置的点为中心、将监视器的方向设为从基准方向成π/2的方向、用从受听位置看的对象信号的距离及角度来表示。当然，各据点中的对象信号的相对位置并不限于该表现方法，例如也可以用各据点的会议室中的坐标位置等表示。

以下，除了图4以外还使用图6对各对象信号的其他虚拟的配置方法进行说明。从同一据点发送的对象信号如上述中说明那样配置在受听位置110的周围的用该据点的描绘角表示的区域内。在图6中，箭头406和箭头407所夹的角度是据点A的描绘角，从据点A发送的对象信号配置在该区域内。另外，受听位置405对应于图3中的受听位置110，据点A的虚拟空间401是与箭头406和箭头407相切的圆，403表示虚拟空间401的中心点。此外，d表示受听位置405与中心点403之间的距离。

当对每个据点将对象信号分组并虚拟地配置到接收侧会议室的受听空间中时，各对象信号配置在虚拟空间401的内部。这是因为，与零散地配置到区域内相比，通过某种程度上如块那样配置，容易在听觉上分离各据点的声响，并且会议的临场感增加。但是，在距离d特别小的情况下，虚拟空间401的半径r也变小，所以配置各对象信号的间隔变窄，各自的分离变得非常困难。相反，在距离d特别大的情况下，半径r也变大，所以配置对象信号的位置远离受听位置405，变得难以听取。此外，配置的间隔也变大，在听觉上难以分离按照每个据点分组的区域。为了防止这样的问题，设定将各对象信号均等地配置在虚拟空间401的圆周上的情况的、对象信号间的最低距离(threshold_s)和最大距离(Threshold_l)。具体而言，如式4那样决定各据点的半径r_i(步骤S124)。还通过决定的半径r_i和分配的area_site_i，决定中心点403与受听位置405的距离d_i(步骤S125)。通过这样设定阈值，能够防止难以分离声音或难以听取声音的问题。另外，这里设定了最低距离和最大距离，但在全部对象信号数很少的情况下，最大距离比最低距离更重要，也可以仅设定最大距离。另外，最低距离和最大距离的值只要一边各种各样地改变这些值一边进行仿真、决定最佳地配置各据点内的对象信号的值就可以。

[数学式4]

${\mathrm{threshold}}_l\≥r_i\×\frac{2\mathrm{\π}}{\mathrm{num}{\mathrm{Object}\_\mathrm{site}}_i}\≥{\mathrm{threshold}}_s$ …(式4)

这里，使用图7，更详细地说明对象信号的配置。图7的受听位置501与上述110、405同样表示受听位置。X轴是将图7所示的据点的描绘角二等分的轴，Y轴是与X轴正交的轴。将据点i的虚拟空间内的对象j的配置角度设为old_angle_ij。这里，在对从对象j产生的对象信号设定了Priority_i的情况下，基于它决定据点i的虚拟空间内的配置。在没有设定Priority_i等的情况下，基于据点i中的对象j的位置及声音的功率等的信息决定配置。将这样决定的对象j的位置503与据点i的虚拟空间的中心点502连结的直线与X轴所成的角度是old_angle_ij。使用该old_angle_ij、受听位置501与据点i的虚拟空间的中心点间的距离d、中心点502与对象j的位置503的距离，能够计算X轴所成的角度new_angle_ij(步骤S126)。根据这样计算出的new_angle_ij和据点i的描绘位置angle_site_i，能够如式5那样求出接收据点中的对象j的配置角度angle_ij(步骤S127)。

[数学式5]

angle_ij＝new_angle_ij+angle_site_l      …(式5)

以上，能够将对象信号分组配置以便在听觉上容易分离各据点的声响(步骤S128)。此外，在上述中，在图3、图6、图6及图7中，将虚拟空间中的各据点的区域的形状设为圆形，但并不限定于圆形，只要是在听觉上容易分离各据点的区域的配置，也可以是其他形状、例如椭圆等。进而，在图7中图示为将对象j配置在圆周上，但当然也可以配置在虚拟空间内部。

接着，使用图8说明各据点的各对象信号的描绘处理。在图8中，扬声器A901和扬声器B902分别是立体声扬声器。受听位置905对应于受听位置110等，表示接收据点的听讲者的一人、或听讲者的中心位置、或据点的会议室的中心、或据点中的能够受听的某一点。如图8所示，线段904是通过受听位置905、将扬声器A901和扬声器B902间二等分的二等分线。θ₀表示线段904与扬声器A901之间的夹角。θ₀由扬声器A901及扬声器B902的位置和朝向决定。

这里，对使用扬声器A901和扬声器B902向图8所示那样的方向虚拟地形成声响信号源903的方法进行说明。在图8那样的情况下，在扬声器B侧，声响信号的角度θ是正值，在扬声器A侧θ是负值。θ根据受听位置905和想要配置如上述那样求出的各对象信号的声响信号源903的位置来计算。设X(n)为来自声响信号源903的信号，A(n)、B(n)分别为来自扬声器A901、扬声器B902的声响信号。通过调节扬声器A901和扬声器B902的实质的能量，能够用如图8所示的立体声扬声器系统模拟声响信号源903的声响空间。另外，具体而言扬声器A901和扬声器B902的能量的调节满足以下的式6而进行。

[数学式6]

$\left\{\begin{array}{c}A\left(n\right)=\mathrm{aX}\left(n\right)\\ B\left(n\right)=\mathrm{bX}\left(n\right)\end{array}\right.,a^2+b^2=1$ …(式6)

这里，参数a、b例如在θ＝θ₀的情况下，由于声响信号源903与扬声器B902的方向相同，所以为a＝0，b＝1。同样，在θ＝-θ₀的情况下为a＝1，b＝0，在θ＝0的情况下为

[数学式7]

$a=b=\frac{1}{\sqrt{2}}$

如果一般化，则参数a、b使用θ和θ₀如式7那样表示(参照非专利文献1)。

[数学式8]

$\frac{a}{b}=\frac{\sin {\mathrm{\θ}}_0-\sin \mathrm{\θ}}{\sin {\mathrm{\θ}}_0+\sin \mathrm{\θ}}$ …(式7)

能够在接收据点形成与通过这样的方法发送来的对象信号对应的虚拟的音源。

接着，利用图9说明接收据点的声响系统是5.1ch的系统的情况下的描绘处理例。如利用图7说明那样，能够根据接收据点以外的全部据点的全部对象信号的配置信息，生成描绘矩阵。1001～1005分别表示接收据点的前左扬声器L、前中央扬声器C、前右扬声器R、后左扬声器Ls、后右扬声器Rs。前后方向的中心线1007是通过前中央扬声器C1002和受听位置1008的线，左右方向的中心线1006表示与前后方向的中心线1007正交的线。在这样的5.1ch的系统中，各对象信号按照以下的步骤被描绘。

步骤1：判断用来进行各对象信号的描绘的扬声器。

以使各对象信号与左右方向的中心线1006所成的角度成为通过上述方法求出的angle_ij的方式配置为虚拟地形成的声响信号源。从受听位置1008到各声响信号源的距离在设定有Priority_i的情况下基于此决定并配置，在没有设定等的情况下基于位置关系等决定并配置。在扬声器1001～1005中的相邻的任意两个扬声器与受听位置1008所成的角度所夹的锐角的区域内配置的各声响信号源通过该两个扬声器被虚拟地形成。图9是在平面上表示以受听位置1008为中心将5个扬声器在空间上设置的图。1006的箭头表示的方向是0°，扬声器1001～1005分别是120°、90°、60°、210°、330°。因而，由扬声器Rs1005、扬声器R1003夹着的声响信号源是对应的对象信号的描绘角度angle_ij用式8表示的。

[数学式9]

-30°≤angle_ij≤60°(0°≤angle_ij≤60°∨330°≤angle_ij≤360°)…(式8)

在其他相邻的两个扬声器中也同样。例如，在对应于声响信号源的对象信号的angle_ij是10°的情况下，当描绘时选择扬声器Rs1005、扬声器R1003。

步骤2：计算各对象信号的描绘系数。

利用图8，按照上述方法，通过在步骤1中选择的两个扬声器虚拟地形成声响信号源。例如，在与想要形成的声响信号源对应的对象信号的angle_ij是10°的情况下，扬声器R1003对应于图8的扬声器A901，扬声器Rs1005对应于扬声器B902。将描绘系数使用式2、作为1003与1005所成的角的一半的45°(＝θ₀)、angle_ij(＝θ)计算。另外，所谓描绘系数是指式6的a、b，分别对应于扬声器R1003、扬声器Rs1005的描绘系数。此外，其他扬声器的描绘系数设定为0。即，如果将扬声器1001～1005的描绘系数的矩阵记为[L，C，R，Ls，Rs]，则对于angle_ij为10°的对象信号的描绘系数的矩阵为[0，0，a，0，b](≈[0，0，0.518，0，0.855])。

这样，能够使用5.1ch的再现系统，在受听空间中虚拟地形成各对象信号的声响信号源。另外，上述再现系统并不限定于5.1ch，也可以是7.1ch等的多声道再现系统，也可以是使用2ch的再现系统结合头部传递函数(HRTF：Head Realated Transfer Function)得到的虚拟声响空间。

如果如以上这样使用控制描绘的对象编码技术，则能够自由地控制接收据点侧的声响信号的空间配置。进而，通过本发明，能够进行将重要讲话者在声响空间上较大地配置、在听感上也表现是重要的空间配置等。这样实现匹配于对象信号间的关系等、会议系统参加据点的状况的配置，能够得到使会议中的临场感进一步提高的有益的效果。

(实施方式2)

与实施方式1同样，本实施方式的会议系统也具有如图1的结构。关于结构的详细情况如上所述，所以对Priority_i的其他设定方法和描绘部807中的其他描绘方法进行说明。

将表示各据点或各对象信号的优先级的Priority_i也可以通过对多据点连接装置805发送请求等来取得。在发送据点中，只不过是仅发送编码后的信息，各据点的优先级及各对象信号整体的优先级是未知的。当在多据点连接装置805中从全部据点接受到编码信息时，进行优先级的判断及决定。该决定例如通过测量各据点的活动度来进行。该活动度设定为，使得每一定时间(例如1小时)发送更多次数的编码信息的据点更高。由此，对于每一定时间中信息的发送次数较少的据点，判断为沉默的情况较多，将活动度设定得较低，并按照设定的活动度的高低，决定各据点或各对象信号的优先级的高低。通过进行这样的设定，能够在该瞬间对于对会议重要的据点及对象信号提高优先级而进行处理，能够进行效率良好的描绘处理。另外，在上述说明中，计算活动度来决定对象信号的优先级的高低、控制描绘装置的时间间隔并不限定于1小时，也可以是30分钟单位、也可以是两小时单位，可以是任意设定的时间单位。此外，在上述中设为多据点连接装置805测量各据点的活动度，但本发明并不限定于此。例如也可以是各据点的各对象解码部806按每个据点测量每单位时间接收到编码信息的编码信息编码位数(＝代码长度)，将其作为活动度来决定各据点的优先级的高低。

但是，这并不否定不取得优先级、或不按照所取得的优先级、而由据点的解码装置设定优先级而进行描绘。在不经由MCU的会议系统的情况下、或在想要在据点侧决定优先级时等，也可以根据状况而使用图1的用户信息(User Information)设定描绘的配置。这样通过在据点侧判断并设定优先级，能够进行符合受听者的偏好的描绘。

接着，对描绘部807的其他描绘方法进行说明。如上述那样使用作为对象信号的总数的numObject_site_i，能够计算各据点的描绘角area_site_i。这里，如式9所示，也可以不是总数，而是在各据点中使用有效的对象数active_numObject_site_i计算。这是因为有可能有如下情况等，即：在某个据点中虽然参加者数很多，但该参加者中的一人或两人的少数人的参加者的声音较重要，其他参加者基本上是听众，其声音与会议无关。在这样的情况下，如果根据对象信号的总数计算该据点的描绘角，则会因为不怎么需要发送的对象信号而在接收据点中对该据点分配较大的虚拟空间。所以，通过如式9那样使用有效的对象信号数计算描绘角，在接收据点能够将重要的对象信号高效率地在声响上配置，能够实现自然而有意义的会议系统。另外，在接收据点中为了实现更舒适而有临场感的虚拟会议环境，active_numObject_site_i的值不是一定的，也可以基于对象信号的功率的变化等而动态地变化。

[数学式10]

${\mathrm{area}\_\mathrm{site}}_i=\frac{2\mathrm{\π}}{\underset{j=1}{\overset{\mathrm{numSite}}{\mathrm{\Σ}}}\mathrm{active}\_\mathrm{num}{\mathrm{Object}\_\mathrm{site}}_j}\×{\mathrm{active}\_\mathrm{numObject}\_\mathrm{site}}_i$

…(式9)

这样，既可以按照numObject_site_i和active_numObject_site_i的值决定据点的描绘角，也可以在对各据点设定了Priority_i的情况下通过式10决定。另外，这里，假设Priority_i的值越大则表示越高的优先级。推荐的优先级等级是1到3，以使位数不会过多。3表示最高的优先级，1表示最低的优先级。

[数学式11]

${\mathrm{area}\_\mathrm{site}}_i=\frac{2\mathrm{\π}}{\underset{j=1}{\overset{\mathrm{numSite}}{\mathrm{\Σ}}}{\mathrm{priority}}_j}\×{\mathrm{priority}}_i$ …(式10)

接收据点的受听者或系统管理者等为了计算各据点的描绘角而选择式9使用numObject_site_i和active_numObject_site_i、或式10使用Priority_i。该选择通过作为图1的用户信息输入到描绘部807中来进行。

接着，利用图5，对基于优先级决定据点的描绘位置angle_site_i的方法进行说明。所谓基于优先级的配置，是将优先级更高的据点的被分组的对象信号配置到更容易听到对象信号的位置上。首先，将据点重新排列，以使每当索引i增加则优先级降低。接着，将初始值设定在最容易听到的位置上，使用式11、式12配置全部的据点。

[数学式12]

${\mathrm{angle}\_\mathrm{site}}_i={\mathrm{angle}\_\mathrm{site}}_{i-2}+(-1)\×i\×(\frac{1}{2}{\mathrm{area}\_\mathrm{site}}_{i-2}+\frac{1}{2}{\mathrm{area}\_\mathrm{site}}_i),(2\≤i\≤\mathrm{numSite}),$

…(式11)

[数学式13]

angle_site₀＝initial_angle，area_site₀＝area_site₁.angle_site₁＝initial_angle.

…(式12)

在图5中，将据点重新排列，以使得从据点1开始、每当索引增加，则优先级降低。接着，在最容易听到的位置是正面的情况下，将initial_angle设为90度。通过式12，angle_site_i为90度，优先级最高的据点1配置到正面。将第2高的据点2配置到据点1的描绘区域的左侧。将第3高的据点3配置在右侧。以下，将优先级第偶数个高的据点配置到左侧、将第奇数个高的据点配置到右侧。通过这样配置，优先级越高的据点的声响能够配置到对于参加者而言越容易听到的位置上。另外，使第偶数个高的为左、奇数为右，但当然并不限定于此，只要能够以优先级顺序配置到容易听到的位置上，其他方法也可以。

此外，将据点的被分组的对象信号如在实施方式1中用图6说明那样配置。在上述中如式4那样决定了作为对象信号间的最低距离的阈值(threshold_s)和最大距离(threshold_l)，但也可以决定受听位置405与虚拟空间的中心点403的距离d_i的阈值。由此，与上述同样，能够防止难以分离声音或难以听到声音的问题。

接着，使用图10对各据点的各对象信号配置进行说明。图10是表示接收据点以外的据点的全部对象信号配置例的图。如图10所示，也可以不论各据点中的各对象的相对的位置关系如何，都将对象信号在据点的描绘角表示的区域内配置在以受听位置610为中心的虚拟空间609上。例如，据点B的对象信号601～604不论据点B中的相对位置如何，都在据点B的描绘角表示的区域内配置在虚拟空间609上，如605～608。通过这样配置为圆形状，从受听位置到虚拟的对象信号源的距离相同，能够没有优劣地听取。

该虚拟空间609并不限于圆形状，也可以是正方形、长方形、三角形、六边形等别的几何形状。此外，也可以将其形状决定为：配置成根据各个对象的优先级，距受听位置610的距离变化。此外，如果配置为几何学形状，则按照优先级将重要的对象信号配置在更接近于受听位置的位置上，从而能够进行高效率的描绘。

当然，不论是怎样的形状，对象信号都被分组到各据点的描绘区域中而配置，所以容易分离各据点的声响。另外，如上所述，也可以在接收据点侧设定优先级，所以也能够配合受听者的偏好，通过坐标变换等将参数优化而使全部据点的位置移动。通过这样导入据点或对象信号的优先级信息Priority_i、各据点的对象信号数numObject_site_i，本实施方式能够自动地进行对象信号的描绘。

以上，如在实施方式1及实施方式2中说明那样，根据本发明，在多据点连接时，也可以进行描绘以保持各发送据点的对象信号的相对的位置。此外，通过将各据点的对象信号配置到区域内的某个一定的范围内，能够容易地在听觉上分离各据点的声响。进而，根据优先级或对象数控制对象的描绘角度或描绘距离，从而能够基于优先级按顺序描绘，以容易听取优先级较高的各据点或各对象信号。这样，根据本发明，能够提高会议中的声音清晰度。

(实施方式3)

描绘部807除了如图3所示那样将从参加的各据点发送来的对象信号虚拟地分组以外，也可以进行如图11所示的描绘。图11表示在接收据点中进行描绘以使参加的各据点的声响空间的中心位置一致。该中心位置是各据点的会议室的中心或麦克风等的收音设备的位置等。如果像这样在接收据点中使各据点的中心位置一致而进行描绘，则能够表现如将各据点的声响空间重叠在接收侧的虚拟声响空间中的状态。

例如，在某个据点A是宽大的会议室、据点B是狭小的会议室的情况下，在接收据点中从据点A发送的声响信号所形成的虚拟声响空间被描绘成宽大的范围，据点B的声响信号所形成的虚拟声响空间被描绘成狭小的范围，能够在接收据点侧感受到据点的大小及声响空间的状态。根据这样的结构，在接收据点中能够相对地再现参加的各据点的声响空间的大小，获得会议的临场感提高的效果。

(实施方式4)

图12是表示实施方式4的对象编码信息的数据结构的图。如该图所示，在对象编码信息1200中，包括缩混(down mix)信息1201、和用来使用该缩混信息1201将各个对象信号解码的对象信息1202、1203。在各个对象信息1202、1203中包含对象信号间的增益比信息(OLD)及相位差信息(IOC)。例如，用各对象信号相对于缩混信息1201的比表示该增益比信息。此外，在缩混信息1201中包含表示缩混信息的增益的全局增益信息1204。在将该对象编码信息1200用对象解码部解码时，也可以使用包含在缩混信息1201中的全局增益信息1204和上述对象信号的增益比信息(OLD)1205、1206判断优先级。通常这些增益信息并不表示优先级，但缩混信息的增益较大、或者隐含表示使用上述缩混信息和对象信息来解码的对象信号的增益的大小的、包含在对象信息中的增益比的值与包含在上述缩混信息中的增益信息的乘积较大，这表示它们在声响上较大，声响信号较大有可能相应地优先级较高、在增益信息与优先级之间有某种程度的相关关系。所以，鉴于该相关关系，也可以将缩混信息1201的全局增益信息1204解释为表示该据点的代表性的优先级，将包含在各对象信息1202、1203中的增益比信息(OLD)1205、1206分别解释为表示各对象信号的优先级。通过这样，由解码装置或MCU计算“(缩混信息的增益)*(对象信号间的增益比)”的值，能够按照该值的顺序计算所有的对象信号的优先级。基于这样计算出的优先级，在本实施方式的描绘部807中能够按照优先级将各对象自动地描绘到虚拟空间中。

像这样，在本实施方式的描绘部807中，由于利用按照每个对象分离了各对象信号的增益比的对象编码信息1200的构造来决定优先级，所以能够削减用来计算优先级的负荷，能够减轻解码装置的解码负荷。进而，在解码装置的运算性能较低的情况下，对于按照上述方法决定的优先级中的、判断为优先级比规定值低的对象信号，不对编码信息进行解码，从而能够进一步降低描绘部807的处理负荷。另外，其中规定值是根据解码装置的运算性能决定的值。

另外，在按照缩混信息的全局增益信息和对象信号间的增益比信息来决定优先级的上述方法中，如果按照每帧依次控制描绘，则对象信号及据点的优先级频繁地变化，进而通过上述描绘方法配置的对象再现区域频繁地变化，因此有听取感受变差的情况。因此，在这样的情况下，优选的是，在多个帧上将全局增益信息及增益比信息平滑化、平均化，并按照该平均值进行描绘的控制，从而防止急剧的优先级变化(描绘的再现区域的变化)。

另外，在将对象描绘到自动地描绘对象信号的区域的边界附近时，在该对象的音量变大的情况下，描绘边界变得模糊，所以有不能正确地体现本发明的效果的情况。由于描绘边界的清晰度与描绘在边界附近的对象的音量有相关关系，所以为了使描绘边界变得明确而减小边界面附近的对象信号的音量。

(其他变形例)

另外，将本发明基于上述实施方式进行了说明，但本发明当然并不限定于上述实施方式。以下这样的情况也包含在本发明中。

(1)上述各装置具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在上述RAM或硬盘单元中存储有计算机系统。在上述RAM或硬盘单元中存储有计算机程序。通过上述微处理器按照上述计算机程序动作，各装置实现其功能。这里，计算机程序是为了实现规定的功能而将表示对计算机发出的指令的命令代码组合多个而构成的。

(2)构成上述各装置的结构要素的一部分或全部也可以由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个结构部集成在一个芯片上制造的超多功能LSI，具体而言是包括微处理器、ROM、RAM等而构成的计算机系统。在上述RAM中存储有计算机程序。通过上述微处理器按照上述计算机程序动作，系统LSI实现其功能。

(3)构成上述各装置的结构要素的一部分或全部也可以由相对于各装置可拆装的IC卡或单体的模块构成。上述IC卡或上述模块是由微处理器、ROM、RAM等构成的计算机系统。上述IC卡或上述模块也可以包括上述超多功能LSI。通过微处理器按照计算机程序动作，上述IC卡或上述模块实现其功能。该IC卡或该模块也可以具有防篡改性。

(4)本发明也可以是上述所示的方法。此外，本发明也可以是通过计算机实现这些方法的计算机程序，也可以是由上述计算机程序构成的数字信号。

此外，本发明也可以是将上述计算机程序或上述数字信号记录到计算机可读取的记录介质中的产品。计算机可读取的记录介质例如是软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc)、半导体存储器等。此外，本发明也可以是记录在这些记录介质中的上述数字信号。

此外，本发明也可以是将上述计算机程序或上述数字信号经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数字广播等传送的系统。

此外，本发明也可以是具备微处理器和存储器的计算机系统，上述存储器存储有上述计算机程序，上述微处理器按照上述计算机程序动作。

此外，也可以通过上述上述程序或上述数字信号记录在上述记录介质中移送，或通过将上述程序或上述数字信号经由上述网络等移送，来由独立的其他计算机系统实施。

(5)也可以将上述实施方式及上述变形例分别组合。

工业实用性

本发明在经由通信路径连接多个据点、并将各据点进行对象编码的多据点会议系统中具有实用性。

标号说明

101、102、103、104(在据点B发生的)对象信号

105、106、107、108接收据点D中的据点B的虚拟空间上的对象信号

109、609接收据点D中的据点B的虚拟空间

110、405(接收据点D的)受听位置

401(据点A的)虚拟空间

403(401的)中心点

404402的中心点

406、407(接收据点D中的夹着据点A的虚拟空间的)箭头

501受听位置

502(虚拟空间的)中心点

503(对象j的虚拟空间上的)位置

601、602、603、604据点B的对象信号

605、606、607、608接收据点D中的据点B的虚拟空间上的对象信号

609(接收据点D中的)虚拟空间

610(接收据点D的)受听位置

801收音部

802据点A的会议室

803分离部

804对象编码部

805多据点连接装置

806对象解码部

807描绘部

808据点D的会议室

809从据点A发送的对象编码信息A

810从据点B发送的对象编码信息B

811从据点C发送的对象编码信息C

812合成对象编码信息

901扬声器A

902扬声器B

903配置位置

904线段

905受听位置

1001前左扬声器L

1002前中央扬声器C

1003前右扬声器R

1004后左扬声器Ls

1005后右扬声器Rs

1006左右方向的中心线

1007前后方向的中心线

1008受听位置

1101据点A的对象信号1的位置

1102据点A的对象信号2的位置

1103据点A的对象信号3的位置

1104据点A的对象信号4的位置

1105据点A的对象信号5的位置

1106据点A的中心位置

1107据点B的对象信号6的位置

1108据点B的对象信号7的位置

1109据点B的中心位置

1110据点C的对象信号1的位置

1111据点C的对象信号2的位置

1112据点C的对象信号3的位置

1113据点C的对象信号4的位置

1114据点C的对象信号5的位置

1115据点C的对象信号6的位置

1116据点C的对象信号7的位置

1117接收据点C中的据点A和据点B的中心位置

1200对象编码信息

1201缩混信息

1202、1203对象信息

1204全局增益信息

1205、1206增益比信息(OLD)

Claims (17)

1.一种解码装置，其特征在于，具备：

对象解码部，接收多个被对象编码的声响编码信息，通过将接收到的上述声响编码信息进行对象解码，从一个上述声响编码信息生成合成了一个以上的对象信号的一个声响信号；以及

描绘部，将分别与包含在所生成的上述声响信号中的一个以上的上述对象信号对应的虚拟音源的位置，配置在按每一个上述声响信号预先设定的受听空间中；

在上述声响编码信息中，叠加有表示对上述声响信号的优先级的高低的优先级信息，上述描绘部根据上述优先级信息表示的优先级的高低，决定在上述受听空间中对上述声响信号分配的区域的大小，并将包含在上述声响信号中的各个上述对象信号的上述虚拟音源配置在对上述声响信号分配的上述区域内。

2.如权利要求1所述的解码装置，其特征在于，

一个以上的上述对象信号分别与上述声响编码信息被对象编码的声响空间中的一个音源对应；

上述声响信号是将在上述声响空间中发生的一个以上的对象信号合成而得到的信号。

3.如权利要求2所述的解码装置，其特征在于，

上述描绘部决定上述区域的大小，以使对上述声响信号的优先级越高，上述区域的大小越大。

4.如权利要求3所述的解码装置，其特征在于，

上述优先级信息是表示对象编码中的缩混信息的增益的全局增益信息，上述优先级的高低与上述增益成比例。

5.如权利要求4所述的解码装置，其特征在于，

在上述声响编码信息中包含增益比信息，该增益比信息表示各个上述对象信号相对于缩混信息的增益比；

上述对象解码部按每个对象信号计算上述全局增益信息的值与上述增益比信息的值的乘积，并将计算出的值作为每个上述对象信号的第二优先级信息。

6.如权利要求5所述的解码装置，其特征在于，

上述对象解码部在上述声响信号中仅对由上述第二优先级信息表示的优先级是预先设定的位次以上的对象信号进行解码，对优先级比上述位次低的对象信号不进行解码。

7.如权利要求5所述的解码装置，其特征在于，

上述对象解码部在上述声响信号中仅对由上述第二优先级信息表示的优先级是预先设定的位次以上的对象信号确认优先级的高低，对于上述优先级比上述位次低的对象信号看作是比上述位次低的相同的优先级。

8.如权利要求3所述的解码装置，其特征在于，

在各个上述声响编码信息中包含用来确定上述声响空间的识别信息；

上述对象解码部按每个上述识别信息测量每单位时间接收到上述声响编码信息的声响编码信息的代码长度，将测量的每单位时间的声响编码信息的代码长度作为由上述识别信息确定的上述声响空间的活动度，根据上述优先级信息和上述活动度，决定每个上述声响空间的声响信号的优先级的高低；

上述描绘部决定上述区域的大小，以使按每个上述识别信息决定的优先级越高，对来自由上述识别信息确定的声响空间的上述声响信号分配的区域越大。

9.如权利要求3所述的解码装置，其特征在于，

上述对象解码部决定每个上述声响空间的声响信号的优先级的高低，以使其与包含在上述声响信号中的上述对象信号的数量成比例。

10.如权利要求3所述的解码装置，其特征在于，

上述描绘部进行配置，以使各个上述声响信号的上述优先级信息表示的优先级越高，对该声响信号分配的上述区域越接近于上述受听位置的预先设定的正面方向。

11.如权利要求3所述的解码装置，其特征在于，

在各个上述声响编码信息中叠加有表示上述声响空间彼此的相对的位置关系的信息，上述描绘部按照表示上述位置关系的上述信息，将上述声响信号配置在预先设定的上述受听位置的周围。

12.如权利要求5所述的解码装置，其特征在于，

上述描绘部决定各个上述对象信号的配置，以使对上述对象信号的上述第二优先级信息表示的优先级越高，该对象信号处于越接近于上述受听位置的位置。

13.如权利要求1所述的解码装置，其特征在于，

在各个上述声响编码信息中包含有相对位置信息，该相对位置信息表示上述声响空间中的、各个对象信号的音源相对于预先设定的基准位置的相对位置，上述描绘部将对各个上述声响信号分配的上述区域的预先设定的位置作为上述基准位置，根据由上述声音环境信息表示的上述相对位置，计算上述各个对象信号的上述受听空间中的上述虚拟音源的位置，并在计算出的上述位置上配置上述对象信号的上述虚拟音源。

14.如权利要求2所述的解码装置，其特征在于，

一个以上的上述对象信号分别与上述声响空间中的一个讲话者的声音对应。

15.一种编解码装置，其特征在于，具备：

收音部，接收作为一个以上的对象信号的集合的声响信号；

分离部，将接收到的上述声响信号分离为各个上述对象信号；

对象编码部，将分离的上述对象信号进行对象编码而生成声响编码信息，在生成的上述声响编码信息上叠加表示对各个上述声响信号的优先级的高低的优先级信息以及包含在上述声响信号中的上述对象信号的数量；

对象解码部，从多个其他装置接收上述声响编码信息，通过将接收到的各个上述声响编码信息进行对象解码，从一个上述声响编码信息生成合成了一个以上的对象信号的一个声响信号；以及

描绘部，将上述对象解码部生成的一个以上的上述对象信号的各自的虚拟音源的位置配置在按每一个上述声响信号预先设定的受听空间中；

上述描绘部根据上述优先级信息表示的优先级的高低，决定在上述受听空间中对上述声响信号分配的区域的大小，并将包含在上述声响信号中的各个上述对象信号的上述虚拟音源配置在对上述声响信号分配的上述区域内。

16.一种解码方法，其特征在于，

接收多个被对象编码的声响编码信息，通过将接收到的上述声响编码信息进行对象解码，从一个上述声响编码信息生成合成了一个以上的对象信号的一个声响信号；

取得叠加在上述声响编码信息中的表示对上述声响信号的优先级的高低的优先级信息；

根据上述优先级信息表示的优先级的高低，决定在预先设定的受听空间中对各个上述声响信号分配的区域的大小；

将分别与包含在上述声响信号中的上述对象信号对应的上述虚拟音源的位置配置在按每个上述声响信号分配的上述区域内。

17.一种集成电路，其特征在于，具备：

对象解码部，接收多个被对象编码的声响编码信息，通过将接收到的上述声响编码信息进行对象解码，从一个上述声响编码信息生成合成了一个以上的对象信号的一个声响信号；以及

描绘部，将与包含在所生成的上述声响信号中的一个以上的上述对象信号分别对应的虚拟音源的位置配置在按每一个上述声响信号预先设定的受听空间中；

在上述声响编码信息中，叠加有表示对上述声响信号的优先级的高低的优先级信息，上述描绘部根据上述优先级信息表示的优先级的高低，决定在上述受听空间中对上述声响信号分配的区域的大小，并将包含在上述声响信号中的各个上述对象信号的上述虚拟音源配置在对上述声响信号分配的上述区域内。

Images