CN101361124B - 声音处理装置和声音处理方法 - Google Patents

Abstract

在图1中，在声音处理装置(16)的输入部(18)中，用户从存储在存储装置(12)中的音乐数据中选择想要同时再现的多个音乐数据。再现装置(14)在控制部(20)的控制下分别再现被选择的音乐数据，生成多个声音信号。声音处理部(24)在控制部(20)的控制下，对各声音信号进行频带的分配、频率分量的抽取、时分处理、周期性的调制、加工、定位的分配，附加声音信号的区分信息和关于强调程度的信息。下混频器(26)将多个声音信号混合，作为具有预定声道数的声音信号进行输出，输出装置(30)将其作为音响进行输出。

Description

声音处理装置和声音处理方法

技术领域

本发明涉及处理声音信号的技术，特别涉及混合多个声音信号进行输出的声音处理装置和其所适用的声音处理方法。

背景技术

随着近年来信息处理技术的发展，已能够通过记录介质、网络或广播波等容易地获取非常多的信息内容(contents)。例如音乐信息内容，一般除购买记录有它的CD(Compact Disk)等记录介质外还能通过网络从音乐发布网站下载。再加上用户自己录像、录音的数据，保存在PC或再现装置、记录介质中的信息内容不断增多。因此，就需要从这样的庞大数量的信息内容中容易地搜索出所需要的一个信息内容的技术。作为这样的技术之一，有缩略图显示。

缩略图显示是将多个静止图像或动图像作成尺寸较小的静止图像或动图像，并一览地排列于显示器上进行显示的技术。通过缩略图显示，例如当保存有多个用照相机或录像装置拍摄并保存、或者下载的图像数据，而又难以明白它们的文件名、录像日期时间等属性信息时，能够一眼就掌握其内容，正确地选择所需要的数据。另外，通过一览显示多个图像数据，能够一下子观赏到所有数据，在短时间内掌握保存它们的记录介质等所拥有的内容。

发明内容

〔发明所要解决的课题〕

缩略图显示是将多个信息内容的一部分并排地、视觉地提供给用户的技术。因此，对于无法视觉地排列的音乐等声音数据，没有唱片封套(albumjacket)等附加图像数据的中介，当然就不能利用缩略图显示了。但个人所拥有的音乐信息内容等声音数据的数量是一直增加的，对于在例如用标题、得到的日期时间、附加图像数据等手段无法判断的情况下，也能够容易地选择所需要的声音数据、或者一下子进行欣赏的需求是同图像数据的情况一样的。

本发明是鉴于这样的课题而设计的，其目的在于提供一种使用户听觉上区分地同时听到多个声音数据的技术。

〔用于解决课题的手段〕

本发明的一个方案涉及声音处理装置。该声音处理装置是同时再现多个声音信号的声音处理装置，包括：声音处理部，对各输入声音信号施加预定的处理，使得用户在听感上能区分地听到；输出部，将被施加了处理的上述多个输入声音信号混合，作为具有预定声道数的输出声音信号进行输出；其中，声音处理部具有频分滤波器，对多个输入声音信号的每一个分配从按照预定规则划分频带而得到的多个块中选择的块，并从各输入声音信号抽取出属于所分配的块的频率分量，频分滤波器对多个输入声音信号的至少任一者分配不连续的多个块。

本发明的另一方案涉及一种声音处理方法。该声音处理方法包括：对多个输入声音信号的每一个分配彼此不相掩蔽的频带的步骤；从各输入声音信号抽取出属于所分配的频带的频率分量的步骤；以及将由从各输入声音信号抽取出的频率分量构成的多个声音信号混合，作为具有预定声道数的输出声音信号进行输出的步骤。

另外，将以上结构要件的任意组合、本发明的表现方式在方法、装置、系统、计算机程序等之间转换的方案，作为本发明的实施方式也是有效的。

〔发明效果〕

通过本发明，能够听觉上相区别地同时听多个声音数据。

附图说明

图1是表示本实施方式中的包含声音处理装置的声音处理系统的整体构造的图。

图2是用于说明本实施方式中的声音信号的频分处理的图。

图3是用于说明本实施方式中的声音信号的时分处理的图。

图4是详细表示本实施方式中的声音处理部的结构的图。

图5是表示在本实施方式中显示在声音处理装置的输入部中的画面的例子的图。

图6是示意性地表示本实施方式中的块分配方案的模式的图。

图7是表示在本实施方式中存储在存储部中的音乐数据的信息的一例的图。

图8是表示在本实施方式中存储在存储部中的使关注值与各滤波器的设定建立对应关系的表的例子的图。

图9是表示本实施方式中的声音处理装置的动作的流程图。

〔标号说明〕

10...声音处理系统，12...存储装置，14...再现装置，16...声音处理装置，18...输入部，20...控制部，22...存储部，24...声音处理部，26...下混频器(down-mixer)，30...输出装置，40...前处理部，42...频分滤波器，44...时分滤波器，46...调制滤波器，48...加工滤波器，50...定位设定滤波器。

具体实施方式

图1表示本实施方式中的包含声音处理装置的声音处理系统的整体构造。本实施方式中的声音处理系统同时再现用户保存在硬盘等存储装置或记录介质中的多个声音数据，在对所得到的多个声音信号施加滤波器处理后将之混合，作为具有所希望的声道数的输出声音信号，从立体声音响或耳机等输出装置输出。

仅简单混合多个声音信号进行输出的话，其会出现互相抵消、或者仅能明显地听到一个声音信号的情况，难以象图像数据的缩略图显示那样独立地识别它们。因此，本实施方式中的声音处理装置提供一种在人用于识别声音的机理中的听觉消除系统即内耳级，将各个声音信号相对地区分，并在听觉中枢系统即脑级独立地进行识别的手段，进行多个声音信号的听觉上的区分。该处理就是上述的滤波器处理。

进而，本实施方式的声音处理装置就如在图像数据的缩略图显示中使用户观看一个缩略图像那样，将成为用户所注意的对象的声音数据的信号在混合后的输出声音信号中强调。另外，还如用户在图像数据的缩略图显示中偏移视点那样，使多个声音信号各自所强调的程度多阶段或者连续地变化地来输出。这里所谓“强调的程度”，是指多个声音信号的“易听度”，即听觉上容易识别的程度的意思。例如当强调的程度比其他的大时，该声音信号可能就是比其他声音信号听起来鲜明、大、或者近的声音。强调的程度是综合考虑那样的人的感知的主观参数。

在使强调的程度改变时，若仅简单地进行音量调节，则很可能出现下述结果，即，想强调的声音数据的信号被其他声音信号掩盖而听不到，不能充分得到强调的效果，或者不进行强调的声音数据的声音变得听不到，从而也就失去了同时进行再现的意义。这是由于人的听觉上的易听度除音量外还跟频率特性等密切相关。因此，调整上述滤波器处理的内容，使得用户本身能够充分识别其所要求的强调程度的变化。以上所述的滤波器处理的原理及具体的处理内容将在后面详细描述。

在以下说明中，假定声音数据是音乐数据来进行说明，但并不限于此，如相声、会议等中的人声、环境音、广播波中所包含的声音等，只要是声音信号的数据即可，也可以是它们混合在一起的声音。

声音处理系统10包括：存储装置12，用于存储多个音乐数据；声音处理装置16，施加处理使得分别再现多个音乐数据而生成的多个声音信号能够区分地听到，并使之反映出用户所要求的强调程度地进行混合；输出装置30，将混合后的声音信号作为音响进行输出。

声音处理系统10是将个人计算机、便携式播放器等音乐再现设备一体构成、或者通过本地连接而构成的。此时，存储装置12可以使用硬盘或闪存，声音处理装置16可以使用处理器单元，输出装置30可以使用内置扬声器或连接在外部的扬声器、耳机等。或者也可以用经由网络与声音处理装置16相连接的服务器内的硬盘等来构成存储装置12。另外，存储装置12所存储的音乐数据可以是用MP3等一般的编码方式编码后的数据。

声音处理装置16包括：输入部18，用于输入要再现的音乐数据的选择以及强调的用户的指示；多个再现装置14，分别再现用户所选择的多个音乐数据，将其作为多个声音信号；声音处理部24，为使用户识别声音信号的区别和强调，对多个声音信号的每一个施加预定的滤波器处理；下混频器26，混合被施加滤波器处理后的多个声音信号，生成具有所希望的声道数的输出信号；控制部20，根据来自用户的关于再现及强调的选择指示，控制再现装置14和声音处理部24的动作；存储部22，存储控制部20进行控制时所需要的表、即预先设定的参数，以及存储装置12中所存储的各个音乐数据的信息。

输入部18提供用于输入指示的接口，该指示是用于从存储装置12所存储的音乐数据中选择所需要的多个音乐数据，或者改变正进行再现的多个音乐数据中的要强调的对象的指示。输入部18例如由显示装置和指示设备构成。所述显示装置是从存储部22中读出象征选择对象的音乐数据的图标等信息进行一览显示，并显示光标的装置；所述指示设备是使该光标移动，选择画面上的点的装置。除此之外，还可以是键盘、跟踪球(trackball)、按钮、触摸屏等一般的输入装置、显示装置、或者它们的组合。

另外，在后面的说明中，假定存储在存储装置12中的音乐数据分别为一个曲子的数据，并且是进行曲单位的指示输入和处理，但一个音乐数据是音乐集(album)等多个曲子的集合时也是一样的。

控制部20在用户对输入部18进行了要再现的音乐数据的选择输入时，将该信息发送给再现装置14，并从存储部22取得所需要的参数，对声音处理部24进行初始设定，使得对要再现的各个音乐数据的声音信号分别进行适当的处理。进而，当有要强调的音乐数据的选择输入时，通过改变声音处理部24的设定来使该输入反映出来。设定内容在后面详细描述。

再现装置14对存储装置12中所存储的音乐数据中的被选择的数据进行适当的解码，生成声音信号。在图1中，假定可同时再现的音乐数据是四个，表示了四个再现装置14，但该数量不限于此。另外，当能够由多处理器(multiprocessor)等并行地进行再现处理时，再现装置14在外观上是一个，但这里是作为再现各音乐数据，生成各个声音信号的处理单元而分别表示出来的。

声音处理部24通过对与所选择的音乐数据对应的声音信号分别施加上述那样的滤波器处理，生成反映出用户所要求的强调程度的、在听觉上能够区分地识别的多个声音信号。详细情况在后面描述。

下混频器26对所输入的多个声音信号根据需要而进行各种调整后将之混合，作为非立体声(monaural)、立体声、5.1声道等预定声道数的输出信号进行输出。声道数可以是固定的，也可以是能由用户硬件地、软件地进行切换设定的结构。下混频器26可以用一般的下混频器来构成。

存储部22可以是存储器、硬盘等存储元件、存储装置，存储使表示存储装置12所存储的音乐数据的信息、强调程度的指标与声音处理部24中所设定的参数建立对应关系的表等。音乐数据的信息中可以包括与音乐数据对应的曲子的曲名、演奏者名、图标、类型(genre)等任意的一般信息，还可以包括在声音处理部24中需要的一部分参数。音乐数据的信息可以是在将该音乐数据存储到存储装置12中时读出并存储在存储部22中的，也可以是在每次使声音处理装置16进行动作时从存储装置12中读出并存储在存储部22中的。

这里，为明确在声音处理部24中进行的处理的内容，说明将同时听到的多个声音区别开听的原理。人是通过耳中的声音感知和脑中的声音解析这两个阶段来识别声音的。人为了将从不同音源同时发出的声音区别开听，只要能在该两个阶段的任一阶段或者两阶段中取得表示是不同音源的信息、即区分信息即可。例如用右耳和左耳来听不同的声音时，是在内耳级得到区分信息，从而在脑中能解析为不同的声音，进行识别的。在是一开始就混合在一起的声音的情况下，通过对音流(音脈、Auditory stream)、音色的差异等参照在生活中学习并记忆的区分信息地进行解析，而能够在脑级中进行区分。

当将多个音乐混合，从一组扬声器或耳机等来听时，本来是不能得到内耳级的区分信息的，所以如上所述要靠音流、音色的差异等在脑中识别是不同的声音，但能够这样区别开听的声音是有限的，几乎不可能适用于多种多样的音乐。因此，本发明人为了生成即使最终混合也能区分地识别的声音信号，想到如下所述那样将对内耳或脑进行影响的区分信息人工地附加到声音信号中的方法。

首先，作为在内耳级赋予区分信息的方法，说明声音信号的频分处理和声音信号的时分处理。图2是用于说明频分处理的图。图的横轴是频率，设频率f0至f8为可听频带。在该图中，表示了混合曲a和曲b这两个曲子的声音信号来听的情况，但曲数可以是任意的。在频分处理的方法中，将可听频带分成多个块，将各块分配给多个声音信号的至少任一者。然后，从各声音信号中仅抽取出属于所分配的块的频率分量。

图2中以f1、f2、...、f7频率将可听频带分成8个块。并且例如以斜线所示的那样，对曲a分配频率f1～f2、f3～f4、f5～f6、f7～f8的四个块，对曲b分配频率f0～f1、f2～f3、f4～f5、f6～f7的四个块。通过使在此成为块的边界的频率f1、f2、...、f7为例如巴克(Bark)的24临界频带的边界频率的任意者，能够更加发挥频分处理的效果。

所谓临界频带，是指具有某频带的声音即使扩展为更宽的频带宽度，对其他声音的掩蔽(masking)量也不会增加的频带。这里所谓掩蔽，是指针对某音的最小可听值因其他音的存在而上升的现象、即变得难以听到的现象，掩蔽量是该最小可听值的上升量。即，位于不同的临界频带的声音彼此很难被掩蔽。通过利用实验所判明的Bark的24个临界频带来划分频带，能够抑制例如属于频率f1～f2块的曲a的频率分量对属于频率f2～f3块的曲b的频率分量造成掩蔽等影响。对其他块也是一样，结果，曲a和曲b成为很少出现相互抵消现象的声音信号。

另外，对块的划分也可以不按照临界频带来进行。在任一种的情况下，通过减少重叠的频带，都能够利用内耳的频率分辨能力来提供区分信息。

在图2所示的例子中，各块具有相同程度的带宽，但实际上也可以使带宽因频带而变化。例如可以有以两临界频带量为一个块的频带和以四临界频带量为一个块的频带。对块的划分方法(以下称划分模式)可以考虑例如具有低频带的频率的声音难以被掩蔽等一般的声音特性地来决定，还可以考虑各曲的特征性频带地来决定。这里所谓特征性频带，是指例如主旋律所占的频带等在曲子的表现方面比较重要的频带。在预想到特征性频带会重复时，优选将该频带较细地划分、均等地分配，使得不会发生在某曲中主旋律听不到等不希望的情况。

另外，在图2所示的例子中，是对一连串的块交替地分配曲a和曲b的，但也可以将连续的两个块分配给曲a等，分配方案不限于此。在该情况下，优选采用如下分配方案，即例如当某曲的特征性频带跨占连续的两个块时，将该两个块分配给该曲等，使得进行频分处理所带来的不好的影响在曲子的重要部分被抑制到最低限。

另一方面，除想要混合明显偏向高频、中频、低频的三个曲子等特殊情况外，优选块数比要混合的曲子的数目多，对一个曲子分配不连续的多个块。这也是跟上述同样的理由，防止在特征性频带重复时，某曲的特征性频带全部已被分配给其他曲子这样的情况，在更宽的频带内、且均等地进行分配，使得全部曲子都能均等地听到。

图3是用于说明声音信号的时分处理的图。在该图中，横轴表示时间，纵轴表示声音信号的振幅、即音量。在该情况下，也以混合曲a和曲b这两个曲子的声音信号来听时为例进行图示。在时分处理的方法中，按共同的周期对声音信号的振幅进行调制。然后，错开相位，使得其峰值在因曲而不同的定时(timing)表现出来。为对内耳级起到影响，此时的周期可以是数十毫秒至数百毫秒程度。

在图3中以共同的周期T对曲a、曲b的振幅进行调制。并且，在曲a的振幅达到峰值的时刻t0、t2、t4、t6，使曲b的振幅变小；在曲b的振幅达到峰值的时刻t1、t3、t5，使曲a的振幅变小。实际上，如该图所示也可以进行振幅的调制，使得振幅达到最大的时刻和达到最小的时刻具有一定程度的时间性宽度。在该情况下，能够使曲a的振幅变成最小的时间与曲b的振幅变成最大的时间相一致。在要混合三个以上的曲子时，也可以在曲a的振幅变成最小的时间设置曲b的振幅为最大的时间、曲c的振幅为最大的时间。

另一方面，也可以进行在达到峰值的时刻不具有时间性宽度的正弦波状的调制。此时，只错开相位就能使达到峰值的定时不同。在任一种情况下，都能利用内耳的时间性分辨能力赋予区分信息。

下面说明在脑级赋予区分信息的方法。在脑级赋予的区分信息，是在脑中分析声音时，识别各声音的音流的手段。在本实施方式中，导入周期性地给予声音信号特定的变化的方法、对固定地声音信号施加加工处理的方法、以及使定位变化的方法。在周期性地给予声音信号特定的变化的方法中，对要混合的全部或一部分声音信号的振幅进行调制，或者对频率特性进行调制。调制可以是在短时间内脉冲状地产生，也可以是使之历经数秒的长时间地平缓地变化。在对多个声音信号进行共同的调制时，使各声音信号的峰值的定时各自不同。

或者，可以周期性地附加“咔哒”音等噪声，或施加能由一般的音频滤波器实现的加工处理，再或者使定位左右偏移。通过组合这些调制，或因声音信号而适用不同的调制，或者错开定时，能够赋予可感觉到声音信号的音流的线索(clue)。

在对声音信号固定地施加加工处理的方法中，对要混合的全部或一部分声音信号施加能由一般的音响效果装置(effector)实现的回声(echo)、余响(reverb)、变调(pitch shift)等各种音响加工的一种或其组合。也可以固定地使频率特性与原来的声音信号不同。例如即使是用相同乐器演奏出的相同节拍(tempo)的曲子，通过对一者施加回声处理，也能容易地识别为不同的曲子。对多个声音信号施加加工处理时当然要使加工内容或加工的强度因声音信号而不同。

在使定位变化的方法中，对要混合的所有声音信号分别赋予不同的定位。由此，通过与内耳的协调合作，在脑中进行音响的空间性信息解析，从而变得易于区分声音信号。

利用上述原理，本实施方式的声音处理装置16中的声音处理部24对各个声音信号施加处理，使得能够在混合了时从听感上区分地识别。图4详细表示了声音处理部24的结构。声音处理部24包括前处理部40、频分滤波器42、时分滤波器44、调制滤波器46、加工滤波器48、定位设定滤波器50。前处理部40可以是一般的自动增益控制器等，进行增益调整使得从再现装置14输入的多个声音信号的音量大致统一。

频分滤波器42如上所述将划分可听频带而得到的块分配给各声音信号，从各个声音信号中抽取出属于所分配的块的频率分量。例如通过以按声音信号的各声道、各块而设的带通滤波器(未图示)来构成频分滤波器42，就能够进行频率分量的抽取。划分模式和对声音信号的块的分配方案(以下称作分配模式)是可以通过控制部20控制各带通滤波器等进行频带设定和有效的带通滤波器的设定而变更的。关于分配模式，在后面描述具体例子。

时分滤波器44实施上述的声音信号的时分处理的方法，按数十毫秒到数百毫秒程度的周期错开相位地对各声音信号的振幅进行时间调制。时分滤波器44例如可以通过按时间轴控制增益控制器来实现。调制滤波器46实施上述的对声音信号周期地赋予特定变化的方法，例如可以通过按时间轴控制增益控制器、均衡器、音频滤波器等来实现。加工滤波器48实施上述的、对声音信号固定地施加特殊效果(以下称作加工处理)的方法，例如可以用音响效果装置等来实现。定位设定滤波器50实施上述的使定位变化的方法，例如可以用声像电位器(Panpot)等来实现。

在本实施方式中，实现了如下技术，即在如上述那样使混合了的多个声音信号在听觉上相区分地识别的基础上，强调某声音信号地来听。因此，在频分滤波器42和其他滤波器内部，根据用户所要求的强调程度来改变处理。进而，还根据强调的程度来选择使声音信号通过的滤波器。在后者的情况下，对各滤波器中的声音信号的输出端子连接解复用器(demultiplexer)等。此时，根据来自控制部20的控制信号设定能否向后面的滤波器输入，由此能够改变后面的滤波器的选择、非选择。

下面说明改变强调的程度的具体方法。首先，针对用户选择想要强调的音乐数据的情形说明一个例子。图5表示了选择四个音乐数据并将它们的声音信号混合后输出的状态下，声音处理装置16的输入部18中所显示的画面的例子。输入画面90包括标题为“曲a”、“曲b”、“曲c”、“曲d”的正进行再现的音乐数据的图标92a、92b、92c、92d，和用于停止再现的“停止”按钮94，以及光标96。

当在正进行再现的状态下用户使光标96在输入画面90上移动时，声音处理装置16将该光标指示的图标所代表的音乐数据判断为想要强调的对象。在图5中，光标96指示着“曲b”的图标92b，所以控制部20进行动作，使得将与“曲b”的图标92b对应的音乐数据作为强调对象，并用声音处理部24对其声音信号进行强调。此时，其他三个音乐数据作为非强调对象，可以在声音处理部24中进行相同的滤波器处理。由此，用户能够同时且区分地听到四个曲子，并且仅“曲b”能特别容易地听到。

另一方面，也可以按照从光标96至图标的距离，使强调对象的音乐数据以外的音乐数据的强调程度变化。在图5的例子中，光标96所示的“曲b”的图标92b所对应的音乐数据的强调程度最高，位于距光标96所示的点相同程度近距离的“曲a”的图标92a和“曲c”的图标92c所对应的音乐数据的强调程度为中程度。离光标96所示的点最远的“曲d”的图标92d所对应的音乐数据的强调程度最低。

在该方案中，即使光标96没有指示任一个图标，也能按距所指示的点的距离来决定强调的程度。例如若使强调的程度根据距光标96的距离而连续性地变化，则能够与在缩略图显示中使视点逐渐偏移时一样，按照光标96的移动来使曲子听起来较近或听起来较远。也可以不导入光标96，而是做成根据来自用户的左右的指示输入，使图标本身在画面上移动，越是接近画面最中央的图标，其强调程度就越高等。

控制部20取得与输入部18中的光标96的移动相关的信息，根据距其所指示的点的距离等，对与各图标对应的音乐数据设定表示强调程度的指标。以下将该指标称作关注值。另外，此处所说明的关注值仅是一例，只要是能够决定强调的程度的指标，任何数值、图形都可以。例如可以与光标的位置无关地独立设定各自的关注值，也可以将整体作为1，用比例来决定。

下面说明在频分滤波器42中使强调的程度变化的方法。在图2中为说明区分地识别多个声音信号的方法，对“曲a”和“曲b”几乎均等地分配了频带的块。而另一方面，为强调某声音信号地来听、使某声音信号变得不明显，对分配块的数量设置大小。图6示意性地表示了块的分配模式。

该图表示了将可听频带分为七个块的情况。与图2一样，横轴为频率，为说明的方便，假定从低频侧的块起依次为块1、块2、...、块7。首先，着眼于被记载为“模式组A”的上面三个分配模式。各分配模式左侧所记载的数值为关注值，作为例子，表示了“1.0”、“0.5”、“0.1”的情况。此时的关注值越大强调程度就越高，设最大值为1.0，最小值为0.1。当使某声音信号的强调程度为最高时，即与其他声音信号相比最容易听到时，将关注值为1.0的分配模式适用于该声音信号。在该图的“模式组A”中，块2、块3、块5以及块6这四个块被分配给该声音信号。

这里，在使同一声音信号的强调程度稍微降低时，将分配模式变更为例如关注值为0.5的分配模式。在该图的“模式组A”中，被分配块1、块2、块3这三个块。同样地，在想要使同一声音信号的强调程度为最低时、即在可听取范围内最不显著时，将分配模式变更为关注值0.1的分配模式。在该图的“模式组A”中，被分配块1这一个块。这样，根据所要求的强调程度来使关注值变化，关注值较大时分配较多个块，关注值较小时就分配较少个块。由此，能够在内耳级提供关于强调程度的信息，能够识别强调、非强调。

如该图所示，优选对强调程度最高的关注值为1.0的声音信号，也不分配所有块。在该图中，块1、块4和块7没有被分配。这是由于若将例如块1也分配给了关注值1.0的声音信号，则有可能将仅被分配块1的关注值0.1的其他声音信号的频率分量掩蔽。在本实施方式中，优选一边区分地听多个声音信号一边对强调的程度设定高低，所以即使强调的程度较低也能听到。因此，使得被分配给强调程度最低的或者较低的声音信号的块不再分配给强调程度最高的或者较高的声音信号。

该图仅表示了关注值为0.1、0.5、1.0三个阶段的分配模式，但在以多个关注值预先设定分配模式的情况下，也可以对关注值设置阈值，将具有其以下的关注值的声音信号作为非强调对象。而且可以设定分配模式，使得不将要分配给非强调对象的声音信号的块分配给具有大于该阈值的关注值的强调对象的声音信号。强调对象、非强调对象的区别也可以基于两个阈值来进行。

以上说明是着眼于“模式组A”来进行的，但对“模式组B”、“模式组C”也是一样。这里，之所以存在“模式组A”、“模式组B”、“模式组C”这三种分配模式组，是为了使对关注值0.5、0.1等的声音信号分配的块尽可能不重复。例如在再现三个音乐数据时，对对应的三个声音信号分别适用“模式组A”、“模式组B”、“模式组C”。

即使此时所有声音信号都是关注值0.1，也以“模式组A”、“模式组B”、“模式组C”被分配不同的块，变得容易区分地听取。另外，在任何模式组中，按关注值0.1所分配的块都是在关注值1.0中没有被分配的块。其理由如上所述。

关注值为0.5时，“模式组A”、“模式组B”、“模式组C”中存在重复的块，但在两个模式组的组合中所重复的块最多也只是一个。这样，在对要混合的声音信号设定强调的程度时，对在声音信号彼此间分配的块可以允许有重复，但将重复的块的个数抑制到最小限，或者限制将要分配给强调程度低的声音信号的块分配给其他声音信号，通过这种措施，能够同时达成区分和强调。另外，即使有重复的块，也可以在频分滤波器42以外的滤波器中为弥补区分的水平而对处理进行调整。

图6所示的块的分配模式可以预先与关注值对应地存储在存储部22中。并且控制部20根据输入部18中的光标96的移动等决定各声音信号的关注值，从存储部22中读出预先分配给该声音信号的模式组中的与该关注值对应的分配模式，从而取得要分配的块。对频分滤波器42进行与该块对应地变成有效的带通滤波器的设定等。

这里，预先存储在存储部22中的分配模式可以包含关注值0.1、0.5、1.0以外的关注值。但块的个数是有限的，所以能够预先准备的分配模式是有限的。因此，对于没有存储在存储部22中的关注值，以其前后的关注值对存储在存储部22中的最近的关注值的分配模式进行插值，由此决定分配模式。作为插值的方法，可以进一步划分块来调整分配的频带，或者调整属于某块的频率分量的振幅。在后者的情况下，频分滤波器42中包含增益控制器。

例如当在关注值0.5下分配某三个块，在关注值0.3下分配其中的两个块时，在关注值0.4下将没有在关注值0.3下分配的剩余的一个块的频带分成两份，分配其中一份；或者将该一个块分配给它，仅对该频率分量使振幅成为二分之一。在该例子中，进行了线性插值，但考虑到表示强调程度的关注值是基于人的听觉的感觉性、主观性的值，未必一定要进行线性插值，可以进行实际的听取实验等，预先通过表或运算式等设定插值的规则。控制部20按照该设定进行插值，对频分滤波器42进行设定。由此，能够几乎连续地设定关注值，能够使强调的程度按照光标96的移动外观上连续地变化。

存储在存储部22中的分配模式也可以包含划分模式不同的多种系列(series)。此时，在最初选择了音乐数据的时刻，决定适用哪个划分模式。在进行决定时，如后所述可以将各音乐数据的信息作为线索。通过控制部20进行带通滤波器的上限和下限的频率的设定，来将划分模式反映到频分滤波器42中。

至于对各声音信号分配哪个分配模式组，可以基于对应的音乐数据的信息来决定。图7表示了存储在存储部22中的音乐数据的信息的一个例子。音乐数据信息表110包括标题栏112和模式组栏114。标题栏112中记载与各音乐数据对应的曲子的标题。该栏也可以是记载音乐数据的ID等能够识别音乐数据的其他属性的栏。

模式组栏114中记载对各音乐数据所推荐的分配模式组的名称或ID。这里，作为选择所推荐的模式组的根据，可以利用该音乐数据的特征性频带。例如当声音信号成为关注值0.1时，推荐被分配特征性频带的那样的模式组。由此，即使在非强调的状态下，声音信号的最重要的成分也难以被相同关注值的其他声音信号或关注值较高的声音信号所掩蔽，会更容易听到。

该方案可以通过例如将模式组与其ID标准化，提供音乐数据的卖家等将所推荐的模式组作为音乐数据的信息而附加到音乐数据中等来实现。另一方面，也可以取代模式组的名称或ID，而是将附加给音乐数据的信息作为特征性频带。此时，控制部20可以预先从存储装置12中读出各个音乐数据的特征性频带，分别选择最适合于其频带的模式组，生成音乐数据信息表110，保存在存储部22中。或者也可以基于音乐的类型或乐器的种类等判断特征性频带，基于此来选择模式组。

当附加给音乐数据的信息是特征性频带时，也可以预先将该信息本身存储在存储部22中。此时，能够综合判断要再现的多个音乐数据的特征性频带，先选择最适合的划分模式，再选择分配模式。进而，也可以基于特征性频带在处理一开始时生成新的划分模式。在用类型等进行判断时也是一样。

接下来说明在频分滤波器42以外的滤波器中使强调的程度变化的情况。图8表示存储在存储部22中的、使关注值与各滤波器的设定建立对应关系的表的例子。滤波器信息表120包括关注值栏122、时分处理栏124、调制栏126、加工栏128、以及定位设定栏130。关注值栏122中记载关注值的范围。关于时分处理栏124、调制栏126、加工栏128，在关注值栏的各范围内，当进行时分处理滤波器44、调制滤波器46、加工滤波器48的处理时记载“○”，当不进行时记载“×”。只要是能识别是否执行滤波器处理，也可以是“○”、“×”以外的记载方法。

定位设定栏130中，在关注值栏的各范围内，以“中央”、“偏右·偏左”、“端部”等表示给予什么定位。如该图所示，关注值较高时将定位置于中央，随着关注值变低，使定位从中央偏离，由此能够通过定位容易地识别强调程度的变化。定位的左右可以随机地分派，也可以基于音乐数据的图标在画面上的位置等来分派。进而，只要使定位设定栏130的设定无效以使得定位相对于关注值不变化，并总是对各个声音信号赋予与图标的位置对应的定位，就能够做成对应于光标的移动，被强调的声音信号的听取方向也变化这样的形式。另外，滤波器信息表120中也可以还包含频分滤波器42的选择、非选择。

当调制滤波器46和加工滤波器48能进行的处理有多个时，或者能以内部参数调整处理的程度时，也可以在各栏中表示具体的处理内容或内部参数。例如当在时分滤波器44中根据强调程度的范围使声音信号达到峰值的时间变化时，在时分处理栏124中记载该时间。滤波器信息表120是考虑各滤波器的相互影响等，通过实验等预先作成的。由此，选择符合非强调声音信号的音响效果，或者不再对已能区分地听的声音信号进行多余的加工。也可以准备多个滤波器信息表120，基于音乐数据的信息来选择最佳方案。

控制部20在关注值每次超过关注值栏122中所示的范围的边界时，参照滤波器信息表120，使之反映到各滤波器的内部参数或解复用器等的设定中。由此，能够使关注值较大的声音信号从中部传来且清晰地听到，而关注值较小的声音信号听起来象从端侧含糊不清地传来一样等，反映强调程度地进一步使声音信号有抑有扬。

图9是表示本实施方式中的声音处理装置16的动作的流程图。首先，用户从存储在存储装置12中的音乐数据中选择想要同时再现的多个音乐数据输入到输入部18。在输入部18中检测到该选择输入后(S10为“是”)，在控制部20的控制下，进行这些音乐数据的再现、各种滤波器处理、混合处理，从输出装置30输出(S12)。在频分滤波器42中使用的块的划分模式的选择和对各声音信号的分配模式组的分配也在这里进行，对频分滤波器42进行设定。对其他滤波器的初始设定也是一样。另外，该阶段的输出信号可以使所有关注值都相同，使强调的程度相等。此时用户能均等、区分地听到各声音信号。

同时，在输入部18中显示输入画面90，用户一边监视着是否使光标96在画面上移动，一边继续输出混合了的输出信号(S14为“否”、S12)。光标96移动后(S14为“是”)，控制部20按照该移动更新各声音信号的关注值(S16)，从存储部22中读出与该值对应的块的分配模式，更新频分滤波器42的设定(S18)。然后从存储部22读出针对关注值的范围所设定的应进行处理的滤波器的选择信息、和各滤波器中的处理的内容及内部参数等信息，适当更新各个滤波器的设定(S20、S22)。另外，从S14到S22的处理可以与S12的声音信号的输出并行地来进行。

在每次光标移动时反复进行这些处理(S24为“否”、S12～S22)。由此，能够对各声音信号赋予强调程度的高低，并按照光标96的移动实现该程度随时间变化的形态。结果，用户能够按照光标96的移动得到声音信号听起来较远或听起来较近的感觉。然后，当例如用户选择了输入画面90的“停止”按钮94时(S24为“是”)，结束全部处理。

通过以上叙述的本实施方式，对各个声音信号施加滤波器处理，使得在各声音信号混合了时能够区分地听到。具体来说，通过对各声音信号分配频带或时间，在内耳级赋予区分信息，或者通过对一部分或全部声音信号周期性地赋予变化、施加音响加工处理、赋予不同的定位这样的处理，来在脑级赋予区分信息。由此，在混合了各个声音信号时，能在内耳级、脑级两者中获得区分信息，最终区分识别变得容易。结果，能够象观看缩略图显示那样同时观测声音本身，在想要确认多个音乐信息内容等的内容时也能不花时间地容易地掌握。

另外，在本实施方式中使各声音信号的强调程度变化。具体来说，是根据强调的程度来增加分配的频带，或对滤波器处理的施加方法赋予强弱，或变更要施加的滤波器处理。由此，能够使强调程度高的声音信号比其他声音信号听起来明显。在该情况下，进行不使用要分配给强调程度低的声音信号的频带等措施，使得强调程度低的声音信号不会抵消掉。结果，既能听到各个声音信号，又能象聚焦那样明显地听到想要关注的声音信号。通过使该形态追随用户光标移动地随时间变化，能够象在缩略图显示中偏移视点那样产生与离光标的距离相应的听感的变化，所以能容易且基于感觉地从多个音乐信息内容等中选择所需要的信息内容。

以上基于实施方式说明了本发明。上述实施方式是个例示，可以对其各结构要件和各处理过程的组合进行各种变形，本领域技术人员能够理解这些变形例也包含在本发明的范围内。

例如在本实施方式中是一边区分地听着声音信号一边改变强调的程度的，但也可以根据目的而不使强调程度变化地均一地听全部声音信号。不对强调的程度赋予高低的形态，例如可以通过使关注值的设定无效、或固定关注值，来以同样的结构实现。由此也能区分地听到多个声音信号，能够容易地掌握多个音乐信息内容等。

另外，在本实施方式中主要是以欣赏音乐信息内容来说明的，但本发明不限于此。例如也可以对电视接收机的音响系统设置实施方式所示的声音处理装置。然后，在根据用户对电视接收机的指示而进行多个频道的图像显示时，对各频道的声音进行滤波器处理，然后混合输出。由此，除多个频道的图像外，还能同时且相区别地欣赏到声音。在该状态下用户进行频道选择时，能够既强调该频道的声音，又听到其他频道的声音。进而在单一的频道的图像显示中，也能在同时听取主声音和副声音时使强调的程度阶段性地变化，能够不互相抵消地强调主要想听的声音。

另外，如图6所示的那样，在本实施方式的频分滤波器中，以基于不将已分配给关注值0.1的声音信号的块再分配给关注值1.0的声音信号这样的规则，来固定各关注值的分配模式的例子为主进行了说明。另一方面，在例如不存在关注值为0.1的声音信号的期间或状态下，也可以将应分配给关注值0.1的声音信号的块全部分配给关注值1.0的声音信号。

例如在图6的例子中，当仅选择了三个要再现的音乐数据时，只要对对应的三个声音信号分配模式组A、模式组B、模式组C，就不会出现同一模式组的关注值1.0和关注值0.1的分配模式共存的情况。此时，对于例如已被分配了模式组A的声音信号为关注值1.0时，能够将对关注值0.1分配的最低频的块也一起分配。这样，可以根据针对各关注值的声音信号的个数等动态地调整分配模式。由此，能够使分配给强调对象的声音信号的块数在能够识别非强调对象的声音信号的范围内尽可能地多，能够提高强调对象的声音信号的音质。

另外，也可以对最想要强调的声音信号分配全部频带。由此，在更加强调该声音信号的同时，进一步提高其音质。在该情况下，通过用频分滤波器以外的滤波器对其他声音信号提供区分信息，也能区分地识别它们。

〔工业可利用性〕

如上所述本发明能够适用于音频再现装置、计算机、电视接收机等电子设备。

Claims (10)

1.一种同时再现多个声音信号的声音处理装置，其特征在于，包括：

声音处理部，对各输入声音信号施加预定的处理，使得用户在听感上能区分地听到；和

输出部，将被施加了上述处理的上述多个输入声音信号混合，作为具有预定声道数的输出声音信号进行输出；

其中，上述声音处理部具有频分滤波器，对多个输入声音信号的每一个分配从按照预定规则划分频带而得到的多个块中选择的块，并从各输入声音信号抽取出属于所分配的块的频率分量，

上述频分滤波器对上述多个输入声音信号的至少任一者分配不连续的多个块。

2.根据权利要求1所述的声音处理装置，其特征在于：

上述多个块是以巴克临界频带的边界频率对频带进行划分而得到的。

3.根据权利要求1所述的声音处理装置，其特征在于：

还包括特征频带抽取部，对上述多个输入声音信号分别决定上述多个块中的优先进行分配的块，

上述频分滤波器将上述多个块中的、上述特征频带抽取部决定的对某输入声音信号优先进行分配的块以外的块，分配给其他输入声音信号。

4.根据权利要求3所述的声音处理装置，其特征在于：

上述特征频带抽取部从外部的存储装置读出各输入声音信号的预定信息，基于该信息决定对各输入声音信号优先进行分配的块。

5.根据权利要求1所述的声音处理装置，其特征在于：

上述声音处理部还包括时分滤波器，对多个输入声音信号各自的振幅按共同的周期错开相位地进行时间调制。

6.根据权利要求5所述的声音处理装置，其特征在于：

上述时分滤波器对各输入声音信号进行时间调制，使得各输入声音信号的振幅变成最大的时间和变成最小的时间分别具有预定的宽度，并使相位不同，以使得在某输入声音信号的振幅变成最小的时间，其他输入声音信号的振幅变成最大。

7.根据权利要求1所述的声音处理装置，其特征在于：

上述声音处理部还包括调制滤波器，对多个输入声音信号的至少任一者按预定的周期施加预定的音响加工处理。

8.根据权利要求1所述的声音处理装置，其特征在于：

上述声音处理部还包括加工滤波器，对多个输入声音信号的至少任一者固定地施加预定的音响加工处理。

9.根据权利要求1所述的声音处理装置，其特征在于：

上述声音处理部还包括定位设定滤波器，对多个输入声音信号分别赋予不同的定位。

10.一种声音处理方法，其特征在于，包括：

对多个输入声音信号的每一个分配彼此不相掩蔽的频带的步骤；

从各输入声音信号抽取出属于所分配的频带的频率分量的步骤；以及

将由从各输入声音信号抽取出的频率分量构成的多个声音信号混合，作为具有预定声道数的输出声音信号进行输出的步骤。

Images