CN101123830A - 用于处理音频信号的设备、方法及程序 - Google Patents

Abstract

本发明提供了一种用于处理音频信号的设备，所述设备包含用于将输入的音频信号分离为由用户指定的第一音频信号和不包含第一音频信号的第二音频信号的分离器，用于测量第一音频信号和第二音频信号之间的音频音量平衡的测量单元，以及调整器，所述调整器用于基于由用户指定的音频音量平衡来计算对第一音频信号的音频音量的调整值和对第二音频信号的音频音量的调整值，以及调整第一和第二音频信号之间的音频音量平衡。

Description

用于处理音频信号的设备、方法及程序

技术领域

本发明涉及一种用于处理来自定位(localized)于一角度的声音源的音频信号或来自目标类型声音源的音频信号的设备、方法及程序。

背景技术

来自各种类型的声音源的声音被包含在记录在高密度磁盘(CD)或数字多功能数码光盘(DVD)的内容以及广播电视(TV)的内容中。例如，所记录的音乐内容可包含来自歌声或乐器的声音源的声音。TV广播内容可包含表演者的话音、效果声、笑声或鼓掌声。

在记录期间这些声音可被独立的麦克风获得。然而音频信号可能被分类到预定编号的声道，例如2声道(2ch)或5.1声道(5.1ch)。执行混合(mixing)操作从而使得这些声音定位于与各自的声音源相对应的角度。下文中有时把词“声道”称作“ch”。

在日本未经实审的专利申请公开第2006-121152号、第2006-080708号及第2006-014220号中公开如下的技术，即用于将音频信号分离成多个声音源的音频信号的技术，所述音频信号即来自多个声音源的多个声音的混合物。

发明内容

当在再现设备或电视接收器上再现(接收并解调)包含音频信号的内容时，在记录时被调整的定位角度处再现多个声音源的音频信号的每一个，所述音频信号即来自多个声音源的声音混合物。

然而，一些用户可能不适应由制造者端所设计的声音源定位。一些用户可能希望更多地享受内容。例如，一用户可能希望抽取定位于一角度的频率范围内的声音源的声音，而其他用户可能希望修改定位于所述角度的频率范围内的声音源的音频音量。

本发明的发明者在日本专利申请第2005-327237号(序列号0590529003)中已经提出如下的技术，所述技术允许基于每一定位角度调整声音源。根据所公开的技术，定位于一角度的声音源的音频信号被抽取或被擦除。可基于每一定位角度调整声音的音频音量。

根据所公开的技术，用户在收听声音同时自己调整声音。所述技术可反映用户自己的声音偏爱。但是，每个声音源的音频信号的音频音量对于不同内容及不同场景而不同。定位于某个角度的声音源的类型也对于不同内容及不同场景而不同。当再现不同的内容时，用户自己需要调整，且调整操作可能是耗时的。

因此期望根据用户的偏爱自动地调整来自目标声音源的音频信号和来自除目标声音源外的声音源的音频信号之间的音频音量平衡，而无需用户干预。

根据本发明的实施方式，用于处理音频信号的设备包含用于将输入的音频信号分离为由用户指定的第一音频信号和不包含第一音频信号的第二音频信号的分离器，用于测量第一音频信号和第二音频信号之间的音频音量平衡的测量单元，以及调整器，所述调整器用于基于由用户指定的音频音量平衡来计算对第一音频信号的音频音量的调整值和对第二音频信号的音频音量的调整值，以及调整第一和第二音频信号之间的音频音量平衡。

分离器将待被处理的输入音频信号分离为指定声音源的音频信号(第一音频信号)和其他声音源的音频信号(第二音频信号)。例如，待被处理的音频信号被分离为人的话音的音频信号(第一音频信号)和除人的话音外的音频信号(第二音频信号)。测量单元测量第一音频信号和第二音频信号之间的音频音量平衡。

调整器基于由用户指定的音频音量平衡计算对第一音频信号的音频音量的调整值和对第二音频信号的音频音量的调整值，然后调整第一和第二音频信号之间的音频音量平衡。

音频音量平衡因此被调整，使得作为目标声音源的音频信号的第一音频信号是显著的，而其他音频信号不显著。这个调整根据用户的偏爱自动执行，而无需用户频繁地干预。

根据本发明的另一实施方式，分离器可分离出作为第一音频信号的定位于由用户指定的分离角度内的音频信号，以及作为第二音频信号的定位于分离角度外的声音源的音频信号。

分离器分离出作为第一音频信号的定位于由用户指定的分离角度内的音频信号(在分离角度范围内的音频信号)，以及作为第二音频信号的定位在分离角度外的声音源的音频信号(在分离角度范围外的音频信号)。作为目标声音源的音频信号的第一音频信号因此是显著的，而其他音频信号不显著。

根据本发明的另一实施方式，分离器可分离出作为第一音频信号的由用户指定类型的声音源的音频信号，以及作为第二音频信号的不包含由用户指定的声音源类型的声音源的音频信号。

分离器因此分离出作为第一音频信号的由用户指定类型的声音源的音频信号，以及作为第二音频信号的不包含由用户指定的声音源类型的声音源的音频信号。作为目标声音源的音频信号的第一音频信号因此是显著的，而其他音频信号不显著。

根据本发明的实施方式，目标声音源的音频信号和包含在相同音频信号中的除目标声音源外的声音源的音频信号之间的音频音量平衡被自动地调整到适当的状态。

附图说明

图1是根据本发明的第一实施方式的再现设备的框图；

图2是遥控器的外视图；

图3是图1的再现设备中的音频信号处理器的第一配置的框图；

图4是示出根据本发明第一实施方式的包含图3的音频信号处理器的再现设备的处理的流程图；

图5是示出图1的再现设备中的音频信号处理器的第二配置的框图；

图6是示出定位角度和电平计算器的结构的框图；

图7是示出包含根据本发明的第一实施方式的参考图5和图6所讨论的音频信号处理器的再现设备的处理的流程图；

图8是图7的流程图的续图；

图9是示出根据本发明的第二实施方式的再现设备的结构的框图；

图10是示出图9的音频信号处理器的框图；

图11是示出包含图10的音频信号处理器的本发明的第二实施方式的再现设备的处理的流程图；

图12是示出根据本发明的第三实施方式的记录及再现设备的框图；

图13是示出根据本发明的第四实施方式的记录及再现设备的框图；

图14是示出包含第一用户界面的再现设备的框图；

图15示出被显示在显示器的显示屏幕上的与待再现的声音源相关的信息的显示实施例；

图16示出在显示屏幕上显示的用于指定分离角度的显示实施例；

图17示出在显示屏幕上显示的用于指定分离角度的显示实施例；

图18是示出用于接收所输入的与分离角度和音频音量平衡相关的命令的接收处理的流程图；

图19是图18的流程图的续图；

图20示出在其上粘贴了触摸屏的显示器的显示屏幕上显示的显示实施例；

图21示出包含第二用户界面的音频信号处理器的结构；

图22示出被显示在显示屏幕上的用于指定分离角度范围和频率范围的显示实施例；

图23示出被显示在显示屏幕上的用于指定分离角度范围和频率范围的显示实施例；

图24A和24B示出其中分离角度范围(包含频率范围和定位角度范围和)被设定的设定实施例；以及

图25A和25B示出其中分离角度范围(包含频率范围和定位角度范围和)被设定的另一设定实施例。

具体实施方式

以下将参考图式描述用于处理音频信号的设备、方法及计算机程序。

第一实施方式

以下描述根据本发明的第一实施方式的用于处理音频信号的设备、方法及计算机程序。在此所述设备是再现设备。

图1是示出本发明的第一实施方式的再现设备100的框图。图1的再现设备100包含媒体播放器1、音频信号处理器2、数模(D/A)转换器3、系统控制器4、操作单元5以及命令接收器6。再现设备100可被遥控器10远程控制。

媒体播放器1读取并再现记录在预定记录介质上的音频信号。记录介质是如下介质的一种：光记录盘(例如高密度盘(CD)、数字多功能数码光盘(DVD)，或蓝光光盘(blu-ray disk))、磁光盘(例如小磁盘(MD(注册商标)))、磁盘(例如硬盘)，以及半导体存储器。

媒体播放器1支持的记录介质记录两个音频信号声道的内容，即Lch(左声道)和Rch(右声道)。由媒体播放器1再现的这些音频信号Lch和Rch被馈送到音频信号处理器2。

音频信号处理器2根据来自媒体播放器1的音频信号Lch和Rch以及随后将要讨论的来自系统控制器4的分离角度命令信号S1和音频音量平衡命令信号S2，对定位于指定角度范围内的声音源的音频信号以及定位于指定角度范围外的声音范围的音频信号中的每一个执行预定的音频信号处理。后面将具体描述音频信号处理器2的内部结构。穿过音频信号处理器2的经过预定音频信号处理的音频信号Lch和Rch被馈送到数模转换器3。

数模转换器3将作为音频信号Lex的来自音频信号处理器2的一个数字信号数模转换为Lch的模拟音频信号L，并将作为音频信号Rex的来自音频信号处理器2的另一个数字信号数模转换为Rch的模拟音频信号R。Lch的模拟音频信号L和Rch的模拟音频信号R因此被输出。音频信号处理器2中的经过预定信号处理的Lch和Rch的音频信号被供应到扬声器，然后从扬声器输出相应的声音。

如图1所示，系统控制器4是包含中央处理器(CPU)41、只读存储器(ROM)42、随机存取存储器(RAM)43、诸如电可擦除可编程只读存储器(EEPROM)之类的非易失性存储器44，以及互连所有这些元件的CPU总线45的微计算机。系统控制器4总地控制第一实施方式的再现设备100。

如图1所示，系统控制器4连接到操作单元5和命令接收器6。操作单元5包含多个暴露在再现设备100的外壳之外的控制器。操作单元5接收控制器上的各种来自用户的操作输入，生成响应于所接收的操作输入的命令信号，然后将命令信号供应到系统控制器4。

命令接收器6接收命令信号，将所接收的命令信号转换为各自的电信号，并将电命令信号供应到系统控制器4，所述命令信号例如是从遥控器10发送的以红外信号的形式传送的信号。遥控器10也包含多个控制器。命令接收器6接收响应于遥控器10上的每个控制器的操作而生成的红外信号形式的命令信号，并将其转换为电信号，并且将电信号供应到系统控制器4。

响应于来自操作单元5和命令接收器6之一的命令信号，系统控制器4总的控制本发明的第一实施方式的再现设备100。再现设备100从而响应于用户输入的操作而进行操作。例如，操作单元5和遥控器10中的每一个都包含用于发出播放命令的控制器，所述播放命令用于再现存储在装载在媒体播放器1上的记录介质上的内容。在接收到响应于控制器上的操作的命令信号之后，系统控制器4控制媒体播放器1来起动内容播放处理。

图2是用于本发明的第一实施方式的再现设备100的遥控器10的外视图。如图2所示，遥控器10具有方向命令键和输入键10e，所述方向命令键包含右键10a、左键10b、上键10c以及下键10d。

用户操作第一实施方式的再现设备100上的右键10a和左键10b之一，因此发出指定分离定位角度的命令(命令输入)。通过操作上键10c和下键10d之一，用户可向再现设备100发出音频音量平衡命令(命令输入)，所述音频音量平衡命令用于平衡定位于指定角度内的声音源的音频信号以及定位于指定角度外的声音源的音频信号的音频音量。

系统控制器4响应于命令输入，生成待被供应到音频信号处理器2的分离角度命令信号S1，所述命令输入是响应于图2的遥控器10上的右键10a和左键10b上的用户操作的。更具体而言，分离角度命令信号S1是指示响应于经由右键10a和左键10b接收的用户操作输入而生成的分离定位角度的信息(分离角度命令信息)。

系统控制器4响应于命令信号输入，生成待被供应到音频信号处理器2的音频音量平衡命令信号S2，所述命令信号输入是响应于图2的遥控器10上的上键10c和下键10d上的用户操作的。更具体而言，音频音量平衡命令信号S2是指示响应于上键10c和下键10d上从用户输入的命令而生成的音频音量平衡的信息(音频音量平衡命令信息)。

在第一实施方式的再现设备100中，在再现记录在装载在媒体播放器1上的记录介质上的音频信号之前，系统控制器4生成分离角度命令信号S1和音频音量平衡命令信号S2并将其供应到音频信号处理器2。例如，如上所述，系统控制器4接收遥控器10上从用户输入的分离角度命令信息和音频音量平衡命令信息。

响应于来自用户的分离角度和音频音量平衡命令，再现设备100确定定位于指定角度内(分离角度范围内)的声音源的音频信号和定位于指定角度外(分离角度外)的声音源的音频信号之间的音频音量平衡。再现设备100自动调整音频音量平衡并以最适宜的音频音量平衡再现音频信号而无需用户干预。

每次再现目标音频信号时，分离角度命令信息和音频音量平衡命令信息可被输入。或者，可预先将分离角度命令信息和音频音量平衡命令信息输入再现设备100并记录在系统控制器4中的EEPROM44上。

一旦分离角度命令信息和音频音量平衡命令信息被输入，则不再需要输入这些信息。利用存储在EEPROM44上的分离角度命令信息和音频音量平衡命令信息，分离角度命令信号S1和音频音量平衡命令信号S2被生成并被使用。已适当调整了音频音量平衡的音频信号被再现而无需用户干预。

也可将一组诸如歌曲之类的待再现的音乐数据，以及彼此相关的分离角度命令信息和音频音量平衡命令信息的识别信息存储在EEPROM44上。这样，利用适当的分离角度命令信息和音频音量平衡命令信息，音频音量平衡被基于每一音频信号适当地调整，从而用户可收听处于最适宜的音频音量平衡的音频信号。

可存储多个分离角度命令信息和音频音量平衡命令信息。在播放音频信号之前，响应于待再现的音频信号，指示哪个分离角度命令信息将被使用和哪个音频音量平衡命令信息将被使用的输入命令被接收。利用所指定的分离角度命令信息和音频音量平衡命令信息，可生成分离角度命令信号S1和音频音量平衡命令信号S2。

图3是示出第一实施方式的再现设备100中音频信号处理器2的第一配置的框图。音频信号处理器2首先将目标音频信号分离为定位于指定角度内的声音源的音频信号和定位于指定角度外的声音源的音频信号。测量音频音量平衡，然后响应于指定的音频音量平衡而调整音频音量平衡。

如图3所示，音频信号处理器2包含分离处理器21、音频音量平衡检测器22及音频音量平衡调整器23。如图3所示，分离处理器21接收左右音频信号Lch和Rch，以及如先前参考图1所讨论的那样从系统控制器4供应的分离角度命令信号S1。

响应于来自系统控制器4的分离角度命令信号S1，分离处理器21将所供应的音频信号Lch和Rch的每一个都分离为指定角度以内(分离角度范围以内)的声音源的音频信号Li和Ri(后缀“i”表示内部(inner))，和指定角度以外的声音源的音频信号Lo和Ro(后缀“o”表示外部(outer))。这四个信号的每一个被输出到音频音量平衡检测器22和音频音量平衡调整器23的每一个。

分离处理器21可具有任意的电路结构，只要电路可响应于分离角度命令信号S1将输入音频信号分离为定位于指定角度内的声音源的音频信号和定位于指定角度外的声音源的音频信号。例如，分离处理器21可包含日本专利申请第2005-327237号(序列号0590529003)中所公开的电路。

如图3所示，音频音量平衡检测器22接收由分离处理器21分开的Lch的定位角度内(分离角度内)的音频信号Li、Rch的定位角度内(分离角度内)的音频信号Ri、Lch的定位角度外(分离角度外)的音频信号Lo，以及Rch的定位角度外(分离角度外)的音频信号Ro。因此音频音量平衡检测器22测量所指定内部角度和所指定外部角度之间的音频音量平衡。响应于来自系统控制器4的音频音量平衡命令信号S2，音频音量平衡检测器22确定分离角度内的音频信号的增益值Gi以及分离角度外的音频信号的增益值Go，从而分离角度内的音频信号和分离角度外的音频信号之间的音频音量平衡变得适当。音频音量平衡检测器22然后将所确定的增益值Gi和Go供应到音频音量平衡调整器23。

如图3所示，音频音量平衡调整器23接收由分离处理器21分离的Lch的分离角度内的音频信号Li、Rch的分离角度内的音频信号Ri、Lch的分离角度外的音频信号Lo，以及Rch的分离角度外的音频信号Ro，以及从音频音量平衡检测器22供应的分离角度内音频信号的增益值Gi和分离角度外音频信号的增益值Go。然后音频音量平衡调整器23执行等式(1)的计算操作，因此生成并输出Lch的输出音频信号Lex和Rch的输出音频信号Rex。

Lex＝Li×Gi+Lo×Go

Rex＝Ri×Gi+Ro×Go   ...(1)

考虑到了音频音量平衡检测器22所能采用的测量音频音量平衡的一些方法。

例如，Lch的分离角度内的音频信号Li和Rch的分离角度内的音频信号Ri的和信号(Li+Ri＝sum_inner)，以及Lch的分离角度外的音频信号Lo和Rch的分离角度外的音频信号Ro的和信号(Lo+Ro＝sum_outer)可分别被监测5秒，然后可计算出分离角度内的和信号(sum_inner)的峰值(peak_inner)以及分离角度外的和信号(sum_outer)的峰值(peak_outer)。

基于分离角度内的和信号(sum_inner)的峰值(peak_inner)以及分离角度外的和信号(sum_outer)的峰值(peak_outer)来确定分离角度内的音频信号和分离角度外的音频信号之间的音频音量平衡。基于分离角度内的音频信号和分离角度外的音频信号之间的音频音量平衡，以及来自系统控制器4的音频音量平衡命令信号S2来确定分离角度内音频信号的增益值Gi和分离角度外音频信号的增益值Go。

例如，来自系统控制器4的音频音量平衡命令信号S2指示出分离角度内的音频信号和分离角度外的音频信号之间的音量比是1∶1，并且分离角度内的和信号(sum_inner)的音频峰值(peak_inner)和分离角度外的和信号(sum_outer)的音频峰值(peak_outer)的比是1∶2。在此情况下，分离角度内音频信号的增益值Gi是1.5且分离角度外音频信号的增益值Go是0.75。通过此设定，分离角度内的和信号(sum_inner)的音频峰值(peak_inner)和分离角度外的和信号(sum_outer)的音频峰值(peak_outer)的比变为1∶1。

音频音量平衡调整器23可立即利用增益值Gi＝1.5和增益值＝0.75来调整平衡。或者，在完全地调整音频音量平衡之前允许5秒钟的过渡时间。过渡时间期间，音频音量平衡被逐渐地调整从而用户可舒适地适应变化。

当分离角度内音频信号的增益值Gi和分离角度外音频信号的增益值Go被确定时，必须加以注意以使得整个输入信号的音量和整个输出信号的音量保持不变。

以下描述本发明的第一实施方式的软件实现方式。图4是示出本发明第一实施方式的包含图3的音频信号处理器2的再现设备100的处理的流程图。利用软件实现本发明的第一实施方式时也可应用图4。

当图3的音频信号处理器2和系统控制器4互助操作时，即当响应于经由操作单元5或遥控器10以及命令接收器6接收的再现音频信号的播放命令，再现记录在装载在媒体播放器1上的记录媒体上的音频信号时，执行图4的处理。

再现设备100中的系统控制器4控制音频信号处理器2，因此判断待再现的音频信号是否具有自身设备支持的信号格式(步骤S101)。例如，如果是根据MP3(音频动态压缩第三层)压缩的音频信号，或是与假定信号格式的采样频率不同的音频信号，则以其当前的格式不能被处理。这样的音频信号被转换为具有设备支持的信号格式。

如果对步骤S101中的判断的回答是肯定的，则处理前进到步骤S103。对步骤S101中的判断的否定回答意味着音频信号处理器2不能处理音频信号并且处理前进到步骤S102。

如果在步骤S101中判断待再现的音频信号不具有自身设备支持的信号格式，则系统控制器4控制音频信号处理器2，从而将信号转换为具有自身设备支持的信号格式的信号(步骤S102)。

在步骤S102之后，或者如果在步骤S101中判断音频信号具有自身设备支持的信号格式，则系统控制器4将分离角度命令信号S1和音频音量平衡命令信号S2供应到音频信号处理器2。音频信号处理器2将音频信号分离为分离角度命令信号S1指定的分离角度内的音频信号Li和Ri，以及分离角度外的音频信号Lo和Ro(步骤S103)。由图3所示构造的音频信号处理器2中的分离处理器21执行步骤S103。

音频信号处理器2测量分离角度内的Lch的音频信号Li和Rch的音频信号Ri的和信号的音频峰值(peak_inner)以及分离角度外的Lch的音频信号Lo和Rch的音频信号Ro的和信号的音频峰值(peak_outer)。响应于这些值和来自系统控制器4的音频音量平衡命令信号S2，分离角度内的Lch的音频信号Li和Rch的音频信号Ri的增益值Gi和分离角度外的Lch的音频信号Lo和Rch的音频信号Ro的增益值Go被确定(步骤S104)。由参考图3讨论的音频信号处理器2中的音频音量平衡检测器22执行步骤S104。

根据等式(1)，音频信号处理器2从分离角度内的Lch的音频信号Li和分离角度外的Lch的音频信号Lo，以及分离角度内的音频信号的增益值Gi和分离角度外的音频信号的增益值Go来确定Lch的输出音频信号Lex。音频信号处理器2还从分离角度内的Rch的音频信号Ri和分离角度外的Rch的音频信号Ro，以及分离角度内的音频信号的增益值Gi和分离角度外的音频信号的增益值Go来确定Rch的输出音频信号Rex。音频信号处理器2输出Lch的输出音频信号Lex和Rch的输出音频信号Rex(步骤S105)。由图3的音频信号处理器2中的音频音量平衡调整器23执行步骤S105。

因此所生成的输出音频信号Lex和Rex处于反映个人偏好的状态，即处于根据所提供的命令信息调整了定位于指定角度内的声音源的音频信号和定位于指定角度外的声音源的音频信号之间的音频音量平衡的状态。

系统控制器4判断是否存在待输出到音频信号处理器2的下一音频信号(步骤S106)。对步骤S106中的判断的否定回答意味着不存在待再现的信号，然后图4的处理结束。对步骤S106中的判断的肯定回答意味着存在待再现的下一音频信号。处理返回步骤S101以重复步骤S101以及后续步骤。

图3的系统控制器4和音频信号处理器2彼此互助地操作，因此基于由用户发出的分离角度(范围)以及指示音频音量平衡的信息，确定了定位于指定角度内的声音源的音频信号和定位于指定角度外的声音源的音频信号之间的音频音量平衡。音频音量平衡被自动调整到合适的状态而无需用户干预。

图5是示出根据本发明的第一实施方式的再现设备100中的音频信号处理器2的第二配置的框图。音频信号处理器2利用日本专利申请第2005-327237号(序列号0590529003)中提出的技术来修改音频音量平衡。日本专利申请第2005-327237号公开了调整定位于一个角度的声音源的音频信号的音量的技术。将调整音频音量平衡的技术与日本专利申请第2005-327237号中公开的技术结合。

如图5所示，音频信号处理器2包含接收Lch的输入音频信号的Lch的分析滤波器库(analyzing filter bank)21L，以及接收Rch的输入音频信号的Rch的分析滤波器库21R。Lch的分析滤波器库21L和Rch的分析滤波器库21R将输入音频信号分割为多个频带，每个频带具有预定的带宽。

包含离散傅立叶变换(DFT)滤波器库、小波滤波器库以及正交镜像滤波(QMF)滤波器库的滤波器库技术可用于将输入信号成分分割为多个频带。滤波器库由分析滤波器和合成滤波器所组成的组构成。当基于每一频带或基于不同目的处理输入信号时，滤波器库技术被采用，并且滤波器库技术被广泛的用于有损压缩应用。

分析滤波器库21L将Lch的输入音频信号分割为n个频带，每一频带具有相等的带宽，因此存在n个子带(sub1-L，sub2-L，...，subn-L)。sub1-L到subn-L的n个子带信号被经由各自的增益单元23(23(1)到23(n))供应到合成滤波器库24L。

合成滤波器库24L合成分别从n个增益单元23(23(1)到23(n))供应的n个子带信号(sub1-L到subn-L)，因此以其最初的形式重建音频信号。

类似地，分析滤波器库21R将Rch的输入音频信号分割为n个频带，因此生成n个子带信号(sub1-R，sub2-R，...，subn-R)。n个子带信号sub1-R到subn-R被经由各自的增益单元23(1)到23(n)供应到合成滤波器库24R。

合成滤波器库24R合成分别从增益单元23(1)到23(n)供应的n个子带信号(sub1-R到subn-R)，因此以其最初的形式重建音频信号。

分析滤波器库21L和分析滤波器库21R将输入音频信号分割为n个等带宽的频带。本发明并不局限于此配置。输入音频信号可被分割为具有不同带宽的多个频带。

如图5所示，从分析滤波器库21L供应的子带信号sub1-L到subn-L被分别供应到n个定位角度和电平计算器22(1)到22(n)。

类似地，如图5所示，由分析滤波器库21R生成的的子带信号sub1-R到subn-R被分别供应到n个定位角度和电平计算器22(1)到22(n)。

定位角度和电平计算器22(1)到22(n)在Lch和Rch各自的子带处接收Lch的子带信号sub-L和Rch的子带信号sub-R。

如随后将要详细描述的，定位角度和电平计算器22(1)到22(n)从Lch的子带信号sub-L和子带信号sub-R计算定位角度和电平，并且将定位角度信息和电平信息供应到增益测量和调整单元25。

定位角度和电平计算器22(1)计算来自子带信号sub1-L和子带信号sub1-R的输入音频信号的定位角度和电平，定位角度和电平计算器22(2)计算来自子带信号sub2-L和子带信号sub2-R的输入音频信号的定位角度和电平。这样，定位角度和电平计算器22(1)到22(n)计算来自子带信号sub1-L到subn-L和子带信号sub1-R到subn-R的输入音频信号的定位角度和电平，并将定位角度和电平供应到增益测量和调整单元25。随后将描述定位角度和电平计算器的内部结构。

增益测量和调整单元25从定位角度和电平计算器22(1)到22(n)接收定位角度信息和电平信息，以及来自图5的系统控制器4的分离角度命令信号S1和音频音量平衡命令信号S2。增益测量和调整单元25因此确定将要供应到增益单元23(1)到23(n)的增益使得最适宜的音频音量平衡被获得。随后将描述增益测量和调整单元25的处理。

响应于所供应的增益，增益单元23(1)到23(n)调整来自分析滤波器库21L的子带信号sub-L以及来自分析滤波器库21R的子带信号sub-R的增益，并将已调整增益的子带信号sub-L供应到合成滤波器库24L以及将已调整增益的子带信号sub-R供应到合成滤波器库24R。

合成滤波器库24L和24R合成从增益单元23(1)到23(n)供应的子带信号sub1-L到subn-L以及子带信号sub1-R到subn-R，从而重建初始的音频信号。

以下描述图5所示的具有第二配置的音频信号处理器2中的定位角度和电平计算器22的结构和操作。图6是示出定位角度和电平计算器22的结构的框图。

如图6所示，定位角度和电平计算器22包含Lch的傅立叶变换器221L、Rch的傅立叶变换器221R、定位角度计算器222及电平计算器223。

如图6所示，来自图5的分析滤波器库21L的子带信号sub-L被输入傅立叶变换器221L。傅立叶变换器221L对子带信号sub-L执行快速傅立叶变换。通过快速傅立叶变换获得的复合子带信号csub-L被供应到定位角度计算器222和电平计算器223的每一个。

如果子带信号sub-L已经被分析滤波器库21L转换为复合子带的形式，则傅立叶变换器221L不是必需的。在此情况下，子带信号sub-L被直接地输入到定位角度计算器222和电平计算器223的每一个。

来自分析滤波器库21R的子带信号sub-R被供应到傅立叶变换器221R以进行傅立叶变换。作为结果得到的复合子带信号csub-R被供应到定位角度计算器222和电平计算器223的每一个。如果子带信号sub-R已经被分析滤波器库21R转换为复合子带的形式，则傅立叶变换器221R不是必需的。子带信号sub-R被直接地供应到定位角度计算器222和电平计算器223的每一个。

定位角度计算器222从复合子带信号csub-L和复合子带信号csub-R计算相位差和电平比，并基于相位差和电平比确定音频信号的定位角度。音频信号的定位角度被供应到图5的增益测量和调整单元25。

电平计算器223从复合子带信号csub-L和复合子带信号csub-R确定音频信号的电平，并将作为结果得到的音频信号的电平信息供应到图5的增益测量和调整单元25。

考虑到了若干种用于确定声音幅度(magnitude)的方法。在此描述一种方法。令L(ω)和R(ω)表示在时间ω处的复合子带信号csub-L和csub-R，然后在时间ω处的复合子带信号csub-L和复合子带信号csub-R的电平mag(ω)被等式(2)表示：

$\mathrm{mag}\left(\mathrm{\ω}\right)=\sqrt{\mathrm{Re}{\left(L\left(\mathrm{\ω}\right)\right)}^2+\mathrm{Im}{\left(L\left(\mathrm{\ω}\right)\right)}^2}+\sqrt{\mathrm{Re}{\left(R\left(\mathrm{\ω}\right)\right)}^2+\mathrm{Im}{\left(R\left(\mathrm{\ω}\right)\right)}^2}\·\·\·\left(2\right)$

其中Re(x)表示复数x的实部并且Im(x)表示复数x的虚部。

定位角度和电平计算器22(1)到22(n)基于所供应的子带信号sub-L和sub-R确定定位(分离)角和信号电平。

以下描述图5的音频信号处理器2中的增益测量和调整单元25的处理。

增益测量和调整单元25执行如下的三种处理。在第一种处理中，增益测量和调整单元25响应于从系统控制器4供应的分离角度命令信号S1和音频音量平衡命令信号S2，确定指定角度内的声音源的音频信号的电平的和信号(sum_inner)，以及指定角度外的声音源的音频信号的电平的和信号(sum_outer)。在第二种处理中，增益测量和调整单元25测量定位于指定角度内的声音源的音频信号和定位于指定角度外的声音源的音频信号之间的音频音量平衡，并确定定位于指定角度内的音频信号的增益值Gi和定位于指定角度外的音频信号的增益值Go。在第三种处理中，增益测量和调整单元25确定每个子带的增益值。

参考来自定位角度和电平计算器22(1)到22(n)的每个子带的定位角度信息，以及来自图1的系统控制器4的分离角度命令信号S1，增益测量和调整单元25首先确定每个子带信号是否是指定角度内的声音源的音频信号。如果确定子带信号是指定角度内的声音源的音频信号，则增益测量和调整单元25将来自定位角度和电平计算器22(1)到22(n)的相对应的一个的电平值加到指定角度内的音频信号的电平的和信号(sum_inner)上。如果确定子带信号是指定角度外的声音源的音频信号，则增益测量和调整单元25将来自定位角度和电平计算器22(1)到22(n)的相对应的一个的电平值加到指定角度外的音频信号的电平的和信号(sum_outer)上。对所有的子带的定位角度信息和电平信息执行此处理。指定角度内的音频信号的电平和(sum_inner)和指定角度外的音频信号的电平和(sum_outer)因此被确定。

考虑到了一些测量音频音量平衡的方法。在此采用与参考第一配置描述的方法相同的方法。更具体而言，指定角度内的音频信号的电平和(sum_inner)和指定角度外的音频信号的电平和(sum_outer)被监测5秒。然后遍及相同周期的指定角度内的音频信号的电平和(sum_inner)的音量峰值(peak_inner)和指定角度外的音频信号的电平和(sum_outer)的音量峰值(peak_outer)被计算出来。

增益测量和调整单元25接收指定角度内的音频信号的电平和(sum_inner)的音量峰值(peak_inner)和指定角度外的音频信号的电平和(sum_outer)的音量峰值(peak_outer)，以及来自图1的系统控制器4的音频音量平衡命令信号S2，然后确定预定角度内的音频信号的增益值Gi和预定角度外的音频信号的增益值Go。

在确定这些增益值之后，平衡调整被立即执行。或者，可在调整音频音量平衡之前允许5秒钟的过渡时间。过渡时间期间，音频音量平衡被逐渐地调整从而用户可如在具有第一配置的音频信号处理器2中那样舒适地适应变化。

当定位角度内音频信号的增益值Gi和定位角度外音频信号的增益值Go被确定时，必须以在具有第一配置的音频信号处理器2中相同的方式加以注意从而整个输入信号的音量和整个输出信号的音量保持不变。

如果子带信号是指定角度内的声音源的音频信号则将增益值Gi供应到增益单元23(1)到23(n)，并且如果子带信号是指定角度外的声音源的音频信号则将增益值Go供应到增益单元23(1)到23(n)。增益单元23(1)到23(n)分别将所供应的子带与指定增益值相乘，从而执行增益调整。最终，合成滤波器库24L和24R合成子带信号，从而生成具有已调整的预定角度内的音频信号和预定角度外的音频信号之间的音频音量平衡的输出音频信号。

以下描述根据第一实施方式的软件实现方式的另一实施例。图7和图8是根据参考图5和图6所讨论的本发明的第一实施方式的再现设备100执行的处理的流程图。即使当利用软件实施本发明时所述流程图也是适用的。

当音频信号处理器2和系统控制器4互助操作时，即当响应于经由操作单元5或遥控器10以及命令接收器6接收的再现音频信号的播放命令，再现记录在装载在媒体播放器1上的记录媒体上的音频信号时，执行图7和图8的处理。

再现设备100中的系统控制器4控制音频信号处理器2，因此判断待再现的音频信号是否具有自身设备支持的信号格式(步骤S201)。例如，如果是根据MP3(音频动态压缩第三层)压缩的音频信号，或是与所采用的信号格式的采样频率不同的音频信号，则以其当前的格式不能被处理。这样的音频信号被转换为设备支持的信号格式。

如果对步骤S201中的判断的回答是肯定的，则处理前进到步骤S203。对步骤S201中的判断的否定回答意味着音频信号处理器2不能处理音频信号并且处理前进到步骤S202。

如果在步骤S201中判断待再现的音频信号不具有自身设备支持的信号格式，则系统控制器4控制音频信号处理器2，从而将音频信号转换为具有自身设备支持的信号格式的信号(步骤S202)。

在步骤S202之后，或者如果在步骤S201中判断音频信号具有自身设备支持的信号格式，则系统控制器4将分离角度命令信号S1和音频音量平衡命令信号S2供应到音频信号处理器2。音频信号处理器2将Lch的音频信号和Rch的音频信号的每一个分离为多个频带(步骤S203)。

步骤S203与如下的操作相对应，其中图5的音频信号处理器2中的分析滤波器库21L和分析滤波器库21R将Lch的音频信号和Rch的音频信号的每一个分割为n个频带，从而生成子带信号sub1-L到subn-L和子带信号sub1-R到subn-R。

音频信号处理器2对已分割的Lch音频信号和已分割的Rch音频信号做傅立叶变换(步骤S204)。步骤S204与如下的操作相对应，其中定位角度和电平计算器22(1)到22(n)中的每一个中的傅立叶变换器221L和傅立叶变换器221R对输入子带信号sub-L和输入子带信号sub-R做傅立叶变换。

如先前所讨论的，如果在步骤S203中已经将子带信号sub-L和sub-R转换为复合子带形式，则步骤S204不是必需的。处理跳过步骤S204前进到步骤S205。

音频信号处理器2基于每一已分割带(频带)计算Lch音频信号和Rch音频信号的定位角度和电平(步骤S205)。步骤S205与如下的操作相对应，其中图6的定位角度和电平计算器22(1)到22(n)的每一个中的定位角度计算器222和电平计算器223计算每一子带上的子带信号sub-L和子带信号sub-R的定位角度和电平。

音频信号处理器2将基于每个带确定的定位角度与来自系统控制器4的分离角度命令信号S1比较，确定指定角度内的音频信号的电平和(sum_inner)和指定角度外的音频信号的电平和(sum_outer)(步骤S206)。步骤S206与图5的音频信号处理器2中的增益测量和调整单元25所执行的处理之一相对应。

处理前进到图8的步骤S207。音频信号处理器2确定指定角度内的音频信号的增益值Gi和指定角度外的音频信号的增益值Go(步骤S207)。在步骤S207中，音频信号处理器2使用在步骤S206中确定的指定角度内的音频信号的电平和(sum_inner)和指定角度外的音频信号的电平和(sum_outer)，以及来自系统控制器4的音频音量平衡命令信号S2。

如果在每个子带上的子带信号sub-L和子带信号sub-R的每一个都是指定角度内的声音源的音频信号，则音频信号处理器2输出输出增益值Gi，并且如果在每个子带上的子带信号sub-L和子带信号sub-R的每一个都是指定角度外的声音源的音频信号，则音频信号处理器2输出输出增益值Go(步骤S208)。步骤S208与如下的操作相对应，其中从图6的音频信号处理器2中的增益测量和调整单元25输出的增益值Gi和增益值Go被供应到增益单元23(1)到23(n)从而对各个子带信号进行增益调整。

音频信号处理器2合成每个带的Lch音频信号和Rch音频信号，然后输出作为结果得到的信号(步骤S209)。图5的合成滤波器库24L接收并合成从增益单元23(1)到23(n)供应的频带的Lch音频信号，并输出合成后的信号。图5的合成滤波器库24R接收并合成从增益单元23(1)到23(n)供应的频带的Rch音频信号，并输出所合成的信号。

如先前所讨论的，合成滤波器库24L和合成滤波器库24R分别输出输出音频信号Lex和输出音频信号Rex。输出音频信号Lex和Rex使得音频信号能够在定位于分离角度命令信号S1所指定的角度内的声音源的音频信号和定位于分离角度命令信号S1所指定的角度外的声音源的音频信号之间的音频音量平衡处再现。因此音频音量平衡反映了用户的偏爱。

系统控制器4判断是否存在待输出到数模转换器3的下一音频信号(步骤S210)。如果对步骤S210中的判断的回答是否定的，则不存在下一信号，然后处理结束。如果对步骤S210中的判断的回答是肯定的，则存在待被处理的下一音频信号。系统控制器4返回步骤S201以重复步骤S201以及后续步骤。

图5的音频信号处理器2和系统控制器4彼此互助地操作，因此基于由用户输入的指示分离角度及音频音量平衡的信息，确定定位于指定角度内的声音源的音频信号和定位于指定角度外的声音源的音频信号之间的音频音量平衡。音频信号处理器2自动将音频音量平衡调整到合适的值而无需用户干预。

在图3的具有第一配置的音频信号处理器2的情况下，音频音量平衡调整器23根据等式(1)调整音频音量平衡，从而生成并输出Lch音频信号和Rch音频信号。可采用另外的音频音量平衡调整方法。例如，视情况可采用不同于等式(1)的等式。

在图3的具有第一配置的音频信号处理器2中，分离处理器21输出指定角度内的两个声道的音频信号Li和Ri。本发明并不局限于此配置。声道数目可以是至少一个。

在图3的具有第一配置的音频信号处理器2中，可采用5.1声道输入。由于输入声道已经被分离，所以分离处理器21不是必需的并且可被省略。

在图5的具有第二配置的音频信号处理器2中，电平计算器223利用等式(2)确定声音的电平。可采用另外的替代方法。电平计算器223的输入是复合子带信号。或者可将子带信号用于确定声音的电平。

本发明的第一实施方式的再现设备100执行音频音量平衡调整处理。主要利用硬件，即音频信号处理器2来执行图4的流程图中或图7和图8的流程图中所示出的音频音量平衡调整处理。本发明并不局限于此配置。如先前所讨论的，可利用软件来执行全部的或部分的图4的处理以及图7和图8的处理。

在这种情况下，产生了主要由系统控制器4执行的程序，并且系统控制器4控制音频信号处理器2以执行处理。

或者，音频信号处理器2可以是包含CPU、ROM以及RAM的微计算机。用于执行图4的处理或图7和图8的处理的程序被存储在ROM上，然后音频信号处理器2执行所述程序。

在上述讨论中，音频音量平衡被监测预定的周期(例如，5秒)，并使用了音频音量峰值或由等式(2)表示的电平的和。表示声音的电平的平均分贝值，或PCM(脉冲编码调制)信号的采样的绝对值的平均可替代音频音量峰值使用。

根据本发明的第一实施方式，允许用于使音频音量平衡改变的过渡时间(例如5秒)。过渡时间不是必需的。可即刻调整音频音量平衡。或者，可设定例如2分钟的相对长的过渡时间使得音频音量平衡可随时间逐渐地改变。

在本发明的第一实施方式中，输入音频信号的声道数目和输出音频信号的声道数目分别是两个。本发明并不局限于两个声道。声道数目至少是两个。此外，输入声道的数目和输出声道的数目可以不同。例如，输入声道的数目可以是两个，而输出声道的数目可以是四个。

除了调整音频音量平衡，再现设备100也可通过处理音频信号调整听觉上的音频音量平衡。例如，再现设备100可执行信号处理操作从而预定定位角度范围内的音频信号被定位到接近用户的位置，或执行信号处理操作从而预定定位角度范围内的音频信号被定位到远离用户的位置。此外，再现设备100可结合这两种方法。

预定定位角度范围内的信号和预定定位角度范围外的信号之间的音频音量平衡可被叠加(superimpose)到音频数据上。可将音频音量平衡作为伴随音频数据的数据与时间信息一起记录到再现设备100的记录介质或EEPROM上，所述记录介质或EEPROM还记录音频数据。播放期间，音频音量平衡被基于这些信息调整。

响应于从用户接收的分离角度和音频音量平衡，本发明的第一实施方式的再现设备100确定定位于指定角度内的声音源的音频信号和定位于指定角度外的声音源的音频信号之间的音频音量平衡。通过自动调整音频音量平衡，再现设备100将音频音量平衡保持在适当的电平而无需用户干预。

第二实施方式

以下描述本发明的第二实施方式。与本发明的第一实施方式相同，第二实施方式被应用于用以再现音频信号的设备、方法及程序。

本发明的第二实施方式的再现设备200响应于来自用户的声音源的类型及音频音量平衡，确定定位于指定角度内的声音源的音频信号和定位于指定角度外的声音源的音频信号之间的音频音量平衡。通过自动调整音频音量平衡，再现设备200将音频音量平衡保持在适当的电平而无需用户干预。

图9是示出本发明的第二实施方式的再现设备200的框图。图9中，用相同的标号指定与图1中示出的那些元件相同的第二实施方式的再现设备200的元件，并且在此省略对它们的讨论。

与图1中所示的第一实施方式的再现设备100相同，图9中所示的第二实施方式的再现设备200包含媒体播放器1、数模(D/A)转换器3、操作单元5、命令接收器6以及音频信号处理器7。再现设备200还可被遥控器10远程控制。

第二实施方式的再现设备200中的音频信号处理器7的结构和操作以及系统控制器8的操作分别与第一实施方式的再现设备100中的音频信号处理器2的结构和操作以及系统控制器4的操作不同。在结构方面，系统控制器8是与图1的第一实施方式的再现设备100中的系统控制器4相同的微计算机，即系统控制器8包含CPU 41、ROM 42、RAM 43、EEPROM 44、以及互连所有这些元件的CPU总线45。

在第二实施方式的再现设备200中，由媒体播放器1再现的Lch的音频信号以及Rch的音频信号也被供应到音频信号处理器7。响应于从媒体播放器1供应的Lch的音频信号以及Rch的音频信号，以及来自随后将要讨论的系统控制器8的声音源类型命令信号S3和音频音量平衡命令信号S2，音频信号处理器7对指定声音源的音频信号和其他声音源的音频信号的每一个执行预定的音频信号处理。经过音频信号处理后的Lch的音频信号Lex和Rch的音频信号Rex的每一个都被供应到数模转换器3。随后将详细描述第二实施方式的再现设备200中的音频信号处理器7。

数模转换器3对来自音频信号处理器7的音频信号Lex和Rex进行数模转换，然后输出Lch和Rch的模拟输出音频信号。

与第一实施方式的再现设备100的遥控器10相同，第二实施方式的再现设备200的遥控器10包含用于发出方向命令的控制器10a、10b、10c以及10d。通过操作第二实施方式的再现设备200上的右键10a或左键10b，用户可向媒体播放器1输入指定待分离的声音源的类型的命令输入。通过操作第二实施方式的再现设备200上的上键10c或下键10d，用户可向再现设备200输入所述声音源的音频信号和其他声音源的音频信号之间的音频音量平衡命令。

系统控制器8响应于用户通过操作遥控器10上的右键10a和左键10b而从遥控器10发送的并经由命令接收器6接收的命令信号，生成待被供应到音频信号处理器7的声音源类型命令信号S3。声音源类型命令信号S3是指示响应于用户在右键10a和左键10b上的操作而输入的声音源的类型的信息。

系统控制器8响应于用户通过操作遥控器10上的上键10c和下键10d而从遥控器10发送的并经由命令接收器6接收的命令信号，生成待被供应到音频信号处理器7的音频音量平衡命令信号S2。与第一实施方式的再现设备100中相同，音频音量平衡命令信号S2是指示响应于用户在上键10c和下键10d上的操作而输入的音频音量平衡的信息。

第二实施方式的再现设备200响应于由用户在遥控器10上输入的声音源类型命令以及音频音量平衡命令，确定指定声音源的音频信号和其他声音源的音频信号之间的音频音量平衡。再现设备200自动调整音频音量平衡，从而将音频音量平衡保持在适当的电平而无需用户干预。可将声音源类型命令以及音频音量平衡命令存储在系统控制器8的EEPROM上，并在播放音频信号期间被重复地使用。

以下描述第二实施方式的再现设备200中音频信号处理器7的结构和操作。图10是示出第二实施方式的音频信号处理器7的框图。在图10中，用相同的标号指定与参考图3所讨论的第一实施方式的音频信号处理器2中所使用的元件相同的元件，并且在此省略对它们的详细的讨论。

如图10所示，第二实施方式的再现设备200中的音频信号处理器7包含声音源分离处理器71、音频音量平衡检测器22及音频音量平衡调整器23。如图10所示，声音源分离处理器71接收Lch的音频信号和Rch的音频信号。

在从图9的系统控制器8接收到声音源类型命令信号S3之后，声音源分离处理器71将所接收的音频信号分离为指定声音源的音频信号Li和Ri，以及其他声音源的音频信号Lo和Ro，并将已分离的音频信号供应到音频音量平衡检测器22和音频音量平衡调整器23的每一个。

声音源分离处理器71可具有任意的电路结构，只要电路具有将输入音频信号分离为指定声音源的音频信号和其他声音源的音频信号的功能。例如，当将人的话音指定为声音源的类型时，可采用用以在人的话音和非人的声音之间区分输入信号的技术。

更具体而言，多条音频模型数据被存储在音频信号处理器7上或系统控制器8上的存储器上。通过将输入音频信号(输入听觉信号)与音频模型数据相匹配，可算出用于确定输入信号是否是人的话音的评分。利用为输入音频信号估计的信噪(S/N)比来校正评分，并且使用校正后的评分来执行对输入音频数据是否是人的话音的确定步骤。这样，在人的话音部分或非人的话音部分之间区分了输入音频信号。例如，通过准备男性话音的音频模型数据和女性话音的音频模型数据，可在男性话音部分和女性话音部分之间区分人的话音。

不仅可存储人的话音，各种乐器的声音源模型数据也可被存储。可将待再现的音乐数据(输入音频信号)与声音源模型数据相匹配，然后目标乐器的部分的音频信号因此可被从其他乐器的音频信号中分离出来。因此可构建具有用于存储各种声音源模型数据的存储器、输入音频信号(输入听觉信号)、匹配单元以及分离器的声音源分离处理器71，所述匹配单元用于通过匹配这些信号来计算输入音频信号和声音源模型数据之间的相似性，所述分离器用于响应于所计算的相似性分离音频信号。

将Lch的音频信号中的目标声音源的音频信号Li和其他声音源的音频信号Lo，Rch的音频信号中的目标声音源的音频信号Ri和其他声音源的音频信号Ro供应到音频音量平衡检测器22和音频音量平衡调整器23的每一个。

如参考图3所描述的，音频音量平衡检测器22测量目标音频信号和其他音频信号之间的音频音量平衡，响应于来自系统控制器8的音频音量平衡命令信号S2，确定目标音频信号的增益值Gi和除目标音频信号以外的音频信号的增益值Go，并将所确定的增益值Gi和Go供应到音频音量平衡调整器23。

更具体而言，如图10所示，音频音量平衡检测器22接收由声音源分离处理器71分离的来自目标声音源的Lch上的音频信号Li、来自目标音频信号的Rch上的音频信号Ri、来自除目标音频信号外的声音源的Lch上的音频信号Lo，以及来自除目标音频信号外的声音源的Rch上的音频信号Ro。音频音量平衡检测器22然后测量目标声音源的音频信号和除目标声音源外的声音源的音频信号之间的音频音量平衡。音频音量平衡检测器22然后响应于来自系统控制器8的音频音量平衡命令信号S2，确定目标声音源的音频信号的增益值Gi和除目标声音源外的目标声音源的音频信号的增益值Go，以使得目标声音源的音频信号和其他声音源的音频信号具有适当的平衡。音频音量平衡检测器22然后将增益值Gi和Go供应到音频音量平衡调整器23。

如先前参考图3所讨论的，音频音量平衡调整器23将目标声音源的音频信号和其他声音源的音频信号分别与来自音频音量平衡检测器22的增益值Gi和Go相乘，从而调整增益，并输出已调整增益的输出音频信号Lex和Rex。

更具体而言，如图10所示，音频音量平衡调整器23接收由声音源分离处理器71分离的来自Lch上的目标声音源的音频信号Li、来自目标音频信号的Rch上的音频信号Ri、来自除目标音频信号外的声音源的Lch上的音频信号Lo，来自除目标音频信号外的声音源的Rch上的音频信号Ro，以及来自音频音量平衡检测器22的目标声音源的音频信号的增益值Gi和除目标声音源外的目标声音源的音频信号的增益值Go。音频音量平衡调整器23执行等式(1)的计算操作，从而生成并输出Lch的输出音频信号Lex和Rch的输出音频信号Rex。

再现设备200响应于用户在遥控器10上输入的声音源类型命令和音频音量平衡命令，确定目标声音源的音频信号和其他声音源的音频信号之间的音频音量平衡。再现设备200自动将音频音量平衡调整到适当的电平并将其保持而无需用户干预。

以下描述根据本发明的第二实施方式的软件实现方式。图11是示出主要由音频信号处理器7执行的第二实施方式的再现设备200的处理。如果利用软件实现本发明的第二实施方式，则图11的流程图也适用。

当图10的音频信号处理器7和系统控制器8彼此互助地操作时，即，当从操作单元5或遥控器10以及命令接收器6接收到用以再现记录在装载在媒体播放器1上的记录介质上的音频信号的播放命令时，执行图11的处理。图11的步骤S301和S302分别与根据第一实施方式的图4的步骤S101和S102相对应。

再现设备200中的系统控制器8控制音频信号处理器7，因此判断待再现的音频信号是否具有自身设备支持的信号格式(步骤S301)。例如，如果是根据MP3(音频动态压缩第三层)压缩的音频信号，或是与假定信号格式的采样频率不同的音频信号，则以其当前的格式不能被处理。这样的音频信号被转换为设备支持的信号格式。

如果在步骤S301中判断待再现的音频信号不具有自身设备支持的信号格式，则系统控制器8控制音频信号处理器7，从而将信号转换为具有身设备支持的信号格式的信号(步骤S302)。

在步骤S302之后，或者如果在步骤S301中判断音频信号具有自身设备支持的信号格式，则系统控制器8将声音源类型命令信号S3和音频音量平衡命令信号S2供应到音频信号处理器7。音频信号处理器7将音频信号分离为由声音源类型命令信号S3指定的声音源的音频信号Li和Ri和除由声音源类型命令信号S3指定的声音源外的声音源的音频信号Lo和Ro(步骤S303)。由如图10所示构造的音频信号处理器7中的声音源分离处理器71执行步骤S303。

音频信号处理器7测量来自预定声音源的Lch的音频信号Li和Rch的音频信号Ri的和信号的音频峰值(peak_inner)和来自除预定声音源外的声音源的Lch的音频信号Lo和Rch的音频信号Ro的和信号的音频峰值(peak_outer)。响应于这些值以及来自系统控制器8的音频音量平衡命令信号S2，来自预定声音源的Lch的音频信号Li和Rch的音频信号Ri的增益值Gi和来自除预定声音源外的声音源的Lch的音频信号Lo和Rch的音频信号Ro的增益值Go被确定(步骤S304)。步骤S304由参考图10讨论的音频信号处理器7中的音频音量平衡检测器22来执行。

根据等式(1)，音频信号处理器7从目标声音源的Lch的音频信号Li、除目标声音源外的声音源的Lch的音频信号Lo、目标声音源的音频信号的增益值Gi，以及除目标声音源外的声音源的音频信号的增益值Go来确定Lch的输出音频信号Lex。音频信号处理器7还从目标声音源的Rch的音频信号Ri、除目标声音源外的声音源的Rch的音频信号Ro、目标声音源的音频信号的增益值Gi，以及除目标声音源外的声音源的音频信号的增益值Go来确定Rch的输出音频信号Rex。音频信号处理器7输出Lch的输出音频信号Lex和Rch的输出音频信号Rex(步骤S305)。由图10的音频信号处理器7中的音频音量平衡调整器23执行步骤S305。

因此生成的输出音频信号Lex和Rex处于反映个人偏爱的状态，即，处于根据所提供的命令信息被调整的目标声音源的音频信号和除目标声音源外的声音源的音频信号之间的音频音量平衡的状态。

系统控制器8判断是否存在待输入到音频信号处理器7的下一音频信号(步骤S306)。对步骤S306中的判断的否定回答意味着不存在待再现的信号，然后图11的处理结束。对步骤S306中的判断的肯定回答意味着存在待再现的下一音频信号。处理返回步骤S301以重复步骤S301以及后续步骤。

图10的系统控制器8和音频信号处理器7彼此互助地操作，因此基于由用户预先发出的指示目标声音源的类型和音频音量平衡的信息，确定目标声音源的音频信号和除目标声音源外的声音源的音频信号之间的音频音量平衡。音频音量平衡被自动调整到合适的电平并被保持而无需用户干预。

响应于来自用户的音频信号类型命令以及音频音量平衡命令，第二实施方式的再现设备200确定目标声音源的音频信号和其他声音源的音频信号之间的音频音量平衡。再现设备200自动将音频音量平衡调整到适当的电平并将其保持而无需用户干预。

第三实施方式

根据第一和第二实施方式，本发明应用于用以再现音频信号的再现设备。本发明不仅可应用于再现设备而且可应用于记录设备。在第三实施方式中，本发明被应用于记录及再现设备300。

在第三实施方式的记录及再现设备300中，参考图1到图8所讨论的第一实施方式的再现设备100被应用到记录系统。记录及再现设备300接收来自用户的分离角度命令和音频音量平衡命令，所述分离角度命令和音频音量平衡命令与所获得的音频信号相关并且之后将被记录在记录介质上。记录及再现设备300确定定位于指定角度内的声音源的音频信号和定位于指定角度外的声音源的音频信号之间的音频音量平衡。记录及再现设备300因此可每次自动调整音频音量平衡，然后记录处于音频音量平衡的音频信号而无需用户干预。

图12是示出本发明的第三实施方式的记录及再现设备300的框图。如图12所示，用相同的标号指定与图1中示出的再现设备100的那些元件相同的元件，并且在此省略对它们的讨论。

如图12所示，第三实施方式的记录及再现设备300包含左麦克风301L和右麦克风301R、放大器302、写处理器303、记录介质驱动器304、读处理器305、播放处理器306、操作单元307、命令接收器308、遥控器310、音频信号处理器2和系统控制器4。

如先前所讨论的，音频信号处理器2和系统控制器4在结构及操作上与第一实施方式的图1的再现设备100中它们的对应物相同。操作单元307、命令接收器308以及遥控器310在结构及操作上也与第一实施方式的图1的再现设备100中的操作单元5、命令接收器6以及遥控器10相同。操作单元307、命令接收器308以及遥控器310还接收用于记录音频信号的记录命令以及用于对待记录的音频信号执行各种调整的调整命令。

在第三实施方式的记录及再现设备300中，系统控制器4经由遥控器310和命令接收器308接收分离角度命令以及音频音量平衡命令。在对音频信号的记录操作期间，系统控制器4响应于用户输入的命令生成分离角度命令信号S1和音频音量平衡命令信号S2，然后将这些信号S1和S2供应到音频信号处理器2。

由左麦克风301L和右麦克风301R获得的声音被转换为作为电信号的Lch音频信号和Rch音频信号。Lch音频信号和Rch音频信号被供应到放大器302用于放大。已放大的Lch音频信号和Rch音频信号然后被供应到音频信号处理器2。

如先前连同第一实施方式的再现设备100一起讨论的，音频信号处理器2响应于分离角度命令信号S1，将Lch音频信号和Rch音频信号的每一个分离为指定角度内的声音源的音频信号和指定角度外的声音源的音频信号，同时测量指定角度内的声音源的音频信号和指定角度外的声音源的音频信号的每一个的音频音量电平。

音频信号处理器2基于指定角度内的声音源的音频信号的音频音量电平和指定角度外的声音源的音频信号的音频音量电平，以及来自系统控制器4的音频音量平衡命令信号S2，确定预定角度内的音频信号的增益值Gi和预定角度外的音频信号的增益值Go。

音频信号处理器2利用增益值Gi对预定角度内的音频信号进行增益调整，并利用增益值Go对预定角度外的音频信号进行增益调整。Lch的输出音频信号Lex和Rch的输出音频信号Rex因此被生成并被输出。

从音频信号处理器2输出的Lch的输出音频信号Lex和Rch的输出音频信号Rex被供应到写处理器303。写处理器303将音频信号Lex和Rex转换为待写入到记录介质上的格式的信号WS。信号WS然后被供应到记录介质驱动器304以被记录到装载在记录介质驱动器304上的预定记录介质上。

记录介质驱动器304可采用从多种类型的记录介质中所选择的一种。例如，记录介质驱动器304可以是如下驱动器的一种：采用诸如高密度磁盘(CD)、数字多功能数码光盘(DVD)，或蓝光光盘之类的光记录盘的光盘驱动器、采用磁光盘(例如小磁盘(MD(注册商标)))的磁光盘驱动器、采用磁盘(例如硬盘)的磁盘驱动器，以及采用半导体存储器的半导体存储器驱动器。

第三实施方式的记录及再现设备300调整由麦克风301L和301R获得的音频信号，以使得指定定位角度内的声音源的音频信号和指定定位角度外的声音源的音频信号处于指定的音频音量平衡，并且将已调整的音频信号记录在记录介质驱动器304的记录介质上。

记录在记录介质驱动器304的记录介质上的音频信号可被由系统控制器4控制的读处理器305读取。由读处理器305从记录介质读取的音频信号被供应到播放处理器306。播放处理器306将所供应的音频信号分离为Lch音频信号和Rch音频信号。Lch音频信号和Rch音频信号然后被放大为输出音频信号L和R。输出音频信号L和R被供应到扬声器，所述扬声器发出与输出音频信号L和R相应的声音。

记录在记录介质驱动器304的记录介质上的音频信号是已经调整了音频音量平衡的音频信号，所述调整是由音频信号处理器2响应于来自系统控制器4的分离角度命令信号S1和音频音量平衡命令信号S2而执行的。更具体而言，记录在记录介质驱动器304的记录介质上的音频信号已经被调整以满足用户的偏爱，并已经处于预定角度内的音频信号和预定角度外的音频信号之间的音频音量平衡。播放期间，音频信号被简单地再现，然后用户可享受倾听满足用户偏爱的处于音频音量平衡的音频信号的乐趣。换言之，播放期间用户无需调整音频音量平衡。

在第三实施方式的记录及再现设备300中，可如参考图3所描述的那样或如参考图5所描述的那样构造音频信号处理器2。如果音频信号处理器2具有与图3中所示的音频信号处理器相同的结构，则由音频信号处理器2和系统控制器4彼此互助地执行的处理变成图4的处理。如果音频信号处理器2具有与图5中所示的音频信号处理器相同的结构，则由音频信号处理器2和系统控制器4彼此互助地执行的处理变成图7和8的处理。

第四实施方式

与第三实施方式中一样，第四实施方式是实施本发明的记录及再现设备400。

第四实施方式的记录及再现设备400是与参考图9-11所讨论的第二实施方式的再现设备200在记录系统中实施本发明一样地在记录系统中实施本发明的设备。响应于来自用户的声音源类型命令以及音频音量平衡命令，本发明的第四实施方式的记录及再现设备400确定指定声音源的音频信号和其他声音源的音频信号之间所获得的且待被记录到记录介质上的音频信号的音频音量平衡。记录及再现设备400自动调整音频音量平衡，然后以适当的音频音量平衡连续记录音频信号，而无需用户干预。

图13是示出第四实施方式的记录及再现设备400的框图。如图13所示，用相同的标号指定与图9的第二实施方式的再现设备200的元件相同的元件，并在此省略对它们的详细讨论。同样，如图13所示，用相同的标号指定与图12的第三实施方式的记录及再现设备300的元件相同的元件，并且在此省略对它们的详细讨论。

更具体而言，图13的第四实施方式的记录及再现设备400分别采用第二实施的再现设备200的音频信号处理器7和系统控制器8，代替了图12的记录及再现设备300中的音频信号处理器2和系统控制器4。

由左右麦克风301L和301R获得的音频信号被记录在记录介质驱动器304的记录介质上。系统控制器8响应于经由遥控器310和命令接收器308从用户接收的声音源类型命令和音频音量平衡命令，生成音频音量平衡命令信号S2和声音源类型命令信号S3。系统控制器8然后将音频音量平衡命令信号S2和声音源类型命令信号S3供应到音频信号处理器7。

响应于来自系统控制器8的声音源类型命令信号S3，音频信号处理器7将由左右麦克风301L和301R获得的并经由放大器302供应的Lch音频信号和Rch音频信号分离为指定声音源的音频信号和其他声音源的音频信号，然后测量音频音量平衡。

响应于指定声音源的音频信号和其他声音源的音频信号之间的音频音量平衡的测量结果，以及来自系统控制器8的音频音量平衡命令信号S2，系统控制器8识别指定声音源的音频信号的增益值Gi和其他声音源的音频信号的增益值Go。利用作为结果的增益值Gi和Go，系统控制器8对指定声音源的音频信号和其他声音源的音频信号进行增益调整。系统控制器8因此将指定声音源的音频信号和其他声音源的音频信号之间的音频音量平衡调整为满足用户偏爱。

每个都已经经过音频音量平衡调整的指定声音源的音频信号和其他声音源的音频信号被经由写处理器303记录在记录介质驱动器304的记录介质上。

为再现记录在记录介质驱动器304的记录介质上的音频信号，以与参考图12连同第三实施方式的记录及再现设备300一起被描述的方式相同的方式来读取并再现音频信号。记录在记录介质驱动器304的记录介质上的音频信号是响应于来自系统控制器8的音频音量平衡命令信号S2和声音源类型命令信号S3，已经被音频信号处理器2调整过音频音量平衡的音频信号。更具体而言，记录在记录介质驱动器304的记录介质上的音频信号是已经被调整从而在指定声音源的音频信号和其他声音源的音频信号之间的音频音量平衡中满足用户偏爱。播放期间，音频信号被简单地再现，然后用户可享受倾听满足用户偏爱的处于音频音量平衡的音频信号的乐趣。换言之，播放期间用户无需调整音频音量平衡。

第三及第四实施方式的记录及再现设备适用于如下应用的每一个：用于MD(小磁盘(注册商标))的记录及再现设备、用于IC录音机或盒式磁带录音机的音频记录及再现设备，以及在诸如视频摄像机之类的音频及视频记录设备中的音频系统。第三及第四实施方式的记录及再现设备适用于诸如具有音频信号处理功能的个人计算机之类的信息处理设备。

本发明的第一到第四实施方式的设备的每一个接收输入的分离角度命令、输入的音频音量平衡命令、或输入的声音源类型命令以及输入的音频音量平衡命令。以下将描述用于接收输入的分离角度命令和输入的音频音量平衡命令的第一用户界面。

根据第一用户界面，用二维平面中的颜色亮度来表示在每个频带中的至少两个声道音频信号的每个定位角度处的音频音量值，所述每个声道是多个声音的混合物，所述二维平面用一个轴表示频率及另一个轴表示定位角度。参考因此而表示的音频音量值，目标分离角度(定位角度)命令以及音频音量平衡命令被输入。在以下的实施例中，第一用户界面被应用到第一实施方式的图1的再现设备100中。

图14是示出包含第一用户界面的再现设备100的框图。在图14的再现设备100中，显示器9被连接到再现设备100中的系统控制器4。

音频信号处理器2在预定频带中的每个定位角度处测量来自媒体播放器1的Lch音频信号和Rch音频信号的音频音量值，并将测量结果供应到系统控制器4。音频信号处理器2还将Lch音频信号和Rch音频信号作为用于播放的音频信号Lex和音频信号Rex供应到数模转换器3。

已知多种用以测量在每个频带中的每个定位角度处的两个声道音频信号的音频音量值的方法。例如，可采用在日本专利申请第2005-327237号(序列号0590529003)中公开的技术。

根据日本专利申请第2005-327237号，在频带分段处理中音频信号被利用每个预定频带分段(例如，在采样频率是44.1Hz的情况下以10.77Hz的步长被分段为4096个频带)。被分段为每个频带的音频信号的定位角度被测量。因此仅定位于某一角度的声音源的音频信号的音频音量值被抽取，或删除，或调整。这样，在每个频带中的每个定位角度处的音频音量值被测量。

响应于从音频信号处理器2供应的每个频带中的每个定位角度处的音频音量值的测量结果，系统控制器4生成关于待再现的音频信号中所包含的每个声音源的信息，并将所生成的信息供应到显示器9，以在所述显示器9上显示所述信息。

显示器9包含液晶显示器(LCD)、有机场致发光(electroluminescence(EL))板、等离子体显示板(PDP)，或阴极射线管(CRT)及其控制电路。在接收到来自系统控制器4的显示数据后，显示器9在其显示元件的显示屏幕上显示与显示数据相对应的影像。

再现设备100经由遥控器10和命令接收器6接收用以再现记录在装载在媒体播放器1上的记录介质上的音频信号的播放命令。系统控制器4控制媒体播放器1，从而从记录介质读取目标音频信号并经由音频信号处理器2以及数模转换器3再现音频信号。

响应于来自音频信号处理器2的在每个频带中的每个定位角度处的音频音量值的测量结果，系统控制器4生成用于显示与待再现的音频信号中所包含的声音源相关的信息的数据，并将所生成的数据供应到显示器9。这样，与待再现的音频信号中所包含的声音源相关的信息因此被显示在显示器9的显不屏幕上。

图15示出显示在显示器9的显示屏幕上的，与待再现的音频信号中所包含的声音源相关的信息的显示实施例。更具体而言，用颜色亮度表示在每个预定频带中每个定位角度处存在的声音源的音频音量值。如图15所示，轮廓线表示显示器9的显示屏幕9G。显示屏幕9G包含音频音量显示区域91，所述音频音量显示区域91显示与待再现的音频信号中所包含的声音源相关的信息。

在显示器9的显示屏幕9G中的音频音量显示区域91中，水平轴表示每个声音源的定位角度，垂直轴表示频率。水平轴的中点处表示0°，并且延伸到右端60°和左端60°，共覆盖120°。垂直轴从0Hz扩展到8000Hz。

如图15所示，在音频音量显示区域91中黑色区域表示较低音量电平而白色区域表示较高音量电平。在音频音量显示区域91中水平轴表示定位角度。定位于左侧的声音源的音频信号的音频音量值被绘制在水平轴的左侧部分，定位于右侧的声音源的音频信号的音频音量值被绘制在右侧部分，并且定位于中央的声音源的音频信号的音频音量值被绘制在中央部分。在音频音量显示区域91中垂直轴表示频率。高频带中的音频音量值被绘制在垂直轴的上部部分，低频带中的音频音量值被绘制在下部部分，并且中间频带中的音频音量值被绘制在中间部分。

被绘制在音频音量显示区域91的右下部分的音频音量值表示定位于右侧并落入较低频带的音频音量值。定位角度、频率以及音频音量值三个成分因此被水平轴、垂直轴和颜色亮度表示。如图15所示，标记92、93和94表示相应的频率，标记95、96和97表示相应的定位角度。

如图15所示，在相对于0°的-60°到+60°的角度范围中并且低于4000Hz的频率范围内，更具体而言，在-30°到+30°的角度范围中并且低于2000Hz的频率范围内存在具有较大音频音量值的声音源。

响应于从用户输入的操作，再现设备100中的系统控制器4生成分离角度命令信号(定位角度范围命令信号)S1和音频音量平衡命令信号S2，然后将命令信号S1和S2供应到音频信号处理器2。

系统控制器4可经由操作单元5或遥控器10和命令接收器6接收用户输入的操作。在以下的讨论中，经由遥控器10和命令接收器6接收用户输入的操作。如先前参考图2所讨论的，遥控器10包含接收用户输入的操作的控制器。

用户操作遥控器10上的用于方向命令的控制器，从而在监视在显示器9的显示屏幕9G上显示的与声音源相关的信息的同时，输入分离角度(分离范围角度)和音频音量平衡。

在接收到命令之后，系统控制器4生成分离角度命令信号S1和音频音量平衡命令信号S2，并将命令信号S1和S2供应到音频信号处理器2。音频信号处理器2将指定分离角度内的声音源的音频信号与考虑音频音量平衡命令信号S2而确定的增益值相乘，并且还将指定分离角度外的声音源的音频信号与考虑音频音量平衡命令信号S2而确定的增益值相乘。响应于用户命令而被增益调整的音频信号因此被再现。

以下参考遥控器10的操作以及显示器9的显示屏幕9G来描述用于设定改变音频音量平衡的分离角度的过程以及用于修改指定角度内的音频信号和指定角度外的音频信号之间的音频音量平衡的过程，所述显示器9的显示屏幕9G响应于遥控器10的操作而改变。以下将详细描述如图16和图17所示的已指定分离角度的显示影像的显示实施例。

在操作的第一阶段，音频信号的播放处理开始，如图15所示显示影像被显示在显示器9的显示屏幕9G上。如图16所示，通过执行预定的操作，用于指示开始点和结束点之一的指示器P被显示。通过操作右键10a和左键10b，用户将指示器P放置在如下的位置，所述位置被期望成为所选择的分离角度的范围(此后称作分离角度范围)内的开始点S。用户因此固定开始点S。分离角度范围是由图15的音频音量显示区域91中水平方向上的声音影像的定位角度范围定义的范围。

在通过操作右键10a向右平移了定位角度范围的开始点S之后，以及在通过操作左键10b向左平移了定位角度范围的开始点S之后，用户通过操作输入键10e在定位角度范围内设定开始点S。通过显示指示叠加在音频音量显示区域91的显示部分上的当前位置的指示器P，帮助显示了开始点S。

如图17所示，在确定开始点S之后的第二阶段，右键10a和左键10b被操作从而将指示器P平移到所选择的分离角度范围(定位角度范围)的结束点E。然后选择输入键10e以输入所确定的结束点E。

更具体而言，在通过操作右键10a向右平移了定位角度范围的结束点E之后，以及在通过操作左键10b向左平移了定位角度范围的结束点E之后，用户通过操作输入键10e输入了定位角度范围的结束点E。

系统控制器4响应于用户输入的命令而生成显示数据，然后将所生成的显示数据供应到显示器9。如图17所示，包含所选择的开始点S的垂直线和包含结束点E的垂直线被显示在音频音量显示区域91上。用户可明显地识别所指示的分离角度范围(定位角度范围)。系统控制器4控制音频信号处理器2，从而仅输出指定范围内的声音源的音频信号。用户可听到所指示的定位角度范围。这样，用户可容易地输入结束点E。

在设定了分离角度范围(定位角度范围)的开始点S和结束点E的第二阶段之后的第三阶段中，通过操作遥控器10上的上键10c和下键10d，改变由开始点S和结束点E定义的定位角度范围内的音频信号和定位角度范围外的音频信号之间的音频音量平衡。

更具体而言，如果由开始点S和结束点E定义的定位角度范围内的音频信号和定位角度范围外的音频信号之间的音频音量平衡是1∶1，则通过操作上键10c可将音频音量平衡设定为1.1∶0.9。如果由开始点S和结束点E定义的定位角度范围内的音频信号和定位角度范围外的音频信号之间的音频音量平衡是1∶1，则通过操作下键10d可将音频音量平衡设定为0.9∶1.1。

从第一阶段到第三阶段，再现设备100的用户选择具体的分离角度(定位角度范围)，并调整定位角度范围内的音频信号和定位角度范围外的音频信号之间的音频音量平衡。更具体而言，用户选择具体的定位角度范围，并通过调整内部范围及/或外部范围的音频音量来调整两个范围之间的音频音量平衡。

可利用软件实施上述处理。图18和19是由再现设备100执行的所输入的分离角度命令和所输入的音量平衡命令的处理的流程图。如果利用软件实施本发明，则所述流程图也适用。

图18和19的处理是当响应于经由遥控器10和命令接收器6接收的用以再现音频信号的播放命令，再现记录在装载在媒体播放器1上的记录介质上的音频信号时，音频信号处理器2、系统控制器4以及显示器9彼此互助地执行的处理。

再现设备100中的系统控制器4控制音频信号处理器2，从而判断待再现的音频信号是否具有自身设备支持的可处理的格式(步骤S501)。

如果在步骤S501中判断待再现的音频信号不具有自身设备支持的可处理的格式，则系统控制器4控制音频信号处理器2，从而将音频信号转换为具有可处理格式的音频信号(步骤S502)。

在步骤S502之后，或者如果在步骤S501中判断音频信号具有自身设备支持的可处理的格式，则系统控制器4通过遥控器10和命令接收器6来判断对来自用户的音频音量平衡的调整范围的开始点S的接收是否在进行中，即，对开始点S的设定是否在进行中(步骤S503)。

如果在步骤S503中判断对开始点S的设定正在进行中，则系统控制器4响应于从遥控器10经由命令接收器6接收的命令信号，更新内部存储的开始点S的位置(信息)。系统控制器4生成用以修改指示器P的显示位置的数据，并将所生成的数据供应到显示器9。因此指示器P的显示位置被更新(步骤S504)。系统控制器4然后前进到图19的步骤S509。

当在步骤S504中从遥控器10接收到指示输入键10e的操作的命令信号时，指示器P的位置被设定为开始点S的位置。系统控制器4现在可以准备好接收结束点E的设定。可重复对开始点S的设定操作，直到从遥控器10接收到指示输入键10e的操作的命令信号。

如果在步骤S503中判断设定操作不在进行中，则系统控制器4通过遥控器10和命令接收器6来判断对来自用户的音频音量平衡的调整范围的结束点E的接收是否在进行中，即，对结束点E的设定操作是否在进行中(步骤S505)。

如果在步骤S505中判断对结束点E的设定正在进行中，则系统控制器4响应于从遥控器10经由命令接收器6接收的命令信号，更新结束点E的位置，并相应地生成用以更新指示器P的显示位置的数据。系统控制器4通过将所生成的数据供应到显示器9来修改P的显示位置(步骤S506)。系统控制器4然后前进到图19的步骤S509。

当在步骤S506中从遥控器10接收到指示输入键10e的操作的命令信号时，那时的指示器P的位置被设定为结束点E。系统控制器4可以准备好接收音频音量平衡的修改操作。在设定了开始点S之后可重复对结束点E的设定操作，直到从遥控器10接收到指示输入键10e的操作的命令信号。

如果在步骤S505中判断对结束点E的设定不在进行中，则系统控制器4通过遥控器10和命令接收器6来判断是否已经从用户接收了对音频音量平衡的调整操作，即，音频音量平衡是否已经改变(步骤S507)。

如果在步骤S507中判断音频音量平衡已经改变，则系统控制器4响应于从遥控器10经由命令接收器6接收的命令信号，参考指定范围内和指定范围外的音频信号来更新内部存储的音频音量平衡值(步骤S508)。系统控制器4前进到图19的步骤S509。

当在步骤S508中从遥控器10接收到指示输入键10e的按压操作的命令信号时，已修改的音频音量平衡被设定为已确定的值。在设定了结束点E之后对音频音量平衡的设定操作被重复，直到从遥控器10接收到指示输入键10e的按压操作的命令信号。

如果在步骤S507中判断音频音量平衡未变化，或紧随步骤S504、S506及S508之一之后，系统控制器4前进到图19的步骤S509。

系统控制器4控制音频信号处理器2，从而将用户操作所指定的分离角度范围(定位角度范围)内的声音源的音频信号与考虑音频音量平衡值而确定的增益值相乘，所述音频音量平衡值是响应于用户操作而设定的。系统控制器4还控制音频信号处理器2，从而将用户操作所指定的分离角度范围(定位角度范围)外的声音源的音频信号与考虑音频音量平衡值而确定的增益值相乘，所述音频音量平衡值是响应于用户操作而设定的。音频信号处理器2因此测量了每个频带中的每个定位角度的音频音量，并将已经调整了增益的音频信号供应到数模转换器3以用于播放(步骤S509)。

响应于在每个频带中的每个定位角度处的音频信号的音频音量的测量结果，系统控制器4生成用于显示待再现的音频信号中所包含的每个声音源的信息的数据，并将所生成的数据供应到显示器9。系统控制器4因此更新显示在显示器9的显示屏幕上的关于待再现的音频信号中所包含的每个声音源的信息(步骤S510)。

系统控制器4判断是否存在待输出到音频信号处理器2的下一音频信号(步骤S511)。对步骤S511中的判断的肯定回答意味着存在待被处理的音频信号。系统控制器4返回步骤S501以重复步骤S501以及后续步骤。对步骤S511中的判断的否定回答意味着不存在待被处理的音频信号。系统控制器4结束图18和19的处理。

再现设备100利用二维平面中的颜色亮度来表示在每个频带中的每个定位角度处的至少两个声道的音频信号的音频音量值，其中将频率和定位角度绘制在两个轴上。在所述二维平面中，用户选择具体的范围，并调整所选择的范围内的音频信号和所选择的范围外的音频信号之间的音频音量平衡。

用户选择具体的分离角度范围(定位角度范围)，并调整所选择的范围内的音频信号和所选择的范围外的音频信号之间的音频音量平衡。如果待再现的音频信号是音乐音频信号，则例如通过使感兴趣的乐器或歌声更显著，或通过使乐器的播放更轻可扩展欣赏内容的方式。

修改例

在图14的再现设备100中，利用遥控器10来设定分离角度范围(定位角度范围)。本发明并不局限于此配置。通过将触摸屏功能赋予显示器9的显示屏幕9G，可容易地执行对分离角度范围的设定。

图20示出在显示器9的显示屏幕9G上显示的显示实施例，所述显示器9具有触摸屏9TP。触摸屏9TP被粘贴在显示器9的显示屏幕9G上。显示在显示屏幕9G上的图像和触摸屏9TP被用作用于接收所输入的用户操作的接收单元。

系统控制器4知道哪些显示影像被显示在显示屏幕9G的哪些位置。当触笔或手指触摸触摸屏9TP时，触摸屏9TP将指示触摸点的坐标数据以电信号的形式供应到系统控制器4。如果拖曳操作被执行，则9TP将指示移动触摸点的坐标数据以电信号的形式供应到系统控制器4。

系统控制器4基于来自触摸屏9TP的坐标数据以及响应于坐标数据而在显示屏幕9G上显示的影像信息，确定将要被执行的处理，然后执行所确定的处理。通过操作触摸屏9TP，定位角度范围可被确定并且音频音量平衡可被修改。以下将描述对上述实施方式的这样的修改例。

在这样的修改例中，显示器9的显示屏幕9G包含音频音量显示区域91，所述音频音量显示区域91被用作与待再现的音频信号中所包含的每个声音源相关的信息的显示区域。如图20所示，标记92、93和94表示相应的频率，以及标记95、96和97表示相应的定位角度。

与图15到图17的音频音量显示区域91中相同，水平轴表示每个声音源的声音影像的定位角度，垂直轴表示频率，并且颜色亮度表示每个声音源的音频音量电平。利用水平轴、垂直轴以及颜色亮度来绘制定位角度、频率以及音频音量电平三个成分。

通过使得触笔或手指之一触摸显示屏幕9G并在其上滑动，来指定分离角度范围(定位角度范围)。更具体而言，用户使触笔或手指触摸粘贴在显示器9上的触摸屏9TP上的一个点，在接触状态下将触笔或手指移动到触摸屏9TP上的另一点，然后在那里释放触笔或手指。

通过执行这样的拖放操作，系统控制器4基于来自触摸屏9TP的坐标数据以及相应的显示信息，将第一触摸点设定为开始点S并将触摸释放点设定为结束点E。系统控制器4因此设定了用于修改由开始点S和结束点E定义的音频音量平衡的定位角度范围。

如图20所示，设置滑块901、按钮902以及按钮903用于修改将要被显示在音频音量显示区域91上的频率范围。如果在滑块901的滑动范围内当前位置以上的部分被触摸，则滑块901被向上平移。随着滑块901的位置改变，在音频音量显示区域91上显示的频率范围被向上平移。

如图20所示，当滑块901居中时，频率范围是0Hz到8000Hz。如果将滑块901向上平移整个范围的四分之一，则系统控制器4将音频音量显示区域91的频率范围平移到从2000Hz到10000Hz的范围。

如果用户使触笔或手指触摸触摸屏9TP的按钮902，则显示在音频音量显示区域91上的频率范围变窄。例如，如图20所示，现在将被显示的频率范围是从0Hz到8000Hz。如果用户使触笔或手指触摸到触摸屏9TP上的按钮902，则系统控制器4将音频音量显示区域91的频率范围变窄到0Hz到4000Hz。

如果用户使触笔或手指触摸触摸屏9TP的按钮903，则音频音量显示区域91的频率范围变宽。例如，如图20所示，现在将被显示的频率范围是从0Hz到8000Hz。如果用户使触笔或手指触摸到触摸屏9TP上的按钮903，则系统控制器4将音频音量显示区域91的频率范围变宽到0Hz到16000Hz。

利用滑块901、按钮902和按钮903，用户可改变显示在音频音量显示区域91上的频率范围。当响应于用户操作改变频率范围时，由标记92、93和94指示的频率也被相应地改变。

图20中所示的滑块904、按钮905和按钮906被用于修改将要被显示在音频音量显示区域91上的定位角度范围。如果在滑块904的滑动范围内当前位置以左的部分被触摸，则滑块904被向左平移，并且响应于滑块904的位置改变，在音频音量显示区域91上显示的定位角度范围被向左平移。

如图20所示，现在滑块904居中，定位角度范围是从-60°到+60°。如果将滑块904向左平移整个范围的四分之一，则系统控制器4将音频音量显示区域91的定位角度范围平移到从-90°到+30°的范围。

如果用户使触笔或手指触摸触摸屏9TP的按钮905，则显示在音频音量显示区域91上的定位角度范围变窄。例如，如图20所示，现在的定位角度范围是从-60°到+60°。如果用户使触笔或手指触摸到触摸屏9TP上的按钮905，则系统控制器4将音频音量显示区域91的定位角度范围变窄到-30°到+30°。

如果用户使触笔或手指触摸触摸屏9TP的按钮906，则将被显示在音频音量显示区域91上的定位角度范围变宽。例如，如图20所示，现在的定位角度范围是从-60°到+60°。如果用户使触笔或手指触摸到触摸屏9TP上的按钮906，则系统控制器4将音频音量显示区域91的定位角度范围变宽到从-120°到+120°的范围。

从而，用户可利用滑块904、按钮905和按钮906，改变待被显示在音频音量显示区域91上的定位角度范围。当定位角度范围被修改时，由标记95、96和97指示的定位角度也被相应地修改。

如图20所示，滑块908被用于在用户指定的定位角度范围内设定音频音量平衡。如果在滑块908的滑动范围内当前位置以上的部分被触摸，则滑块被向上平移，且响应于滑块908的位置变化，指定范围内的音频音量平衡值增大。

滑块909被用于在用户操作指定的定位角度范围外设定音频音量平衡。如果用户触摸在滑块909的滑动范围内当前位置以上的部分，则滑块909被向上平移。响应于滑块909的位置变化，指定范围外的音频音量平衡值增大。

如图20所示，在指定的定位角度范围以内及以外的音频音量平衡值现为1∶1，滑块908及滑块909在其滑动范围上都居中。如果滑块908被向上平移四分之一个滑动范围，则系统控制器4将指定定位角度范围内的音频信号和指定定位角度范围外的音频信号之间的音频音量平衡改变为1.5∶1。如果滑块909被向下平移四分之一个滑动范围，则系统控制器4将指定定位角度范围内的音频信号和指定定位角度范围外的音频信号之间的音频音量平衡改变为1.5∶0.5。

系统控制器4控制音频信号处理器2，从而将由用户操作指定的分离角度范围(定位角度范围)内的声音源的音频信号乘以增益值，所述增益值是考虑了响应于用户操作而设定的的音频音量平衡值而确定的。系统控制器4还控制音频信号处理器2，从而将由用户操作指定的分离角度范围(定位角度范围)外的声音源的音频信号乘以增益值，所述增益值是考虑了响应于用户操作而设定的音频音量平衡值而确定的。音频信号处理器2因此测量每个频带中的每个定位角度处的音频音量，并将已调整了增益的音频信号供应到数模转换器3用于播放。

具有配置在显示屏幕上的触摸屏的再现设备100可容易地并快速地指定分离角度和音频音量平衡，而无需频繁地操作遥控器10上的控制器。

在参考图14-20讨论的用于接收来自用户的输入命令的第一用户界面中，来自用户的分离角度(定位角度)命令及音频音量平衡命令被接收，并且指定分离角度范围内的音频信号和指定分离角度范围外的音频信号之间的音频音量平衡被调整。本发明并不局限于这种方法。

除了指定分离角度范围外，还可指定频率范围。可在指定范围内的音频信号和指定范围外的音频信号之间调整音频音量平衡，所述指定范围可表现为指定的分离角度范围和频率范围二者。以下描述第二用户界面。在该第二用户界面中，在指定范围内的音频信号和指定范围外的音频信号之间调整音频音量平衡，所述指定范围可表现为指定的分离角度范围及频率范围二者。

与第一用户界面相同，第二用户界面被应用于图14的再现设备100。与在第一用户界面中相同，在第二用户界面中，用二维平面中的颜色亮度来表示在二维平面的每个频带中的至少两个声道音频信号的每个定位角度处的音频音量值，所述每个声道是多个声音的混合物，其中一个轴表示频率，另一个轴表示定位角度。参考因此而表示的音频音量值，目标分离角度(定位角度)命令、频率范围命令，以及音频音量平衡命令被输入。

在对第二用户界面的讨论中，也参考在对第一用户界面的讨论中所使用的图14、15。使分离角度范围及频率范围能够被指定的第二用户界面也被应用到图14中的再现设备100。

在第二用户界面中，音频信号处理器2测量来自媒体播放器1的在每个预定频带中的每个定位角度处的Lch音频信号和Rch音频信号的音频音量值，并将测量结果供应到系统控制器4。音频信号处理器2还将作为音频信号Lex和音频信号Rex的Lch音频信号和Rch音频信号供应到数模转换器3用于播放。

如先前所讨论的，系统控制器4基于来自音频信号处理器2的在每个预定频带中的每个定位角度处的音频音量值的测量结果，成生用于在显示器9的显示屏幕上显示信息的数据，所述信息与待再现的音频信号中所包含的每个声音源相关。系统控制器4然后将生成的信息供应到显示器9。

当经由遥控器10和命令接收器6发出再现记录在装载在媒体播放器1上的记录介质上的音频信号的命令时，系统控制器4控制媒体播放器1从记录介质读取目标音频信号，并利用音频信号处理器2和数模转换器3再现目标音频信号。

基于来自音频信号处理器2的在每个预定频带中的每个定位角度处的音频音量的测量结果，系统控制器4生成用于显示关于待再现的音频信号中所包含的声音源的信息的数据。系统控制器4将生成的信息供应到显示器9。关于待再现的音频信号中所包含的声音源的信息因此被显示在显示器9的显示屏幕9G上。

将被显示在显示器9的显示屏幕9G上的关于待再现的音频信号中所包含的声音源的信息是以颜色亮度表示的音频音量值，所述颜色亮度与在预定频带上每个定位角度处存在的声音源相关，如参考图15所讨论的。在第二用户界面中，经由操作单元5或遥控器10将音频音量平衡值输入到系统控制器4。

在第二用户界面中，系统控制器4向音频信号处理器2供应包含所接收的分离角度范围和频率范围的分离角度命令信号S1，以及包含所接收的音频音量平衡值的音频音量平衡命令信号S2。这样，系统控制器4生成包含所接收的分离角度范围和频率范围的分离角度命令信号S1，以及包含所接收的音频音量平衡值的音频音量平衡命令信号S2，以将命令信号S1和S2供应到音频信号处理器2。

在接收到包含所接收的分离角度范围和频率范围的分离角度命令信号S1以及包含所接收的音频音量平衡值的音频音量平衡命令信号S2后，音频信号处理器2不仅指定(设定)分离角度范围，而且指定分离角度范围和频率范围的目标范围。音频信号处理器2因此可调整目标范围内的音频信号和目标范围外的音频信号之间音频音量平衡。包含第二用户界面的再现设备100中的音频信号处理器2的结构与图3示出的第一实施方式中的再现设备100中的音频信号处理器2不同。

图21是示出再现设备100中的包含第二用户界面的音频信号处理器2的结构的框图。再现设备100中的包含第二用户界面的音频信号处理器2与图3形成对照的是，除了分离处理器21、音频音量平衡检测器22以及音频音量平衡调整器23外，还包含滤波系数发生器24、滤波单元25以及加法器26和27。滤波单元25由两个带阻滤波器(BEF)和两个带通滤波器(BPF)组成。

如图21所示，系统控制器4将包含所接收的分离角度范围和频率范围的分离角度命令信号S1供应到分离处理器21和滤波系数发生器24的每一个。如先前所讨论的，响应于分离角度命令信号S1中所包含的分离角度范围，分离处理器21将左右声道Lch和Rch的每一个的音频信号分离为指定分离角度内的声音源的音频信号Li和Ri，和指定分离角度外的声音源的音频信号Lo和Ro，并将指定分离角度内的声音源的音频信号Li和Ri分别供应到Lch的BEF和BPF以及Rch的BEF和BPF。分离处理器21还将指定分离角度外的声音源的音频信号Lo和Ro分别供应到Lch的加法器26以及Rch的加法器27。

响应于从系统控制器4供应的包含在分离角度命令信号S1中的频率范围，滤波系数发生器24确定滤波单元25中的两个BEF和两个BPF的滤波系数，并将所确定的滤波系数供应到各自的滤波器。

滤波单元25中的两个BPF仅允许指定分离角度内的声音源的音频信号Li和Ri的指定频率范围内的信号从那里通过。出于此目的，滤波单元25中的两个BPF具有设定在其中的滤波系数，所述滤波系数用于使指定频率范围内的信号从那里通过。

滤波单元25中的两个BEF仅滤除指定分离角度内的声音源的音频信号Li和Ri的指定频率范围内的信号，并仅使得指定分离角度内的声音源的音频信号Li和Ri的指定频率范围外的信号从那里通过。滤波单元25中的两个BEF具有设定在其中的滤波系数，所述滤波系数用于使指定频率范围外的信号从那里通过。

滤波单元25中的两个BPF输出分离角度(分离角度范围)内的信号的指定频率范围内的信号Lii和Rii。换言之，滤波单元25中的两个BPF输出落入指定分离角度范围和频率范围的交叠区域的信号Lii和Rii(由分离角度范围和频率范围定义的指定目标范围内的音频信号)。

滤波单元25中的两个BEF输出指定分离角度内的音频信号的指定频率范围外的音频信号。从两个BEF输出的音频信号被分别供应到加法器26和27。如图21所示，加法器26和27接收指定分离角度外的声音源的音频信号Lo和Ro。加法器26和27输出分离角度范围外的音频信号的指定频率范围外的音频信号Loo和Roo。

这样，滤波单元25中的两个BPF输出分离角度(分离角度范围)内的左右声道的信号的指定频率范围内的音频信号Lii和Rii。滤波单元25中的两个BEF输出左右声道的指定频率范围外的音频信号Loo和Roo。左右声道的目标范围内的音频信号Lii和Rii以及目标范围外的音频信号Loo和Roo被分别供应到音频音量平衡检测器22和音频音量平衡调整器23的每一个。

音频音量平衡检测器22响应于从系统控制器4供应的包含在音频音量平衡命令信号S2中的音频音量平衡值，测量左右声道的目标范围内的音频信号Lii和Rii和目标范围外的音频信号Loo和Roo之间的音频音量平衡。响应于来自系统控制器4的音频音量平衡值，音频音量平衡检测器22确定左右声道的目标范围内的音频信号Lii和Rii的增益值Gi和目标范围外的音频信号Loo和Roo的增益值Go，以使得目标范围内的音频信号Lii和Rii以及目标范围外的音频信号Loo和Roo达到适当的音频音量平衡。音频音量平衡检测器22将增益值Gi和Go供应到音频音量平衡调整器23。

如图21所示，音频音量平衡调整器23基于目标范围内的音频信号Lii和Rii以及目标范围外的音频信号Loo和Roo，目标范围内的音频信号Lii和Rii的增益值Gi以及目标范围外的音频信号Loo和Roo的增益值Go，执行由等式(1)定义的计算操作。音频音量平衡调整器23因此生成并输出Lch的输出音频信号Lex和Rch的输出音频信号Rex。音频音量平衡调整器23令Li＝Lii、Ri＝Rii、Lo＝Loo以及Ro＝Roo来计算等式(1)。也可将除等式(1)外的等式用于生成目标音频信号。

图21中示出的再现设备100中的实现第二用户界面的音频信号处理器2通过工作在指定频带的BPF对指定分离角度范围内的音频信号Li和Ri滤波，从而生成目标范围内的音频信号Lii和Rii，即频率范围内以及分离角度范围内的音频信号Lii和Rii。

音频信号处理器2通过工作在指定频带的BEF对指定分离角度范围内的音频信号Li和Ri滤波，从而生成频率范围外的音频信号。音频信号处理器2然后将所生成的音频信号添加到分离角度范围外的音频信号Lo和Ro，从而生成分离角度范围外以及指定频率范围外的音频信号Loo和Roo。

滤波系数发生器24响应于以静态方式(存储了所有频率范围模式的系数)或动态方式(通过计算)指定的频率范围，生成滤波单元25中的BPF和BEF的滤波系数。构成滤波单元25的BPF和BEF的每一个可由有限脉冲响应(FIR)滤波器或无限脉冲响应(IIR)滤波器构造。

参考在遥控器10上执行的操作以及响应于如下的过程而变化的显示器9的显示屏幕9G上的显示影像，来描述设定用于改变音频音量平衡的分离角度范围和频率范围的过程，以及修改目标范围内的音频信号和目标范围外的音频信号之间的音频音量平衡的过程，所述目标范围是由分离角度范围和频率范围定义的。如图22和23所示，描述了当分离角度范围和频率范围被指定时显示屏幕9G的显示实施例。

在过程的第一阶段，用于再现音频信号的播放操作开始。以与参考图15所讨论的第一用户界面中相同的方式，将显示影像显示在第二用户界面中的显示器9的显示屏幕9G上。如图22所示，通过执行预定的操作，用于指示开始点和结束点之一的指示器P被显示。通过操作右键10a、左键10b、上键10c以及下键10d，用户将指示器P放置在被期望成为开始点S的位置。通过选择输入键10e来输入开始点S。目标范围是由分离角度范围(声音影像的定位角度范围)和频率范围定义的范围。

用户通过利用右键10a将分离角度范围的开始点S向右平移，通过利用左键10b将分离角度范围的开始点S向左平移，通过利用上键10c将频率范围的开始点S向上平移，以及通过利用下键10d将频率范围的开始点S向下平移，来设定开始点S。通过选择输入键10e，用户输入由分离角度范围和频率范围定义的目标范围的开始点S。

通过显示指示音频音量显示区域91的显示屏幕9G上的当前位置的指示器P，可容易地执行用于平移开始点S的命令。

在设定了开始点S之后的第二阶段，用户操作右键10a、左键10b、上键10c以及下键10d，从而将指示器P平移到目标范围的结束点E。当指示器P被放置在结束点E处时，用户选择输入键10e以进行输入。

用户通过利用右键10a将分离角度范围的结束点E向右平移，通过利用左键10b将分离角度范围的结束点E向左平移，通过利用上键10c将频率范围的结束点E向上平移，以及通过利用下键10d将频率范围的结束点E向下平移，来设定结束点E。通过选择输入键10e，用户输入由分离角度范围和频率范围定义的目标范围的结束点E。

系统控制器4响应于用户输入的命令而生成显示数据，然后将所生成的显示数据供应到显示器9。如图23所示，对角线端点位于开始点S和结束点E处的矩形被显示在音频音量显示区域91上。因此可在视觉上识别所指定的目标范围(分离角度范围和频率范围的交叠区域)。

系统控制器4从开始点S和结束点E识别分离角度范围(由图23中的开始点S和结束点E在水平方向上定义的范围)，以及频率范围(由图23中的开始点S和结束点E在垂直方向上定义的范围)。系统控制器4因此生成包含分离角度范围和频率范围的分离角度命令信号S1，并将分离角度命令信号S1供应到音频信号处理器2。

在设定了目标范围的开始点S和结束点E之后的第三阶段中，通过操作遥控器10上的上键10c和下键10d，由对角线端点位于开始点S和结束点E处的矩形定义的范围和所述范围外的区域之间的音频音量平衡被改变，所述目标范围由分离角度范围和频率范围定义。

系统控制器4经由遥控器10上的上键10c和下键10d接收音频音量平衡命令。系统控制器4生成包含音频音量平衡值的音频音量平衡命令信号S2，所述音频音量平衡值与所接收的输入命令相对应，然后将音频音量平衡命令信号S2供应到音频信号处理器2。如参考图21所讨论的，因此可调整指定目标范围和指定目标范围外部之间的音频音量平衡。

如果由当前的开始点S和结束点E定义的指定范围和指定范围外部之间的音频音量平衡值是1∶1，则操作上键10c可将音频音量平衡值修改为1.1∶0.9。如果由当前的开始点S和结束点E定义的指定范围和指定范围外部之间的音频音量平衡值是1∶1，则操作下键10d可将音频音量平衡值修改为0.9∶1.1。

通过执行从第一阶段到第三阶段的操作，再现设备100的用户指定了由分离角度范围和频率范围的交叠区域定义的目标范围，并调整了指定范围和指定范围外部之间的音频音量平衡。更具体而言，用户选择了具体的分离角度范围以及具体的频率范围，并调整了所选择的范围内及/或所选择的范围外的音频音量。

第二用户界面中执行的系统控制器4的处理也与参考图18和19所讨论的第一用户界面中的处理相同。更具体而言，开始点S和结束点E被指定用于定义目标范围。通过发出对目标范围和目标范围外部之间的音频音量平衡的调整命令，来调整音频音量平衡。

与参考图20所讨论的第一用户界面中相同，在第二用户界面中，通过在显示屏幕9G上的触摸屏9TP上设定开始点S和结束点E，来指定作为分离角度范围和频率范围的交叠区域的目标范围。音频音量平衡被指定。因此目标范围和目标范围外部之间的音频音量平衡被调整。

在第二用户界面的情况下，如图21中所配置的音频信号处理器2调整由分离角度范围和频率范围定义的指定范围和指定范围外部之间的音频音量平衡。如图5和6所示地配置的音频信号处理器2也调整由分离角度范围和频率范围定义的指定范围和指定范围外部之间的音频音量平衡。

在第一用户界面中，分离角度范围被指定。在第二用户界面中，采用由分离角度范围和频率范围定义的指定范围。当如第二和第四实施方式之一中那样指定目标音频信号的类型时，可采用各种选择方法。例如，可将指定音频信号的类型预先注册在再现设备或记录及再现设备中，然后可从所记录的指定音频信号的类型中选择目标音频信号。

在第一用户界面中指定了分离角度范围，而在第二用户界面中指定了由分离角度范围和频率范围定义的指定范围。或者，仅频率范围被指定，频率范围和频率范围外部之间的音频音量平衡可被调整。

根据第一和第二实施方式，媒体播放器1再现来自记录介质的音频信号(以及视频信号)。本发明并不局限于此配置。本发明可应用于诸如调谐器(tuner)之类的再现设备，所述调谐器接收并解调各种广播信号，并输出音频信号(以及视频信号)。例如，调谐器接收调幅(AM)广播信号、调频(FM)广播信号、电视广播信号，以及卫星广播信号。

本发明可应用于除媒体播放器1或调谐器外的诸如放大器之类的音频信号处理设备。例如，音频信号处理设备接收由外部装置再现(接收)的音频信号之一，并对所输入的音频信号执行音频信号处理。

本发明可应用于记录设备或记录及再现设备。记录设备或记录及再现设备可包含调谐器，所述调谐器接收并解调调幅(AM)广播信号、调频(FM)广播信号、电视广播信号，以及卫星广播信号之一，并输出音频信号(及视频信号)。记录设备或记录及再现设备将所接收的已调谐的广播信号存储在其记录介质上。

在图15-17、20、22及23中的显示器9的显示屏幕9G的音频音量显示区域91中，音频音量电平越高，音频信号的绘图变得越白，而音频音量电平越低，音频信号的绘图变得越黑。或者，音频音量电平越高，音频信号的绘图变得越黑，而音频音量电平越低，音频信号的绘图变得越白。

显示器9的显示屏幕9G上的音频音量显示区域91可以是彩色显示器。例如，显示器颜色可在预定分离角度范围的步骤中被改变。音频音量电平越高，音频信号的绘图的颜色变得越深，而音频音量电平越低，音频信号的绘图的颜色变得越浅。或者，音频音量电平越高，绘图的颜色变得越浅，而音频音量电平越低，绘图的颜色变得越深。显示器颜色可基于每一分离角度范围以及基于每一频带而改变，并且在任意的预定的分离范围以及预定的频率范围内，颜色根据如上所述的规则改变。

不仅可用颜色表示音频音量的电平，而且可以三维的方式在显示器9的显示屏幕9G上的音频音量显示区域91中表示音频音量的电平。可在除二维屏幕外的三维屏幕上表示音频音量。垂直轴和水平轴可逆。换言之，垂直轴可表示位置角度而水平轴可表示频率。

在参考图14-20所讨论的第一用户界面中，分离角度范围被选择并且通过操作遥控器10上的右键10a、左键10b、上键10c以及下键10d来调整所选择的范围和所选择的范围外部之间的音频音量平衡。可将另一过程及另一方法用于指定范围。可将除遥控器外的诸如鼠标或触摸屏之类的点选(pointing)装置用于指定范围。

在鼠标的情况下，用户点击鼠标按钮来设定开始点S。然后将鼠标拖到结束点E(移动鼠标的光标)，并在那里释放鼠标以输入结束点E。

在参考图14-20所讨论的修改例中，单个分离角度范围被设定。可设定多个分离角度范围以修改音频音量平衡。

在参考图21-23所讨论的第二用户界面中，对角线端点位于开始点S和结束点E处的矩形被设定用于分离角度范围和频率范围。或者，可采用圆或椭圆。圆或椭圆的内部区域可以是所指定的范围。

可用以开始点S为圆心具有经过结束点E的半径的圆的内部区域指定分离角度范围以及频率范围的目标区域。可用用户利用鼠标或触摸屏描绘的闭合的环的内部区域指定分离角度范围以及频率范围的目标区域。可采用任何过程、方法或装置，只要通过它们可指定范围即可。

在参考图21-23所讨论的第二用户界面中，采用了由分离角度范围和频率范围定义的单个目标范围。可采用多个目标范围而且可在每个目标范围中修改音频音量平衡。

图24A和24B以及图25A和25B示出目标范围的其他实施例(由分离角度范围和频率范围定义)。如图24A所示，用户可利用点选装置指定单个点x，然后可以点x为中心配置分离角度范围和频率范围。

如图24A所示，分离角度范围包含以点x为中心的总共20°的范围，即距点x向右10°的范围和向左10°的范围，而频率范围包含总共4000Hz的范围，即点x之上2000Hz的范围和点x之下2000Hz的范围。因此，自动地产生矩形区域X。如箭头a、b、c及d表示的，通过移动其四个边可扩展或收缩矩形区域X。

如图24B所示，通过指定一个点将椭圆指定为第一范围。与图24A中相同，在图24B中首先指定单个点x。具有垂直对准的长轴的椭圆被设定为以点x为中心。如图24B中的箭头e所示，可扩展或收缩椭圆。

椭圆被用于设定分离角度范围和频率范围。本发明并不局限于此配置。或者，可将圆，或半圆，或各种形状的任一种用于设定范围。通过修改范围，用户设定目标范围。

如图24B中的范围91a、91b、91c和91d所示，可设定多个分离角度范围(每个分离角度范围确定分离角度范围及频率范围)。范围91a、91b、91c和91d的每一个和其外部之间的音频音量平衡被指定。范围91a、91b、91c和91d的每一个和其外部之间的音频音量平衡因此被调整。

更具体而言，与范围91a、91b、91c和91d对应的乐器的音频信号的音频音量平衡值被增大而其他乐器或噪音的音频音量平衡值被降低。相反地，与范围91a、91b、91c和91d对应的乐器的音频信号的音频音量平衡值可被降低而其他乐器的音频音量平衡值可被增大。

考虑到包含于音频内容中的声音源的扩展，具有目标声音源的范围被设定，并且音频音量平衡被调整。换言之，根据包含从中获得音频信号的声音源的区域(由声音影像的频率范围及/或定位角度范围定义的分离角度范围)来确定平衡调整的方式，并根据所述方式执行音频音量平衡调整。

如图25A所示，音频音量显示区域91可具有扇形形状。如图25A所示，扇形的中心角与定位角度相匹配而每条射线表示频率范围。如果扇形的中心点α表示收听者的位置，则可直观地理解音频信号中所包含的声音源的位置。

现指定了其中声音影像被定位于收听者左侧的声音源范围。例如，如图25B中所示，在收听者左侧设定了范围71e。通过扩展或收缩范围71e或在位置上平移范围71e，包含目标声音源的频率范围和定位角度范围被设定。音频音量显示区域91的形状并不局限于矩形以及扇形。诸如圆、椭圆、菱形、梯形之类的各种形状可被采用。

在上述实施方式的每一个中，可从频率特征及乐器的泛音(overtone)频率成分来识别乐器，并且可将乐器的影像或名称显示在显示器9的音频音量显示区域91上。目标声音源的类型可被指示出来。

本发明可应用于再现设备、记录设备，以及记录及再现设备，每种设备都用于再现或记录音频信号。本发明还可应用于音频信号处理设备，例如具有接收并解调广播信号功能的接收设备、具有再现音乐及视频功能的个人计算机，或用于响应于音频信号执行放大处理的功率放大器。本发明还可应用于用于对组成音频信号，以及包含要被同步再现的音频信号和视频信号的音频/视频(AV)信号的内容信号进行处理的各种电子设备。

所指定的分离角度和音频音量平衡或声音源类型和音频音量平衡可与待处理内容的识别ID相关联，然后被存储在系统控制器4的存储器上。当再现相应的内容时，以指定的方式对指定范围内及/或指定范围外的音频信号进行增益调整，从而根据用户的偏爱将其再现。

所指定的分离角度和音频音量平衡或声音源类型和音频音量平衡可被赋予诸如音频信号之类的内容数据。如果内容数据被传输到另一设备，则在那个设备上基于指定范围及/或指定范围外部的增益值以及指定频率范围和定位角度范围再现所述内容。

响应于指定分离角度和音频音量平衡的调整或响应于声音源类型和音频音量平衡的调整可被应用于全部的或部分的内容数据。

在此情况下，可用时间、帧数以及指示在内容上位置的信息来指定调整的应用时间。例如，将调整应用到整个内容，或应用到如下的周期的内容，所述周期开始于内容头部(head)之后的某个时间，或者开始于内容头部之后的几个帧。

响应于来自用户的分离角度和音频音量平衡，本发明的实施方式的设备确定定位于分离角度内的声音源的音频信号和定位于分离角度外的声音源的音频信号之间的音频音量平衡，并且自动地调整音频音量平衡。因此设备每次处理处于适当音频音量平衡的内容而无需用户干预。

响应于来自用户的声音源类型和音频音量平衡，本发明的实施方式的设备确定指定声音源的音频信号和其他声音源的音频信号之间的音频音量平衡，并且自动地调整音频音量平衡。因此设备每次处理处于适当音频音量平衡的内容而无需用户干预。

更具体而言，分离角度命令信息、声音源类型命令信息以及音频音量平衡信息被输入并被存储在设备的存储器上或被作为元数据附加到音频信号(音频内容)。基于这些信息，目标人物的话音和目标乐器的声音更大声，而其余声音变小。诸如机械噪音或风声之类的音频信号可能阻碍收听目标声音源的音频信号。可使这样的干扰音频信号更不容易听到。

响应于来自用户的分离角度命令和音频音量平衡命令、或声音源类型命令和音频音量平衡命令，本发明的实施方式的设备提供用于调整的适当的音频音量平衡而无需用户干预。

本技术领域内的技术人员应理解，根据设计需求和其他因素可出现各种修改例、组合、子组合以及替代物，只要它们落入随附权利要求或其等价物的范围内。

相关申请的交叉引用

本发明包含与2006年8月9日递交到日本特许厅的日本专利申请JP2006-216820相关的主题，所述申请的全部内容通过引用结合于此。

Claims (18)

1.一种用于处理音频信号的设备，包括：

分离器，用于将输入的音频信号分离为由用户指定的第一音频信号和不包含所述第一音频信号的第二音频信号；

测量单元，用于测量所述第一音频信号和所述第二音频信号之间的音频音量平衡；以及

调整器，用于基于由所述用户指定的音频音量平衡来计算对所述第一音频信号的音频音量的调整值和对所述第二音频信号的音频音量的调整值，以及调整所述第一和第二音频信号之间的音频音量平衡。

2.如权利要求1所述的设备，其中所述分离器分离出作为所述第一音频信号的定位于由所述用户指定的分离角度内的音频信号，以及作为所述第二音频信号的定位于所述分离角度外的声音源的音频信号。

3.如权利要求1所述的设备，其中所述分离器分离出作为所述第一音频信号的由所述用户指定的类型的声音源的音频信号，以及作为所述第二音频信号的不包含由所述用户指定的所述声音源类型的声音源的音频信号。

4.如权利要求1所述的设备，还包括记录器，该记录器用于记录已经被所述调整器调整了音频音量平衡的所述第一音频信号和所述第二音频信号。

5.如权利要求1所述的设备，还包括用于存储多条音频模型数据的存储器，

其中所述分离器分离出作为所述第一音频信号的人的话音的音频信号，以及作为所述第二音频信号的非人的话音的音频信号。

6.如权利要求1所述的设备，还包括用于存储多条乐器模型数据的存储器，

其中所述分离器分离出作为所述第一音频信号的乐器声音的音频信号，以及作为所述第二音频信号的不包含乐器声音的音频信号。

7.一种用于处理音频信号的方法，包括以下步骤：

将输入的音频信号分离为由用户指定的第一音频信号和不包含所述第一音频信号的第二音频信号；

测量所述第一音频信号和所述第二音频信号之间的音频音量平衡；以及

基于由所述用户指定的音频音量平衡来计算对所述第一音频信号的音频音量的调整值和对所述第二音频信号的音频音量的调整值，以及调整所述第一和第二音频信号之间的音频音量平衡。

8.如权利要求7所述的方法，其中所述分离步骤包括分离出作为所述第一音频信号的定位于由所述用户指定的分离角度内的音频信号，以及作为所述第二音频信号的定位于所述分离角度外的声音源的音频信号。

9.如权利要求7所述的方法，其中所述分离步骤包括分离出作为所述第一音频信号的由所述用户指定的类型的声音源的音频信号，以及作为所述第二音频信号的不包含由所述用户指定的所述声音源类型的声音源的音频信号。

10.如权利要求7所述的方法，还包括记录已经被所述调整器调整了音频音量平衡的所述第一音频信号和所述第二音频信号的步骤。

11.如权利要求7所述的方法，还包括存储多条音频模型数据的步骤，

其中所述分离步骤包含分离出作为所述第一音频信号的人的话音的音频信号，以及作为所述第二音频信号的非人的话音的音频信号。

12.如权利要求7所述的方法，还包括存储多条乐器模型数据的步骤，

其中所述分离步骤包含分离出作为所述第一音频信号的乐器声音的音频信号，以及作为所述第二音频信号的不包含乐器声音的音频信号。

13.一种用以使计算机处理音频信号的程序，所述程序包括以下步骤：

将输入的音频信号分离为由用户指定的第一音频信号和不包含所述第一音频信号的第二音频信号；

测量所述第一音频信号和所述第二音频信号之间的音频音量平衡；以及

基于由所述用户指定的音频音量平衡来计算对所述第一音频信号的音频音量的调整值和对所述第二音频信号的音频音量的调整值，以及调整所述第一和第二音频信号之间的音频音量平衡。

14.如权利要求13所述的程序，其中所述分离步骤包括分离出作为所述第一音频信号的定位于由所述用户指定的分离角度内的音频信号，以及作为所述第二音频信号的定位于所述分离角度外的声音源的音频信号。

15.如权利要求13所述的程序，其中所述分离步骤包括分离出作为所述第一音频信号的由所述用户指定的类型的声音源的音频信号，以及作为所述第二音频信号的不包含由所述用户指定的所述声音源类型的声音源的音频信号。

16.如权利要求13所述的程序，还包括记录已经被所述调整器调整了音频音量平衡的所述第一音频信号和所述第二音频信号的步骤。

17.如权利要求13所述的程序，还包括存储多条音频模型数据的步骤，

其中所述分离步骤包含分离出作为所述第一音频信号的人的话音的音频信号，以及作为所述第二音频信号的非人的话音的音频信号。

18.如权利要求13所述的程序，还包括存储多条乐器模型数据的步骤，

其中所述分离步骤包含分离出作为所述第一音频信号的乐器声音的音频信号，以及作为所述第二音频信号的不包含乐器声音的音频信号。

Images