CN101771392A - 信号处理装置、信号处理方法和程序 - Google Patents

Abstract

本发明公开了信号处理装置、信号处理方法和程序。一种信号处理装置包括根据内容项中的音频信号生成第一音频调节信息的第一音频调节信息生成器、声音输入单元、声音输出单元、将皆从声音输出单元输出并且由声音输入单元检测到音频信号和噪声信号相分离的音频分离器、根据由音频分离器分离出的噪声信号生成第二音频调节信息的第二音频调节信息生成器，根据第一和第二音频调节信息来调节在声音输出单元中输出的音频信号的音量的音频调节单元。

Description

信号处理装置、信号处理方法和程序

技术领域

本发明涉及信号处理装置，更具体地说，本发明涉及能够自动控制音频信号的音量的信号处理装置、信号处理方法以及在计算机上执行该方法的程序。

背景技术

近年来，因为已经广泛引入诸如多声道TV和DVD(数字通用盘)之类的新设备，因此通过记录/再现装置来再现多种AV(视听)内容项。在这种情况下，因为音频信号水平(audio signal level)根据内容项而显著不同，因此观众应当为每个内容项手动调节音频信号的输出水平。为了解决该问题，已经发明了用于为每个内容项调节声音的输出水平的方法。例如，已经提出能够根据内容项中所包括的场景来自动调节声音音量的记录/再现装置。(例如参见公开号为2007-53510的日本未审查专利申请中的图1。)

另外，噪声水平(noise level)可能根据观众的视听环境而不同。因此，观众应当响应于噪声水平而手动调节从记录/再现装置输出的声音的音量。为了解决该问题，已经提出能够根据麦克风所捕捉的信号来检测噪声水平并且根据所检测到的噪声水平来调节输出声音音量的声音输出设备。(例如参见编号为3286981的日本专利中的图1)。

发明内容

上述现有技术中的前者能够根据内容项中所包括的场景自动调节声音音量。然而，在这种情况下，每当观众的视听环境中的噪声水平发生变化时，就应当手动调节音量以应对该变化。另一方面，后者能够根据视听环境中的噪声水平来调节输出声音的音量。然而，如果内容项的音频信号水平发生变化，那么应当针对每个内容项手动调节音量。

这样，在现有技术的情况下，应当就环境噪声水平和内容项的声音音量来手动调节音量。

本发明是考虑到这些情况而提出的；希望将音频信号水平调节至其最佳输出水平。

根据本发明的实施例，提供了信号处理装置、信号处理方法，以及在计算机上执行信号处理的程序。所述装置具有：被配置为根据内容项中所包括的音频信号生成第一音频调节信息的第一音频调节信息生成器；被配置为将所述音频信号与噪声信号相分离的音频分离器，所述音频信号和噪声信号都是从声音输出单元输出并且由声音输入单元检测到的；被配置为根据由音频分离器分离出的噪声信号生成第二音频调节信息的第二音频调节信息生成器；以及被配置为根据第一和第二音频调节信息来调节将从声音输出单元输出的音频信号输出的音量的音频调节单元。因此，提供了如下效果：可以根据第一音频调节信息和第二音频调节信息来调节音频信号的音量，第一音频调节信息是根据音频信号生成的，第二音频调节信息是根据噪声信号生成的。

在第一实施例中，以下情况是可能的：第一音频调节信息生成器根据音频信号的频率特性和人类听觉特性生成第一音频调节信息；第二音频调节信息生成器根据噪声信号的信号水平生成第二音频调节信息；并且音频调节单元随着第一音频调节信息变大而减小音频信号的音量，并且随着第二音频调节信息变大而增大音量。因此，音频调节单元具有以下效果：音频调节单元随着根据音频信号的频率特性和人类听觉特性而生成的第一音频调节信息变大而减小音频信号的音量，并且随着根据噪声信号的信号水平而生成的第二音频调节信息变大而增大音量。在这种情况下，以下情况是可能的：第一音频调节信息生成器具有声音判定单元，该声音判定单元被配置为根据音频信号的周期性和信号水平来判定音频信号是有音还是无音，并且当声音判定单元判定音频信号是有音时，音频调节单元与声音判定单元判定音频信号是无音时相比增大音频信号的音量。因此，音频调节单元具有以下效果：当根据音频信号的周期性和信号水平来判定音频信号是有音还是无音的结果指示有音时，音频调节单元与其指示无音时相比增大音频信号的音量。

以下情况也是可能的：第一音频调节信息生成器根据音频信号的频率特性和人类听觉特性生成第一音频调节信息；第二音频调节信息生成器根据噪声信号的信号水平生成第二音频调节信息；音频调节单元随着第一音频调节信息变大而减小音频信号的音量，并且随着第二音频调节信息变大而增大音量；第一音频调节信息生成器还具有无音判定单元，该无音判定单元被配置为根据音频信号的信号水平来判定音频信号是否是无音，从而音频调节单元在无音判定单元判定音频信号是无音时不增大音频信号的音量。其有效之处在于当根据音频信号的信号水平判定音频信号是无音时不增大音频信号的音量。

在第一实施例中，音频分离器可能根据音频信号计算音频信号与噪声信号中所包括的音频信号之间的相似性，并且根据该相似性来估计噪声信号。其有效之处在于音频分离器从噪声信号中消除根据音频信号估计的、噪声信号中所包括的音频信号。在该实施例中，音频分离器可能具有回声消除器。其有效之处在于音频分离器的回声消除器消除在噪声信号中包括的音频信号。

根据本发明的实施例，可以获得将音频信号调节为其最佳输出水平的优越效果。

附图说明

图1是图示出根据本发明第一实施例的记录/再现装置的配置示例的框图；

图2是图示出根据本发明第一实施例的内容分析信息生成器和环境噪声分析信息生成器的配置示例的框图；

图3是图示出根据本发明第一实施例的音频调节单元的配置示例的框图；

图4是图示出根据本发明第一实施例的环境噪声分离器的配置示例的框图；

图5图示出根据本发明第二实施例的由内容分析信息生成器生成的内容分析信息的数据格式示例；

图6图示出根据本发明第二实施例的由环境噪声分析信息生成器生成的环境噪声信息的数据格式示例；

图7图示出根据本发明第三实施例的用于在音频调节单元中计算目标增益的方法示例；

图8图示出根据本发明第三实施例的用于通过压缩处理单元调节音量的方法示例；

图9是与根据本发明第三实施例的用于通过均衡化处理单元调节音量的方法示例有关的示意图；

图10是图示出根据本发明第四实施例的用于通过记录/再现装置处理音频调节的过程示例的流程图；

图11是图示出根据本发明第四实施例的用于通过音频调节单元处理音频调节(步骤S950)的过程示例的流程图。

具体实施方式

根据下面列出的顺序来详细描述用于实现本发明的优选实施例(在下文中简称为实施例)。

1.第一实施例(控制音频信号的音量：记录/再现装置的配置示例)

2.第二实施例(控制音频信号的音量：控制信息的数据格式示例)

3.第三实施例(控制音频信号的声音水平：计算增益的方法示例)

4.第四实施例(控制音频信号的音量：用于控制音量的过程示例)

<1.第一实施例>

[记录/再现装置的配置示例]

图1是图示出根据本发明第一实施例的记录/再现装置的配置示例的框图。记录/再现装置100包括天线110、调谐器120、内容记录单元130、内容再现单元140、内容分析信息生成器150和扬声器160。另外，记录/再现装置100具有麦克风170、环境噪声分离器180、环境噪声分析信息生成器190和音频调节单元200。

天线110用于接收广播信号。天线110接收例如由地面广播系统、广播卫星和通信卫星发送的广播信号。

调谐器120对天线110所接收的信号进行解调。调谐器120把作为解调后的、所接收到的数据的内容数据提供给内容再现单元140。这里的内容数据例如包括诸如地面广播、广播卫星和通信卫星内容项之类的广播内容项，以及伴随广播内容项的诸如EPG之类的元数据。

内容记录单元130把从调谐器120提供的内容数据转换为给定数据格式然后将其记录。内容记录单元130把记录于其中的内容数据提供给内容再现单元140。这里，已经描述了记录从调谐器120输出的内容数据的示例，但是也可以通过向记录/再现装置100添加AV输入端子来记录从外部设备提供的内容数据。

内容再现单元140再现从调谐器120或者内容记录单元130提供的内容数据。内容再现单元140对例如从调谐器120提供的声音数据进行解调，以生成音频信号。内容再现单元140对来自内容记录单元130的AV内容数据中所包括的影像数据和与影像数据相对应的声音数据进行解调，以生成影像和音频信号。

另外，内容再现单元140经由信号线149和201将解调后的音频信号提供给内容分析信息生成器150和音频调节单元200。内容再现单元140除了提供解调后的音频信号之外还提供例如影像数据和元数据。另外，内容再现单元140对从调谐器120提供的内容数据进行解调，然后将解调后的内容数据提供给内容记录单元130。

内容分析信息生成器150分析从内容再现单元140提供的内容数据，以生成关于在内容再现单元140处再现的音频信号的内容分析信息。内容分析信息生成器150根据从内容再现单元140提供的音频信号，为每个帧生成内容分析信息。这里，帧是从音频信号获得的一定数目的样本。内容分析信息生成器150根据从内容再现单元140提供的音频信号的频率特性来生成内容分析信息。

内容分析信息生成器150例如确定内容项中的场景的种类(CM(Commercial Message，商业广告)/新闻节目)，并且将确定结果作为内容分析信息提供给音频调节单元200。在该实施例中，内容分析信息生成器150根据诸如内容项中的影像信号的亮度信息之类的时间响应来检测场景。另外，内容分析信息生成器150将检测结果与诸如EPG(电子节目指南)数据之类的信息相组合以确定场景的种类。

内容分析信息生成器150把所生成的内容分析信息提供给音频调节单元200。内容分析信息生成器150是根据本发明一实施例的第一音频调节信息生成器的示例。内容分析信息是根据本实施例的第一音频调节信息的示例。

扬声器160是把从音频调节单元200提供的音频信号输出为输出声音的扩音器。扬声器160是根据本发明一实施例的声音输出单元的一个示例。

麦克风170是捕捉记录/再现装置100周围的周围声音的麦克风。麦克风170把所捕捉的周围声音转换为电信号，并且将它们作为噪声信号提供给环境噪声分离器180。噪声信号包括从扬声器160输出的输出声音和任何其他环境噪声。麦克风170是根据本发明一实施例的声音输入单元的一个示例。

环境噪声分离器180根据从麦克风170提供的噪声信号和从音频调节单元200提供的音频信号来消除噪声信号中所包括的从扬声器160输出的输出声音。具体而言，环境噪声分离器180对从麦克风170提供的输出自扬声器160的音频信号成分和作为环境噪声信号成分的噪声信号成分进行分离。

环境噪声分离器180根据从音频调节单元200提供的音频信号来计算从音频调节单元200提供的音频信号与噪声信号中所包括的输出声音之间的相似性，并且根据计算出的相似性来估计环境噪声信号。环境噪声分离器180例如由回声消除器(echo canceller)构成。环境噪声分离器180将分离出的环境噪声信号经由信号线189提供给环境噪声分析信息生成器190。环境噪声分离器180是根据本发明一实施例的音频分离器的示例。

环境噪声分析信息生成器190分析从环境噪声分离器180提供的环境噪声信号，以生成关于环境噪声信号的环境噪声分析信息。环境噪声分析信息生成器190根据从环境噪声分离器180提供的环境噪声信号来生成环境噪声分析信息。环境噪声分析信息生成器190例如根据从环境噪声分离器180提供的环境噪声信号的信号水平来生成环境噪声分析信息。另外，环境噪声分析信息生成器190将所生成的环境噪声分析信息提供给音频调节单元200。环境噪声分析信息生成器190是根据本发明一实施例的第二音频调节信息生成器的一个示例。环境噪声分析信息是根据该实施例的第二音频调节信息的一个示例。

音频调节单元200根据来自内容分析信息生成器150的内容分析信息和来自环境噪声分析信息生成器190的环境噪声分析信息来调节从内容再现单元140提供的音频信号的音量。音频调节单元200把调节后的音频信号经由信号线209提供给扬声器160和环境噪声分离器180。音频调节单元200是根据本发明一实施例的音频调节单元的一个示例。

[内容分析信息生成器和环境噪声分析信息生成器的配置示例]

图2是图示出根据本发明第一实施例的内容分析信息生成器150和环境噪声分析信息生成器190的配置示例的框图。这里，通过向作为与图1所示音频调节单元200相同的单元的音频调节单元200分配相同标号来省略对其的描述。

内容分析信息生成器150包括声音水平计算器151、无音判定单元152、基音增益(pitch gain)计算器153、声音判定单元154、功率谱(power spectrum)计算器155和响度水平(loudness level)计算器156。环境噪声分析信息生成器190具有噪声水平计算器191和功率谱计算器192。

声音水平计算器151针对每个帧计算经由信号线149提供的音频信号的信号水平。声音水平计算器151计算如下的信号水平来作为声音水平：该信号水平是音频信号的每个帧的采样值的均方根(功率值)。声音水平计算器151将计算出的声音水平提供给无音判定单元152和声音判定单元154，以及音频调节单元200。

无音判定单元152根据从声音水平计算器151提供的音频信号的声音水平来判定该音频信号是否为无音。无音判定单元152根据来自声音水平计算器151的声音水平和预先确定的阈值Ts(声音水平阈值)来判定该音频信号是否为无音，然后根据判定结果来生成无音判定信息。如果声音水平低于阈值，那么无音判定单元152例如生成指示无音(silent sound)的无音判定信息(Silence Flag(静默标志)＝真)。另一方面，如果声音水平等于或者高于阈值，那么无音判定单元152生成指示有音(non-silentsound)的无音判定信息(Silence Flag＝假)。无音判定单元152将所生成的无音判定信息作为内容分析信息提供给音频调节单元200。无音判定单元152是根据本发明一实施例的无音判定单元的一个示例。

基音增益计算器153分析经由信号线149提供的音频信号以计算基音增益。这里，基音增益是指示人声的特征之一的基音成分的强度的指标。基音增益计算器153根据经由信号线149提供的音频信号的周期性来计算每个帧的基音增益。基音增益计算器153将计算出的基音增益提供给声音判定单元154。

声音判定单元154根据从声音水平计算器151提供的声音水平和从基音增益计算器153提供的基音增益来判定来自内容再现单元140的音频信号是有音还是无音。具体而言，声音判定单元154根据音频信号在时域中的周期性和音频信号的信号水平来判定音频信号是否是有音。声音判定单元154根据判定结果来生成声音判定信息。

如果声音水平等于或者高于阈值Ts(声音水平阈值)并且基音增益等于或者高于给定阈值Tp(基音增益阈值)，那么声音判定单元154例如生成指示有音的声音判定信息。在任何其他情况下，声音判定单元154生成指示无音的声音判定信息。声音判定单元154存储与声音水平和基音增益相对应的特征值，以稍后获得与来自声音水平计算器151的声音水平和来自基音增益计算器153的基音增益相对应的音频信号的特征值。声音判定单元154在音频信号的特征值等于或者高于预先确定的阈值Tf(特征值阈值)的情况下生成指示有音的声音判定信息，而在特征值低于阈值的情况下生成指示无音的声音判定信息。另外，声音判定单元154将所生成的声音判定信息作为内容分析信息提供给音频调节单元200。声音判定单元154是根据本发明一实施例的声音判定单元的一个示例。

功率谱计算器155根据经由信号线149提供的音频信号的频率特性来计算音频信号的功率谱。功率谱计算器155将计算出的功率谱提供给响度水平计算器156。

响度水平计算器156根据从功率谱计算器155提供的功率谱来计算响度水平。这里，响度水平是在考虑人类听觉特性的情况下的声音大小的指标。具体而言，响度水平计算器156根据音频信号的频率特性和人类听觉特性来计算响度水平。

响度水平计算器156例如根据ISO(国际标准化组织)532B中所规定的条款来计算响度水平。在该示例中，响度水平计算器156为每个临界带生成对应于音频信号功率的遮蔽曲线(masking curve)。另外，响度水平计算器156计算多个所生成的遮蔽曲线的重叠区域，以进一步计算响度水平。另外，响度水平计算器156将计算出的响度水平作为内容分析信息提供给音频调节单元200。响度水平计算器156是根据本发明一实施例的第一音频调节信息生成器的一个示例。

噪声水平计算器191为每个帧计算经由信号线189提供的环境噪声信号的信号水平。噪声水平计算器191计算环境噪声信号的信号水平来作为噪声水平，该信号水平是来自每个帧的采样值的均方根(功率值)。噪声水平计算器191将计算出的噪声水平作为环境噪声分析信息提供给音频调节单元200。噪声水平计算器191是根据本发明一实施例的第二音频调节信息生成器的示例。

功率谱计算器192根据经由信号线189提供的环境噪声信号的频率特性来计算环境噪声信号的功率谱。功率谱计算器192将计算出的功率谱作为环境噪声分析信息提供给音频调节单元200。

[音频调节单元的配置示例]

图3是图示出根据本发明第一实施例的音频调节单元200的配置示例的框图。

音频调节单元200包括增益特性确定单元210、目标增益计算器220、经调节增益计算器230、增益设定单元240、压缩处理单元251、均衡化处理单元252、总音量放大器253和调节带设定单元260。

增益特性确定单元210根据内容分析信息和环境噪声分析信息来确定在计算音频信号的音量增量时使用的增益特性。增益特性确定单元210根据来自响度水平计算器156的响度水平、来自声音判定单元154的声音判定信息和来自噪声水平计算器191的噪声水平来确定增益特性。增益特性确定单元210包括最大增益表211、最大增益获取单元212、增益特性斜率确定单元213和最小噪声水平提取单元214。

最大增益表211保存与音频信号的响度水平和噪声水平相对应的增益特性中的最大增益。增益特性中的最大增益是增益特性中的上限值，它被包括来防止音频信号被过度放大。最大增益表211把与来自最大增益获取单元212的音频信号的响度水平和噪声水平相对应的最大增益输出到单元212。

最大增益表211在音频信号的响度水平较高从而观众容易察觉到音频信号时输出具有较小值的最大增益，并且在音频信号的响度水平较低从而难以察觉到音频信号时输出具有较大值的最大增益。另一方面，最大增益表211在噪声水平较高从而表明环境噪声较大时输出具有较大值的最大增益，并且在噪声水平由于环境噪声较小而较低时输出具有较小值的最大增益。具体而言，最大增益表211在音频信号的响度水平较高时输出具有较小值的最大增益，并且在音频信号的噪声水平较高时输出具有较大值的最大增益。

最大增益获取单元212根据从响度水平计算器156提供的响度水平和从噪声水平计算器191提供的噪声水平来获取增益特性中的最大增益。最大增益获取单元212针对每个帧把来自响度水平计算器156的响度水平和来自噪声水平计算器191的噪声水平提供给最大增益表211。另外，最大增益获取单元212从最大增益表211获取与来自响度水平计算器156的响度水平和来自噪声水平计算器191的噪声水平相对应的最大增益。另外，最大增益获取单元212将所获取的最大增益提供给目标增益计算器220。最大增益获取单元212是根据本发明一实施例的音频调节单元的一个示例。

这里，已经描述了根据音频信号的响度水平来获取最大增益的示例，但是也可以根据音频信号的声音水平而非音频信号的响度水平来获取最大增益。此外，已经描述了根据环境噪声信号的噪声水平来获取最大增益的示例，但是也可以通过在环境噪声分析信息生成器190处生成环境噪声信号的响度水平而非噪声水平并且在最大增益获取时使用该响度水平来获取最大增益。

增益特性斜率确定单元213根据从声音判定单元154提供的声音判定信息来确定增益特性中的斜率。与声音判定信息指示无音时相比，在声音判定信息指示有音时，增益特性斜率确定单元213使增益特性斜率更大。

增益特性斜率确定单元213例如存储增益特性斜率并且在声音判定信息指示有音时选择比在声音判定信息指示无音时具有更大值的增益特性斜率。另一方面，增益特性斜率确定单元213在声音判定信息指示无音时选择比在声音判定信息指示有音时具有更小值的增益特性斜率。另外，增益特性斜率确定单元213把所选择的增益特性中的斜率提供给目标增益计算器220。增益特性斜率确定单元213是根据本发明一实施例的音频调节单元的一个示例。这里，已经描述了根据声音判定信息来确定增益特性斜率的一个示例，但是也可以根据将要再现的内容项的场景种类来确定增益特性斜率。

最小噪声水平提取单元214提取从噪声水平计算器191提供的每个帧的噪声水平的最小噪声水平。最小噪声水平提取单元214例如提取作为给定时段内的最小噪声水平的最小噪声水平，并且在所提取的最小噪声水平低于先前提取的那些时把该最小噪声水平保留为新的最小噪声水平。最小噪声水平提取单元214把所提取的最小噪声水平作为背景噪声水平提供给目标增益计算器220。

目标增益计算器220通过使用从增益特性确定单元210提供的增益特性中的最大增益、斜率和背景噪声水平，根据来自噪声水平计算器191的噪声水平来计算目标增益。目标增益计算器220通过使用来自最大增益获取单元212的最大增益、来自增益特性斜率确定单元213的斜率和来自最小噪声水平提取单元214的背景噪声水平来生成增益特性。目标增益计算器220计算所生成的增益特性中与来自噪声水平计算器191的噪声水平相对应的目标增益。另外，目标增益计算器220把计算出的目标增益提供给经调节增益计算器230。

经调节增益计算器230根据目标增益来计算经调节增益，以抑制音频信号的音量的不自然的增大和减小。经调节增益计算器230根据从目标增益计算器220提供的目标增益和从无音判定单元152提供的无音判定信息来计算经调节增益。如果无音判定信息指示有音并且目标增益(target_gain[m])大于前一帧的经调节增益(eq_gain[m-1])，那么经调节增益计算器230通过公式1来计算经调节增益(eq_gain[m])。在任何其他情况下，经调节增益计算器230通过公式2来计算经调节增益(eq_gain[m])。

eq_gain[m]＝t1·target_gain[m]+(1-t1)·eq_gain[m-1]...公式1

eq_gain[m]＝t2·eq_gain[m-1]...公式2

其中，t1和t2是常数；t1被设定为大于“0.0”的值，并且t2被设定为低于“1.0”的值。

如果根据公式1判定当前帧中的音频信号不是无音，并且音频信号的音量较之前一帧被增大，那么可以抑制有音的音频信号的音量与前一帧中的音量相比迅速增大。如果通过公式2判定当前帧中的音频信号是无音，那么可以通过不考虑目标增益而根据前一帧中的音量来调节音量，从而来防止无音的音频信号的音量不自然地增大。如果与前一帧中的音量相比减小音量，那么可以抑制音量与前一帧中的音量相比快速减小。经调节增益计算器230将计算出的经调节增益提供给增益设定单元240。经调节增益计算器230是根据本发明一实施例的音频调节单元的一个示例。

增益设定单元240根据从经调节增益计算器230提供的经调节增益来设定压缩处理单元251、均衡化处理单元252和总音量放大器253的增益。

如果从经调节增益计算器230提供的经调节增益等于或者低于给定阈值Ta(压缩处理阈值)，那么增益设定单元240仅针对压缩处理单元251设定增益以放大音频信号。另外，如果经调节增益高于阈值Ta并且等于或者低于给定阈值Tb(均衡化处理阈值)，那么增益设定单元240针对压缩处理单元251和均衡化处理单元252设定增益以放大音频信号。如果经调节增益高于阈值Tb，那么增益设定单元240针对压缩处理单元251、均衡化处理单元252和总音量放大器253设定增益以放大音频信号。

压缩处理单元251根据从声音水平计算器151提供的声音水平来校正音频信号的声压。压缩处理单元251根据由增益设定单元240设定的增益和从声音水平计算器151提供的声音水平来放大经由信号线201提供的音频信号。压缩处理单元251根据从声音水平计算器151提供的声音水平来修改例如音频信号的音量放大系数。另外，压缩处理单元251把经放大的音频信号提供给均衡化处理单元252。

均衡化处理单元252根据环境噪声信号的频带来放大音频信号的频率成分。均衡化处理单元252根据由增益设定单元240设定的增益和由调节带设定单元260设定的最大频率来进一步放大经压缩处理单元251放大的音频信号。另外，均衡化处理单元252将经放大的音频信号提供给总音量放大器253。

总音量放大器253根据由增益设定单元240设定的增益来进一步放大经均衡化处理单元252放大的音频信号。总音量放大器253把经放大的音频信号提供给信号线209。

调节带设定单元260根据从功率谱计算器192提供的环境噪声信号的功率谱来设定如下音频信号的频带：将要在均衡化处理单元252中调节该音频信号的音量。调节带设定单元260根据功率谱计算例如频谱重心(spectral centroid)。另外，调节带设定单元260通过将计算出的频谱重心乘以预定值来计算最大频率，该最大频率是将在其中放大音频信号的频带的上限。这里，频谱重心是与环境噪声信号中的功率谱的重心相对应的频率。另外，调节带设定单元260设定均衡化处理单元252中的设定最大频率。

如上所述，通过加入最大增益获取单元212，可以根据音频信号的响度水平和环境噪声信号的噪声水平来设定最大增益。通过加入增益特性斜率确定单元213，可以根据声音判定信息来设定增益特性的斜率幅度。通过加入经调节增益计算器230，可以防止无音的音量不自然地增大并且抑制其迅速地增大和减小。通过加入最大噪声水平提取单元214，可以根据不同背景噪声水平的环境来生成适当的增益特性。

[环境噪声分离器的配置示例]

图4是图示出根据本发明第一实施例的环境噪声分离器180的配置示例的框图。在该示图中，扬声器160、麦克风170和环境噪声分离器180被示出。其中，假定经由信号线209提供的再现声音的采样值之一是x[n]，从扬声器160输出的采样值x[n]的输出声音是y′[n]，并且除输出声音y′[n]之外的环境噪声是s[n]。因此，通过公式y′[n]+s[n]获得从麦克风170提供的噪声信号。通过分配相同的标号来省略对与图1中的那些相同的扬声器160和麦克风170的描述。

环境噪声分离器180包括自适应滤波器181和减法器182。自适应滤波器181根据来自信号线209的再现声音x[n]来估计来自麦克风170的噪声信号中所包括的输出声音成分y[n]。自适应滤波器181叠加室内声通信系统中的冲激响应，该冲激响应可以根据来自减法器182的反馈信号来估计，以估计输出声音成分y[n]。

减法器182计算从麦克风170提供的噪声信号(y′[n]+s[n])与自适应滤波器181所估计的输出声音成分y[n]之间的差异。减法器182从提供自麦克风170的噪声信号(y′[n]+s[n])中减去自适应滤波器181所估计的输出声音成分y[n]，以生成环境噪声信号e[n]。减法器182把所生成的环境噪声信号e[n]提供给自适应滤波器181，并经由信号线189把其提供给环境噪声分析信息生成器190。

如上所述，通过加入自适应滤波器181和减法器182，可以消除从麦克风170提供的噪声信号中所包括的输出声音成分，以提取环境噪声信号e[n]。

<2.第二实施例>

[内容分析信息的数据格式示例]

图5图示出根据本发明第二实施例的由内容分析信息生成器150生成的内容分析信息的数据格式示例。在该示图中，再现音频信号310和内容分析信息320的数据格式被示出。在该示图中，横轴是时间轴。

再现音频信号310指示由内容再现单元140再现的音频信号的振幅变化。在假定N个连续样本构成一个帧的情况下形成再现音频信号310。内容分析信息生成器150针对每个帧来分析再现音频信号310。再现声音x[n]是一个帧中的一个样本的振幅的值。

内容分析信息320是示意图，其示出了在内容分析信息生成器150中为每个帧生成的再现音频信号310的内容分析信息的数据格式。内容分析信息320包括帧编号321、声音水平322、无音判定信息323、响度水平324和声音判定信息325。

帧编号321包括标识再现音频信号310的帧的编号。声音水平322包括在声音水平计算器151中计算的、再现音频信号310的一个帧中的均方根的值(RMS[m])。

无音判定信息323包括无音判定单元152对再现音频信号310是否为无音的判定的结果(Silence Flag[m])。无音判定信息323例如在再现音频信号310被无音判定单元152判定为无音时包括“真”，并且在再现音频信号310被判定为不是无音时包括“假”。

响度水平324包括在响度水平计算器156中计算出的响度水平的值(L[m])。响度水平324指示出在考虑人类听觉特性的情况下的声音大小。因此，观众易于察觉到从扬声器160输出的响度水平324的值较大的再现音频信号310，而难以察觉到从扬声器160输出的响度水平324的值较低的再现音频信号310。

声音判定信息325包括声音判定单元154中对再现音频信号310是有音还是无音的判定的结果(Speech Flag(语音标志)[m])。

如上所述，内容分析信息生成器150所生成的内容分析信息320被提供给音频调节单元200。

[环境噪声分析信息的数据格式示例]

图6图示出根据本发明第二实施例的由环境噪声分析信息生成器190生成的环境噪声信息的数据格式示例。在该示图中，环境噪声信号410和环境噪声分析信息420的数据格式被示出。在该示图中，横轴是时间轴。

环境噪声信号410指示由环境噪声分离器180分离出的环境噪声信号的振幅变化。在假定一系列N个样本构成一个帧的情况下形成噪声信号410。环境噪声分析信息生成器190针对每个帧来分析环境噪声信号410。环境噪声信号e[n]是一个帧中的一个样本的振幅的值。

环境噪声分析信息420是示意图，其示出了在环境噪声分析信息生成器190中为每个帧生成的环境噪声信号410的环境噪声分析信息的数据格式。环境噪声分析信息420包括帧编号421、噪声水平422和功率谱423。

帧编号421包括标识环境噪声信号410的帧的编号。噪声水平422包括在噪声水平计算器191中计算的、环境噪声信号410的均方根的值(RMS_e[m])。功率谱423包括在功率谱计算器192中计算的k个功率谱的值(sp_e[m][1]-[m][k])。k是N个样本的一半。

如上所述，环境噪声分析信息生成器190所生成的环境噪声分析信息420被提供给音频调节单元200。接着，参考图7描述根据环境噪声分析信息420和内容分析信息320计算目标增益的方法。

<3.第三实施例>

[计算目标增益的方法示例]

图7图示出根据本发明第三实施例的用于在音频调节单元200中计算目标增益的方法示例。在该示图中，增益特性510和520被示出。在该示图中，纵轴指示音频信号的音量的增益，并且横轴指示噪声水平。

最大增益(gain_sup)是在最大增益获取单元212中获取的增益特性中的最大增益。在最大增益获取单元212中根据音频信号的响度水平(L)和环境噪声信号的噪声水平(RMS_e)来确定最大增益(gain_sup)。最大增益(gain_sup)随噪声水平(RMS_e)增大而变大，并且随噪声水平(RMS_e)减小而变小。另一方面，在音频信号的响度水平(L)较高时观众较易察觉到音频信号，从而导致最大增益(gain_sup)较小。相反，在响度水平(L)较低时观众较难察觉到音频信号，从而导致最大增益(gain_sup)较大。

背景噪声水平(RMS_e_inf)是由最小噪声水平提取单元214提取的最小噪声水平。背景噪声水平(RMS_e_inf)是通过在最小噪声水平提取单元214中从每个帧中的噪声水平(RMS_e)中提取最小噪声水平来设定的。因此，根据具有不同背景噪声水平(RMS_e_inf)的环境来生成增益特性。

增益特性510和520的斜率是由增益特性斜率确定单元213根据声音判定信息(Speech Flag)来预先确定的。

如上所述，通过确定最大增益(gain_sup)、背景噪声水平(RMS_e_inf)以及增益特性510和520的斜率，增益特性510和520被确定。

在声音判定信息(Speech Flag)指示有音时使用增益特性510。增益特性510具有如下特性：其斜率大于增益特性520的斜率。因此，当音频信号指示有音时，可以使得观众更易于察觉到音频信号。

在声音判定信息(Speech Flag)指示无音时使用增益特性520。例如，当声音判定信息(Speech Flag)指示无音时，根据增益特性520来计算对应于噪声水平(RMS_e)的目标增益(target_gain)。

如上所述，根据音频信号的响度水平(L)和环境噪声信号的噪声水平(RMS_e)来确定最大增益；因此，目标增益在更高响度水平(L)时变得较小，并且在更高噪声水平(RMS_e)时变得较大。具体而言，记录/再现装置100在从扬声器160输出的音频信号具有容易察觉的特性的情况下抑制输出声音水平的增大量，并且在来自麦克风170的环境噪声的水平较高的情况下增大输出声音水平的增大量。

增益特性的斜率是根据声音判定信息来选择的；因此，目标增益在声音判定信息指示有音时变得较大，并且在声音判定信息指示无音时变得较小。具体而言，当从扬声器160输出的音频信号是有音时，记录/再现装置100较之无音的输出声音水平增大输出声音水平，使得观众更易于察觉音频信号。

[通过压缩处理单元调节音量的方法示例]

图8图示出根据本发明第三实施例的通过压缩处理单元251调节音量的方法示例。在该示图中，增益校正特性610被示出。在该示图中，横轴指示由内容分析信息生成器150计算出的声音水平(RMS)，并且纵轴指示经压缩处理单元251放大的音频信号的声音输出水平。

增益校正特性610是在根据由内容分析信息生成器150计算出的声音水平(RMS)来校正由内容再现单元140再现的音频信号的音量的增大率时使用的增益特性的实施例。增益校正特性610在区间1到3具有不同增大率。

在这种情况下，压缩处理单元251不校正增益，这是因为当音频信号的声音水平(RMS)低于阈值Th_comp1(增大率增大阈值)(区间1)时声音水平非常低。当声音水平(RMS)等于或者高于阈值Th_comp1并且低于阈值Th_comp2(增大率抑制阈值)(区间2)时，较之区间1的增大率，音频信号的音量的增大率被增大，以有效地增大音频信号的声压。另外，当声音水平(RMS)等于或者高于阈值Th_comp2(区间3)时，较之区间1的增大率，音频信号的音量的增大率被减小，以抑制音频信号的振幅增大。

如上所述，通过使用增益校正特性610，可以在有效增大音频信号的声压的同时抑制音频信号的最大振幅。接着，参考图9描述在如下情况下调节音量的方法，其中在均衡化处理单元252中进一步放大经压缩处理单元251放大的音频信号。

[均衡化处理单元进行的音频调节的方法示例]

图9是根据本发明第三实施例的与均衡化处理单元252调节音量的方法示例有关的示意图。在该示图中，频谱重心C1和C2以及对应于这些重心的音量调节区域711和712被示出。在该示图中，横轴指示频率，并且纵轴指示音频信号的音量增益。

频谱重心C1和C2是在调节带设定单元260中根据环境噪声信号的功率谱(sp_e)计算的频谱重心频率。通过计算频谱重心C1和C2，可以在环境噪声信号中识别出高水平的频率成分。在该示例中，频谱重心C1是环境噪声信号的第一帧的频谱重心频率，并且频谱重心C2是第二帧的频谱重心频率。

音量调节频率f1和f2是在均衡化处理单元252中经放大的音频信号的最大频率。音量调节频率f1和f2是通过将频谱重心C1和C2乘以某一值而得到的最大频率。

设定增益eq_gain1′和eq_gain2′是由增益设定单元240设定的增益。设定增益eq_gain1′是音频信号的第一帧的增益，并且设定增益eq_gain2′是第二帧的增益。

音量调节区域711和712是示出如下区域的示意图：在均衡化处理单元252中在这些区域中放大音频信号。音量调节区域711是音频信号的第一帧的音量放大区域。音量调节区域712是音频信号的第二帧的音量放大区域。

如上所述，通过根据环境噪声信号的频率特性来计算均衡化处理单元252在其中放大音频信号的频带，可以适当地调节声音质量。

<4.第四实施例>

[记录/再现装置的操作示例]

接着，参考图10和11来描述根据本发明第四实施例的记录/再现装置100的操作。

图10是图示出根据本发明第四实施例的通过记录/再现装置100来处理音频调节的过程示例的流程图。

首先，内容再现单元140再现内容数据以生成音频信号(步骤S910)。接着，内容分析信息生成器150根据来自内容再现单元140的音频信号生成内容分析信息(步骤S920)。步骤S920是根据本发明一实施例的用于生成音频调节信息的第一过程的一个示例。

接着，根据从音频调节单元200提供的音频信号，环境噪声分离器180把从扬声器160输出的并且在提供自麦克风170的噪声信号中包括的音频信号与环境噪声信号分离(步骤S930)。步骤S930是根据本发明一实施例的音频分离过程的一个示例。接着，环境噪声分析信息生成器190根据在环境噪声分离器180中分离出的环境噪声信号来生成环境噪声分析信息(步骤S940)。步骤S940是根据本发明一实施例的用于生成音频调节信息的第二过程的一个示例。

接着，在音频调节单元200中，根据内容分析信息和环境噪声分析信息来执行用于调节音频信号音量的音频调节处理(步骤S950)。步骤S950是根据本发明一实施例的音频调节过程的一个示例。接着，扬声器160输出在音频调节单元200中经放大的音频信号(步骤S960)。接着，判定是否检测到下一音频信号的帧(步骤S970)。如果检测到该帧，那么重复声音处理直到最后一个帧。如果未检测到下一帧，那么声音处理结束。

[音频调节单元的操作示例]

图11是图示出根据本发明第四实施例的通过音频调节单元200来处理音频调节(步骤S950)的过程示例的流程图。

首先，分别从内容分析信息生成器150和环境噪声分析信息生成器190获得内容分析信息和环境噪声分析信息(步骤S951)。接着，最大增益获取单元212获取与来自响度水平计算器156的音频信号的响度水平(L)和来自噪声水平计算器191的噪声水平(RMS_e)相对应的最大增益(gain_sup)。同时，增益特性斜率确定单元213根据声音判定信息(Speech Flag)来确定增益特性的斜率。最小噪声水平提取单元214提取背景噪声水平(RMS_e_inf)(步骤S952)，背景噪声水平是在直到当前帧为止的噪声水平(RMS_e)中的最低噪声水平。因此，增益特性被生成，以计算目标增益(target_gain)。

接着，目标增益计算器220通过使用增益特性中的最大增益、斜率和背景噪声水平，根据当前帧的噪声水平(RMS_e)来计算目标增益(target_gain)(步骤S953)。经调节增益计算器230根据无音判定信息(Silence Flag)来计算目标增益(target_gain)和经调节增益(eq_gain)(步骤S954)。

接着，增益设定单元240根据经调节增益(eq_gain)来设定压缩处理单元251中的增益，并且声音水平计算器151将声音水平(RMS)提供给压缩处理单元151。压缩处理单元251根据由增益设定单元240设定的增益和来自声音水平计算器151的声音水平来放大来自内容再现单元140的音频信号(步骤S955)。

接着，增益设定单元240判定经调节增益(eq_gain)是否等于或者小于阈值Th_gain1(步骤S956)。如果经调节增益(eq_gain)等于或者小于阈值Th_gain1，那么音频调节处理结束。另一方面，如果经调节增益(eq_gain)大于阈值Th_gain1，那么增益设定单元240根据经调节增益(eq_gain)来设定均衡化处理单元252中的增益。同时，调节带设定单元260根据环境噪声信号的功率谱来计算其中音频信号被放大的频带。均衡化处理单元252根据由增益设定单元240设定的增益和由调节带设定单元260计算出的频带来放大来自压缩处理单元251的音频信号(步骤S957)。

接着，增益设定单元240判定经调节增益(eq_gain)是否等于或者小于阈值Th_gain2(步骤S958)。如果经调节增益(eq_gain)等于或者小于阈值Th_gain2，那么音频调节处理结束。另一方面，如果经调节增益(eq_gain)大于阈值Th_gain2，那么增益设定单元240根据经调节增益(eq_gain)来设定总音量放大器253中的增益。总音量放大器253根据由增益设定单元240设定的增益来放大来自均衡化处理单元252的音频信号(步骤S959)，音频调节处理结束，并且过程转到步骤S960。

如上所述，根据本发明的实施例，可以根据内容分析信息和环境噪声分析信息来适当的调节再现内容项的音频信号，所述内容分析信息是根据再现内容生成的，并且所述环境噪声分析信息是根据环境噪声信号生成的。

通过加入最大增益获取单元212，最大增益和目标增益随音频信号的响度水平增大而减小；从而可以减小音频信号的音量。随着噪声水平增大，最大增益增大但是目标增益减小；从而可以增大音频信号的音量。

通过加入增益特性斜率确定单元213，当音频信号被判定为有音时，增益特性的斜率增大，即目标增益增大；从而可以增大输出声音。因此，通过增大被判定为有音的音频信号的音量，使得输出声音更易于察觉。

在本发明的实施例中，刚才已经描述了用于实现本发明的示例。这些示例对应于根据本发明实施例的具体项目。应当注意到，本发明不限于本发明的实施例，因此在本发明的范围内可以向本发明添加各种修改，而不脱离本发明的主题。

在本发明实施例中描述的处理过程可被理解为用于提供这一系列过程的方法，或者可被理解为用于在计算机上执行这一系列过程的程序或者存储该程序的记录介质。记录介质例如包括CD(光盘)、MD(迷你盘)、DVD、存储卡、蓝光盘(注册商标)，等等。

本申请包含与2008年12月26日向日本专利局提交的日本在先专利申请JP 2008-332031中所公开的主题有关的主题，该申请的全部内容通过引用结合于此。

本领域技术人员应当了解，取决于设计要求和其他因素，可以作出各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在所附权利要求或其等同物的范围内即可。

Claims (8)

1.一种信号处理装置，包括：

第一音频调节信息生成器，其根据内容项中的音频信号生成第一音频调节信息；

声音输入单元；

声音输出单元；

音频分离器，其将所述音频信号与噪声信号相分离，所述音频信号和噪声信号都被从所述声音输出单元输出并且被所述声音输入单元检测到；

第二音频调节信息生成器，其根据由所述音频分离器分离出的噪声信号生成第二音频调节信息；以及

音频调节单元，其根据所述第一音频调节信息和第二音频调节信息来调节在所述声音输出单元中输出的所述音频信号的音量。

2.如权利要求1所述的信号处理装置，其中：

所述第一音频调节信息生成器根据所述音频信号的频率特性和人类听觉特性生成所述第一音频调节信息；

所述第二音频调节信息生成器根据所述噪声信号的信号水平生成所述第二音频调节信息；并且

所述音频调节单元随着所述第一音频调节信息变大而减小所述音频信号的音量，并且随着所述第二音频调节信息变大而增大所述音量。

3.如权利要求2所述的信号处理装置，其中：

所述第一音频调节信息生成器具有声音判定单元，该声音判定单元根据所述音频信号的周期性和信号水平来判定所述音频信号是有音还是无音；并且

当所述声音判定单元判定所述音频信号是有音时，与所述声音判定单元判定所述音频信号是无音时相比，所述音频调节单元增大所述音频信号的音量。

4.如权利要求2所述的信号处理装置，其中：

所述第一音频调节信息生成器还具有无音判定单元，该无音判定单元根据所述音频信号的信号水平来判定所述音频信号是否是无音；并且

所述音频调节单元在所述无音判定单元判定所述音频信号是无音时不增大所述音频信号的音量。

5.根据权利要求1所述的信号处理装置，其中，所述音频分离器根据所述音频信号计算所述音频信号与所述噪声信号中所包括的音频信号之间的相似性，并且根据计算出的相似性来估计所述噪声信号。

6.如权利要求5所述的信号处理装置，其中，所述音频分离器具有回声消除器。

7.一种在信号处理装置中调节音量的方法，所述信号处理装置包括检测噪声信号的声音输入单元和输出内容项中的音频信号的声音输出单元，所述方法包括以下步骤：

根据所述音频信号生成第一音频调节信息；

将所述音频信号与所述噪声信号相分离，所述音频信号和噪声信号都被从所述声音输出单元输出并且被所述声音输入单元检测到；

根据在分离所述音频信号的步骤中分离出的所述噪声信号生成第二音频调节信息；以及

根据所述第一音频调节信息和第二音频调节信息来调节输出到所述声音输出单元的所述音频信号的音量。

8.一种信号处理装置中的程序，所述信号处理装置包括检测噪声信号的声音输入单元和输出内容项中所包括的音频信号的声音输出单元，所述程序在计算机上执行以下步骤：

根据所述音频信号生成第一音频调节信息；

将所述音频信号与所述噪声信号相分离，所述音频信号和噪声信号都被从所述声音输出单元输出并且被所述声音输入单元检测到；

根据在分离所述音频信号的步骤中分离出的所述噪声信号生成第二音频调节信息；以及

根据所述第一音频调节信息和第二音频调节信息来调节输出到所述声音输出单元的所述音频信号的音量。

Images