CN102280108A - 音频信号处理设备及其控制方法 - Google Patents

Abstract

本发明涉及一种音频信号处理设备及其控制方法。当在预定时间段内生成第一噪声和在第一噪声之后生成的第二噪声时，控制降噪单元，以对在包括所述第一噪声的时期中的音频信号执行第一降噪处理、并且对在包括所述第二噪声的时期中的音频信号不执行所述第一降噪处理。

Description

音频信号处理设备及其控制方法

技术领域

本发明涉及一种音频信号处理设备及其控制方法。

背景技术

近年来，已知能够拍摄运动图像的照相机作为音频信号处理设备。要求该设备不会受到例如在驱动该设备的内部驱动单元时所生成的驱动声音(噪声)的影响。提出了各种摄像设备以获得上述特性。

例如，日本特开平04-233873号公报讨论根据噪声源类型来选择适当滤波器(降噪功能)。日本特开2006-203376号公报讨论根据噪声生成时间选择性地使用多个降噪功能。日本特开2006-262241号公报讨论通过用基于噪声生成期前后的音频信号所计算出的信号、替换噪声生成期期间的音频信号的技术(预测处理)来降低硬盘驱动噪声。

然而，尽管日本特开平04-233873号公报和日本特开2006-203376号公报所公开的技术从多个降噪功能中交替地选择适当部件，但是不可能在保持这多个降噪功能的优点同时使用这两个技术。另外，在使用有限资源进行多个降噪处理时，出现处理时间和处理能力等的问题。尤其在生成多个噪声成分、并且如日本特开2006-262241号公报一样通过以基于噪声生成期前后的音频信号所计算出的信号替换所有噪声成分的预测处理来降低这些噪声时，运算负荷增大，导致成本增加。

发明内容

考虑到上述问题作出本发明，并且本发明实现一种音频信号处理技术，该音频信号处理技术通过首先执行除预测处理以外的处理来一定程度地降噪、并然后执行预测处理，从而适当降噪。

为了解决上述问题，本发明提供一种包含驱动单元的音频信号处理设备，所述音频信号处理设备包括：音频获取单元，用于获取表示周围的音频的音频信号；降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的；控制单元，用于根据对所述驱动单元的驱动来控制所述降噪单元；其中，所述降噪单元具有第一降噪处理和第二降噪处理，所述第一降噪处理利用基于在不包括所述噪声的时期中的音频信号所生成的信号来替换在包括所述噪声的时期中的音频信号，所述第二降噪处理基于在包括所述噪声的时期中的音频信号来减少所述噪声，以及当驱动特定驱动单元时，所述控制单元控制所述降噪单元以在执行所述第二降噪处理之后执行所述第一降噪处理。

为了解决上述问题，本发明提供一种音频信号处理设备的控制方法，所述音频信号处理设备包括：驱动单元；音频获取单元，用于获取表示周围的音频的音频信号；以及降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的，所述控制方法包括以下步骤：当驱动特定驱动单元时，对所述降噪单元进行控制以首先执行第二降噪处理、然后执行第一降噪处理，其中，所述第一降噪处理利用基于在不包括所述噪声的时期中的音频信号所生成的信号来替换在包括所述噪声的时期中的音频信号，所述第二降噪处理基于在包括所述噪声的时期中的音频信号来减少所述噪声。

为了解决上述问题，本发明提供一种包含驱动单元的音频信号处理设备，所述音频信号处理设备包括：音频获取单元，用于获取表示周围的音频的音频信号；降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的；控制单元，用于根据对所述驱动单元的驱动来控制所述降噪单元；其中，所述降噪单元具有第一降噪处理，所述第一降噪处理用于利用基于没有包括所述噪声的时期的音频信号所生成的信号，替换包括所述噪声的时期的音频信号；以及当在预定时间段内生成第一噪声和所述第一噪声之后将生成的第二噪声时，所述控制单元控制所述降噪单元，以对包括所述第一噪声的时期的音频信号执行所述第一降噪处理、并且对包括所述第二噪声的时期的音频信号不执行所述第一降噪处理。

为了解决上述问题，本发明提供一种音频信号处理设备的控制方法，所述音频信号处理设备包括：驱动单元；音频获取单元，用于获取表示周围的音频的音频信号；以及降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的，所述控制方法包括以下步骤：当在预定时间段内生成第一噪声和所述第一噪声之后将生成的第二噪声时，对所述降噪单元进行控制，以对包括所述第一噪声的时期的音频信号执行第一降噪处理、并且对包括所述第二噪声的时期的音频信号不执行所述第一降噪处理，其中，所述第一降噪处理利用基于在不包括噪声的时期中的音频信号所生成的信号来替换在包括噪声的时期中的音频信号。

根据本发明，通过首先执行除预测处理以外的处理来一定程度地降噪、并执行预测处理，可以在降低设备的操作负荷的同时实现有效降噪。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明显。

附图说明

包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1A是根据本发明实施例的摄像设备的斜视图；

图1B是根据本发明实施例的摄像设备的侧截面图；

图2是摄像设备的框图；

图3是音频信号处理电路的框图；

图4A是SS处理电路的框图；

图4B和4C是滤波处理电路的框图；

图5A～5C是声压处理的说明图；

图6A～6C是LPC处理的说明图；

图7A～7C是预测处理的说明图；

图8A和8B是针对周围的噪声的预测处理的说明图；

图9A～9C是示出噪声和滤波特性的图；

图10是滤波处理电路的框图；

图11A～11C是滤波处理的说明图；

图12A～12C是静音处理的说明图；

图13是PLC处理的说明图；

图14A和14B是示出通过抖动校正驱动电路所生成的声音的图；

图15是示出镜头类型和噪声的特征的图；

图16A～16D是SS处理开始时刻和多个降噪处理的说明图；

图17的(a)～(c)是SS处理的帧和相减增益的说明图；

图18是示出在SS处理之后执行预测处理的情况的图；

图19A～19E是示出SS处理和预测处理的音频信号的时序图；

图20是示出在SS处理之前执行预测处理的情况的图；以及

图21A～21E是示出SS处理的强度和时刻不合适的情况的图。

具体实施方式

下面参考附图详细说明本发明的各种典型实施例、特征和方面。

第一实施例

下面参考图1A～4C说明将本发明的音频信号处理设备应用于摄像设备的第一实施例。

参考图1A和1B，附图标记1表示摄像设备，附图标记2表示装配到摄像设备1的拍摄镜头，附图标记3表示摄像光学系统，附图标记4表示镜头的光轴，附图标记5表示镜头镜筒，附图标记6表示图像传感器，附图标记7表示设置在摄像设备1上的用于拾取其周围的声音成分的麦克风，并且附图标记8表示设置在摄像设备1的背面上的显示装置。附图标记9表示用于调整摄像光学系统的光学系统驱动单元，附图标记10表示连接摄像设备1和拍摄镜头2的触点，附图标记11表示所谓的快速复原镜机构，附图标记12表示包括AF(自动调焦)的焦点检测单元，附图标记14表示检测设备1的抖动的抖动传感器，附图标记31表示操作按钮，并且附图标记32表示设置在设备1上的麦克风7的多个开口部。本实施例的摄像设备可以在图像获取的同时通过麦克风7获取/记录声音。附图标记30表示释放按钮。在本实施例中，将说明能够拆卸掉拍摄镜头的摄像设备。然而，拍摄镜头不一定必须是可拆卸的。

注意，将麦克风7的开口部32设置在图1B上未投影的部分处。然而，图1B示意性示出麦克风7和开口部32以阐明麦克风7和开口部32的位置。

将说明静止图像拍摄操作。摄像设备1使用拍摄镜头2、焦点检测单元12和曝光检测单元(未示出)来检测焦点/曝光。同时，摄像设备1驱动/调整摄像光学系统3的一部分，从而在图像传感器6的光接收平面附近形成被摄体图像。另外，调整光圈以获得适当曝光。根据用户对释放按钮30的操作设置用于摄像的各种条件。与释放按钮的操作同步地获取通过图像传感器6光电转换的被摄体图像信息，并且将其记录在图2所示的存储器24中。

接着说明运动图像拍摄操作。在拍摄运动图像之前，用户按下实时取景按钮(未示出)以在显示装置8上显示通过图像传感器6感测到的图像。实时取景表示将通过图像传感器6感测到的图像信息实时显示在显示装置8上。与运动图像拍摄按钮(未示出)的操作同步，摄像设备1以预先设置的帧频从图像传感器6获取图像信息，从麦克风7获取音频信息，并且将它们相互同步地记录在存储器24中。当在运动图像拍摄期间需要调整摄像光学系统3时，光学系统驱动单元9调整摄像光学系统3。与运动图像拍摄按钮的操作同步，结束摄像操作。即使在运动图像拍摄期间，摄像设备1根据对释放按钮30的操作，在任意时刻拍摄静止图像。

接着参考图2说明拍摄镜头2和用作摄像设备1的数字照相机的结构。参考图2，摄像设备1主要包括摄像系统、图像处理系统、音频处理系统、记录/再现系统和控制系统。摄像系统包括摄像光学系统3和图像传感器6。图像处理系统包括A/D转换电路20和图像处理电路21。音频处理系统包括麦克风7和音频信号处理电路26。记录/再现系统包括记录处理电路23和存储器24。控制系统包括照相机系统控制电路25、焦点检测单元(包括AF传感器)12、曝光检测单元(包括AE传感器)13、抖动传感器14、操作检测电路27、镜头系统控制电路28、释放按钮30和光学系统驱动单元9。光学系统驱动单元9包括调焦透镜驱动电路9a、抖动校正驱动电路9b和光圈驱动电路9c。

摄像系统进行用于通过摄像光学系统3在图像传感器6的成像面上形成来自被摄体的光的图像的光学处理。在诸如瞄准等的预摄像操作期间，经由设置在快速复原镜机构11中的镜将光束部分引导至焦点检测单元12。当控制系统适当调整摄像光学系统3时，如后面所述，使图像传感器6曝光于具有适当光量的被摄体光，并且在图像传感器6附近形成被摄体图像。图像处理电路21包括处理经由A/D转换电路20从图像传感器6接收到的图像信号的白平衡电路和伽玛校正电路、以及通过插值运算提高分辨率的插值运算电路。

音频处理系统使音频信号处理电路26适当处理来自麦克风7的音频信号，从而生成记录音频信号。在运动图像拍摄时，后面所述的记录处理电路23与所拍摄的图像相关联地压缩记录音频信号。记录处理电路23将图像信号输出给存储器24，并且还生成/存储要输出给显示单元22的显示信号。记录处理电路23还使用预定方法将静止图像、运动图像和音频等相关联/压缩。例如，可以通过音频处理专用的芯片、或者存储器和控制整个照相机的CPU来实现音频信号处理电路26的功能。

照相机系统控制电路25生成用于摄像等的定时信号，并且将其输出给图像传感器6。焦点检测单元12检测摄像光学系统3的聚焦状态。曝光检测单元13在静止图像拍摄中直接检测被摄体亮度，或者在运动图像拍摄中通过处理来自图像传感器6的图像信号来检测被摄体亮度。镜头系统控制电路28根据来自照相机系统控制电路25的控制信号适当驱动镜头2，从而调整摄像光学系统3。在本实施例中，假定照相机是可更换镜头型照相机，并且将说明镜头系统控制电路28控制对可更换镜头的驱动的例子。如果照相机不是可更换镜头型的照相机，则可以通过照相机系统控制电路25执行镜头系统控制电路28的功能。可以通过存储器和配置为控制整个摄像设备的CPU的组合、或者通过控制整个设备的微计算机芯片来实现照相机系统控制电路25的功能。

控制系统根据用户操作来控制摄像系统、图像处理系统和记录/再现系统。例如，当操作检测电路27检测到按下释放按钮30时，控制系统控制图像传感器6的驱动、图像处理电路21的操作以及记录处理电路23的压缩处理等。控制系统还控制显示单元22的各部分的状态，以使显示单元22显示与光学取景器或液晶监视器等有关的信息。

将说明控制系统的摄像光学系统调整操作。焦点检测单元12和曝光检测单元13与照相机系统控制电路25连接。在静止图像拍摄中，基于来自这些单元的信号获得适当的焦点位置和光圈位置。照相机系统控制电路25经由触点10向镜头系统控制电路28输出指示。镜头系统控制电路28适当控制调焦透镜驱动电路9a和光圈驱动电路9c。另一方面，在运动图像拍摄中，调焦透镜驱动电路9a微小地移动调焦透镜。另外，分析来自图像传感器6的信号以基于该信号的对比度获得焦点位置。此外，基于图像传感器6的信号电平获得光圈位置。

抖动传感器14与镜头系统控制电路28连接。在静止图像拍摄的照相机抖动校正模式下，基于来自抖动传感器14的检测信号适当驱动和控制抖动校正驱动电路9b。另一方面，在运动图像拍摄的照相机抖动校正模式下，可以如在静止图像拍摄中一样驱动抖动校正驱动电路9b。基于来自抖动传感器14的检测信号改变图像传感器6的读取位置的所谓的电子防振也是可以的。抖动传感器14由例如加速度检测传感器构成，并且检测摄像设备的振动。

将说明诸如运动图像拍摄等的包括音频记录的摄像操作。在包括音频记录的摄像操作中，在机械驱动照相机本体和镜头等时所生成的声音(以下称为机械驱动噪声)是不必要的，并且被认为是噪声。在本说明书中，噪声并非表示诸如白噪声等的背景噪声，而是表示上述机械驱动噪声。

参考图3说明音频信号处理电路26和降噪单元。参考图3，附图标记41表示增益调整单元，附图标记42表示滤波器，附图标记43表示A/D转换器，附图标记44表示降噪单元，并且附图标记45表示滤波器。将从麦克风7所获得的信号输出给增益调整单元41。增益调整单元41调整麦克风7的信号电平，以充分利用A/D转换器43的动态范围。更具体地，当麦克风7的信号电平低时，增大增益以放大信号。当麦克风7的信号电平高时，减小增益以防止饱和。

滤波器42由例如具有考虑到A/D转换器43的采样频率的适当截止频率的低通滤波器构成。当麦克风7位于例如生成特定频率的装置附近时，除上述低通滤波器以外，滤波器42还可以包括适当的陷波滤波器。A/D转换器43将通过增益调整单元41和滤波器42处理后的信号转换成数字信号。

降噪单元44包括多个降噪单元。在图3所示例子中，降噪单元44包括SS处理44a、滤波处理44b、静音处理44c、声压处理44d、PLC处理44e和LPC处理44f。SS处理是基于频谱相减的处理。在本说明书中，将利用频谱相减的方法方便地称为SS方法，并且将利用SS方法的处理称为SS处理。然而，这些不是正式术语。滤波处理44b是诸如用于截除/通过适当频带的低通处理/高通处理等的处理。静音处理44c通过以无声替换噪声成分信号来消除噪声成分。声压处理44d是用于平滑音频信号的包络的处理。PLC处理44e是基于由ITU-T建议G.711-附录I所定义的PLC(包丢失隐藏)的处理。LPC处理44f是基于使用LPC(线性预测系数)的线性预测滤波器的处理。后面将详细说明每一降噪方法。可以基于来自照相机系统控制电路25的指示，选择性地或者相互组合地操作多个降噪单元。滤波器45用于在降噪后根据需要进行适当的滤波处理。如果不必要，则滤波器45可以在不降噪的情况下、使信号直接通过或适当延迟。通过照相机系统控制单元25控制这些降噪单元的操作。

在本实施例中，作为基于预测的降噪(预测处理)的PLC处理44e和LPC处理44f形成第一降噪单元，并且SS处理44a、滤波处理44b、静音处理44c和声压处理44d形成第二降噪单元。可以根据需要使用多个第二降噪单元。

将说明每一降噪单元的降噪方法。顾名思义，SS方法是用于频谱相减的处理。预先准备噪声频谱(在本说明书中，将通过例如对噪声进行傅立叶变换所获得的频谱称为噪声频谱)，并且从所获取的音频频谱中减去该噪声频谱。在本实施例中，预先识别出噪声频谱，并且将其存储在摄像设备1的存储器24中。作为其它噪声频谱获取方法，还可以利用邻近的假定为无声期的时期的频谱。然而，本说明书中感兴趣的噪声成分是机械驱动噪声成分。可以预先获得它们的频谱，因此将其存储在摄像设备1的存储器24中。

SS处理方法假定噪声成分加性混合在被摄体声音中。通过下面的公式给出所获取的音频x(t)：

x(t)＝s(t)+n(t)                      ...(1)

其中，s(t)是被摄体声音，n(t)是噪声，并且t是时间。在对公式(1)进行傅立叶变换时，获得作为x(t)的傅立叶变换的结果的X(ω)：

X(ω)＝S(ω)+N(ω)                  ...(2)

其中，S(ω)和N(ω)是s(t)和n(t)的傅立叶变换的结果，并且ω是频率。在摄像设备1中，通过应用适当的窗函数将音频信号分成帧，并且使其经过顺次的处理。为了简化，关注特定帧进行说明。通过公式(2)显而易见，为获得S(ω)，从X(ω)减去N(ω)。因此，给出S′(ω)作为使用N′(ω)所获得的S(ω)的估计值：

其中，N′(ω)是N(ω)的估计值，β是地板(flooring)系数，并且∠表示用于获得复数的辐角的运算。通过公式(3)显而易见，通过使用预先所获得的噪声频谱进行相减获得该频谱，并且直接使用值X(ω)作为相位。引入地板系数β是为了抑制由于SS方法引起的音频的失真(在原始SS方法中，β＝0)。SS方法假定噪声成分相加作用，如公式(1)所示。实际上，可以反相相加噪声成分，以在获取的音频中使其相互减弱。为此，通过从X(ω)减去N′(ω)所获得的差可以是负值。在SS方法中，如果该值小于β，则进行处理以使得该值等于β。

最后，对S′(ω)进行逆傅立叶变换以获得s′(t)，作为经过了SS处理的音频。

图4A示意性示出上述SS处理。在图4A中，FFT表示包括窗函数处理的快速傅立叶变换处理，IFFT表示逆快速傅立叶变换处理，并且S′(ω)估计表示公式(3)的处理。通过图4A显而易见，SS方法还可以应用于单通道信号(单声道音频)。然而，必须通过一些方法预先给出N′(ω)。

滤波处理是用于截除适当频谱范围的处理。如SS方法一样，噪声模型假定噪声成分加性混合在被摄体声音中。当在公式(2)的两边应用滤波时，获得S(ω)的估计值S′(ω)：

S′(ω)＝F(ω)X(ω)＝F(ω){S(ω)+N(ω)}

＝F(ω)S(ω)+F(ω)N(ω)                        ...(4)

其中，S′(ω)是S(ω)的估计值，F(ω)是表示滤波的频率特性的值。如果可以判断出F(ω)满足下面公式：

F(ω)S(ω)≈S(ω)             ...(5)

F(ω)N(ω)≈0                 ...(6)

则通过公式(4)可知，F(ω)X(ω)几乎等于S(ω)。公式(5)和(6)表示在频域中将被摄体声音存在的区域与噪声存在的区域分开，并且将F(ω)设计为截除噪声存在的区域。最后，对S′(ω)进行逆傅立叶变换以获得s′(t)，作为经过了滤波处理的音频。

在实际设备中，还经常在时域中应用滤波以省略傅立叶变换。在时域中，计算

s′(t)＝f(t)*x(t)＝f(t)*{s(t)+n(t)}

＝f(t)*s(t)+f(t)*n(t)≈s(t)               ...(7)

其中，*表示卷积积分，并且s′(t)是被摄体信号的估计值。另外，f(t)是具有与F(ω)几乎等同的频率特性的时域滤波，其中，可以通过诸如REMEZ方法等的数字滤波器设计方法来设计f(t)。

在设计数字滤波器时，选择频域中的滤波处理和时域中的滤波处理中适当的一个。例如，为了确保性能，考虑滤波特性和时域滤波器的阶数来进行该确定。

图4B示意性示出频域中的滤波处理。在图4B中，FFT表示包括窗函数处理的快速傅立叶变换处理，IFFT表示逆快速傅立叶变换处理，并且S′(ω)估计表示公式(4)的处理。图4C示意性示出时域中的滤波处理。在图4C中，卷积积分表示公式(7)的处理。通过图4B和4C显而易见，这些滤波处理还可应用于单通道信号(单声道音频)。然而，必须通过一些方法预先给出F(ω)或f(t)。

如上所述，静音处理是用于以无声替换噪声成分信号的处理。也就是说，在生成噪声的时间期间，给出被摄体信号的估计值s′(t)如下：

s′(t)＝0                    ...(8)

这里，将参考图5A～5C说明声压处理44d。图5A示出声压处理之前的音频信号。图5B示出图5A所示信号的包络检测输出。图5C示出声压处理之后的音频信号。参考图5A～5C，横轴表示时间，并且时间位置相互一致。贯穿图5A～5C的垂直虚线示意性表示相同时间。图5A～5C的纵轴表示信号电平。

在图5A，附图标记46表示噪声生成之前的音频信号，附图标记47表示噪声生成期间的音频信号，并且附图标记48表示噪声生成之后的音频信号。音频信号46和48包含被摄体声音或暗噪声。由被摄体声音和其上叠加的噪声构成音频信号47。因此，在后述的包络检测时，音频信号47具有突出值。

在图5B，附图标记46a、47a和48a分别表示音频信号46、47和48的包络检测输出，并且附图标记47b表示通过声压处理所获得的噪声生成期的包络输出。在声压处理中，首先检测输入信号的包络，以从图5A的信号获得图5B的信号。接着，检测噪声生成期前后的音频信号电平。这可以通过检查噪声生成期附近的信号46a和48a来进行。以平滑连接噪声生成期前后的音频信号电平的方式生成包络。例如，如图5B中的包络检测输出47b一样，通过直线对该时期进行插值。

最后，在将噪声生成期间的音频信号47分成适当时间段的同时控制信号电平，从而使得噪声期中的包络47a改变成包络47b。因而获得图5C中的音频信号47c。尽管上述声压处理影响噪声期中被摄体声音的电平，但是上述声压处理可以降低噪声的影响。

在声压处理之前可以方便地进行滤波处理。在进行了滤波处理以减少在被摄体声音存在不太多的频带中的噪声之后，执行上述声压处理。这使得机械驱动噪声成分适当减少。

接着，将参考图13说明PLC处理44e。图13示出ITU-T建议G.711-附录I的图I.1的摘录。参考图13，横轴表示时间，并且纵轴表示音频信号电平。图13所示的四个波形从上到下分别表示输入信号、通过校正10ms的信号所获得的信号、经过了隐藏处理的信号和原始信号。在ITU-T建议G.711中，帧大小为10ms。图13示出丢失2帧＝20ms的信息的情况。PLC处理44e使用前后的信息隐藏发生了包丢失的部分(图13中以虚线所表示的输入波形的部分)。当发生了丢失时，计算存储在缓冲器中的信号的标准化自相关。将标准化自相关最大化处的音调(pitch)作为信号的基本频率，将该信号移位与所获得的音调相对应的量，并且复制该信号。同时，将复制信号扩展并且将其平滑地添加到存储在缓冲器中的信号，因而在复制信号插入位置和该复制信号之前的信号之间不会发生不连续。另一方面，当通信从包丢失状态返回到正常状态时，类似地根据当前信号来检测音调。将该信号移位与音调相对应的量，并且将其平滑地添加到存储在缓冲器中的信号。该操作使得能够获得经过了图13的隐藏处理的信号。

ITU-T建议G.711-附件I定义音频通信的过程，因此考虑包丢失及其隐藏。在摄像设备1中，通过将包丢失时刻当作机械驱动噪声生成时刻，可以直接应用上述PLC处理44e。术语“PLC”源自“包丢失”。因此，精确地说，不能将基于机械驱动噪声生成时刻的隐藏处理称为PLC。然而，在本说明书中，在进行类似于PLC的处理的意义上说，将应用于摄像设备的处理称为“PLC处理”来进行说明。更具体地，照相机系统控制电路25在可能生成噪声的时刻，通过适当通信方法指示音频信号处理电路26进行PLC处理44e。

PLC是用于在参考邻近信号的同时适当复制邻近信号的方法，如上所述。作为该方法的特征，由于在复制时丢弃噪声生成时的音频信号，因而噪声水平不会引起问题。作为另一特征，PLC处理期适当地尽可能短。

接着参考图6A～6C说明LPC处理44f。参考图6A～6C，横轴表示时间，并且纵轴表示麦克风7的输出电压。图6A示出处理之前的音频信号。图6B示出图6A中的信号在LPC处理期间的音频信号。图6C示出图6A中的信号在LPC处理之后的音频信号。

在LPC处理44f中，首先，丢弃图6B所示的存在机械驱动噪声的时期中的信号。接着，进行如后面所述的学习操作和预测操作。利用通过预测操作所获得的信号来填充存在噪声的时期(＝预测期)(参考图6C)。

作为LPC处理44f的特征，通过根据丢弃信号的预测期前后的学习期的预测，生成信号。因此，作为特征，噪声水平不会引起问题，并且如PLC处理44e一样，从性能的角度考虑，预测期适当地尽可能短。

现说明本实施例的音频预测所使用的线性预测系数的导出(学习操作)和使用线性预测系数的信号预测(预测操作)。

在使用线性预测时，在当前信号和与当前信号邻近的有限数量(假定该数量为p)的样本值之间，假定如下所表示的线性组合关系：

x_t+α₁x_t-1+...+α_px_t-p＝ε_t                ...(9)

其中，ε_t是均值为0、方差为σ²且彼此不相关的随机变量。当重写公式(9)以根据过去的值来预测x_t时，获得：

$x_t=x_t^{\′}+{\mathrm{\ϵ}}_t=-{\mathrm{\α}}_1{x}_{t-1}-...-{\mathrm{\α}}_p{x}_{t-p}+{\mathrm{\ϵ}}_t=-\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{x}_{t-i}+{\mathrm{\ϵ}}_t...\left(10\right)$

其中，x’_t是x_t的估计值。根据公式(10)，当ε_t充分小时，通过p个相邻值的线性和来表示当前值。在通过上述预测获得了x_t之后，如果近似足够好，还可以通过p个相邻值的线性和获得x_t+1。如果使得ε_t充分小，则可以顺次预测该值以获得信号。将考查如何获得使ε_t最小化的α_i。在本实施例中，将获得使ε_t最小化的α_i的操作称为学习操作。

在上述学习期中最小化ε_t的平方和。假定t₀是学习开始时间，并且t₁是结束时间，

$\underset{t=t_0}{\overset{t_1}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_t^2=\underset{t=t_0}{\overset{t_1}{\mathrm{\Σ}}}{\left(\underset{i=0}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{x}_{t-i}\right)}^2=\underset{t=t_0}{\overset{t_1}{\mathrm{\Σ}}}\underset{i=0}{\overset{p}{\mathrm{\Σ}}}\underset{j=0}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\α}}_j{x}_{t-i}{x}_{t-j}...\left(11\right)$

其中，α₀＝1。为简化该公式，假定

$c_{\mathrm{ij}}=\underset{{t=t}_0}{\overset{t_1}{\mathrm{\Σ}}}{x}_{t-i}{x}_{t-j}...\left(12\right)$

为确定使公式(11)最小化的α_i，通过假定对公式(11)的α_j(j＝1、2、......、p)的偏微分为0来求解。

$\frac{\∂}{{\∂\mathrm{\α}}_i}\underset{t=t_0}{\overset{t_1}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_t^2=\frac{\∂}{\∂{\mathrm{\α}}_i}\left(\underset{i=0}{\overset{p}{\mathrm{\Σ}}}\underset{j=0}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{c}_{\mathrm{ij}}{\mathrm{\α}}_j\right)=2\underset{i=0}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{c}_{\mathrm{ij}}=0...\left(13\right)$

公式(13)表示可以通过求解p个联立线性方程来确定α_i。对于公式(5)，可以根据x_t-1(i＝1、2、......、p)获得c_ij。也就是说，可以通过公式(13)获得α_i。

在根据公式(13)确定α_i时，ε_t的平方和最小。此时，可以通过基于公式(10)的值x′_t来满意地近似值x_t。如果该近似足够好，则可以使用x′_t替换x_t来作为预测信号。还可以根据利用(p-1)个相邻值和预测所获得的信号获得x_t+1的近似值。顺次重复该操作，使得能够生成预测期中的信号。在本实施例中，将用于通过所获得的值α_i来获得预测期中的近似的操作称为预测操作。

将说明适当的学习操作和预测操作。如图6A～6C所示，为进行学习操作，使用预测期附近的信号。这利用音频信号的、表示可重复性在短时间范围内相对高的特性。如图6A～6C所示，在存在噪声的时期之前设置学习期1，并且在存在噪声的时期之后设置学习期2。在学习操作和预测操作中，对于学习期1和2中的信号独立进行计算。将在学习期1中的学习操作之后生成预测期中的信号称为前向预测。将在学习期2中的学习操作之后生成预测期中的信号称为后向预测。通过在靠近学习期1的部分中对前向预测的值分配大的权重、和在靠近学习期2的部分中对后向预测的值分配大的权重，获得预测期中的信号。

上述PLC处理44e和LPC处理44f是预测处理。如上所述，这些处理的共同特征是丢弃噪声生成时的音频信号，不受噪声水平的影响，并且优点在于时间段短。本发明着重于这些特征。下面详细说明利用该预测处理的特征的音频处理。注意，术语“PLC”和“LPC”不是正式的，并且仅为了方便才在本说明书中使用。

首先说明本实施例的感兴趣的噪声源。噪声源的第一个例子是图2所示的光圈驱动电路9c。以使光圈驱动电路9c的基准线与光轴4相一致的方式将光圈驱动电路9c设置在镜头2中。在向驱动源(未示出)施加电力时，光圈驱动电路9c进行用于使光圈叶片进入光路的缩小光圈操作。

在光圈叶片处于光路外部时(全光圈状态)，通过除光圈叶片以外的部分调节光束。另一方面，当光圈叶片进入光路时(缩小光圈状态)，通过光圈叶片调节光束。

驱动源是可以通过适当控制励磁状态来相对容易地实现定位的步进马达。也就是说，可以通过适当控制来调整向光路的光圈叶片进入量。这使得能够调整图像传感器6中的光量。

接着说明由用作噪声源的光圈驱动电路9c所生成的声音。在相对短的时间内进行上述缩小光圈操作。该时间为例如约20～40ms。对于缩短从释放到曝光的时间延迟和提高连续拍摄速度，这样高的操作速度是必需的。另一方面，由缩小光圈操作所生成的声音包括齿轮间碰撞的声音和光圈叶片相互摩擦的声音。也就是说，生成宽频带的噪声。

噪声源的第二个例子是操作按钮31的点击感生成单元。点击感生成单元具有轮。与操作按钮31一体的轮等根据用户操作围绕转动中心转动。此时，轮上的凸起对球状物加压。因此，用户感觉到转动时的力，并且在球状物掉入凸起的凹陷部中时，用户得到“点击”的感觉。在适当设计凸起形状等时，生成所谓的点击感。

接着说明由用作噪声源的点击感生成单元所生成的声音。由于在球状物从凸起的脊掉入凹陷时发生碰撞，因而在短时间内生成宽频带的噪声。

作为上述噪声的特征，该噪声是短时间的宽频带噪声。本发明可应用于除上述两个例子以外的任何噪声，只要该噪声具有这一特征即可。另外，如上所述，短时间的宽频带噪声与该预测处理相容。因此可以适当进行预测处理。

图7A～7C示出短时间的宽频带噪声和预测处理时间之间的关系。参考图7A～7C，横轴表示时间，并且纵轴表示音频信号电平。附图标记71a、71b和71c表示仅存在被摄体声音或暗噪声的时期的音频信号，附图标记72a和72b表示生成噪声时期的音频信号，并且73a和73b表示预测处理之后的音频信号。在图7A～7C中，包含噪声的音频信号72a和72b存在于两个部分。图7A示出通过麦克风7获取的信号，图7B示出已处理了包含第一噪声的音频信号72a之后的音频信号，并且图7C示出已处理了包含第二噪声的音频信号72b之后的音频信号。

如对于PLC处理44e和LPC处理44f所述，第一降噪单元需要用于预测处理的预定处理时间。在图7A～7C中以预测处理时间表示该时间。在图7A～7C的例子中，由于从对包含第一噪声的音频信号72a的处理至对包含第二噪声的音频信号72b的处理的时间长于预测处理时间，因而适当执行预测处理。在预测处理之后，将包含第一噪声的音频信号72a适当处理成音频信号73a。在预测处理之后，将包含第二噪声的音频信号72b适当处理成音频信号73b。在仅存在被摄体声音或暗噪声的时期中的音频信号71a、71b和71c不需要特别处理，并且被直接输出。最后，获得经过了适当降噪的音频信号，如图7C所示。

接着参考图8A和8B说明发生本发明感兴趣的问题的情景。图8A和8B示出包含噪声的音频信号72a和72b存在于两个部分的例子，如图7A～7C一样。在图8A和8B中，与图7A～7C中相同的附图标记表示相同信号，横轴表示时间，并且纵轴表示音频信号电平。图8A示出通过麦克风7获取的信号，并且图8B示出在处理了包含第一噪声的音频信号72a之后的音频信号。

在图8A和8B的例子中，从对包含第一噪声的音频信号72a的处理至对包含第二噪声的音频信号72b的处理的时间短于预测处理时间。也就是说，如果在没有确保长于或等于预定时间段的间隔的情况下驱动多个驱动单元中的两个以上，则没有适当处理包含第二噪声的音频信号72b。结果，没有减少第二噪声72b，如图8B所示。另外，如果在预测处理所需的学习期中包括第二噪声，则通过以受到第二噪声影响的音频来替换信号，执行针对第一噪声的预测处理。

例如，在使用参考图8A和8B所说明的音频信号在经由线缆连接至用作再现设备的摄像设备1的监视器上再现运动图像时，噪声72b影响被摄体声音，导致较差的音频质量。也就是说，再现的音频的质量可能劣化。

参考图9A～9C到12A～12C说明本发明的要点。通过将滤波处理44b和静音处理44c例示为第二降噪单元作出下面的说明。然而，可以单独或组合使用SS处理44a和声压处理44d等。

图9A～9C是用于解释噪声频谱和滤波特性的图。在图9A～9C中，与图7A～7C中相同的附图标记表示相同信号。在图9A中，横轴表示时间，并且纵轴表示麦克风输出。在图9B中，横轴表示频率，并且纵轴表示功率谱。在图9C中，横轴表示频率，并且纵轴表示滤波增益。图9B和9C的横轴彼此一致。贯穿图9B和9C的长短交替的虚线表示相同频率。在图9B中，附图标记80表示被摄体声音水平，附图标记82表示包含噪声的音频信号72a和72b的功率谱，并且附图标记82a和82b表示应用滤波之后的功率谱。示出被摄体声音主要存在的频带作为被摄体声音频带。在图9C中，附图标记83表示滤波特性。如第一例子或第二例子所说明的噪声是宽频带噪声，因此在包括被摄体声音频带的宽区域中具有高功率谱。在图9A～9C的例子中，特别在低频侧，噪声具有高功率。然而，噪声可以在高频侧具有高功率。

如图9C示意性示出，将滤波处理44b设计成使被摄体声音频带通过(＝0dB)并且截除其余频带(＝低增益)。通过应用上述滤波，包含噪声的音频信号72a和72b改变成图9B中的功率谱82a和82b。在被摄体声音频带中，由于滤波特性是0dB，因而该功率谱与应用滤波之前的功率谱82相一致。结果，不是在音频信号频带中、而是在其它频带中截除机械驱动噪声成分。这意味着尽管不完全、但可以减少机械驱动噪声成分。

图10详细示出由被称为横向滤波器的滤波器构成的滤波处理44b的结构。参考图10，附图标记81表示输入单元，附图标记82表示单位延迟装置，附图标记83表示滤波系数保持单元，附图标记84表示延迟装置，附图标记85表示开关，并且附图标记86表示输出单元。可知，图10所示电路进行通过公式(7)所表示的卷积积分(公式(7)的f(t)对应于图10中的h)。也就是说，通过滤波处理44b对输入给输入单元81的信号适当滤波。另一方面，延迟装置84向该信号应用与滤波处理44b均等的延迟。通过滤波处理44b的延迟根据滤波系数而改变。通常，该延迟约为滤波器阶数的1/2。

与噪声生成同步地连接开关85。图10的例子表示没有生成噪声的情况。此时，通过简单地延迟输入给输入单元81的信号获得信号。在生成噪声时，将开关85连接到滤波处理44b的输出侧。此时，通过对输入给输入单元81的信号进行滤波来获得信号。结果，输出单元86可以获得适当滤波后的信号。

可以通过硬件容易地实现如图10所示的滤波，并且该滤波器进行实时处理。也就是说，尽管效果有限，如参考图9A～9C所述，但是处理时间与预测处理时间相比要短很多。使用该特征。

接着参考图11A～11C说明通过滤波处理44b的降噪。在图11A～11C中，与图7A～7C中相同的附图标记表示相同信号，横轴表示时间，并且纵轴表示音频信号电平。附图标记74a和74b表示经过了滤波处理的音频信号，并且附图标记75a表示在滤波处理之后经过了预测处理的音频信号。图11A示出通过麦克风7获取的信号，图11B示出经过了滤波处理的信号，并且图11C示出在第一滤波处理之后通过对音频信号74a进行预测处理所获得的音频信号。

图11A～11C的例子假定下面的情况：从对包含第一噪声的音频信号72a的处理至对包含第二噪声的音频信号72b的处理的时间短于预测处理时间，如图8A和8B所示的例子一样。

根据本实施例的音频信号处理设备与噪声生成同步地操作用作第二降噪单元的滤波处理44b。结果，包含噪声的音频信号72a和72b改变成经过了滤波处理的音频信号74a和74b。如参考图9A～9C所述，应用滤波使得机械驱动噪声成分一定程度地减少。在图11B通过振幅对此进行示意性示出。

接着，对前一阶段存在的滤波后的音频信号74a进行预测处理。预测处理丢弃原始音频信号，因此即使在执行滤波处理时也没有影响(也就是说，不会生成不利效果)。

在图11A～11C的例子中，从对音频信号74a的处理到对音频信号74b的处理的时间短于预测处理时间。对于音频信号74b的部分不进行预测处理。结果，记录图11C所示的信号。然而，由于对包含第二噪声的音频信号72b进行了滤波，因而与图8A和8B的例子相比，可以减少机械驱动噪声成分。当使用作为再现设备的上述摄像设备1再现运动图像时，噪声72b的影响降低从而使音频质量提高。

作为另一例子，如果发生未进行预测处理的部分，如图17的(a)～(c)一样，则可以将该信息记录在预定区域中。在这种情况下，可以与摄像异步(在摄像之后的适当时刻)执行预测处理。在摄像设备1中，可以在适当时刻进行该处理。

摄像设备1可以经由线缆与个人计算机(PC)连接，并且可以通过适当应用程序软件发送和处理运动图像和上述信息。这使得能够获得更高质量的音频。

静音处理44c具有非常简单的结构，包括图10所示的输入单元81、开关85和输出单元86，以仅将信号改变成0电平。这使得能够进行实时处理。

接着参考图12A～12C说明通过静音处理44c的降噪。在图12A～12C中，如图7A～7C中相同的附图标记表示相同信号，横轴表示时间，并且纵轴表示音频信号电平。附图标记76a和76b表示经过了静音处理的音频信号，并且附图标记75a表示在静音处理之后经过了预测处理的音频信号。图12A示出通过麦克风7获取的信号，图12B示出经过了静音处理的信号，并且图12C示出在第一静音处理之后通过对音频信号76a进行预测处理所获得的音频信号。

在静音处理中，当然可以完全消除机械驱动噪声。另一方面，还完全消除被摄体声音。如果被摄体声音小，则可以通过利用静音处理消除机械驱动噪声来获得适当音频。如果被摄体声音大，则被摄体声音中断而出现不协调的感觉。由于可以进行适当处理的情景有限，因而静音处理的效果有限。

同样在图12A～12C的例子中，通过应用本发明可以获得与图11A～11C的情况下相同的效果。也就是说，在进行预测处理时，在预测处理之前、对通过预测处理不可消除的噪声执行除预测处理以外的处理，从而适当降噪。

同样在图12A～12C中，以附图标记75a表示预测处理之后的音频信号，如图11A～11C中一样。这表示在没有已经过了静音处理或滤波处理的信号的影响的情况下，生成相同信号。

如上所述，当在预测处理中计算预测信号要使用的音频信号包括受到噪声的大的影响的信号时，在预测信号自身中噪声的影响变得突出。然而，当对于与计算预测信号要使用的噪声期邻接的噪声期前后的时期(“学习期”)中的音频信号预先执行一定程度的降噪时，可以在降低噪声对预测信号的影响的同时进行降噪。

特别地，当执行第二降噪单元(SS处理、滤波处理、静音处理和声压处理)，并在此后执行通过预测处理的第一降噪单元(PLC处理和LPC处理)以包括第一噪声期时，可以在降低操作负荷的同时有效减少噪声。

第二实施例

接着说明第二实施例。本实施例的降噪单元44包括图3所示的结构中的SS处理44a、滤波处理44b、PLC处理44e和LPC处理44f，并且它们的操作和功能与以上所述的相同。

下面说明本实施例的噪声生成机制。用作噪声源的抖动校正驱动电路9b具有可在双轴方向上驱动的校正光学系统(透镜。抖动校正驱动电路9b通过根据来自抖动传感器14的检测信号使驱动单元(线圈)使得校正光学系统偏心、来校正照相机抖动。在对线圈没有电流供应的情况下，抖动校正驱动电路9b的校正光学系统在重力方向上偏心。当用户在这种状态下观看光学取景器时，观察到低质量的图像。为防止这种情况，在不进行照相机抖动校正时，将校正光学系统适当保持在光轴上。在诸如照相机等的便携式装置中，由于省电需要，难以始终将校正光学系统保持在光轴上。

为解决该问题，在抖动校正驱动电路9b中设置包括光断路器等的锁定机构。在切断给光断路器的信号时，可以检测到锁定状态。在锁定状态下，校正光学系统大致保持在光轴上。为从锁定状态变换成解锁状态，步进马达从锁定位置起在预定方向上转动预定量。在解锁状态下，抖动校正驱动电路9b可以操作校正光学系统来校正照相机抖动。

将说明由用作噪声源的抖动校正驱动电路9b生成的声音。在上述锁定机构在锁定状态和解锁状态之间变换时，在短时间内生成大的声音。另一方面，在抖动校正操作期间，根据抖动校正驱动稳定地生成小的声音。

图14A和14B示出由抖动校正驱动电路9b所生成的音频信号。在图14A中，横轴表示时间，并且纵轴表示麦克风7的输出。图14B示出图14A中数个时期中的音频信号的傅立叶变换结果。横轴表示频率，并且纵轴表示功率谱。参考图14A，附图标记91表示所谓的暗噪声期，附图标记92表示锁定机构的操作声音，以及附图标记93表示抖动校正中的稳态声音。参考图14B，附图标记91a、92a和93a分别表示部分91、92和93的傅立叶变换结果，并且附图标记94a表示频率f[Hz]处的信号93a和91a之间的差。在暗噪声期91中，音频信号电平低，并且功率谱91a也小于其余时期中的功率谱。在包括锁定机构的操作声音的时期92中，在短时间内生成大的第一噪声(第一驱动噪声成分)。另外，由于发生碰撞等，因而在宽频带中生成噪声。为此，功率谱92a在宽范围表现大的值。在抖动校正期93中，生成持续时间长于第一噪声的稳态的第二噪声(第二驱动噪声成分)。此外，与抖动校正驱动电路9b的类型相对应的特定频带中的噪声变大。为此，功率谱93a具有数个峰。

在图14A和14B中，在应用SS方法时，与每一频率相对应地存储抖动校正期的功率谱93a和暗噪声的功率谱91a之间的差94a。在SS处理中，照相机系统控制电路25如上所述给出所存储的功率谱差94a。

参考图15说明透镜类型、噪声特征和降噪技术选择方法。图15示出在使用数个透镜的抖动校正期间的噪声的傅立叶变换结果。横轴表示频率，并且纵轴表示功率谱。假定被摄体声音在适当频带具有主要成分，如图15所示(图15示出作为被摄体声音频带的频带)。在图15中，附图标记93a、93b和93c表示不同透镜的功率谱，并且附图标记95表示被摄体声音水平。

假定抖动校正驱动电路9b生成具有功率谱93a的噪声。在被摄体声音频带中，抖动校正驱动电路9b的噪声的功率谱93a高于被摄体声音水平95的水平，以致影响被摄体声音。滤波器通过频带从被摄体声音分离噪声。因此，在这种情况下使用滤波器的处理是困难的。

另一方面，假定抖动校正驱动电路9b生成具有功率谱93b或93c的噪声。在被摄体声音频带外部，抖动校正驱动电路9b的噪声的功率谱93b或93c部分具有高于被摄体声音电平95的电平，以致影响被摄体声音。然而，假定被摄体声音在被摄体声音频带中占优势。在这种情况下，使用滤波器的处理是合适的。

更具体地，在生成噪声93b时，使用适当的高通滤波器，并且在生成噪声93c时，使用适当的低通滤波器。这相当于设置满足公式(5)和(6)的滤波器。在滤波处理中，预先估计噪声源的频谱，并且照相机系统控制电路25如上所述给出适当的滤波器。

SS处理44a可能使被摄体声音失真，但是适用于难以通过频带分离的噪声。另一方面，如果可以通过频带分离噪声，则滤波处理44b在降低对被摄体声音的影响的同时，可以减少噪声。也就是说，在关注噪声源的功率谱时，根据需要选择性地使用SS处理44a和滤波处理44b。

使用角速度ω说明了SS处理44a和滤波处理44b。图14B和15的横轴表示频率，其中，可以通过2πf＝ω[rad/s]来转换该频率。

本发明的音频信号处理设备和包括该音频信号处理设备的摄像设备可以使用滤波处理44b或SS处理44a作为前一阶段的降噪。下面说明使用SS处理44a的情况。

参考图16A～16D说明SS处理开始时刻的同步与多个降噪处理的问题。参考图16A～16D，一个框表示适当时间内的音频信号的集群(例如，一个框对应于10ms的音频信号)。横轴表示时间。图16A～16D中还示出说明性图例。附图标记101表示仅存在被摄体声音或暗噪声的时期的音频信号，附图标记102表示生成解锁声音的时期的音频信号，并且附图标记103表示生成抖动校正驱动噪声的时期的音频信号。这些音频信号对应于图14A和14B中的91、92和93。在图16A～16D中，附图标记104表示通过锁定声音生成期的SS处理所获得的音频信号，附图标记105表示通过抖动校正驱动噪声生成期的SS处理所获得的音频信号，并且附图标记106表示通过在仅包括被摄体声音或暗噪声的时期的SS处理所获得的音频信号。图16A示出SS处理之前的音频信号。图16B示出在与解锁时刻同步地开始SS处理时的音频信号。图16C示出在解锁时刻之前开始SS处理时的音频信号。图16D示出在解锁时刻之后开始SS处理时的音频信号。

参考图16B，通过抖动校正驱动噪声生成期的SS处理所获得的音频信号105已适当地经过了SS处理。因此，抖动校正驱动中的噪声适当减少。另一方面，如图14A和14B所述，尽管锁定声音生成时间短，但是通过锁定声音生成期的SS处理所获得的音频信号104在宽频带具有高功率。为此，通过使用抖动校正操作的功率谱的SS处理不可能充分减少噪声。在图14A和14B的例子中，即使在SS处理之后，功率谱92a和93a之间的差也存在。这是因为SS处理旨在减少稳态噪声，即通过抖动校正驱动所生成的噪声。

参考图16C，在存在被摄体声音时，通过仅包括被摄体声音或暗噪声的时期的SS处理所获得的音频信号106失真。在该SS处理中，使用估计的噪声频谱进行频谱相减，如公式(3)一样。然而，由于音频信号106的时期原本不包括任何噪声，因而进行过度相减。结果，被摄体声音失真。

在图16D中，在不进行处理的情况下保持锁定声音的开始部分。通常，伴随碰撞现象的噪声表现在生成大的声音之后的衰减形状，如图14A和14B所示的例子中一样。在这种情况下，将开始部分处的大的噪声直接叠加在被摄体声音上。

如果SS处理开始时刻和噪声生成时刻可以完全同步，则可以获得图16B所示的音频信号。然而，由于摄像设备1通过经由电触点10向拍摄镜头2发送指示来调整光学系统，因而根据通信和中断定时等发生延迟。为此，在完全同步的时刻进行SS处理不大容易。如果SS处理时刻不同步，则被摄体声音失真，或者叠加大的噪声，如参考图16C和16D所说明的。

参考图17的(a)～(c)说明SS处理的帧和相减增益的问题。参考图17的(a)～(c)，一个框表示适当时间的音频信号的集群，如图16A～16D中一样。横轴表示时间，并且与图16A和16B中相同的附图标记表示相同信号。在图17的(a)～(c)中，附图标记101a表示通过仅包括被摄体声音或暗噪声的时期的SS处理所获得的音频信号，并且105a和107表示通过抖动校正驱动噪声生成期的SS处理所获得的音频信号。后面将详细说明区别。图17的(a)～(c)的垂直虚线表示在SS处理中要同时经过FFT的信号的片断(以下称为SS处理的帧)。在SS处理中，如上所述进行FFT、频谱相减和IFFT。由于要经过FFT的数据的数量必须是2的幂，因而通过将信号分割成适当的帧来进行该处理。在图17的(a)～(c)的例子中，使用三个帧，按照时间顺序称为帧1、帧2和帧3。

图17的(a)示出SS处理之前的音频信号。图17的(b)示出当执行SS处理以适当处理抖动校正驱动噪声生成期103时的音频信号。图17的(c)示出当执行SS处理以适当处理仅包括被摄体声音或暗噪声的时期91时的音频信号。

在图17的(a)～(c)的例子中，帧1不需要经过SS处理。在判别出由照相机系统控制电路25所添加的信息表示帧3仍未经过SS处理之后，执行帧3的SS处理。问题在帧2的处理中。下面说明帧2的处理及其问题。

在图17的(b)中，执行SS处理以适当处理抖动校正驱动噪声生成期103。由于这个原因，通过帧2中的抖动校正驱动噪声生成期的SS处理所获得的音频信号105a已适当地经过了SS处理，并且由抖动校正驱动所生成的噪声适当减少。另一方面，对于通过仅包括被摄体声音或暗噪声的时期的SS处理所获得的音频信号106，进行过度相减，并且被摄体声音失真，如图12A～12C中一样。

在图17的(c)中，执行SS处理以适当处理仅包括被摄体声音或暗噪声的时期101。为此，通过帧2中的仅包括被摄体声音或暗噪声的时期的SS处理所获得的音频信号101a适当地经过该处理，并且被摄体声音的失真小。另一方面，对于通过抖动校正驱动噪声生成期的SS处理所获得的音频信号107，进行过小相减(undersubtraction)，并且没有充分减少噪声。

为解决这一问题，日本特开2006-262241号公报提出使用噪声期的噪声的混合比率适当地进行频谱相减。然而，不容易精确检测到噪声生成时刻。即使使用上述混合比率，对于与图17的(b)和(c)中的101a和105a相对应的音频信号同样难以精确进行SS处理(仅可以获得图17的(a)～(c)的说明中的中间结果)。

如参考图16A～16D和图17的(a)～(c)所述，在生成了多个噪声成分时，通过一个降噪处理难以获得足够的结果、使降噪时刻同步、和确定开始处理时的强度。本发明试图通过使用多个不同降噪方法、并适当限定它们的顺序来解决这些问题。

参考图6A～6C和16A～19E说明本发明的要点。

根据本实施例，在用作第二降噪单元的SS处理44a或滤波处理44b之后，执行用作第一降噪单元的PLC处理44e或LPC处理44f。例如，当进行SS处理44a时，获得如图16B～16D或图17的(b)和(c)所示的音频信号。图18示出通过设置包括已经过SS处理44a的时期的预测期来执行预测处理的例子。在图18中，与图16A～16D和图17的(a)～(c)中相同的附图标记表示相同信号。附图标记108表示通过预测所生成的音频信号。

如参考图16A～16D和图17的(a)～(c)所述，仅存在被摄体声音或暗噪声的时期中的音频信号101没有受到噪声影响。对于通过抖动校正驱动噪声生成期的SS处理所获得的音频信号105，适当地减少噪声。另一方面，对于这些信号之间的音频信号，噪声可能没有充分减少(例如，这适用于图16A～16D中的音频信号102和106、或者图17的(a)～(c)中的音频信号107)。然而，在预测处理中丢弃原始信号，如图6A～6C所示。为此，丢弃可能没有减少噪声的音频信号。另外，由于根据音频信号101和105生成通过预测所生成的信号，可以减少机械驱动噪声成分。

图19A～19E示出通过上述SS处理和预测处理的音频信号。横轴表示时间，并且纵轴表示麦克风7的输出。图19A示出该处理之前的音频信号。图19B示出在早于解锁的时刻经过了SS处理的音频信号。图19C示出在晚于解锁的时刻经过了SS处理的音频信号。图19D示出预测处理期间的音频信号。图19E示出预测处理之后的音频信号。图19A～19E示出不存在任何被摄体声音时的波形以阐明噪声的状态。即使存在被摄体声音，该处理方法和效果也没有变化。

参考图19A～19E，附图标记111表示仅存在被摄体声音或暗噪声的时期的音频信号，附图标记112表示生成解锁声音的时期的音频信号，附图标记113表示生成抖动校正驱动噪声的时期的音频信号，附图标记114表示通过锁定声音生成期的S S处理所获得的音频信号，附图标记115表示通过抖动校正驱动噪声生成期的SS处理所获得的音频信号，附图标记116表示通过仅包括被摄体声音或暗噪声的时期的SS处理所获得的音频信号，附图标记118a表示在预测处理中丢弃信号的状态，并且附图标记118表示预测处理之后的音频信号。图19A～19E中的音频信号111～116分别对应于图16A～16D中的101～106。音频信号118对应于图18中的108。在图19D中，通过使感兴趣的部分的信号为零来表现信号丢弃。

通过图19A～19E显而易见，即使存在包括被摄体声音失真的音频信号116或没有充分降噪的音频信号112，也可以通过丢弃这些信号获得由预测所生成的适当的音频信号118。

参考图19A～19E与图16A～16D相对应地进行了说明。然而，显然还可以解决图17的(a)～(c)所示的问题。更具体地，在将预测期设置成包括图17的(a)～(c)中的帧2时，丢弃包括被摄体声音失真的音频信号112或没有充分降噪的音频信号107，并且可以获得适当的音频信号。

最后，说明预测处理和除其以外的降噪的顺序颠倒的情况，并且阐述通过如本发明一样限定该顺序所获得的效果。

图20示意性示出在SS处理之前执行预测处理的情况。在图20中，与图16A～16D和图17的(a)～(c)中相同的附图标记表示相同信号。参考图20，附图标记109表示通过预测处理所生成的音频信号。

这种情况下的一个问题在于使用抖动校正驱动噪声生成期中的音频信号103所生成的音频信号109。也就是说，由于在音频信号109中剩余噪声的程度不清楚，因而不能确定要执行的S S处理或滤波处理的强度。

另一问题在于当假定噪声对音频信号109的影响逐渐增大时、SS处理或滤波处理的开始时刻。

参考图21A～21E说明这些问题。参考图21A～21E，横轴表示时间，纵轴表示麦克风7的输出，并且与图19A～19E中相同的附图标记表示相同信号。图21A示出预测处理之前的音频信号，图21B示出预测处理期间的音频信号，图21C示出预测处理之后的音频信号，图21D示出在SS处理的强度不合适时的音频信号，并且图21E示出在SS处理的时刻不合适时的音频信号。

参考图21A～21E，附图标记119a表示在预测处理中丢弃信号的状态，附图标记119表示预测处理之后的音频信号，附图标记120a表示由于频谱的过度相减而失真的音频信号，附图标记120b表示包含残留噪声的音频信号，并且附图标记121表示S S处理之后的音频信号。信号111～115对应于图16A～16D中的信号101～105，并且信号119对应于图20中的信号109。

当首先进行预测处理时，获得图21C中的信号。在图21A～21E的例子中，通过将前后的预测信号适当地重叠和相加，生成通过预测处理所生成的音频信号119。然而，该部分处的噪声的影响不明确，如图21A～21E所示。

在对于音频信号115进行SS处理时，生成图21D所示的信号。也就是说，适当地处理音频信号119中的噪声影响程度与音频信号115中的噪声影响程度相同的部分，以获得音频信号121。另一方面，音频信号119中的噪声影响程度小于音频信号115中的噪声影响程度的部分过度地经过SS处理，以获得包括被摄体声音失真的音频信号120a。

作为其它方法，在从音频信号119中的噪声影响程度与音频信号115中的噪声影响程度相同的部分开始、执行SS处理时，获得图21E中的信号。在这种情况下，可以获得包含残留噪声的音频信号120b。

在本实施例中，将抖动校正驱动电路9b例示为噪声源。然而，本发明还可应用于诸如调焦透镜驱动电路9a等的其它驱动单元。在这种情况下，假定调焦透镜驱动电路9a的可活动部与制动器机械碰撞。在正在驱动调焦透镜9a的可活动部时，通过马达和齿轮等生成稳态噪声。在与制动器碰撞时，在短时间内生成大的噪声。

如上所述，根据本实施例，在用作第二降噪单元的SS处理44a或滤波处理44b之后，执行用作第一降噪单元的PLC处理44e或LPC处理44f。因此可以获得适当减少了噪声的音频信号。这有助于提高用户的便利性。

在上述实施例中，说明了将本发明应用于数字照相机(摄像机)的例子。然而，本发明不限于此，并且还可以应用于具有噪声源并记录音频的任何设备。

其它实施例

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (17)

1.一种音频信号处理设备，其包含驱动单元，所述音频信号处理设备还包括：

音频获取单元，用于获取表示周围的音频的音频信号；

降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的；

控制单元，用于根据对所述驱动单元的驱动来控制所述降噪单元，

其中，所述降噪单元具有第一降噪处理和第二降噪处理，所述第一降噪处理利用基于在不包括所述噪声的时期中的音频信号所生成的信号来替换在包括所述噪声的时期中的音频信号，所述第二降噪处理基于在包括所述噪声的时期中的音频信号来减少所述噪声，以及

当驱动特定驱动单元时，所述控制单元控制所述降噪单元以在执行所述第二降噪处理之后执行所述第一降噪处理。

2.根据权利要求1所述的音频信号处理设备，其特征在于，

所述驱动单元生成没有持续预定时间以上的第一噪声和持续所述预定时间以上的第二噪声，以及

对于包括所述第一噪声和所述第二噪声的时期，所述控制单元控制所述降噪单元以在执行所述第二降噪处理之后执行所述第一降噪处理。

3.根据权利要求1或2所述的音频信号处理设备，其特征在于，所述驱动单元包括用于驱动如下透镜的驱动单元：该透镜用于抑制图像模糊，并且设置在拍摄被摄体图像的摄像单元中。

4.根据权利要求1所述的音频信号处理设备，其特征在于，当在生成第一噪声之后、在预定时间内生成第二噪声时，所述控制单元控制所述降噪单元以执行所述第一降噪处理来减少所述第一噪声、并且执行所述第二降噪处理来减少所述第二噪声。

5.根据权利要求1所述的音频信号处理设备，其特征在于，所述第二降噪处理是用于从所述音频信号的频谱减去与所述驱动单元的驱动相对应的频谱的处理。

6.根据权利要求1所述的音频信号处理设备，其特征在于，所述第一降噪处理是利用基于在不包括所述噪声的时期中的音频信号通过线性预测所计算出的信号来替换在包括所述噪声的时期中的音频信号的处理。

7.根据权利要求1所述的音频信号处理设备，其特征在于，所述降噪单元进行利用在不包括所述噪声的时期中的音频信号的复制信号来替换在包括所述噪声的时期中的音频信号的处理，作为所述第一降噪处理。

8.一种音频信号处理设备的控制方法，所述音频信号处理设备包括：驱动单元；音频获取单元，用于获取表示周围的音频的音频信号；以及降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的，所述控制方法包括以下步骤：

当驱动特定驱动单元时，对所述降噪单元进行控制以首先执行第二降噪处理、然后执行第一降噪处理，其中，所述第一降噪处理利用基于在不包括所述噪声的时期中的音频信号所生成的信号来替换在包括所述噪声的时期中的音频信号，所述第二降噪处理基于在包括所述噪声的时期中的音频信号来减少所述噪声。

9.根据权利要求8所述的控制方法，其特征在于，

所述驱动单元生成没有持续预定时间以上的第一噪声和持续所述预定时间以上的第二噪声，以及

对于包括所述第一噪声和所述第二噪声的时期，控制所述降噪单元，以在执行所述第二降噪处理之后执行所述第一降噪处理。

10.根据权利要求8所述的控制方法，其特征在于，当在生成第一噪声之后、在预定时间内生成第二噪声时，控制所述降噪单元以执行所述第一降噪处理来减少所述第一噪声、并且执行所述第二降噪处理来减少所述第二噪声。

11.根据权利要求8所述的控制方法，其特征在于，所述第二降噪处理是用于从所述音频信号的频谱减去与所述驱动单元的驱动相对应的频谱的处理。

12.根据权利要求8所述的控制方法，其特征在于，所述第一降噪处理是利用基于在不包括所述噪声的时期中的音频信号通过线性预测所计算出的信号来替换在包括所述噪声的时期中的音频信号的处理。

13.根据权利要求8所述的控制方法，其特征在于，所述第一降噪处理是利用在不包括所述噪声的时期中的音频信号的复制信号来替换在包括所述噪声的时期中的音频信号的处理。

14.一种音频信号处理设备，其包含驱动单元，所述音频信号处理设备还包括：

音频获取单元，用于获取表示周围的音频的音频信号；

降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的；

控制单元，用于根据对所述驱动单元的驱动来控制所述降噪单元，

其中，所述降噪单元具有第一降噪处理，所述第一降噪处理利用基于在不包括所述噪声的时期中的音频信号所生成的信号来替换在包括所述噪声的时期中的音频信号，以及

当在预定时间段内生成第一噪声和在所述第一噪声之后生成的第二噪声时，所述控制单元控制所述降噪单元，以对在包括所述第一噪声的时期中的音频信号执行所述第一降噪处理、并且对在包括所述第二噪声的时期中的音频信号不执行所述第一降噪处理。

15.根据权利要求14所述的音频信号处理设备，其特征在于，

所述降噪单元具有第二降噪处理，所述第二降噪处理基于在包括所述噪声的时期中的音频信号来减少所述噪声；以及

所述降噪单元受到控制、以对在包括所述第二噪声的时期中的音频信号执行所述第二降噪处理。

16.一种音频信号处理设备的控制方法，所述音频信号处理设备包括：驱动单元；音频获取单元，用于获取表示周围的音频的音频信号；以及降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的，所述控制方法包括以下步骤：

当在预定时间段内生成第一噪声和在所述第一噪声之后生成的第二噪声时，对所述降噪单元进行控制，以对在包括所述第一噪声的时期中的音频信号执行第一降噪处理、并且对在包括所述第二噪声的时期中的音频信号不执行所述第一降噪处理，其中，所述第一降噪处理利用基于在不包括噪声的时期中的音频信号所生成的信号来替换在包括噪声的时期中的音频信号。

17.根据权利要求16所述的控制方法，其特征在于，控制所述降噪单元以对在包括所述第二噪声的时期中的音频信号执行第二降噪处理，其中，所述第二降噪处理基于在包括噪声的时期中的音频信号来减少噪声。

Images