CN103297687B - 音频处理设备及其控制方法 - Google Patents

Abstract

本发明涉及一种音频处理设备及其控制方法。该音频处理设备包括：获取单元，用于获取音频信号；以及音频处理单元，用于降低所述音频信号内所包含的噪声，其中，所述音频处理单元利用基于包含所述音频信号的噪声的区间之前的预定区间的音频信号和所述包含噪声的区间之后的预定区间的音频信号所生成的信号，来补偿所述包含噪声的区间的音频信号，以及在所述包含噪声的区间之前的预定区间的音频信号和所述包含噪声的区间之后的预定区间的音频信号其中之一内包含噪声的情况下，所述音频处理单元利用基于无噪声区间的音频信号所生成的信号，来补偿所述包含噪声的区间的音频信号。

Description

音频处理设备及其控制方法

技术领域

本发明涉及一种音频处理设备及其控制方法。

背景技术

作为传统音频处理设备，已知有能够随所拍摄运动图像而记录声音的摄像设备。

在摄像设备中，存在将由于光学系统的驱动而产生的噪声记录为声音的问题，因而，如日本特开2006-203376所述，开发了与该问题相关的各种降噪技术。在日本特开2006-203376中，讨论了如下技术：在驱动摄像设备的光圈马达或快门马达的情况下，通过使用紧挨在驱动马达之前的噪声生成区间内的声音来补偿该区间内所产生的声音。

日本特开2008-053802讨论了用于消隐硬盘驱动器的磁头退避噪声的消隐方法。具体而言，基于产生了硬盘驱动器的磁头退避噪声的部位的音频信号前后的信号来生成该音频信号，从而消隐磁头退避噪声。

在“International Telecommunication Union-TelecommunicationStandardization Sector(ITU-T)Recommendation G.711-Appendix I”中，公开了与声音的传输和解调相关联的音频传输时的丢包消隐方法。具体而言，通过基于丢包之前的信号预测丢包部位的信号，来产生该丢包部位的信号。此外，在再次正常获取到包时，利用预测进行校正，以使得该正常包之前的包的信号可平滑过度到该正常包。

然而，在使用日本特开2006-203376中所讨论的技术来进行降噪的情况下，例如，如果顺次驱动光圈马达和快门马达，那 么光圈马达的噪声可能例如会包含在用于补偿驱动快门马达的区间的声音的声音内。在上述情况下，噪声区间中包括其它噪声，这导致降噪效果的劣化。

发明内容

本发明涉及一种即使在顺次产生多种类型的噪声的情况下也能够高效地进行降噪的音频处理设备。

根据本发明的一方面，一种音频处理设备，包括：获取单元，用于获取音频信号；以及音频处理单元，用于降低所述音频信号内所包含的噪声，其中，所述音频处理单元利用基于包含噪声的区间之前的第一预定区间的音频信号以及/或者所述包含噪声的区间之后的第二预定区间的音频信号所生成的信号，来补偿所述音频信号中的所述包含噪声的区间的音频信号，以及在所述第一预定区间的音频信号或所述第二预定区间的音频信号内包含噪声的情况下，所述音频处理单元利用基于无噪声区间的音频信号所生成的信号，来补偿所述包含噪声的区间的音频信号。

根据本发明的一方面，一种音频处理设备的控制方法，所述音频处理设备包括用于获取音频信号的获取单元，所述控制方法包括以下步骤：利用基于包含噪声的区间之前的第一预定区间的音频信号以及/或者所述包含噪声的区间之后的第二预定区间的音频信号所生成的信号，来补偿所述音频信号中的所述包含噪声的区间的音频信号；以及在所述第一预定区间的音频信号或所述第二预定区间的音频信号内包含噪声的情况下，利用基于无噪声区间的音频信号所生成的信号来补偿所述包含噪声的区间的音频信号。

根据本发明的一方面，一种音频处理设备，包括：音频获 取单元，用于获取音频信号；以及音频处理单元，用于对所述音频获取单元所获取的音频信号进行处理，其中，所述音频处理单元通过使用基于包含噪声的区间之前的参考区间的音频信号以及/或者所述包含噪声的区间之后的参考区间的音频信号所生成的预测信号，来对所述包含噪声的区间的音频信号进行处理，以及在第一噪声和所述第一噪声之后所生成的第二噪声之间的时间差处于预定时间范围内的情况下，所述音频处理单元进行如下操作：通过使用基于包含所述第一噪声的区间之前的参考区间的音频信号所生成的预测信号，来对包含所述第一噪声的区间的音频信号进行处理，以及通过使用基于包含所述第二噪声的区间之后的参考区间的音频信号所生成的预测信号，来对包含所述第二噪声的区间的音频信号进行处理。

根据本发明的一方面，一种音频处理设备，包括：音频获取单元，用于获取音频信号；以及音频处理单元，用于对所述音频获取单元所获取的音频信号进行处理，其中，所述音频处理单元通过使用基于包含噪声的区间之前的参考区间的音频信号以及/或者所述包含噪声的区间之后的参考区间的音频信号所生成的预测信号，来对所述包含噪声的区间的音频信号进行处理，以及在对包含第一噪声的区间的音频信号进行处理的情况下，如果所述参考区间的其中一个参考区间的音频信号包含其它噪声，则所述音频处理单元通过使用基于不包含其它噪声的参考区间的音频信号所生成的预测信号，来对包含所述第一噪声的区间的音频信号进行处理。

根据本发明的一方面，一种音频处理设备，包括：音频获取单元，用于获取音频信号；以及音频处理单元，用于对所述音频获取单元所获取的音频信号进行处理，其中，所述音频处理单元通过使用基于包含噪声的区间之前的参考区间的音频信 号以及/或者所述包含噪声的区间之后的参考区间的音频信号所生成的预测信号，来对所述包含噪声的区间的音频信号进行处理，以及在第一噪声和所述第一噪声之后所生成的第二噪声之间的时间差处于预定时间范围内的情况下，所述音频处理单元进行如下操作：通过使用基于包含所述第一噪声的区间之前的参考区间的音频信号所生成的第一预测信号，来对包含所述第一噪声的区间的音频信号进行处理，以及通过使用第二预测信号，来对包含所述第二噪声的区间的音频信号进行处理，其中所述第二预测信号是基于包含所述第二噪声的区间之后的参考区间的音频信号以及包含所述第二噪声的区间之前的参考区间的包含所述第一预测信号的音频信号所生成的。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得显而易见。

附图说明

包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1是示出根据本发明典型实施例的摄像设备的示意图。

图2是示出根据本典型实施例的摄像设备和摄像镜头的功能的框图。

图3是示出根据本典型实施例的摄像设备和摄像镜头的立体图。

图4是示出音频处理单元的功能的框图。

图5示出噪声判断单元的操作。

图6A、6B、6C、6D和6E各自示出噪声判断单元的信号状态。

图7示出根据本典型实施例的预测处理。

图8示出根据本典型实施例的预测处理。

图9示出根据本典型实施例的预测处理。

图10A、10B和10C各自示出根据本典型实施例的预测处理。

图11是示出根据本典型实施例的预测处理的操作的流程图。

图12示出根据本典型实施例的预测处理。

图13A、13B和13C各自示出根据本典型实施例的预测处理。

图14示出根据本典型实施例的预测处理。

图15A、15B、15C和15D各自示出根据本典型实施例的预测处理。

具体实施方式

下面参考附图详细描述本发明的各个典型实施例、特征和方面。

在本典型实施例中，说明了能够对通过收集周围声音所获取的音频信号进行降噪处理的摄像设备。

图1是根据本典型实施例的摄像设备的示意图。在图1中，摄像镜头2安装在摄像设备1上。摄像设备1和摄像镜头2可通过电触点10彼此电连接。在摄像设备1和摄像镜头2彼此电接触时，摄像设备1的控制单元(未示出)和摄像镜头2的控制单元(未示出)可以通过电触点10彼此通信。

摄像设备1把被摄体的光学图像转换成电信号，以得到图像信号。例如，摄像设备1包括：如光电转换元件等的图像传感器6；以及麦克风7，用于把周围声音的声音振动转换成电信号，以获得音频信号。摄像设备1还包括焦点检测单元12，其包括快速复位镜机构11和自动调焦(AF)传感器。

另一方面，摄像镜头2包括镜筒5和摄像光学系统3，摄像光学系统3包括沿摄像镜头2的光轴4排列的多个镜头或一个镜头。摄像镜头2还包括用于驱动摄像光学系统3的镜头的光学系统驱动单元9。

摄像设备1的控制单元(未示出)控制快速复位镜机构11，以将从摄像镜头2输入的被摄体的光学图像的一部分引导至焦点检测单元12，并控制焦点检测单元12以进行焦点检测。摄像设备1的控制单元还可使焦点检测单元12进行曝光检测。摄像设备1的控制单元基于检测结果，将镜头驱动命令传输给摄像镜头2的控制单元。摄像镜头2的控制单元基于镜头驱动命令来控制光学系统驱动单元9，以驱动摄像光学系统3的镜头。摄像镜头2的控制单元可使光学系统驱动单元9根据基于曝光检测的结果的驱动命令来驱动摄像光学系统3的光圈。

根据本典型实施例的摄像设备1的控制单元可以控制快速复位镜机构11以在图像传感器6上形成光学图像。同时，摄像设备1的控制单元可在控制摄像镜头2的摄像光学系统3的同时，对从图像传感器6得到的图像信号的图像的状态进行分析。换句话说，摄像设备1的控制单元还可以控制光学系统驱动单元9以逐步驱动摄像光学系统3，从而使得图像传感器6得到的图像信号的图像的边缘部分变得清楚。

利用根据本典型实施例的摄像设备1，用户可以与释放按钮(未示出)的操作同步地从图像传感器6获取被摄体的图像信号，以在对该图像信号进行预定图像处理之后，将该被摄体的图像信号记录在存储介质(未示出)中。

下面描述根据本典型实施例的摄像设备1的功能。

图2的框图示出根据本典型实施例的摄像设备1和摄像镜头2的功能。

在图2中，摄像设备1包括焦点检测单元12、曝光检测单元13、图像传感器6、模数(A/D)转换单元20、图像处理单元21、记录处理单元23、存储器24、照相机系统控制单元25、麦克风7、音频处理单元26、操作单元27和显示单元22。另一方面，摄像镜头2包括摄像光学系统3、镜头系统控制单元28、调焦透镜驱动单元9a、图像稳定驱动单元9b和光圈驱动单元9c。

各功能块可以实际被配置成各自为独立硬件的形式，或者多个功能块可被配置成单个硬件。例如，照相机系统控制单元25包括微计算机，该微计算机包括中央处理单元(CPU)和存储器。微计算机可执行其它功能块的功能。

在摄像系统中，被摄体的光学图像通过摄像光学系统3形成在图像传感器6的摄像面上。在诸如瞄准等的摄像的预备动作期间，设置在快速复位镜机构11中的反射镜并非将光学图像引导至图像传感器6，而是将光学图像引导至取景器的一侧，同时将光束的一部分引导至焦点检测单元12。基于焦点检测单元12的检测结果，下述控制系统对摄像光学系统3进行适当调整。因而，图像传感器6受到被摄体光的足够光量的曝光，由此在图像传感器6的附近形成被摄体图像。

图像处理单元21对通过A/D转换单元20从图像传感器6接收到的图像信号进行处理。例如，图像处理单元21包括白平衡电路、伽玛校正电路和用于通过补偿计算改善分辨率的补偿运算电路。

在声音处理系统中，音频处理单元26对麦克风7得到的音频信号进行适当处理，从而产生记录用音频信号。所生成的记录用信号利用下述记录处理单元而与图像相关联，从而被传送给记录处理单元23。

记录处理单元23将包括图像信号和音频信号的流数据记录 在(未示出的)存储介质中，并进一步生成要输出至显示单元22的图像。记录处理单元23使用预定方法对图像、运动图像和声音进行压缩和编码处理。在本典型实施例中，可采用任何类型的压缩和编码处理。

照相机系统控制单元25控制摄像设备1的各个块。例如，基于来自操作单元27的输入，照相机系统控制单元25生成并输出摄像时的定时信号，并将用于驱动镜头的命令信号输出至摄像镜头2的控制单元。照相机系统控制单元25还用作下述的用于判断周围声音等级的判断单元以及用于将周围声音和驱动声音进行比较的比较单元。焦点检测单元12检测被摄体的光学图像的对焦状态。曝光检测单元13检测被摄体的亮度。镜头系统控制单元28使光学系统驱动单元9根据照相机系统控制单元25的信号来适当地驱动镜头，以调整光学系统。

照相机系统控制单元25检测例如与操作单元27的快门释放按钮相对应的操作信号，以控制图像传感器6的驱动、图像处理单元21的操作和记录处理单元23的压缩处理。照相机系统控制单元25对用于在显示单元22上显示信息的诸如光学取景器和液晶监视器等的信息显示设备的各部分的状态进行控制。

下面描述控制系统对光学系统进行的调整操作。照相机系统控制单元25与焦点检测单元12和曝光检测单元13相连接，以基于来自焦点检测单元12和曝光检测单元13的信号来获得合适的焦点位置和光圈位置。照相机系统控制单元25通过电触点10将命令发出至镜头系统控制单元28。镜头系统控制单元28对调焦透镜驱动单元9a和光圈驱动单元9c进行适当控制。镜头系统控制单元28还与(未示出的)照相机抖动检测传感器相连接。因而，镜头系统控制单元28在照相机抖动校正模式下，基于来自照相机抖动检测传感器的信号，以适当方式控制图像稳定驱动 单元9b。

下面描述诸如运动图像拍摄等的伴随有声音记录的图像拍摄。在伴随有声音记录的图像拍摄中，镜头和照相机本体的驱动致动器中所产生的声音(以下称为“驱动机构的声音”)是不需要的声音、即噪声。用户对按钮/拨盘的操作以及与外表面构件的摩擦中所涉及的声音(以下称为“用户操作的声音”)也是不需要的声音、即噪声。在本典型实施例中，噪声并不是指诸如白噪声等的背景噪声，而是指上述的驱动机构的声音和用户操作的声音。

下面参考图3来描述噪声对伴随有声音记录的图像拍摄的影响。图3是照相机的立体图。图3示出操作按钮31a和31b以及用于捕获外部声音以将外部声音引导至麦克风7的麦克风开口32。

如从图3清楚可见，照相机的操作按钮31a和31b以及摄像设备1和摄像镜头2中的驱动单元(即，马达或致动器)(即，相对于麦克风开口32的噪声源)以彼此邻接的方式配置。

在被摄体是人的情况下，通常认为该人位于离摄像设备大致几米到几十米的位置处。在这种情况下，即便根据噪声源所产生的噪声的等级较低，也不能忽视噪声对麦克风7所获取到的与人相对应的音频信号的影响。

因而，为了降低噪声的影响，根据本典型实施例的摄像设备1使音频处理单元26执行降噪处理。

下面参照图4描述音频处理单元26的操作。图4示出音频处理单元26的功能。音频处理单元26包括增益调整单元41、滤波器42、A/D转换器43、噪声处理单元44、滤波器45及噪声判断单元46。噪声处理单元44可执行预测处理、滤波处理和静音(mute)处理。

在图4中，将麦克风7得到的音频信号提供给增益调整单元41。增益调整单元41调整麦克风7的信号等级，从而可充分利用A/D转换器43的动态范围。换句话说，在麦克风7的信号等级低时，增益调整单元41增大增益以放大信号，而在麦克风7的信号等级高时，增益调整单元41降低增益以控制饱和。

滤波器42包括具有考虑了A/D转换器43的采样频率的适当截止频率的低通滤波器。在麦克风7靠近产生特定频率的元件的情况下，除上述低通滤波器外，滤波器42还可包括适当的陷波滤波器。A/D转换器43把增益调整单元41和滤波器42处理后的音频信号转换成数字信号。

噪声处理单元44可执行多类噪声处理。图4所举例子有预测处理44a、滤波处理44b和静音处理44c。然而，除此之外，噪声处理单元44还可执行其它处理。音频处理单元26由照相机系统控制单元25控制。此外，噪声处理单元44执行哪种噪声处理也由照相机系统控制单元25控制。可选择性地操作多类噪声处理，或者组合操作多类噪声处理。

根据本典型实施例的滤波处理44b通过执行诸如低通和带通等的处理来消除噪声，以使音频信号通过具有适当频率的声音。

根据本典型实施例的静音处理44c通过用静音音频信号或预定音频信号替代包含噪声的区间的音频信号，来消除噪声。

下面描述根据本典型实施例的预测处理44a。

根据需要，滤波器45在噪声处理之后提供适当的滤波处理。在不需要滤波处理的情况下，此处可省略滤波处理。

噪声判断单元46判断是否存在除被摄体所产生的声音以外的噪声。图5示出噪声判断单元46的配置示例。

具体而言，噪声判断单元46从缓冲器读取要判断其中是否 包含噪声的区间的音频信号，并提供适当的带通滤波。在带通滤波中，带通滤波器使音频信号通过包含较少声音信号而且驱动机构的噪声和用户操作的噪声的等级较显著的区域。例如，通常，使用用于使音频信号通过比音频信号的频带高的频带(例如，约5kHz~10kHz)的带通滤波器。

针对通过带通滤波器的信号，通过差分处理来消除由于背景噪声所产生的直流(DC)成分。根据带通滤波器的特性，可省略差分处理。对经过差分处理和随后的平滑处理的音频信号的绝对值的获取使得能够检测信号的包络(envelope)。噪声判断单元46判断所获取的信号的包络是否超过阈值，从而判断是否存在噪声。该阈值是基于作为实验计算结果所获得的值而预选设定的。

图6A、6B、6C、6D和6E各自示出噪声判断单元46执行的噪声判断处理的各处理的波形的具体示例。图6A示出所获取的声音的波形。图6B示出经过带通滤波之后的波形。图6C示出差分处理后的波形。图6D示出绝对值处理后的波形。图6E示出平滑处理后的波形。图6A示出噪声叠加在人声的情况下的波形。该噪声包含比人声高的频率成分。如从图6B清晰可见，适当的带通滤波使得能够有效地取得噪声部分。在图6A~6E的例子中，如图6C所示，差分处理突出显示波形变化大的部分。如图6D和6E所示，绝对值处理和平滑处理产生在噪声部分具有能量的波形。在包络超过图6E的噪声检测阈值的情况下，可判断为产生了噪声。

在本典型实施例中，在摄像设备1的照相机系统控制单元25把镜头驱动信号传送给摄像镜头2的镜头系统控制单元28的情况下，照相机系统控制单元25可识别由于镜头驱动而产生了噪声的区间。因而，在照相机系统控制单元25传送了镜头驱动信 号的情况下，可以通过信号的传输时间或者镜头驱动信号所表示的镜头驱动时间来指定产生噪声的区间。因而，照相机系统控制单元25可基于镜头驱动信号来对音频处理单元26的噪声处理单元44要执行降噪的区间进行控制。

下面描述噪声判断单元46所判断的噪声有无的判断结果和上述音频处理单元26的操作之间的关系。

在根据本典型实施例的摄像设备1中，照相机系统控制单元25根据噪声判断单元46的判断结果来改变噪声处理单元44的操作。

作为噪声判断单元46的判断结果，将噪声处理单元44设置为不对判断为未产生噪声的区间的音频信号进行任何噪声处理。同样，照相机系统控制单元25控制滤波器不进行动作。这时，将A/D转换器43转换得到的信号自身作为记录用音频信号传送给照相机系统控制单元25。

在局部存在噪声的情况下，噪声处理单元44基于来自照相机系统控制单元25的命令来对声音提供噪声处理。

下面参考图7~14来描述根据本典型实施例的信号处理。

下面描述音频处理单元26执行的预测处理。

通过使用例如“ITU-T Recommendation G.711-Appendix I”所公开的信号处理技术来进行预测处理。在该技术中，基于与包含噪声的区间(即，噪声生成区间)邻接的预定区间(即，参考区间)的信号，通过运算处理来生成要替代噪声生成区间的信号。因而，可以对产生噪声或出现丢包的区间的信号进行补偿。在运算处理中，例如，可以检测参考区间的信号的音高，从而生成以所检测到的音高重复参考区间的信号的信号。换句话说，在预测处理中，用基于与噪声生成区间邻接的预定区间所生成的信号来替代噪声生成区间的信号，从而获取到噪声生成区间 的噪声得以降低的信号。

图7示意性示出预测处理。图7示出未混入噪声的区间51(即，无噪声区间)、混入噪声的区间52(即，噪声生成区间)、预测处理要使用的参考区间53a和53b、以及预测处理后的区间54。

可以使用例如日本特开2006-203376、日本特开2008-053802和“ITU-TRecommendation G.711-Appendix I”所讨论的用于利用预测处理生成信号的方法。换句话说，可以使用任何公知的方法，只要该方法包括基于与噪声生成区间邻接的预定区间(即，参考区间)的信号生成噪声生成区间的信号即可。

如图7所示，在预测处理中，在确定噪声生成区间52时，用基于与噪声生成区间52邻接的参考区间53a和53b的信号所生成的信号来替代噪声生成区间52的信号(即，根据预测处理来生成区间54)。

在本典型实施例中，如图7所示，在正常操作中，基于噪声生成区间52前后的参考区间53a和53b的信号来生成噪声生成区间的信号。

图8示出根据本典型实施例的处理。与图7不同，图8示出以同样叠加在参考区间的信号上的方式顺次生成噪声的情况下的信号处理。

图8示出无噪声区间51和噪声生成区间52a和52b。图8还示出生成与噪声生成区间52a对应的信号所用的参考区间53a和53b。图8还示出对区间52a进行预测处理后的区间54a、对噪声生成区间52b进行预测处理所用的参考区间55a和55b、以及对区间52b进行预测处理后的区间54b。图8例示出由于在时间上彼此接近地生成噪声生成区间52a和52b而使参考区间53b混入噪声的情况。因而，由于噪声生成区间52中的噪声的影响，因而可 预测生成的区间54a可能具有不适当的信号。同样，作为使用受噪声影响的区间54a作为参考区间55a的结果，可预测生成的区间54b也可能具有不适当的信号。

上述场合例如出现在以短的时间间隔对调焦透镜驱动单元9a进行间歇操作以根据摄像设备1的照相机系统控制单元25的指令进行焦点调整的情况。上述场合还出现在如下情况：在靠近驱动机构所产生的声音出现的时刻，由于用户的操作导致其摄像设备移位而产生声音。

图9示意性示出应用本发明的情况下的信号处理。

图9示出无噪声区间51和噪声生成区间52a和52b。图9还示出用于对噪声生成区间52a进行预测处理的参考区间63以及对区间52a进行预测处理后的区间54a。图9还示出用于对噪声生成区间52b进行预测处理的参考区间65以及对噪声生成区间52b进行预测处理后的区间54b。

与图8相同，图9示出在彼此接近的时刻生成噪声生成区间52a和52b的情况。

在图9中，在对噪声生成区间52a进行处理时，通常，将噪声生成区间52a前后的区间用作参考区间。然而，在图9的例子中，作为噪声判断单元46的处理结果，检测到时间上处于噪声生成区间52a之后的参考区间的噪声混入。结果，在对噪声生成区间52a进行处理时，并未将时间上处于噪声生成区间52a之后的参考区间用作参考区间，而是基于时间上处于噪声生成区间52a之前的参考区间63来生成区间54a。

同样地，在对噪声生成区间52b进行处理时，基于参考区间65来生成区间54b。

如上所述，在执行预测处理时，将噪声生成区间前后的区间用作参考区间。然而，在参考区间其中之一内生成了其它噪 声的情况下，基于无噪声的另一参考区间的音频信号来生成预测音频信号。

因而，由于参考了无噪声区间，所以所生成的区间54a和54b不受噪声生成区间52a和52b的影响。因而，能够获得高质量声音。

图10A、10B和10C各自示出根据如上参考图9所述的预测处理所生成的音频信号的波形。图10A示出预测处理之前的波形。图10B示出对时间上处于其中一个噪声生成区间之前的另一噪声生成区间进行预测处理后的波形。图10C示出对时间上处于其中一个噪声生成区间之后的另一噪声生成区间进行预测处理后的波形。

图10A示出根据基于参考区间的音频信号所生成的音频信号来降低第一噪声的状态。在图10A中，如图9所示，用于降低第一噪声的参考区间中包含有第二噪声，由此不将包含第二噪声的区间用作参考区间。

图10B示出降低第二噪声的状态。在图10B中，如图9所示，基于第二噪声的参考区间中的无噪声参考区间的音频信号来降低第二噪声。

下面参考图11来描述根据本典型实施例的摄像设备1的音频处理单元26所执行的处理。用于生成用来替代噪声生成区间的信号的信号的参考区间根据参考区间内是否包含噪声而在如下几个区间之间进行改变：噪声生成区间前后的区间、仅处于噪声生成区间之前的区间、或者仅处于噪声生成区间之后的区间。

根据本典型实施例的摄像设备1的照相机系统控制单元25在音频处理单元26中，使噪声判断单元46分析麦克风7所获取的音频信号并检测噪声的有无以判断噪声生成区间。

在步骤S1101中，照相机系统控制单元25将噪声生成区间前后的区间确定为参考区间。

在步骤S1102中，照相机系统控制单元25判断步骤S1101中确定为参考区间的区间中是否包含其它噪声。

在参考区间中不包含其它噪声的情况下(步骤S1102为否)，在步骤S1110中，作为正常处理，照相机系统控制单元25控制音频处理单元26以通过使用噪声生成区间前后这两者的参考区间的音频信号来生成降噪处理要使用的音频信号。

在参考区间中包含其它噪声的情况下(步骤S1102为是)，在步骤S1103中，照相机系统控制单元25指定参考区间中包含其它噪声的参考区间。

在噪声生成区间之后的参考区间包含其它噪声的情况下(步骤S1103为否)，在步骤S1120中，照相机系统控制单元25控制音频处理单元26，以基于噪声生成区间之前的参考区间来生成用于补偿噪声生成区间的音频信号的信号。另一方面，在噪声生成区间之前的参考区间中包含其它噪声的情况下(步骤S1103为是)，在步骤S1130中，照相机系统控制单元25控制音频处理单元26，以基于噪声生成区间之后的参考区间来生成用于补偿噪声生成区间的音频信号的信号。

在步骤S1140中，照相机系统控制单元25控制音频处理单元26，以通过用步骤S1110、S1120和S1130中所生成的补偿音频信号来替代噪声生成区间的音频信号。

重复执行上述处理使得根据本典型实施例的摄像设备1能够降噪。

以上述方式，根据本典型实施例的摄像设备1可以降低音频信号中所包含的噪声。在由于降低噪声的处理中，基于与包含噪声的区间(即，噪声生成区间)邻接的预定区间(即，参考区间) 的音频信号来生成用于补偿噪声生成区间的音频信号的信号。然后，通过使用由此生成的信号来补偿噪声生成区间的音频信号，从而降低噪声。

在参考区间的音频信号中包含其它噪声的情况下，照相机系统控制单元25控制音频处理单元26，以基于无噪声参考区间的音频信号来生成用于补偿噪声生成区间的音频信号的信号。

因而，根据本典型实施例的摄像设备1在生成补偿噪声生成区间的音频信号的信号时，可以使其它噪声的影响最小化。

除如图9和图10A~10C所示的降噪处理外，根据本典型实施例的摄像设备1还可以执行图12~15D所示的其它降噪处理。

图12和13A~13C示出另一降噪处理。图12示出无噪声区间51和噪声生成区间52a和52B。图12还示出对噪声生成区间52a进行预测处理所用的参考区间63以及对噪声生成区间52a进行预测处理后的区间54a。图12还示出对噪声生成区间52b进行预测处理所用的参考区间65a和65b以及对噪声生成区间52b进行预测处理后的区间54b。

如图8和9的情况那样，图12也举例说明了在时间上接近地生成噪声生成区间52a和52b的状态。在图12中，在对噪声生成区间52a进行处理时，将噪声生成区间52a(即，第一区间)前后的区间用作参考区间。然而，在这种情况下，时间上处于噪声生成区间52a之后的参考区间中包含其它噪声。

照相机系统控制单元25基于时间上处于噪声生成区间52a之前的参考区间63来生成用于补偿噪声生成区间52a的区间54a。以上所执行的处理与图9所示的处理相同。

在对噪声生成区间52b(即，第二区间)的音频信号进行处理时，由于已对区间54a进行了降噪处理，因而将区间54a视为无噪声区间。因而，音频处理单元26基于参考区间65a和65b的音 频信号来生成用于补偿噪声生成区间52b的音频信号。

根据上述处理，可以在不使用包含噪声的音频信号的情况下生成用于补偿噪声生成区间52a和52b的音频信号的音频信号。结果，可以降低其它噪声的影响。

图13A、13B和13C各自示出执行了以上参考图12所述的处理的音频信号的波形的示例。图13A示出降噪处理之前的波形。图13B示出对时间上处于其中一个噪声生成区间之前的另一噪声生成区间进行降噪处理后的波形。图13C示出对时间上处于其中一个噪声生成区间之后的另一噪声生成区间进行降噪处理后的波形。

图13A示出通过基于参考区间的音频信号所生成的音频信号来降低第一噪声的状态。如图12所示，由于在用于降低第一噪声的参考区间中包含第二噪声，因而不将包含第二噪声的区间用作参考区间。代替地，基于噪声生成区间之前的参考区间的音频信号来进行处理。

图13B示出要降低第二噪声的状态。如图12所示，还通过使用第二噪声的参考区间中包含了第一噪声的区间作为参考区间，基于噪声生成区间前后的参考区间的音频信号来降低第二噪声。

在图12和图13A~13C所示的处理中，在包含连续的噪声的音频信号的降噪处理的情况下，如果降低了第一噪声生成区间的噪声，则用基于与第一噪声生成区间邻接的预定区间的音频信号所生成的信号来补偿第一噪声生成区间的信号。同时，在参考区间的音频信号中包含其它噪声的情况下，用基于不包含其它噪声的参考区间的音频信号所生成的信号来补偿第一噪声生成区间的信号。在降低了第二噪声生成区间的噪声的情况下，用基于与第二噪声生成区间邻接的预定区间的音频信号所生成 的信号来补偿第二噪声生成区间的信号。同时，即使在参考区间的一部分叠加在第一噪声生成区间上的情况下，如果对第一噪声生成区间进行了降噪处理，则也基于该参考区间的音频信号来生成用于补偿第二噪声生成区间的信号的信号。

换句话说，通过使用补偿之后的第一噪声生成区间的音频信号，生成了用于补偿第二噪声生成区间的音频信号的信号。

下面描述另一降噪处理。图14和图15A~15D示出另一降噪处理。图14示出无噪声区间51以及噪声生成区间52a和52b。图14还示出对噪声生成区间52a进行预测处理所用的参考区间63以及由预测处理对区间52a补偿后的区间54a。图14还示出对噪声生成区间52b进行预测处理所用的参考区间65a和65b。图14还示出由预测处理对噪声生成区间52b补偿后的区间54b。图14还示出对区间54a进行预测处理所用的参考区间67a和67b。图14还示出由预测处理对区间54a补偿后的区间54c。

如图8、9和12的情况那样，图14举例说明了在时间上彼此接近地生成噪声生成区间52a和52b的状态。在图14中，在对噪声生成区间52a进行降噪处理时，将噪声生成区间52a前后的区间用作参考区间。在这种情况下，时间上处于噪声生成区间52a之后的参考区间包含其它噪声。

因而，照相机系统控制单元25基于时间上处于噪声生成区间52a之前的参考区间63来生成用于补偿噪声生成区间52a的区间54a。上述处理与图9所示的处理相同。

在对噪声生成区间52b的音频信号进行降噪处理时，由于已对区间54a进行了降噪处理，因而将区间54a视为无噪声区间。因而，音频处理单元26基于参考区间65a和65b的音频信号来生成用于补偿噪声生成区间52b的音频信号。上述处理与图12所示的处理相同。

在图14中，进行了如下处理：对已由区间54a补偿的区间的音频信号进行进一步补偿。换句话说，基于时间上处于噪声生成区间52a之前的参考区间的音频信号来生成区间54a的信号，并且区间54a的信号是在不使用噪声生成区间52a之后的参考区间的音频信号的情况下所生成的。因而，再次基于区间54a之后的包含补偿噪声生成区间52b后的音频信号的参考区间67b的音频信号以及区间54a之前的参考区间67a的音频信号，来生成区间54c的补偿信号。

根据上述处理，可以提高降噪之后的音频信号的声音质量。即使在顺次生成了多个噪声的情况下，也可以高效地进行降噪。

可以重复该预测过程，直到信号之间的差变得较小为止。在图14的例子中，如果区间54a和54c的信号之间的差足够小，则采用这些信号。在该差较大的情况下，使用区间54c的信号来再次处理区间54b的信号，之后，对信号54c进行处理。

图15A、15B、15C和15D各自示出图14所示的声音信号的处理后的波形的例子。图15A示出降噪处理之前的波形。图15B示出对时间上处于其中一个噪声生成区间之前的另一噪声生成区间进行降噪处理后的波形。图15C示出对时间上处于其中一个噪声生成区间之后的另一噪声生成区间进行降噪处理后的波形。图15D示出对时间上处于其中一个噪声生成区间之前的另一噪声生成区间再次进行降噪处理后的波形。

图15A示出通过基于参考区间的音频信号所生成的音频信号来降低第一噪声的状态。如图14所示，由于要用于降低第一噪声的参考区间内包含第二噪声，因而在不使用包含第二噪声的区间作为参考区间的情况下、基于噪声生成区间之前的参考区间的音频信号来进行处理。

图15B示出要降低第二噪声的状态。如图14所示，基于噪 声生成区间前后的参考区间的音频信号来降低第二噪声，其中，第二噪声的参考区间中包含了第一噪声的参考区间也被视为参考区间。

图15C示出要用基于生成了第一噪声的区间前后的参考区间的音频信号所生成的信号来补偿生成了第一噪声的区间的音频信号的状态。

上面以摄像设备为例说明本典型实施例。然而，可以采用任何设备，只要该设备可以处理音频信号即可。例如，可以采用能够处理声音的任何装置，例如计算机、移动电话和游戏机。能够使计算机执行上述处理的程序也包括在本发明的概念内。

系统或设备的计算机(或CPU或微处理单元(MPU))通过使用软件也可以实现上述典型实施例。因而，为了用计算机实现上述典型实施例，要提供给计算机的计算机程序本身也实现了本发明的典型实施例。换句话说，用于实现本典型实施例的上述功能的计算机程序本身也包括在本发明的典型实施例中。

用于实现本典型实施例的上述功能的计算机程序可以具有任何结构，只要该计算机程序可以由计算机读取即可。例如，计算机程序可包括但不限于对象代码、解释器可执行的程序及要提供给操作系统(OS)的脚本数据。通过存储介质或有线/无线通信将用于实现本典型实施例的上述功能的计算机程序提供给计算机。用于提供程序的存储介质的例子包括软盘，硬盘，诸如磁带等的磁性存储介质，诸如磁光盘(MO)、致密型盘(CD)和数字通用盘(DVD)等的光学/磁光存储介质、及非易失性半导体存储器。

通过使用有线/无线通信来提供计算机程序的例子包括使用计算机网络上的服务器的方法。在这种情况下，可以将作为包括在本发明的典型实施例的计算机程序的数据文件(即，程序 文件)存储在服务器上。程序文件可以是可执行程序文件或源代码。将程序文件下载到访问服务器的客户端计算机。在这种情况下，可把程序文件分成多个部分文件，并且可以将各部分文件下载到不同的服务器。换句话说，用于向客户端计算机提供用于实现上述典型实施例的功能的程序文件的服务器设备也包括在本发明的典型实施例中。

也可采用下面的配置：对用于实现本典型实施例的上述功能的计算机程序进行编码并存储在存储介质中，并且可以将该存储介质递送给用户，之后，向满足预定条件的用户提供用于解码的密钥信息以使得可将该程序安装在用户的计算机上。该密钥信息例如可通过经由因特网从主页下载密钥信息而提供。此外，用于实现本典型实施例的上述功能的计算机程序可以使用计算机上运行的OS的功能。用于实现本典型实施例的上述功能的计算机程序可以包括部分安装在计算机上的诸如扩展板的固件，或者可以由安装在该扩展板上的中央处理单元(CPU)执行。

还可以通过读出并执行记录在存储介质(例如，非瞬态计算机可读存储介质)上的计算机可执行指令以进行本发明的上述实施例其中一个或多个的功能的系统或设备的计算机和通过下面的方法来实现本发明的各实施例，其中，系统或设备的计算机通过例如读出并执行来自存储介质的计算机可执行指令以进行上述实施例其中一个或多个的功能来进行上述方法。该计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其它电路的其中之一或多个，并且可以包括独立计算机或独立计算机处理器的网络。可以例如从网络或存储介质向计算机提供计算机可执行指令。存储介质例如可以包括硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸 如致密型盘(CD)、数字通用盘(DVD)、或蓝光盘(BD)^TM等)、闪速存储器装置、以及存储卡等的其中一个或多个。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。

Claims (7)

1.一种音频处理设备，包括：

获取单元，用于获取音频信号；以及

音频处理单元，用于降低所述音频信号内所包含的噪声，

其中，所述音频处理单元基于包含所述获取单元所获取的音频信号的噪声的第一噪声区间之前的第一预定区间的音频信号以及/或者所述第一噪声区间之后的第二预定区间的音频信号来生成预测信号，并且利用所生成的预测信号来补偿所述第一噪声区间的音频信号，

其特征在于，在所述第一预定区间的音频信号内包含噪声以及所述第二预定区间的音频信号内不包含噪声的情况下，所述音频处理单元通过使用所述第二预定区间的音频信号并且不使用所述第一预定区间的音频信号来生成所述预测信号，以及

在所述第二预定区间的音频信号内包含噪声以及所述第一预定区间的音频信号内不包含噪声的情况下，所述音频处理单元通过使用所述第一预定区间的音频信号并且不使用所述第二预定区间的音频信号来生成所述预测信号。

2.根据权利要求1所述的音频处理设备，其中，在所述第一预定区间包括有包含噪声的第二噪声区间并且所述第二噪声区间之前的第三预定区间不包含噪声的情况下，所述音频处理单元通过使用所述第三预定区间的音频信号来针对所述第二噪声区间生成预测信号，并且在降低所述第一预定区间所包括的第二噪声区间中的噪声之后，所述音频处理单元利用基于所述第一预定区间的降低了噪声的音频信号以及所述第二预定区间的音频信号所生成的预测信号，来补偿所述第一噪声区间的音频信号。

3.根据权利要求1所述的音频处理设备，其中，还包括：

判断单元，用于判断所述获取单元所获取的音频信号的噪声区间。

4.根据权利要求1所述的音频处理设备，其中，还包括：

光学单元，用于获取被摄体的光学图像以将所述光学图像输入至摄像单元中；以及

控制单元，用于对所述光学单元的驱动进行控制，

其中，所述音频处理单元基于所述控制单元的驱动所述光学单元用的指令来指定噪声区间。

5.一种音频处理设备的控制方法，所述音频处理设备包括用于获取音频信号的获取单元，所述控制方法包括以下步骤：

基于包含所述获取单元所获取的音频信号的噪声的噪声区间之前的第一预定区间的音频信号以及/或者所述噪声区间之后的第二预定区间的音频信号来生成预测信号，并且利用所生成的预测信号来补偿所述噪声区间的音频信号，

其特征在于，在所述第一预定区间的音频信号内包含噪声以及所述第二预定区间的音频信号内不包含噪声的情况下，通过使用所述第二预定区间的音频信号并且不使用所述第一预定区间的音频信号来生成所述预测信号，以及

在所述第二预定区间的音频信号内包含噪声以及所述第一预定区间的音频信号内不包含噪声的情况下，通过使用所述第一预定区间的音频信号并且不使用所述第二预定区间的音频信号来生成所述预测信号。

6.一种音频处理设备，包括：

音频获取单元，用于获取音频信号；以及

音频处理单元，用于进行用于降低所述音频获取单元所获取的音频信号内的噪声的处理，

其中，所述音频处理单元通过使用基于包含噪声的噪声区间之前的参考区间的音频信号以及/或者所述噪声区间之后的参考区间的音频信号所生成的预测信号，来对所述噪声区间的音频信号进行处理，

其特征在于，在第一噪声和所述第一噪声之后所生成的第二噪声之间的时间差处于预定时间范围内的情况下，所述音频处理单元进行如下操作：

利用通过使用包含所述第一噪声的第一噪声区间之前的参考区间的音频信号并且不使用所述第一噪声区间之后的参考区间的音频信号所生成的预测信号，来对所述第一噪声区间的音频信号进行处理，以及

利用通过使用包含所述第二噪声的第二噪声区间之后的参考区间的音频信号并且不使用所述第二噪声区间之前的参考区间的音频信号所生成的预测信号，来对所述第二噪声区间的音频信号进行处理。

7.一种音频处理设备，包括：

音频获取单元，用于获取音频信号；以及

音频处理单元，用于降低所述音频获取单元所获取的音频信号的噪声，

其中，所述音频处理单元通过使用包含所述音频获取单元所获取的音频信号的噪声的噪声区间之前的第一参考区间的音频信号以及/或者所述噪声区间之后的第二参考区间的音频信号来生成预测信号，并且利用所生成的预测信号来降低所述噪声区间的音频信号的噪声，

其特征在于，如果所述第一参考区间和所述第二参考区间的其中一个参考区间的音频信号包含噪声并且所述第一参考区间和所述第二参考区间的另一个参考区间的音频信号不包含噪声，则所述音频处理单元通过使用该另一个参考区间的音频信号并且不使用该一个参考区间的音频信号来生成预测信号，并且利用所生成的预测信号来降低所述噪声区间的音频信号的噪声。