CN102572263B - 摄像设备和音频处理设备 - Google Patents

Abstract

本发明提供一种摄像设备和音频处理设备。分析在从输出驱动信号时开始的预定期间内音频获取单元所获取的音频信号，并且基于所述预定期间的音频信号中所包括的特定频率成分来确定噪声降低期间。然后从所述音频获取单元所获取的音频信号中降低在所述噪声降低期间内所生成的噪声。

Description

摄像设备和音频处理设备

技术领域

本发明涉及一种摄像设备和音频处理设备。

背景技术

市场上有一种数字照相机，除拍摄静止图像以外，还包括用于拍摄运动图像和记录音频信号的功能。在拍摄运动图像时，数字照相机的拍摄状态改变，从而使得数字照相机的驱动单元工作以驱动调焦透镜，或者响应于亮度变化来驱动光圈机构。驱动单元的操作因而生成正记录的音频信号中的噪声。为解决这一问题，有一种用于降低这类驱动噪声的技术。

日本特开2006-279185讨论了一种进行作为用于消除噪声的方法之一的谱减法的摄像设备。当用户操作用于驱动应用这一方法的摄像设备的变焦透镜的变焦键时，与变焦透镜驱动电动机的驱动同步地，摄像设备对通过麦克风输入的音频信号进行噪声消除。

此外，日本特开2006-287387说明了一种用于如下所述执行噪声消除的技术。在生成驱动噪声的驱动电动机附近布置基准麦克风。当输入至基准麦克风的驱动噪声超过预定水平时，进行噪声消除。由于基于输入至基准麦克风的信号来检测噪声，因而缩短了将驱动信号发送给驱动电动机的定时和通过实际驱动驱动电动机生成驱动噪声的定时之间的时滞。

此外，日本特开2001-344000说明了一种用于精确检测在诸如便携式电话等的用于编码并发送音频信号的通信设备中所生成的突发噪声的技术。更具体地，将在进行通信中所获取的音频信号分成预定时间长度的帧，然后将各帧的信号变换成频域。然后针对各频域来监视信号电平的变化，从而使得检测到突发噪声。

然而，对于消除音频信号中的噪声的噪声消除技术，需要精确确定要进行噪声消除的区间。日本特开2006-279185所述的技术根据变焦键操作的定时来确定要进行噪声处理的区间。如果定时信号不精确，则不能精确进行噪声处理。

此外，在日本特开2006-287387所述的技术中，除用于输入音频信号的主麦克风以外，还需要使用用于获取噪声的单独的基准麦克风。当应用这一技术时，部件的数量因而增大。此外，由于需要向基准麦克风持续供电，所以数字照相机的功率消耗增大。

而且，在日本特开2001-344000所述的技术中，需要在输入音频信号的同时，不断将各帧的信号变换成频域。此外，在进行频域变换中常用的傅立叶变换在计算量方面负荷非常高。

发明内容

本发明旨在一种解决上述问题并适当消除噪声的摄像设备和驱动噪声消除设备。

根据本发明，可以利用小的计算负荷确定生成驱动噪声的区间，因此可以有效地消除驱动噪声。

根据本发明的一个方面，一种摄像设备，包括：摄像单元，用于将被摄体的光学图像转换成图像信号；光学单元，用于将被摄体的光学图像提供给所述摄像单元；驱动单元，用于驱动所述光学单元；控制单元，用于输出驱动信号并控制所述驱动单元；音频获取单元，用于获取音频信号；确定单元，用于分析在从输出所述驱动信号时开始的预定期间内所述音频获取单元所获取的音频信号，并且基于所述预定期间的音频信号中所包括的特定频率成分来确定噪声降低期间；噪声降低单元，用于从所述音频获取单元所获取的音频信号中降低所述确定单元所确定的噪声降低期间内的噪声；以及记录单元，用于将由所述噪声降低单元降低了噪声的音频信号记录在记录介质上。

根据本发明的另一方面，一种音频处理设备，包括：驱动单元；控制单元，用于输出驱动信号并控制所述驱动单元；音频获取单元，用于获取音频信号；确定单元，用于分析在从输出所述驱动信号时开始的预定期间内所述音频获取单元所获取的音频信号，并且基于所述预定期间的音频信号中所包括的特定频率成分来确定噪声降低期间；噪声降低单元，用于从所述音频获取单元所获取的音频信号中降低所述确定单元所确定的噪声降低期间内的噪声；以及记录单元，用于将由所述噪声降低单元降低了噪声的音频信号记录在记录介质上。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。

附图说明

包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1是示出根据本发明典型实施例的中央横断面图。

图2是示出图1示出的典型实施例的示意性结构的框图。

图3是示出根据第一典型实施例的噪声消除处理的流程图。

图4的(a)和(b)示出生成驱动噪声的音频信号的波形和特定频率成分的例子。

图5A、5B、5C、5D和5E是示出噪声消除处理区间的时序图。

图6A、6B和6C示出用于预测噪声消除处理区间中的音频信号的处理。

图7示出各光学元件的分析区间长度、特征频率和声压阈值的表。

图8A和8B示出各驱动单元的驱动噪声的例子。

图9示出根据第二典型实施例的系统结构。

图10是示出图9中示出的系统的示意性结构的框图。

图11是示出由外部处理设备所进行的噪声消除处理的流程图。

图12示出通过拆卸存储器来传送音频信号的系统的结构。

具体实施方式

下面将参考附图详细说明本发明的各种典型实施例、特征和方面。

图1是示出作为根据本发明的摄像设备的典型实施例的数字单镜头反光照相机的中央横断面图。

参考图1，根据本发明典型实施例的数字单镜头反光照相机100包括照相机机体101和摄像镜头102。摄像镜头102内部包括镜筒103和具有光轴105的摄像光学系统104。摄像光学系统104包括调焦透镜组、照相机抖动校正透镜单元、光圈机构和驱动上述组件的光学系统驱动单元106。此外，摄像光学系统104包括控制光学系统驱动单元106的镜头控制单元107。摄像光学系统104在镜头座电接点108处与照相机机体101电连接。

从摄像镜头102前面入射的被摄体光学图像通过光轴105并入射照相机机体101。由半透半返镜构成的主镜110反射入射光的一部分，并且该反射光在聚焦屏117上形成图像。用户或拍摄者可以经由五棱镜111通过目镜透镜112在视觉上识别在聚焦屏117上所形成的光学图像。这一结构因而构成光学取景器。

自动曝光(AE)传感器116检测在聚焦屏117上所形成的光学图像的亮度。此外，通过辅镜113反射透过主镜110的被摄体光学图像，并且入射自动调焦(AF)传感器114。在对被摄体图像进行焦点检测中使用AF传感器114的输出。AE传感器116检测整个聚焦屏117的曝光量、或者聚焦屏117的一部分或多个部分的曝光量。

如果用户操作照相机机体101中的释放按钮(未示出)，则发出用于开始摄像的指示。主镜110和辅镜113然后从摄像光路退避，从而使得被摄体光学图像入射图像传感器118。

将AF传感器114和AE传感器116的检测结果、以及来自图像传感器118的输出提供给照相机控制单元119。照相机控制单元119因而根据所提供的信号来控制整个照相机100。

在拍摄运动图像时，麦克风115，即音频输入单元捕获外部声音，将所捕获的声音转换成音频信号，并且将音频信号提供给照相机控制单元119。与从图像传感器118输出的图像信号同步地记录音频信号。

图2是示出数字单镜头反光照相机100的示意性结构的框图。参考图2，数字单镜头反光照相机100包括摄像系统、图像处理系统、音频处理系统、记录/重放系统和控制系统。摄像系统包括摄像光学系统104和图像传感器118。图像处理系统包括模拟/数字(A/D)转换单元131和图像处理单元132。音频处理系统包括麦克风115和音频信号处理电路137。记录/重放系统包括记录单元133和存储器134。控制系统包括光学系统驱动单元106、镜头控制单元107、照相机控制单元119、AF传感器114、AE传感器116和操作开关检测单元135。光学系统驱动单元106包括调焦透镜驱动单元106a、照相机抖动校正驱动单元106b和光圈驱动单元106c。

摄像系统是使用摄像光学系统104在图像传感器118的摄像面上形成来自被摄体的光的图像的光学处理系统。当正在进行诸如瞄准等的预摄像操作时，经由设置在主镜110中的镜，将光束的一部分引导至AF传感器114，即焦点检测单元。控制系统适当调整摄像光学系统104，以使得图像传感器118接收来自被摄体的适当量的光，并且在图像传感器118附近形成被摄体图像，如下面所述。

A/D转换单元131对从图像传感器118输出的图像信号进行数字化，并且将数字化后的图像信号输入给图像处理单元132。图像处理单元132然后处理从A/D转换单元131所接收到的图像数据。图像处理单元132包括白平衡电路、伽马校正电路和用于进行用于增大分辨率的插值计算的插值计算电路。

音频处理系统中的音频信号处理单元137对从麦克风115输出的信号进行适当处理，并且生成要记录的音频信号。后面所述的记录单元记录所生成的与图像数据相关联的音频信号。

记录单元133将图像数据输出给存储器134，并且生成和存储要输出给图像显示装置136的图像的图像数据。此外，记录单元133使用预定方法，并且压缩图像数据、运动图像数据和音频数据。记录单元133将压缩后的数据记录在记录介质中。

照相机控制单元119生成和输出摄像操作中的时序信号。AF传感器114，即焦点检测单元检测被摄体的焦点状态，并且AE传感器116，即曝光检测单元检测被摄体的亮度。镜头控制单元107根据从照相机控制单元119输出的控制信号，调整摄像光学系统104的调焦、变焦和光圈。

控制系统根据来自外部的操作，控制摄像系统、图像处理系统和记录/重放系统中的每一个。例如，操作开关检测单元135检测到用户按下了快门释放按钮(未示出)。照相机控制单元119然后根据该检测结果，控制图像传感器118的驱动、图像处理单元132的操作和要通过记录单元133进行的压缩处理。此外，照相机控制单元119控制通过光学取景器和构成图像显示装置136的液晶监视器所进行的信息显示。

下面将说明用于调整摄像光学系统的操作。照相机控制单元119根据AF传感器114和AE传感器116的检测结果，确定适当的焦点位置和光圈位置。照相机控制单元119然后向镜头控制单元107提供表示用于将调焦透镜和光圈驱动至这些位置的控制的控制信号。镜头控制单元107根据来自照相机控制单元119的控制信号，使调焦透镜驱动单元106a和光圈驱动单元106c分别驱动调焦透镜和光圈。

此外，镜头控制单元107与照相机抖动检测传感器(未示出)连接。当数字单镜头反光照相机100处于照相机抖动校正模式时，镜头控制单元107根据照相机抖动检测传感器的检测结果控制照相机抖动驱动单元106b，从而降低照相机抖动。

在拍摄运动图像时，主镜110和辅镜113从通过光轴105到达图像传感器118的光路退避。被摄体光图像因而不能入射AF传感器114和AE传感器116。在这种情况下，照相机控制单元119使用调焦透镜驱动单元106a的驱动量和从图像传感器118输出的连续图像信号来调整图像光学系统的焦点状态。照相机控制单元119使用被称为爬山方法的焦点检测方法。此外，照相机控制单元119使用从图像传感器118输出的图像信号来计算被摄体的亮度，从而调整光圈。

下面将参考图3～7说明用于消除当在拍摄运动图像的同时记录音频信号时所生成的摄像光学系统104的驱动噪声的方法。根据本典型实施例，假定启动了光圈驱动单元106c。图3是示出根据本典型实施例的噪声消除处理的流程图。

图4的(a)和(b)示出音频信号的波形和所提取的频率的声压水平的变化的例子。图4的(a)示出通过麦克风115所获取的音频信号的波形的例子。参考图4的(a)，水平轴表示时间，并且垂直轴表示从麦克风115输出的音频信号的电压电平。图4的(b)示出图4的(a)中示出的音频信号的10kHz和2kHz频率成分的声压的变化。参考图4的(b)，水平轴表示时间，并且垂直轴表示声压水平。

图5A～5E示出光圈驱动单元106c驱动摄像镜头102中的光圈的时序图。图5A示出从照相机机体101向摄像镜头102发出光圈驱动命令的时序图。图5B示出施加用于光圈驱动单元106c实际驱动光圈的驱动电压的时序图。图5C示出光圈驱动单元106c生成驱动噪声的期间的时序图。图5D示出将音频信号缓冲预定长度的时间并且进行频率分析以确定噪声消除处理区间的期间的时序图。图5E示出根据频率分析的结果所计算出的噪声消除处理区间的时序图。

参考图3所示的流程图，当用户按下数字单镜头反光照相机100的运动图像拍摄开关(未示出)时，数字单镜头反光照相机100开始拍摄运动图像。数字单镜头反光照相机100同时还开始声音记录操作。

在步骤S1001，与视频信号同步，经由音频信号处理电路137将由麦克风115获取并输出的音频信号存储在存储器134中。

在步骤S1002，照相机控制单元119判断是否存在指示驱动光学系统驱动单元106的命令。例如，该命令可以是下面的形式：用户进行光圈调整、或者驱动用于调焦的调焦透镜。如果没有检测到驱动命令(步骤S1002为“否”)，则处理进入步骤S1009。在步骤S1009，照相机控制单元119判断运动图像拍摄开关是否为断开。如果运动图像拍摄开关是接通(步骤S1009为“否”)，则处理返回到步骤S1001，并且照相机控制单元119继续记录音频信号。另一方面，如果运动图像拍摄开关为断开(步骤S1009为“是”)，则照相机控制单元119结束包括声音记录的摄像操作。

如果检测到了驱动命令(步骤S1002为“是”)，则处理进入步骤S1003。在步骤S1003，照相机控制单元119缓冲从发出该驱动命令开始的预定期间的音频信号，如图5D所示。参考图4的(a)，光圈驱动噪声混入所缓冲的音频信号中在光圈驱动期间内所捕获的音频信号中。

在步骤S1004，照相机控制单元119将针对从发出镜头驱动命令开始的预定时间所缓冲的音频信号分成帧。照相机控制单元119然后对各帧连续进行傅立叶变换，并且将各帧变换成频域。在步骤S1005，照相机控制单元119从被变换成频域的音频信号提取光圈驱动噪声的特征频率的声压的变化。图4的(b)示出的波形的例子示出：10kHz成分的声压变化401表示驱动噪声成分，并且2kHz成分的声压变化402表示从被摄体所获取的音频信号的成分。为了便于理解，图4的(b)还示出除缓冲期间以外的期间的驱动噪声成分的声压变化。

参考图4的(b)，2kHz成分402的声压相对时间变化很大，因而难以根据该变化来判断光圈驱动时间。另一方面，10kHz成分401的声压在仅存在被摄体的声音的期间内变化不大，并且在光圈驱动期间内变化很大。

根据本典型实施例，将光圈驱动期间描述为表示镜头驱动期间。然而，这不是限制，并且可以驱动其它元件。此外，以上将10kHz成分描述为特征频率成分。然而，这是一个例子，并且特征频率成分可以是其它频率，只要其处于驱动噪声大量包含而从被摄体所获取的音频信号没有包含的频域中即可。镜头控制单元107将各摄像镜头102以及摄像镜头102中的各驱动元件的特征频率和判断阈值存储为图7所示的数据表，并且根据需要将该数据传送给照相机控制单元119。

在步骤S1006，照相机控制单元119计算在步骤S1005提取的特征频率的声压超过预定阈值的区间。根据本典型实施例，照相机控制单元119计算10kHz成分401的声压超过图4的(b)中示出的阈值403的区间，并且确定要进行噪声消除的噪声消除处理区间404。

对于各种类型的镜头和驱动操作，驱动噪声的特征频域都是不同的。此外，所生成的声压水平也是不同的。例如，图8A和8B示出在使用不同致动器驱动调焦透镜时所生成的两种类型的镜头驱动噪声的5kHz、10kHz和15kHz成分。参考图8A和8B，垂直轴表示声压水平，并且水平轴表示时间。图8A示出在使用直流(DC)电动机作为致动器驱动镜头时所生成的驱动噪声的各频率的声压的变化。图8B示出在使用超声电动机作为致动器驱动镜头时所生成的驱动噪声的各频率的声压的变化。

在使用DC电动机的情况下，在驱动噪声中均匀包括5kHz、10kHz和15kHz成分中的每一个。另一方面，在使用超声电动机的情况下，大量包含10kHz带宽，而与驱动噪声中的10kHz成分相比，较少包含5kHz和15kHz成分。此外，在各频域中，在使用超声电动机时所生成的驱动噪声的声压水平低于在使用DC电动机时所生成的驱动噪声的声压水平。

如上所述，想要设置没有包含被摄体的声音的频域中的阈值，以清楚地将被摄体的声音与驱动噪声分开。然而，特征频率和声压水平根据镜头的种类和驱动操作而不同，所以希望针对各镜头种类和驱动操作来设置阈值。因此，将阈值403存储在镜头控制单元107中，作为对于各镜头种类和驱动操作都不同的值，如图7所示，并且根据需要将其传送给照相机控制单元119。

在步骤S1007，照相机控制单元119对于在步骤S1006所计算出的噪声消除处理区间404进行噪声消除。下面将详细说明噪声消除方法。

在步骤S1008，与拍摄的运动图像同步，照相机控制单元119控制记录装置133，以记录经过了步骤S1007中的噪声消除的音频信号。照相机控制单元119在不进行噪声消除处理的情况下直接记录除噪声消除处理区间的音频信号以外的所缓冲的音频信号。

在步骤S1009，照相机控制单元119判断是否断开了运动图像拍摄开关。如果断开了运动图像拍摄开关(步骤S1009为“是”)，则照相机控制单元119结束记录声音。如果运动图像拍摄开关未被断开(步骤S1009为“否”)，则照相机控制单元119继续记录音频信号。

下面将参考图5A～5E所示的时序图，说明光圈驱动时间和频率变换区间、或者频率分析区间之间的关系。

参考图5A，照相机控制单元119在时刻T1发出光圈驱动命令。然后缓冲图5E所示的T1和T5之间预定时间的音频信号。该缓冲期间根据摄像镜头102的种类和驱动摄像镜头102的元件而不同，因而在缓冲期间中向驱动时间前后添加额外时间。

将表示缓冲期间的长度的分析区间长度存储在图7所示的数据表中。将该数据表存储在摄像镜头102内的存储器中，并且当将摄像镜头102连接到照相机机体101时，将该数据表传送给控制单元119或存储器134并进行存储。此外，当将摄像镜头102装配至照相机机体101时，光学系统驱动单元106可以驱动各镜头元件，测量驱动时间，并且确定从测量时间开始的缓冲期间。此外，可以通过将用于各种类型的摄像镜头102的数据表存储在照相机机体101中的存储器134中、并识别所装配的摄像镜头的种类，确定要使用的数据表。

参考图5B，镜头控制单元107根据从照相机控制单元119所接收到的光圈驱动命令，在时刻T2使光圈驱动单元106c驱动光圈。在发出光圈驱动命令(即在T1)和开始驱动光圈(即在T2)之间存在时滞。光圈驱动单元106c因此在时刻T2驱动光圈，从而生成驱动噪声。

在时刻T3，降低光圈驱动单元106c的驱动电压，并且结束光圈驱动操作。然而，保留由于持续至如图5C所示的时刻T4的驱动光圈所生成的驱动噪声的混响声。因此，如图5D所示，在包含混响声期间的T1和T5之间的预定时间长度内，进行缓冲和频率分析。结果，可以确定在发出光圈驱动命令和实际开始驱动光圈之间所生成的时滞以及包括保留混响声噪声的时间的正确的驱动噪声生成期间T2～T4。因此可以进行高精度的噪声消除。

下面将参考图6A～6C说明根据本典型实施例的噪声消除处理。根据本典型实施例，噪声消除处理使用预测处理来预测驱动噪声生成期间的音频信号，其中，预测处理使用驱动噪声生成期间前后的音频信号。图6A、6B和6C示出各处理过程中的音频信号波形。参考图6A～6C，水平轴表示时间，并且垂直轴表示信号电平。图6A示出混入驱动噪声的来自被摄体的音频信号。图6B示出在噪声消除处理中进行预测处理中途的音频信号。图6C示出在应用预测处理之后所获取的音频信号。

参考图6B，在预测处理中丢弃噪声消除处理区间的音频信号，即混入驱动噪声的音频信号。然后进行学习运算和预测运算，以使用通过预测运算所获取的信号对噪声消除处理区间的音频信号进行插值。

根据本典型实施例，音频预测包括下面所述的线性预测系数的导出(即学习运算)和使用该线性预测系数的信号预测(即预测运算)。

在应用线性预测时，假定在当前信号和与当前信号邻近的有限数量(根据本典型实施例的“p”)的样本值之间存在线性组合关系。下面以公式(1)描述这一关系。

X_t+α₁X_t-1+------+α_pX_t-p＝ε_t    (1)

在公式(1)中，ε_t是平均值为0且方差为σ²的非相关随机变量。

如果变换公式(1)以使得根据过去的值来预测x_t，则获得公式(2)。

$X_t=-{\mathrm{\α}}_1{X}_{t-1}-----\·-{\mathrm{\α}}_p{X}_{t-p}+{\mathrm{\ϵ}}_t$ $---\left(2\right)$

$=\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{x}_{t-i}+{\mathrm{\ϵ}}_t$

根据公式(2)，如果ε_t充分小，则由相邻p个值的线性和表示当前值。此外，如果使用上述预测运算所获得的x_t的近似值充分近似，则还可以获得x_t+1作为相邻p个值的线性和。

如上所述，如果可以将ε_t设置得充分小，则可以顺次预测值，并且可以获取信号。因此获取最小化ε_t的线性预测系数α_i。根据本典型实施例，将用于获取最小化ε_t的α_i的运算称为学习运算。

通过在进行学习运算的学习区间最小化∑ε_t ²，可以获取线性预测系数α_i。当学习开始时间为t₀，并且学习结束时间为t₁时，获取公式(3)。

$\underset{t=t_0}{\overset{t_1}{\mathrm{\Σ}}}{{\mathrm{\ϵ}}_t}^2=\underset{t=t_0}{\overset{t_1}{\mathrm{\Σ}}}{\left(\underset{i=0}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{x}_{t-i}\right)}^2=\underset{t=t_0}{\overset{t_1}{\mathrm{\Σ}}}\underset{i=0}{\overset{p}{\mathrm{\Σ}}}\underset{j=0}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\α}}_j{x}_{t-i}{x}_{t-j}---\left(3\right)$

在公式(3)中，α₀＝1。那么使用公式(4)来简化公式(3)。

$c_{\mathrm{ij}}=\underset{t=t_0}{\overset{t_1}{\mathrm{\Σ}}}{x}_{t-i}{x}_{t-j}---\left(4\right)$

可以通过将针对公式(3)中的α_j(j＝1、2、......、p)的偏微分设置成0，确定最小化公式(3)的线性预测系数α_i。结果，获得公式(5)。

$\frac{\∂}{\∂{\mathrm{\α}}_i}\underset{t=t_0}{\overset{t_1}{\mathrm{\Σ}}}{{\mathrm{\ϵ}}_t}^2=\frac{\∂}{\∂{\mathrm{\α}}_i}\left[\underset{i=0}{\overset{p}{\mathrm{\Σ}}}\underset{j=0}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{c}_{\mathrm{ij}}{\mathrm{\α}}_j\right]=2\underset{i=0}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\α}}_i{c}_{\mathrm{ij}}---\left(5\right)$

公式(5)表示可以通过求解p个线性联立方程来确定α_i。可以使用x_t-i(i＝1、2、......、p)获取公式(5)中的c_ij。

如果根据公式(5)确定α_i，则最小化∑ε_t ²。在这种情况下，可以使用公式(2)，将x_t的值近似为公式(6)。

如果近似值充分近似，则代替x_t，可以使用公式(6)右边作为预测信号。

此外，根据相邻p-1个样本值和通过进行预测所获取的信号，同样可以获取x_t+1的近似值。

因此通过顺次重复上述处理可以生成预测区间的信号。根据本典型实施例，将用于根据所获得的α_i获取预测区间的近似的运算称为预测运算。

下面将使用图6A～6C所示的波形的例子来说明学习运算和预测运算。如图6A～6C所示，在进行学习运算中使用预测区间前后的信号。这一处理使用音频信号的特性，即在十分短的时间范围内，重复性相当高。参考图6A～6C，将存在驱动噪声的区间的时间上的前一区间设置为学习区间1。将存在驱动噪声的区间的时间上的后一区间设置为学习区间2。

在学习运算和预测运算每一个中，对于学习区间1中的信号和学习区间2中的信号分开进行计算。将在学习区间1中进行学习运算之后生成预测区间的信号称为从前方预测，即前向预测。另一方面，将在学习区间2中进行学习运算之后生成预测区间的信号称为从后方预测，即后向预测。在计算预测区间的信号时，对前向预测和后向预测进行加权。更具体地，越接近学习区间1，给予通过进行前向预测所获取的值越大的权重。越接近学习区间2，给予通过进行后向预测所获取的值越大的权重。

如上所述，基于驱动信号，针对预定期间进行频率分析，并且确定噪声消除处理区间。结果，无需持续进行频率分析，因而降低了计算负荷。此外，无需包括单独的噪声检测单元，从而可以实现降低成本，简化机体结构和省电。此外，可以精确检测驱动噪声生成区间，因而可以提高噪声消除性能。特别地，可以通过使用预测处理进行噪声消除处理来精确确定驱动噪声生成区间，因而使得可以提高预测精度。

根据本典型实施例，针对光圈驱动噪声进行驱动噪声消除处理。然而，本发明还可应用于由驱动其它光学元件而生成的驱动噪声的消除。一般地，本发明可应用于下面的情况：可以通过操作按钮或者照相机控制单元检测到驱动噪声或噪声的生成定时。例如，本发明可应用于调焦透镜、照相机抖动校正透镜和照相机抖动校正透镜的锁定机构(未示出)的驱动。此外，本发明可应用于图像传感器移位型照相机抖动校正的驱动、电子变焦透镜的驱动和图像传感器的摆动驱动。此外，本发明可应用于生成操作噪声的操作按钮的按压和闪光灯的弹起驱动。

根据本典型实施例的噪声消除方法使用下面的预测处理，该预测处理根据在驱动噪声生成区间前后所生成的音频信号进行预测，并且再现驱动噪声生成区间中的音频信号。然而，可以使用其它方法，诸如将驱动噪声生成区间的信号设置成静音0的静音方法等。此外，可以使用将信号变换成频域、并计算特征频率之间的差的谱减法。

如果使用静音方法，则将噪声生成区间的音频信号简单地设置为0，从而使得计算负荷非常小。此外，当静音的无声期间短时，听众很少感觉到不正常，因而使得如本发明所述地正确获取噪声生成区间是有效的。

如果使用谱减法，则预先记录通过仅记录驱动噪声、并变换成频域所获取的信息。通过从混入驱动噪声的被摄体音频信号的频域信息仅减去驱动噪声的频域信息来消除噪声。以这种方法，可以容易地消除诸如蜂鸣噪声等的规则噪声。然而，当要消除诸如光圈驱动噪声等的突发噪声时，从混入驱动噪声的实际区间仅减去驱动噪声的频域信息的位置可能在时间上偏移。噪声消除性能因此降低。结果，即使使用谱减法，如以上根据本发明所述地正确获取噪声生成区间也是有效的。

下面将说明第二典型实施例。根据上述典型实施例，在捕获声音时消除驱动噪声。然而，可以在捕获声音之后消除驱动噪声。更具体地，与混入驱动噪声的音频信号一起，记录表示驱动噪声的生成定时的信号。然后将这两个信号传送给驱动噪声消除设备，并且消除驱动噪声。还可以同时记录表示驱动噪声的特性的数据，并且将其传送给驱动噪声消除设备。表示驱动噪声的特性的这类数据包括驱动噪声的种类、用于确定驱动噪声期间的阈值、以及驱动噪声持续的期间。

图9是示出包括数字单镜头反光照相机和外部处理设备，即驱动噪声消除设备的系统的示意图。参考图9，数字单镜头反光照相机100a经由通信线缆151与外部处理设备170连接。图10是示出图9所示的系统结构的框图。参考图10，照相机100a包括用于连接到外部装置的通信连接器141。通信连接器141经由通信线缆151与外部处理设备170中的通信连接器174电连接。以相同附图标记表示具有与第一典型实施例的功能相同的功能的元件。

外部处理设备170包括控制单元171、音频信号处理单元172、存储器173、操作输入单元175、音频再现装置176和图像显示装置177。

控制单元171根据操作者在操作输入单元175上的操作，控制各单元以进行包括噪声消除的操作。将包括噪声消除的操作状况的、进行控制的结果输出给音频再现单元176和图像显示装置177。

在噪声消除处理中，控制单元171经由通信连接器174从照相机100a接收到包括没有消除驱动噪声的音频信号的所记录的运动图像数据、以及表示驱动噪声生成定时的信号。音频信号处理单元172然后对从照相机100a接收到的、包括驱动噪声的音频信号进行与第一典型实施例相同的噪声消除处理，并且将处理后的信号记录在存储器173中。

图11是示出由外部处理装置170所进行的驱动噪声降低处理的流程图。当操作者经由操作输入单元175指示控制单元171开始噪声消除处理时，开始图11所示的流程图。

在步骤S2001，外部处理装置170经由通信线缆151读取记录在照相机机体101a的存储器134中的混入了驱动噪声的音频信号和包括驱动定时信号的运动图像数据。

在步骤S2002，控制单元171判断是否检测到与所读取的音频信号同步的驱动定时信号。如果控制单元171没有检测到与所读取的音频信号同步的驱动定时信号(步骤S2002为“否”)，则处理进入步骤S2010。在步骤S2010，控制单元171直接记录音频信号。在步骤S2009，控制单元171判断要处理的音频信号是否结束。如果音频信号没有结束(步骤S2009为“否”)，则处理返回到步骤S2001，并且控制单元171继续从照相机100a读取音频信号。如果音频信号结束(步骤S2009为“是”)，则控制单元171结束驱动噪声消除处理。

另一方面，如果控制单元171检测到与所读取的音频信号同步的驱动定时信号(步骤S2002为“是”)，则处理进入步骤S2003。在步骤S2003，控制单元171从接收到驱动定时信号的时点开始，缓冲预定长度时间的音频信号。除音频信号处理单元172进行噪声降低处理以外，在步骤S2004～步骤S2007进行的处理与在图3所示的步骤S1004～步骤S1007进行的处理相同。因此省略详细说明。

在步骤S2008，语音信号处理单元172将进行了噪声消除处理的音频信号记录在存储器173中。在步骤S2009，控制单元171判断要处理的音频信号是否结束。如果音频信号没有结束(步骤S2009为“否”)，则处理返回到步骤S2001，并且控制单元171继续从照相机100a读取音频信号。如果音频信号结束(步骤S2009为“是”)，则控制单元171结束驱动噪声消除处理。

与从照相机100a接收到的运动图像数据中所包括的图像数据同步，将进行了噪声消除处理的音频信号记录在存储器173中。可以将进行了噪声消除处理的音频信号重写入照相机100a中的存储器134中，并且覆盖存储器134中包括驱动噪声的音频信号。

如果可以从照相机机体101a拆卸存储器134，则可以使用存储卡读取器152将需要的数据传送给外部处理设备，如图12所示。

其它实施例

显然，还可以通过向设备提供存储实现上述典型实施例的功能的软件程序代码的存储介质来实现本发明。在这种情况下，被提供了该存储介质的设备的、包括控制单元的计算机(或者中央处理单元(CPU)和/或微处理器单元(MPU)等)读出并执行存储在该存储介质中的程序代码。在这种情况下，从该存储介质读取的程序代码本身实现上述典型实施例的功能。因此，该程序代码本身和存储该程序代码的记录介质构成本发明。例如，可以使用软盘、硬盘、光盘、磁光盘、紧凑型只读存储器(CD-ROM)、可记录光盘(CD-R)、磁带、非易失性存储卡和ROM，作为用于提供该程序代码的存储介质。

另外，上述情况显然包括下面的情况：运行在计算机上的基本系统或操作系统(OS)等基于上述程序代码的指示进行部分或全部处理，并且通过该处理实现上述典型实施例的功能。

另外，上述情况还包括下面的情况：将从存储介质读出的程序代码写到插入计算机中的扩展板或与计算机连接的扩展单元上所设置的存储器中，从而实现上述典型实施例的功能。在这种情况下，基于该程序代码的指示，设置在该扩展板或扩展单元中的CPU等进行部分或全部实际处理。

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的各方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。在这种情况下，系统或设备、以及存储程序的记录介质包括在本发明的范围内。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (5)

1.一种摄像设备，包括：

摄像单元，用于将被摄体的光学图像转换成图像信号；

光学单元，用于将被摄体的光学图像提供给所述摄像单元；

驱动单元，用于驱动所述光学单元；

控制单元，用于输出用于驱动开始指示的驱动信号并控制所述驱动单元，以使所述驱动单元根据所述驱动开始指示开始驱动所述光学单元并且在将所述光学单元驱动预定驱动期间之后停止驱动所述光学单元；以及

音频获取单元，用于获取音频信号，

所述摄像设备的特征在于，还包括：

确定单元，用于分析自输出所述驱动开始指示起的预定期间内所述音频获取单元所获取的音频信号，基于所述音频获取单元所获取的音频信号的分析结果来确定特征频率成分的水平超过阈值的区间，并且基于所确定的区间来确定噪声降低期间，其中，所述预定期间包括自所述驱动单元停止驱动所述光学单元起的预定长度的时间；

噪声降低单元，用于在所述确定单元所确定的噪声降低期间内从所述音频获取单元所获取的音频信号中降低噪声；以及

记录单元，用于将由所述噪声降低单元降低了噪声的音频信号记录在记录介质上。

2.根据权利要求1所述的摄像设备，其特征在于，所述噪声降低单元通过基于噪声降低期间前后的音频信号对所述噪声降低期间内的音频信号进行线性预测来降低噪声。

3.根据权利要求1所述的摄像设备，其特征在于，所述记录单元与从所述音频获取单元输出的音频信号同步地记录表示输出所述驱动信号的定时的驱动定时信号。

4.根据权利要求1所述的摄像设备，其特征在于，所述确定单元针对各种类型的所述光学单元采用不同的所述预定期间。

5.根据权利要求1所述的摄像设备，其特征在于，所述确定单元针对各种类型的所述光学单元采用不同的所述阈值。