CN102737644B - 信号处理装置、摄像装置以及信号处理程序 - Google Patents

Abstract

本发明提供一种信号处理装置、摄像装置以及信号处理程序。信号处理装置包括：判定部，其按各频率窗口对所输入的声音信号的频谱和基谱进行比较，按各频率窗口判定是否对所输入的声音信号进行噪声降低处理；和噪声降低处理部，其根据由判定部判定的各频率窗口的结果，按各频率窗口对所输入的声音信号的频谱减去噪声频谱。

Description

信号处理装置、摄像装置以及信号处理程序

技术领域

本发明涉及信号处理装置、摄像装置以及信号处理程序。

背景技术

以往，为了去除声音信号中混入的噪声，已知有如下方法：以帧为单位，从时域信号变换为频域信号，使用非声音部分的信号算出推定噪声，从频域信号减去算出的推定噪声，由此降低噪声(参照日本特开2005-195955号公报)。

发明内容

但是，在日本特开2005-195955号公报的方法中，通过从频域信号仅减去推定噪声来降低噪声，因此存在有时无法适当地降低噪声的问题。

本发明的方式的目的在于提供能够适当地降低噪声的信号处理装置、摄像装置以及信号处理程序。

本发明的一种方式的信号处理装置包括：判定部，其按各频率窗口对所输入的声音信号的频谱和基谱(flooring spectrum)进行比较，按各频率窗口判定是否对上述所输入的声音信号进行噪声降低处理；和噪声降低处理部，其根据由上述判定部判定的上述各频率窗口的结果，按上述各频率窗口对上述所输入的声音信号的频谱减去噪声频谱。

另外，本发明的一种方式的摄像装置包括上述方式的信号处理装置。

另外，本发明的一种方式的信号处理程序使作为信号处理装置的计算机执行：判定步骤，按各频率窗口对所输入的声音信号的频谱和基谱进行比较，按上述各频率窗口判定是否对上述所输入的声音信号进行噪声降低处理；和噪声降低处理步骤，根据通过上述判定步骤判定的上述各频率窗口的结果，按上述各频率窗口对上述所输入的声音信号的频谱减去噪声频谱。

根据本发明的方式，能实现能够适当地降低噪声的效果。

附图说明

图1是表示具有本发明的一个实施方式的信号处理装置的摄像装置的结构的一个例子的框图。

图2是表示通过摄像装置记录了声音信号时的一个例子的动作图。

图3是表示信号处理部的基谱推定部和噪声推定部算出基谱和噪声时的一个例子的说明图。

图4是表示在注重音质模式的情况下，信号处理部进行噪声降低处理的一个例子的第1说明图。

图5是表示在注重音质模式的情况下，信号处理部进行噪声降低处理的一个例子的第2说明图。

图6是表示在注重噪声降低模式的情况下，信号处理部进行噪声降低处理的一个例子的说明图。

具体实施方式

下面参照附图来对本发明的实施方式进行说明。图1是表示具有本发明的一个实施方式的信号处理装置的摄像装置的结构的一个例子的框图。

如图1所示，本实施方式的摄像装置100包括摄像部110、CPU(Centralprocessing unit：中央处理单元)190、操作部180、图像处理部140、显示部150、存储部160、缓存部130、通信部170、麦克风230、A/D(Analog/Digital：模/数)变换部240、信号处理部250(信号处理装置)以及总线300。在该摄像装置100所具有的结构中，例如，麦克风230、A/D变换部240、信号处理部250与录音装置相对应。另外，信号处理部250与信号处理装置相对应。

摄像部110包括光学系统400、摄像元件119、A/D变换部120，按照所设定的摄像条件(例如光阑值、曝光值等)，由CPU 190进行控制，使光学系统400的光学像成像于摄像元件119，生成由A/D变换部120变换为数字信号的基于该光学像的图像数据。

光学系统400包括变焦透镜114、防抖用透镜(在下面称为VR(Vibration Reduction：减振)透镜)113、调焦透镜(在下面称为AF(AutoFocus：自动聚焦)透镜)112、变焦编码器115、透镜驱动部116、AF编码器117以及防抖部118。

该光学系统400将通过变焦透镜114、VR透镜113以及AF透镜112的光学像导向到摄像元件119的受光面。

透镜驱动部116根据从后述的CPU190输入的驱动控制信号，控制AF透镜112或变焦透镜114的位置。

防抖部118根据从后述的CPU190输入的驱动控制信号，控制VR透镜113的位置。该防抖部118也可以检测VR透镜113的位置。

变焦编码器115检测表示变焦透镜114的位置的变焦位置，将检测到的变焦位置输出给CPU190。

AF编码器117检测表示AF透镜112的位置的焦点位置，将检测到的变焦位置和焦点位置输出给CPU190。

上述光学系统400既可安装于摄像装置100而成为一体，也可以可装卸的方式安装于摄像装置100。

摄像元件119例如将成像于受光面的光学像变换为电信号而输出给A/D变换部120。

另外，摄像元件119将经由操作部180接收到拍摄指示时获得的图像数据作为拍摄到的静止图像的拍摄图像数据，经由A/D变换部120、图像处理部140而使该图像数据存储于存储介质200。

另一方面，摄像元件119例如在没有经由操作部180接收到拍摄指示的状态下，将连续地获得的图像数据作为直通图像数据，经由A/D变换部120、图像处理部140而将该数据输出给CPU190和显示部150。

A/D变换部120对由摄像元件119变换得到的电子信号进行模拟/数字变换，输出作为该变换得到的数字信号的图像数据。

操作部180例如包括电源开关、快门按钮、其它的操作键，通过由用户进行操作来接受用户的操作输入并输出给CPU190。

图像处理部140参照存储于存储部160的图像处理条件，对存储于缓存器130或存储介质200中的图像数据进行图像处理。

显示部150例如为液晶显示器，其显示通过摄像部110获得的图像数据和/或操作画面等。

存储部160存储在场景判定时由CPU190所参照的判定条件、摄像条件等。存储部160包括基谱存储部161、噪声存储部162以及模式信息存储部163。在基谱存储部161中存储后述的基谱。在噪声存储部162中存储后述的噪声。

在模式信息存储部163中存储有模式信息，该模式信息是表示通过用户经由操作部180进行的操作而选择了注重音质模式(第1模式)和注重噪声降低模式(第2模式)中的哪个模式的信息，所述注重音质模式(第1模式)下注重所输入的声音信号的音质，所述注重噪声降低模式(第2模式)下注重从所输入的声音信号降低噪声。

在此所说的注重音质模式例如为如下模式：相对于声音等的目标声音降低噪声，但目标声音本身不怎么变化而使目标声音保持原状。另外，在此所说的注重噪声降低模式为尽可能地降低噪声的模式。

麦克风230进行拾音，输出与所拾取的声音对应的声音信号。该声音信号为模拟信号。

A/D变换部240将作为从麦克风230输入的模拟信号的声音信号模数变换为作为数字信号的声音信号。

信号处理部250对由A/D变换部240变换为数字信号的声音信号进行例如降低噪声等的声音信号处理，将经过该声音信号处理的声音信号存储于存储介质200中。另外，该信号处理部250在执行降低噪声等的声音信号处理时，根据存储于存储部160的模式信息存储部163中的模式信息，执行降低噪声等的声音信号处理。对于该信号处理部250将在后面进行详细说明。

在使通过信号处理部250进行了声音信号处理的声音信号存储于存储介质200时，既可以在时间上与由摄像元件119拍摄到的图像数据相关联地进行存储，也可以作为包括声音信号的动态图像进行存储。

缓存部130暂时存储由摄像部110拍摄到的图像数据、由信号处理部250变换后的声音信号等。

通信部170与卡式存储器(存储卡)等可取下的存储介质200连接，进行对该存储介质200的信息的写入、读出、或删除。

存储介质200为以可装卸的方式与摄像装置100连接的存储部，例如存储通过摄像部110生成(拍摄)的图像数据、通过信号处理部250进行了声音信号处理的声音信号。

CPU190对摄像装置100整体进行控制，作为一个例子，其根据从变焦编码器115输入的变焦位置、从AF编码器117输入的焦点位置、以及从操作部180输入的操作输入，生成控制变焦透镜114和AF透镜112的位置的驱动控制信号。CPU190根据该驱动控制信号，经由透镜驱动部116来控制变焦透镜114和AF透镜112的位置。

另外，该CPU190包括定时检测部191。该定时检测部191检测摄像装置100所具有的动作部动作的定时。

在此所说的动作部作为一个例子是指上述的变焦透镜114、VR透镜113、AF透镜112、或操作部180，是摄像装置100所具有的结构中的、通过动作或通过被动作而产生声音(或有可能产生声音)的结构。

另外，该动作部为摄像装置100所具有的结构中的、通过动作而产生的声音或通过被动作而产生的声音会被麦克风230拾取(或有可能被拾取)的结构。

该定时检测部191也可以根据使动作部动作的控制信号，检测动作部动作的定时。该控制信号对于使动作部动作的动作部为使动作部动作的控制信号、或使该动作部驱动的控制信号。

例如，定时检测部191根据为了驱动变焦透镜114、VR透镜113、或AF透镜112而输入到透镜驱动部116或防抖部118的驱动控制信号，或根据由CPU190生成的驱动控制信号，检测动作部动作的定时。

另外，在CPU190生成驱动控制信号的情况下，定时检测部191也可以根据在CPU190的内部执行的处理和/或命令来检测动作部动作的定时。

另外，定时检测部191也可以根据从操作部180输入的表示驱动变焦透镜114或AF透镜112的信号来检测动作部动作的定时。

另外，该定时检测部191也可以根据表示动作部进行了动作的信号来检测动作部动作的定时。

例如，定时检测部191可以根据变焦编码器115或AF编码器117的输出，对变焦透镜114或AF透镜112被驱动进行检测，由此检测动作部动作的定时。

另外，定时检测部191也可以根据来自防抖部118的输出，对VR透镜113被驱动进行检测，由此检测动作部动作的定时。

另外，该定时检测部191也可以根据来自操作部180的输入，对操作部180被进行了操作进行检测，由此检测动作部动作的定时。

而且，定时检测部191检测摄像装置100所具有的动作部动作的定时，将表示该检测到的定时的信号输出给信号处理部250(参照后述的图2)。

总线300与摄像部110、CPU190、操作部180、图像处理部140、显示部150、存储部160、缓存部130、通信部170、信号处理部250连接，传送从各部输出的数据等。

(信号处理部250的详细结构)

下面使用图2～图6对图1的信号处理部250进行详细的说明。图1的信号处理部250包括基谱推定部251、噪声推定部252、判定部253、噪声降低处理部254以及置换部255。

在此，如图2所示，对在信号处理部250输入了来自定时检测部191的表示定时的信号、并输入了由A/D变换部240变换为数字信号的声音信号的情况进行说明。在该图2中，从上向下示出了：(a)来自定时检测部191的表示定时的信号、即表示动作部动作的定时的信号；(b)时刻；(c)帧号；以及(d)从A/D变换部240输入的声音信号的波形。

在该图2中，横轴是时间轴，纵轴为例如各信号的电压、时刻、或帧号。另外，如该图2(d)所示，例如在为拾取到声音时的声音信号的情况下，在数十毫秒左右的短时间内，重复信号较多。

在该图2的例子中，对于帧和时刻的关系，时刻t1之前与帧号41对应，时刻t1～t2与帧号42对应，时刻t2～t3与帧号43对应，时刻t3～t4与帧号44对应，时刻t4～t5与帧号45对应，时刻t5～t6与帧号46对应，时刻t6～t7与帧号47对应，时刻t7以后与帧号48对应。各帧的时间长度设为相同。

另外，在该图2的例子中，在时刻t4后、且时刻t5前，(a)来自定时检测部191的表示定时的信号从低电平变为高电平(参照图2中的符号O)。在此，低电平表示动作部未动作，高电平表示动作部正在动作。这样，在该图2的例子中，在时刻t4后、且时刻t5前，从动作部不动作的状态变为动作部动作的状态。

而且，与这样的动作部的动作相应地，从帧号45的途中以后开始，在(d)从A/D变换部240输入的声音信号的波形上叠加有噪声。在此，着眼于各帧和噪声产生区间的关系时，由于检测信号在帧号45的途中上升，所以在帧号45以后(46、47、48......)拾取到噪声。另外，在帧号44以前(43、42、41......)，完全不会拾取到噪声。在帧号46以后(46、47、48......)，会在帧的整个区间拾取到噪声。

在此，在本实施方式中，设为如下情况来进行说明，即信号处理部250将由A/D变换部240变换为数字信号的声音信号分割为帧，对所分割的各帧的声音信号进行傅立叶变换，生成各帧的声音信号的频谱。另外，如使用图2～图6而在后面描述的那样，信号处理部250对各帧的声音信号的频谱执行噪声降低处理。然后设为如下情况来进行说明，即信号处理部250对进行了噪声降低处理的各帧的声音信号的频谱进行傅立叶逆变换而将其存储于存储介质200中。

基谱推定部251根据由定时检测部191检测出的动作部动作的定时，由通过A/D变换部240变换为数字信号的声音信号推定基谱。该基谱是指动作部动作的定时的前一帧的声音信号的频谱、或动作部未动作的期间的声音信号的频谱。而且，基谱推定部251将推定出的基谱存储于基谱存储部161中。

例如，基谱推定部251根据由定时检测部191检测出的动作部动作的定时，将动作部动作的定时的前一帧的声音信号的频谱推定为基谱。在图2的情况下，基谱推定部251将帧号44的声音信号的频谱推定为基谱。而且，基谱推定部251将该帧号44的声音信号的频谱作为基谱而存储于基谱存储部161中。

以下，将帧号44的声音信号的频谱(＝S44)称为基谱FS来进行说明。另外，按从低频到高频的顺序将基谱FS的各频率窗口(各频率区域)的强度值称为F1、F2、F3、F4、F5而进行说明(参照图3(a))。

噪声推定部252根据由定时检测部191检测到的动作部动作的定时，由通过A/D变换部240变换为数字信号的声音信号推定噪声。而且，噪声推定部252将所推定的噪声存储于噪声存储部162中。

例如，噪声推定部252根据由定时检测部191检测出的动作部动作的定时，将动作部动作的定时的后一帧(且在整个帧中动作部正在动作的帧)的声音信号的频谱与动作部动作的定时的前一帧(且在整个帧中动作部没有动作的帧)的声音信号的频谱之差推定为噪声频谱(噪声谱)。

在图2的情况下，噪声推定部252按各频率窗口(frequency bin)从帧号46的声音信号的频谱S46(参照图3(b))减去帧号44的声音信号的频谱S44(即基谱FS)(参照图3(a))。

将帧号46的声音信号的频谱称为频谱S46(参照图3(b))而进行说明。另外，按从低频到高频的顺序将频谱S46的各频率窗口的强度值称为B1、B2、B3、B4、B5而进行说明(参照图3(b))。

而且，噪声推定部252将通过减法运算算出的频谱推定为噪声频谱(参照图3(d))。而且，噪声推定部252将所推定的噪声存储于噪声存储部162中。

以后，将由噪声推定部252推定的噪声频谱称为噪声NS而进行说明。另外，按从低频到高频的顺序将噪声NS的各频率窗口的强度值称为N1、N2、N3、N4、N5而进行说明(参照图3(d))。

从包含噪声的帧(例如帧号46、47、48......)的频谱减去这样获得的噪声频谱，将减法运算得到的结果变换到时域，由此能够降低(去除)包含噪声的帧中的噪声。

即，信号处理部250通过根据噪声频谱对声音信号进行谱减法运算(Spectral Subtraction)处理，从而使声音信号的噪声降低。该谱减法运算处理是指如下方法：首先，通过傅立叶变换将声音信号变换到频域，在频域减去噪声之后进行傅立叶逆变换，由此降低声音信号的噪声。

另外，信号处理部250也可以在进行傅立叶变换或傅立叶逆变换时，通过快速傅立叶变换(FFT：Fast Fourier Transform)、或快速傅立叶逆变换(IFFT：Inverse Fast Fourier Transform)来进行傅立叶变换或傅立叶逆变换。

返回到图1的说明，对信号处理部250所具有的各结构进行说明。在此，设为使用图2和图3而说明过的基谱和噪声由基谱推定部251和噪声推定部252来推定、或者被预先存储于基谱存储部161和噪声存储部162而进行说明。

(注重音质模式的情况)

首先，使用图4和图5对注重音质模式的情况下的信号处理部250所具有的各结构进行说明。在此，对信号处理部250对帧号46的声音信号进行噪声降低处理的情况进行说明。

判定部253按各频率窗口而对所输入的声音信号的频谱和基谱进行比较，按各频率窗口而判定否对所输入的声音信号进行噪声降低处理。在此所说的“所输入的声音信号的频谱”是指通过A/D变换部240变换为数字信号的声音信号被信号处理部250分割为帧、进而各帧的声音信号被傅立叶变换为频谱而得到频谱。

例如，判定部253按各频率窗口而对所输入的声音信号的频谱(帧号46的频谱)(参照图4(b))和基谱FS(参照图4(a))进行比较(参照图4(c))。

在此，对于所输入的声音信号的频谱(帧号46的频谱)(参照图4(b))大于基谱FS(参照图4(a))的频率窗口，判定部253对该频率窗口判定为对所输入的声音信号进行噪声降低处理。

反之，对于所输入的声音信号的频谱(帧号46的频谱)(参照图4(b))为基谱FS(参照图4(a))以下的频率窗口，判定部253对该频率窗口判定为对所输入的声音信号不进行噪声降低处理。

在该图4(a)和图4(b)的情况下，在序号1～4的频率窗口中，帧号46的频谱S46(参照图4(b))大于基谱FS(参照图4(a))。另外，在序号5的频率窗口中，帧号46的频谱S46(参照图4(b))为基谱FS(参照图4(a))以下。

因此，判定部253针对序号1～4的频率窗口，判定为对所输入的声音信号进行噪声降低处理(参照从图4(d)的低频率侧(左侧)起的4个符号○)。另外，判定部253针对序号5的频率窗口，判定为对所输入的声音信号不进行噪声降低处理(参照图4(d)的最高频率侧(最右侧)的符号×)。

(噪声降低处理部254)

噪声降低处理部254在注重音质模式的情况下，根据由判定部253判定的各频率窗口的结果，按各频率窗口而对所输入的声音信号的频谱减去噪声频谱。

例如，噪声降低处理部254在注重音质模式的情况下，针对由判定部253判定为对所输入的声音信号进行噪声降低处理的频率窗口，对所输入的声音信号的频谱减去噪声频谱。

另外，噪声降低处理部254在注重音质模式的情况下，针对由判定部253判定为对所输入的声音信号不进行噪声降低处理的频率窗口，保持所输入的声音信号的频谱不变。

根据由判定部253判定的结果(参照图4(d))，噪声降低处理部254在帧号46的声音信号的频谱中针对序号1～4的频率窗口减去对应的噪声频谱。另外，根据由判定部253所判定的结果(参照图4(d))，噪声降低处理部254在帧号46的声音信号的频谱中针对序号5的频率窗口保持其频谱不变。

由此，噪声降低处理部254按照序号1～5的频率窗口的顺序，算出成为强度值A1(＝B1-N1)、A2(＝B2-N2)、A3(＝B3-N3)、A4(＝B4-N4)、A5(＝B5)的频谱SA(参照图5(c))。

置换部255在注重音质模式的情况下，根据由判定部253判定的各频率窗口的结果，在由噪声降低处理部254进行减法运算得到的频谱的频率窗口中，选择成为进行置换的候补的频率窗口。接着，置换部255在该所选择的频率窗口，按各频率窗口而对通过噪声降低处理部254按各频率窗口进行减法运算得到的频谱和基谱进行比较，对其基谱的强度值大于通过噪声降低处理部254进行减法运算得到的频谱的频率窗口，由基谱置换通过噪声降低处理部254进行减法运算而得到的频谱。

例如，置换部255在注重音质模式的情况下，根据由判定部253判定的各频率窗口的结果(参照图4(d))，在通过噪声降低处理部254进行减法运算而得到的频谱SA(参照图5(c))的频率窗口中，作为成为进行置换的候补的频率窗口，选择序号1～4的频率窗口。

接着，置换部255在该选择的频率窗口即序号1～4的频率窗口，按各频率窗口而对通过噪声降低处理部254按各频率窗口进行减法运算得到的频谱SA(参照图5(c))和基谱FS(参照图5(d))进行比较(参照图5(e))。在图5(e)中，按全部的各频率窗口而对频谱SA和基谱FS进行比较。

而且，置换部255对基谱FS的强度值大于通过噪声降低处理部254进行减法运算而得到的频谱SA的频率窗口，由基谱FS置换通过噪声降低处理部254进行减法运算而得到的频谱SA。在该情况下，置换部255在序号2和4的频率窗口，由基谱FS置换频谱SA。由此，置换部255按照序号1～5的频率窗口的顺序，算出成为强度值A1、F2、A3、F4、B5的频谱SC(参照图5(f))。

然后，信号处理部250对图5(f)所示的频谱SC进行傅立叶逆变换，将其作为降低了噪声的声音信号而经由通信部170存储于存储介质200中。信号处理部250在将声音信号存储于存储介质200时，可以在时间上与由摄像元件119拍摄到的图像数据相关联地进行存储。

如使用图4和图5说明过的那样，信号处理部250能够降低噪声、但不怎么改变目标声音本身而使目标声音保持原样。即，如使用图4和图5说明过的那样，信号处理部250能够与注重音质模式的情况相应地适当降低噪声。

(注重噪声降低模式的情况)

接着，使用图6对注重噪声降低模式的情况下的信号处理部250所具有的各结构进行说明。在此，与图4和图5的情况同样地，对信号处理部250对帧号46的声音信号进行噪声降低处理的情况进行说明。

噪声降低处理部254在注重噪声降低模式的情况下，按各频率窗口而对所输入的声音信号的频谱减去噪声频谱。

例如，噪声降低处理部254在注重噪声降低模式的情况下，按各频率窗口而对作为所输入的声音信号的频谱的帧号46的频谱S46(参照图6(a))减去噪声频谱NS(参照图6(b)。通过该减法运算，噪声降低处理部254算出频谱SA(参照图6(c))。

图6(c)所示的频谱SA按照序号1～5的频率窗口的顺序而具有强度值A1(＝B1-F1)、A2(＝B2-F2)、A3(＝B3-F3)、A4(＝B4-F4)、A5(＝B5-F5)。

在该图6(a)和图6(b)的例子的情况下，关于序号1～4的频率窗口，频谱S46的强度值大于噪声频谱NS，关于序号5的频率窗口，频谱S46的强度值小于噪声的频谱NS。

因此，对于由噪声降低处理部254算出的频谱SA，序号1～4的频率窗口的强度值A1、A2、A3、A4为正(plus)值，而序号5的频率窗口的强度值A5为负(minus)值。

在此，噪声降低处理部254在注重噪声降低模式的情况下，当按各频率窗口而对所输入的声音信号的频谱减去噪声频谱得到的结果为负时，将该结果的值变更为0。

例如，在图6(c)的例子的情况下，序号5的频率窗口的强度值A5为负(minus)值。因此，噪声降低处理部254将序号5的频率窗口的强度值A5的值变更为0(零)(参照图6(d))。在此，将使该序号5的频率窗口的强度值A5的值变更为0(零)的频谱作为频谱SA’来加以说明。

接着，置换部255在注重噪声降低模式的情况下，按各频率窗口而对通过噪声降低处理部254按各频率窗口进行减法运算得到的频谱SA’(参照图6(d))和基谱FS(参照图6(e))进行比较。

而且，置换部255对基谱FS(参照图6(e))的强度值小于通过噪声降低处理部254进行减法运算得到的频谱SA’(参照图6(d))的强度值的频率窗口，由基谱FS(参照图6(e))置换通过噪声降低处理部254进行减法运算得到的频谱SA’(参照图6(d))。

在图6(f)的情况下，在序号1、2、3的频率窗口，基谱FS(参照图6(e))的强度值小于通过噪声降低处理部254进行减法运算得到的频谱SA’(参照图6(d))的强度值。另外，在序号3、5的频率窗口，通过噪声降低处理部254进行减法运算而得到的频谱SA’(参照图6(d))的强度值为基谱FS(参照图6(e))的强度值以上。

因此，置换部255仅在通过噪声降低处理部254进行减法运算而得到的频谱SA’(参照图6(d))的频率窗口中的序号1、2、4的频率窗口，置换为基谱FS(参照图6(e))的频率窗口的强度值。这样，置换部255按照序号1～5的频率窗口的顺序，算出成为强度值F1、F2、A3、F4、A5(＝0)的频谱SD(参照图6(g))。

然后，与图5(f)所示的频谱SC的情况同样地，信号处理部250对图6(g)所示的频谱SD进行傅立叶逆变换，将其作为降低了噪声的声音信号而经由通信部170存储于存储介质200中。

如使用图6说明过的那样，信号处理部250能够尽可能地降低噪声。即，如使用图6说明过的那样，信号处理部250能够与注重噪声降低模式的情况相应地适当降低噪声。

如上述使用图1～图6说明过的那样，本实施方式的信号处理部250与注重音质模式和注重噪声降低模式中的由用户选择设定的模式相应地，改变对声音信号的噪声降低处理的方法。由此，本实施方式的信号处理部250能够如使用图4、图5以及图6说明过的那样，与注重音质模式和注重噪声降低模式相应地从声音信号适当降低噪声。

另外，本实施方式的信号处理部250的置换部255在注重音质模式和注重噪声降低模式中的任意模式的情况下，都根据按各频率窗口而对通过噪声降低处理部254按各频率窗口进行减法运算得到的频谱和基谱进行比较的结果，按各频率窗口而将通过噪声降低处理部254按各频率窗口进行减法运算得到的频谱置换为基谱(参照图5(e)、图5(f)以及图6(f)、图6(g))。

仅在从声音信号减去了噪声的情况下，有可能产生音乐噪声(musicalnoise)。对此，如上述说明过的那样，信号处理部250的置换部255在从声音信号减去了噪声之后，根据与基谱的比较结果，进行所谓的基限(flooring)处理。由此，信号处理部250的置换部255能够降低产生音乐噪声的可能性。

另外，信号处理部250的置换部255不仅进行基限处理，还进行与注重音质模式和注重噪声降低模式相匹配的基限处理(参照图5(e)、图5(f)以及图6(f)、图6(g))。由此，能够在满足注重音质、或注重噪声降低的同时，进一步在各自的情况下适当地降低产生音乐噪声的可能性。

另外，噪声降低处理部254不仅按各频率窗口而对所输入的声音信号的频谱减去噪声频谱，还根据由判定部253判定的各频率窗口的结果，按各频率窗口而对所输入的声音信号的频谱减去噪声频谱。由此，噪声降低处理部254能够从所输入的声音信号适当地降低噪声。

(关于对图2的帧号47以后的处理)

在上述的图3～图6的说明中，对信号处理部250对帧号46的声音信号进行噪声降低处理的情况进行了说明。该信号处理部250可以与帧号46的声音信号的情况同样地，对作为帧号46之后的声音信号的帧号47、48......的声音信号也进行噪声降低处理。

例如，在帧号47的声音信号的情况下，当为注重音质模式时，则信号处理部250将图4(b)和图5(a)中的与帧号46对应的频谱S46变更为与帧号47对应的频谱S47。而且，与频谱S46的情况同样地，信号处理部250对频谱S47进行如使用图4和图5说明过的那样的信号处理。

另外，例如，在帧号47的声音信号的情况下，当为注重噪声降低模式时，则信号处理部250将图6(a)中的与帧号46对应的频谱S46变更为与帧号47对应的频谱S47。而且，与频谱S46的情况同样地，信号处理部250对频谱S47进行如使用图6说明过的那样的信号处理。

这样，在注重音质模式和注重噪声降低模式中的任意模式的情况下，信号处理部250能够对作为帧号46之后的声音信号的帧号47、48......的声音信号也与帧号46的情况同样地进行噪声降低处理。

(关于基谱的推定)

在使用上述图2和图3的说明中，设为基谱推定部251将帧号44的声音信号的频谱推定为基谱而进行了说明。但是，基谱推定部251的基谱的推定方法不限于此。

例如，基谱推定部251根据由定时检测部191检测出的动作部动作的定时，分别将动作部动作的定时之前的多个帧的声音信号变换为频谱。进而，基谱推定部251也可以将按各频率窗口取该多个频谱的平均而获得的频谱推定为基谱。

另外，在按各频率窗口而取多个频谱的平均的情况下，基谱推定部251也可以进行加权而算出平均值。其权重值可以为伴随着从作为基限处理的对象的声音信号的帧(开始帧)远离而权重变轻。

基谱推定部251优选在推定基谱时至少根据动作部动作的定时的前一帧来推定基谱。这是因为：作为基谱，优选与动作部未动作的帧的声音信号对应的频谱。另外是因为：生成基谱的声音信号的帧随着在时间上远离成为进行基限处理的对象的声音信号，其作为对于该声音信号的基谱的适合度也降低。

另外，也可以在基谱存储部161中预先存储基谱。例如，也可以在基谱存储部161中与表示拍摄时周围的声音状况的环境信息、或表示拍摄模式的摄影模式信息相关联地预先存储与各个情况相对应的基谱。而且，信号处理部250也可以从基谱存储部161读出与由用户选择的环境信息或拍摄模式信息相关联的基谱，根据该读出的基谱，执行在上述图3～图6的说明中说明过的噪声降低处理。

(关于噪声的推定)

另外，在上述使用图2和图3的说明中，设为如下情况而进行了说明，噪声推定部252按各频率窗口而从帧号46的声音信号的频谱S46(参照图3(b))减去帧号44的声音信号的频谱(即，基谱FS(参照图3(a))来推定噪声频谱。但是，噪声推定部252推定噪声频谱的方法不限于此。

首先，噪声推定部252可以代替帧号44的声音信号的频谱即基谱FS而通过上面说明过的由基谱推定部251推定基谱FS的情况下的任意方法来推定基谱FS。

此外，噪声推定部252也可代替帧号46的声音信号的频谱S46而使用如下频谱，该频谱是根据由定时检测部191检测到的动作部动作的定时按各频率窗口而对动作部正在动作的定时中的多个帧的声音信号的频谱取平均得到的频谱。例如，噪声推定部252也可代替帧号46的声音信号的频谱S46，而使用按各频率窗口对帧号46、47、48的多个帧的声音信号的频谱取平均而获得的频谱。

另外，在按各频率窗口而对多个频谱取平均的情况下，噪声推定部252也可以进行加权而算出平均值。该权重值可以为伴随着从作为基限处理的对象的声音信号的帧(开始帧)远离而权重变轻。另外，与基谱的情况同样地，噪声频谱也可以预先存储于噪声存储部162中。

(关于图2的帧的重叠(overlap))

另外，在图2的说明中，设为在各帧之间没有重叠而进行了说明。但不限于此，也可以在各帧之间具有重叠。例如，相互相邻的帧的半帧期间也可以相互重叠。

另外，在将各帧的声音信号变换为频谱的情况下，信号处理部250也可以在对各帧的声音信号乘以汉宁窗(hanning window)等窗函数之后变换为频谱。

在上述图2的说明中，对与(a)来自定时检测部191的表示定时的信号、即表示动作部动作的定时的信号无关地将声音信号分割为帧的情况进行了说明(参照图2(c))。

但不限于此，信号处理部250也可以按照(a)来自定时检测部191的表示定时的信号、即表示动作部动作的定时的信号来控制分割帧的位置。例如，信号处理部250也可以对声音信号生成帧，以使得声音信号的帧的边界与(a)来自定时检测部191的表示定时的信号、即表示动作部动作的定时的信号从低电平变为高电平的位置(参照图2的符号○)一致。

而且，信号处理部250也可以按照表示动作部动作的定时的信号，根据动作部动作之前的期间和动作部正在动作的期间，执行上述的噪声降低处理。

在上述的说明中，对信号处理部250对由麦克风230拾取的声音信号进行信号处理的情况进行了说明，但本实施方式的上述信号处理部250的处理不仅仅适用于这样实时地拾取的声音信号。

例如，对于已录制的声音信号，在与该声音信号相关联地在例如存储介质200等的存储部中存储有录制该声音信号的装置所具有的动作部动作的定时的情况下，本实施方式的信号处理部250也可以与上述的信号处理同样地执行处理。

在上述的说明中，作为声音信号重叠的噪声，对主要由光学系统400驱动而产生的声音进行了说明，但噪声不限于此。例如，在按下设置于操作部180的按钮等时产生的声音的情况也是同样的。在该情况下，也使与设置于操作部180的按钮等被按下相对应的信号被输入到CPU190的定时检测部191。由此，定时检测部191能够与光学系统400驱动的情况同样地检测操作部180等的动作定时。

另外，在上述的说明中，对摄像装置100具有信号处理部250的情况进行了说明，但信号处理部250也可以设置于录音装置、便携电话或通信终端。

图1的信号处理部250、或该信号处理部250所具有的各部既可以是通过专用的硬件实现的，另外，也可以是通过存储器和微处理器实现的。

另外，该信号处理部250、或该信号处理部250所具有的各部也可以由存储器和CPU(中央运算装置)构成，通过将用于实现信号处理部250、该信号处理部250所具有的各部的功能的程序加载到存储器中而加以运行，由此实现其功能。

另外，也可以将用于实现图1的信号处理部250、或该信号处理部250所具有的各部的功能的程序存储于计算机可读取的记录介质中，将记录于该存储媒体中的程序读入计算机系统而加以运行，由此进行信号处理部250、或该信号处理部250所具有的各部的处理。在此所说的“计算机系统”是指包含OS、周边装置等的硬件的系统。

另外，当利用WWW系统时，“计算机系统”为也包括主页提供环境(或显示环境)的系统。

另外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD-ROM等的可运送介质、内置于计算机系统的硬盘等存储装置。进一步，“计算机可读取的记录介质”也包含：如经由互联网等的网络、电话线等通信线路而发送程序的情况下的通信线路那样短期、动态地保持程序的介质；如该情况下的成为服务器、客户机(client)的计算机系统内部的易失性存储器那样将程序保持一定时间的介质。另外，上述程序即可以为用于实现上述功能的一部分的程序，进一步，也可以为能够通过与全部记录于计算机系统中的程序的组合来实现前述的功能的程序。

以上，参照附图对本发明的实施方式进行了详细说明，但具体的结构不限于本实施方式，也包括不脱离本发明的主旨的范围内的设计等。

Claims (13)

1.一种信号处理装置，其特征在于，包括：

判定部，其在预定的频率窗口中，比较对动作部动作时取得的声音信号进行频率变换而得到的第一频谱、和对上述动作部未动作时的声音信号进行频率变换而得到的第二频谱，判定是否在上述预定的频率窗口中对上述第一频谱进行降低上述动作部的动作声音的处理；和

动作声音降低处理部，其根据由上述判定部判定的结果，在上述预定的频率窗口中对上述第一频谱减去表示上述动作声音的频谱，

上述动作声音降低处理部，在由上述判定部判定为在上述预定的频率窗口中上述第二频谱的强度比上述第一频谱的强度大的情况下，在上述预定的频率窗口中对上述第一频谱不减去表示上述动作声音的频谱。

2.根据权利要求1所述的信号处理装置，其特征在于，

上述动作声音降低处理部，当在上述预定的频率窗口中对上述第一频谱减去表示上述动作声音的频谱得到的结果为负时，变更为0。

3.根据权利要求1或2所述的信号处理装置，其特征在于，

包括置换部，该置换部根据在上述预定的频率窗口中对由上述动作声音降低处理部进行减法运算而得的频谱和上述第二频谱进行比较的结果，在上述预定的频率窗口中将由上述动作声音降低处理部进行减法运算而得的频谱置换为上述第二频谱。

4.一种信号处理装置，其特征在于，包括：

判定部，其在预定的频率窗口中，比较对动作部动作时取得的声音信号进行频率变换而得到的第一频谱、和对上述动作部未动作时的声音信号进行频率变换而得到的第二频谱，判定是否在上述预定的频率窗口中对上述第一频谱进行降低上述动作部的动作声音的处理；和

动作声音降低处理部，其根据由上述判定部判定的结果，在上述预定的频率窗口中对上述第一频谱减去表示上述动作声音的频谱，

上述动作声音降低处理部包括第一模式和第二模式，上述第一模式是根据由上述判定部判定的结果在上述预定的频率窗口中对上述第一频谱减去表示上述动作声音的频谱的模式，上述第二模式是在上述预定的频率窗口中对上述第一频谱减去表示上述动作声音的频谱的模式。

5.根据权利要求4所述的信号处理装置，其特征在于，

上述动作声音降低处理部在上述第二模式的情况下，

当在上述预定的频率窗口中对上述第一频谱减去表示上述动作声音的频谱得到的结果为负时，变更为0。

6.根据权利要求4或5所述的信号处理装置，其特征在于，

包括置换部，该置换部根据在上述预定的频率窗口中对通过上述动作声音降低处理部进行减法运算而得到的上述第一频谱、和上述第二频谱进行比较而得到的结果，在上述预定的频率窗口中将通过上述动作声音降低处理部进行减法运算而得到的上述第一频谱置换为上述第二频谱。

7.根据权利要求6所述的信号处理装置，其特征在于，

上述置换部在上述第1模式的情况下，根据上述判定部的结果，在通过上述动作声音降低处理部进行减法运算而得到的上述第一频谱的上述预定的频率窗口中，选择成为进行置换的候补的频率窗口，在上述选择的频率窗口中，比较通过上述动作声音降低处理部进行减法运算而得到的上述第一频谱、和上述第二频谱，在上述选择的频率窗口中上述第二频谱的强度值比通过上述动作声音降低处理部进行减法运算而得到的上述第一频谱的强度值大的情况下，在上述选择的频率窗口中将通过上述动作声音降低处理部进行减法运算而得到的上述第一频谱置换为上述第二频谱。

8.根据权利要求6所述的信号处理装置，其特征在于，

上述置换部在上述第2模式的情况下，在上述预定的频率窗口中比较通过上述动作声音降低处理部进行减法运算而得到的上述第一频谱、和上述第二频谱，在上述预定的频率窗口中上述第二频谱的强度值比通过上述动作声音降低处理部进行减法运算而得到的上述第一频谱的强度值小的情况下，在上述预定的频率窗口中将通过上述动作声音降低处理部进行减法运算而得到的上述第一频谱置换为上述第二频谱。

9.根据权利要求1或4所述的信号处理装置，其特征在于，

上述判定部在上述第一频谱和上述第二频谱中按各频率窗口进行判定。

10.根据权利要求1或4所述的信号处理装置，其特征在于，

包括存储控制部，该存储控制部使存储部存储上述动作部未动作时取得的声音信号。

11.一种摄像装置，其特征在于，具备：

权利要求1～10中的任一项所述的信号处理装置；和

产生上述动作声音的上述动作部。

12.一种信号处理方法，包括：

判定步骤，在预定的频率窗口中，比较对动作部动作时取得的声音信号进行频率变换而得到的第一频谱、和对上述动作部未动作时的声音信号进行频率变换而得到的第二频谱，判定是否在上述预定的频率窗口中对上述第一频谱进行降低上述动作部的动作声音的处理；和

动作声音降低处理步骤，根据通过上述判定步骤判定的结果，在上述预定的频率窗口中对上述第一频谱减去表示上述动作声音的频谱，

该信号处理方法的特征在于，

上述动作声音降低处理步骤包括第一模式和第二模式，上述第一模式是根据通过上述判定步骤判定的结果，在上述预定的频率窗口中对上述第一频谱减去表示上述动作声音的频谱的模式，上述第二模式是在上述预定的频率窗口中对上述第一频谱减去表示上述动作声音的频谱的模式。

13.一种信号处理方法，包括：

判定步骤，在预定的频率窗口中，比较对动作部动作时取得的声音信号进行频率变换而得到的第一频谱、和对上述动作部未动作时的声音信号进行频率变换而得到的第二频谱，判定是否在上述预定的频率窗口中对上述第一频谱进行降低上述动作部的动作声音的处理；和

动作声音降低处理步骤，根据通过上述判定步骤判定的结果，在上述预定的频率窗口中对上述第一频谱减去表示上述动作声音的频谱，

该信号处理方法的特征在于，

在上述动作声音降低处理步骤中，在通过上述判定步骤判定为在上述预定的频率窗口中上述第二频谱的强度比上述第一频谱的强度大的情况下，在上述预定的频率窗口中对上述第一频谱不减去表示上述动作声音的频谱。