CN101308662A - 成像设备、声音处理电路、降噪电路、降噪方法和程序 - Google Patents

Abstract

本发明披露了一种成像设备、声音处理电路、降噪电路、降噪方法和程序，其中，该降噪电路包括：去噪单元，被配置为从输入的声音信号中除去噪声频带；噪声识别单元，被配置为识别包括在声音信号中的噪声；去噪期间产生单元，被配置为根据所识别噪声的发生期间产生表示去噪期间的信号；以及选择单元，被配置为当表示了去噪期间时，选择去噪单元的输出，以及当没有表示去噪期间时，选择声音信号。

Description

成像设备、声音处理电路、降噪电路、降噪方法和程序

相关申请的交叉引用

本发明包含于2007年5月18日向日本专利局提交的日本专利申请JP2007-132276的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种成像设备，更具体地，涉及一种用于在成像设备中降低声音信号中的噪声的声音处理电路和降噪电路、电路中的处理方法和使计算机执行上述方法的程序。

背景技术

近年来，其主体包括小型麦克风的数码家用电器(诸如摄像机、数码相机、移动电话和IC录音器)已进一步小型化。在这种情况下，用户可能会在录音期间无意中触碰到麦克风，或者由于各种功能开关的点击操作带来的噪声可能会通过壳体传播并被输入至麦克风。因此，在再生期间经常会发生令人不舒服的触碰噪声或点击噪声。

另一方面，上述的数码家用电器包括存储装置以存储多种类型的内容(信息的内容)。随着近来内容量的增加，已采用了诸如DVD(数字通用光盘)和HDD(硬盘驱动)的磁盘装置。这些磁盘装置被放在内置的麦克风附近，从而来自磁盘装置的振动噪声或噪声(acoustic noise)被不利地输入到麦克风。具体地，在安静的环境中，麦克风的灵敏度通过内部的AGC(自动增益控制)电路增加，并因此，哪怕是低电平的触碰噪声或点击噪声也是很不悦耳的。此外，内置的麦克风通常具有在很多情况下由非定向麦克风单元和运算电路的组合产生的定向特性。因此，噪声频带由于定向特性所特有的邻近效应而上升，因而，噪声可能比期望的声音信号更显著。

为了降低噪声，在相关技术中已采用了以下措施。即，将内置麦克风的麦克风单元浮置在诸如橡胶减音器的绝缘体上以与壳体隔离、或通过使用橡胶电线等而浮置在空中，使来自壳体的振动被缓冲并且噪声不被传播到麦克风单元。然而，即使在这种方法中，仍不能完全地抑制噪声。当振动很强或取决于振动频率时，不可能获得绝缘体的效果，或麦克风单元可能以固有频率共振。因此，很难设计抑制成本降低和小型化的结构。此外，除在壳体上传播的振动之外，上述的噪声还包括通过空气传播的作为具有振动的声音的噪声。因此，到麦克风单元的噪声传播途径是复杂的，并且在根据现有技术的被动方法中无法得到充分的降噪效果。

在这些情况下，已提出了通过利用人类听觉中的掩蔽效果来降噪的技术。例如，已提出了通过外部检测噪声的发生时间切换声音信号来降噪的设备(例如，参见专利文献1：日本未审查专利申请公开第2005-303681号(图1))。

发明内容

上述的相关技术用于消除上述的冲击噪声、触碰噪声和点击噪声，以使噪声不会被人耳识别到，并且当可以确定噪声发生期间时，上述的相关技术才会有效。

然而，相关技术具有以下问题。即，当除噪声之外的声音混入输入信号或当没有从驱动装置得到噪声定时时，可能无法确定噪声发生期间并消除噪声。

鉴于上述情况作出了本发明，并且本发明关注于即使声音信号和噪声同时发生，仍能够通过识别噪声确定噪声发生时期来降低噪声。

根据本发明的实施例，提供了一种降噪电路，包括：用于从输入声音信号中除去噪声频带的去噪装置；用于识别包括在声音信号中的噪声的噪声识别装置；用于根据所识别噪声的发生期间产生表示去噪期间的信号的去噪期间产生装置；以及用于当表示了去噪期间时选择去噪装置的输出而当没有表示去噪期间时选择声音信号的选择装置。因此，可以根据包括在声音信号中的噪声的发生期间来选择是否执行去噪。

噪声识别装置可以通过使用估计值来执行噪声识别，其中，估计值是从声音信号和波形与噪声的波形近似并且在预定期间内的平均值为零的子波信号的卷积运算的输出。因此，可以根据在时间区域中的噪声识别结果来选择是否执行去噪。

噪声识别装置可以通过使用估计值来执行噪声识别，其中，估计值是近似于噪声的频谱的图案信号和已执行了傅里叶变换的声音信号之间的相关性。因此，可以根据在一个频率区域中的噪声识别的结果选择是否执行去噪。

去噪装置可以通过滤波器来实现以除去噪声频带。同样，去噪装置可以基于由噪声识别装置识别的噪声的频率来适当地改变滤波器的除去频带和通过频带。

选择装置可以通过交叉渐变开关(cross-fade switch)来实现。因此，在是否执行去噪之间的切换时，交叉渐变以预定的时间常数出现。

根据本发明的另一个实施例，提供了一种降噪电路，包括：用于从输入的声音信号中除去噪声频带的去噪装置；用于对已除去噪声频带的信号执行内插的信号内插装置；用于识别包括在声音信号中的噪声的噪声识别装置；用于根据所识别噪声的发生期间产生表示去噪期间的信号的去噪期间产生装置；以及用于当表示了去噪期间时选择信号内插装置的输出以及当没有表示去噪期间时选择声音信号的选择装置。因此，可以根据包括在声音信号中的噪声的发生期间来选择是否执行去噪。此外，还可以通过对去噪后的声音信号执行内插来增强听觉的掩蔽效果。

信号内插装置可以包括：用于产生关于内插的内插源信号的内插源信号产生装置；用于从内插源信号中除去除噪声频带外的频带的信号频带衰减装置；用于产生声音信号的电平包络的电平包络产生装置；用于基于电平包络来产生用于内插的电平系数的电平系数产生装置；用于基于电平系数来调制信号频带衰减装置的输出的电平调制装置；以及用于组合去噪装置的输出和电平调制装置的输出并将所得组合输出至选择装置的组合装置。电平调制装置还可以基于人类听觉中被掩蔽的电平来调制信号频带衰减装置的输出。内插源信号产生装置可以产生具有预定波形和预定期间的单个或多个期间信号、在声音频带中具有均一电平的白噪声信号、和期间信号与白噪声信号以预定混合比混合成的复合信号中的任一个。

可替代地，信号内插装置可以包括用于产生用于内插的内插源信号的内插源信号产生装置；用于从内插源信号中除去除噪声频带外的频带的信号频带衰减装置；用于产生去噪装置的输出的频谱包络的频谱包络产生装置；用于基于频谱包络产生用于内插的频谱系数的频谱系数产生装置；用于基于频谱系数来调制信号频带衰减装置的输出的频谱调制装置；用于产生声音信号的电平包络的电平包络产生装置；用于基于电平包络产生用于内插的电平系数的电平系数产生装置；用于基于电平系数来调制频谱调制装置的输出的电平调制装置；以及用于组合去噪装置的输出和电平调制装置的输出并将所得组合输出至选择装置的组合装置。去噪装置和信号频带衰减装置可以通过基于通过噪声识别装置识别的噪声的频率来适当地改变除去频带和通过频带的滤波器来实现。

根据本发明的另一个实施例，提供了一种声音处理电路，包括：用于获得声音信号的声音信号获得装置；用于从声音信号中除去噪声频带的去噪装置；用于对已除去噪声频带的信号执行内插的信号内插装置；用于识别包括在声音信号中的噪声的噪声识别装置；用于根据识别出的噪声的发生期间产生表示去噪期间的信号的去噪期间产生装置；以及用于当表示了去噪期间时选择信号内插装置的输出以及当没有表示去噪期间时选择声音信号的选择装置。因此，可以根据包括在所获得的声音信号中的噪声的发生期间来选择是否执行去噪。此外，还可以通过对去噪后的声音信号执行内插来增强听觉的掩蔽效果。

根据本发明的另一个实施例，提供了一种声音处理电路，包括：用于获得第一声音信号的第一声音信号获得装置；用于从第一声音信号中除去噪声频带的去噪装置；用于对已除去噪声频带的信号执行内插的信号内插装置；用于获得第二声音信号的第二声音信号获得装置；用于识别包括在第二声音信号中的噪声的噪声识别装置；用于根据所识别噪声的发生期间产生表示去噪期间的信号的去噪期间产生装置；以及用于当表示了去噪期间时选择信号内插装置的输出以及当没有表示去噪期间时选择第一声音信号的选择装置。因此，可以根据包括在第二声音信号中的噪声的发生期间来选择是否对第一声音信号执行去噪。此外，还可以通过对去噪后的声音信号执行内插来增强听觉的掩蔽效果。

根据本发明的另一个实施例，提供了一种成像设备，包括：用于拍摄来自对象的图像信号的成像装置；用于获得来自对象的声音信号的声音信号获得装置；用于从声音信号中除去噪声频带的去噪装置；用于对已除去噪声频带的信号执行内插的信号内插装置；用于识别包括在声音信号中的噪声的噪声识别装置；用于根据所识别噪声的发生期间产生表示去噪期间的信号的去噪期间产生装置；用于当表示了去噪期间时选择信号内插装置的输出以及当没有表示去噪期间时选择声音信号的选择装置；以及用于通过多路复用图像信号和声音信号来记录图像信号和声音信号的记录装置。因此，在成像设备中，可以根据包括在声音信号中的噪声的发生期间来选择是否执行去噪。此外，还可以通过对去噪后的声音信号执行内插来增强听觉的掩蔽效果。

根据本发明的另一个实施例，提供了一种成像设备中的用于声音信号的降噪方法，成像设备包括用于拍摄来自对象的图像信号的成像装置、用于获得来自对象的声音信号的声音信号获得装置和用于从声音信号中除去噪声频带的去噪装置。降噪方法包括以下步骤：识别包括在声音信号中的噪声；根据所识别噪声的发生期间，产生表示去噪期间的信号；以及当表示了去噪期间时，选择去噪装置的输出，以及当没有表示去噪期间时，选择声音信号。此外，提供了一种使计算机执行那些步骤的程序。因此，可以根据包括在声音信号中的噪声的发生期间来选择是否执行去噪。

根据本方面的实施例，通过识别噪声确定噪声发生期间，可以获得良好的降噪效果。

附图说明

图1示出了根据本发明实施例的成像设备的构造的实例：

图2示出了根据本发明实施例的降噪单元的第一构造实例；

图3A和图3B示出了在本发明的实施例中所使用的掩蔽现象；

图4示出了根据本发明实施例的内插源信号产生单元的构造的实例；

图5A和图5B示出了根据本发明实施例的去噪滤波器和逆滤波器的频率特性的实例；

图6示出了根据本发明实施例的电平包络产生单元的构造的实例；

图7A～图7C示出了由根据本发明实施例的电平包络产生单元执行的处理的实例；

图8示出了根据本发明实施例的内插信号的实例；

图9示出了根据本发明的实施例的内插信号的另一个实例；

图10A和图10B示出了根据本发明实施例的噪声识别单元的构造的实例；

图11示出了根据本发明实施例的作为选择开关的实例的交叉渐变开关的构造的实例；

图12A和图12B示出了根据本发明实施例的交叉渐变开关的信号波形的实例；

图13示出了在使用根据本发明实施例的交叉渐变开关的情况下的内插信号的实例；

图14示出了根据本发明实施例的降噪单元的第二构造实例；

图15示出了根据本发明实施例的降噪单元的第三构造实例；

图16示出了根据本发明实施例的降噪单元的第四构造实例；以及

图17示出了根据本发明实施例的用于声音信号的降噪方法的基本处理程序的实例。

具体实施方式

下文中，将参考附图详细描述本发明的实施例。

图1示出了根据本发明实施例的成像设备的构造的实例。成像设备包括成像单元11、图像处理单元12、声音获得单元13、声音处理单元14、多路复用单元15和记录/再生单元16。

成像单元11拍摄对象的图像来作为图像信号并通过例如CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器来实现。图像处理单元12对通过成像单元11拍摄的图像信号执行预定的图像处理。

声音获得单元13获得来自对象的声音信号，并且通过例如麦克风来实现。声音处理单元14对由声音获得单元13获得的声音信号执行预定的信号处理。

多路复用单元15多路复用来自图像处理单元12的图像信号和来自声音处理单元14的声音信号，并且基于MPEG(移动图像专家组)方法等输出所得的编码信号。记录/再生单元16将通过多路复用单元15多路复用产生的编码信号记录在记录介质上或解码并再生编码信号。

在图1所示的成像设备中，本发明实施例的具体特征在于包括在声音处理单元14中的降噪单元。下文中，参考附图描述降噪单元。

图2示出了根据本发明实施例的降噪单元的第一构造实例。降噪单元接收来自麦克风111的声音信号并对声音信号执行降噪处理。麦克风111是置于成像设备中或成像设备周围的声音采集麦克风。麦克风111的负侧端接地到电路的接地电平(GND)上，而其正侧端连接至放大器112。放大器112放大声音信号。放大后的声音信号通过信号线119被提供给降噪单元中的每个单元。

降噪单元包括内插源信号产生单元130、去噪滤波器141、逆滤波器142、电平包络产生单元171、电平系数产生单元172、电平调制单元173、组合单元180、选择开关190、噪声识别单元210和去噪期间产生单元220。

去噪滤波器141是用于从来自麦克风111的声音信号中除去噪声频带的滤波器。例如，去噪滤波器141由BEF(带阻滤波器)实现以除去单个频带或多个频带。去噪滤波器141的输出通过信号线149被提供给组合单元180的一个输入端。

内插源信号产生单元130产生用于内插的内插源信号。在本发明的实施例中，内插信号与已通过去噪滤波器141除去噪声频带的声音信号组合，从而可以增强人类听觉的掩蔽效应。内插源信号产生单元130输出作为内插信号的源的内插源信号。内插源信号是通过适当混合音调信号和随机信号而产生的。以下描述内插源信号产生单元130的构造。

逆滤波器142是从由内插源信号产生单元130产生的内插源信号中除去除噪声频带外的频带的滤波器。逆滤波器142相对于去噪滤波器141具有逆滤波器特性。去噪滤波器141的抑止频带是逆滤波器142的通过频带，换句话说，去噪滤波器141的通过频带是逆滤波器142的抑止频带。逆滤波器142的输出通过信号线148被提供给电平调制单元173。

电平包络产生单元171持续检测来自麦克风111的声音信号的电平包络。电平包络产生单元171的输出通过信号线177被提供给电平系数产生单元172。

电平系数产生单元172基于从电平包络产生单元171提供的电平包络来产生电平系数。电平系数产生单元172的输出通过信号线178被提供给电平调制单元173。

根据从电平系数产生单元172提供的电平系数，电平调制单元173对从逆滤波器142提供的内插源信号执行电平调制，然后输出该信号作为内插信号。电平调制单元173的输出通过信号线179被提供给组合单元180的另一个输入端。

组合单元180组合从去噪滤波器141通过信号线149提供的声音信号和从电平调制单元173通过信号线179提供的内插信号。例如，组合单元180由加法器(adder)实现。组合单元180的输出通过信号线189被提供给选择开关190的ON输入端。

噪声识别单元210识别包括在来自麦克风111的声音信号中的噪声。噪声识别单元210的输出通过信号线219被提供给去噪期间产生单元220。在噪声识别单元210识别出噪声之后，去噪期间产生单元220根据噪声发生期间产生表示去噪期间的信号。去噪期间产生单元220的输出通过信号线229被提供给选择开关190的控制端。

选择开关190根据从去噪期间产生单元220通过信号线229提供的信号来选择声音信号。即，如果来自去噪期间产生单元220的信号表示了去噪期间，那么选择开关190选择从组合单元180通过信号线189提供的声音信号，如果来自去噪期间产生单元220的信号表示非去噪期间，那么选择开关190选择从麦克风111通过信号线119提供的声音信号。通过信号线199提供选择开关190的输出用于随后阶段中的处理。

图3A和图3B示出了在本发明实施例中所使用的掩蔽现象。人类的听觉无法识别相对大的声音后的小声音，例如，在高电平噪声中很难听到人的声音。这种现象被称为掩蔽现象，该现象取决于包括频率组分、声压级别(voice pressure level)和持续时间的条件。听觉的这种掩蔽现象大致分为频率掩蔽和时间掩蔽，而时间掩蔽被分为同时掩蔽和非同时掩蔽(连续掩蔽)。掩蔽现象被应用作为高效编码法，以将音频信号压缩到CD(光盘)等中的约五分之一～十分之一中。

在图3A和图3B中，水平方向表示经过的时间，以及垂直方向表示每个时间的信号电平的绝对值。如图3A所示，以预定电平输入信号A，然后在没有信号的间隙期间之后，以预定电平输入信号B。在此情况中，在图3B中示意性示出了人类的听觉水平。即如区域91所示，在人类的听觉中，随灵敏度减小，信号A的图案在信号A消失后暂时保持不变。这种现象被称为前向掩蔽。在这个期间中，即便存在，人类的听觉仍不能识别出其他声音。此外，在输入信号B之前，如区域92所示出现灵敏度的降低。这被称为后向掩蔽。在这个期间中，即便存在，人类的听觉仍不能识别出其他声音。

在正常情况中，前向掩蔽的量大于后向掩蔽的量。这种现象的持续时间取决于很多条件，但是最大为几百毫秒。在一定条件下，在图3A所示的间隙期间中，听觉上无法识别几毫秒～几十毫秒，并且出现听到信号A和信号B为连续声音的现象。如R.Plomp(1963)关于间隙检测的研究论文、Miura的研究论文(JAS.Journal 94.十一月)、和“听觉的心理学介绍”(由Brian C.J.Moore所著、KengoOgushi翻译和Seishinshobo出版，第4章：听觉系统的时间分辨力)中所述，已知这种现象具有如下特性。

(第一特性)：当信号A和B的频带具有相关性时，间隙长度很长。此外，当在频率方面信号A和B的连续性被保持时，间隙长度也很长。

(第二特性)：频带信号中的间隙长度比单个正弦波信号中的间隙长度更长。

(第三特性)：当信号A和B相同时，信号电平越低，间隙长度越长，并且在信号电平增加到超过某一电平之后，间隙长度不再改变。

(第四特性)：当信号B的电平低于信号A的电平时，间隙长度更长；

(第五特性)：包括在信号中的中心频率越低，间隙长度越长，并且中心频率越高，间隙长度越短。

在本发明的实施例中，基于上述五个特性，电平系数产生单元172产生用于内插的电平系数。例如，当声音电平低时，电平系数产生单元172使间隙期间很长(第三特性)，而当声音电平暂时处于向下的趋势时，使间隙期间比处于向上趋势时的间隙期间更长(第四特性)。

图4示出了根据本发明实施例的内插源信号产生单元130的构造的实例。内插源信号产生单元130包括音调信号产生单元131、白噪声信号产生单元132和混合单元133。

音调信号产生单元131产生由单个或多个预定期间的正弦波或脉冲波构成的音调信号。基于频率特性，音调信号具有预定频率的单个或多个峰值(peak)。

白噪声信号产生单元132产生其电平在整个声音频带上均一的白噪声信号(随机信号)。例如，白噪声信号产生单元132由M序列的随机数发生器实现。

混合单元133以预定混合比率来混合由音调信号产生单元131产生的音调信号和由白噪声信号产生单元132产生的白噪声信号，并输出所产生的信号来作为内插源信号。混合单元133的输出通过信号线139被提供给逆滤波器142。

根据去噪滤波器141的去噪频带特性适当设置上述预定混合比率。可替代地，可将任一个信号设为零，并且可以仅输出音调信号或仅输出白噪声信号来作为内插源信号。

图5A和图5B示出了根据本发明实施例的噪声滤波器141和逆滤波器142的频率特性的实例。在图中，横轴表示频率，以及纵轴表示通过滤波器的信号的电平。

图5A示出了去噪滤波器141的频率特性的实例。如所示，滤波器具有除去频带的三个中心频率fa、fb和fc。另一方面，图5示出了逆滤波器142的频率特性的实例。与去噪滤波器141相反，逆滤波器142具有通过频带的三个中心频率fa、fb和fc。

即，在这个实例中，中心频率fa、fb和fc构成了噪声频带。去噪滤波器141将噪声频带作为抑止频带处理，而逆滤波器142将噪声频带作为通过频带处理。

图6示出了根据本发明实施例的电平包络产生单元171的构造的实例。电平包络产生单元171包括绝对值产生单元174和平滑单元175。

绝对值产生单元174产生通过信号线119提供的声音信号的绝对值。平滑单元175从已被绝对值产生单元174转换为绝对值信号的声音信号中提取出低频带组分，然后使低频带组分平滑。例如，平滑单元175由低通滤波器(LPF)实现。平滑能够除去由于电平的突变(诸如，瞬时噪声)带来的效应。

图7A～图7C示出了由根据本发明实施例的电平包络产生单元171执行的处理的实例。图7A示出了通过信号线119提供给电平包络产生单元171的声音信号的波形的实例。声音信号通过绝对值产生单元174被转换为绝对值信号，从而具有了图7B所示的波形。

然后，通过平滑单元175使具有图7B中所示波形的绝对值信号平滑，从而如图7C中用粗线所示产生了包络。

基于以上述方式产生的电平包络，电平系数产生单元172产生了电平系数。通过使用这个电平系数来控制电平调制单元173，产生了内插信号。

图8示出了根据本发明实施例的内插信号的实例。在这个实例中，基于由电平包络产生单元171产生的电平包络，产生内插信号21以维持在信号A和B的频率之间的连续性。因此，根据上述第一特性可以获得大间隙长度。

图9示出了根据本发明实施例的内插信号的另一个实例。在这个实例中，产生了用于补偿图3B中所示的前向掩蔽和后向掩蔽与和信号B之间的间隙AS的内插信号22。因此，间隙不会被听觉感觉到。即，在图9所示的实例中，与图8所示的实例不同，无法确保信号A和B之间的连续性，但是执行电平内插以在听觉中掩蔽间隙期间。

图10A和图10B示出了根据本发明实施例的噪声识别单元210的构造的实例。在图10A中，在时间区域中识别出噪声。在图10B中，在频率区域中识别出噪声。

在图10A所示的构造实例中，噪声识别单元210包括帧产生单元211、噪声图案(noise pattern)匹配单元212、和噪声图案保持单元213。

帧产生单元211将通过信号线119提供的声音信号转换为预定时间间隔的多个帧。这里，帧是包括多个声音信号码元(音频样本)的数据序列。转换为帧的N个声音信号S(n)(N是整数)被提供给噪声图案匹配单元212。注意到，“n”为1～N范围内的整数。

噪声图案保持单元213是用来保持噪声图案W(n)的存储器。从噪声图案保持单元213作为“a”和“b”的函数W((n-b)/a读取这个噪声图案(也称为子波)。这里，“a”是尺度参数(a＞0)。如果这个值很小，则对应于低频率组分的噪声识别。另一方面，如果尺度参数很大，则对应于高频率组分的噪声识别。另一方面，“b”是位移参数，表示在与噪声图案匹配的图案处的位移位置(时间)。子波是具有平均值0的信号，并且是限于时间0周围的函数。在本发明的实施例中，预先选择近似于实际噪声波形的函数并且将该函数保持在噪声图案保持单元213中。

在改变“a”和“b”的同时，噪声图案匹配单元212对通过帧产生单元211转换为帧的声音信号S(n)和保持在噪声图案保持单元213中的噪声图案W(n)执行卷积运算，从而估计存在于声音信号中的噪声。在这种情况中，通过使用以下表达式计算估计值Et。

$\mathrm{Et}=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(S\left(n\right)\×W((n-b)/a))$

也就是说，估计值Et是表示有多少噪声图案W(n)包括在声音信号S(n)中的指标。当噪声存在于各帧的声音信号S(n)中时，估计值Et很大，反之当与噪声的相关性很低时，估计值Et接近于零。

在图10B所示的构造实例中，噪声识别单元210包括帧产生单元214、傅里叶变换单元215、噪声图案匹配单元216和噪声图案保持单元217。

与帧产生单元211一样，帧产生单元214将通过信号线119提供的声音信号转换为预定时间间隔的帧。傅里叶变换单元215基于FFT(快速傅里叶变换)对通过帧产生单元214转换为帧的每个声音信号执行傅里叶变换，从而将声音信号从时间信号转换为频率信号F(n)。

噪声图案保持单元217是用于保持噪声图案P(n)的存储器。当噪声发生时，保持在噪声图案保持单元217中的噪声图案P(n)通过模拟频率分布而产生。

噪声图案匹配单元216计算通过傅里叶变换单元215产生的声音信号F(n)和保持在噪声图案保持单元213中的噪声图案P(n)之间的相关性，从而估计存在于声音信号中噪声。在这种情况下，可以通过使用以下表达式计算估计值Ef。

$\mathrm{Ef}=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\{F\left(n\right)\×P\left(n\right)\}}{\sqrt{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left\{F\left(n\right)\right\}}^2\×\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\left\{P\left(n\right)\right\}}^2}}$

这里，N是一帧中FFT点数。即，当“n”是1～N并且噪声图案和声音信号之间的相似性很高时，估计值Ef接近于1。如果估计值Ef是预定的阀值或更高，则可以识别出这两个图案基本上匹配。

当以上述方式识别噪声时，去噪期间产生单元220产生去噪期间，该期间是由噪声发生的开始点和结束点限定的期间。这里，已经描述了用于在时间区域和频率区域中识别噪声的方法，但是可以通过组合这些方法来进一步增加识别率。

在图2所示的实例中，已假设选择开关190是简单开关进行描述。可替代地，选择开关190可以通过下述的交叉渐变开关实现。

图11示出了交叉渐变开关191的构造的实例，交叉渐变开关191是根据本发明实施例的选择开关190的实例。交叉渐变开关191包括衰减器192和193、控制系数产生单元194、系数反转单元195和组合单元196。

衰减器192和193根据控制系数使输入信号衰减。衰减器192的控制系数是从控制系数产生单元194提供的，而衰减器193的控制系数是从系数反转单元195提供的。

控制系数产生单元194基于通过信号线229提供的去噪期间产生衰减器192的控制系数。系数反转单元195反转控制系数产生单元194的输出。即，衰减器192和193的控制系数相互反转。

组合单元196组合衰减器192和193的输出，并且例如通过加法器实现。

图12A和图12B示出了根据本发明实施例的交叉渐变开关191的信号的波形的实例。当图12A示出的信号31被输入到信号线229时，与在信号32中一样，控制系数产生单元194的输出信号以预定时间常数交叉渐变。另一方面，系数反转单元195的输出信号是信号32的反转信号33，并且也以预定时间常数交叉渐变。因此，可以防止出现过冲和鸣震。此外，听觉可以忍受在衰减器192和193的输出切换时的波形的不连续性，这有利地作用于掩蔽效应。

图13示出了在使用根据本发明实施例的交叉渐变开关191的情况下的内插信号的实例。假设图8中示出的内插信号从电平调制单元173输出，如果使用交叉渐变开关191，则在信号A和B与内插信号之间转换中会发生交叉渐变，从而可以实现平滑切换。

图14示出了根据本发明实施例的降噪单元的第二构造实例。与第一构造实例一样，这个降噪单元接收来自麦克风111的声音信号。在第二构造实例中，从传感器113输入噪声信号。传感器113被放在噪声源附近，并且例如，通过加速传感器或振动传感器实现。传感器113的负侧端接地到电路的接地电平上，及其正侧端连接至放大器114。放大器114放大噪声信号。放大后的噪声信号通过信号线118被提供给降噪单元的噪声识别单元210。

在降噪单元的第二构造实例中，噪声识别单元210基于来自传感器113的噪声信号来识别噪声。除此之外，第二构造实例基本上与第一构造实例相同。因此，基于来自传感器113的噪声信号产生去噪期间，并且对来自麦克风111的声音信号执行降噪处理。

此外，第二构造实例与第一构造实例的相同点在于，选择开关190可以用交叉渐变开关191取代。

图15示出了根据本发明实施例的降噪单元的第三构造实例。与第一构造实例一样，降噪单元接收来自麦克风111的声音信号，并对声音信号执行降噪处理。

在第三构造实例中，除了在第一构造实例中的组件外，还设置有去噪滤波器143、频谱包络产生单元161、频谱系数产生单元162和可变滤波器163。

与去噪滤波器141一样，去噪滤波器143从来自麦克风111的声音信号中除去噪声频带。去噪滤波器143的输出被提供给频谱包络产生单元161。去噪滤波器143可以被整合到去噪滤波器141中。在这种情况下，去噪滤波器141的输出被提供给频谱包络产生单元161。

频谱包络产生单元161持续检测来自麦克风111的声音信号的频谱的包络(频谱包络)。频谱包络产生单元161通过FFT或频带分割来检测声音信号的各个频率的电平，从而检测频谱。频谱包络产生单元161的输出被提供给频谱系数产生单元162。

频谱系数产生单元162基于从频谱包络产生单元161提供的频谱包络产生频谱系数。频谱系数产生单元162产生频谱系数以再生在频谱包络产生单元161中检测到的频谱。频谱系数产生单元162的输出通过信号线168被提供给可变滤波器163。

根据从频谱系数产生单元162提供的频谱系数，可变滤波器163对从逆滤波器142提供的内插源信号执行频率调制。因此，除了通过电平调制单元173进行的电平调制之外，还执行频率组分的连续内插，从而可以基于第一特性进一步增加间隙长度。

第三构造实例与第一构造实例的相同点在于，选择开关190可以用交叉渐变开关191取代。

图16示出了根据本发明实施例的降噪单元的第四构造实例。与第一～第三构造实例一样，这个降噪单元接收来自麦克风111的声音信号并对声音信号执行降噪处理。

在第四构造实例中，除了在第三构造实例中的组件外，还设置有延迟单元120。延迟单元120被延迟了预定时间的输出被提供给去噪滤波器141和143与电平包络产生单元171。此外，来自噪声识别单元210的信号线157被提供给可变滤波器组块140。可变滤波器组块140包括去噪滤波器141、逆滤波器142和去噪滤波器143。

第四构造实例中的噪声识别单元210检测所识别噪声的频率并反馈给可变滤波器组块140。以下是用于检测噪声频率的方法。例如，当在图10A所示的时间区域中识别噪声时，可以基于对应于与噪声图案的最高匹配的尺度参数“a”来计算噪声频率。另一方面，当在图10B所示的频率区域中识别噪声时，可以通过检测来自傅里叶变换单元215的噪声峰值频率来计算噪声频率。

从噪声识别单元210反馈的噪声频率用于调节可变滤波器组块140的每个滤波器中的通过频带或抑止频带。因此，例如，通过根据噪声频率适当地改变图5A和图5B中的中心频率fa、fb和fc，可以有效处理噪声频率的变化和来自多个噪声源的连续噪声。

在第四构造实例中，经由延迟单元120执行向除了噪声识别单元210外的每个单元提供声音信号，因此，可以根据噪声识别的结果来实时调节通过频带或抑止频带。

第四构造实例与第一构造实例的相同点在于，选择开关190可以用交叉渐变开关191取代。

现在，参考图17描述根据本发明实施例的成像设备的操作。

图17示出了根据本发明实施例的用于声音信号的降噪方法的基本处理程序。这个处理流程为上述第一～第四构造实例所共用。

首先，噪声识别单元210识别噪声(步骤S910)。因此，去噪期间产生单元220产生去噪期间。在去噪期间中(步骤S920)，选择开关190选择从去噪滤波器141通过信号线149提供的声音信号(步骤S930)。另一方面，在非去噪期间中(步骤S920)，选择开关190选择从麦克风111通过信号线119提供的声音信号(步骤S940)。然后，重复上述处理。

如上所述，根据本发明的实施例，在通过噪声识别单元210识别的噪声中确定去噪期间。控制选择开关190以选择已在去噪期间器件被去噪滤波器141除去噪声的信号，并且选择已在另一个期间中除去噪声的声音信号。因此，可以实现考虑到人类的听觉的降噪处理。此外，根据本发明的实施例，通过在去噪期间中组合内插信号可以减小长时间持续的噪声。

本发明的上述实施例仅是实施本发明的实例，并且在实施例中所述的各个元件具有与如下所述的权利要求的具体特征的对应关系。然而，本发明并不局限于该实施例，在不脱离本发明范围的前提下，可以进行多种修改。

在本申请的提交日期时的权利要求1中，例如，去噪装置对应于去噪滤波器141。例如，噪声识别装置对应于噪声识别单元210。例如，去噪期间产生装置对应于去噪期间产生单元220。例如，选择装置对应于选择开关190。

在本申请的提交日期时的权利要求7中，例如，去噪装置对应于去噪滤波器141。例如，信号内插装置对应于内插源信号产生单元130、逆滤波器142、去噪滤波器143、频谱包络产生单元161、频谱系数产生单元162、可变滤波器163、电平包络产生单元171、电平系数产生单元172、电平调制单元173和组合单元180中的至少一部分的组合。例如，噪声识别装置对应于噪声识别单元210。例如，去噪期间产生装置对应于去噪期间产生单元220。例如，选择装置对应于选择开关190。

在本申请的提交日期时的权利要求8中，例如，内插源信号产生装置对应于内插源信号产生单元130。例如，信号频带衰减装置对应于逆滤波器142。例如，电平包络产生装置对应于电平包络产生单元171。例如，电平系数产生装置对应于电平系数产生单元172。例如，电平调制装置对应于电平调制单元173。例如，组合装置对应于组合单元180。

在本申请的提交日期时的权利要求11中，例如，内插源信号产生装置对应于内插源信号产生单元130。例如，信号频带衰减装置对应于逆滤波器142。例如，频谱包络产生装置对应于频谱包络产生单元161。例如，频谱系数产生装置对应于频谱系数产生单元162。例如，频谱调制装置对应于可变滤波器163。例如，电平包络产生装置对应于电平包络产生单元171。例如，电平系数产生装置对应于电平系数产生单元172。例如，电平调制装置对应于电平调制单元173。例如，组合装置对应于组合单元180。

在本申请的提交日期时的权利要求13中，例如，声音信号获得装置对应于麦克风111。例如，去噪装置对应于去噪滤波器141。例如，信号内插装置对应于内插源信号产生单元130、逆滤波器142、去噪滤波器143、频谱包络产生单元161、频谱系数产生单元162、可变滤波器163、电平包络产生单元171、电平系数产生单元172、电平调制单元173和组合单元180中的至少一部分的组合。例如，噪声识别装置对应于噪声识别单元210。例如，去噪期间产生装置对应于去噪期间产生单元220。例如，选择装置对应于选择开关190。

在本申请的提交日期时的权利要求14中，例如，第一声音信号获得装置对应于麦克风111。例如，去噪装置对应于去噪滤波器141。例如，信号内插装置对应于内插源信号产生单元130、逆滤波器142、去噪滤波器143、频谱包络产生单元161、频谱系数产生单元162、可变滤波器163、电平包络产生单元171、电平系数产生单元172、电平调制单元173和组合单元180中的至少一部分的组合。例如，第二声音信号获得装置对应于传感器113。例如，噪声识别装置对应于噪声识别单元210。例如，去噪期间产生装置对应于去噪期间产生单元220。例如，选择装置对应于选择开关190。

在本申请的提交日期时的权利要求15中，例如，成像装置对应于成像单元11。例如，声音信号获得装置对应于麦克风111。例如，去噪装置对应于去噪滤波器141。例如，信号内插装置对应于内插源信号产生单元130、逆滤波器142、去噪滤波器143、频谱包络产生单元161、频谱系数产生单元162、可变滤波器163、电平包络产生单元171、电平系数产生单元172、电平调制单元173和组合单元180中的至少一部分的组合。例如，噪声识别装置对应于噪声识别单元210。例如，去噪期间产生装置对应于去噪期间产生单元220。例如，选择装置对应于选择开关190。例如，记录装置对应于记录/再生单元16。

在本申请的提交日期时的权利要求16和17中，例如，成像装置对应于成像单元11。例如，声音信号获得装置对应于麦克风111。例如，去噪装置对应于去噪滤波器141。例如，识别噪声和产生表示去噪期间的信号对应于步骤S910。选择对应于步骤S920～S940。

在本发明的实施例中所述的处理程序可以被看作包括一系列这些步骤的方法、或看作使计算机执行这一系列步骤的程序、或存储程序的记录介质。

Claims (22)

1.一种降噪电路，包括：

去噪装置，用于从输入的声音信号中除去噪声频带；

噪声识别装置，用于识别包括在所述声音信号中的噪声；

去噪期间产生装置，用于根据所识别噪声的发生期间，产生表示去噪期间的信号；

选择装置，用于当表示了所述去噪期间时，选择所述去噪装置的输出，以及当没有表示所述去噪期间时，选择所述声音信号。

2.根据权利要求1所述的降噪电路，

其中，所述噪声识别装置通过使用估计值来执行噪声识别，所述估计值是从所述声音信号和波形与所述噪声的波形近似并且在预定期间内的平均值为零的子波信号的卷积运算的输出。

3.根据权利要求1所述的降噪电路，

其中，所述噪声识别装置通过使用估计值来执行噪声识别，所述估计值是近似于所述噪声的频谱的图案信号和已对其执行了傅里叶变换的所述声音信号之间的相关性。

4.根据权利要求1所述的降噪电路，

其中，所述去噪装置是用于除去噪声频带的滤波器。

5.根据权利要求4所述的降噪电路，

其中，所述去噪装置基于由所述噪声识别装置识别的所述噪声的频率来适当地改变所述滤波器的除去频带和通过频带。

6.根据权利要求1所述的降噪电路，

其中，所述选择装置是交叉渐变开关。

7.一种降噪电路，包括：

去噪装置，用于从输入的声音信号中除去噪声频带；

信号内插装置，用于对已除去所述噪声频带的所述信号执行内插；

噪声识别装置，用于识别包括在所述声音信号中的噪声；

去噪期间产生装置，用于根据所识别噪声的发生期间，产生表示去噪期间的信号；以及

选择装置，用于当表示了所述去噪期间时，选择所述信号内插装置的输出，以及当没有表示所述去噪期间时，选择所述声音信号。

8.根据权利要求7所述的降噪电路，

其中，所述信号内插装置包括：

内插源信号产生装置，用于产生用于所述内插的内插源信号；

信号频带衰减装置，用于从所述内插源信号中除去除所述噪声频带外的频带；

电平包络产生装置，用于产生所述声音信号的电平包络；

电平系数产生装置，用于基于所述电平包络来产生用于所述内插的电平系数；

电平调制装置，用于基于所述电平系数来调制所述信号频带衰减装置的输出；以及

组合装置，用于组合所述去噪装置的输出和所述电平调制装置的输出并将所得组合输出至所述选择装置。

9.根据权利要求8所述的降噪电路，

其中，所述电平调制装置还基于人类听觉中被掩蔽的电平来调制所述信号频带衰减装置的输出。

10.根据权利要求8所述的降噪电路，

其中，所述内插源信号产生装置产生具有预定波形和预定期间的单个或多个期间信号、在声音频带中具有均一电平的白噪声信号、和所述期间信号与所述白噪声信号以预定混合比混合成的复合信号中的任一个。

11.根据权利要求7所述的降噪电路，

其中，所述信号内插装置包括：

内插源信号产生装置，用于产生用于所述内插的内插源信号；

信号频带衰减装置，用于从所述内插源信号中除去除所述噪声频带外的频带；

频谱包络产生装置，用于产生所述去噪装置的输出的频谱包络；

频谱系数产生装置，用于基于所述频谱包络产生用于所述内插的频谱系数；

频谱调制装置，用于基于所述频谱系数来调制所述信号频带衰减装置的输出；

电平包络产生装置，用于产生所述声音信号的电平包络；

电平系数产生装置，用于基于所述电平包络产生用于所述内插的电平系数；

电平调制装置，用于基于所述电平系数来调制所述频谱调制装置的输出；以及

组合装置，用于组合所述去噪装置的输出和所述电平调制装置的输出并将所得组合输出至所述选择装置。

12.根据权利要求11所述的降噪电路，

其中，所述去噪装置和所述信号频带衰减装置是基于由所述噪声识别装置识别的所述噪声的频率来适当地改变除去频带和通过频带的滤波器。

13.一种声音处理电路，包括：

声音信号获得装置，用于获得声音信号；

去噪装置，用于从所述声音信号中除去噪声频带；

信号内插装置，用于对已除去所述噪声频带的所述信号执行内插；

噪声识别装置，用于识别包括在所述声音信号中的噪声；

去噪期间产生装置，用于根据所识别噪声的发生期间，产生表示去噪期间的信号；以及

选择装置，用于当表示了所述去噪期间时，选择所述信号内插装置的输出，以及当没有表示所述去噪期间时，选择所述声音信号。

14.一种声音处理电路，包括：

第一声音信号获得装置，用于获得第一声音信号；

去噪装置，用于从所述第一声音信号中除去噪声频带；

信号内插装置，用于对已除去所述噪声频带的所述信号执行内插；

第二声音信号获得装置，用于获得第二声音信号；

噪声识别装置，用于识别包括在所述第二声音信号中的噪声；

去噪期间产生装置，用于根据所识别噪声的发生期间，产生表示去噪期间的信号；以及

选择装置，用于当表示了所述去噪期间时，选择所述信号内插装置的输出，以及当没有表示所述去噪期间时，选择所述第一声音信号。

15.一种成像设备，包括：

成像装置，用于拍摄来自对象的图像信号；

声音信号获得装置，用于获得来自所述对象的声音信号；

去噪装置，用于从所述声音信号中除去噪声频带；

信号内插装置，用于对已除去所述噪声频带的所述信号执行内插；

噪声识别装置，用于识别包括在所述声音信号中的噪声；

去噪期间产生装置，用于根据所识别噪声的发生期间，产生表示去噪期间的信号；

选择装置，用于当表示所述去噪期间时，选择所述信号内插装置的输出，以及当没有表示所述去噪期间时，选择所述声音信号；以及

记录装置，用于通过多路复用所述图像信号和所述声音信号来记录所述图像信号和所述声音信号。

16.一种成像设备中的用于声音信号的降噪方法，所述成像设备包括用于拍摄来自对象的图像信号的成像装置、用于获得来自所述对象的声音信号的声音信号获得装置和用于从所述声音信号中除去噪声频带的去噪装置，所述降噪方法包括以下步骤：

识别包括在所述声音信号中的噪声；

根据所识别噪声的发生期间，产生表示去噪期间的信号；以及

当表示了所述去噪期间时，选择所述去噪装置的输出，以及当没有表示所述去噪期间时，选择所述声音信号。

17.一种在成像设备中使计算机执行以下步骤的程序，所述成像设备包括用于拍摄来自对象的图像信号的成像装置、用于获得来自所述对象的声音信号的声音信号获得装置和用于从所述声音信号中除去噪声频带的去噪装置，所述步骤为：

识别包括在所述声音信号中的噪声；

根据所识别噪声的发生期间，产生表示去噪期间的信号；以及

当表示了所述去噪期间时，选择所述去噪装置的输出，以及当没有表示所述去噪期间时，选择所述声音信号。

18.一种降噪电路，包括：

去噪单元，被配置为从输入的声音信号中除去噪声频带；

噪声识别单元，被配置为识别包括在所述声音信号中的噪声；

去噪期间产生单元，被配置为根据所识别噪声的发生期间，产生表示去噪期间的信号；以及

选择单元，被配置为当表示了所述去噪期间时，选择所述去噪单元的输出，以及当没有表示所述去噪期间时，选择所述声音信号。

19.一种降噪电路，包括：

去噪单元，被配置为从输入的声音信号中除去噪声频带；

信号内插单元，被配置为对已除去所述噪声频带的所述信号执行内插；

噪声识别单元，被配置为识别包括在所述声音信号中的噪声；

去噪期间产生单元，被配置为根据所识别噪声的发生期间，产生表示去噪期间的信号；以及

选择单元，被配置为当表示了所述去噪期间时，选择所述信号内插单元的输出，以及当没有表示所述去噪期间时，选择所述声音信号。

20.一种声音处理电路，包括：

声音信号获得单元，被配置为获得声音信号；

去噪单元，被配置为从所述声音信号中除去噪声频带；

信号内插单元，被配置为对已除去所述噪声频带的所述信号执行内插；

噪声识别单元，被配置为识别包括在所述声音信号中的噪声；

去噪期间产生单元，被配置为根据所识别噪声的发生期间，产生表示去噪期间的信号；以及

选择单元，被配置为当表示了所述去噪期间时，选择所述信号内插单元的输出，以及当没有表示所述去噪期间时，选择所述声音信号。

21.一种声音处理电路，包括：

第一声音信号获得单元，被配置为获得第一声音信号；

去噪单元，被配置为从所述第一声音信号中除去噪声频带；

信号内插单元，被配置为对已除去所述噪声频带的所述信号执行内插；

第二声音信号获得单元，被配置为获得第二声音信号；

噪声识别单元，被配置为识别包括在所述第二声音信号中的噪声；

去噪期间产生单元，被配置为根据所识别噪声的发生期间，产生表示去噪期间的信号；以及

选择单元，被配置为当表示了所述去噪期间时，选择所述信号内插单元的输出，以及当没有表示所述去噪期间时，选择所述第一声音信号。

22.一种成像设备，包括：

成像单元，被配置为拍摄来自对象的图像信号；

声音信号获得单元，被配置为获得来自所述对象的声音信号；

去噪单元，被配置为从所述声音信号中除去噪声频带；

信号内插单元，被配置为对已除去所述噪声频带的所述信号执行内插；

噪声识别单元，被配置为识别包括在所述声音信号中的噪声；

去噪期间产生单元，被配置为根据所识别噪声的发生期间，产生表示去噪期间的信号；

选择单元，被配置为当表示了所述去噪期间时，选择所述信号内插单元的输出，以及当没有表示所述去噪期间时，选择所述声音信号；以及

记录单元，被配置为通过多路复用所述图像信号和所述声音信号来记录所述图像信号和所述声音信号。

Images