CN104079822A - 摄像装置、信号处理装置及方法 - Google Patents

Abstract

本发明提供一种摄像装置、信号处理装置及方法。该信号处理装置通过使用包含噪声区间之前和之后区间中的音频信号生成所述包含噪声区间的插值信号，并利用所述插值信号代替所述包含噪声区间的音频信号，来降低噪声。在此，所述信号处理装置确定所述包含噪声区间之前与之后的音素是相同还是不同，并根据确定结果控制生成所述插值信号的方法。

Description

摄像装置、信号处理装置及方法

技术领域

本发明涉及摄像装置、信号处理装置及方法。

背景技术

除捕获静止图像的功能之外，近来一些数码相机还具有伴随记录音频信号而捕获视频的功能。在这种摄像装置中，在捕获视频时驱动单元进行操作，以基于拍摄状态的变化驱动聚焦透镜，并基于被摄体的亮度变化驱动光圈机构等。存在如下问题：这种驱动单元的操作声音作为噪声混入所记录的音频。目前，针对驱动噪声降低处理已公开了各种传统技术。

日本特开2008-077707号公报涉及去除视频相机中的存储设备产生的驱动噪声。依据日本特开2008-077707号公报，基于存在驱动噪声的区间之前和之后产生的音频信号预测不包含噪声的音频，并以预测的数据代替包含驱动噪声的区间的数据。该技术使得即使存在大量驱动噪声，也能够记录不包含驱动噪声的音频。

虽然不涉及驱动噪声降低，但是日本特开平06-244808号公报公开了通过音频预测进行插值。日本特开平06-244808号公报公开了如下技术：在音频解码区间发生错误的情况下，由过去音频信号预测发生错误的区间的信号，然后对信号进行插值。

如上所述的由包含噪声区间之前和之后产生的音频信号预测不包含噪声的音频的技术比较有效。然而，在包含噪声区间较长的情况下，声音的信号波形可能在该区间变化。例如，在包含噪声区间持续100毫秒的情况下，在区间开始时产生的声音“ah”完全有可能到区间结尾变成“oh”。如日本特开2008-077707号公报所公开的，如果由包含噪声区间之前和之后的部分信号产生预测的信号且结合两者以对音频进行插值，则声音“ah”和“oh”将混在一起，从而导致生成不自然的音频。同时，日本特开平06-244808号公报通过在逐渐衰减所预测波形的同时预测音频，来对较长的包含噪声区间的音频进行插值，但是如果包含噪声区间之前和之后存在相同音频，则得到的音频将具有降低的声压并将使声音不自然。

发明内容

本发明改进了由包含噪声区间之前和之后的音频信号预测不包含噪声的音频的技术，并在最大限度地抑制音质退化的同时实现了有效的噪声降低。

本发明的一方面提供了一种信号处理装置，其包括：检测单元，其被配置为在接收到的音频信号中检测混入噪声的包含噪声区间；确定单元，其被配置为确定在所述包含噪声区间之前与之后的音素是相同还是不同；以及噪声降低单元，其被配置为通过使用所述包含噪声区间的后方区间和前方区间中的音频信号生成所述包含噪声区间的插值信号，并利用所述插值信号代替所述包含噪声区间的音频信号，来降低噪声，其中，所述噪声降低单元根据所述确定单元进行的所述确定的结果，来控制生成所述插值信号的方法。

本发明的另一方面提供了一种包括上述信号处理装置的摄像装置。

本发明的另一方面提供了一种信号处理方法，其包括以下步骤：在接收到的音频信号中检测混入噪声的包含噪声区间；确定在所述包含噪声区间之前与之后的音素是相同还是不同；以及通过使用所述包含噪声区间的后方区间和前方区间中的音频信号生成所述包含噪声区间的插值信号，并利用所述插值信号代替所述包含噪声区间的音频信号，来降低噪声，其中，在所述降低噪声的步骤中，根据所述确定步骤中进行的所述确定的结果，来控制生成所述插值信号的方法。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是根据第一实施例的单反数码相机的剖视图。

图2是例示根据第一实施例的单反数码相机的结构的框图。

图3是例示传统音频预测处理的图。

图4是例示传统音频预测处理中的预测信号的示意图。

图5是例示根据第一实施例的记录操作的流程图。

图6是例示根据第一实施例的音频信号和相关值的示意图。

图7是例示根据第一实施例的音频信号和相关值的示意图。

图8是例示根据第一实施例的预测音频信号的示意图。

图9是例示根据第一实施例的预测音频信号的示意图。

图10是例示根据第一实施例的变型例的记录操作的流程图。

图11是例示根据第一实施例的前声压相关音频信号和相关值的示意图。

图12是例示根据第一实施例的后声压相关音频信号的示意图。

图13是例示根据第二实施例的记录操作的流程图。

图14是例示根据第二实施例的音频信号的示意图。

图15是例示根据第三实施例的包括单反数码相机和信息处理装置的信号处理系统的框图。

图16是例示根据第三实施例的信号处理系统的框图。

图17是例示根据第三实施例的相机侧操作的流程图。

图18是例示根据第三实施例的信息处理装置侧操作的流程图。

图19是例示根据信号处理系统的变型例的系统结构的示意图。

具体实施方式

以下将参考附图详细地描述本发明的各种示例性实施例、特征和方面。应注意到，以下实施例中所描述的结构仅作为示例，并无意图将本发明限制于在本文所描述的及在附图所说明的结构。

第一实施例

图1是根据第一实施例的单反数码相机100的剖视图。如图1所示，用作摄像装置的单反数码相机100由相机主体101和成像镜头102构成。成像镜头102包括位于镜筒103内具有光轴105的成像光学系统104。成像镜头102还包括包含在成像光学系统104内的聚焦透镜组、图像防抖透镜单元、驱动光圈机构的透镜驱动器106、以及控制透镜驱动器106的透镜控制单元107。成像镜头102通过透镜安装接点108电连接到相机主体101。

被摄体的光学图像从成像镜头102的前方沿光轴105进入相机主体，被由半透明反射镜构成的主镜110部分反射，并在聚焦屏117上形成图像。可通过目镜窗112经由五梭镜111观察到形成于聚焦屏117上的光学图像。用作曝光检测单元的测光传感器116检测形成于聚焦屏117上的光学图像的亮度。已穿过主镜110的被摄体光学图像经由副镜113反射而入射到焦点检测单元114，并用于被摄体图像的焦点检测计算。当操作相机主体101中的释放按钮（未示出）并发出开始拍摄的命令时，主镜110和副镜113由拍摄光路收回，使得被摄体的光学图像入射到图像传感器118上。入射到焦点检测单元114、测光传感器116和图像传感器118上的光线，分别被转变成电信号，发送到相机控制单元119，并用以控制相机系统。此外，在拍摄视频时来自被摄体的音频由麦克风115输入，将音频发送到相机控制单元119并与入射于图像传感器118的被摄体光学图像信号同步记录。用作振动检测单元的加速度计（accelerometer）120布置于相机主体101的邻近麦克风115的内侧表面。加速度计120可检测当透镜驱动器106驱动诸如聚焦透镜组、图像防抖透镜单元和光圈机构等机构时产生并发送到成像镜头102和相机主体101的振动。相机控制单元119可通过分析振动检测的结果计算出包含噪声区间。

图2是示出在单反数码相机100中进行电控制的框图。相机包括摄像系统、图像处理系统、音频处理系统、记录/回放系统和控制系统。摄像系统包括成像镜头102和图像传感器118。图像处理系统包括A/D转换器113和图像处理电路132。音频处理系统包括麦克风115和音频信号处理电路137。记录/回放系统包括记录处理电路133和存储器134。控制系统包括相机控制单元119、焦点检测单元114、测光传感器116、操作检测单元135、透镜控制单元107和透镜驱动器106。透镜驱动器106包括聚焦透镜驱动单元106a、防抖驱动单元106b、和光圈驱动单元106c。

摄像系统为光学处理系统，其通过成像光学系统104在图像传感器118的摄像表面上形成来自被摄体的光的图像。在例如瞄准的拍摄准备操作期间，光束通过作为主镜110所配设的反射镜部分地导入焦点检测单元114。可利用来自被摄体的适量的光来曝光图像传感器118，通过将在后面描述的适当地使用控制系统调整成像光学系统，被摄体图像可形成于图像传感器118的附近。

图像处理电路132为处理通过A/D转换器131由图像传感器118所接收的与图像传感器118中的像素数相等的图像信号的信号处理电路。图像处理电路132包括白平衡电路、伽玛校正电路、通过插值计算增加分辨率的插值计算电路等。

在音频处理系统中，通过对由麦克风115输入的信号进行适当的处理，音频信号处理电路137生成记录音频信号。记录音频信号与图像相关联并由将稍后提到的记录处理单元记录。

加速度计120通过加速度计处理电路138连接到相机控制单元119。加速度信号指示由加速度计120检测到的相机主体101中的振动，该加速度信号在加速度计处理电路138中经历放大、旁通滤波、低通滤波，并经处理，从而检测到目标频率。

记录处理电路133向存储器134输出图像信号，生成并存储要向显示单元136输出的图像。同时，记录处理电路133使用预定方法压缩并记录例如静止图像、视频、音频等数据。

在捕获图像时相机控制单元119生成并输出定时信号。焦点检测单元114和测光传感器116分别检测摄像装置的聚焦状态和被摄体的亮度。通过依据来自相机控制单元119的信号适当地驱动透镜，透镜控制单元107调整光学系统。

依据由外部进行的操作，控制系统还控制摄像系统、图像处理系统和记录/回放系统。例如，当操作检测单元135检测到快门释放按钮（未示出）已按下时，相机控制单元119相应地控制图像传感器118的驱动、图像处理电路132所进行的操作、记录处理电路133所进行的压缩处理等。相机控制单元119还控制由光学取景器和液晶监视器等构成的显示单元136中的显示。

接着，将描述为调整控制系统的光学系统所进行的操作。焦点检测单元114和用作曝光检测单元的测光传感器116连接到相机控制单元119，相机控制单元119基于来自焦点检测单元114和测光传感器116的信号而得出适当的焦点位置和光圈值。然后，基于得到的焦点位置和光圈值，相机控制单元119通过透镜安装接点108向透镜控制单元107发送指令，之后，透镜控制单元107适当地控制聚焦透镜驱动单元106a和光圈驱动单元106c。此外，相机抖动检测传感器（未示出）连接到透镜控制单元107，当激活图像防抖模式时，透镜控制单元107基于来自相机抖动检测传感器的信号适当地控制防抖驱动单元106b。同时，当捕获视频时，主镜110和副镜113从光沿光轴105入射到图像传感器118的光路收回，因此，被摄体的光学图像没有入射到焦点检测单元114和测光传感器116。相应地，相机控制单元119通过称为“登山（hill-climbing）”的技术使用基于对比度的焦点检测单元，来调整成像光学系统的聚焦状态，该“登山”技术使用基于聚焦透镜驱动单元106a的驱动量和图像传感器118的曝光量所获得的连续图像信息。通过使用基于图像传感器118的曝光量所获得的图像信息计算被摄体图像的亮度，相机控制单元119还调整光圈状态。

参见图3，将描述使用传统音频预测的噪声降低处理。根据本实施例的噪声降低处理执行预测处理，该预测处理使用在驱动包含噪声区间之前和/或之后的音频信号预测在包含驱动噪声区间中的音频信号。

在图3中，波形3a-3g例示了在预测处理的各个阶段的音频信号的示例。波形3a-3g中的水平轴表示时间。在波形3a、3b和3d-3g中的垂直轴表示信号电平。在波形3c中的垂直轴表示相关值。

在图3中，波形3a例示了所接收的音频信号，来自光圈的驱动噪声存在于音频信号的区间。波形3b例示了用于音高（pitch）检测的相关值参照区间的音频信号。波形3c例示了由相关值参照区间和相关值计算区间所得出的相关值、以及由其所检测的音高。请注意，相关值参照区间是例如跨越包含噪声区间之前预定量时间（例如0.01秒）的区间。同样地，相关值计算区间是例如跨越预定量时间的区间，且其长于相关值参考区间（例如0.05秒）。波形3d例示了使用所检测音高的包含噪声区间中插值音频信号而生成的预测信号，波形3e例示了通过将三角窗函数应用于波形3d所示的预测信号而获得的信号。同样，波形3f表示通过将所示三角窗函数应用于由包含噪声区间的后侧得到的音频预测结果而获得的信号，而波形3g表示通过将包含噪声区间前后的音频预测结果相加而获得的包含噪声区间的所插值的音频信号，如波形3e和3f所示。此后，在时间方面先于噪声发生的音频信号将被称为在“前方”，而在时间方面后于噪声发生的音频信号将被称为在“后方”。

在预测处理中，首先，音频信号处理电路137检测使用加速度计120等检测波形3a中所示的包含噪声区间，并丢弃检测到的包含噪声区间的信号。注意到，通过分析输入信号的频率、并将该频率与驱动噪声的预定特有频率成份比较，可检测到包含噪声区间。或者，通过获得驱动命令已发出给成像镜头驱动器的定时，可检测到包含噪声区间。

接下来，音频信号处理电路137由紧接在包含噪声区间之前的信号的相关值检测循环音高。如波形3a所示，如果检查音频信号中的短时间跨度，则可以发现信号具有相当高的循环质量。通过制造紧接在包含噪声区间之前的多重音频信号开发循环质量，以产生包含噪声区间的预测信号。当由波形3a所示的相关值参照区间中信号和相关值计算区间中信号计算出相关值时，把紧邻包含噪声区间之前到相关值最高处的音频信号位置（时间长度）作为音频的循环音高。然而，显然相关值在相关值参照区间在时间上与相关值计算区间同步的位置处最高。相应地，在本实施例中，为排除该值，由相关最大值搜索区间得出相关值的最大值，如波形3c所示，该相关最大值搜索区间与包含噪声区间在长度上的距离等于阈值音高间距。阈值音高间距可为所记录音频的基频的最大值的倒数。这防止检测到短于将得出的音频的循环音高的音高。例如，日本人讲话的基频近高达400Hz，因此阈值音高间距可设定为2.5毫秒。

接下来，如波形3d所示，通过制造所检测音高区间直到预测区间（包含噪声区间）结束的多重音频信号，音频信号处理电路137生成第一预测信号。该第一预测信号将被称为“前方未加窗预测信号”。接下来，如波形3e所示，通过将三角窗函数应有于所产生前方未加窗预测信号而产生前方预测信号。在该阶段的预测信号将被称为“前方加窗预测信号”。在预测区间的数据数为N+1点且紧邻预测开始后的数据为n=0的情况下，将窗函数wf(t)表示为wf(n)=(N-n)/N。

然后，音频处理电路137以与上述相同的方式执行紧邻包含噪声区间后的区间中的音高检测，并通过制造直到预测区间开始的所检测音高区间的多重音频信号而生成第二预测信号。该第二预测信号将被称为“后方未加窗预测信号”。接下来，如图3中的波形3f所示，将面对与波形3e底部所示的窗函数相反方向的三角窗函数应用于后方未加窗预测信号，生成后方预测信号（后方加窗预测信号）。应用于后方未加窗预测信号的三角窗函数wr(n)与用于后方部分的三角窗函数对称，并将该三角窗函数表示为wr(n)=n/N。

然后，通过将后方加窗预测信号和前方加窗预测信号相加，音频信号处理电路137生成插值信号。然后，通过以插值信号代替包含噪声区间的音频信号，音频信号处理电路137降低噪声。波形3g表示产生的信号波形示例。如此所示，通过交叉渐变（crossfading）第一预测信号和第二预测信号生成插值信号。以该方式交叉渐变信号能够平滑地连接前方预测信号与紧邻包含噪声区间后的区域连接之处与后方预测信号与紧邻包含噪声区间前的区域连接之处之间的音频。虽然前面描述了使用紧邻包含噪声区间之前和之后区间的音频信号生成预测信号，但是应注意到，本实施例不限制于“紧邻之前”和“紧邻之后”。例如，可使用包含噪声区间前0.01秒到0.11秒的音频信号生成预测信号，可使用包含噪声区间后0.01秒到0.11秒的音频信号生成预测信号。

波形3a-3g例示了当女人发出“ah”声时混入驱动噪声的示例。以下将描述对不同音频信号进行相似预测处理的情况。

图4例示了当男人发出“oda”声时所产生的音频信号混入驱动噪声的示例。如图3所示，水平轴表示时间，垂直轴表示信号电平。由图4的波形4a可见，驱动噪声混入所谓“oh”和“da”两音节间。波形4b表示通过使用紧邻包含噪声区间之前的音频信号预测所获得的加窗预测信号，然而波形4c表示通过使用紧邻包含噪声区间之后的音频信号预测所获得加窗预测信号。波形4d表示通过将波形4b和4c的信号相加所获得的完整预测信号（插值信号）。然而，当听到使用预测处理已执行噪声降低处理的音频时,音素（phoneme）/o/和/d/将混杂于预测区间，导致模糊和不自然的声音。随着包含噪声区间长度的增加，应用于未加窗预测信号的三角窗函数的斜率将减少；结果，两音素将进一步混杂且声音的不自然将增加。

因此，在本实施例中，确定是否声音于包含噪声区间前后间变化，并且在声音于包含噪声区间前后间变化的情况下改变计算完整预测信号的方法。特别地，为包含噪声区间前后的音频信号计算相关值，并基于相关值确定包含噪声区间前后的音素间的差别/相似度。然后，依据确定的结果控制生成插值信号的方法。特别地，在包含噪声区间前后的音素不同的情况下，调整应用于由音高检测所预测的未加窗预测信号的窗函数。这使不同音素难于混合到一起以实现产生较小不自然声音的噪声降低处理。

现在将参考图5至7描述根据本实施例的噪声降低处理。图5是包括根据本实施例的噪声降低处理的记录操作的流程图。如上所述，在本实施例中，与视频记录时被摄体的光学图像信号同步地记录音频。当记录开始时，相机控制单元119确定加速度计120是否已检测到驱动噪声（S1001）。请注意，不使用加速度计120，当已发出透镜驱动命令时可确定已检测到驱动噪声。在S1001未检测到驱动噪声的情况下，处理前进到S1010，且处理返回到S1001并重复直到关闭视频捕获开关（换言之，直到关闭记录开关）。然而，在S1001已检测到驱动噪声的情况下，相机控制单元119分析加速度计120的输出信号直到驱动噪声停止，并计算包含噪声区间（S1002）。此时丢弃来自包含噪声区间的音频信号。如果已混入噪声是由透镜驱动所产生的驱动噪声，则通过监视由相机控制单元119发出的透镜驱动命令的定时可粗略地检测包含噪声区间。然而，如果所检测的包含噪声区间不同于实际包含噪声区间，则噪声去除性能将下降。相应地，在本实施例中，通过使用加速度计120检测相机主体101中的由透镜驱动产生的抖动而精确地检测包含噪声区间。

接下来，如图3中波形3a-3c所示，使用紧邻包含噪声区间之前和紧邻包含噪声区间之后的音频信号，音频信号处理电路137得出相关值（S1003）。在此，将由前方参照区间和前方计算区间所得出的相关值的最大值作为cor_ff（第一最大值）。同样地，将由后方参照区间和后方计算区间所得出的相关值的最大值作为cor_rr（第二最大值）。接下来，使用在S1003中所计算的最大相关值cor_ff与cor_rr间的间距，音频信号处理电路137检测在后方与前方音频信号的循环音高（S1004）。然后，如图3中波形3d所示，使用在S1004中所检测的循环音高，音频信号处理电路137计算后方和前方未加窗预测信号（S1005）。

接下来，音频处理电路137计算在前方参照区间与后方计算区间之间的最大相关值cor_fr，并计算在后方参照区间与前方计算区间之间的最大相关值cor_rf（S1006）。图6中的波形6a-6e与图7中的波形7a-7e表示已丢弃包含噪声区间的音频数据中音频数据后发生的音频信号以及所计算的相关值的示例。图6中波形6a-6e表示当正产生音素/a/时混入噪声的示例，然而图7中波形7a-7e表示当产生声音“oda”时在音素/d/发生的区域混入噪声的示例。

参见图6，将描述计算最大相关值cor_fr和cor_rf的方法。波形6a表示前方计算区间（第一计算区间）和后方计算区间（第二计算区间）的音频信号。波形6b表示前方参照区间（第一参照区间）的音频信号，然而波形6d表示后方参照区间（第二参照区间）的音频信号。音频信号处理电路137计算与前方参照区间的音频信号相应的后方计算区间的音频信号的相关值。波形6c表示在此时所计算的相关值的示例。为描述的目的，波形6c还示出S1003中所得出的相关值。音频信号处理电路137计算在此时的最大相关值为cor_fr（第三最大值）。同样地，音频信号处理电路137计算与后方参照区间的音频信号相应的前方计算区间的音频信号的相关值。波形6e表示在此时所计算的相关值的示例。为描述的目的，波形6e还示出S1003中所得出的相关值。音频信号处理电路137计算在此时的最大相关值为cor_rf（第四最大值）。

接下来，使用在S1003中所计算的cor_ff和cor_rr以及在S1006中所计算的cor_fr和cor_rf，音频信号处理电路137确定包含噪声区间之前与之后的音素是否不同。如果包含噪声区间之前与之后的音素相同，则包含噪声区间的音频信号的相关值高。换言之，cor_ff和cor_fr的值基本相等，cor_rr和cor_rf的值也基本相等。由波形6c可见cor_ff和cor_fr的值基本相等，而由波形6e可见cor_rr和cor_rf的值也基本相等。相应地，在S1007中，当使用相关阈值α（其中，α为正数）下面等式（1）和（2）成立时，音频信号处理电路137确定包含噪声区间之前与之后的音素相同。

1/α≤cor_fr/cor_ff≤α(1)

1/α≤cor_rf/cor_rr≤α(2)

等式（1）是条件表达式，其指定第一最大值（cor_ff）与第三最大值（cor_fr）的比值在预定范围内。同样地，等式（2）是条件表达式，其指定第二最大值（cor_rr）与第四最大值（cor_rf）的比值在预定范围内。当在S1007中等式（1）和（2）成立时，确定包含噪声区间之前与之后的音素相同，处理前进到S1008。在S1008中，音频处理电路137将三角窗函数应用于S1005中所得出的相应后方和前方未加窗预测信号，并计算后方和前方加窗预测信号（S1008）。然后，通过将所计算后方和前方加窗预测信号相加，音频信号处理电路137生成完整预测信号（插值信号）（S1009）。然后，处理进到S1010。

接下来，参见图7，将描述包含噪声区间之前与之后音素不同的情况。如上所述，波形7a-7e表示如下示例：当产生“oda”声音时在音素/d/发生的区域混入噪声，其中，先于包含噪声区间的音素为/o/而后于包含噪声区间的音素已变为/a/。在此情况下，如波形7e所示，cor_rf和cor_rr间没有较大差别，但如波形7c所示，cor_ff和cor_fr值间有较大差别。在S1007中前述等式（1）和（2）不成立的情况下，确定包含噪声区间之前与之后的音素不同，处理前进到S1012。

在S1012中，音频信号处理电路137将窗函数改变成使插值信号将听起来不自然程度较低的函数。例如，如下计算在此改变的窗函数。假设包含噪声区间的数据数为N+1，包含噪声区间的第一位置是n=0，由以下公式表示前方窗函数wf和后方窗函数wr。

$\mathrm{Wf}\left(n\right)=\left\{\begin{array}{cc}(N\·\mathrm{Kn}-n)/(N\·\mathrm{Kn})& (n\≤N\·\mathrm{Kn})\\ 0& (n>N\·\mathrm{Kn})\end{array}\right.$

$\mathrm{Wf}\left(n\right)=\left\{\begin{array}{cc}(n-N+N\&CenterDot;\mathrm{Kn})/(N\&CenterDot;\mathrm{Kn})& (n\&GreaterEqual;1-N\&CenterDot;\mathrm{Kn})\\ 0& (n<1-N\&CenterDot;\mathrm{Kn})\end{array}\right.$

Wr(n)＝(n-N+N·Kn)N·Kn

在此，系数Kn为0<Kn<1。

接下来，如图8的波形8a和8b所示，音频信号处理电路137将S1012中改变的窗函数应用于S1005中生成的未加窗预测信号，并计算加窗预测信号。然后，处理前进到S1009，在S1009中，通过将后方和前方加窗预测信号相加，音频信号处理电路137生成完整预测信号（插值信号）（S1009）。

如波形8a所示，在噪声降低区间结束之前，前方加窗预测信号为无声的。同样地，如波形8b所示，在噪声去除区间的开始方向，后方加窗预测信号为无声的。结果，如波形8c所示，当将后方和前方加窗预测信号相加时，重叠区间短于在应用通常三角窗函数时的重叠区间。因此，在本实施例中，在已确定包含噪声区间之前和之后的音素不相同的情况下，调整窗函数以减少交叉渐变中后方预测信号和前方预测信号重叠的时间量。因此，减少由两个不同音素混杂所预测的音频信号引起的不自然声音。

接下来，音频信号处理电路137以S1009中生成的完整预测信号代替包含噪声区间的信号，并将产生的信号写入存储器134（S1010）。由此完成噪声降低处理。在S1011中，检测视频捕获开关是否已关闭（换言之，记录开关是否已关闭），处理返回S1001并重复直到记录开关已关闭。当检测到记录开关已关闭时，记录操作结束。

到此所述，依据本实施例，通过计算和比较包含噪声区间之前和之后的音频信号，确定在包含噪声区间之前和之后是否存在相同音素，依据确定的结果控制预测处理。更具体地，在包含噪声区间之前和之后音素不同的情况下，改变应用于未加窗音频信号的窗函数。因此，在包含噪声区间之前和之后音频信号不同的情况下，不太可能发生由后方和前方预测信号混杂引起的不自然感，这样提高了噪声去除性能。

在本实施例中，当已确定包含噪声区间之前和之后音素不同时，使用把系数Kn作为固定值的窗函数。然而，系数Kn可依据包含噪声区间的长度而改变。例如，如以下公式所示，可依据包含噪声区间的时间长度t_ns设置系数Kn。

$\mathrm{Kn}=\left\{\begin{array}{cc}0.75& (t\_\mathrm{ns}<\mathrm{Tl})\\ 0.25& (t\_\mathrm{ns}\&GreaterEqual;\mathrm{Tl})\end{array}\right.$

在此，Tl是包含噪声区间的时间阈值。在包含噪声区间比较长时预测处理的性能下降，从而以预测信号插值整个包含噪声区间导致不自然的声音。因此，如图9的波形9a所示，在包含噪声区间t_ns超过时间阈值T1的情况下，即使将后方和前方加窗预测信号相加到一起时，后方和前方加窗预测信号也不重叠，从而产生无声区间。由此，即使在包含噪声区间比较长时，也能够生成具有很少不自然的预测信号。同时，在包含噪声区间t_ns超过时间阈值T1并由于预测处理而在完整预测信号中产生无声区间的情况下，可向无声区间（波形9b）中添加低水平的噪声（舒适噪声）。人们在倾听音频时完全无声会感觉不自然，这是人类听觉使然。当使用例如耳机等近距离接触耳朵的音频回放设备倾听时，该现象特别明显。因此，向无声区间添加舒适的噪声能够减少由完全无声区间引起的不自然感。舒适的噪声可为白噪声或粉噪声。

同时，在包含噪声区间极其短时，即使在包含噪声区间之前和之后的音频信号之间具有低相关的情况下，当在使用通常三角窗函数进行预测处理时将有很少不自然。此外，即使使用前述窗函数wf和wr进行完整预测处理，与使用通常三角窗函数情况的差别也不太明显。因此，可依据包含噪声区间的长度确定是否改变窗函数。将使用图10所示的流程图描述该处理。在图10中，与图5的流程相同的处理步骤给出相同的附图标记，且将省略对其描述。在如图10所示处理流程中，S1106已增加到S1005和S1006之间。在S1106中，确定包含噪声区间t_ns是否大于或等于短时间阈值Ts。例如，短时间阈值设置为接近20毫秒。在包含噪声区间t_ns大于或等于Ts的情况下，处理前进到S1007。然而，在不是这样的情况下，确定无需计算新的窗函数，处理前进到S1006。以此方式，在包含噪声区间t_ns短时，在S1106中确定无需计算新的窗函数，然后计算加窗预测信号，而不用计算包含噪声区间之前和之后的音频信号的相关值。这样减轻处理负担。

此外，在包含噪声区间之前与之后第一次对声压级进行标准化之后，可得出相关值。图11的波形11a表示如下示例：从包含噪声区间之前到包含噪声区间之后相同音素连续但声压级逐渐减少的音频信号。图11的波形11b-11e以与图6的波形6b-6e相同的方式表示相关值。如图11所示，利用相同音素连续但声压级改变的音频信号，即使使用通常三角窗函数进行预测处理也能够进行高性能噪声去除处理。然而，如波形11c-11e所示，因为声压级从包含噪声区间之前到包含噪声区间之后减少，因此产生相关值之间的较大差别；因此，将确定包含噪声区间之前与之后间的音素不同。因此，如图12所示，使用声压级已标准化的音频信号可计算相关值。由此，即使是对于从包含噪声区间之前到包含噪声区间之后相同音素连续但声压级逐渐减少的音频信号，也能进行准确的噪声降低处理。

同时，与讲话不同，例如来自乐器演奏的音乐声音信号经常没有声音的突然变化。因此，在声音于噪声去除区间之前和之后已变化的情况下，即使使用通常三角窗函数进行预测处理也将很少有不自然感。因此，如果摄像装置具有几种拍摄模式，例如肖像拍摄、运动场景拍摄、音乐拍摄等，则可依据拍摄模式改变窗函数。例如，可以考虑如下方式：当操作者已将拍摄模式设置为肖像模式时，执行依据前述流程图的操作，而当将拍摄模式设置为音乐拍摄时，将三角窗函数设置为通常函数，而不执行计算和比较相关值的操作。依据拍摄模式设置控制窗函数能够依据操作者的意图执行噪声去除处理。

本实施例描述了去除在驱动透镜时产生的噪声。然而，噪声去除处理可应用于可由加速度计120检测并且包含噪声区间可检测的任何噪声，例如当用户操作例如开关和转盘等操作部件时所产生的操作噪声、当操作者接触相机主体所产生的噪声等。

第二实施例

在前述第一实施例中，通过计算和比较产生在包含噪声区间之前和之后的音频信号的相关值，确定音素是否在包含噪声区间之前和之后改变。与此相反，在第二实施例中，通过比较产生在包含噪声区间之前和之后的音频信号的声压级，确定音素是否已改变。虽然与比较相关值相比，比较声压级提供较不精确的关于音素改变的确定，但是与计算相关值时相比，这样做可大大地减少处理负担。

图13是例示根据本实施例的记录操作的流程图。与图5所示的流程相同的处理步骤给出相同的附图标记，且将省略对其描述。在如图13所示的处理流程中，执行S2006和S2007以替代如图5所示的S1006和S1007。在S2006中，音频信号处理电路137计算包含噪声区间之前和之后的声压级。图14是例示计算音素在包含噪声区间之前与之后不同的音频信号的声压级的图。在此，例如，在紧邻包含噪声区间之前和紧邻包含噪声区间之后的声压级比较区间中得出的音频信号中，检测最大值和最小值。

接下来，在S2007中，音频信号处理电路137比较在S2006中所计算的包含噪声区间之前和之后的声压级。在所比较的声压级间的差别在预定范围内的情况下，确定音素在包含噪声区间之前与之后无变化，在这之后，处理前进到S1008。然而，在声压级间的差别超出预定范围的情况下，确定音素在包含噪声区间之前与之后已变化，在这之后，处理前进到S1012。

以这种方式，依据第二实施例，通过比较产生在包含噪声区间之前和之后的音频信号的声压级，确定音素是否已改变。因此，虽然与在计算和比较相关值时相比，确定音素是否已改变较不精确，但是可大大减少处理负担。

第三实施例

图15是例示依据第三实施例的包括单反数码相机和信息处理装置的系统的示意图，图15例示了单反数码相机100和信息处理装置170通过通信电缆151连接的状态。图16是例示单反数码相机100和信息处理装置170的框图。依据本实施例，用于与外部设备通信的通信连接器141配设于单反数码相机100的相机主体101内。该通信连接器141通过通信电缆151而连接到信息处理装置170内的通信连接器174。在图13和14中，与第一实施例中所描述相同的构成元件给出相同的附图标记，且将省略对其描述。

信息处理装置170包括控制单元171、音频信号处理电路172、存储器173、操作输入单元175、音频回放装置176和显示设备177。通过通信连接器174，控制单元171接收包括已记录到相机主体101的存储器134中的音频信号的所记录的视频数据。音频信号处理单元172执行对该音频信号噪声去除处理。将由噪声去除处理所获得的信号记录到存储器173中。

在本实施例中，未进行噪声去除处理并因此包括驱动噪声的音频信号，与包含噪声区间（即，包含噪声区间的定时）信息一起记录到存储器173中，该包含噪声区间为噪声区间检测单元执行检测的结果并与音频信号同步。响应于操作者所执行的操作，基于来自操作输入单元175的指令信号，来执行噪声去除处理，并将噪声去除处理的进度输出到音频回放设备176和显示设备177。

将使用图17和18描述本实施例的透镜驱动操作和噪声去除处理所执行的操作。

图17是例示依据本实施例在相机中进行的透镜驱动操作和音频记录的流程图。在打开视频拍摄开关（即，记录开关）时，记录操作开始。在S3001中，相机控制单元119使用加速度计120检测驱动噪声。在未检测到驱动噪声的情况下，处理前进到S3004，之后返回到S3001，并且重复直至已关闭视频拍摄开关（记录开关）。另一方面，在S3001中检测到驱动噪声的情况下，处理前进到S3002，其中，相机控制单元119通过分析加速度计120的输出信号来计算包含噪声区间。然后，相机控制单元119将所计算的包含噪声区间的定时与音频信号同步地记录到存储器134中（S3003）。

接下来，将使用图15描述，当单反数码相机100与信息处理装置170通过通信电缆151连接时由信息处理装置170所执行的噪声去除处理。

在通过操作输入单元175输入执行噪声去除处理的指令时，由单反数码相机100和信息处理装置170开始如图18所示流程图中的处理。首先，通过通信电缆151，信息处理装置170中的控制单元171将所记录的视频数据加载到相机主体101中的存储器134，该视频数据包括存在驱动噪声的音频信号和包含噪声区间定时的记录（S3101）。然后，在S3102中，控制单元171确定包含噪声区间的定时是否存在于所记录的视频数据中。在不存在包含噪声区间的定时的情况下，处理前进到S3111。另一方面，在检测到包含噪声区间的定时记录的情况下，处理前进到S1003，此后，控制单元171以与第一实施例所述相同的方式执行到S1013的处理。

在S3111中，控制单元171检测已载入所记录视频数据的结尾。处理返回到S3101并重复直到已检测到所记录视频数据的结尾。在已检测到所记录视频数据的结尾时，处理结束。

如图15所示，前述示例描述了如下系统，在该系统中，单反数码相机100与信息处理装置170通过通信电缆151电连接。图19表示对于图15所示结构的变型例。在图19所示的结构中，录入所记录的视频数据的单反数码相机100的存储器134，已由可从相机主体101取出的存储卡134a代替。在这种情况下，将已录入所记录的视频数据的存储卡134a插入配设于信息处理装置170内的存储卡读取器152；然后，可将所记录的视频数据传输至信息处理装置170，从而进行噪声去除处理。因此，无需使用通信电缆151连接单反数码相机100和信息处理装置170。在噪声去除处理的操作中，只改变图18的S3101中从存储卡加载所记录的视频数据的操作。同时，如果信息处理装置170配设有读取存储卡134a的设备，则无需存储卡读取器152。换言之，根据本实施例的信息处理装置170可独立操作。任何能够处理音频信号的装置均可用作本实施例的信息处理装置170。例如，可使用个人计算机、智能手机、摄像装置、电视等。

其他实施例

本发明的实施例还可通过读出并执行记录在存储介质（例如，非易失性计算机可读存储介质）的计算机可执行指令以执行本发明一个或多个上述实施例的功能的系统或装置的计算机来实现，并可通过由系统或装置的计算机通过例如从存储介质中读出并执行计算机可执行指令以执行上述一个或多个实施例的功能的方法来实现。计算机可包括一个或多个中央处理单元（CPU）、微处理单元（MPU）或其他电路，并可包括独立计算机或独立计算机处理器的网络。例如，可从网络或存储介质向计算机提供计算机可执行指令。存储介质可包括例如，硬盘、随机存取存储器（RAM）、只读存储器（ROM）、分布式计算系统的存储器、光盘（例如，压缩盘（CD）、数码多功能光盘（DVD）、或蓝光光盘（BD）^TM）、闪速存储器设备、存储卡等中的一个或多个。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (13)

1.一种信号处理装置，其包括：

检测单元，其被配置为在接收到的音频信号中检测混入噪声的包含噪声区间；

确定单元，其被配置为确定在所述包含噪声区间之前与之后的音素是相同还是不同；以及

噪声降低单元，其被配置为通过使用所述包含噪声区间的后方区间和前方区间中的音频信号生成所述包含噪声区间的插值信号，并利用所述插值信号代替所述包含噪声区间的音频信号，来降低噪声，

其中，所述噪声降低单元根据所述确定单元进行的所述确定的结果，来控制生成所述插值信号的方法。

2.根据权利要求1所述的信号处理装置，

其中，所述噪声降低单元：

通过复制所述包含噪声区间的前方部分的音频信号来生成所述包含噪声区间中的第一预测信号；

通过复制所述包含噪声区间的后方部分的音频信号来生成所述包含噪声区间中的第二预测信号；

通过交叉渐变所述第一预测信号和所述第二预测信号来生成所述插值信号；并且

根据所述确定单元进行的所述确定的结果，通过调整在所述交叉渐变期间所述第一预测信号与所述第二预测信号重叠的时间长度，来控制生成所述插值信号的方法。

3.根据权利要求2所述的信号处理装置，

其中，通过调整在所述交叉渐变中分别用于所述第一预测信号和所述第二预测信号的窗函数，来调整所述重叠的时间长度。

4.根据权利要求3所述的信号处理装置，

其中，所述确定单元：

计算第一最大值，所述第一最大值为所述前方部分的第一参照区间中的音频信号与所述前方部分的第一计算区间中的音频信号之间的相关最大值；

计算第二最大值，所述第二最大值为所述后方部分的第二参照区间中的音频信号与所述后方部分的第二计算区间中的音频信号之间的相关最大值；

计算第三最大值，所述第三最大值为所述第一参照区间中的音频信号与所述第二计算区间中的音频信号之间的相关最大值；

计算第四最大值，所述第四最大值为所述第二参照区间中的音频信号与所述第一计算区间中的音频信号之间的相关最大值；并且

在所述第一最大值与所述第三最大值的比和所述第二最大值与所述第四最大值的比在各自预定范围内的情况下，确定所述包含噪声区间之前与之后的音素相同，并且

其中，在所述确定单元确定所述包含噪声区间之前与之后的音素不同的情况下，所述噪声降低单元调整所述窗函数，以降低所述交叉渐变中的所述重叠的时间长度。

5.根据权利要求3所述的信号处理装置，

其中，在所述包含噪声区间的时间长度超过预定的时间阈值的情况下，所述噪声降低单元调整所述窗函数，使得所述第一预测信号和所述第二预测信号由于所述交叉渐变而不重叠。

6.根据权利要求5所述的信号处理装置，

其中，在由于调整所述窗函数使得所述第一预测信号和所述第二预测信号不重叠而在所述第一预测信号与所述第二预测信号之间产生了无声区间的情况下，所述噪声降低单元将舒适噪声加入所述无声区间。

7.根据权利要求1所述的信号处理装置，

其中，在所述包含噪声区间的时间长度比预定的时间阈值短的情况下，所述噪声降低单元不对生成所述插值信号的方法进行控制。

8.根据权利要求4所述的信号处理装置，所述信号处理装置还包括：

在所述确定单元进行的所述确定之前，在所述包含噪声区间之前和之后对声压级进行标准化的单元。

9.根据权利要求3所述的信号处理装置，

其中，在所述包含噪声区间之前与之后的声压级之间的差别在预定范围内的情况下，所述确定单元确定在所述包含噪声区间之前与之后间的音素相同。

10.一种包括根据权利要求1所述的信号处理装置的摄像装置。

11.根据权利要求10所述的摄像装置，

其中，所述检测单元检测所述接收到的音频信号中的、混入了因驱动所述摄像装置中的摄像单元而产生的噪声的区间，作为所述包含噪声区间。

12.根据权利要求10所述的摄像装置，

其中，所述检测单元包括振动检测单元，该振动检测单元检测因驱动摄像单元而产生的振动，并且，所述检测单元检测所述振动检测单元已检测到振动的区间，作为所述包含噪声区间。

13.一种信号处理方法，其包括以下步骤：

在接收到的音频信号中检测混入噪声的包含噪声区间；

确定在所述包含噪声区间之前与之后的音素是相同还是不同；以及

通过使用所述包含噪声区间的后方区间和前方区间中的音频信号生成所述包含噪声区间的插值信号，并利用所述插值信号代替所述包含噪声区间的音频信号，来降低噪声，

其中，在所述降低噪声的步骤中，根据所述确定步骤中进行的所述确定的结果，来控制生成所述插值信号的方法。