CN102572236A

CN102572236A - 消除音频噪声的方法以及使用该方法的图像捕捉设备

Info

Publication number: CN102572236A
Application number: CN2011103726172A
Authority: CN
Inventors: 韩胜元
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2010-11-24
Filing date: 2011-11-10
Publication date: 2012-07-11
Also published as: US8687090B2; US20120127341A1; KR101739942B1; KR20120056106A

Abstract

一种消除音频噪声的方法以及使用该方法的图像捕捉设备，所述方法包括：将包括在捕捉的图像中的特定音频信号存储为噪声信号，接收包括在图像中的输入音频信号，通过输入音频信号与噪声信号之间的比较来消除包括在变换的音频信号中的噪声。因此，消除包括在输入音频信号中的音频噪声，因此可以简单地消除不被用户期望的声音。

Description

消除音频噪声的方法以及使用该方法的图像捕捉设备

本申请要求于2010年11月24日在韩国知识产权局提交的第10-2010-0117650号韩国专利申请的优先权，该申请的公开通过引用包含于此。

技术领域

本发明总体构思涉及一种消除音频噪声的方法以及一种采用该方法的图像捕捉设备，更具体地说，涉及一种可消除包括在捕捉的图像中的音频噪声的消除音频噪声的方法以及一种包括该方法的图像捕捉设备。

背景技术

一般地，诸如摄像录像机的图像捕捉设备可以记录音频并且捕捉图像。记录的音频与捕捉的图像一起被存储。在之后用户期望再现图像的情况下，不仅可再现捕捉的图像也可再现记录的音频。

然而，在捕捉图像的同时，可能由于周围环境而不能准确地记录用户期望的音频。例如，在雨天捕捉图像的情况下，下雨的声音与用户期望记录的音频一起被记录。因此，由于下雨的声音用户可能不能准确地记录期望的音频。这里，与期望的音频一起被记录的不被用户期望的音频(诸如下雨的声音、周围区域的声音等)被称为音频噪声。如果在捕捉图像的环境中存在大音频噪声，则用户可能不能准确地记录用户期望记录的音频。

因此，需要这样的消除音频噪声的方案：即使在存在大音频噪声的环境中用户也可仅记录期望的音频。

发明内容

做出本发明总体构思以解决上述问题和/或缺点并提供至少下面描述的优点。因此，本发明总体构思的特点提供一种消除音频噪声的方法以及包括该方法的图像捕捉设备，所述方法和设备可基于输入音频信号与噪声信号之间的比较来消除包括在输入音频信号中的音频噪声，所述噪声信号被存储为包括在捕捉的图像中的音频信号的噪声信号。

将在后面的描述中部分阐述本发明总体构思的附加特征和效用，且从描述中部分将是清楚的，或者可以通过本发明总体构思的实践被学习。

本发明总体构思的示例性实施例提供一种消除音频噪声的方法，所述方法包括：将包括在捕捉的图像中的特定音频信号存储为噪声信号，接收包括在图像中的输入音频信号，通过将输入音频信号与噪声信号进行比较来消除包括在变换的音频信号中的噪声。

存储操作可包括：使用FFT(快速傅里叶变换)将特定音频信号变换到频域并将所述频域的特定音频信号存储为噪声信号，并且存储增益函数，其中，通过频谱预测方法对于噪声信号计算所述增益函数。

消除操作可包括：使用FFT将输入音频信号变换到频域，通过将变换到频域的噪声信号与变换到频域的音频信号进行比较来从包括在音频信号中的频带中消除与噪声信号对应的频带部分。

频带消除操作可通过将包括在音频信号中的频带的与噪声信号对应的频带部分乘以增益函数来消除噪声。

消除操作还可包括：使用逆FFT将消除了噪声的频域的音频信号变换到时域。

当通过用户特定输入设置噪声消除模式时，可执行消除操作。

噪声消除模式可包括分别与多个噪声对应的多个噪声消除模式。

所述多个噪声可包括下雨的声音、风的声音、波浪的声音、蝉的鸣叫以及室内啸声中的至少一个，且所述多个噪声消除模式可包括下雨声消除模式、风声消除模式、波浪声消除模式、蝉鸣消除模式以及室内啸声消除模式中的至少一个。

本发明总体构思的另一示例性实施例提供一种图像捕捉设备，所述图像捕捉设备包括：音频输入单元，接收输入音频信号；存储单元，将包括在捕捉的图像中的特定音频信号存储为噪声信号；音频处理单元，通过将输入音频信号与噪声信号进行比较来消除包括在变换的音频信号中的噪声；音频输出单元，输出消除了噪声的音频信号。

存储单元可存储噪声信号和增益函数，所述噪声信号是使用FFT(快速傅里叶变换)变换到频域的特定音频信号，通过频谱预测方法对于噪声信号计算所述增益函数。

音频处理单元可包括：噪声消除单元，使用FFT将输入音频信号变换到频域，并通过将存储在存储单元中的噪声信号与变换到频域的音频信号进行比较来从包括在音频信号中的频带中消除与噪声信号对应的频带部分。

噪声消除单元可通过将包括在音频信号中的频带的与噪声信号对应的频带部分乘以增益函数来消除噪声。

音频处理单元可使用逆FFT将消除了噪声的频域的音频信号变换到时域。

根据本发明总体构思的另一示例性实施例的图像捕捉设备还可包括：接收用户特定输入的用户命令输入单元，其中，当通过用户特定输入设置噪声消除模式时音频处理单元消除噪声。

在本发明总体构思的另一特点中，图像捕捉设备的音频模块包括：音频接收单元，接收输入音频信号；与音频接收单元电通信的噪声消除单元，将存在于时域的输入音频信号变换为具有输入频带的变换的输入音频信号，并将该输入频带与预定噪声频带进行比较。

附图说明

结合附图从示例性实施例的下面描述中，本发明总体构思的这些和/或其它特点和效用将变得清楚并且更容易理解，其中：

图1是简单地示出根据本发明总体构思的示例性实施例的图像捕捉设备的配置的框图；

图2是详细地示出根据本发明总体构思的示例性实施例的图像捕捉设备的框图；

图3是示出根据本发明总体构思的示例性实施例的消除图像捕捉设备的音频噪声的方法的流程图；

图4A到图4C是示出根据本发明总体构思的示例性实施例的图像捕捉设备在噪声消除模式中的显示屏幕的示图。

具体实施方式

现在将作出对本发明总体构思的示例性实施例的详细参考，在附图中示出本发明总体构思的示例性实施例的示例，其中，相同标号始终表示相同元件。下面描述示例性实施例以在参照附图的同时说明本发明总体构思。

图1是示出根据本发明总体构思的示例性实施例的图像捕捉设备100的总体配置的框图。如图1中所示，根据本发明总体构思的示例性实施例的图像捕捉设备100包括：音频输入单元110、音频处理单元120、存储单元130以及音频输出单元140。图像捕捉设备100可包括但不限制于可捕捉图像和音频两者的摄像录像机、照相机、个人媒体播放器(PMP)、移动电话等。

音频输入单元110通过话筒等接收输入音频信号。在接收输入音频信号时，音频输入单元110可将输入音频信号发送到音频处理单元120。

音频处理单元120执行包括但不限制于输入音频的音频编码的信号处理。更具体地说，音频处理单元120可将输入模拟音频信号转换为数字信号音频信号。此外，音频处理单元120使用FFT(快速傅里叶变换)将输入音频信号从时域变换到频域以生成变换的音频信号。

此外，音频处理单元120可从输入音频信号中消除与预存噪声信号相符的频带部分，所述预存噪声信号可被预先存储在存储单元130中。更具体地说，音频处理单元120可基于变换到频域的变换的音频信号与预存噪声信号之间的比较来从输入音频信号中消除与预存噪声信号相符的频带。在本发明总体构思的至少一个示例性实施例中，预存噪声信号可以是被用户指定为预先捕捉的图像的输入音频信号中的噪声信号的信号，所述预先捕捉的图像也可被存储在存储单元130中。

将更详细地描述消除噪声信号的方法。如上所述，存储单元130可存储预存噪声信号。存储单元130还可存储增益函数。可通过频谱预测方法对于噪声信号计算增益函数。此外，存储单元130可存储指定的噪声音频信号，所述噪声音频信号被用户指定为要从包括在预先捕捉的图像中的输入音频信号中消除的噪声。还可使用FFT将存储的噪声信号从时域变换到频域以生成存储在存储单元130中的变换的噪声信号。此外，如下面更详细的描述，存储单元130还可存储执行图像捕捉设备100的各种功能的程序以及由用户捕捉的图像数据。

因此，音频处理单元120可基于输入音频信号的频带部分、预存噪声信号和增益函数使用乘法操作来消除噪声信号。更具体地说，可通过将输入音频信号的频带的频带部分(所述频带部分与预存噪声信号相符)乘以增益函数而将输入音频信号的频带部分(所述频带部分与预存噪声信号相符)的振幅与原振幅的比例减小到特定比例来消除噪声信号。

此外，音频处理单元120可使用逆FFT将消除了噪声的变换的音频信号从频域变换到时域以生成输出音频信号。

此外，音频处理单元120将消除了噪声的音频信号输出到存储单元130和/或音频输出单元140。

音频输出单元140输出由音频处理单元120处理的音频信号。在这种情况下，输出音频信号可以是消除了噪声的处理的输入音频信号。

如上所述，通过消除包括在输入音频信号中的音频噪声，图像捕捉设备100容易地消除不被用户期望的声音。

现在参照图2，将更详细地描述根据本发明总体构思的示例性实施例的图像捕捉设备200。图2是详细地示出根据本发明总体构思的示例性实施例的图像捕捉设备的框图。

图像捕捉设备200包括：图像输入单元210、图像处理单元220、音频输入单元230、音频处理单元240、复用器(MUX)250、输出单元260以及存储单元270。

图像输入单元210通过透镜接收光，并将通过图像传感器单元(未示出)输入的光转换为是电信号的图像数据。在这种情况下，图像传感器单元(未示出)可由CCD(电荷耦合装置)图像传感器或CMOS(互补金属氧化物半导体)图像传感器实现。

图像处理单元220通过对输入图像数据执行缩放、编码等来执行图像处理。在这种情况下，图像处理单元220包括：用于调整图像数据的大小的缩放器(未示出)以及用于对图像数据执行编码和解码的图像编解码器(未示出)。

音频输入单元230通过诸如话筒等的音频输入装置接收输入音频信号。在这种情况下，音频输入单元230将输入音频信号发送到音频处理单元240。

音频处理单元240执行音频处理，所述音频处理包括但不限于：将输入音频信号转换为作为数字信号的音频数据、从输入音频数据中消除噪声信号、对消除了噪声的音频信号编码。如图2中所示的音频处理单元240可包括：A/D转换单元241、噪声消除单元243以及音频编解码器245。

A/D转换单元241将输入模拟音频信号转换为输入数字音频数据信号(即，输入音频数据)。

噪声消除单元243将输入音频数据从时域变换到频域，并将输入音频数据的频带与存储在存储单元270中的噪声信号的频带进行比较。如上所述，存储单元270可存储一个或多个预存噪声信号和/或一个或多个用户指定噪声信号。因此，噪声消除单元243检测输入音频数据的频带是否与存储的噪声数据(即，预存噪声信号和/或用户指定噪声信号)的频带的中心频率相符。在这种情况下，存储单元270中的预存噪声信号可包括下雨的声音、风的声音、波浪的声音、蝉的鸣叫、室内啸声等。然而，上述噪声只是示例性的。用户指定噪声信号可包括用户期望消除的特定声音。可直接记录用户指定噪声信号，然后将用户指定噪声信号存储在存储单元270中。

如果存在与预存噪声信号的频带相符的输入音频数据的频带的频带部分，则噪声消除单元243从输入音频数据的频带中消除与预存噪声信号的频带相符的频带部分。更具体地说，噪声消除单元243将与预存噪声信号相符的输入音频信号的频带的振幅与原振幅的比例减小到预定比例。更具体地说，噪声减小单元将与噪声信号的频带相符的输入音频信号的频带的频带部分乘以与预存噪声信号对应的增益函数。例如，如果假设噪声信号的中心频率是80KHz，则噪声消除单元243可通过将输入音频信号的频域的80KHz频带部分的振幅与原振幅的比例减小到10％来从输入音频信号中消除音频噪声。

此外，噪声消除单元243使用逆FFT将消除了噪声的处理输入音频信号从频域变换到时域以生成输出音频信号。然后，噪声消除单元243可将消除了噪声的输出音频信号输出到音频编解码器245。

音频编解码器245对消除了噪声的音频数据执行编码。

作为本发明总体构思的另一示例性实施例，只有在由通过用户命令输入单元(未示出)输入的用户命令设置噪声消除模式的情况下，音频处理单元240才可执行上述音频噪声消除操作。

在这种情况下，噪声消除模式可被实现为通过检测捕捉的图像中是否存在噪声而自动消除噪声的模式，或被实现为只检测并消除特定噪声的模式。只检测并消除特定噪声的模式用于消除特定噪声，并可以是下雨声消除模式、风声消除模式、波浪声消除模式、蝉鸣消除模式、室内啸声消除模式等。然而，上述噪声消除模式只是示例性的，并可设置这样的模式：用户可直接消除特定声音。之后将参照图4A到图4B描述噪声消除模式的细节。

MUX单元250通过将图像数据与音频数据进行组合来将图像数据转换为特定格式的图像文件。此外，MUX单元250将特定格式的图像文件发送到存储单元270或输出单元260。这里，特定格式是适合存储图像文件的格式。

输出单元260输出通过MUX单元250组合的特定格式的图像文件。在这种情况下，被输出的包括在图像文件中的音频可以是消除了噪声的输出音频信号。

存储单元270存储执行图像捕捉设备200的各种功能的程序以及由用户捕捉的图像数据。

如上所述，存储单元270可将被用户指定的用户指定噪声信号存储为预先捕捉的图像的音频信号中要被消除的噪声。在这种情况下，也使用FFT将存储的用户指定噪声信号从时域变换到频域。这时，除了存储用户指定噪声信号之外，存储单元270存储可通过频谱预测方法对于用户指定噪声信号计算的增益函数。

此外，存储单元270可存储通过经由MUX单元250将音频数据和图像数据组合而获得的特定格式的图像文件。

此外，存储单元270可包括噪声增益函数存储单元(未示出)以及图像文件存储单元(未示出)。噪声增益函数存储单元存储关于噪声增益函数的信息，图像文件存储单元存储从MUX单元250输出的图像文件。在这种情况下，噪声增益函数存储单元被连接到噪声消除单元243，图像文件存储单元被连接到MUX单元250。

在这种情况下，存储单元270可由硬盘、非易失性存储器等实现。如上所述，通过消除包括在输入音频信号中的音频噪声，图像捕捉设备200可容易地消除不被用户期望的声音。

在下文，将参照图3详细描述消除图像捕捉设备200的输入音频噪声的方法。

图3是示出根据本发明总体构思的示例性实施例的消除图像捕捉设备的音频噪声的方法的流程图。

第一，图像捕捉设备200将包括在被用户预先捕捉的特定图像中的指定噪声音频信号存储为预存噪声信号(操作310)。更具体地说，图像捕捉设备200可接收用户输入的指定噪声信号。指定噪声信号与包括在用户预先捕捉的特定图像中的输入音频信号的非期望噪声对应。为了消除指定噪声信号，图像捕捉设备200可使用FFT将对应输入音频信号从时域变换到频域以生成变换的音频信号。此外，图像捕捉设备200可通过频谱预测方法对于对应输入音频信号计算增益函数。可将增益函数存储在存储单元270中。此外，图像捕捉设备200可存储变换到频域的变换的音频信号以生成指定噪声信号，所述指定噪声信号可与增益函数一起被存储在存储单元270中。在这种情况下，用户指定的指定噪声信号包括但不限于下雨的声音、风的声音、波浪的声音、蝉的鸣叫、室内啸声等。然而，这仅仅是示例性的，可以将用户期望消除的特定声音直接记录并指定为噪声。

然后，图像捕捉设备200接收输入音频信号(操作320)。在这种情况下，可通过话筒等来输入音频信号。输入音频信号可包括用户想要消除的噪声。

因此，如上所述，图像捕捉设备200通过将输入音频信号与存储的噪声信号进行比较来消除包括在输入音频信号中的噪声(操作330)。具体地说，图像捕捉设备200将输入音频数据从时域变换到频域。然后，图像捕捉设备200将输入音频数据的频带与在操作310存储的预存噪声信号的频带进行比较。具体地说，图像捕捉设备200检测输入音频数据的频带是否与预存噪声数据的频带的中心频率相符。

如果存在与预存噪声信号的频带相符的输入音频数据的频带的频带部分，则图像捕捉设备200从输入音频数据的频带中消除与预存噪声信号的频带相符的频带部分。更具体地说，图像捕捉设备200通过将与预存噪声信号的频带相符的输入音频信号的频带的频带部分乘以与预存噪声信号对应的增益函数来将预存噪声信号的频带的振幅与原振幅的比例减小到预定比例。

此外，图像捕捉设备200使用逆FFT将消除了噪声的音频数据从频域变换到时域以生成输出音频信号。然后，图像捕捉设备200可对消除了噪声的输出音频信号执行编码。

此外，可将消除了噪声的输出音频信号与图像数据组合，随后将组合的输出音频信号和图像数据存储在存储单元270和/或由输出单元260输出。

作为本发明总体构思的另一示例性实施例，可仅在通过用户特定命令设置噪声消除模式的情况下执行操作330。

在下文，参照图4A到图4C，将详细描述音频噪声消除模式。

如图4A中所示，如果通过GUI输入了指示要被消除的指定噪声信号的用户特定命令，则图像捕捉设备200进入模式选择菜单410。在这种情况下，模式选择菜单可包括不同模式，具体地说，噪声消除模式。这里，噪声消除模式包括这样的模式，所述模式从包括在捕捉的图像中的输入音频信号中消除被指定为噪声的音频信号。

如图4B中所示，如果用户输入选择噪声消除模式，则图像捕捉设备200显示GUI 420以选择可消除不同噪声的多个噪声消除模式。在这种情况下，所述多个噪声消除模式包括但不限于下雨声消除模式、风声消除模式、波浪声消除模式、蝉鸣消除模式、室内啸声消除模式等。然而，所述多个噪声消除模式只是示例性的，并且由用户直接记录的特定声音可指示指定噪声信号。因此，可设置消除特定指定噪声信号的噪声消除模式。

如果通过用户特定选择选择了特定噪声消除模式，则图像捕捉设备200进入所述特定噪声消除模式，并且如上参照图1到图3所述，消除指定噪声信号。例如，如图4B中所示，如果用户选择下雨声消除模式，则图像捕捉设备200进入下雨声消除模式，并从包括在捕捉的图像中的输入音频信号中消除下雨的声音。因此，当图像捕捉设备200进入下雨声消除模式时，图像捕捉设备200显示显示下雨声消除模式的GUI 430。

本发明总体构思还可被实施为计算机可读记录介质上的计算机可读代码。计算机可读介质可包括计算机可读记录介质和计算机可读传输介质。计算机可读记录介质是可将数据存储为之后可被计算机系统读取的程序的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、DVD、磁带、软盘以及光数据存储装置。还可将计算机可读记录介质分布在与计算机系统连接的网络上，从而可以以分布方式存储并执行计算机可读代码。计算机可读传输介质可传输载波或信号(例如，通过互联网的有线或无线数据传输)。此外，本发明总体构思所属领域的技术程序员可容易地解释实现本发明总体构思的功能性程序、代码和代码段。

因此，如果用户选择特定噪声消除模式来消除特定噪声，则只消除用户所期望的噪声，因此可更加简单方便地消除噪声。

虽然已经显示并描述了本发明总体构思的一些示例性实施例，但是本领域的技术人员将明白，在不脱离本发明总体构思的原理和精神的情况下，可以对这些示例性实施例做出改变，本发明总体构思的范围由权利要求及其等同物限定。

Claims

1.一种消除音频噪声的方法，包括：

将包括在预先捕捉的图像中的特定音频信号存储为噪声信号；

接收包括在图像中的输入音频信号；

基于输入音频信号和噪声信号之间的比较来消除包括在变换的音频信号中的噪声。

2.如权利要求1所述的消除音频噪声的方法，其中，存储特定音频信号的步骤包括：

使用快速傅里叶变换FFT将特定音频信号变换到频域以生成变换的噪声信号，并将存在于频域中的变换的噪声信号存储为噪声信号；

存储通过频谱预测方法对于变换的噪声信号计算的增益函数。

3.如权利要求2所述的消除音频噪声的方法，其中，消除包括在变换的音频信号中的噪声的步骤包括：

使用FFT将输入音频信号变换到频域以生成变换的音频信号；

基于变换到频域的变换的噪声信号与变换到频域的变换的音频信号之间的比较来从包括在音频信号中的频带中消除与噪声信号对应的频带部分。

4.如权利要求3所述的消除音频噪声的方法，其中，消除频带部分的步骤包括：通过将包括在音频信号中的频带的与噪声信号对应的频带部分乘以增益函数来消除噪声。

5.如权利要求4所述的消除音频噪声的方法，其中，消除频带部分的步骤还包括：使用逆FFT将消除了噪声信号的变换的频域的音频信号变换到时域以生成输出音频信号。

6.如权利要求1所述的消除音频噪声的方法，其中，当响应于用户特定输入设置噪声消除模式时，执行消除包括在变换的音频信号中的噪声的操作。

7.如权利要求6所述的消除音频噪声的方法，其中，所述噪声消除模式包括分别基于多个噪声的多个噪声消除模式。

8.如权利要求7所述的消除音频噪声的方法，其中，所述多个噪声包括下雨的声音、风的声音、波浪的声音、蝉的鸣叫以及室内啸声中的至少一个；

所述多个噪声消除模式包括下雨声消除模式、风声消除模式、波浪声消除模式、蝉鸣消除模式以及室内啸声消除模式中的至少一个。

9.一种图像捕捉设备，包括：

音频输入单元，接收输入音频信号；

存储单元，将包括在捕捉的图像中的特定音频信号存储为噪声信号；

音频处理单元，基于变换的音频信号与噪声信号之间的比较来消除包括在变换的音频信号中的噪声；

音频输出单元，输出消除了噪声的输出音频信号。

10.如权利要求9所述的图像捕捉设备，其中，所述噪声信号是使用快速傅里叶变换FFT被变换到频域的变换的噪声信号，其中，所述存储单元存储变换的噪声信号和增益函数，通过频谱预测方法对于变换的噪声信号计算所述增益函数。

11.如权利要求10所述的图像捕捉设备，其中，所述音频处理单元包括：噪声消除单元，使用FFT将输入音频信号变换到频域以生成变换的音频信号，并基于存储在存储单元中的噪声信号与变换到频域的变换的音频信号之间的比较来从包括在输入音频信号中的频带中消除与噪声信号对应的频带部分。

12.如权利要求11所述的图像捕捉设备，其中，噪声消除单元通过将包括在输入音频信号中的频带的与噪声信号对应的频带部分乘以增益函数来消除噪声。

13.如权利要求12所述的图像捕捉设备，其中，音频处理单元使用逆FFT将消除了噪声的存在于频域中的变换的音频信号变换到时域以生成输出音频信号。

14.如权利要求9所述的图像捕捉设备，还包括接收用户特定输入的用户命令输入单元；

其中，当通过用户特定输入设置噪声消除模式时，音频处理单元消除噪声。

15.如权利要求14所述的图像捕捉设备，其中，噪声消除模式包括分别与多个噪声对应的多个噪声消除模式。