CN101969592B - 声音记录设备和方法 - Google Patents

声音记录设备和方法 Download PDF

Info

Publication number
CN101969592B
CN101969592B CN201010240762.0A CN201010240762A CN101969592B CN 101969592 B CN101969592 B CN 101969592B CN 201010240762 A CN201010240762 A CN 201010240762A CN 101969592 B CN101969592 B CN 101969592B
Authority
CN
China
Prior art keywords
sound
voice signal
interval
level
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010240762.0A
Other languages
English (en)
Other versions
CN101969592A (zh
Inventor
鹫巢晃一
木村正史
梶村文裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101969592A publication Critical patent/CN101969592A/zh
Application granted granted Critical
Publication of CN101969592B publication Critical patent/CN101969592B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及声音记录设备和方法。该具有驱动单元的声音记录设备从输入声音生成声音信号,检测该声音信号的水平,以与检测到的水平相对应的放大率调整所生成的声音信号的水平,并处理调整后的声音信号,以防止放大后的声音信号包含对驱动单元进行驱动时所生成的声音信号。该声音处理设备进行控制,以将指示驱动驱动单元之后的预定时间段中的声音信号替换为根据预定时间段之后的第一时间段中的声音信号计算出的信号,并使指示驱动驱动单元时的放大率与第一时间段中的放大率大致相等。

Description

声音记录设备和方法
技术领域
本发明涉及声音记录设备和方法。
背景技术
近来,照相机等的摄像设备逐渐获得越来越高级的功能,并且许多照相机具有能够拍摄运动图像和静止图像这两者的高级功能。在运动图像拍摄时,摄像设备在获取图像的同时还获取声音,并与图像同步地记录声音。
然而,照相机等的摄像设备包括用于调整光学系统等的驱动源,并且来自这些驱动源的驱动声音被记录为噪声。甚至由用户进行的操作的声音也作为振动通过摄像设备的壳体而传播,并且被记录为噪声。为了解决这些问题,已经提出了各种声音处理电路和摄像设备。
日本特开2008-053802公开了屏蔽硬盘的头退避声音的方法。更具体地,使用前后的参考声音来生成产生硬盘的头退避声音的部位处的声音信号,由此屏蔽该头退避声音。作为与声音的传输和解调有关的技术,ITU-T RecommendationG.711-Appendix I描述了隐蔽声音传输中的包丢失的方法。更具体地,通过使用包丢失之前的参考声音信号进行预测来生成发生该丢失的部位处的信号,由此隐蔽包丢失。
在日本特开2008-053802所公开的传统技术中,通过使用噪声生成区间前后的被摄体声音作为参考声音来进行用于预测该噪声生成区间中的声音信号的计算,生成预测声音。所生成的预测声音替换噪声生成区间中的声音。例如,通过使用声音波形的连续性连续预测声音信号的下一样本来生成该预测声音。可选地,检测声音的重复频率并以预定周期重复波形,这样生成预测声音。这意味着为了以高精度生成预测声音,需要参考声音的精度高。然而,参考声音的精度在噪声生成区间前后下降。将解释该问题。
普通的记录器包括被称为自动电平控制(ALC)电路的增益控制电路。当被摄体声音大时,ALC功能减小由麦克风检测到的声音的后置放大器的放大增益,并记录该声音,由此防止声音信号的饱和。当被摄体声音柔和时,ALC功能增大由麦克风检测到的声音的后置放大器的放大增益,并记录该声音,由此提高声音信号的S/N比(信噪比)。这样,ALC功能根据被摄体声音的响度(声压级)细微地改变由麦克风检测到的声音信号的增益。如果在上述参考声音生成区间中ALC功能工作,则与先前的被摄体声音的声压的连续性丢失,从而使预测声音的精度下降。即,当使用声音波形的连续性来连续预测声音信号的下一样本时,声压的连续性丢失,从而使下一样本的预测失败。同样,当检测声音的重复频率以按预定周期重复波形时,声音的重复频率的检测失败。这导致预测声音的精度差。该问题不局限于如日本特开2008-053802所述地、使用噪声生成区间前后的参考声音来生成预测声音的情况。即使在通过合成噪声生成区间之前的参考声音和噪声生成区间中的声音来生成预测声音的情况下,当该噪声生成区间之前的ALC放大增益和该噪声生成区间中的ALC放大增益彼此不同时,预测声音的精度也下降。这还适用于将噪声生成区间中的声音与噪声生成区间之后的参考声音合成的情况。不仅当生成噪声去除处理用的预测声音时发生该问题,而且例如当使用特殊效果以合成时间上前后的被摄体声音时也发生该问题。例如,将运动图像的声音分割成多个区间,并合成这些区间。在这种情况下,如果要合成的区间在ALC上不同,则这些区间的声压变得不连续,并且不能获得高精度的特殊效果(适当的特殊效果)。
发明内容
已经作出本发明以解决以上问题,并且本发明的一个方面提供一种用于抑制声音处理的精度下降的声音记录设备和方法。
根据本发明的一个方面,提供一种具有驱动单元的声音记录设备,包括:声音收集部件,用于从输入声音生成声音信号;检测部件,用于检测所述声音信号的水平;调整部件,用于以与检测到的声音信号的水平相对应的放大率调整所述声音信号的水平;处理部件,用于处理由所述调整部件调整后的声音信号,以防止由所述调整部件放大后的声音信号包含驱动所述驱动单元时生成的声音信号;以及控制部件,用于控制所述驱动单元的驱动、所述调整部件和所述处理部件,其中,所述控制部件控制所述处理部件,以将指示驱动所述驱动单元之后的预定时间段中的声音信号替换为根据所述预定时间段之后的第一时间段中的声音信号计算出的信号,并且所述控制部件控制所述调整部件,以使当指示驱动所述驱动单元时的放大率与所述第一时间段中的放大率大致相等。
根据本发明的其它方面,提供一种具有驱动单元的声音记录设备,包括:声音收集部件,用于从输入声音生成声音信号;检测部件,用于检测所述声音信号的水平;调整部件,用于以与检测到的声音信号的水平相对应的放大率调整所述声音信号的水平;处理部件,用于处理由所述调整部件调整后的声音信号,以防止由所述调整部件放大后的声音信号包含驱动所述驱动单元时生成的声音信号;以及控制部件,用于控制所述驱动单元的驱动、所述调整部件和所述处理部件,其中,所述控制部件控制所述处理部件,以将指示驱动所述驱动单元之后的预定时间段中的声音信号替换为根据所述预定时间段之后的第一时间段中的声音信号计算出的信号,并且所述控制部件控制所述调整部件,以与在其它时间段中相比,至少在所述第一时间段中更快地增加放大率。
此外,根据本发明的其它方面,提供一种具有驱动单元的声音记录设备中的声音记录方法,所述声音记录方法包括以下步骤:声音收集步骤,用于从输入声音生成声音信号;检测步骤,用于检测所述声音信号的水平;调整步骤,用于以与检测到的声音信号的水平相对应的放大率调整所述声音信号的水平;处理步骤,用于处理在所述调整步骤中调整后的声音信号,以防止在所述调整步骤中放大后的声音信号包含驱动所述驱动单元时生成的声音信号;以及控制步骤,用于控制所述驱动单元的驱动以及所述调整步骤和所述处理步骤中的处理,其中,在所述控制步骤中控制所述处理步骤,以将指示驱动所述驱动单元之后的预定时间段中的声音信号替换为根据所述预定时间段之后的第一时间段中的声音信号计算出的信号,并且在所述控制步骤中控制所述调整步骤,以使当指示驱动所述驱动单元时的放大率与所述第一时间段中的放大率大致相等。
此外,根据本发明的其它方面,提供一种具有驱动单元的声音记录设备中的声音记录方法,所述声音记录方法包括以下步骤:声音收集步骤,用于从输入声音生成声音信号;检测步骤,用于检测所述声音信号的水平;调整步骤,用于以与检测到的声音信号的水平相对应的放大率调整所述声音信号的水平;处理步骤,用于处理在所述调整步骤中调整后的声音信号,以防止在所述调整步骤中放大后的声音信号包含驱动所述驱动单元时生成的声音信号;以及控制步骤,用于控制所述驱动单元的驱动以及所述调整步骤和所述处理步骤中的处理,其中,在所述控制步骤中控制所述处理步骤,以将指示驱动所述驱动单元之后的预定时间段中的声音信号替换为根据所述预定时间段之后的第一时间段中的声音信号计算出的信号,并且在所述控制步骤中控制所述调整步骤,以与在其它时间段中相比,至少在所述第一时间段中更快地增加放大率。
根据本发明的一个方面,可以抑制声音处理的精度下降。
根据以下参考附图对典型实施例的说明,本发明的其它特征和方面将变得明显。
附图说明
图1是根据实施例的摄像设备的框图;
图2是根据实施例的声音处理电路的框图;
图3是用于解释包括噪声处理的声音处理的时序图;
图4A和4B是用于解释噪声的生成和ALC固定区间之间的关系的时序图;
图5A和5B是用于解释根据第一实施例的增益控制和噪声处理的流程图;
图6是用于解释光圈的驱动和ALC固定区间的时序图;
图7A~7E是用于解释ALC固定区间中的预测声音和插值的图;
图8A和8B是用于解释噪声的生成和ALC固定区间之间的关系的时序图;
图9A和9B是用于解释根据第二实施例的增益控制和噪声处理的流程图;
图10是用于解释ALC快速恢复区间的时序图;以及
图11是用于解释根据第三实施例的增益控制的流程图。
具体实施方式
以下将参考附图来说明本发明的优选实施例。以下实施例没有限制本发明的权利要求书,并且实施例中所陈述的特征的所有组合对于本发明的解决方式而言,并非都是必须的。
第一实施例
图1是例示根据第一实施例的摄像设备的配置的框图。在第一实施例中,使用数字单镜头反光照相机作为能够拍摄运动图像的设备。然而,本发明不限于此,并且还可应用于紧凑型数字照相机、能够拍摄运动图像的蜂窝式电话等。注意,在各种参考文献中描述了由数字照相机拍摄静止图像和运动图像的操作,并且将省略对该操作的说明。
在图1中,附图标记1表示摄像设备;附图标记2表示安装至摄像设备的镜头;并且附图标记4表示镜头的光轴。镜头筒容纳镜头2的构成组件。摄像设备1和摄像镜头2经由预定的镜头安装机构以机械方式相连接,并且经由电触点10以电子方式相连接。由摄像设备1和镜头2所形成的数字照相机包括摄像系统、图像处理系统、声音处理系统、记录/重放系统和控制系统。摄像系统包括摄像光学系统3和图像传感器6。图像处理系统包括A/D转换器20和图像处理电路21。声音处理系统包括麦克风7和声音处理电路26。记录/重放系统包括记录处理电路23和用作存储单元的存储器24。控制系统包括用作控制单元的照相机系统控制电路25、焦点检测单元(包括AF传感器)12、曝光检测单元(包括AE传感器)13、照相机抖动传感器14、操作检测电路27、镜头系统控制电路28、释放按钮30和光学系统驱动单元9。光学系统驱动单元9包括调焦透镜驱动单元9a、图像模糊校正驱动单元9b和光圈驱动部9c。显示单元22包括安装至摄像设备1的背面的、并且由例如液晶显示器形成的显示器。显示单元22在显示器上显示各种图像。
例如,麦克风7作为用于将环境声音转换成电信号以获取声音信号的声音收集部件工作。在声音处理系统中,声音处理电路26对由麦克风7获得的信号进行适当处理,从而生成记录声音信号。在运动图像拍摄时,(后面要说明的)记录处理电路23将所生成的记录声音信号链接到图像,并对该记录声音信号进行压缩。记录处理电路23将图像信号输出至存储器24,并且生成并保存要输出到显示单元22的图像。记录处理电路23使用预定方法对图像、运动图像和声音等进行压缩。
将照相机系统控制电路25连接至焦点检测单元12和曝光检测单元13。在静止图像拍摄时,照相机系统控制电路25基于来自焦点检测单元12和曝光检测单元13的信号,获得适当的焦点位置和光圈位置。照相机系统控制电路25经由电触点10向镜头系统控制电路28发出指令,并且镜头系统控制电路28控制调焦透镜驱动单元9a和光圈驱动单元9c。例如,当要拍摄的被摄体变亮时,图像传感器6或包括AE传感器的曝光检测单元13检测到被摄体变亮,并向照相机系统控制电路25通知该信息。照相机系统控制电路25向镜头系统控制电路28输出用于使光圈驱动单元9c驱动摄像光学系统3中所布置的光圈(未示出)的信号(光圈驱动指示信号)。照相机系统控制电路25包括CPU和存储器,并且控制摄像设备1的各个块。
将解释所谓的运动图像拍摄等的伴随有声音记录的拍摄。在伴随有声音记录的拍摄时,在驱动照相机主体和镜头致动器时生成的声音(被称为机械驱动声音)是不想要的声音并且成为噪声。
图2是示出根据第一实施例的声音处理电路26的详细配置的框图。将从麦克风7获得的信号供给至增益调整单元41。增益调整单元41调整麦克风7的信号放大水平以充分利用A/D转换器43的动态范围。后面将说明水平调整。滤波器42由例如具有适合于A/D转换器43的采样频率的截止频率的低通滤波器形成。当将麦克风7布置在生成特定频率的元件附近时,除该低通滤波器以外,滤波器42还可以包括适当的陷波滤波器。A/D转换器43将由增益调整单元41和滤波器42处理后的信号转换成数字数据。声压级检测单元44检测A/D转换后的声压级。当由声压级检测单元44检测到的声压级超过阈值(例如,饱和水平的1/2)时,声音增益控制单元47减小上述的增益调整单元41的信号放大水平。如果A/D转换后的声压级低于阈值(例如,饱和水平的1/4)时,声音增益控制单元47增大增益调整单元41的信号放大水平。这样,增益调整单元41、声压级检测单元44和声音增益控制单元47形成根据从麦克风7输入的声音的响度来自动改变记录所使用的增益(放大率)的自动增益改变单元(自动电平控制:ALC)。
例如,噪声降低单元45处理包含在驱动照相机的光圈驱动单元9c时生成的噪声的声音信号,由此降低混入噪声的区间中的声音中的噪声。更具体地,噪声降低单元45去除噪声生成区间中的被摄体声音信号。噪声降低单元45使用噪声生成区间前后的区间(学习区间)中的参考信号(预定区域、即噪声生成区间前后的被摄体声音),预测该噪声生成区间中的被摄体声音(声音预测)。噪声降低单元45利用所预测的被摄体声音替换噪声生成区间中的原始信号,从而补充声音信号。例如,在声音预测时,使用声音波形的连续性来连续预测声音信号的下一样本。可选地,可以检测声音的重复频率以按预定周期重复波形。即,声音预测处理通过使用参考信号的声音来生成替换噪声生成区间中的信号的信号。第一实施例将例示光圈驱动单元9c的驱动,但本发明还可应用于在驱动其它驱动单元(照相机主体、镜头或致动器)时混入噪声的情况。滤波器46用于在噪声处理之后根据需要进行适当的滤波处理。滤波器46由仅使例如20Hz~20kHz的人类可听声音频带内的声音通过的带通滤波器形成。如果无需进行噪声处理,则滤波器46可以仅发送声音或执行适当的延迟,而不进行噪声处理。在第二实施例中采用振动检测单元111,并且在第一实施例中可以省略振动检测单元111。
将解释用于使用声音波形的连续性来连续预测声音信号的下一样本(值)的声音预测。将说明声音预测时使用的线性预测系数的导出(学习操作)和使用该线性预测系数的信号的预测(预测操作)。在使用线性预测时,在当前信号和邻近该当前信号的有限数量的(在这种情况下为p个)样本值之间假定以下线性组合。
xt1xt-1+…+αpxt-p=εt    …(1)
其中,εt表示平均值为0且方差为σ2的互不相关的随机变量。重写等式(1)以根据以前的值预测xt,得到以下。
x t = x ^ t + ϵ t = - α 1 x t - 1 - · · · - α p x t - p + ϵ t = - Σ i = 1 p α i x t - i + ϵ t · · · ( 2 )
根据等式(2),如果εt足够小,则由相邻的p个值的线性和来表示当前值。
如果通过该预测所获得的xt的近似符合要求,则以相同方式还通过相邻的p个值的线性和来计算xt+1
只要εt足够小,就可以顺次获得预测信号。
将考虑如何确定使εt最小的αi
在本说明书中,用于确定使εt最小的αi的操作将被称为学习操作。在上述学习区间中使εt的平方和最小就足够了。设t0为学习开始时间且t1为学习结束时间,则得到以下:
Σ t = t 0 t 1 ϵ t 2 = Σ t = t 0 t 1 ( Σ i = 0 p α i x t - i ) 2 = Σ t = t 0 t 1 Σ i = 0 p Σ j = 0 p α i α j x t - i x t - j · · · ( 3 )
其中,α0=1。为了简化等式(3),假定以下。
c ij = Σ t = t 0 t 1 x t - i x t - j · · · ( 4 )
然后,为了确定使等式(3)的解最小的αi,通过将等式(3)中的αj(j=1,2,…,p)的偏导数设置为0来对该等式求解。
∂ ∂ α i Σ t = t 0 t 1 ϵ t 2 = ∂ ∂ α i ( Σ i = 0 p Σ j = 0 p α i c ij α j ) = 2 Σ i = 0 p α i c ij = 0 · · · ( 5 )
等式(5)表明可以通过对p个联立线性方程求解来确定αi。在等式(5)中,可以从xt-i(i=1,2,…,p)获得cij。换言之,可以从等式(5)获得αi
当根据等式(5)确定αi时,使εt的平方和最小。根据等式(2),可以通过x^t来良好地近似xt值。如果该近似符合要求,则代替xt,可以使用x^t作为预测信号。同样对于xt-1,可以从相邻的(p-1)个信号和预测信号获得其近似值。通过顺次重复该处理,可以生成预测区间中的信号。
通过使用以这种方式确定的αi,获得预测区间中的声音的预测信号。在本说明书中,用于使用所确定的αi来获得预测区间的近似(预测信号)的操作将被称为预测操作。以下将解释优选的学习操作和预测操作。
图3示意性示出被摄体声音。横轴表示时间,并且纵轴表示声压级。在第一实施例中,通过计算所预测的声音覆盖(替换)在驱动光圈驱动单元等的驱动单元时生成噪声的区间(噪声生成区间)中的声音。为此目的,当噪声降低单元45检测到光圈驱动指令信号时,噪声降低单元45将声音暂时存储在存储器中。
在第一实施例中,噪声降低单元45假定在检测到光圈驱动指令信号之后的例如100msec~200msec的时间段内混入驱动光圈时生成的噪声。生成噪声的区间将被称为删除区间。参考图3,在原始的被摄体声音51a中,在用作第一区间的删除区间52中叠加有噪声。噪声降低单元45假定在检测到光圈驱动指令信号之后的例如10msec~100msec的时间段作为噪声生成区间之前的学习区间53a。噪声降低单元45还假定在检测到光圈驱动指令信号之后的例如200msec~300msec的时间段作为噪声生成区间之后的学习区间53b。在第一实施例中,噪声降低单元45在检测到光圈驱动指令信号时,以这种方式确定区间。噪声降低单元45通过使用通过上述预测处理所预测的声音,对在记录介质上记录之前被暂时存储在存储器中的声音进行噪声去除处理。在这种情况下,噪声降低单元45首先删除存储器中所存储的声音的删除区间52中的被摄体声音。
通过对删除区间52中的被摄体声音进行删除获得被摄体声音51b。噪声降低单元45使用存储器中所存储的、删除区间52前后的学习区间53a和53b中的被摄体声音来执行预测操作。对通过各个学习区间中的预测操作所预测的信号进行加权并合成。将由此产生的预测信号嵌入删除区间52中。通过将该预测信号嵌入被摄体声音51b的预测区间54中获得被摄体声音51c。这样,(与删除区间52相同的)预测区间54前后的邻近信号用于执行学习操作。这利用了声音信号在极短时间的区域内的重复性较高的事实。
对学习区间53a和53b中的两个信号独立执行上述的声音预测计算。在预测区间54之前的学习区间53a中进行学习操作、并生成预测区间54中的信号,这将被称为前向预测。在预测区间54之后的学习区间53b中进行学习操作、并生成预测区间54中的信号,这将被称为后向预测。
通过执行适当计算以混合预测值,以使得前向预测的值的权重在离学习区间53a近的区间中高、并且后向预测的值的权重在离学习区间53b近的区间中高,来获得预测区间54中的信号。注意,不能够实时进行后向预测。实际上,当噪声降低单元45检测到光圈驱动指令信号时,噪声降低单元45仅在预定区间内将被摄体声音暂时存储在存储器等中。然后,噪声降低单元45利用预测声音替换在所存储的声音中叠加有噪声的(与删除区间52相对应的)噪声生成区间中的声音。之后,将声音记录在记录介质上。可以仅在进行声音预测时,才将被摄体声音暂时存储在存储器中。即使当不进行预测时,被摄体声音也可以总是被暂时存储在存储器中,然后再被记录在记录介质上。在第一实施例中,当不进行预测时,被摄体声音在未被存储在存储器中的情况下,被记录在记录介质上。
将解释在检测声音时不能实时进行噪声处理、而是直到检测到声音之后记录了该声音为止才能进行噪声处理的原因。
如参考图1的框图所述,照相机系统控制电路25控制光圈的驱动,因此驱动光圈(光圈的驱动等生成噪声)的时刻是已知的。因此,在第一实施例中,当噪声降低单元45检测到光圈驱动指令信号时,噪声降低单元45将检测到该光圈驱动指令信号之后的预定时间(例如,300msec)的声音数据存储在存储器中。噪声降低单元45假定在检测到光圈驱动指令信号之后的例如100msec~200msec的时间段内混入驱动光圈时生成的噪声。噪声降低单元45假定检测到光圈驱动指令信号之后的例如10msec~100msec的时间段作为噪声生成区间之前的学习区间53a。噪声降低单元45还假定在检测到光圈驱动指令信号之后的例如200msec~300msec的时间段作为噪声生成区间之后的学习区间53b。在第一实施例中,噪声降低单元45在检测到光圈驱动指令信号时以这种方式确定区间。噪声降低单元45通过使用通过上述预测处理所预测的声音,对在记录介质上记录之前被暂时存储在存储器中的声音进行噪声去除处理。噪声降低单元45利用基于声音记录之前的前后学习区间中的参考声音的预测声音来替换噪声区间中的声音。
接着,将说明自动增益改变控制(被称为自动电平控制:ALC)。
如图2所示,由声音处理电路26中的增益调整单元41、声压级检测单元44和声音增益控制单元47来实现ALC功能。ALC功能自动改变增益。图4A示出一般的ALC操作。横轴表示时间,并且纵轴表示声压级或增益水平(由于存在两个标度,因此纵轴上没有标绘标度)。
虚线所表示的被摄体声音51a在时间t1之前具有正常声压。被摄体声音在时间t1至时间t2的时间段内变大(等于或大于记录饱和水平的1/2),然后恢复至正常声压级。在图4A中,当在时间t1至时间t2的时间段内生成大的被摄体声音时,ALC功能工作,以防止声音信号的饱和,并且增益调整单元41减小麦克风的信号放大水平。因此,实线所表示的要记录的声音61在区间t1~t2中未被记录为与被摄体声音51a一样大。当在时间t2时被摄体声音恢复为原始声压时,ALC功能再次工作,并且增益调整单元41使麦克风的信号放大水平逐渐恢复为原始的信号放大水平。由于如果信号放大水平急剧恢复,则信号的连续性丢失并且记录不自然的声音,因此使信号放大水平“逐渐恢复”。然而,如从图4A的示意图显而易见,实际要记录的声音61从时间t2至时间t3改变声压级,未能进行高精度的记录。非常不自然地感知到声音的不连续性,因此不急剧改变信号放大水平很重要。如上所述,以预定时间常数改变信号放大水平也是使记录精度下降的原因。如图4A所示,ALC信号放大水平62(链线)在时间t1时暂时减小,并且从时间t2到时间t3缓慢恢复。在时间t1时,信号放大水平62不是缓慢减小而是急剧减小,从而防止信号的突然饱和。
将参考图3和4A来解释噪声降低单元和ALC功能之间的关系。假定在图4A中的被摄体声音(大)区间65中驱动光圈,驱动光圈时生成的噪声混入,并且被摄体声音级如同被摄体声音51a一样变化。在这种情况下,图4A和4B中的被摄体声音(大)区间65与图3中的删除区间52相对应。如参考图3所述,使用在前学习区间53a和在后学习区间53b中的参考声音来预测预测区间54中的声音。在图4A中,设置在前学习区间64和在后学习区间66。在图4A中,通过以预定的信号放大水平记录被摄体声音51a来获得在前学习区间64中的参考声音(要记录的声音61)。通过使用该参考声音,可以以高精度预测用以替换删除区间(图3中的删除区间52或图4A中的被摄体声音(大)区间65)中的声音的声音。相反,通过以可变的信号放大水平记录被摄体声音51a来获得在后学习区间66中的参考声音(要记录的声音61)。即,如上所述,通过ALC操作来获得要记录的声音61的在后学习区间66中的参考声音。由于该原因,使用在后学习区间66中的参考声音的删除区间(图3中的删除区间52或图4A中的被摄体声音(大)区间65)中的声音预测精度大幅下降。
在第一实施例中,在进行声音预测的区间中固定增益调整单元41的信号放大水平,以防止由于信号放大水平的变化所引起的声音预测精度的下降。更具体地,如图4B所示,在包括在前学习区间64、噪声生成区间65和在后学习区间66的区间中固定增益调整单元41的信号放大水平。该区间被定义为ALC固定区间71。在ALC固定区间71中,无论被摄体声音的声压的变化如何,声音增益控制单元47都将信号放大水平固定为紧前的水平。即使在在后学习区间66中,也以预定的信号放大水平记录被摄体声音。这可以防止基于在后学习区间66所预测的声音的精度下降。因此,可以利用从在前学习区间64和在后学习区间66中的参考声音生成的高质量的预测声音来替换光圈驱动区间(删除区间52)中的包含驱动光圈时生成的噪声的声音信号。由于对于要记录的声音61固定ALC水平,因此被摄体声音51a变得足够大,以使在与光圈驱动区间相对应的删除区间52中电路饱和。然而,由于该区间中的声音被删除,因此即使发生声音的饱和也毫无问题。在第一实施例中,在包括在前学习区间64、噪声生成区间65和在后学习区间66的区间中固定信号放大水平。删除噪声生成区间65中的声音,并且通过使用在前学习区间64和在后学习区间66中的声音进行预测来获得要替换噪声生成区间65中的声音的声音。如同第一实施例一样,当处理在前学习区间64和在后学习区间66中的声音时,无需固定噪声生成区间65中的信号放大水平。在在前学习区间64和在后学习区间66中将信号放大水平控制为预定值就足够了。
在第一实施例中,自时间t0之前的时间t-1起,ALC水平固定。在实际拍摄时,不仅驱动光圈时生成的声音叠加在被摄体声音上,而且由用户操作摄像设备的声音叠加在被摄体声音上。该声音通过摄像设备的壳体传播,并且作为非常大的声音被输入至麦克风。这种声音在短时间内生成。然而,如果在每次生成声音时ALC功能均工作,则如由图4A所示的波形63所示,ALC水平的恢复需要长的时间。于是,恢复期间的被摄体声音不能被用作为预测用的参考声音。为了防止学习区间64和学习区间66中的ALC水平的变化,设置比包括学习区间64和66的区间长的区间作为ALC固定区间71(从时间t-1到时间t4)。
如同光圈的驱动一样,特别在降低由根据来自摄像设备的指令而驱动的驱动单元所生成的噪声时,设置ALC固定区间71。更具体地,当摄像设备输出例如用于驱动镜头光圈的指令时,可以判断为光圈将被驱动。因此,可以预测驱动光圈将生成噪声,并且可以设置ALC固定区间71。注意,照相机系统控制电路25包括用于预测这种噪声的生成、即指定噪声生成区间的功能。照相机系统控制电路25指示声音增益控制单元47,以在预定时间段(进行声音处理的时间段)内禁止改变信号放大水平,从而在该区间中固定增益调整单元41中的信号放大水平。例如,照相机系统控制电路25发出用于将信号放大水平固定为驱动光圈之前所设置的水平的指令。当声音增益控制单元47接收该指令时,声音增益控制单元47保持增益调整单元41中的增益恒定。
图5A和5B是用于解释根据第一实施例的声音记录处理的流程图。当数字照相机在运动图像拍摄时开始记录时,该序列开始。为了说明方便,图5A和5B的流程图示出第一实施例的说明所需的处理,并且没有示出其它的一般处理。在第一实施例中,当不进行预测时,声音在未被存储于存储器中的情况下,被记录在记录介质上。
输入至麦克风7的被摄体声音被增益调整单元41放大,经过由滤波器42进行的滤波处理,并且由A/D转换器43进行A/D转换。在步骤S501中,声压级检测单元44检测A/D转换后的被摄体声音的声压。在步骤S502中,声音增益控制单元47检测照相机系统控制电路25是否已经输出光圈驱动指令信号,并判断是否驱动光圈。如果不驱动光圈,则处理进入步骤S503;如果要驱动光圈,则处理进入步骤S506。如果要驱动光圈,则跳过步骤S503~S505中的处理,禁止通过ALC功能改变增益,并且固定记录水平。该区间用作增益调整单元41中的信号放大水平固定的ALC固定区间71。在第一实施例中,在ALC固定区间71中将ALC增益固定为紧前的水平,但不限于此。例如,在ALC固定区间中,可以将ALC水平固定为预定水平。例如,如果在步骤S502中判断为要驱动光圈,则处理可以进入步骤S505,以在ALC固定区间中将ALC水平固定为正常记录水平。
该例子与由于光圈的驱动而产生的删除区间52有关,并且ALC固定区间71是与光圈驱动区间相对应的预定时间段。将详细说明“ALC固定驱动区间”。图6是用于解释ALC固定驱动区间与光圈驱动区间之间的关系的图。横轴表示时间,并且纵轴表示各信号的状态。H是信号ON,并且L是信号OFF。当图6所示的ALC固定区间信号92为ON(H)时,声音增益控制单元47禁止通过ALC功能改变增益。
当要拍摄的被摄体变亮、并且需要通过缩小光圈来补偿曝光时,照相机系统控制电路25在时间t-2时输出由链线所表示的光圈驱动指令信号93。响应于此,照相机系统控制电路25在时间t-1时向声音增益控制单元47输出ALC固定区间信号92。照相机系统控制电路25设置例如自时间t0起的0.1sec的学习区间,然后输出光圈驱动信号91。镜头系统控制电路28根据光圈驱动信号91使光圈驱动单元9c驱动光圈。这样,在光圈驱动之前,照相机系统控制电路25输出确保在前学习区间64的ALC固定区间信号92。基于与数字照相机中所布置的光圈等的机构的驱动相关联的控制信号来确定噪声生成区间出现的时刻。确定ALC固定区间,以进一步包含在所确定的噪声生成区间之前设置的学习区间。注意,在该例子中,控制信号是光圈驱动指令信号,但不限于此。例如,用户操作信号等(例如,变焦改变操作)也可被检测为控制信号。
从在前学习区间64开始或比在前学习区间64开始早的时刻起输出AL C固定区间信号92,从而稳定地固定学习区间64中的信号放大水平。光圈驱动时间几乎恒定为例如约0.1sec。将包括光圈驱动信号生成时间段(删除区间65)和在后学习区间66的、直到时间t4为止的时间段设置为ALC固定区间信号92的ON时间段。还可以监视光圈驱动信号,并且在使光圈驱动信号无效之后经过学习区间的时间段时使ALC固定区间信号92无效。在ALC固定区间信号92为ON时,将信号放大水平固定为预定水平或标准水平。输出ALC固定区间信号92,直到在后学习区间结束或比在后学习区间结束迟的时间t4为止,由此固定在后学习区间66中的信号放大水平。
如从图6显而易见,ALC固定区间信号92使ALC固定区间71变为包括实际的光圈驱动信号91的长的区间。这防止了ALC水平的变化对学习区间中的被摄体声音的影响。换言之,在光圈驱动指令之前固定信号放大水平,因此学习区间中的被摄体声音不受ALC水平的变化影响。
在步骤S503中,声音增益控制单元47判断在步骤S501中检测到的被摄体声音的声压是否等于或高于预定级。如果声压等于或高于预定级,则处理进入步骤S504,并且增益调整单元41减小记录水平。如果声压低于预定级,则处理进入步骤S505以设置正常记录水平。当声压等于或大于预定级时,在步骤S503~S505中执行的ALC功能减小增益。相反,当声压低于预定级时,可以增大增益。如果检测到光圈驱动指令信号,则处理进入步骤S506。在步骤S506中,以设定水平记录被摄体声音,并暂时存储该被摄体声音。例如,在暂时存储时,可以使用声音增益控制单元47中所布置的存储器(未示出)。如上所述,由于使用进行预测处理的区间之后的信号(在后学习区间),因此暂时存储被摄体声音。
这是在包括噪声生成区间前后的学习区间的预定时间段中执行的增益改变控制,从而减少增益的变化对预测声音的生成的影响。如果需要,则暂时存储的声音经过以下所述的噪声处理,并被记录为记录声音。注意,显然并行执行图5A和5B中的处理。在步骤S507中,噪声降低单元45判断照相机系统控制电路25是否输出光圈驱动指令信号,并判断是否驱动光圈。如果在步骤S507中判断为要驱动光圈,则处理进入步骤S509;如果判断为不驱动光圈,则处理进入步骤S513。
如果在步骤S507中判断为不驱动光圈,则处理进入步骤S513以将声音信号记录在记录介质上。如果在步骤S507中判断为驱动光圈,则处理进入步骤S509~S512,以执行前述预测处理等,由此实现噪声去除处理。在步骤S509中,噪声降低单元(声音增益控制单元47)基于学习区间66是否结束来判断是否开始预测。如果检测到光圈驱动信号91切换至OFF状态、并且检测到经过了与学习区间66相对应的时间段,则判断为开始预测。可选地,如果检测到ALC固定区间结束(ALC固定区间信号92转变为OFF状态),则可以判断为开始预测。
如果在步骤S509中判断为开始预测,则处理进入步骤S510。在步骤S510中,噪声降低单元(声音增益控制单元47)根据删除区间前后的学习区间中的声音信号,预测删除区间中的声音。在步骤S511中,噪声降低单元(声音增益控制单元47)将在步骤S510中预测的声音嵌入删除区间中。在步骤S512中,将经过了噪声处理的声音信号嵌入未经过噪声处理的声音信号中,并在时间上对准这两个声音信号。然后,处理进入步骤S513。
将在步骤S512中通过利用预测声音替换噪声区间中的声音所获得的声音数据暂时存储在存储器中。在步骤S513中,声音处理电路26将声音数据记录在存储器24中。例如,声音处理电路26将在步骤S512中嵌入了经过了噪声处理的声音信号的声音信号记录在存储器24中。将除光圈驱动区间中的声音信号以外的声音信号直接写入存储器24中。
注意,可以不由数字照相机来执行图5B所示的步骤S507~S513中的处理,并且可以由外部信息处理设备(例如,个人计算机)来处理由数字照相机所记录的声音信号。在这种情况下,将在步骤S504或S505中获得的信号、连同光圈驱动区间信号92和光圈驱动信号91一起,记录在照相机的记录介质上。外部信息处理设备基于与声音信号一起记录的光圈驱动区间信号和光圈驱动信号来进行上述声音信号噪声处理。
图7A~7E是示出本发明的第一实施例中的声音信号的图。横轴表示时间,并且纵轴表示声压级。图7A示出在噪声混入区间102中光圈驱动噪声混入被摄体声音信号中的状态。图7B示出在使用在前学习区间101预测(与噪声混入区间102相对应的)预测区间104中的声音时的声音信号波形(预测波形105)。图7C示出通过将图7B中的预测信号乘以三角窗函数107所获得的信号106。图7D示出通过将对预测区间104(噪声混入区间102)进行后向噪声预测的结果乘以窗函数109所获得的信号。图7E示出通过将图7C和7D中的预测结果相加、并对噪声混入区间102中的声音信号进行插值所获得的波形110。
在预测处理时,首先,基于从照相机系统控制电路25输出的光圈驱动区间信号92确定ALC固定区间71。ALC固定区间71与基于图7A所示的噪声混入区间102(在被摄体声音中叠加有光圈驱动噪声的区间)、在前学习区间101和在后学习区间103从照相机系统控制电路25输出的光圈驱动区间信号92相对应。
然后,如图7B所示,按每个周期(例如,44kHz)延伸在前学习区间101中的声音信号(预测波形105)。如图7C所示,将与窗函数相乘之前的图7B所示的预测信号乘以三角窗函数107,从而完成前向预测信号106。该阶段的预测信号将被称为乘以窗函数后的预测信号。当预测区间中的数据的数量为N+1个、并且紧挨预测开始之后的数据为n=0时,通过wf(n)=(N-n)/N得出窗函数wf(t)。
如图7D所示,对紧挨噪声混入区间102之后的区间执行相同的处理,从而使用窗函数109生成乘以窗函数后的后向预测信号108。与相乘之前的后向预测信号相乘的三角窗函数109与前向预测中的三角窗函数对称,并且通过wr(n)=n/N得出该三角窗函数。如图7E所示,声音处理电路26将乘以窗函数后的前向预测信号106和乘以窗函数后的后向预测信号108相加。声音处理电路206利用由此产生的预测信号替换噪声混入区间中的声音信号,从而结束插值。
使相乘之前的前向预测信号和后向预测信号乘以三角窗函数,并进行相加。结果,平滑地连接前向预测信号和紧挨噪声混入区间之后的声音信号,同时平滑地连接后向预测信号和紧挨噪声混入区间之前的声音信号。如图7A所示,ALC固定区间71被设置为长于包括在前学习区间101和在后学习区间102的时间段。该区间中的声音信号不受由ALC功能所引起的声压的变化影响。仅可以以高精度预测噪声混入区间中的被摄体声音。
如上所述,根据第一实施例,在包括当驱动光圈时生成噪声的噪声生成区间前后的全体学习区间的时间段中,禁止改变增益调整单元41中的信号放大水平。可以以较高的精度和较高的质量预测噪声生成区间中的声音。
在第一实施例中,在包括在前学习区间64、噪声生成区间65和在后学习区间66的时间段中固定信号放大水平。然而,删除噪声生成区间65中的声音,并且从在前学习区间64和在后学习区间66中的声音预测用以替换噪声生成区间65中的声音的声音。如同第一实施例一样,当处理在前学习区间64和在后学习区间66中的声音时,无需固定噪声生成区间65中的信号放大水平。在在前学习区间64和在后学习区间66中将信号放大水平控制为预定值就足够了。
如上所述,可以根据基于从麦克风输入的声音的其它算法来进行第一实施例中的预测处理。同样在这种情况下,对于声音处理时使用的学习区间(参考区间)中的声音信号将信号放大水平控制为预定值就足够了。例如,可以使用窗函数以预定比率合成基于在前学习区间64中的参考声音所获得的声音和噪声生成区间65中的声音。在这种情况下,声音处理仅使用在前学习区间64和噪声生成区间65中的声音。将该区间中的信号放大水平固定为预定值或紧前值就足够了。
第一实施例已经说明了使用预测的处理作为噪声处理方法。然而,即使当为了特殊声音效果等、使用输入声音的多个区间来处理该声音时,也可以采用本实施例中的技术。更具体地,当检测到执行特殊声音效果的时刻时,将用于处理特殊声音效果的区间中的信号放大水平控制为预定值,从而防止特殊效果的精度下降。
在第一实施例中,对与光圈的驱动相对应的声音执行噪声去除处理。可以对与其它驱动单元的驱动相对应的声音执行噪声去除处理。
可以根据驱动光圈的程度(例如,1段驱动或3段驱动)改变用作噪声生成区间的时间段的持续时间。同时,可以改变用作ALC固定区间的时间段的持续时间。例如,与在1段驱动时相比,在3段驱动时将噪声生成区间和ALC固定区间这两者均设置得较长。即,在驱动时间较长的驱动操作时,将噪声生成区间和ALC固定区间这两者设置得较长。
第二实施例
将说明应用了根据第二实施例的声音处理系统的摄像设备。将图2所示的振动检测单元111添加至第二实施例中的声音处理系统。振动检测单元111由布置在用作记录装置的麦克风7附近的加速计等形成,并且检测照相机中生成的并传播至麦克风7的振动。声音处理电路26根据来自振动检测单元111的输出,将增益调整单元41中的信号放大水平设置为预定水平或紧前水平。
在照相机中生成的并且产生噪声的振动不仅包括第一实施例所述的光圈的驱动等的驱动时的振动,而且还包括当用户操作照相机时摩擦照相机时的振动。与驱动信号不同,照相机系统控制电路25不能够检测这种振动。将摩擦照相机时的振动作为非常大的振动输入至麦克风7,并且作为噪声叠加在被摄体声音中。因此,还检测摩擦照相机的区间以利用预测声音替换该区间中的声音,由此除去噪声。响应于摩擦照相机时的振动,即使针对由麦克风7检测为声音的信号的水平,ALC功能也工作,从而减少学习区间中的声音。为了防止该情况,振动检测单元111检测噪声区间并设置ALC固定区间。
图8A是用于解释第二实施例中的振动生成区间和ALC固定区间的时刻的图。如图8A所示,设置在来自振动检测单元111的信号达到预定水平时开始、并且在该水平低于预定水平起预定区间(例如,0.05秒)之后结束的ALC固定区间71。在ALC固定区间71中,无论被摄体声音的声压的变化如何,都将信号放大水平固定为紧前的麦克风信号放大水平。利用根据在前学习区间64和在后学习区间66所预测的高质量声音替换振动生成区间121中的振动噪声。与第一实施例所述的图4B的不同之处在于在在前学习区间64中没有固定ALC水平。这是因为,不能预测振动检测单元111的信号生成时刻(振动生成区间)。在第二实施例中,在暂时存储记录声音的同时存储ALC水平。如果在在前学习区间64中ALC水平变化,则恢复ALC水平的变化并将该变化用于预测。
将参考图8B来解释该操作。在图8B中,横轴表示经过时间,并且纵轴表示声音的声压级或信号放大水平。在时间t-3时,生成被摄体声音121a。被摄体声音121a在区间131中瞬时变大。在这种情况下,ALC信号放大水平132在该区间中下降。然而,如上所述,即使被摄体声音恢复为原始的被摄体声音,增益调整单元41中的信号放大水平也不会快速恢复,而是以给定的时间常数恢复。由于该原因,如由声音133所示,以比实际的被摄体声音的水平低的水平记录区间131中的声音123。当用户对操作按钮进行操作或摩擦照相机时,发生振动(时间t1)。在振动生成区间121中,将振动声音叠加在被摄体声音中。当从振动检测单元111向声音增益控制单元47通知已经检测到振动时,声音增益控制单元47立即固定信号放大水平(时间t1)。声音增益控制单元47从时间t1起开始ALC固定区间71,并且通过考虑时间t2时所生成的振动平息之后的在后学习区间66(时间t3),继续ALC固定区间71,直到比在后学习区间66迟的时间t4为止。这通过阻止ALC水平在在后学习区间66中变化来提高声音预测精度。因此,在后学习区间66不受信号放大水平的变化影响,从而防止预测精度下降。
通常,在时间t1时生成振动之前,ALC水平不变化,因此即使在预测时直接使用在前学习区间64,预测精度也不会下降。然而,如图8B所示,在振动生成时间t1之前瞬时生成大的声音时,ALC水平变化。如果使用在前学习区间64中的声音,则预测精度下降。将解释针对该情况的措施。
如上所述,被摄体声音被暂时存储在存储器等中,经过噪声处理,并最终被记录。在第二实施例中,在暂时存储被摄体声音的同时,还同步存储ALC信号放大水平。在稍后进行预测处理之前,恢复暂时存储的信号水平的放大率。在图8B中,恢复信号水平134的波形与信号放大水平132的波形相反。将自时间135(ALC水平开始恢复的时间)起所记录的声音乘以恢复信号水平134。时间135之后的声音信号恢复为与时间t0之前的被摄体声压相同的水平。使用在前学习区间64中的恢复后的声压级的声音来预测振动生成区间121中的声音。可以防止预测信号的精度下降。
图9A和9B是用于解释根据第二实施例的数字照相机的操作的流程图。当数字照相机在运动图像拍摄时开始记录时,本处理开始。为了说明方便,图9A和9B的流程图示出第二实施例的说明所需的处理,并且没有示出其它的一般处理。与第一实施例中的附图标记相同的附图标记表示相同的功能步骤。
在步骤S901中,声音增益控制单元47判断它是否从振动检测单元111接收到表示已经检测到振动的信号。如果声音增益控制单元47已经接收到检测信号(已经发生振动),则处理进入步骤S902。结果,跳过步骤S503~S505,并且记录水平(ALC水平)固定。在第二实施例中,声音增益控制单元47检测来自振动检测单元111的信号,并开始ALC固定区间71。在振动检测单元111不再检测到振动之后经过包括学习区间66的时间段和预定余量时间段的时间段时,声音增益控制单元47结束ALC固定区间。可选地,照相机系统控制电路25可以基于由振动检测单元111进行的振动检测,生成表示ALC固定区间(振动生成区间121+学习区间66+余量时间段)的信号,并将该信号发送至声音增益控制单元47。
如果没有发生振动,则处理进入步骤S501。步骤S501以及S503~S505与第一实施例所述的步骤S501以及S503~S505相同。如果声音增益控制单元47已经接收到检测信号(已经发生振动),则在步骤S902中,声音处理电路26以所设置的ALC水平记录被摄体声音,并暂时存储该被摄体声音。与此同步地,声音处理电路26还暂时存储此时的放大水平(ALC水平)。暂时存储ALC水平的原因是,以同时存储的ALC水平修复由在前学习区间64中的ALC水平的变化所引起的声压的变化,并且使用在后学习区间66进行声音预测。
这是在包括噪声生成区间前后的学习区间的预定时间段中执行的增益改变控制,从而降低增益的变化对预测声音的生成的影响。如果需要,则暂时存储的声音经过以下要说明的噪声处理,并被记录为记录声音。在步骤S903中,判断是否已经接收到检测信号(已经发生振动)。如果在步骤S903中判断为已经接收到检测信号(已经发生振动),则处理进入步骤S905~S908以及S512,以执行噪声降低处理。如果在步骤S903中判断为对象区间不是噪声区间,则处理进入步骤S513。步骤S513中的处理与第一实施例所述的步骤S513中的处理相同。
如果在步骤S905中判断为开始预测,则处理进入步骤S906。该判断与图5B的步骤S509中的判断相同。在步骤S906中,使用与声音的记录同步地存储的ALC水平来恢复噪声区间前后的学习区间64和66中的声音信号。除了将恢复后的声音信号用于学习区间64以外,步骤S907和S908中的处理与步骤S510和S511中的处理相同。
注意,无需由数字照相机来执行图9B所示的处理(步骤S903~S513),并且可以由外部信息处理设备(例如,个人计算机)来处理由数字照相机所记录的声音信号。在这种情况下,需要将表示在步骤S504或S505中设置的记录水平、光圈驱动区间、振动生成区间和ALC固定区间的信号连同声音信号一起记录在记录介质上。外部信息处理设备基于与声音信号一起记录的并且表示记录水平、光圈驱动区间、振动生成区间和ALC固定区间的信号,进行噪声处理。
如上所述,根据第二实施例,在包括噪声生成区间之后的全体学习区间的时间段中禁止通过ALC功能改变增益。根据记录声音时使用的增益水平来恢复噪声生成区间之前的学习区间中的声音。因而,可以以较高的精度和较高的质量预测噪声生成区间中的声音。还可以对于由振动检测单元111进行的噪声区间的检测,如第二实施例一样设置ALC固定区间,并且对于可以预测其生成的噪声区间(例如,光圈的驱动),如第一实施例一样固定ALC水平。无需说明,可以结合第一实施例的技术来实践第二实施例的技术。
第三实施例
在第一和第二实施例中,当生成噪声时固定ALC水平。代替固定ALC水平,第三实施例通过在生成噪声的区间和随后的预定时间段内快速恢复ALC水平,来防止在后学习区间66的精度下降。
当记录如图10所示的被摄体声音时,在前学习区间64中的参考声音(要记录的声音61)与被摄体声音51a相同。因而,可以以高精度执行使用该参考声音的删除区间65(图3中的删除区间52)中的声音预测。作为对比,在后学习区间66中的参考声音(要记录的声音61)显著不同于被摄体声音51a。如上所述,这是因为缓慢地恢复ALC水平。因而,使用该参考声音的删除区间65中的声音预测精度大幅下降。为了防止该情况,第三实施例将包括用作光圈驱动区间或由振动检测单元111检测到的振动生成区间的噪声生成区间1503、以及在后学习区间66的区间设置为ALC快速恢复区间1501。如由信号放大水平波形1502所示,与传统的信号放大水平波形63相比较,ALC增益快速恢复。可以降低ALC水平的变化对在后学习区间66中的参考声音的影响。
因此,即使在在后学习区间66中,要记录的声音和被摄体声音也彼此大致一致。利用从在前学习区间64和在后学习区间66预测的高质量声音替换噪声生成区间1503中的噪声。
图11是根据第三实施例的噪声处理的流程图。当数字照相机在运动图像拍摄时开始记录时,该序列开始。为了说明方便,图11的流程图示出第三实施例的说明所需的处理,并且没有示出其它的一般处理。与第一和第二实施例中的附图标记相同的附图标记表示相同的功能步骤。
在第三实施例中,没有固定ALC水平,因此总是执行S501以及S503~S505中的记录水平的调整(ALC)。如果在步骤S901中振动检测单元111检测到振动,或者如果在步骤S1101中判断为对象区间是ALC快速恢复区间,则处理进入步骤S1102。注意,ALC快速恢复区间是与第一和第二实施例中的ALC固定区间相对应的时间段。在步骤S1102中,如果ALC水平变化,则声音处理电路26使ALC水平快速恢复为生成振动之前或驱动光圈之前、即ALC快速恢复区间之前的ALC水平。
噪声处理和声音记录与图9B中的噪声处理和声音记录相同。更具体地,在声音预测时,将通过使用所记录的ALC水平来校正声音信号所获得的声音信号用于学习区间64。对于学习区间66,由于通过快速恢复获得具有几乎恒定的增益的声音信号,因此直接使用暂时记录的声音信号。
如上所述,根据第三实施例,ALC功能在包括噪声生成区间之后的全体学习区间的时间段中快速恢复增益(使增益转变为较高水平)。通常,在噪声生成区间中,声压增大并且信号放大水平减小,并且在学习区间中恢复增益。通过将学习区间设置为快速恢复区间,减少学习区间中的增益的变化。可以以较高的精度和较高的质量来预测噪声生成区间中的声音。
其它实施例
还可以通过读出并执行存储装置上所记录的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等的装置)以及通过以下方法来实现本发明的方面,其中,由系统或设备的计算机通过例如读出并执行存储装置上所记录的程序以进行上述实施例的功能,来进行该方法的步骤。为了该目的,例如,经由网络或者从用作存储装置的各种类型的记录介质(例如,计算机可读介质)向计算机提供该程序。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改以及等同结构和功能。

Claims (10)

1.一种具有驱动单元的声音记录设备,包括:
声音收集部件,用于从输入声音生成声音信号;
检测部件,用于检测所述声音信号的水平;
调整部件,用于以与检测到的声音信号的水平相对应的放大率调整所述声音信号的水平;
处理部件,用于处理由所述调整部件调整后的声音信号,以防止由所述调整部件放大后的声音信号包含驱动所述驱动单元时生成的声音信号;以及
控制部件,用于控制所述驱动单元的驱动、所述调整部件和所述处理部件,
其中,所述控制部件控制所述处理部件,以将指示驱动所述驱动单元之后的预定时间段中的声音信号替换为根据所述预定时间段之后的第一时间段中的声音信号计算出的信号,并且在指示驱动所述驱动单元之后经过所述第一时间段之前,所述控制部件禁止所述调整部件改变放大率。
2.根据权利要求1所述的声音记录设备,其特征在于,所述预定时间段长于在驱动所述驱动单元时生成声音的时间段。
3.根据权利要求1所述的声音记录设备,其特征在于,还包括振动检测部件,所述振动检测部件用于检测所述声音记录设备的振动,
其中,所述预定时间段是所述振动检测部件检测到振动的时间段。
4.根据权利要求1所述的声音记录设备,其特征在于,所述驱动单元是驱动镜头的马达。
5.一种具有驱动单元的声音记录设备,包括:
声音收集部件,用于从输入声音生成声音信号;
检测部件,用于检测所述声音信号的水平;
调整部件,用于以与检测到的声音信号的水平相对应的放大率调整所述声音信号的水平;
处理部件,用于处理由所述调整部件调整后的声音信号,以防止由所述调整部件放大后的声音信号包含驱动所述驱动单元时生成的声音信号;以及
控制部件,用于控制所述驱动单元的驱动、所述调整部件和所述处理部件,
其中,所述控制部件控制所述处理部件,以将指示驱动所述驱动单元之后的预定时间段中的声音信号替换为根据所述预定时间段之后的第一时间段中的声音信号计算出的信号,并且所述控制部件控制所述调整部件,以与在其它时间段中相比,至少在所述第一时间段中更快地增加放大率。
6.根据权利要求5所述的声音记录设备,其特征在于,所述预定时间段长于在驱动所述驱动单元时生成声音的时间段。
7.根据权利要求5所述的声音记录设备,其特征在于,还包括振动检测部件,所述振动检测部件用于检测所述声音记录设备的振动,
其中,所述预定时间段是所述振动检测部件检测到振动的时间段。
8.根据权利要求5所述的声音记录设备,其特征在于,所述驱动单元是驱动镜头的马达。
9.一种具有驱动单元的声音记录设备中的声音记录方法,所述声音记录方法包括以下步骤:
声音收集步骤,用于从输入声音生成声音信号;
检测步骤,用于检测所述声音信号的水平;
调整步骤,用于以与检测到的声音信号的水平相对应的放大率调整所述声音信号的水平;
处理步骤,用于处理在所述调整步骤中调整后的声音信号,以防止在所述调整步骤中放大后的声音信号包含驱动所述驱动单元时生成的声音信号;以及
控制步骤,用于控制所述驱动单元的驱动以及所述调整步骤和所述处理步骤中的处理,
其中,在所述控制步骤中控制所述处理步骤,以将指示驱动所述驱动单元之后的预定时间段中的声音信号替换为根据所述预定时间段之后的第一时间段中的声音信号计算出的信号,并且在所述控制步骤中控制所述调整步骤,以在指示驱动所述驱动单元之后经过所述第一时间段之前禁止改变放大率。
10.一种具有驱动单元的声音记录设备中的声音记录方法,所述声音记录方法包括以下步骤:
声音收集步骤,用于从输入声音生成声音信号;
检测步骤,用于检测所述声音信号的水平;
调整步骤,用于以与检测到的声音信号的水平相对应的放大率调整所述声音信号的水平;
处理步骤,用于处理在所述调整步骤中调整后的声音信号,以防止在所述调整步骤中放大后的声音信号包含驱动所述驱动单元时生成的声音信号;以及
控制步骤,用于控制所述驱动单元的驱动以及所述调整步骤和所述处理步骤中的处理,
其中,在所述控制步骤中控制所述处理步骤,以将指示驱动所述驱动单元之后的预定时间段中的声音信号替换为根据所述预定时间段之后的第一时间段中的声音信号计算出的信号,并且在所述控制步骤中控制所述调整步骤,以与在其它时间段中相比,至少在所述第一时间段中更快地增加放大率。
CN201010240762.0A 2009-07-27 2010-07-27 声音记录设备和方法 Expired - Fee Related CN101969592B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009174740A JP5351644B2 (ja) 2009-07-27 2009-07-27 音声記録装置及び方法、ならびに撮像装置
JP2009-174740 2009-07-27

Publications (2)

Publication Number Publication Date
CN101969592A CN101969592A (zh) 2011-02-09
CN101969592B true CN101969592B (zh) 2014-01-29

Family

ID=43498073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010240762.0A Expired - Fee Related CN101969592B (zh) 2009-07-27 2010-07-27 声音记录设备和方法

Country Status (3)

Country Link
US (1) US8626500B2 (zh)
JP (1) JP5351644B2 (zh)
CN (1) CN101969592B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5656586B2 (ja) * 2010-11-26 2015-01-21 キヤノン株式会社 撮像装置とその制御方法並びに音声処理装置及び方法
JP2012203040A (ja) * 2011-03-23 2012-10-22 Canon Inc 音声信号処理装置、及びその制御方法
JP5930684B2 (ja) * 2011-12-01 2016-06-08 キヤノン株式会社 情報処理装置及び方法、並びにプログラム
JP6061476B2 (ja) 2012-03-02 2017-01-18 キヤノン株式会社 音声処理装置
JP6144945B2 (ja) * 2013-03-29 2017-06-07 キヤノン株式会社 信号処理装置及び方法
US9204065B2 (en) 2013-10-28 2015-12-01 Nokia Corporation Removing noise generated from a non-audio component
JP2015130547A (ja) * 2014-01-06 2015-07-16 パナソニックIpマネジメント株式会社 記録装置
US9667857B2 (en) * 2014-10-09 2017-05-30 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus with adjustable noise level reduction
CN105023602A (zh) * 2015-07-28 2015-11-04 苏州宏展信息科技有限公司 一种用于录音笔的音频测试电路
CN105139868A (zh) * 2015-07-28 2015-12-09 苏州宏展信息科技有限公司 一种用于录音笔的语音频率自动补偿控制方法
KR20180113415A (ko) * 2017-04-06 2018-10-16 김금철 소리를 적응적으로 증폭하여 소리를 분석하는 장치 및 사용방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270591A (ja) * 2005-03-24 2006-10-05 Nikon Corp 電子カメラ、データ再生装置およびプログラム
CN101038744A (zh) * 2005-11-28 2007-09-19 索尼株式会社 音频信号噪声降低设备和方法
JP2008077707A (ja) * 2006-09-19 2008-04-03 Sony Corp 記録装置、ノイズ除去方法、ノイズ除去装置
CN101184345A (zh) * 2006-11-14 2008-05-21 索尼株式会社 噪声降低装置、方法、程序以及噪声降低音频输出装置
CN101377944A (zh) * 2007-08-27 2009-03-04 索尼株式会社 信号处理设备、信号处理方法和程序
CN101437065A (zh) * 2007-11-13 2009-05-20 索尼爱立信移动通信日本株式会社 音频信号处理装置、音频信号处理方法和通信终端

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01286633A (ja) * 1988-05-13 1989-11-17 Fujitsu Ltd 音声agc装置
JP4186745B2 (ja) * 2003-08-01 2008-11-26 ソニー株式会社 マイクロホン装置、ノイズ低減方法および記録装置
JP3950843B2 (ja) * 2003-11-27 2007-08-01 キヤノン株式会社 電子機器及びビデオカメラ装置
US7433475B2 (en) * 2003-11-27 2008-10-07 Canon Kabushiki Kaisha Electronic device, video camera apparatus, and control method therefor
JP4218573B2 (ja) * 2004-04-12 2009-02-04 ソニー株式会社 ノイズ低減方法及び装置
JP5030250B2 (ja) * 2005-02-04 2012-09-19 キヤノン株式会社 電子機器及びその制御方法
JP4639907B2 (ja) * 2005-03-31 2011-02-23 カシオ計算機株式会社 撮像装置、音声記録方法及びプログラム
JP2008053802A (ja) * 2006-08-22 2008-03-06 Sony Corp 記録装置、ノイズ除去方法、ノイズ除去装置
JP2008211526A (ja) * 2007-02-26 2008-09-11 Nec Corp 音声入出力装置及び音声入出力方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270591A (ja) * 2005-03-24 2006-10-05 Nikon Corp 電子カメラ、データ再生装置およびプログラム
CN101038744A (zh) * 2005-11-28 2007-09-19 索尼株式会社 音频信号噪声降低设备和方法
JP2008077707A (ja) * 2006-09-19 2008-04-03 Sony Corp 記録装置、ノイズ除去方法、ノイズ除去装置
CN101184345A (zh) * 2006-11-14 2008-05-21 索尼株式会社 噪声降低装置、方法、程序以及噪声降低音频输出装置
CN101377944A (zh) * 2007-08-27 2009-03-04 索尼株式会社 信号处理设备、信号处理方法和程序
CN101437065A (zh) * 2007-11-13 2009-05-20 索尼爱立信移动通信日本株式会社 音频信号处理装置、音频信号处理方法和通信终端

Also Published As

Publication number Publication date
CN101969592A (zh) 2011-02-09
JP2011028061A (ja) 2011-02-10
JP5351644B2 (ja) 2013-11-27
US20110022403A1 (en) 2011-01-27
US8626500B2 (en) 2014-01-07

Similar Documents

Publication Publication Date Title
CN101969592B (zh) 声音记录设备和方法
CN101938602B (zh) 摄像装置
US20120026345A1 (en) Mechanical noise suppression apparatus, mechanical noise suppression method, program and imaging apparatus
JP2008263498A (ja) 風雑音低減装置、音響信号録音装置及び撮像装置
JP2008141484A (ja) 画像再生システム及び映像信号供給装置
JP5279629B2 (ja) 撮像装置
JP5538918B2 (ja) 音声信号処理装置、音声信号処理システム
JP5963430B2 (ja) 撮像装置、音声処理装置、及びそれらの制御方法
KR101457392B1 (ko) 촬상장치 및 음성 처리장치
JP2014200058A (ja) 電子機器
JP5645393B2 (ja) 音声信号処理装置
JP2009260718A (ja) 画像再生装置及び画像再生処理プログラム
JP6144945B2 (ja) 信号処理装置及び方法
CN102695027A (zh) 音频信号处理装置
JP2015104091A (ja) 風雑音低減装置を備えた音声処理装置及びそれを有する撮像装置
CN103297687B (zh) 音频处理设备及其控制方法
JP2013183346A (ja) 撮像装置及び音声処理装置
JP2013047710A (ja) 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体
JP2012165219A (ja) 撮像装置
JP5495753B2 (ja) 撮像装置
JP5061955B2 (ja) 動画再生装置、動画再生方法、及びプログラム
JP6877246B2 (ja) 音声処理装置及びその制御方法
JP2017199987A (ja) 撮像装置
JP2015198337A (ja) 音声処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP2012070212A (ja) 画像処理装置、画像処理システム及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140129

Termination date: 20200727