CN103856869A - 音效处理方法和摄像装置 - Google Patents
音效处理方法和摄像装置 Download PDFInfo
- Publication number
- CN103856869A CN103856869A CN201410089606.7A CN201410089606A CN103856869A CN 103856869 A CN103856869 A CN 103856869A CN 201410089606 A CN201410089606 A CN 201410089606A CN 103856869 A CN103856869 A CN 103856869A
- Authority
- CN
- China
- Prior art keywords
- target object
- sound wave
- acquisition device
- voice acquisition
- chronomere
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种音效处理方法和摄像装置,所述音效处理方法包括步骤:在摄入的预览图像上选定目标物体;确定所述目标物体分别与第一语音采集装置和第二语音采集装置的距离;根据所述距离,计算出所述目标物体的声波到达所述第一语音采集装置和第二语音采集装置的时间差;根据所述时间差,在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述目标物体的声波以进行相干性处理,以增强或抑制所述目标物体的声波。从而,通过对采集到的声波进行选择性的增强和抑制处理,实现了针对用户所需要的声音进行增强,对环境噪音以及不关心的声音进行忽略,设计更加人性化,用户可随心所欲的操控,极大的增强了录音效果,提升了用户体验。
Description
技术领域
本发明涉及摄像技术领域,尤其是涉及一种音效处理方法和摄像装置。
背景技术
随着摄像装置的普及性越来越高,技术越来越成熟,各种摄像装置和摄像功能层出不穷,除了专门摄像的相机和摄影机外,各种移动终端如手机、平板电脑等也具备摄像功能。除了对摄像功能的追求,用户对摄像的录音效果也越来越重视,要求越来越高。
现有的摄像装置在摄像应用中大多具备远场拾音的功能,该功能一般针对一个或者两个麦克风的信号进行分频段处理,在一定程度上能够提升渐远的目标物体的声波信号,但是同时也将周围的噪音信号放大了,因此录音效果不佳。
发明内容
本发明的主要目的在于提供一种音效处理方法和摄像装置,旨在增强录音效果,提升用户体验。
为达以上目的,本发明提出一种音效处理方法,包括步骤:
在摄入的预览图像上选定目标物体;
确定所述目标物体的空间位置,据此计算出所述目标物体分别与第一语音采集装置和第二语音采集装置的距离;
根据所述距离,计算出所述目标物体的声波到达所述第一语音采集装置和第二语音采集装置的时间差;
根据所述时间差,在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述目标物体的声波以进行相干性处理,以增强或抑制所述目标物体的声波。
优选地,所述在摄入的预览图像上选定目标物体的步骤之后还包括:追踪所述目标物体。
优选地,所述目标物体包括第一目标物体和第二目标物体,所述在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述目标物体的声波以进行相干性处理
包括:
在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述第一目标物体的声波以进行相干相长处理,以增强所述第一目标物体的声波;
在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述第二目标物体的声波以进行相干相消处理,以抑制所述第二目标物体的声波。
优选地,所述在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述目标物体的声波以进行相干性处理包括:
判断所述时间差是否大于零;
若是,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向右平移t个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向左平移t个时间单位,以实现相干相长而增强所述目标物体的声波;
若否,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向左平移t个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向右平移t个时间单位,以实现相干相长而增强所述目标物体的声波;
其中,所述t为时间差。
优选地,所述在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述目标物体的声波以进行相干性处理包括:
判断所述时间差是否大于零;
若是,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向右平移t+T/2个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向左平移t+T/2个时间单位,以实现相干相消而抑制所述目标物体的声波;
若否,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向左平移t+T/2个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向右平移t+T/2个时间单位,以实现相干相消而抑制所述目标物体的声波;
其中,所述t为时间差,T为所述目标物体的声波的周期。
本发明同时提出一种摄像装置,包括摄像单元、显示单元、语音采集单元和处理单元,其中:
摄像单元,用于摄入物体并生成图像数据;
显示单元,用于根据所述图像数据生成预览图像;
语音采集单元,用于采集声波,其至少包括第一语音采集装置和第二语音采集装置;
处理单元,用于在所述预览图像上选定目标物体,确定所述目标物体的空间位置,据此计算出所述目标物体分别与所述第一语音采集装置和第二语音采集装置的距离;根据所述距离,计算出所述目标物体的声波到达所述第一语音采集装置和第二语音采集装置的时间差;根据所述时间差,在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述目标物体的声波以进行相干性处理,以增强或抑制所述目标物体的声波。
优选地,所述处理单元还用于:追踪所述目标物体。
优选地,所述目标物体包括第一目标物体和第二目标物体,所述处理模块用于:
在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述第一目标物体的声波以进行相干相长处理,以增强所述第一目标物体的声波;
在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述第二目标物体的声波以进行相干相消处理,以抑制所述第二目标物体的声波。
优选地,所述分析处理模块用于:
判断所述时间差是否大于零;
若是,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向右平移t个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向左平移t个时间单位,以实现相干相长而增强所述目标物体的声波;
若否,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向左平移t个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向右平移t个时间单位,以实现相干相长而增强所述目标物体的声波;
其中,所述t为时间差。
优选地,所述分析处理模块用于:
判断所述时间差是否大于零;
若是,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向右平移t+T/2个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向左平移t+T/2个时间单位,以实现相干相消而抑制所述目标物体的声波;
若否,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向左平移t+T/2个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向右平移t+T/2个时间单位,以实现相干相消而抑制所述目标物体的声波;
其中,所述t为时间差,T为所述目标物体的声波的周期。
本发明所提供的一种音效处理方法,利用至少两语音采集装置采集目标物体的声波,根据声波相干相长原理,在时间轴上平移各语音采集装置采集到的目标物体的声波以使各波形相互叠加,极大的增强了目标物体的音效;根据声波相干相消原理,在时间轴上平移各语音采集装置采集到的另一目标物体的声波以使各波形相互抵消,以抑制另一目标物体的音效。通过选择性的增强和抑制处理,实现了针对用户所需要的声音进行增强,对环境噪音以及不关心的声音进行忽略,设计更加人性化,让用户可以随心所欲的操控,极大的增强了录音效果,提升了用户体验。
附图说明
图1是本发明的音效处理方法第一实施例的流程图;
图2是声波波形示意图;
图3是本发明的音效处理方法第二实施例的流程图;
图4是本发明的音效处理方法第三实施例的流程图;
图5是本发明的摄像装置一实施例的结构框图;
图6是图5中的处理单元的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参见图1,提出本发明的音效处理方法第一实施例,所述音效处理方法包括以下步骤:
步骤S101:在摄入的预览图像上选定目标物体
本实施例中选定目标物体的目的,是对目标物体发出的声波进行增强,以突出目标物体在视频中的音效。在摄像过程中,摄像装置可以自动在预览图像上选择一对焦点,进而将该对焦点锁定的物体选定为目标物体。或者,由用户在预览图像上选择至少一个物体,摄像装置将用户选择的物体作为目标物体。
步骤S102:确定目标物体分别与第一语音采集装置和第二语音采集装置的距离
本发明中的摄像装置包括至少两个语音采集装置,本实施例以两个语音采集装置为例,分别为第一语音采集装置和第二语音采集装置,所述语音采集装置可以是麦克风等装置。
摄像装置可以通过摄像头或者感应器来检测目标物体的空间位置,进而得到目标物体离摄像平面的垂直距离,最后根据第一和第二语音采集装置的固定位置以及目标物体离摄像平面的垂直距离,来确定目标物体与第一语音采集装置和第二语音采集装置的距离。
当摄像装置的摄像头为广角摄像头时,摄像装置还可以通过以下方式确定上述距离:
A、对目标物体的图像进行畸变校正处理而得到校正图像;
B、计算校正图像在整个预览图像的坐标系中相对参考边的角度,将校正图像中目标物体大小数值代入预置的距离计算公式,计算得到校正图像在整个预览图像的坐标系中相对原点的距离;
C、将目标物体的角度和距离分别作为极坐标的极角和极径数值,代入极坐标与直角坐标换算公式中,得到目标物体的直角坐标数值,获取目标物体的空间位置,进而得到目标物体离摄像平面的垂直距离;
D、根据第一和第二语音采集装置的固定位置以及目标物体离摄像平面的垂直距离,来确定目标物体与第一语音采集装置和第二语音采集装置的距离。
步骤S103:计算出目标物体的声波到达第一语音采集装置和第二语音采集装置的时间差t
以图2所示的周期性的正弦波为例,当目标物体距离第一和第二语音装置的距离不同时,其发出的声波到达第一和第二语音装置的时间也不同而具有时间差,从而第一和第二语音采集装置采集到的目标物体的声波的相位也会不同。可以根据公式t=(d1-d2)/v来计算时间差,其中t为目标物体的声波到达第一语音采集装置和第二语音采集装置的时间差,d1是目标物体与第一语音采集装置的距离,d2是目标物体与第二语音采集装置的距离,v为声波传播速度。
步骤S104:判断时间差t是否大于零
摄像装置对时间差的值进行判断,如果时间差大于零,则进入步骤S105;如果时间差小于等于零,则进入步骤S106。
步骤S105:在时间轴上将第一语音采集装置采集到的目标物体的声波向右平移t个时间单位
若时间差大于零,说明目标物体的声波最先到达第二语音采集装置,设第一语音采集装置采集到的目标物体的声波为第一声波,第二语音采集装置采集到的目标物体的声波为第二声波,则第一声波在时间轴上比第二声波落后t个时间单位,从而图2中X为第一声波,Y为第二声波。为了增强目标物体的声波,根据声波的相干相长原理,可以在时间轴上平移第一声波X,如向右平移t个时间单位,以使第一声波X和第二声波Y相互叠加,其中t为时间差,最终使得第一声波X和第二声波Y相干相长,相互叠加,使得目标物体的声波得以增强。
在某些实施例中,也可以将第二语音采集装置采集到的目标物体的声波向左平移t个时间单位,即将第二声波Y向左平移t个时间单位,同样可使第一声波X和第二声波Y相互叠加。
此外,还可以有其它移动方法,在此不再赘述,其宗旨是通过平移使得第一声波X和第二声波Y相互叠加,以实现相干相长而增强目标物体的声波,突出目标物体的音效。
步骤S106:在时间轴上将第一语音采集装置采集到的目标物体的声波向左平移t个时间单位
若时间差小于零,说明目标物体的声波最先到达第一语音采集装置,设第一语音采集装置采集到的目标物体的声波为第一声波,第二语音采集装置采集到的目标物体的声波为第二声波,则第一声波在时间轴上比第二声波超前t个时间单位,从而图2中Y为第一声波,X为第二声波。为了增强目标物体的声波,根据声波的相干相长原理,可以在时间轴上平移第一声波Y,如向左平移t个时间单位,以使第一声波Y和第二声波X相互叠加,其中t为时间差,最终使得第一声波Y和第二声波X相干相长,相互叠加,使得目标物体的声波得以增强。
在某些实施例中,也可以将第二语音采集装置采集到的目标物体的声波向右平移t个时间单位,即将第二声波X向右平移t个时间单位,同样可使第一声波Y和第二声波X相互叠加。
此外,还可以有其它移动方法,在此不再赘述,其宗旨是通过平移使得第一声波Y和第二声波X相互叠加,以实现相干相长而增强目标物体的声波,突出目标物体的音效。
本实施例以图2中的周期性的正弦波为例进行了说明,实际上有些声源发出的声波可能不是周期性的信号波,但同样可以利用本实施例的方法对其进行平移后增强其信号,在此不再一一举例赘述。
参见图3,提出本发明的音效处理方法第二实施例,所述音效处理方法包括以下步骤:
步骤S201:在摄入的预览图像上选定目标物体
本实施例中选定目标物体的目的,是对目标物体发出的声波进行抑制,以减弱甚至消除目标物体在视频中的音效。在摄像过程中,摄像装置可以自动在预览图像上选择一对焦点,进而将该对焦点以外的其它物体均选定为目标物体。或者,由用户在预览图像上选择至少一个物体,摄像装置将用户选择的物体作为目标物体。
步骤S202:确定目标物体分别与第一语音采集装置和第二语音采集装置的距离
步骤S203:计算出目标物体的声波到达第一语音采集装置和第二语音采集装置的时间差t
本实施中的步骤S202、步骤S203与第一实施例中的步骤S102、步骤S103相同,在此不再赘述。
步骤S204:判断时间差t是否大于零
摄像装置对时间差的值进行判断,如果时间差大于零,则进入步骤S205;如果时间差小于等于零,则进入步骤S206。
步骤S205:在时间轴上将第一语音采集装置采集到的目标物体的声波向右平移t+T/2个时间单位
本实施例中目标物体发出的声波必须是周期性的信号波。若时间差大于零,说明目标物体的声波最先到达第二语音采集装置,设第一语音采集装置采集到的目标物体的声波为第一声波,第二语音采集装置采集到的目标物体的声波为第二声波,则第一声波在时间轴上比第二声波落后t个时间单位,从而图2中X为第一声波,Y为第二声波。为了减弱目标物体的声波,根据声波的相干相消原理,可以在时间轴上平移第一声波X,如向右平移t+T/2个时间单位,以使第一声波X的波峰和波谷分别与第二声波Y的波谷和波峰相互对应,其能量相互抵消。其中t为时间差,T为目标物体的声波的周期,最终使得第一声波X和第二声波Y相干相消,相互抵消,使得目标物体的声波得以抑制。
在某些实施例中,也可以将第二语音采集装置采集到的目标物体的声波向左平移t+T/2个时间单位,即将第二声波Y向左平移t+T/2个时间单位,同样可使第一声波X和第二声波Y相互抵消。
此外,还可以有其它移动方法,在此不再赘述,其宗旨是通过平移使得第一声波X和第二声波Y相互抵消,以实现相干相消而抑制目标物体的声波,减弱甚至消除目标物体的音效。
步骤S206:在时间轴上将第一语音采集装置采集到的目标物体的声波向左平移t+T/2个时间单位
若时间差小于零,说明目标物体的声波最先到达第一语音采集装置,设第一语音采集装置采集到的目标物体的声波为第一声波,第二语音采集装置采集到的目标物体的声波为第二声波,则第一声波在时间轴上比第二声波超前t个时间单位,从而图2中Y为第一声波,X为第二声波。为了抑制目标物体的声波,根据声波的相干相消原理,可以在时间轴上平移第一声波Y,如向左平移t+T/2个时间单位,以使第一声波X的波峰和波谷分别与第二声波Y的波谷和波峰相互对应,其能量相互抵消。其中t为时间差,T为目标物体的声波的周期,最终使得第一声波Y和第二声波X相干相消,相互抵消,使得目标物体的声波得以抑制。
在某些实施例中,也可以将第二语音采集装置采集到的目标物体的声波向右平移t+T/2个时间单位,即将第二声波X向右平移t+T/2个时间单位,同样可使第一声波Y和第二声波X相互抵消。
此外,还可以有其它移动方法,在此不再赘述,其宗旨是通过平移使得第一声波Y和第二声波X相互抵消,以实现相干相消而抑制目标物体的声波,减弱设置消除目标物体的音效。
参见图4,提出本发明的音效处理方法第三实施例,所述音效处理方法包括以下步骤:
步骤S301:在摄入的预览图像上选定第一目标物体和第二目标物体,并追踪第一目标物体和第二目标物体
本实施例中的目标物体包括第一目标物体和第二目标物体,并拟对第一目标物体发出的声波进行增强,以突出目标物体在视频中的音效;对第二目标物体发出的声波进行抑制,以减弱甚至消除第二目标物体的声波,且第二目标物体发出的声波必须是周期性的信号波。在摄像过程中,摄像装置可以自动在预览图像上选择一对焦点,进而将该对焦点锁定的物体选定为第一目标物体,而将该对焦点以外的其它物体均选定为第二目标物体。或者,由用户在预览图像上选择至少一个物体,摄像装置将用户选择的物体作为第一目标物体,将其它物体作为第二目标物体。或者,由用户在预览图像上分别选择第一目标物体和第二目标物体。
在选定了第一目标物体和第二目标物体后,摄像装置还进一步对第一目标物体和第二目标物体进行追踪,从而即使目标物体处于运动状态,也可以实时更新其空间位置。
接下来的步骤S302~S304与步骤S305~S307同时进行。
步骤S302:确定第一目标物体分别与第一语音采集装置和第二语音采集装置的距离
步骤S303:计算出第一目标物体的声波到达第一语音采集装置和第二语音采集装置的时间差
本实施中的步骤S302、步骤S303与第一实施例中的步骤S102、步骤S103相同,在此不再赘述。
步骤S304:根据时间差,在时间轴上平移第一语音采集装置或第二语音采集装置采集到的第一目标物体的声波以进行相干相长处理
本步骤S304的相干相长处理方法与第一实施例中的步骤S104~步骤S106的处理方法相同,在此不再赘述。从而,通过相干相长处理,增强了第一目标物体的声波,突出了第一目标物体的音效。
步骤S305:确定第二目标物体分别与第一语音采集装置和第二语音采集装置的距离
步骤S306:计算出第二目标物体的声波到达第一语音采集装置和第二语音采集装置的时间差
本实施中的步骤S305、步骤S306与第一实施例中的步骤S102、步骤S103相同,在此不再赘述。
步骤S307:根据时间差,在时间轴上平移第一语音采集装置或第二语音采集装置采集到的第二目标物体的声波以进行相干相消处理
本步骤S307的相干相消处理方法与第二实施例中的步骤S204~步骤S206的处理方法相同,在此不再赘述。从而,通过相干相消处理,抑制了第二目标物体的声波,减弱甚至消除了第二目标物体的音效。最终,通过此消彼长的处理方法,进一步增强了第一目标物体的音效。
本发明的音效处理方法,利用至少两语音采集装置采集目标物体的声波,根据声波相干相长原理,在时间轴上平移各语音采集装置采集到的目标物体的声波以使各波形相互叠加,极大的增强了目标物体的音效;根据声波相干相消原理,在时间轴上平移各语音采集装置采集到的另一目标物体的声波以使各波形相互抵消,以抑制另一目标物体的音效。通过选择性的增强和抑制处理,实现了针对用户所需要的声音进行增强,对环境噪音以及不关心的声音进行忽略,设计更加人性化,让用户可以随心所欲的操控,极大的增强了录音效果,提升了用户体验。
参见图5,提出本发明的摄像装置一实施例,所述摄像装置是指所有具有摄像功能的终端设备,包括相机、手机、平板电脑等。所述摄像装置包括摄像单元110、显示单元120、语音采集单元130和处理单元140。
摄像单元110:用于利用摄像头摄入物体并生成图像数据。
显示单元120:用于根据图像数据生成预览图像。
语音采集单元130:用于采集外界的声波,其至少包括两个语音采集装置,本实施例以两个语音采集装置为例,分别为第一语音采集装置和第二语音采集装置,所述语音采集装置可以是麦克风等装置。
处理单元140:用于在预览图像上选定目标物体,确定目标物体的空间位置,据此计算出所述目标物体分别与第一语音采集装置和第二语音采集装置的距离;根据距离,计算出目标物体的声波到达第一语音采集装置和第二语音采集装置的时间差;根据时间差,在时间轴上平移第一语音采集装置或第二语音采集装置采集到的目标物体的声波以进行相干性处理,以增强或抑制目标物体的声波。
具体的,如图6所示,所述处理单元140包括接收模块141、定位模块142和分析处理模块143,其中:
接收模块141:用于接收各种操作指令,包括拍摄指令、目标物体选择指令等。
定位模块142:用于在预览图像上选定目标物体,确定目标物体分别与第一语音采集装置和第二语音采集装置的距离,并将该距离发送给分析处理模块143。
在某些实施例中,选定目标物体的目的,是对目标物体发出的声波进行增强,以突出目标物体在视频中的音效。摄像过程中,定位模块142可以自动在预览图像上选择一对焦点,进而将该对焦点锁定的物体选定为目标物体。或者,由用户发出目标物体选择指令在预览图像上选择至少一个物体,定位模块142根据目标物体选择指令将用户选择的物体作为目标物体。
在另一些实施例中,选定目标物体的目的,是对目标物体发出的声波进行抑制,以减弱甚至消除目标物体在视频中的音效,此时目标物体发出的声波必须是周期性的信号波。摄像过程中,定位模块142可以自动在预览图像上选择一对焦点,进而将该对焦点以外的其它物体均选定为目标物体。或者,由用户发出目标物体选择指令在预览图像上选择至少一个物体,定位模块142根据目标物体选择指令将用户选择的物体作为目标物体。
在一优选实施例中,所述目标物体包括第一目标物体和第二目标物体,拟对第一目标物体发出的声波进行增强,以突出目标物体在视频中的音效;对第二目标物体发出的声波进行抑制,以减弱甚至消除第二目标物体的声波,其中第二目标物体发出的声波为周期性的信号波。摄像过程中,定位模块142可以自动在预览图像上选择一对焦点,进而将该对焦点锁定的物体选定为第一目标物体,而将该对焦点以外的其它物体均选定为第二目标物体。或者,由用户发出目标物体选择指令在预览图像上选择至少一个物体,定位模块142根据目标物体选择指令将用户选择的物体作为第一目标物体,将其它物体作为第二目标物体。或者,由用户分别发布第一目标物体选择指令和第二目标物体选择指令在预览图像上分别选择第一目标物体和第二目标物体。
定位模块142选定目标物体后,则对目标物体的空间位置进行定位。定位模块142可以通过摄像头或者感应器来检测目标物体的空间位置,进而得到目标物体离摄像平面的垂直距离,最后根据第一和第二语音采集装置的固定位置以及目标物体离摄像平面的垂直距离,来确定目标物体与第一语音采集装置和第二语音采集装置的距离。
当摄像单元110的摄像头为广角摄像头时,定位模块142还可以通过计算目标物体在整个预览图像中的位置来获取目标物体的空间位置,进而确定目标物体与第一语音采集装置和第二语音采集装置的距离。其具体处理方法如前述音效处理方法第一实施例中的步骤S102所述,在此不再赘述。
进一步地,定位模块142在选定了目标物体后,还可以进一步追踪目标物体,从而即使目标物体处于运动状态,也可以实时更新其空间位置。
分析处理模块143:用于根据定位模块142确定的距离,计算出目标物体的声波到达第一语音采集装置和第二语音采集装置的时间差;根据时间差,在时间轴上平移第一语音采集装置或第二语音采集装置采集到的目标物体的声波以进行相干性处理,以增强或抑制目标物体的声波。
以图2所示的周期性的正弦波为例,当目标物体距离第一和第二语音装置的距离不同时,其发出的声波到达第一和第二语音装置的时间也不同而具有时间差,从而第一和第二语音采集装置采集到的目标物体的声波的相位也会不同。分析处理模块143可以根据公式t=(d1-d2)/v来计算时间差,其中t为目标物体的声波到达第一语音采集装置和第二语音采集装置的时间差,d1是目标物体与第一语音采集装置的距离,d2是目标物体与第二语音采集装置的距离,v为声波传播速度。
计算出目标物体的声波到达第一和第二语音采集装置的时间差后,若需要增强目标物体的声波,分析处理模块143则根据时间差,在时间轴上平移第一语音采集装置或第二语音采集装置采集到的目标物体的声波以进行相干相长处理。具体来说,分析处理模块143首先判断时间差是否大于零;若是,则在时间轴上将第一语音采集装置采集到的目标物体的声波向右平移t个时间单位,或将第二语音采集装置采集到的目标物体的声波向左平移t个时间单位;若否,则在时间轴上将第一语音采集装置采集到的目标物体的声波向左平移t个时间单位,或将第二语音采集装置采集到的目标物体的声波向右平移t个时间单位;其中,t为时间差。最终实现相干相长而增强目标物体的声波。具体处理方法如前述音效处理方法第一实施例中的步骤S104~步骤S106所述,在此不再赘述。
若需要抑制目标物体的声波,分析处理模块143则根据时间差,在时间轴上平移第一语音采集装置或第二语音采集装置采集到的目标物体的声波以进行相干相消处理。具体来说,分析处理模块143首先判断时间差是否大于零;若是,则在时间轴上将第一语音采集装置采集到的目标物体的声波向右平移t+T/2个时间单位,或将第二语音采集装置采集到的目标物体的声波向左平移t+T/2个时间单位;若否,则在时间轴上将第一语音采集装置采集到的目标物体的声波向左平移t+T/2个时间单位,或将第二语音采集装置采集到的所述目标物体的声波向右平移t+T/2个时间单位;其中,t为时间差,T为目标物体的声波的周期。最终实现相干相消而抑制目标物体的声波。具体处理方法如前述音效处理方法第二实施例中的步骤S204~步骤S206所述,在此不再赘述。
本发明的摄像装置,利用至少两语音采集装置采集目标物体的声波,根据声波相干相长原理,在时间轴上平移各语音采集装置采集到的目标物体的声波以使各波形相互叠加,极大的增强了目标物体的音效;根据声波相干相消原理,在时间轴上平移各语音采集装置采集到的另一目标物体的声波以使各波形相互抵消,以抑制另一目标物体的音效。通过选择性的增强和抑制处理,实现了针对用户所需要的声音进行增强,对环境噪音以及不关心的声音进行忽略,设计更加人性化,让用户可以随心所欲的操控,极大的增强了录音效果,提升了用户体验。
应当理解的是,以上仅为本发明的优选实施例,不能因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种音效处理方法,其特征在于,包括步骤:
在摄入的预览图像上选定目标物体;
确定所述目标物体的空间位置,据此计算出所述目标物体分别与第一语音采集装置和第二语音采集装置的距离;
根据所述距离,计算出所述目标物体的声波到达所述第一语音采集装置和第二语音采集装置的时间差;
根据所述时间差,在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述目标物体的声波以进行相干性处理,以增强或抑制所述目标物体的声波。
2.根据权利要求1所述的音效处理方法,其特征在于,所述在摄入的预览图像上选定目标物体的步骤之后还包括:追踪所述目标物体。
3.根据权利要求1或2所述的音效处理方法,其特征在于,所述目标物体包括第一目标物体和第二目标物体,所述在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述目标物体的声波以进行相干性处理包括:
在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述第一目标物体的声波以进行相干相长处理,以增强所述第一目标物体的声波;
在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述第二目标物体的声波以进行相干相消处理,以抑制所述第二目标物体的声波。
4.根据权利要求1或2所述的音效处理方法,其特征在于,所述在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述目标物体的声波以进行相干性处理包括:
判断所述时间差是否大于零;
若是,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向右平移t个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向左平移t个时间单位,以实现相干相长而增强所述目标物体的声波;
若否,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向左平移t个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向右平移t个时间单位,以实现相干相长而增强所述目标物体的声波;
其中,所述t为时间差。
5.根据权利要求1或2所述的音效处理方法,其特征在于,所述在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述目标物体的声波以进行相干性处理包括:
判断所述时间差是否大于零;
若是,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向右平移t+T/2个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向左平移t+T/2个时间单位,以实现相干相消而抑制所述目标物体的声波;
若否,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向左平移t+T/2个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向右平移t+T/2个时间单位,以实现相干相消而抑制所述目标物体的声波;
其中,所述t为时间差,T为所述目标物体的声波的周期。
6.一种摄像装置,其特征在于,包括摄像单元、显示单元、语音采集单元和处理单元,其中:
摄像单元,用于摄入物体并生成图像数据;
显示单元,用于根据所述图像数据生成预览图像;
语音采集单元,用于采集声波,其至少包括第一语音采集装置和第二语音采集装置;
处理单元,用于在所述预览图像上选定目标物体,确定所述目标物体的空间位置,据此计算出所述目标物体分别与所述第一语音采集装置和第二语音采集装置的距离;根据所述距离,计算出所述目标物体的声波到达所述第一语音采集装置和第二语音采集装置的时间差;根据所述时间差,在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述目标物体的声波以进行相干性处理,以增强或抑制所述目标物体的声波。
7.根据权利要求6所述的摄像装置,其特征在于,所述处理单元还用于:追踪所述目标物体。
8.根据权利要求6或7所述的摄像装置,其特征在于,所述目标物体包括第一目标物体和第二目标物体,所述处理模块用于:
在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述第一目标物体的声波以进行相干相长处理,以增强所述第一目标物体的声波;
在时间轴上平移所述第一语音采集装置或第二语音采集装置采集到的所述第二目标物体的声波以进行相干相消处理,以抑制所述第二目标物体的声波。
9.根据权利要求6或7所述的摄像装置,其特征在于,所述分析处理模块用于:
判断所述时间差是否大于零;
若是,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向右平移t个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向左平移t个时间单位,以实现相干相长而增强所述目标物体的声波;
若否,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向左平移t个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向右平移t个时间单位,以实现相干相长而增强所述目标物体的声波;
其中,所述t为时间差。
10.根据权利要求6或7所述的摄像装置,其特征在于,所述分析处理模块用于:
判断所述时间差是否大于零;
若是,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向右平移t+T/2个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向左平移t+T/2个时间单位,以实现相干相消而抑制所述目标物体的声波;
若否,则在时间轴上将所述第一语音采集装置采集到的所述目标物体的声波向左平移t+T/2个时间单位,或将所述第二语音采集装置采集到的所述目标物体的声波向右平移t+T/2个时间单位,以实现相干相消而抑制所述目标物体的声波;
其中,所述t为时间差,T为所述目标物体的声波的周期。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410089606.7A CN103856869A (zh) | 2014-03-12 | 2014-03-12 | 音效处理方法和摄像装置 |
PCT/CN2015/073079 WO2015135416A1 (zh) | 2014-03-12 | 2015-02-14 | 音效处理方法和摄像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410089606.7A CN103856869A (zh) | 2014-03-12 | 2014-03-12 | 音效处理方法和摄像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103856869A true CN103856869A (zh) | 2014-06-11 |
Family
ID=50863999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410089606.7A Pending CN103856869A (zh) | 2014-03-12 | 2014-03-12 | 音效处理方法和摄像装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN103856869A (zh) |
WO (1) | WO2015135416A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104616687A (zh) * | 2015-01-14 | 2015-05-13 | 小米科技有限责任公司 | 录音的方法及装置 |
WO2015135416A1 (zh) * | 2014-03-12 | 2015-09-17 | 努比亚技术有限公司 | 音效处理方法和摄像装置 |
CN108200515A (zh) * | 2017-12-29 | 2018-06-22 | 苏州科达科技股份有限公司 | 多波束会议拾音系统及方法 |
CN111610491A (zh) * | 2020-05-28 | 2020-09-01 | 东方智测(北京)科技有限公司 | 声源定位系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1645971A (zh) * | 2004-01-19 | 2005-07-27 | 宏碁股份有限公司 | 结合定位技术的麦克风阵列收音方法及其系统 |
CN101938602A (zh) * | 2009-06-26 | 2011-01-05 | 株式会社尼康 | 摄像装置 |
CN102239705A (zh) * | 2008-12-05 | 2011-11-09 | 音频专用集成电路公司 | 风噪声检测方法和系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2453117B (en) * | 2007-09-25 | 2012-05-23 | Motorola Mobility Inc | Apparatus and method for encoding a multi channel audio signal |
JP2012238964A (ja) * | 2011-05-10 | 2012-12-06 | Funai Electric Co Ltd | 音分離装置、及び、それを備えたカメラユニット |
CN103017730B (zh) * | 2012-11-30 | 2015-04-01 | 中兴通讯股份有限公司 | 一种单摄像头测距的方法和系统 |
CN103856869A (zh) * | 2014-03-12 | 2014-06-11 | 深圳市中兴移动通信有限公司 | 音效处理方法和摄像装置 |
-
2014
- 2014-03-12 CN CN201410089606.7A patent/CN103856869A/zh active Pending
-
2015
- 2015-02-14 WO PCT/CN2015/073079 patent/WO2015135416A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1645971A (zh) * | 2004-01-19 | 2005-07-27 | 宏碁股份有限公司 | 结合定位技术的麦克风阵列收音方法及其系统 |
CN102239705A (zh) * | 2008-12-05 | 2011-11-09 | 音频专用集成电路公司 | 风噪声检测方法和系统 |
CN101938602A (zh) * | 2009-06-26 | 2011-01-05 | 株式会社尼康 | 摄像装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015135416A1 (zh) * | 2014-03-12 | 2015-09-17 | 努比亚技术有限公司 | 音效处理方法和摄像装置 |
CN104616687A (zh) * | 2015-01-14 | 2015-05-13 | 小米科技有限责任公司 | 录音的方法及装置 |
CN108200515A (zh) * | 2017-12-29 | 2018-06-22 | 苏州科达科技股份有限公司 | 多波束会议拾音系统及方法 |
CN111610491A (zh) * | 2020-05-28 | 2020-09-01 | 东方智测(北京)科技有限公司 | 声源定位系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2015135416A1 (zh) | 2015-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110716180B (zh) | 一种基于人脸检测的音频定位方法及装置 | |
CN103856869A (zh) | 音效处理方法和摄像装置 | |
CN105679328A (zh) | 一种语音信号处理方法、装置及系统 | |
CN103366756A (zh) | 一种声音信号的接收方法及装置 | |
CN105812969A (zh) | 一种拾取声音信号的方法、系统及装置 | |
CN109640224B (zh) | 一种拾音方法及装置 | |
EP2882180A1 (en) | Control method, control apparatus and control device | |
CN102543096B (zh) | 对媒体文件播放过程中场景噪声进行抑制的方法与装置 | |
CN105446487A (zh) | 电子书翻页控制方法及装置 | |
CN105955292A (zh) | 一种控制飞行器飞行的方法、移动终端、飞行器及系统 | |
CN110602389B (zh) | 一种显示方法及电子设备 | |
EP2570966A3 (en) | Fast obstacle detection | |
CN107677992B (zh) | 移动侦测方法、装置和监控设备 | |
CN110322892B (zh) | 一种基于麦克风阵列的语音拾取系统和方法 | |
CN109524018A (zh) | 一种回声处理方法及设备 | |
CN112098943A (zh) | 一种可穿戴设备的定位方法和智能设备 | |
CN113596240A (zh) | 录音方法、装置、电子设备及计算机可读介质 | |
CN107450052B (zh) | 一种室内导航定位的方法、系统以及相关设备 | |
CN105681939A (zh) | 一种终端拾音控制方法、终端及终端拾音控制系统 | |
TWI579835B (zh) | 音效增益方法 | |
CN105389779A (zh) | 一种图像校正方法、装置及移动终端 | |
US10104489B2 (en) | Method for using a mobile device equipped with at least two microphones for determining the direction of loudspeakers in a setup of a surround sound system | |
US10152985B2 (en) | Method for recording in video chat, and terminal | |
CN115407272A (zh) | 超声信号定位方法及装置、终端、计算机可读存储介质 | |
JP2000193736A (ja) | 音響信号表示システム及びその音響信号表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140611 |