CN111883156B - 音频处理方法、装置、电子设备及存储介质 - Google Patents
音频处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111883156B CN111883156B CN202010712512.6A CN202010712512A CN111883156B CN 111883156 B CN111883156 B CN 111883156B CN 202010712512 A CN202010712512 A CN 202010712512A CN 111883156 B CN111883156 B CN 111883156B
- Authority
- CN
- China
- Prior art keywords
- audio signal
- microphone
- played
- sound
- echo cancellation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 230000005236 sound signal Effects 0.000 claims abstract description 487
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000009466 transformation Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Abstract
本申请公开了一种音频处理方法、装置、电子设备及存储介质,该音频处理方法应用于电子设备,电子设备包括扬声器、第一麦克风以及第二麦克风,第一麦克风设置于扬声器对应的箱体的腔体外,第二麦克风设置于箱体的腔体内。该音频处理方法包括:控制扬声器对待播放音频信号进行播放;获取第一麦克风在扬声器播放待播放音频信号时采集到的第一音频信号;获取第二麦克风在扬声器播放待播放音频信号时采集到的第二音频信号,并将第二音频信号作为用于回声消除的参考音频信号;根据获得的参考音频信号,对第一音频信号进行回声消除,获得回声消除后的第三音频信号。本方法可以较好地实现对麦克风采集到的声音中的回音进行消除。
Description
技术领域
本申请涉及音频处理技术领域,更具体地,涉及一种音频处理方法、装置、电子设备及存储介质。
背景技术
随着科技水平和生活水平的快速进步,电子设备(例如智能手机、平板电脑、智能手表等)的使用越来越广泛,功能越来越多,已经成为人们日常生活中的必备之一。电子设备中通常会设置有扬声器,以用于声音的播放,另外,还设置有麦克风,以用于声音的采集。在电子设备被使用时,会存在需要麦克风和扬声器协同工作的情况,例如,在进行远程通话时,需要扬声器和麦克风同时工作。
在麦克风和扬声器协同工作时,会出现麦克风采集到的声音中出现回声,回声是由于扬声器的声音反馈到麦克风而产生的。为保证采集到的音频的质量,电子设备通常会根据扬声器的前端输入的音频信号,对麦克风采集到的音频信号进行回声消除,但是仍然会存在回声消除不够彻底的情况。
发明内容
鉴于上述问题,本申请提出了一种音频处理方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种音频处理方法,应用于电子设备,所述电子设备包括扬声器、第一麦克风以及第二麦克风,所述第一麦克风设置于所述扬声器对应的箱体的腔体外,所述第二麦克风设置于所述箱体的腔体内,所述方法包括:控制所述扬声器对待播放音频信号进行播放;获取所述第一麦克风在所述扬声器播放所述待播放音频信号时采集到的第一音频信号;获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号;根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
第二方面,本申请实施例提供了一种音频处理装置,应用于电子设备,所述电子设备包括扬声器、第一麦克风以及第二麦克风,所述第一麦克风设置于所述扬声器对应的箱体的腔体外,所述第二麦克风设置于所述箱体的腔体内,所述装置包括:音频播放模块、第一信号获取模块、第二信号获取以及第三信号获取模块,其中,所述音频播放模块用于控制所述扬声器对待播放音频信号进行播放;所述第一信号获取模块用于获取所述第一麦克风在所述扬声器播放所述待播放音频信号时采集到的第一音频信号;所述第二信号获取模块用于获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号;所述第三信号获取模块用于根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
第三方面,本申请实施例提供了一种电子设备,包括:扬声器;第一麦克风;第二麦克风,所述第一麦克风设置于所述扬声器对应的箱体的腔体外,所述第二麦克风设置于所述箱体的腔体内;一个或多个处理器,所述扬声器、第一麦克风以及第二麦克风均与所述处理器连接;;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面提供的音频处理方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面提供的音频处理方法。
本申请提供的方案,通过在电子设备的扬声器对应的箱体的腔体外设置第一麦克风的基础上,在扬声器对应的箱体的腔体内设置第二麦克风,在需要麦克风与扬声器同时工作时,控制扬声器对待播放音频信号进行播放,获取第一麦克风在扬声器播放待播放音频信号时采集到的第一音频信号,获取第二麦克风在扬声器播放待播放音频信号时采集到的第二音频信号,并将第二音频信号作为用于回声消除的参考音频信号,然后根据获得的参考音频信号,对第一音频信号进行回声消除,获得回声消除后的第三音频信号,从而实现在扬声器的后端采集用于回声消除的参考音频信号,获得更为真实的参考音频信号,进行回声的消除,避免利用扬声器前端输入的音频信号进行回声消除,造成的回声消除不彻底的问题,另外,由于用于采集参考音频信号的麦克风与扬声器设置于同一腔体内,能避免采集到的音频信号中混杂外界产生的音频信号,使参考音频信号更为准确,从而进一步提升回声消除的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的一种回声消除方法的原理示意图。
图2示出了本申请实施例提供的电子设备的一种结构示意图。
图3示出了本申请实施例提供的扬声器对应的箱体的结构示意图。
图4示出了根据本申请一个实施例的音频处理方法流程图。
图5示出了本申请实施例提供的音频处理方法的原理示意图。
图6示出了根据本申请另一个实施例的音频处理方法流程图。
图7示出了根据本申请又一个实施例的音频处理方法流程图。
图8示出了根据本申请再一个实施例的音频处理方法流程图。
图9示出了根据本申请一个实施例的音频处理装置的一种框图。
图10是本申请实施例的用于执行根据本申请实施例的音频处理方法的电子设备的框图。
图11是本申请实施例的用于保存或者携带实现根据本申请实施例的音频处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
随着电子设备的发展,电子设备通常会被用户进行音频的播放、声音的采集等。在电子设备被使用时,会存在电子设备同时进行音频播放和声音的采集的情况,例如,电子设备以扬声器模式进行语音通话。在电子设备同时进行音频播放和声音的采集时,扬声器播放出的声音不可避免地被麦克风录到,设备播放出的声音被设备自身麦克风收集到,使麦克风采集到的声音中出现回声,这即为一种回声现象。因此,在电子设备中出现了回声消除的功能,回声消除功能会直接影响到语音通话、语音识别及语音唤醒等功能的性能。
在进行回声消除时,如下图1所示,Xn为系统外放的音频信号,经过扬声器11(SPK,Speaker)完成电声转换播放到空间中成为Rn。麦克风12(MIC,Microphone)将空间中的声音信号经过声电转换成为Sn,由于麦克风12与扬声器11空间距离不够远,因此麦克风12会一定程度上将Rn也录入Sn。也就是Sn中不仅包含用户声音信号Yn的信息,还包含一部分Rn的信息。为了将Sn中的Rn成分消除,这里通过回音消除器13(AEC,Acoustic EchoCancelling)实现。回音消除器13借助参考音信号(Ref.n),利用一定的消除回音算法对Sn进行处理,获得几乎不包含回音的音频信号Y′n。参考音Ref.n的主要作用是让回音消除器13知道自己的系统录音的时候,同时在播放什么。麦克风12录到的回音信号与原Xn及Ref.n相比除电声转换、声电转换导致的失真,声音从扬声器11传播到麦克风12的空间路径产生的延时等变化外,具有较高的相似性,因此参考音的引入,可以更好地让回音消除器13实现回音的消除。
发明人经过长时间的研究发现,由于一般音频播放通路音源后端会有音频DSP(数字信号处理,Digital Signal Process)、运放及功放等单元,这样会引入延迟和失真等问题,因此以这样的方式在最前级获得参考音,和扬声器实际播放的音频存在较大差异,会一程度上导致回音消除效果不佳、
针对上述问题,发明人提出了本申请实施例提供的音频处理方法、装置、电子设备以及存储介质,可以实现在扬声器的后端采集用于回声消除的参考音频信号,获得更为真实的参考音频信号,进行回声的消除,避免利用扬声器前端输入的音频信号进行回声消除,造成的回声消除不彻底的问题,另外,由于用于采集参考音频信号的麦克风与扬声器设置于同一腔体内,能避免采集到的音频信号中混杂外界产生的音频信号,使参考音频信号更为准确,从而进一步提升回声消除的效果。其中,具体的音频处理方法在后续的实施例中进行详细的说明。
下面对本申请实施例提供的音频处理方法的应用环境进行介绍。
请参阅图2,图2示出了本申请实施例提供的音频处理方法所应用的电子设备的结构示意图,电子设备100包括扬声器130、第一麦克风140以及第二麦克风150。其中,第一麦克风140设置于扬声器130对应的箱体131之外,第二麦克风150设置于该箱体131之内。第一麦克风140可以为电子设备100的主麦克风,用于采集外界的音频数据,第二麦克风150可以作为电子设备的辅助麦克风,用于采集用于消除回声的参考音。可以理解地,第二麦克风150与扬声器130处于同一箱体131内,可以相当于在扬声器130的箱体131内内置一个麦克风,第二麦克风150在用于采集参考音时,由于其设置于该箱体131内,因此其采集到的声音主要为扬声器130播放的声音,从而避免采集到声音中混杂外界声音,使得可以更加准确地采集到参考音。扬声器130的箱体131又称扬声器BOX(箱子),扬声器BOX(箱子)为扬声器130制作成的产品形态。当然,电子设备并不局限于图2所示的移动终端的产品形态,例如,电子设备也还可以为平板电脑、智能手表、智能音箱、耳机等,在此不做限定。
在一些实施方式中,请参阅图3,图3示出了扬声器对应的箱体的结构示意图,扬声器对应的箱体包括箱体131和扬声器130,扬声器130设置于箱体131内,且出音口朝向箱体131的腔体,扬声器工作时驱动振膜震动,进而带动空气震动,从而发出声音,并经过腔体内传播后通过箱体131的出音孔传出。并且,第二麦克风150内置于箱体131内,第二麦克风150的入音口151朝向扬声器130的振膜,并且第二麦克风150的入音口远离箱体131的出音孔132,且入音口151朝向的方向与第二麦克风150到出音孔152的方向之间的夹角大于预设角度,例如,大于30°,大于50°等。从而使得第二麦克风150在箱体131内具有指向性,从而获得较大的参考音信号,另外,第二麦克风150的入音口151与出音孔132远离,且朝向方向,与到出音孔132的方向之间的夹角大于一定夹角,从而避免第二麦克风150采集外界的声音,尽可能少的捕获箱体131以外的声音,使得第二麦克风150采集到的参考音更加准确。
下面对本申请实施例提供的音频处理方法进行详细介绍。
请参阅图4,图4示出了本申请一个实施例提供的音频处理方法的流程示意图。在具体的实施例中,所述音频处理方法应用于如图9所示的音频处理装置400以及配置有所述音频处理装置400的电子设备100(图10)。下面将以电子设备为例,说明本实施例的具体流程,当然,可以理解的,本实施例所应用的电子设备可以为智能手机、平板电脑、智能手表、智能眼镜、智能音箱、耳机等,在此不做限定。下面将针对图4所示的流程进行详细的阐述,所述音频处理方法具体可以包括以下步骤:
步骤S110:控制所述扬声器对待播放音频信号进行播放。
在本申请实施例中,电子设备在扬声器以及麦克风需要同时工作的场景中,可以对麦克风采集到的声音进行回声消除,从而使得麦克风采集到的声音中不包括回声,提升麦克风采集到的声音的质量。
在本申请实施例中,电子设备识别扬声器以及麦克风需要同时工作的场景中,以在处于扬声器以及麦克风需要同时工作的场景时,对采集到的声音进行回声消除。作为一种实施方式,电子设备可以识别运行的应用程序,在运行的应用程序为设定的应用程序时,可以确定处于扬声器以及麦克风需要同时工作的场景,其中,设定的应用程序可以为需求于扬声器以及麦克风需要同时工作的应用程序,例如语音通话的应用程序、语音识别的应用程序、可以进行语音控制的应用程序等,在此不做限定;作为另一种实施方式,电子设备可以获取当前运行的应用程序对扬声器以及麦克风的调用权限,如果当前运行的应用程序同时具有对扬声器以及麦克风的调用权限,则可以确定处于需求扬声器以及麦克风同时工作的场景。当然,电子设备识别需求扬声器以及麦克风同时工作的场景的具体方式可以不作为限定。
在本申请实施例中,电子设备在处于扬声器以及麦克风同时工作的场景时,电子设备可以控制扬声器对待播放音频信号进行播放。其中,待播放音频信号可以为电子设备的本地存储的音频文件对应的音频信号,例如播放本地音乐时对应的音频信号;待播放音频信号也可以为远端传输的音频信号,例如,在远程语音通话中,远端传输的通话语音对应的音频信号。当然,具体的待播放音频信号可以不作为限定。
步骤S120:获取所述第一麦克风在所述扬声器播放所述待播放音频信号时采集到的第一音频信号。
在本申请实施例中,电子设备在通过扬声器对待播放音频信号进行播放的同时,可以控制第一麦克风对声音进行采集,并将第一麦克风采集到的音频信号作为第一音频信号。其中,第一麦克风设置于扬声器对应的箱体外,主要用于采集需求采集的外界声音。
步骤S130:获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号。
在本申请实施例中,虽然第一麦克风主要用于采集需求采集的外界声音,但由于扬声器对待播放音频信号时,产生的声音也会不可避免地被第一麦克风录制,因此会使得第一麦克风采集到的声音中包含扬声器发出的声音,从而产生回声。因此,电子设备在扬声器与麦克风同时工作的场景中,对待播放音频信号进行播放的时,除了利用第一麦克风采集声音以外,还可以控制第二麦克风进行声音采集,并将第二麦克风采集到的音频信号作为第二音频信号。
在本申请实施例中,由于其设置于扬声器对应的箱体内,因此其采集到的声音主要为扬声器播放的声音,因此可以将第二音频信号作为用于进行回音消除参考音频信号。
在一些实施方式中,第二麦克风的入音口可以朝向扬声器的振膜,并且第二麦克风的入音口远离箱体的出音孔,且入音口朝向的方向与第二麦克风到出音孔的方向之间的夹角大于预设角度,例如,大于30°,大于50°等。从而避免第二麦克风采集到外界的声音,尽可能少的捕获箱体以外的声音,使得将第二麦克风采集到的第二音频信号作为参考音频信号,可以使得参考音频信号更为准确,进而使得回声消除的效果更佳。
步骤S140:根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
在本申请实施例中,电子设备在获得参考音频信号之后,则可以根据参考音频信号,对第一音频信号进行回声消除,从而获得回声消除后的音频信号,并将该音频信号作为第三音频信号,也就是用户需求采集的外接的声音对应的音频信号。
在一些实施方式中,电子设备可以对参考音频信号进行反向处理,获得反向处理后的参考音频信号,再将反向处理后的参考音频信号与第一音频信号进行叠加,从而使得第一音频信号中去除掉参考音频信号的部分,得到不包含参考音频信号的第三音频信号。具体地,可以利用回声消除器,根据参考音频信号对第一音频信号进行回声消除,从而获得回声消除后的第三音频信号,回声消除器可以包括取反模块以及加法器,取反模块用于对参考音频信号进行反向处理,并输入至加法器中,加法器将第一音频信号与方向处理后的参考音频信号叠加,最后输出经过回声消除后的第三音频信号。
请参阅图5,图5示出了本申请实施例提供的音频处理方法的原理示意图,系统音频Xn经过扬声器130完成电声转换,传递到第二麦克风150的声音为Rn1,传递到第一麦克风140的回音为Rn2,本申请实施例中,可以将第二麦克风采集到的音频信号Ref.n1作为参考音频信号,利用回音消除器160对第一麦克风采集到的音频信号Sn进行回音消除,获得经过回音消除后的音频信号Y’n。
在一些实施方式中,由于参考音频信号为第二麦克风采集到的音频信号,而第二麦克风与扬声器处于同一箱体,并且与扬声器之间的距离,相对第一麦克风与扬声器之间的距离较近,因此第二麦克风采集到的第二音频信号对应的响度,会大于第一麦克风采集到的音频信号中扬声器发出的声音对应的部分的响度。因此,电子设备在根据参考音频信号对第一音频信号进行回声消除时之前,还可以对参考音频信号的幅度进行缩小,以使得幅度缩小后的参考音频信号对应的音强,与第一麦克风采集到的音频信号中扬声器发出的声音对应的部分的音强相等,然后再根据幅度缩小后的参考音频信号,对第一音频信号进行回声消除,从而进一步提升回声消除的效果。其中,电子设备中可以预先存储有幅度缩小的比例,该比例可以预先通过实验获取。
在一些实施方式中,电子设备在根据确定出参考音频信号,对第一音频信号进行回声消除时,电子设备还可以根据待播放音频信号的音频类型,对参考音频信号进行处理。其中,音频类型可以根据播放场景而划分,例如,音频类型可以包括:语音类型、多媒体类型(例如音乐、视频)以及提示音类型。
进一步地,不同的音频类型对应的声音的平稳性不同,例如,语音类型和提示音类型对应的声音的平稳性较好,而多媒体类型对应的声音由于很多时候包含多种乐器声而具有多频率分量,且音调、响度等也忽高忽低,因此平稳性较差。在通过回声消除器进行回声消除时,可以利用回声消除器中的滤波器生成回声音频信号,然后将第一音频信号与回声音频信号相减,即利用反向处理后的回声音频信号与第一音频信号通过加法器相加,从而获得回声消除后的第三音频信号。
在通过滤波器根据参考音频信号生成回声音频信号时,可以根据不同音频类型的平稳性不同,而根据不同的音频类型,确定滤波器的滤波器系数。具体地,在待播放音频信号的音频类型为平稳性较好的音频类型时,例如,语音音频类型、提示音音频类型时,可以利用最小均方(LMS,Least Mean Squares)算法确定滤波器的滤波器系数,其中,由于最小均方算法具有良好的收敛性能,且具有更高的起始收敛速率、更小的权噪声和更大的抑噪能力,因此可以通过最小均方算法确定滤波器的滤波器系数,从而会使得滤波器对参考音频信号进行处理后,获得的回声音频信号用于回声消除的抑噪能力更好;而待播放音频信号的音频类型为平稳性较差的音频类型时,例如多媒体音频类型时,可以利用最小二乘(RLS,Recursive Least Squares)算法确定滤波器的滤波器系数,其中,由于最小二乘算法对非平稳信号适应性强,其滤波性能明显好于最小均方算法,采用最小二乘算法确定滤波器的滤波器系数,可以使得对参考音频信号进行处理后,获得的回声音频信号用于回声消除的适应能力更强。
本申请实施例提供的音频处理方法,实现在扬声器的后端采集用于回声消除的参考音频信号,获得更为真实的参考音频信号,进行回声的消除,避免扬声器和麦克风存在非线性的问题,导致播放的声音失真,进而造成利用扬声器前端输入的音频信号进行回声消除,但回声消除不彻底的问题。另外,由于用于采集参考音频信号的麦克风与扬声器设置于同一腔体内,能避免采集到的音频信号中混杂外界产生的音频信号,使参考音频信号更为准确,从而进一步提升回声消除的效果。
请参阅图6,图6示出了本申请另一个实施例提供的音频处理方法的流程示意图。该音频处理方法应用于上述电子设备,所述电子设备包括扬声器、第一麦克风以及第二麦克风,所述第一麦克风设置于所述扬声器对应的箱体的腔体外,所述第二麦克风设置于所述箱体的腔体内。下面将针对图6所示的流程进行详细的阐述,所述音频处理方法具体可以包括以下步骤:
步骤S210:控制所述扬声器对待播放音频信号进行播放。
步骤S220:获取所述第一麦克风在所述扬声器播放所述待播放音频信号时采集到的第一音频信号。
在本申请实施例中,步骤S210至步骤S220可以参阅前述实施例的内容,在此不再赘述。
步骤S230:获取所述待播放音频信号对应的声音音量作为第一声音音量。
在本申请实施例中,请再次参阅图5,如果在扬声器播放音频信号Xn时,此时外界产生声音,传递到第一麦克风140的声音信号为Yn1,同时外界的声音Yn2也会传递到第二麦克风150。而在使用第二麦克风150采集扬声器播放的声音,作为参考音时,需要第二麦克风150采集到的声音中尽可能只包含扬声器130播放的声音,而屏蔽掉外界的声音,使参考音更为准确,否则会出现参考音中包含过多的外界声音,导致需要采集的声音被误认为回声而被消除。
因此,电子设备可以确定待播放音频信号对应的音量,以确定扬声器播放的声音的音量是否较大,从而确定是否可以将第二麦克风采集到的音频信号作为参考音频信号。具体地,电子设备可以获取待播放音频信号对应的声音音量作为第一声音音量,其中,待播放音频信号对应的声音音量可以根据待播放音频信号的幅值确定;然后电子设备可以将第一声音音量与第一预设阈值进行比较,其中,第一预设阈值可以预先根据实验获取,并预先存储于电子设备,第一预设阈值的具体数值可以不作为限定,第一预设阈值用于确定待播放音频信号对应的音量是否较大,进而确定是否符合作为参考音的标准;在第一声音音量大于第一预设阈值时,则表示待播放音频信号对应的音量相对较大,即扬声器播放的声音的音量较大,可以作为参考音;在第一声音音量小于或等于第一预设阈值时,则表示待播放音频信号对应的音量相对较小,即扬声器播放的声音的音量较小,将第二麦克风采集到的音频信号作为参考音时,可能会使得参考音中包含过多的外界的声音,而导致后续需要采集的外界的声音误被消除的情况发生。
步骤S240:在所述第一声音音量大于第一预设阈值时,获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号。
在本申请实施例中,在第一声音音量大于第一预设阈值时,则表示待播放音频信号对应的音量相对较大,即扬声器播放的声音的音量较大,可以作为参考音,因此电子设备可以获取第二麦克风在扬声器播放待播放音频信号时采集到的第二音频信号,并将第二音频信号作为用于回声消除的参考音频信号。
步骤S250:在所述第一声音音量小于或等于所述第一预设阈值时,对所述待播放音频信号进行线性变换,并将获得的音频信号作为参考音频信号。
在本申请实施例中,第一声音音量小于或等于第一预设阈值时,将第二麦克风采集到的音频信号作为参考音时,可能会使得参考音中包含过多的外界的声音,而导致后续需要采集的外界的声音误被消除的情况发生,因此不能将第二麦克风采集到的声音作为参考音。在该情况下,电子设备可以利用扬声器前端的待播放音频信号,对第一音频信号进行回声消除。
在一些实施方式中,电子设备在根据待播放音频信号,对第一音频信号进行回声消除时,可以对待播放音频信号进行线性变换,并将线性变换后获得的音频信号作为参考音频信号。其中,对待播放音频信号进行线性变换可以是,预先获取待播放音频信号进行增益处理的增益值,根据增益值对待播放音频信号分配对应的系数,再乘上待播放音频信号的幅值后得到的音频信号作为参考音频信号。
获取增益处理的增益值可以是获取在扬声器的前端经增益放大器,对待播放音频信号进行增益放大的系数,上述增益放大的系数可以是音频通道对应增益放大器中预设的增益放大参数。根据音频通道对应的增益值对待播放音频信号分配对应的系数可理解为:根据增益值的大小分配对应的系数,其中,电子设备中预先存储有不同大小的增益值与对应系数的关系映射表,根据该关系映射表,即可获取到以上确定的增益值所对应的系数。
可以理解地,通过以上方式,对待播放音频信号进行线性处理,可以获取到更为真实的用于播放的音频信号,避免参考音频信号与实际播放的音频信号存在较大差异的问题,提升回音消除的效果。
步骤S260:根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
在本申请实施例中,步骤S260可以参阅前述实施例的内容,在此不再赘述。
本申请实施例提供的音频处理方法,在获取用于回声消除的参考音时,通过判断扬声器实际播放的音频信号的音量是否大于第一预设阈值,以确定第二麦克风采集到的音频信号是否可以作为参考音频信号,在音量大于第一预设阈值时,才在扬声器的后端采集用于回声消除的参考音频信号,获得更为真实的参考音频信号,进行回声的消除,避免扬声器和麦克风存在非线性的问题,导致播放的声音失真,进而造成利用扬声器前端输入的音频信号进行回声消除,但回声消除不彻底的问题。由于用于采集参考音频信号的麦克风与扬声器设置于同一腔体内,能避免采集到的音频信号中混杂外界产生的音频信号,使参考音频信号更为准确,从而进一步提升回声消除的效果。另外,在音量小于或等于第一预设阈值时,利用待播放音频信号进行回声消除,避免了对第一麦克风采集到的音频信号中的外界的声音进行误消除的情况,进一步提升了回声消除的效果。
请参阅图7,图7示出了本申请又一个实施例提供的音频处理方法的流程示意图。该音频处理方法应用于上述电子设备,所述电子设备包括扬声器、第一麦克风以及第二麦克风,所述第一麦克风设置于所述扬声器对应的箱体的腔体外,所述第二麦克风设置于所述箱体的腔体内。下面将针对图7所示的流程进行详细的阐述,所述音频处理方法具体可以包括以下步骤:
步骤S310:控制所述扬声器对待播放音频信号进行播放。
步骤S320:获取所述第一麦克风在所述扬声器播放所述待播放音频信号时采集到的第一音频信号。
在本申请实施例中,步骤S310至步骤S320可以参阅前述实施例的内容,在此不再赘述。
步骤S330:获取所述第一音频信号对应的声音音量作为第二声音音量。
在使用第二麦克风采集扬声器播放的声音,作为参考音时,需要第二麦克风采集到的声音中尽可能只包含扬声器播放的声音,而屏蔽掉外界的声音,使参考音更为准确,否则会出现参考音中包含过多的外界声音,导致需要采集的声音被误认为回声而被消除。由于第一麦克风主要是采集外界的声音,因此电子设备可以确定第一麦克风采集到的音频信号对应的声音音量是否过大,进而确定当前是否适合选用第二麦克风采集到的音频信号作为参考音频信号。具体地,电子设备可以获取第一音频信号对应的声音音量作为第二声音音量,其中,第一音频信号对应的声音音量可以根据第一音频信号的幅值确定;然后电子设备可以将第二声音音量与第二预设阈值进行比较,其中,第二预设阈值可以预先根据实验获取,并预先存储于电子设备,第二预设阈值的具体数值可以不作为限定,第二预设阈值用于确定第一音频信号对应的音量是否较大,进而确定是否适合选用第二麦克风采集到的音频信号作为参考音频信号;在第二声音音量小于第一预设阈值时,则表示第一音频信号对应的音量相对较小,即第一麦克风采集到的声音的音量较小,外界的声音不会过大而导致第二麦克风采集到较多的外界的声音,因此可以选用第二麦克风采集到的音频信号作为参考音频信号;在第二声音音量大于或等于第二预设阈值时,则第一麦克风采集到的声音的音量较大,此时将第二麦克风采集到的音频信号作为参考音时,可能会使得参考音中包含过多的外界的声音,而导致后续需要采集的外界的声音误被消除的情况发生。
步骤S340:在所述第二声音音量小于第二预设阈值时,获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号。
在本申请实施例中,在第二声音音量小于第一预设阈值时,则表示第一音频信号对应的音量相对较小,即第一麦克风采集到的声音的音量较小,外界的声音不会过大而导致第二麦克风采集到较多的外界的声音,因此可电子设备可以获取第二麦克风在扬声器播放待播放音频信号时采集到的第二音频信号,并将第二音频信号作为用于回声消除的参考音频信号。
步骤S350:在所述第二声音音量小于或等于所述第二预设阈值时,对所述待播放音频信号进行线性变换,并将获得的音频信号作为参考音频信号。
在本申请实施例中,在第二声音音量大于或等于第二预设阈值时,则第一麦克风采集到的声音的音量较大,此时将第二麦克风采集到的音频信号作为参考音时,可能会使得参考音中包含过多的外界的声音,而导致后续需要采集的外界的声音误被消除的情况发生,因此电子设备不能第二麦克风采集到的声音作为参考音。在该情况下,电子设备可以利用扬声器前端的待播放音频信号,对第一音频信号进行回声消除。具体地,电子设备可以对待播放音频信号进行线性变换,并将线性变换后获得的音频信号作为参考音频信号。电子设备可以对待播放音频信号进行线性变换的方式可以参阅前述实施例的内容,在此不再赘述。
步骤S360:根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
在本申请实施例中,步骤S360可以参阅前述实施例的内容,在此不再赘述。
本申请实施例提供的音频处理方法,在获取用于回声消除的参考音时,通过判断第一麦克风采集到的音频信号的音量是否大于第一预设阈值,以确定第二麦克风采集到的音频信号是否可以作为参考音频信号,在音量大小于第二预设阈值时,才在扬声器的后端采集用于回声消除的参考音频信号,获得更为真实的参考音频信号,进行回声的消除,避免扬声器和麦克风存在非线性的问题,导致播放的声音失真,进而造成利用扬声器前端输入的音频信号进行回声消除,但回声消除不彻底的问题。由于用于采集参考音频信号的麦克风与扬声器设置于同一腔体内,能避免采集到的音频信号中混杂外界产生的音频信号,使参考音频信号更为准确,从而进一步提升回声消除的效果。另外,在音量大于或等于第二预设阈值时,利用待播放音频信号进行回声消除,避免了对第一麦克风采集到的音频信号中的外界的声音进行误消除的情况,进一步提升了回声消除的效果。
请参阅图8,图8示出了本申请再一个实施例提供的音频处理方法的流程示意图。该音频处理方法应用于上述电子设备,所述电子设备包括扬声器、第一麦克风以及第二麦克风,所述第一麦克风设置于所述扬声器对应的箱体的腔体外,所述第二麦克风设置于所述箱体的腔体内。下面将针对图8所示的流程进行详细的阐述,所述音频处理方法具体可以包括以下步骤:
步骤S410:控制所述扬声器对待播放音频信号进行播放。
步骤S420:获取所述第一麦克风在所述扬声器播放所述待播放音频信号时采集到的第一音频信号。
在本申请实施例中,步骤S410至步骤S420可以参阅前述实施例的内容,在此不再赘述。
步骤S430:获取所述待播放音频信号对应的声音音量作为第三声音音量,以及获取所述第一音频信号对应的声音音量作为第四声音音量。
步骤S440:获取所述第四声音音量与所述第三声音音量之间的差值。
在使用第二麦克风采集扬声器播放的声音,作为参考音时,需要第二麦克风采集到的声音中尽可能只包含扬声器播放的声音,而屏蔽掉外界的声音,使参考音更为准确,否则会出现参考音中包含过多的外界声音,导致需要采集的声音被误认为回声而被消除。因此,电子设备可以获取待播放音频信号对应的声音音量作为第三声音音量,即获取扬声器播放的声音的音量,并且获取第一音频信号对应的声音音量作为第四声音音量,然后计算第四声音音量与第三声音音量之间的差值,并确定该差值是否过大,进而确定当前是否适合选用第二麦克风采集到的音频信号作为参考音频信号。具体地,电子设备在确定出第四声音音量与第三声音音量之间的差值之后,可以将该差值与第三预设阈值进行比较,其中,其中,第三预设阈值可以预先根据实验获取,并预先存储于电子设备,第三预设阈值的具体数值可以不作为限定,第三预设阈值用于确定第一音频信号对应的音量是否相比待播放音频信号对应的音量过大,进而确定是否适合选用第二麦克风采集到的音频信号作为参考音频信号。可以理解地,在以上差值小于第三预设阈值时,表示第一音频信号对应的音量相比待播放音频信号对应的音量不会过大,外界的声音不会过大而导致第二麦克风采集到较多的外界的声音,因此可以选用第二麦克风采集到的音频信号作为参考音频信号;在以上差值大于或等于第三预设阈值时,表示第一音频信号对应的音量相比待播放音频信号对应的音量过大,此时将第二麦克风采集到的音频信号作为参考音时,可能会使得参考音中包含过多的外界的声音,而导致后续需要采集的外界的声音误被消除的情况发生。
步骤S450:在所述差值小于第三预设阈值时,获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号。
在本申请实施例中,在以上差值小于第三预设阈值时,则表示表示第一音频信号对应的音量相比待播放音频信号对应的音量不会过大,外界的声音不会过大而导致第二麦克风采集到较多的外界的声音,因此可电子设备可以获取第二麦克风在扬声器播放待播放音频信号时采集到的第二音频信号,并将第二音频信号作为用于回声消除的参考音频信号。
步骤S460:在所述差值大于等于所述第三预设阈值时,对所述待播放音频信号进行线性变换,并将获得的音频信号作为参考音频信号。
在本申请实施例中,在以上差值大于或等于第三预设阈值时,表示第一音频信号对应的音量相比待播放音频信号对应的音量过大,此时将第二麦克风采集到的音频信号作为参考音时,可能会使得参考音中包含过多的外界的声音,而导致后续需要采集的外界的声音误被消除的情况发生,此电子设备不能第二麦克风采集到的声音作为参考音。在该情况下,电子设备可以利用扬声器前端的待播放音频信号,对第一音频信号进行回声消除。具体地,电子设备可以对待播放音频信号进行线性变换,并将线性变换后获得的音频信号作为参考音频信号。电子设备可以对待播放音频信号进行线性变换的方式可以参阅前述实施例的内容,在此不再赘述。
步骤S470:根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
在本申请实施例中,步骤S470可以参阅前述实施例的内容,在此不再赘述。
在一些实施方式中,如果当前不适合利用第二麦克风采集的第二音频信号作为参考音频信号时,还可以通过预先建立的扬声器模型,对扬声器播放的声音进行模拟,然后根据模拟的播放的声音,利用预先建立的麦克风模型第一麦克风采集到的回声进行模拟,从而得到用于回声消除的参考信号。其中,扬声器模型可以预先根据大量样本音频信号训练得到,其中,样本音频信号可以包括输入音频信号,以及扬声器根据输入音频信号输出的输出声音对应的音频信号,该扬声器模型可以为神经网络模型等,在此不做限定;麦克风模型也可以预先根据大量样本音频信号训练得到,其中,用于训练麦克风模型的样本音频信号可以包括输入声音对应的音频信号,以及第一麦克风采集到的音频信号,该麦克风模型也可以为神经网络模型等,在此不做限定。从而,如果当前不适合利用第二麦克风采集的第二音频信号作为参考音频信号时,电子设备可以将待播放音频信号输入扬声器模型,再将扬声器模型输出的音频信号,输出至麦克风模型,将麦克风模型输出的音频信号作为参考音频信号,使得在将扬声器前端的音频信号作为参考音频信号时,能够模拟出待播放音频信号在播放过程和麦克风采集过程中的失真,使得参考音频信号更加准确,进而在利用参考音频信号进行回声消除时,回声消除的效果更佳。需要说明的是,该实施方式也可以用于前述实施例中。
本申请实施例提供的音频处理方法,在获取用于回声消除的参考音时,通过判断第一麦克风采集到的音频信号的音量与待播放音频信号的音量的差值是否大于第三预设阈值,以确定第二麦克风采集到的音频信号是否可以作为参考音频信号,在该差值小于第三预设阈值时,才在扬声器的后端采集用于回声消除的参考音频信号,获得更为真实的参考音频信号,进行回声的消除,避免扬声器和麦克风存在非线性的问题,导致播放的声音失真,进而造成利用扬声器前端输入的音频信号进行回声消除,但回声消除不彻底的问题。由于用于采集参考音频信号的麦克风与扬声器设置于同一腔体内,能避免采集到的音频信号中混杂外界产生的音频信号,使参考音频信号更为准确,从而进一步提升回声消除的效果。另外,在该差值大于或等于第三预设阈值时,利用待播放音频信号进行回声消除,避免了对第一麦克风采集到的音频信号中的外界的声音进行误消除的情况,进一步提升了回声消除的效果。
请参阅图9,其示出了本申请实施例提供的一种音频处理装置400的结构框图。该音频处理装置400应用上述的电子设备,所述电子设备包括扬声器、第一麦克风以及第二麦克风,所述第一麦克风设置于所述扬声器对应的箱体的腔体外,所述第二麦克风设置于所述箱体的腔体内。该音频处理装置400包括:音频播放模块410、第一信号获取模块420、第二信号获取430以及第三信号获取模块440。其中,所述音频播放模块410用于控制所述扬声器对待播放音频信号进行播放;所述第一信号获取模块420用于获取所述第一麦克风在所述扬声器播放所述待播放音频信号时采集到的第一音频信号;所述第二信号获取模块430用于获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号;所述第三信号获取模块440用于根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
在一些实施方式中,该音频处理装置400还可以包括第一音量获取模块。第一音量获取模块可以用于在获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号之前,获取所述待播放音频信号对应的声音音量作为第一声音音量;在所述第一声音音量大于第一预设阈值时,第二信号获取模块430获取所述第一麦克风在所述扬声器播放所述待播放音频信号时采集到的第一音频信号。
在该实施方式中,该音频处理装置400还可以包括:第一信号变换模块。第一信号变换模块用于在所述第一声音音量小于或等于所述第一预设阈值时,对所述待播放音频信号进行线性变换,并将获得的音频信号作为参考音频信号;第三信号获取模块440还可以用于根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
在一些实施方式中,该音频处理装置400还可以包括第二音量获取模块。第二音量获取模块用于在所述获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号之前,获取所述第一音频信号对应的声音音量作为第二声音音量。在所述第一声音音量大于第一预设阈值时,第二信号获取模块430获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号。
在该实施方式中,该音频处理装置400还可以包括第二信号处理模块。第二信号处理模块用于在所述第二声音音量小于或等于所述第二预设阈值时,对所述待播放音频信号进行线性变换,并将获得的音频信号作为参考音频信号。第三信号获取模块440还可以用于根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
在一些实施方式中,该音频处理装置400还可以包括第三音量获取模块以及差值获取模块。第三音量获取模块用于在所述获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号之前,获取所述待播放音频信号对应的声音音量作为第三声音音量,以及获取所述第一音频信号对应的声音音量作为第四声音音量;第二信号获取模块430可以用于在所述差值小于第三预设阈值时,获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号。
在该实施方式中,在该实施方式中,该音频处理装置400还可以包括第三信号处理模块。第三信号处理模块用于在所述差值大于或等于所述第三预设阈值时,对所述待播放音频信号进行线性变换,并将获得的音频信号作为参考音频信号;第三信号获取模块430还可以用于根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
在一些实施方式中,所述第二麦克风的入音口朝向所述扬声器,所述入音口远离所述箱体的出音孔,且所述入音口朝向的方向与所述第二麦克风到所述出音孔的方向之间的夹角大于预设角度。
在一些实施方式中,第三信号获取模块440可以具体用于:获取所述待播放音频信号对应的音频类型;根据所述音频类型调整滤波器的滤波器系数;通过所述滤波器根据所述参考音频信号,生成回声音频信号;将所述第一音频信号与所述回声音频信号相减,获得回声消除后的第三音频信号。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
综上所述,本申请提供的方案,通过在电子设备的扬声器对应的箱体的腔体外设置第一麦克风的基础上,在扬声器对应的箱体的腔体内设置第二麦克风,在需要麦克风与扬声器同时工作时,控制扬声器对待播放音频信号进行播放,获取第一麦克风在扬声器播放待播放音频信号时采集到的第一音频信号,获取第二麦克风在扬声器播放待播放音频信号时采集到的第二音频信号,并将第二音频信号作为用于回声消除的参考音频信号,然后根据参考音频信号,对第一音频信号进行回声消除,获得回声消除后的第三音频信号,从而实现在扬声器的后端采集用于回声消除的参考音频信号,获得更为真实的参考音频信号,进行回声的消除,避免利用扬声器前端输入的音频信号进行回声消除,造成的回声消除不彻底的问题,另外,由于用于采集参考音频信号的麦克风与扬声器设置于同一腔体内,能避免采集到的音频信号中混杂外界产生的音频信号,使参考音频信号更为准确,从而进一步提升回声消除的效果。
请参考图10,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、智能手表、智能眼镜、智能音箱、耳机等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件:处理器110、存储器120、扬声器130、第一麦克风140、第二麦克风150以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。所述第一麦克风140设置于所述扬声器130对应的箱体的腔体外,所述第二麦克风150设置于所述箱体的腔体内,所述扬声器130、第一麦克风140以及第二麦克风150均与所述处理器110连接。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图11,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (11)
1.一种音频处理方法,其特征在于,应用于电子设备,所述电子设备包括扬声器、第一麦克风以及第二麦克风,所述第一麦克风设置于所述扬声器对应的箱体的腔体外,所述第二麦克风设置于所述箱体的腔体内,所述方法包括:
控制所述扬声器对待播放音频信号进行播放;
获取所述第一麦克风在所述扬声器播放所述待播放音频信号时采集到的第一音频信号;
获取所述第一音频信号对应的声音音量作为第二声音音量;
在所述第二声音音量小于第二预设阈值时,获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号;
根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
2.根据权利要求1所述的方法,其特征在于,在所述获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号之前,所述方法还包括:
获取所述待播放音频信号对应的声音音量作为第一声音音量;
在所述第一声音音量大于第一预设阈值时,执行所述获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号的步骤。
3.根据权利要求2所述的方法,其特征在于,在所述获取所述待播放音频信号对应的声音音量作为第一声音音量之后,所述方法还包括:
在所述第一声音音量小于或等于所述第一预设阈值时,对所述待播放音频信号进行线性变换,并将获得的音频信号作为参考音频信号;
执行所述根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号的步骤。
4.根据权利要求1所述的方法,其特征在于,在所述获取所述第一音频信号对应的声音音量作为第二声音音量之后,所述方法还包括:
在所述第二声音音量大于或等于所述第二预设阈值时,对所述待播放音频信号进行线性变换,并将获得的音频信号作为参考音频信号;
执行所述根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号的步骤。
5.根据权利要求1所述的方法,其特征在于,在所述获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号之前,所述方法还包括:
获取所述待播放音频信号对应的声音音量作为第三声音音量,以及获取所述第一音频信号对应的声音音量作为第四声音音量;
获取所述第四声音音量与所述第三声音音量之间的差值;
在所述差值小于第三预设阈值时,执行所述获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号的步骤。
6.根据权利要求5所述的方法,其特征在于,在所述获取所述第四声音音量与所述第三声音音量之间的差值之后,所述方法还包括:
在所述差值大于或等于所述第三预设阈值时,对所述待播放音频信号进行线性变换,并将获得的音频信号作为参考音频信号;
执行所述根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述第二麦克风的入音口朝向所述扬声器,所述入音口远离所述箱体的出音孔,且所述入音口朝向的方向与所述第二麦克风到所述出音孔的方向之间的夹角大于预设角度。
8.根据权利要求1-6任一项所述的方法,其特征在于,所述根据所述参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号,包括:
获取所述待播放音频信号对应的音频类型;
根据所述音频类型调整滤波器的滤波器系数;
通过所述滤波器根据所述参考音频信号,生成回声音频信号;
将所述第一音频信号与所述回声音频信号相减,获得回声消除后的第三音频信号。
9.一种音频处理装置,其特征在于,应用于电子设备,所述电子设备包括扬声器、第一麦克风以及第二麦克风,所述第一麦克风设置于所述扬声器对应的箱体的腔体外,所述第二麦克风设置于所述箱体的腔体内,所述装置包括:音频播放模块、第一信号获取模块、第二信号获取模块以及第三信号获取模块,其中,
所述音频播放模块用于控制所述扬声器对待播放音频信号进行播放;
所述第一信号获取模块用于获取所述第一麦克风在所述扬声器播放所述待播放音频信号时采集到的第一音频信号;
所述第二信号获取模块用于获取所述第二麦克风在所述扬声器播放所述待播放音频信号时采集到的第二音频信号,并将所述第二音频信号作为用于回声消除的参考音频信号;
所述第三信号获取模块用于根据获得的参考音频信号,对所述第一音频信号进行回声消除,获得回声消除后的第三音频信号。
10.一种电子设备,其特征在于,包括:
扬声器;
第一麦克风;
第二麦克风,所述第一麦克风设置于所述扬声器对应的箱体的腔体外,所述第二麦克风设置于所述箱体的腔体内;
一个或多个处理器,所述扬声器、第一麦克风以及第二麦克风均与所述处理器连接;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-8任一项所述的方法。
11.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010712512.6A CN111883156B (zh) | 2020-07-22 | 2020-07-22 | 音频处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010712512.6A CN111883156B (zh) | 2020-07-22 | 2020-07-22 | 音频处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111883156A CN111883156A (zh) | 2020-11-03 |
CN111883156B true CN111883156B (zh) | 2023-04-07 |
Family
ID=73155287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010712512.6A Active CN111883156B (zh) | 2020-07-22 | 2020-07-22 | 音频处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111883156B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109817235B (zh) * | 2018-12-12 | 2024-05-24 | 深圳市潮流网络技术有限公司 | 一种VoIP设备的回声消除方法 |
CN113014978A (zh) * | 2021-02-18 | 2021-06-22 | 四川长虹电器股份有限公司 | 提高电视远场语音激活率的方法、计算机设备、存储介质 |
CN113096678B (zh) * | 2021-03-31 | 2024-06-25 | 康佳集团股份有限公司 | 一种语音回声消除方法、装置、终端设备及存储介质 |
CN113178203B (zh) * | 2021-04-23 | 2022-11-04 | 歌尔股份有限公司 | 一种回声消除方法、系统、音频设备及可读存储介质 |
CN113763978B (zh) * | 2021-04-25 | 2024-05-03 | 腾讯科技(深圳)有限公司 | 语音信号处理方法、装置、电子设备以及存储介质 |
CN113421578B (zh) * | 2021-06-02 | 2024-05-17 | 广州小鹏智慧出行科技有限公司 | 音频处理方法、装置、电子设备及存储介质 |
CN113345458A (zh) * | 2021-06-16 | 2021-09-03 | 歌尔股份有限公司 | 回声消除方法、装置、设备及存储介质 |
CN113411698B (zh) * | 2021-06-21 | 2022-11-25 | 歌尔科技有限公司 | 音频信号处理方法及智能音箱 |
CN113965801A (zh) * | 2021-10-11 | 2022-01-21 | Oppo广东移动通信有限公司 | 播放控制方法、装置以及电子设备 |
CN114071220B (zh) * | 2021-11-04 | 2024-01-19 | 深圳Tcl新技术有限公司 | 音效调节方法、装置、存储介质及电子设备 |
CN114124911B (zh) * | 2021-11-25 | 2024-05-10 | 腾讯音乐娱乐科技(深圳)有限公司 | 直播回声的消除方法、计算机可读存储介质及电子设备 |
CN114143667A (zh) * | 2021-11-30 | 2022-03-04 | 深圳Tcl新技术有限公司 | 音量调节方法、存储介质及电子设备 |
CN117880696B (zh) * | 2022-10-12 | 2024-07-16 | 广州开得联软件技术有限公司 | 混音方法、装置、计算机设备以及存储介质 |
CN116013346A (zh) * | 2023-01-03 | 2023-04-25 | 深圳市东明炬创电子股份有限公司 | 一种回音消除方法、装置、设备和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104519212A (zh) * | 2013-09-27 | 2015-04-15 | 华为技术有限公司 | 一种消除回声的方法及装置 |
CN105450880A (zh) * | 2015-11-12 | 2016-03-30 | 广东欧珀移动通信有限公司 | 一种语音信号的处理方法和装置 |
CN207560317U (zh) * | 2017-10-23 | 2018-06-29 | 广东思派康电子科技有限公司 | 一种智能音箱的回声消除改善装置 |
CN109040500A (zh) * | 2018-08-28 | 2018-12-18 | 歌尔科技有限公司 | 回声消除方法、装置、耳机设备及计算机可读存储介质 |
US10622004B1 (en) * | 2018-08-20 | 2020-04-14 | Amazon Technologies, Inc. | Acoustic echo cancellation using loudspeaker position |
CN111356058A (zh) * | 2018-12-20 | 2020-06-30 | 深圳市冠旭电子股份有限公司 | 一种回声消除方法、装置及智能音箱 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4432916B2 (ja) * | 2006-03-03 | 2010-03-17 | ソニー株式会社 | 音声処理装置 |
EP3295681B1 (en) * | 2015-05-15 | 2021-06-30 | Harman International Industries, Inc. | Acoustic echo cancelling system and method |
US20190387368A1 (en) * | 2018-06-14 | 2019-12-19 | Motorola Solutions, Inc | Communication device providing half-duplex and pseudo full-duplex operation using push-to-talk switch |
-
2020
- 2020-07-22 CN CN202010712512.6A patent/CN111883156B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104519212A (zh) * | 2013-09-27 | 2015-04-15 | 华为技术有限公司 | 一种消除回声的方法及装置 |
CN105450880A (zh) * | 2015-11-12 | 2016-03-30 | 广东欧珀移动通信有限公司 | 一种语音信号的处理方法和装置 |
CN207560317U (zh) * | 2017-10-23 | 2018-06-29 | 广东思派康电子科技有限公司 | 一种智能音箱的回声消除改善装置 |
US10622004B1 (en) * | 2018-08-20 | 2020-04-14 | Amazon Technologies, Inc. | Acoustic echo cancellation using loudspeaker position |
CN109040500A (zh) * | 2018-08-28 | 2018-12-18 | 歌尔科技有限公司 | 回声消除方法、装置、耳机设备及计算机可读存储介质 |
CN111356058A (zh) * | 2018-12-20 | 2020-06-30 | 深圳市冠旭电子股份有限公司 | 一种回声消除方法、装置及智能音箱 |
Non-Patent Citations (2)
Title |
---|
Bayesian Model Selection for Nonlinear Acoustic Echo Cancellation;Halimeh, M.M.;《2019 27th European Signal Processing Conference (EUSIPCO)》;20191231;1-5 * |
面向数字语音通信的音质增强算法研究;朱霜霜;《中国优秀硕士学位论文全文数据库信息科技辑》;20200630;I136-178 * |
Also Published As
Publication number | Publication date |
---|---|
CN111883156A (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111883156B (zh) | 音频处理方法、装置、电子设备及存储介质 | |
US11251763B2 (en) | Audio signal adjustment method, storage medium, and terminal | |
CN110970057B (zh) | 一种声音处理方法、装置与设备 | |
CN109360562B (zh) | 回声消除方法、装置、介质以及语音唤醒方法和设备 | |
CN108076226B (zh) | 一种通话质量调整的方法、移动终端及存储介质 | |
CN108630219B (zh) | 回声抑制音频信号特征跟踪的处理系统、方法及装置 | |
WO2019033986A1 (zh) | 声音播放器件的检测方法、装置、存储介质及终端 | |
CN111356058B (zh) | 一种回声消除方法、装置及智能音箱 | |
US20140257802A1 (en) | Signal processing device, signal processing method, and storage medium | |
CN104980337A (zh) | 一种音频处理的性能提升方法及装置 | |
CN110956976B (zh) | 一种回声消除方法、装置、设备及可读存储介质 | |
CN111583950B (zh) | 一种音频处理方法、装置、电子设备及存储介质 | |
CN113241085B (zh) | 回声消除方法、装置、设备及可读存储介质 | |
US20190221226A1 (en) | Electronic apparatus and echo cancellation method applied to electronic apparatus | |
JP2024507916A (ja) | オーディオ信号の処理方法、装置、電子機器、及びコンピュータプログラム | |
CN109215672B (zh) | 一种声音信息的处理方法、装置及设备 | |
CN111988704B (zh) | 声音信号处理方法、装置以及存储介质 | |
CN113411698B (zh) | 音频信号处理方法及智能音箱 | |
CN113517000A (zh) | 回声消除的测试方法、终端以及存储装置 | |
CN110517682A (zh) | 语音识别方法、装置、设备及存储介质 | |
CN111083250A (zh) | 移动终端及其降噪方法 | |
CN114648996A (zh) | 音频数据处理方法和装置、语音交互方法、设备和芯片、音箱、电子设备及存储介质 | |
CN113612881B (zh) | 基于单移动终端的扬声方法、装置及存储介质 | |
CN113763945B (zh) | 一种语音唤醒方法、装置、设备及存储介质 | |
CN113470677B (zh) | 音频处理方法、装置以及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |