CN109961797B - 一种回声消除方法、装置以及电子设备 - Google Patents

一种回声消除方法、装置以及电子设备 Download PDF

Info

Publication number
CN109961797B
CN109961797B CN201711422895.8A CN201711422895A CN109961797B CN 109961797 B CN109961797 B CN 109961797B CN 201711422895 A CN201711422895 A CN 201711422895A CN 109961797 B CN109961797 B CN 109961797B
Authority
CN
China
Prior art keywords
echo
time delay
echo cancellation
value
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711422895.8A
Other languages
English (en)
Other versions
CN109961797A (zh
Inventor
陈石平
熊波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201711422895.8A priority Critical patent/CN109961797B/zh
Publication of CN109961797A publication Critical patent/CN109961797A/zh
Application granted granted Critical
Publication of CN109961797B publication Critical patent/CN109961797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

本申请公开了一种回声消除方法,包括:基于回声时延初始值对音频数据进行回声消除,获得效果评价参数;确定所述效果评价参数对应的回声时延调整规则;按照所述回声时延调整规则,对所述回声时延初始值进行调整,得到回声时延估计值;利用所述回声时延估计值,对音频数据进行回声消除。所述回声消除方法在进行回声消除处理过程中,对回声时延初始值的调整更加便捷,从而使基于回声时延估计值进行的回声消除处理更加准确,提升回声消除的处理效果。

Description

一种回声消除方法、装置以及电子设备
技术领域
本申请涉及通信领域,具体涉及一种回声消除方法。本申请同时涉及一种回声消除装置。
背景技术
在语音通话过程中,如附图1所示,远端设备通过麦克风采集到用户讲话的声音后,通过通信线路以音频数据的形式传递到本端设备,通过扬声器播放出来,但本端设备在播放的过程中同时也会采集用户讲话的声音,会同时采集到用户讲话的声音和扬声器播放的声音形成的混合信号,形成的混合信号通过通信线路被传递给远端设备;类似的,远端设备也会同时采集到用户讲话的声音和扬声器播放的声音形成的混合信号,形成的混合信号被传递至本端设备。可见,不管是本端设备还是远端设备,通过扬声器播放的混合信号不仅包括对方用户讲话的声音,还包括本方用户讲话的声音,即形成“回声”,回声的产生不仅对通话质量造成影响,严重的情况下还可能引起“啸叫”现象,严重干扰通话,因此,如何消除回声语音通话过程的干扰成为一个重要的问题。
目前,WebRTC提供的回声消除算法如附图2所示,其中,远端传递的音频数据送入本端设备,本端设备扬声器播放时间为T1,扬声器播放的声音经过空气传播,传入麦克风被采集到的时间为T0,麦克风采集到声音并转化为音频数据的时间为T2,所以播放的音频数据和被采集到有回声的音频数据的时间差(回声时延)为:T0+T1+T2,一般而言,T1、T2为几到几十毫秒甚至几百毫秒的时间,麦克风与扬声器之间的距离不会超过0.1m,可计算出声音从扬声器传输到麦克风所需的时间(T0)不会超过0.294ms,T0作为毫秒级以下的时间相对于软件处理音频数据的时间可忽略不计,因此,可将T1与T2之和作为回声时延的时间。
一台设备如果能找到合适的回声时延,那么这个设备再做回声消除处理就比较容易实现,回声消除算法中对回声时延非常敏感,如果回声时延的值设置不好,则回声就很难消除,而实际当中T1和T2的值与设备密切相关,每一个设备的扬声器的播放延迟和麦克风的采集延迟都是不一样的,这就需要用户通过手动适配的方式为每一台设备设置不同的回声时延值,但是设备的种类和型号太多,尤其是移动终端、可穿戴设备等,新信号的设备不断涌现,因此通过手动适配的方式为设备设置回声时延存在一定的局限性。
发明内容
本申请提供一种回声消除方法,以解决现有技术存在的缺陷。本申请同时涉及一种回声消除装置。
本申请提供一种回声消除方法,包括:
基于回声时延初始值对音频数据进行回声消除,获得效果评价参数;
确定所述效果评价参数对应的回声时延调整规则;
按照所述回声时延调整规则,对所述回声时延初始值进行调整,得到回声时延估计值;
利用所述回声时延估计值,对音频数据进行回声消除。
可选的,所述利用所述回声时延估计值,对音频数据进行回声消除步骤执行后,执行下述步骤:
判断对音频数据进行回声消除后获得的效果评价参数是否超出对应的参数阈值范围,若是,返回执行所述确定所述回声消除获得的效果评价参数对应的回声时延调整规则步骤。
可选的,所述按照所述回声时延调整规则,对所述回声时延初始值进行调整,得到回声时延估计值,采用如下方式实现:
根据所述回声时延调整规则对所述回声时延初始值进行调整;
利用调整后的回声时延初始值对音频数据进行回声消除;
判断对音频数据进行回声消除结束后获得的效果评价参数是否满足递归结束条件,若是,结束递归,并将递归结束时采用的回声时延初始值作为所述回声时延估计值;若否,返回执行所述根据所述回声时延调整规则对所述回声时延初始值进行调整子步骤。
可选的,所述根据所述回声时延调整规则对所述回声时延初始值进行调整子步骤执行后,执行如下操作:
判断调整后的回声时延初始值是否小于回声时延上限值,若是,执行所述利用调整后的回声时延初始值对音频数据进行回声消除子步骤;
若否,在音频数据的第一个信号采样点前插入音频片段;
利用调整后回声时延初始值对插入所述音频片段的音频数据进行回声消除;
其中,所述音频片段的时长数值小于或者等于所述回声时延上限值对应的时长值。
可选的,所述利用调整后回声时延初始值对插入所述音频片段的音频数据进行回声消除子步骤执行后,执行如下操作:
判断对插入所述音频片段的音频数据进行回声消除结束后获得的效果评价参数是否满足所述递归结束条件,若是,结束递归,并将递归结束时采用的回声时延初始值作为所述回声时延估计值;若否,返回执行所述在音频数据的第一个信号采样点前插入音频片段子步骤。
可选的,所述递归过程中每次回声消除所针对音频数据的采样时间点不同,前一次回声消除所针对音频数据的采样时间点早于后一次回声消除所针对音频数据的采样时间点。
可选的,所述基于所述回声时延初始值进行回声消除所针对音频数据的采样时间点,早于所述递归过程中第一次回声消除所针对音频数据的采样时间点;且所述递归过程中最后一次回声消除所针对音频数据的采样时间点,早于利用所述回声时延估计值进行回声消除所针对音频数据的采样时间点。
可选的,所述效果评价参数,包括下述至少一项:回声时延最优估计值与回声时延初始值的回声时延差值,所述回声时延最优估计值的偏差范围,以及回声消除效果参考值。
可选的,所述递归结束条件包括:所述回声时延差值、所述回声时延最优估计值的偏差范围和/或所述回声消除效果参考值处于各自对应的阈值范围内。
可选的,所述基于回声时延初始值对音频数据进行回声消除,获得效果评价参数步骤执行后,且所述确定所述效果评价参数对应的回声时延调整规则步骤执行前,执行下述步骤:
判断对音频数据进行回声消除后获得的所述回声时延差值、所述回声时延最优估计值的偏差范围和/或所述回声消除效果参考值是否超出各自对应的阈值范围,若是,执行所述确定所述回声消除获得的效果评价参数对应的回声时延调整规则步骤;若否,则利用所述回声时延初始值对音频数据进行回声消除。
可选的,所述回声时延调整规则,包括:回声时延差值小于0,则将回声时延初始值向逼近所述回声时延最优估计值的趋势减小;回声时延差值大于或者等于0且小于第一时延差值阈值,则按照第一增大幅度向逼近所述回声时延最优估计值的趋势增大回声时延初始值;回声时延差值大于或者等于所述第一时延差值阈值且小于第二时延差值阈值,则按照第二增大幅度向逼近所述回声时延最优估计值的趋势增大回声时延初始值;和/或,回声时延差值大于或者等于第二时延差值阈值,则按照第三增大幅度向逼近所述回声时延最优估计值的趋势增大回声时延初始值。
可选的,所述第一增大幅度对应的增量小于所述第二增大幅度对应的增量,且所述第二增大幅度对应的增量小于所述第三增大幅度对应的增量。
可选的,所述回声消除方法基于回声消除算法实现;其中,所述效果评价参数是由所述回声消除算法对音频数据进行回声消除后生成的。
本申请还提供一种回声消除装置,包括:
第一回声消除单元,用于基于回声时延初始值对音频数据进行回声消除,获得效果评价参数;
回声时延调整规则确定单元,用于确定所述效果评价参数对应的回声时延调整规则;
回声时延初始值调整单元,用于按照所述回声时延调整规则,对所述回声时延初始值进行调整,得到回声时延估计值;
第二回声消除单元,用于利用所述回声时延估计值,对音频数据进行回声消除。
可选的,所述回声消除装置,包括:
效果评价参数判断单元,用于判断对音频数据进行回声消除后获得的效果评价参数是否超出对应的参数阈值范围,若是,运行所述回声时延调整规则确定单元、所述回声时延初始值调整单元以及所述第二回声消除单元。
本申请提供的所述回声消除方法,包括:基于回声时延初始值对音频数据进行回声消除,获得效果评价参数;确定所述效果评价参数对应的回声时延调整规则;按照所述回声时延调整规则,对所述回声时延初始值进行调整,得到回声时延估计值;利用所述回声时延估计值,对音频数据进行回声消除。
所述回声消除方法在进行回声消除处理过程中,根据针对音频数据进行回声消除后获得的效果评价参数,对回声消除处理所使用的回声时延初始值进行调整,从而使利用调整后的回声时延估计值对音频数据进行回声消除处理时获得的效果评价参数更加符合预期,所述回声消除方法通过自适应的方式调整回声时延初始值,并将回声时延初始值向进行回声消除处理获得的效果更加准确的方向调整,对回声时延初始值的调整更加便捷,同时也使在调整后的回声时延估计值基础上进行的回声消除处理的效果更加准确,提升回声消除的处理效果。
附图说明
附图1是现有技术提供的一种回声现象的示意图;
附图2是现有技术提供的一种回声消除算法的示意图;
附图3是本申请提供的一种回声消除方法实施例的处理流程图;
附图4是本申请提供的一种回声消除装置实施例的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其他方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
本申请提供一种回声消除方法,本申请还提供一种回声消除装置。以下分别结合本申请提供的实施例的附图逐一进行详细说明。
本申请提供的一种回声消除方法实施例如下:
参照附图3,其示出了本申请提供的一种回声消除方法实施例的处理流程图。
步骤S301,基于回声时延初始值对音频数据进行回声消除,获得效果评价参数。
在回声消除处理的过程中,关键在于确定回声时延,如果能够确定回声时延,在确定回声时延的基础上进行回声消除处理就比较容易实现。以移动终端为例,如果能够确定移动终端的回声时延,并且确定的回声时延越准确,越接近移动终端在实际通话过程中回声时延的真实数值,则进行回声消除处理的效果就越好。本申请提供的所述回声消除方法,在回声消除处理的过程中,根据针对音频数据进行回声消除处理获得的处理效果,采用递归的方式对回声消除处理所使用的回声时延的数值进行调整,利用调整后的回声时延进行回声消除处理能够获得更好的处理效果。对与移动终端而言,不需要用户专门去手动适配回声消除处理使用的回声时延,通过所述回声消除方法能够自适应的获得与移动终端更加适配的回声时延,从而降低移动终端在通话过程中的回声现象,提升移动终端的通话质量。
本实施例以移动设备实时通信过程中的回声消除处理为例进行说明,比如,在基于网络互联网的实时互动直播通话场景中,对其中传输的音频数据进行回声消除处理,从而消除互动直播通话场景中移动设备的回声现象,保证通话质量,提升用户体验。除上述提供的互动直播通话场景之外,本申请提供的所述回声消除方法还适用于其他场景,比如应用于非实时通话场景中的回声消除,对此不做限定。
本申请实施例所述回声时延初始值,是指在开始进行回声消除处理时,此时尚未获得与移动终端适配的回声时延,因此,可预先设置的一个回声时延的数值(即回声时延初始值),依据设置的该回声时延初始值对音频数据进行回声消除处理。此外,所述回声时延初始值还可以是用户输入的一个设定值,或者移动终端厂商提供的回声时延的参考值,对此不做限定。
在上述实时互动直播场景中,音频数据连续不停在传递,但在具体对音频数据进行回声消除处理时,可将音频数据划分按照片段进行划分,针对每一段音频数据进行回声消除处理,音频数据划分可以时间为依据进行划分,比如每100ms的音频数据划分为一段;此外,还可以数据大小为依据进行划分,比如每50kB的音频数据划分为一段。
本实施例中,通过回声消除算法来实现回声消除处理,比如通过WebRTC提供的回声消除算法对音频数据进行回声消除处理,所回声时延初始值是指所述回声消除算法在进行回声消除处理时的一个计算参数。本步骤基于所述回声时延初始值对音频数据进行回声消除,具体是指将所述回声时延初始值作为所述回声消除算法在开始回声消除处理时的计算参数,在此基础上,通过所述回声消除算法对传递的第一段音频数据进行回声消除处理。对传递的第一段音频数据进行回声消除处理之后,所述回声消除算法会输出当前这一次回声消除处理的效果评价参数,所述效果评价参数用于评价当前这一次回声消除处理实际消除回声的效果。以WebRTC提供的回声消除算法为例,所述回声消除算法输出的效果评价参数包括:回声时延最优估计值与回声时延初始值的回声时延差值,所述回声时延最优估计值的偏差范围,以及回声消除效果参考值。
在具体实施时,可通过检测当前这一次所述回声消除算法进行回声消除处理获得的回声消除效果参考值是否超出其对应的阈值范围,根据检测结果来确定当前对第一段音频数据进行回声消除处理的实际效果,如果获得的所述消除效果参考值没有超出其对应的阈值范围,表明当前这一次回声消除处理的效果较为理想,所述回声时延初始值与回声时延的真实值(即:所述回声时延最优估计值)较为接近,可将所述回声时延初始值作为对后续音频数据进行回声消除处理的依据;如果获得的所述消除效果参考值超出其对应的阈值范围,则表明当前这一次回声消除处理的效果较差,所述回声时延初始值与所述回声时延最优估计值相差较大,通过下述步骤S302和步骤S304对所述回声时延初始值进行调整,从而使调整后的回声时延初始值接近所述回声时延最优估计值。
此外,还可以通过检测当前这一次进行回声消除处理获得的所述回声时延差值和所述回声消除效果参考值是否超出其各自对应的阈值范围,或者检测获得的所述回声时延最优估计值的偏差范围和所述回声消除效果参考值是否超出其各自对应的阈值范围,或者,还可以检测获得的所述回声时延差值、所述回声时延最优估计值的偏差范围以及所述回声消除效果参考值是否超出其各自对应的阈值范围,根据检测结果来确定对第一段音频数据进行回声消除处理的实际效果,若没有超出对应的阈值范围,表明所述回声时延初始值与所述回声时延最优估计值较为接近,可将所述回声时延初始值作为对后续音频数据进行回声消除处理的依据;若超出其各自对应的阈值范围,则表明回声时延初始值与所述回声时延最优估计值相差较大,通过下述步骤S302和步骤S304对所述回声时延初始值进行调整,从而使调整后的回声时延初始值接近所述回声时延最优估计值。
步骤S302,确定所述效果评价参数对应的回声时延调整规则。
在实际应用中,可能存在所述回声时延初始值与所述回声时延最优估计值相差较小的情形,也可能存在所述回声时延初始值与所述回声时延最优估计值相差较大的情形,本实施例中,针对不同情形针对设置了不同的调整策略,目的是尽快将所述回声时延初始值调整至与所述回声时延最优估计值接近的程度。具体的,本实施例提供的所述回声时延调整规则,包括:若回声时延差值小于0,则将回声时延初始值向逼近所述回声时延最优估计值的趋势减小;若回声时延差值大于等于0且小于第一时延差值阈值,则按照第一增大幅度向逼近所述回声时延最优估计值的趋势增大回声时延初始值;若回声时延差值大于等于所述第一时延差值阈值且小于第二时延差值阈值,则按照第二增大幅度向逼近所述回声时延最优估计值的趋势增大回声时延初始值;若回声时延差值大于等于第二时延差值阈值,则按照第三增大幅度向逼近所述回声时延最优估计值的趋势增大回声时延初始值。其中,所述第一增大幅度对应的增量小于所述第二增大幅度对应的增量,且所述第二增大幅度对应的增量小于所述第三增大幅度对应的增量。
例如,当回声时延差值(Median)小于0时,表明预先设置的调整回声时延初始值(Delay)太大,超过回声时延最优估计值太多,需要减小回声时延初始值(Delay),并且以一个较大的幅度来减小回声时延初始值(Delay),具体是按照回声时延差值(Median)与回声时延最优估计值的偏差范围(Var)二者的差值来减小回声时延初始值(Delay),调整后的回声时延初始值(NewDelay)为:NewDelay=OldDelay-(Median-Var)。
当Median>=0且小于60(第一时延差值阈值)时,表明预先设置的调整回声时延初始值(Delay)太小并且较为接近回声时延最优估计值,则按照一个较小的幅度来增大回声时延初始值(Delay),具体按照回声时延差值(Median)的一半增大回声时延初始值(Delay),调整后的回声时延初始值(NewDelay)为:NewDelay=OldDelay+(Median/2)。
当Median>=60且小于200(第二时延差值阈值)时,表明预先设置的调整回声时延初始值(Delay)与回声时延最优估计值在合理的偏差范围,此时,按照回声时延差值(Median)来增大回声时延初始值(Delay),调整后的回声时延初始值(NewDelay)为:NewDelay=OldDelay+Median。
当Median>=200时,表明预先设置的调整回声时延初始值(Delay)与回声时延最优估计值二者的偏差较大,则按照一个较大的幅度来增大回声时延初始值(Delay),具体按照回声时延差值(Median)与回声时延最优估计值的偏差范围(Var)之和来增大回声时延初始值(Delay),调整后的回声时延初始值(NewDelay)为:NewDelay=OldDelay+(Median+Var)。
步骤S303,按照所述回声时延调整规则,对所述回声时延初始值进行调整,得到回声时延估计值。
根据上述步骤S302确定的所述回声时延调整规则,本申请实施例提供的一种优选实施例中,按照所述回声时延调整规则、采用递归的方式对所述回声时延初始值进行调整,从而使调整后的回声时延初始值逼近所述回声时延最优估计值,具体采用如下方式实现:
(1)根据所述回声时延调整规则对所述回声时延初始值进行调整;
例如,预先设置的回声时延初始值为50,上述步骤S302通过回声消除算法对第一段音频数据进行回声消除处理后,回声消除算法输出的效果评价参数有:回声时延最优估计值与回声时延初始值的回声时延差值(Median)为-20,所述回声时延最优估计值的偏差范围(Var)为10,回声消除效果参考值大于0。该效果评价参数对应的回声时延调整规则为上述提供的第一条规则,则调整后的回声时延初始值(NewDelay)为:NewDelay=OldDelay-(Median-Var)=50-(-20-10)=20。
(2)利用调整后的回声时延初始值对音频数据进行回声消除;
上述步骤(1)对所述回声时延初始值进行了调整,此处,将调整后的回声时延初始值作为所述回声消除算法的计算参数,并利用所述回声消除算法对第二段音频数据进行回声消除处理,同样,在对第二段音频数据进行回声消除处理后,所述回声消除算法同样会输出针对第二段音频数据进行回声消除处理的效果评价参数。
(3)判断对音频数据进行回声消除结束后获得的效果评价参数是否满足递归结束条件;
本实施例所述递归结束条件,是指所述回声消除算法在进行回声消除后输出的回声消除效果参考值处于其对应的阈值范围内。
如果回声消除处理过程中所述回声消除算法输出的效果评价参数满足所述递归结束条件,即:输出的回声消除效果参考值处于其对应的阈值范围内,表明当前采用的回声时延初始值与所述回声时延最优估计值较为接近,则结束递归过程,并将当前采用的回声时延初始值作为对后续音频数据进行回声消除处理的依据,即:利用递归结束时采用的回声时延初始值(回声时延估计值)对后续音频数据进行回声消除处理。
如果回声消除处理过程中所述回声消除算法输出的效果评价参数不满足所述递归结束条件,即:输出的回声消除效果参考值超出其对应的阈值范围,表明当前采用的回声时延初始值与所述回声时延最优估计值差距较大,则继续递归过程,返回执行上述步骤(1)对所述回声时延初始值进行调整的递归过程,直至某一次进行回声消除处理后获得的效果评价参数满足所述递归结束条件。
上述步骤(1)、步骤(2)以及步骤(3)共同实现了针对所述回声时延初始值进行调整的递归过程。在这一递归过程中,每次进行回声消除处理所针对音频数据不同。假设在在实时互动直播场景中,递归过程中对回声时延初始值进行了3次调整,即:上述步骤S301通过所述回声消除算法对第一段音频数据进行了回声消除处理,根据输出的效果评价参数对应的回声时延调整规则,递归过程中对后续三段音频数据进行了消除处理,这三段音频数据依次为第一段音频数据之后的第二段至第四段音频数据,下述步骤S305中进行的回声消除处理则是针对第五段音频数据,如果实时互动直播持续下去,依次还会针对第六段、第七段···音频数据进行回声消除处理。
在WebRTC提供的所述回声消除算法中,要求回声消除算法所使用的回声时延数值大小不超出500ms,如果回声时延数值大小超出500ms,在这种情况下,通过所述回声消除算法直接对音频数据进行回声消除处理的效果不太理想,需要对音频数据进行预处理后再进行回声消除处理。具体的,本实施例可在上述步骤(1)根据所述回声时延调整规则对所述回声时延初始值进行调整后,判断调整后的回声时延初始值是否小于回声时延上限值(500ms),如果小于500ms,则执行上述步骤(2),继续上述递归过程接即可;如果大于或者等于500ms,则需要在音频数据的第一个信号采样点前插入音频片段(时长为500ms空白片段),在此基础上通过所述回声消除算法对插入所述音频片段的音频数据进行回声消除处理。
进一步,与上述音频数据的处理方式类似,对插入所述音频片段的音频数据进行回声消除处理之后,判断获得的效果评价参数是否满足所述递归结束条件,若是,结束递归过程,并将当前采用的回声时延初始值作为对后续音频数据进行回声消除处理的依据,即:将递归结束时采用的回声时延初始值作为对后续音频数据进行回声消除处理的依据;若否,可重复上述在音频数据的第一个信号采样点前插入所述音频片段的操作。
在具体实施时,除上述实施方式提供的采用递归的方式对所述回声时延初始值进行调整之外,还可以采用其他自适应计算方式实现对所述回声时延初始值进行调整,从而使调整后的所述回声时延初始值逼近所述回声时延最优估计值。比如采用迭代的方式所述回声时延初始值进行调整,通过多次迭代过程使所述回声时延初始值渐渐逼近所述回声时延最优估计值。需要说明的是,采用递归的方式对所述回声时延初始值进行调整,与采用迭代的方式与对所述回声时延初始值进行调整相比,二者的区别在于,采用递归的方式进行调整的过程中,当所述回声时延初始值调整至与所述回声时延最优估计值较为接近的时候返回,计算规模会逐渐缩小;而迭代的方式进行调整的过程中,对所述回声时延初始值进行迭代计算次数越多,越接近所述回声时延最优估计值,迭代过程中计算规模不会发生变化。
步骤S304,利用所述回声时延估计值,对音频数据进行回声消除。
上述步骤S303中,将递归结束时采用的所述回声时延估计值作为对后续音频数据进行回声消除处理的依据,此后,在进行回声消除处理时,将所述回声时延估计值作为所述回声消除算法对后续音频数据进行回声消除处理的依据即可。
在实际应用中,移动终端所处环境在不停的在发生变化,比如移动终端的网络环境的变化可能会引起移动终端适配的回声时延的数值发生变化,可见,移动终端适配的回声时延的数值在发生变化。面对这种情况,通过本实施例提供的下述回声时延检测操作,可实现对所述回声时延的自适应检测和调整。所述回声时延检测操作具体采用如下方式实现:在上述步骤S304执行后或者执行的过程中,即:通过所述回声消除算法对后续音频数据进行回声消除处理的过程中,判断对音频数据进行回声消除后获得的效果评价参数是否超出对应的参数阈值范围,若是,返回执行上述步骤S301,并根据上述步骤S301确定的回声时延调整规则进入上述步骤S302的递归过程,通过递归过程再次对回声时延估计值进行调整;若否,不作处理即可。上述回声时延检测操作能够检测外界因素变化对终端设备造成的影响,当外界因素的变化对终端设备的影响超出一定范围后,能够自适应的对终端设备适配的回声时延不断进行调整,从而使回声消除处理更加的准确。
综上所述,所述回声消除方法在进行回声消除处理过程中,根据针对音频数据进行回声消除后获得的效果评价参数,采用递归的方式对回声消除处理所使用的回声时延初始值进行调整,从而使利用调整后的回声时延估计值对音频数据进行回声消除处理时获得的效果评价参数更加符合预期,所述回声消除方法通过自适应的方式调整回声时延初始值,并将回声时延初始值向进行回声消除处理获得的效果更加准确的方向调整,对回声时延初始值的调整更加便捷,同时也使在调整后的回声时延估计值基础上进行的回声消除处理的效果更加准确,提升回声消除的处理效果。
本申请提供的一种回声消除装置实施例如下:
在上述的实施例中,提供了一种回声消除方法,与之相对应的,本申请还提供了一种回声消除装置,下面结合附图进行说明。
参照附图4,其示出了本申请提供的一种回声消除装置实施例的示意图。
由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
本申请提供一种回声消除装置,包括:
第一回声消除单元401,用于基于回声时延初始值对音频数据进行回声消除,获得效果评价参数;
回声时延调整规则确定单元402,用于确定所述效果评价参数对应的回声时延调整规则;
回声时延初始值调整单元403,用于按照所述回声时延调整规则,对所述回声时延初始值进行调整,得到回声时延估计值;
第二回声消除单元404,用于利用所述回声时延估计值,对音频数据进行回声消除。
可选的,所述回声消除装置,包括:
效果评价参数判断单元,用于判断对音频数据进行回声消除后获得的效果评价参数是否超出对应的参数阈值范围,若是,运行所述回声时延调整规则确定单元402、所述回声时延初始值调整单元403以及所述第二回声消除单元404。
可选的,所述回声时延初始值调整单元403,采用递归的方式对所述回声时延初始值进行调整,包括:
调整子单元,用于根据所述回声时延调整规则对所述回声时延初始值进行调整;
回声消除子单元,用于利用调整后的回声时延初始值对音频数据进行回声消除;
效果评价参数判断子单元,用于判断对音频数据进行回声消除结束后获得的效果评价参数是否满足递归结束条件,若是,结束递归,并将递归结束时采用的回声时延初始值作为所述回声时延估计值;若否,运行所述调整子单元。
可选的,所述回声时延初始值调整单元403,包括:
回声时延初始值判断子单元,用于判断调整后的回声时延初始值是否小于回声时延上限值,若是,运行所述回声消除子单元;若否,运行音频片段插入单元和第二回声消除子单元;
其中,所述音频片段插入单元,用于在音频数据的第一个信号采样点前插入音频片段;
所述第二回声消除子单元,用于利用调整后回声时延初始值对插入所述音频片段的音频数据进行回声消除;
其中,所述音频片段的时长数值小于或者等于所述回声时延上限值对应的时长值。
可选的,所述回声时延初始值调整单元403,包括:
递归判断子单元,用于判断对插入所述音频片段的音频数据进行回声消除结束后获得的效果评价参数是否满足所述递归结束条件,若是,结束递归,并将递归结束时采用的回声时延初始值作为所述回声时延估计值;若否,运行所述音频片段插入单元。
可选的,所述递归过程中每次回声消除所针对音频数据的采样时间点不同,前一次回声消除所针对音频数据的采样时间点早于后一次回声消除所针对音频数据的采样时间点。
可选的,所述基于所述回声时延初始值进行回声消除所针对音频数据的采样时间点,早于所述递归过程中第一次回声消除所针对音频数据的采样时间点;且所述递归过程中最后一次回声消除所针对音频数据的采样时间点,早于利用所述回声时延估计值进行回声消除所针对音频数据的采样时间点。
可选的,所述效果评价参数,包括下述至少一项:回声时延最优估计值与回声时延初始值的回声时延差值,所述回声时延最优估计值的偏差范围,以及回声消除效果参考值。
可选的,所述递归结束条件包括:所述回声时延差值、所述回声时延最优估计值的偏差范围和/或所述回声消除效果参考值处于各自对应的阈值范围内。
可选的,所述回声消除装置,包括:
第二效果评价参数判断单元,用于判断对音频数据进行回声消除后获得的所述回声时延差值、所述回声时延最优估计值的偏差范围和/或所述回声消除效果参考值是否超出各自对应的阈值范围,若是,运行所述回声时延调整规则确定单元402、所述回声时延初始值调整单元403以及所述第二回声消除单元404;若否,则利用所述回声时延初始值对音频数据进行回声消除。
可选的,所述回声时延调整规则,包括:
回声时延差值小于0,则将回声时延初始值向逼近所述回声时延最优估计值的趋势减小;回声时延差值大于或者等于0且小于第一时延差值阈值,则按照第一增大幅度向逼近所述回声时延最优估计值的趋势增大回声时延初始值;回声时延差值大于或者等于所述第一时延差值阈值且小于第二时延差值阈值,则按照第二增大幅度向逼近所述回声时延最优估计值的趋势增大回声时延初始值;和/或,回声时延差值大于或者等于第二时延差值阈值,则按照第三增大幅度向逼近所述回声时延最优估计值的趋势增大回声时延初始值。
可选的,所述第一增大幅度对应的增量小于所述第二增大幅度对应的增量,且所述第二增大幅度对应的增量小于所述第三增大幅度对应的增量。
可选的,所述回声消除装置基于回声消除算法实现;其中,所述效果评价参数是由所述回声消除算法对音频数据进行回声消除后生成的。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (14)

1.一种回声消除方法,其特征在于,包括:
基于回声时延初始值对音频数据进行回声消除,获得效果评价参数;
确定所述效果评价参数对应的回声时延调整规则;
按照所述回声时延调整规则,对所述回声时延初始值进行调整,得到回声时延估计值,采用如下方式实现:根据所述回声时延调整规则对所述回声时延初始值进行调整;利用调整后的回声时延初始值对音频数据进行回声消除;判断对音频数据进行回声消除结束后获得的效果评价参数是否满足递归结束条件,若是,结束递归,并将递归结束时采用的回声时延初始值作为所述回声时延估计值;若否,返回执行所述根据所述回声时延调整规则对所述回声时延初始值进行调整子步骤;
利用所述回声时延估计值,对音频数据进行回声消除。
2.根据权利要求1所述的回声消除方法,其特征在于,所述利用所述回声时延估计值,对音频数据进行回声消除步骤执行后,执行下述步骤:
判断对音频数据进行回声消除后获得的效果评价参数是否超出对应的参数阈值范围,若是,返回执行所述确定所述回声消除获得的效果评价参数对应的回声时延调整规则步骤。
3.根据权利要求1所述的回声消除方法,其特征在于,所述根据所述回声时延调整规则对所述回声时延初始值进行调整子步骤执行后,执行如下操作:
判断调整后的回声时延初始值是否小于回声时延上限值,若是,执行所述利用调整后的回声时延初始值对音频数据进行回声消除子步骤;
若否,在音频数据的第一个信号采样点前插入音频片段;
利用调整后回声时延初始值对插入所述音频片段的音频数据进行回声消除;
其中,所述音频片段的时长数值小于或者等于所述回声时延上限值对应的时长值。
4.根据权利要求3所述的回声消除方法,其特征在于,所述利用调整后回声时延初始值对插入所述音频片段的音频数据进行回声消除子步骤执行后,执行如下操作:
判断对插入所述音频片段的音频数据进行回声消除结束后获得的效果评价参数是否满足所述递归结束条件,若是,结束递归,并将递归结束时采用的回声时延初始值作为所述回声时延估计值;若否,返回执行所述在音频数据的第一个信号采样点前插入音频片段子步骤。
5.根据权利要求1所述的回声消除方法,其特征在于,所述递归过程中每次回声消除所针对音频数据的采样时间点不同,前一次回声消除所针对音频数据的采样时间点早于后一次回声消除所针对音频数据的采样时间点。
6.根据权利要求5所述的回声消除方法,其特征在于,所述基于所述回声时延初始值进行回声消除所针对音频数据的采样时间点,早于所述递归过程中第一次回声消除所针对音频数据的采样时间点;
且所述递归过程中最后一次回声消除所针对音频数据的采样时间点,早于利用所述回声时延估计值进行回声消除所针对音频数据的采样时间点。
7.根据权利要求1所述的回声消除方法,其特征在于,所述效果评价参数,包括下述至少一项:
回声时延最优估计值与回声时延初始值的回声时延差值,所述回声时延最优估计值的偏差范围,以及回声消除效果参考值。
8.根据权利要求7所述的回声消除方法,其特征在于,所述递归结束条件包括:
所述回声时延差值、所述回声时延最优估计值的偏差范围和/或所述回声消除效果参考值处于各自对应的阈值范围内。
9.根据权利要求7所述的回声消除方法,其特征在于,所述基于回声时延初始值对音频数据进行回声消除,获得效果评价参数步骤执行后,且所述确定所述效果评价参数对应的回声时延调整规则步骤执行前,执行下述步骤:
判断对音频数据进行回声消除后获得的所述回声时延差值、所述回声时延最优估计值的偏差范围和/或所述回声消除效果参考值是否超出各自对应的阈值范围,若是,执行所述确定所述效果评价参数对应的回声时延调整规则步骤;若否,则利用所述回声时延初始值对音频数据进行回声消除。
10.根据权利要求8所述的回声消除方法,其特征在于,所述回声时延调整规则,包括:
回声时延差值小于0,则将回声时延初始值向逼近所述回声时延最优估计值的趋势减小;
回声时延差值大于或者等于0且小于第一时延差值阈值,则按照第一增大幅度向逼近所述回声时延最优估计值的趋势增大回声时延初始值;
回声时延差值大于或者等于所述第一时延差值阈值且小于第二时延差值阈值,则按照第二增大幅度向逼近所述回声时延最优估计值的趋势增大回声时延初始值;
和/或,回声时延差值大于或者等于第二时延差值阈值,则按照第三增大幅度向逼近所述回声时延最优估计值的趋势增大回声时延初始值。
11.根据权利要求10所述的回声消除方法,其特征在于,所述第一增大幅度对应的增量小于所述第二增大幅度对应的增量,且所述第二增大幅度对应的增量小于所述第三增大幅度对应的增量。
12.根据权利要求1至11任意一项所述的回声消除方法,其特征在于,所述回声消除方法基于回声消除算法实现;
其中,所述效果评价参数是由所述回声消除算法对音频数据进行回声消除后生成的。
13.一种回声消除装置,其特征在于,包括:
第一回声消除单元,用于基于回声时延初始值对音频数据进行回声消除,获得效果评价参数;
回声时延调整规则确定单元,用于确定所述效果评价参数对应的回声时延调整规则;
回声时延初始值调整单元,用于按照所述回声时延调整规则,对所述回声时延初始值进行调整,得到回声时延估计值,采用如下方式实现:根据所述回声时延调整规则对所述回声时延初始值进行调整;利用调整后的回声时延初始值对音频数据进行回声消除;判断对音频数据进行回声消除结束后获得的效果评价参数是否满足递归结束条件,若是,结束递归,并将递归结束时采用的回声时延初始值作为所述回声时延估计值;若否,返回执行所述根据所述回声时延调整规则对所述回声时延初始值进行调整子步骤;
第二回声消除单元,用于利用所述回声时延估计值,对音频数据进行回声消除。
14.根据权利要求13所述的回声消除装置,其特征在于,包括:
效果评价参数判断单元,用于判断对音频数据进行回声消除后获得的效果评价参数是否超出对应的参数阈值范围,若是,运行所述回声时延调整规则确定单元、所述回声时延初始值调整单元以及所述第二回声消除单元。
CN201711422895.8A 2017-12-25 2017-12-25 一种回声消除方法、装置以及电子设备 Active CN109961797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711422895.8A CN109961797B (zh) 2017-12-25 2017-12-25 一种回声消除方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711422895.8A CN109961797B (zh) 2017-12-25 2017-12-25 一种回声消除方法、装置以及电子设备

Publications (2)

Publication Number Publication Date
CN109961797A CN109961797A (zh) 2019-07-02
CN109961797B true CN109961797B (zh) 2023-07-18

Family

ID=67021126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711422895.8A Active CN109961797B (zh) 2017-12-25 2017-12-25 一种回声消除方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN109961797B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956974A (zh) * 2019-12-05 2020-04-03 浙江大华技术股份有限公司 回声消除方法及其相关装置
CN111028854B (zh) * 2019-12-06 2022-10-11 北京达佳互联信息技术有限公司 一种音频数据的处理方法、装置、电子设备及存储介质
CN111583950B (zh) * 2020-04-21 2024-05-03 珠海格力电器股份有限公司 一种音频处理方法、装置、电子设备及存储介质
CN112489680B (zh) * 2020-11-20 2023-08-08 广州华多网络科技有限公司 声学回声消除算法的评估方法、装置及终端设备
CN112489679B (zh) * 2020-11-20 2023-08-08 广州华多网络科技有限公司 声学回声消除算法的评估方法、装置及终端设备
CN115223581A (zh) * 2021-04-17 2022-10-21 华为技术有限公司 分布式设备回声时延估计方法及电子设备
CN113192527B (zh) * 2021-04-28 2024-03-19 北京达佳互联信息技术有限公司 用于消除回声的方法、装置、电子设备和存储介质
CN113555030B (zh) * 2021-07-29 2024-05-31 杭州萤石软件有限公司 音频信号的处理方法、装置及设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2907706B2 (ja) * 1993-12-14 1999-06-21 松下電器産業株式会社 エコーキャンセラと併用する音声スイッチの制御方式
FR2729024A1 (fr) * 1994-12-30 1996-07-05 Matra Communication Annuleur d'echo acoustique avec filtrage en sous-bandes
JP2919422B2 (ja) * 1997-02-26 1999-07-12 埼玉日本電気株式会社 エコーキャンセラ
JP3395894B2 (ja) * 1999-09-30 2003-04-14 日本電気株式会社 エコーキャンセラのトレーニングシステム及び方法
JP3708040B2 (ja) * 2001-11-15 2005-10-19 沖電気工業株式会社 エコーキャンセラ
CN101321201B (zh) * 2007-06-06 2011-03-16 联芯科技有限公司 回声消除装置、通信终端及确定回声时延的方法
CN103391381B (zh) * 2012-05-10 2015-05-20 中兴通讯股份有限公司 回声消除方法及装置
CN104822001B (zh) * 2015-04-23 2018-12-18 腾讯科技(深圳)有限公司 回声消除数据同步控制方法和装置
JP2017098861A (ja) * 2015-11-27 2017-06-01 株式会社日立製作所 エコーキャンセラ及びエコーキャンセル方法
CN105847611B (zh) * 2016-03-21 2020-02-11 腾讯科技(深圳)有限公司 一种回声时延检测方法、回声消除芯片及终端设备
CN107360530B (zh) * 2017-07-03 2020-12-01 苏州科达科技股份有限公司 一种回声消除的测试方法和装置
CN107331406B (zh) * 2017-07-03 2020-06-16 福建星网智慧软件有限公司 一种动态调整回声延时的方法

Also Published As

Publication number Publication date
CN109961797A (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
CN109961797B (zh) 一种回声消除方法、装置以及电子设备
US9060052B2 (en) Single channel, binaural and multi-channel dereverberation
CN109410975B (zh) 一种语音降噪方法、设备及存储介质
US9246545B1 (en) Adaptive estimation of delay in audio systems
US9286883B1 (en) Acoustic echo cancellation and automatic speech recognition with random noise
CN106612482B (zh) 一种调整音频参数的方法及移动终端
US10115411B1 (en) Methods for suppressing residual echo
US9185506B1 (en) Comfort noise generation based on noise estimation
EP3348047A1 (en) Audio signal processing
US10755728B1 (en) Multichannel noise cancellation using frequency domain spectrum masking
US9773510B1 (en) Correcting clock drift via embedded sine waves
US20180190310A1 (en) De-reverberation control method and apparatus for device equipped with microphone
CN113539285B (zh) 音频信号降噪方法、电子装置和存储介质
US20200286501A1 (en) Apparatus and a method for signal enhancement
CN109559756B (zh) 滤波系数确定方法、回声消除方法、相应装置及设备
EP2752848B1 (en) Method and apparatus for generating a noise reduced audio signal using a microphone array
CN108810746A (zh) 一种音质优化方法、反馈降噪系统、耳机及存储介质
CN112602150A (zh) 噪声估计方法、噪声估计装置、语音处理芯片以及电子设备
US11380312B1 (en) Residual echo suppression for keyword detection
CN112489679B (zh) 声学回声消除算法的评估方法、装置及终端设备
JP6562572B2 (ja) ステレオ信号のステレオイメージを修正するためのオーディオ信号処理装置及び方法
US20230199386A1 (en) Apparatus, methods and computer programs for reducing echo
US9392365B1 (en) Psychoacoustic hearing and masking thresholds-based noise compensator system
JP2014164190A (ja) 信号処理装置、方法及びプログラム
CN112489680B (zh) 声学回声消除算法的评估方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40010305

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant