CN111583950B - 一种音频处理方法、装置、电子设备及存储介质 - Google Patents

一种音频处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111583950B
CN111583950B CN202010317867.5A CN202010317867A CN111583950B CN 111583950 B CN111583950 B CN 111583950B CN 202010317867 A CN202010317867 A CN 202010317867A CN 111583950 B CN111583950 B CN 111583950B
Authority
CN
China
Prior art keywords
echo
audio data
audio
data
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010317867.5A
Other languages
English (en)
Other versions
CN111583950A (zh
Inventor
唐杰
张洋
陈彦宇
马雅奇
叶盛世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202010317867.5A priority Critical patent/CN111583950B/zh
Publication of CN111583950A publication Critical patent/CN111583950A/zh
Priority to PCT/CN2020/140641 priority patent/WO2021212905A1/zh
Application granted granted Critical
Publication of CN111583950B publication Critical patent/CN111583950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Abstract

本申请提供了一种音频处理方法、装置、电子设备及存储介质，属于声音信号处理技术领域。所述方法包括：获取所播放音频的第一音频数据；基于所述第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据；通过麦克风采集当前场景中的音频数据，得到混合音频数据，所述混合音频数据包括第二音频数据、所播放音频的声波在所述当前场景中传播生成的真实回声数据；基于所述模拟回声数据对所述混合音频数据进行回声消除处理，得到所述第二音频数据。采用本申请提供的技术方案，可以提高回声消除的效果。

Description

一种音频处理方法、装置、电子设备及存储介质
技术领域
本申请涉及声音信号处理技术领域，尤其涉及一种音频处理方法、装置、电子设备及存储介质。
背景技术
在语音交互场景中，电子设备可以实现麦克风和扬声器的协同工作，即，电子设备可以在通过扬声器播放音频的同时，通过麦克风采集用户发出的声音。由于声波具有反射传播的特性，因此，麦克风采集到的音频数据不仅包含用户的音频数据、还包括扬声器所播放音频的回声数据。
相关技术中，为消除回声，电子设备可以通过采样回路采集扬声器播放的音频，得到第一音频数据。然后，电子设备可以对麦克风采集到的混合音频数据和第一音频数据进行回声消除处理，得到第二音频数据。之后，电子设备可以将第二音频数据作为仅包含用户声音的目标音频数据。
然而，扬声器所播放音频的回声数据包括直接回声数据和间接回声数据，直接回声数据指扬声器所播放音频的声波未经反射，直接由麦克风采集到的音频数据，间接回声数据指扬声器所播放音频的声波在当前场景中多次反射后，才由麦克风采集到的音频数据。电子设备获取到的第一音频数据仅包含直接回声数据，因此，采用上述回声消除处理仅能去除直接回声数据的影响，无法消除混合音频数据中的间接回声数据，导致回声消除的效果差。
发明内容
本申请实施例的目的在于提供一种音频处理方法、装置、电子设备及存储介质，以解决回声消除效果差的问题。具体技术方案如下：
第一方面，提供了一种音频处理方法，所述方法包括：
获取所播放音频的第一音频数据；
基于所述第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据；
通过麦克风采集当前场景中的音频数据，得到混合音频数据，所述混合音频数据包括第二音频数据、所播放音频的声波在所述当前场景中传播生成的真实回声数据；
基于所述模拟回声数据对所述混合音频数据进行回声消除处理，得到所述第二音频数据。
可选的，所述基于所述第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据，包括：
根据预先存储的场景与配置参数的对应关系，确定与所述当前场景对应的目标配置参数；
根据所述目标配置参数设置回声模拟算法中的配置参数；
基于所述第一音频数据和设置有所述目标配置参数的回声模拟算法，模拟计算所播放音频的声波在所述当前场景中传播生成的回声数据，得到模拟回声数据。
可选的，所述根据预先存储的场景与配置参数的对应关系，确定与当前场景对应的目标配置参数之前，还包括：
获取采集到的所述混合音频数据的音量分贝；
如果所述音量分贝大于预设音量阈值，则确定所述当前场景为第一场景；
如果所述音量分贝不大于预设音量阈值，则确定所述当前场景为第二场景。
可选的，所述场景与配置参数的对应关系包括：
所述第一场景对应的配置参数为第一配置参数；
所述第二场景对应的配置参数为第二配置参数，所述第二配置参数小于所述第一配置参数。
可选的，所述回声模拟算法包括递归最小二乘rls自适应滤波器；所述配置参数包括：迭代次数、期望值中的至少一种。
可选的，所述回声数据包括直接回声数据和间接回声数据。
第二方面，提供了一种音频处理装置，所述装置包括：
第一获取模块，用于获取所播放音频的第一音频数据；
计算模块，用于基于所述第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据；
采集模块，用于通过麦克风采集当前场景中的音频数据，得到混合音频数据，所述混合音频数据包括第二音频数据、所播放音频的声波在所述当前场景中传播生成的真实回声数据；
回声消除模块，用于基于所述模拟回声数据对所述混合音频数据进行回声消除处理，得到所述第二音频数据。
可选的，所述计算模块包括：
确定子模块，用于根据预先存储的场景与配置参数的对应关系，确定与所述当前场景对应的目标配置参数；
设置子模块，用于根据所述目标配置参数设置回声模拟算法中的配置参数；
计算子模块，用于基于所述第一音频数据和设置有所述目标配置参数的回声模拟算法，模拟计算所播放音频的声波在所述当前场景中传播生成的回声数据，得到模拟回声数据。
可选的，所述装置还包括：
第二获取模块，用于获取采集到的所述混合音频数据的音量分贝；
确定模块，用于当所述音量分贝大于预设音量阈值时，确定所述当前场景为第一场景；
所述确定模块，还用于当所述音量分贝不大于预设音量阈值时，确定所述当前场景为第二场景。
可选的，所述场景与配置参数的对应关系包括：
所述第一场景对应的配置参数为第一配置参数；
所述第二场景对应的配置参数为第二配置参数，所述第二配置参数小于所述第一配置参数。
可选的，所述回声模拟算法包括递归最小二乘rls自适应滤波器；所述配置参数包括：迭代次数、期望值中的至少一种。
可选的，所述回声数据包括直接回声数据和间接回声数据。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现任一第一方面所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一第一方面所述的方法步骤。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一第一方面所述的方法步骤。
本申请实施例有益效果：
本申请实施例提供了一种音频处理方法、装置、电子设备及存储介质，可以获取所播放音频的第一音频数据；基于第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据；然后，通过麦克风采集当前场景中的音频数据，得到混合音频数据，混合音频数据包括第二音频数据、所播放音频的声波在所述当前场景中传播生成的真实回声数据；基于模拟回声数据对混合音频数据进行回声消除处理，得到第二音频数据。
由于对所播放音频在当前场景中传播生成的回声数据进行模拟计算，得到模拟回声数据，再基于模拟回声数据对麦克风采集到的混合音频数据进行回声消除处理，因此，能够去除混合音频数据中的直接回声数据和间接回声数据，从而能够提高回声消除效果。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种音频处理方法的流程图；
图2为本申请实施例提供的另一种音频处理方法的流程图；
图3为本申请实施例提供的另一种音频处理方法的流程图；
图4为本申请实施例提供的一种音频处理装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种音频处理方法，可以应用于电子设备，电子设备可以包含音频采集部件和音频播放部件。电子设备可以是手机、平板电脑等，音频采集部件可以是麦克风，音频播放部件可以是扬声器。本申请实施例以音频采集部件为麦克风为例、音频播放部件为扬声器为例，对一种音频处理方法的具体处理过程进行说明。
电子设备可以实现麦克风和扬声器的协同工作，例如，电子设备可以在通过扬声器播放音乐的同时，通过麦克风采集用户发出的语音指令。或者，在用户通过电子设备进行通话的过程中，电子设备可以通过扬声器播放远端用户的声音，并通过麦克风采集近端用户的声音。
针对麦克风和扬声器协同工作的情况，为了便于区分，将扬声器播放的音频数据，称为第一音频数据；将麦克风需要采集的音频数据，称为第二音频数据；将音频采集部件实际采集到的音频数据，称为混合音频数据，混合音频数据不仅包含第二音频数据，还包含第一音频数据的声波在当前场景中传播生成的直接回声数据和间接回声数据。
采用本申请实施例提供的技术方案，可以去除混合音频数据中包含的直接回声数据和间接回声数据，提高回声消除效果。
下面将结合具体实施方式，对本申请实施例提供的一种音频处理方法进行详细的说明，如图1所示，具体步骤如下：
步骤101、获取所播放音频的第一音频数据。
在实施中，在播放某一音频的过程中，电子设备可以将该音频的音频数据，作为所播放音频的第一音频数据。所播放音频可以是歌曲，也可以是通话场景中远端用户的语音。
电子设备可以通过多种方式获取某一音频的音频数据，在一种可行的实现方式中，电子设备可以在扬声器播放该音频后，通过采样回路采集扬声器播放的音频，得到第一音频数据。
在另一种可行的实现方式中，电子设备可以将该音频的原始音频数据，作为第一音频数据，原始音频数据即未经扬声器播放的音频数据。例如，电子设备可以将传输至扬声器的音频数据，作为所播放音频的第一音频数据。
相关技术中，如果在扬声器播放音频后再采集音频数据，采集到的音频数据中可能包含电子噪声。而本申请实施例中，将传输至扬声器的音频数据，作为所播放音频的第一音频数据，能够避免在扬声器播放后采集到的音频数据中可能包含电子噪声的问题。进一步的，有利于提高基于第一音频数据模拟计算得到的模拟回声数据，与真实回声数据的接近程度。
步骤102、基于第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据。
其中，电子设备中可以预先设置有回声模拟算法，回声模拟算法可以是RLS(Recursive least squares，递归最小二乘)自适应滤波器，LMS(Least Mean Squares，最小均方)算法，NLMS(Normalized Least Mean Squares，归一化最小均方)算法等。
在实施中，电子设备可以基于回声模拟算法、第一音频数据，对所播放音频的声波在当前场景中传播生成的回声数据进行模拟计算，得到模拟回声数据。
电子设备基于回声模拟算法、第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据的具体处理过程，可以参照相关技术中，基于回声模拟算法和某一音频数据，计算该音频数据的回声数据的处理过程，本申请在此不再赘述。
可选的，回声数据包括直接回声数据和间接回声数据。
步骤103、通过麦克风采集当前场景中的音频数据，得到混合音频数据。
其中，混合音频数据包括第二音频数据、所播放音频的声波在当前场景中传播生成的真实回声数据。
以麦克风采集用户发出的语音指令为例，麦克风采集到的混合音频数据不仅包含用户发出的语音指令，还包括所播放音频的声波在当前场景中传播生成的真实回声数据。真实回声数据包括扬声器所播放音频的声波直接进入麦克风时产生的直接回声数据，该声波在当前场景中多次反射后进入麦克风时产生的间接回声数据。
本申请实施例对步骤102和步骤103的执行顺序不作具体限定。
步骤104、基于模拟回声数据对混合音频数据进行回声消除处理，得到第二音频数据。
在实施中，电子设备中可以预先设置有AEC算法(Acoustic Echo Cancellation，回声消除算法)，AEC算法可以是RLS自适应滤波器、LMS算法，NLMS算法等。如果AEC算法具有回声模拟功能，可以选用AEC算法作为回声模拟算法。
电子设备可以基于AEC算法、混合音频数据和模拟回声数据，进行回声消除处理，具体处理过程，可以参考相关技术中基于AEC算法、混合音频数据和直接回声数据进行回声消除处理的处理过程，本申请不再赘述。
本申请实施例提供了一种音频处理方法，可以获取所播放音频的第一音频数据；基于第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据；然后，通过麦克风采集当前场景中的音频数据，得到混合音频数据，混合音频数据包括第二音频数据、所播放音频的声波在所述当前场景中传播生成的真实回声数据；基于模拟回声数据对混合音频数据进行回声消除处理，得到第二音频数据。
由于对所播放音频在当前场景中传播生成的回声数据进行模拟计算，得到模拟回声数据，再基于模拟回声数据对麦克风采集到的混合音频数据进行回声消除处理，因此，能够去除混合音频数据中的直接回声数据和间接回声数据，从而能够提高回声消除效果。
可选的，用户可能处于不同的场景中，对于不同场景中回声消除效果的要求也有所不同。例如，当用户处于语音识别场景中时，由于需要基于第二音频数据进行语义分析，因此，需要尽可能的去除混合音频数据中的真实回声数据。当用户处于通话场景中时，由于将采集到的近端用户的声音传输给远端用户，因此，相对于语音识别场景，回声消除效果的要求可以低一些。
电子设备中可以预先存储有场景与配置参数的对应关系，配置参数可以是迭代次数、期望值中的至少一种。针对不同的场景，电子设备可以基于相应配置参数模拟计算出不同的模拟回声数据，从而实现不同的回声消除效果，如图2所示，具体处理过程可以包括：
步骤201、根据预先存储的场景与配置参数的对应关系，确定与当前场景对应的目标配置参数。
在实施中，电子设备可以确定当前场景，然后，电子设备可以根据预先存储的场景与配置参数的对应关系，确定与当前场景对应的目标配置参数。
本申请实施例中，电子设备可以通过多种方式确定当前场景。在一种可行的实现方式中，电子设备可以根据接收到的控制指令，确定当前场景。例如，如果电子设备接收到语音控制指令，则电子设备可以确定当前场景为语音识别场景；如果电子设备接收到通话控制指令，则电子设备可以确定当前场景为通话场景。在另一种可行的实现方式中，电子设备可以根据采集到的混合音频数据的音量大小，确定当前场景，具体处理过程后续会进行详细说明。
步骤202、根据目标配置参数设置回声模拟算法中的配置参数。
在实施中，电子设备可以将回声模拟算法中配置参数的参数值，设置为确定出的目标配置参数的参数值。
例如，当前场景为通话场景，当前场景对应的目标配置参数包括：迭代次数为2，期望值为0.8。电子设备可以将回声模拟算法中配置参数迭代次数的参数值设置为2，将配置参数期望值的参数值设置为0.8。
步骤203、基于第一音频数据和设置有目标配置参数的回声模拟算法，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据。
在实施中，此步骤的处理过程可以参照步骤102的处理过程，此处不再赘述。
本申请实施例中，电子设备可以根据预先存储的场景与配置参数的对应关系，确定与当前场景对应的目标配置参数。然后，电子设备可以根据目标配置参数设置回声模拟算法中的配置参数。之后，电子设备可以基于第一音频数据和设置有目标配置参数的回声模拟算法，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据。
由于确定与当前场景对应的目标配置参数，基于设置有目标配置参数的回声模拟算法和第一音频数据，模拟计算模拟回声数据，因此，能够针对不同场景确定不同的模拟回声数据，从而实现不同的回声消除效果。在回声消除效果要求较高的场景下，能够满足回声消除需求；在回声消除效果要求较低的场景下，能够提高回声消除的处理速度。
可选的，电子设备中可以预先设置有预设音量阈值，预设音量阈值可以是50dB。电子设备可以基于预设音量阈值和混合音频数据的音量大小，确定当前场景，如图3所示，包括以下步骤：
步骤301、获取采集到的混合音频数据的音量分贝。
在实施中，电子设备可以在采集混合音频数据的同时，检测采集到的混合音频数据的音量分贝。
步骤302、判断该音量分贝是否大于预设音量阈值。
在实施中，电子设备可以判断该音量分贝是否大于预设音量阈值。如果该音量分贝大于预设音量阈值，则电子设备可以执行步骤303；如果该音量分贝不大于预设音量阈值，则电子设备可以执行步骤304。
步骤303、确定当前场景为第一场景。
步骤304、确定当前场景为第二场景。
本申请实施例中，电子设备可以获取采集到的混合音频数据的音量分贝。然后，判断该音量分贝是否大于预设音量阈值，当该音量分贝大于预设音量阈值时，确定当前场景为第一场景，并当该音量分贝不大于预设音量阈值时，确定当前场景为第二场景。由此，可以实现基于音量大小，对当前场景进行判定。便于后续基于与当前场景对应的目标配置参数模拟计算模拟回声数据，并基于模拟回声数据对混合音频数据进行回声消除处理，得到满足当前场景的回声消除要求的第二音频数据。
可选的，场景与配置参数的对应关系中，第一场景对应的配置参数为第一配置参数，第二场景对应的配置参数为第二配置参数。第二配置参数小于第一配置参数。
第一场景可以表示对回声消除效果要求较高的场景，第二场景可以表示对回声消除效果要求较低的场景。
例如，第一场景为公共场所场景，第一场景对应的第一配置参数为：迭代次数为3，期望值为1。第二场景为卧室场景，第二场景对应的第二配置参数为：迭代次数为2，期望值为0.8。
本申请实施例中，由于调大配置参数，可以提高基于第一音频数据模拟计算得到的模拟回声数据，与真实回声数据的接近程度，因此，针对回声消除效果要求较低的第二场景，设置第二配置参数，针对回声消除效果要求较高的第一场景，可以设置比第二配置参数更大的第一配置参数。由此，能够针对不同场景实现不同的回声消除效果。在回声消除效果要求较高的场景下，能够满足回声消除需求；在回声消除效果要求较低的场景下，能够提高回声消除的处理速度。
基于相同的技术构思，本申请实施例还提供了一种音频处理装置，如图4所示，该装置包括：
第一获取模块410，用于获取所播放音频的第一音频数据；
计算模块420，用于基于所述第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据；
采集模块430，用于通过麦克风采集当前场景中的音频数据，得到混合音频数据，所述混合音频数据包括第二音频数据、所播放音频的声波在所述当前场景中传播生成的真实回声数据；
回声消除模块440，用于基于所述模拟回声数据对所述混合音频数据进行回声消除处理，得到所述第二音频数据。
可选的，所述计算模块包括：
确定子模块，用于根据预先存储的场景与配置参数的对应关系，确定与所述当前场景对应的目标配置参数；
设置子模块，用于根据所述目标配置参数设置回声模拟算法中的配置参数；
计算子模块，用于基于所述第一音频数据和设置有所述目标配置参数的回声模拟算法，模拟计算所播放音频的声波在所述当前场景中传播生成的回声数据，得到模拟回声数据。
可选的，所述装置还包括：
第二获取模块，用于获取采集到的所述混合音频数据的音量分贝；
确定模块，用于当所述音量分贝大于预设音量阈值时，确定所述当前场景为第一场景；
所述确定模块，还用于当所述音量分贝不大于预设音量阈值时，确定所述当前场景为第二场景。
可选的，所述场景与配置参数的对应关系包括：
所述第一场景对应的配置参数为第一配置参数；
所述第二场景对应的配置参数为第二配置参数，所述第二配置参数小于所述第一配置参数。
可选的，所述回声模拟算法包括递归最小二乘rls自适应滤波器；所述配置参数包括：迭代次数、期望值中的至少一种。
可选的，所述回声数据包括直接回声数据和间接回声数据。
本申请实施例提供了一种音频处理装置，可以获取所播放音频的第一音频数据；基于第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据；然后，通过麦克风采集当前场景中的音频数据，得到混合音频数据，混合音频数据包括第二音频数据、所播放音频的声波在所述当前场景中传播生成的真实回声数据；基于模拟回声数据对混合音频数据进行回声消除处理，得到第二音频数据。
由于对所播放音频在当前场景中传播生成的回声数据进行模拟计算，得到模拟回声数据，再基于模拟回声数据对麦克风采集到的混合音频数据进行回声消除处理，因此，能够去除混合音频数据中的直接回声数据和间接回声数据，从而能够提高回声消除效果。
基于相同的技术构思，本申请实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
获取所播放音频的第一音频数据；
基于所述第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据；
通过麦克风采集当前场景中的音频数据，得到混合音频数据，所述混合音频数据包括第二音频数据、所播放音频的声波在所述当前场景中传播生成的真实回声数据；
基于所述模拟回声数据对所述混合音频数据进行回声消除处理，得到所述第二音频数据。
可选的，所述基于所述第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据，包括：
根据预先存储的场景与配置参数的对应关系，确定与所述当前场景对应的目标配置参数；
根据所述目标配置参数设置回声模拟算法中的配置参数；
基于所述第一音频数据和设置有所述目标配置参数的回声模拟算法，模拟计算所播放音频的声波在所述当前场景中传播生成的回声数据，得到模拟回声数据。
可选的，所述根据预先存储的场景与配置参数的对应关系，确定与当前场景对应的目标配置参数之前，还包括：
获取采集到的所述混合音频数据的音量分贝；
如果所述音量分贝大于预设音量阈值，则确定所述当前场景为第一场景；
如果所述音量分贝不大于预设音量阈值，则确定所述当前场景为第二场景。
可选的，所述场景与配置参数的对应关系包括：
所述第一场景对应的配置参数为第一配置参数；
所述第二场景对应的配置参数为第二配置参数，所述第二配置参数小于所述第一配置参数。
可选的，所述回声模拟算法包括递归最小二乘rls自适应滤波器；所述配置参数包括：迭代次数、期望值中的至少一种。
可选的，所述回声数据包括直接回声数据和间接回声数据。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一音频处理方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一音频处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种音频处理方法，其特征在于，所述方法包括：
获取所播放音频的第一音频数据；
基于所述第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据；
通过麦克风采集当前场景中的音频数据，得到混合音频数据，所述混合音频数据包括第二音频数据、所播放音频的声波在所述当前场景中传播生成的真实回声数据；
基于所述模拟回声数据对所述混合音频数据进行回声消除处理，得到所述第二音频数据；
其中，所述基于所述第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据，包括：
根据预先存储的场景与配置参数的对应关系，确定与所述当前场景对应的目标配置参数，所述配置参数包括：迭代次数、期望值中的至少一种；
根据所述目标配置参数设置回声模拟算法中的配置参数；
基于所述第一音频数据和设置有所述目标配置参数的回声模拟算法，模拟计算所播放音频的声波在所述当前场景中传播生成的回声数据，得到模拟回声数据。
2.根据权利要求1所述的方法，其特征在于，所述根据预先存储的场景与配置参数的对应关系，确定与所述当前场景对应的目标配置参数之前，还包括：
获取采集到的所述混合音频数据的音量分贝；
如果所述音量分贝大于预设音量阈值，则确定所述当前场景为第一场景；
如果所述音量分贝不大于预设音量阈值，则确定所述当前场景为第二场景。
3.根据权利要求2所述的方法，其特征在于，所述场景与配置参数的对应关系包括：
所述第一场景对应的配置参数为第一配置参数；
所述第二场景对应的配置参数为第二配置参数，所述第二配置参数小于所述第一配置参数。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述回声模拟算法包括递归最小二乘rls自适应滤波器。
5.根据权利要求1所述的方法，其特征在于，所述回声数据包括直接回声数据和间接回声数据。
6.一种音频处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取所播放音频的第一音频数据；
计算模块，用于基于所述第一音频数据，模拟计算所播放音频的声波在当前场景中传播生成的回声数据，得到模拟回声数据；
采集模块，用于通过麦克风采集当前场景中的音频数据，得到混合音频数据，所述混合音频数据包括第二音频数据、所播放音频的声波在所述当前场景中传播生成的真实回声数据；
回声消除模块，用于基于所述模拟回声数据对所述混合音频数据进行回声消除处理，得到所述第二音频数据；
其中，所述计算模块包括：
第一确定子模块，用于根据预先存储的场景与配置参数的对应关系，确定与所述当前场景对应的目标配置参数，所述配置参数包括：迭代次数、期望值中的至少一种；
设置子模块，用于根据所述目标配置参数设置回声模拟算法中的配置参数；
计算子模块，用于基于所述第一音频数据和设置有所述目标配置参数的回声模拟算法，模拟计算所播放音频的声波在所述当前场景中传播生成的回声数据，得到模拟回声数据。
7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN202010317867.5A 2020-04-21 2020-04-21 一种音频处理方法、装置、电子设备及存储介质 Active CN111583950B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010317867.5A CN111583950B (zh) 2020-04-21 2020-04-21 一种音频处理方法、装置、电子设备及存储介质
PCT/CN2020/140641 WO2021212905A1 (zh) 2020-04-21 2020-12-29 一种音频处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010317867.5A CN111583950B (zh) 2020-04-21 2020-04-21 一种音频处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111583950A CN111583950A (zh) 2020-08-25
CN111583950B true CN111583950B (zh) 2024-05-03

Family

ID=72113106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010317867.5A Active CN111583950B (zh) 2020-04-21 2020-04-21 一种音频处理方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN111583950B (zh)
WO (1) WO2021212905A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583950B (zh) * 2020-04-21 2024-05-03 珠海格力电器股份有限公司 一种音频处理方法、装置、电子设备及存储介质
CN113160790A (zh) * 2021-04-08 2021-07-23 维沃移动通信有限公司 回声消除方法、装置、电子设备及存储介质
CN114596871B (zh) * 2022-03-22 2023-03-28 镁佳(北京)科技有限公司 一种车机音量调整方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014205A (zh) * 2010-11-19 2011-04-13 中兴通讯股份有限公司 语音通话质量的处理方法及装置
CN103312913A (zh) * 2013-07-03 2013-09-18 苏州科达科技股份有限公司 一种消除回声的系统及方法
CN103856648A (zh) * 2012-11-29 2014-06-11 广达电脑股份有限公司 回音消除系统
CN106910510A (zh) * 2017-02-16 2017-06-30 智车优行科技（北京）有限公司 车载功放设备、车辆及其音频播放处理方法
CN108630219A (zh) * 2018-05-08 2018-10-09 北京小鱼在家科技有限公司 一种音频处理系统、方法、装置、设备及存储介质
CN109767777A (zh) * 2019-01-31 2019-05-17 迅雷计算机（深圳）有限公司 一种直播软件的混音方法
CN109961797A (zh) * 2017-12-25 2019-07-02 阿里巴巴集团控股有限公司 一种回声消除方法、装置以及电子设备
CN209994549U (zh) * 2019-08-16 2020-01-24 深圳市技湛科技有限公司 音频互动主机及音频互动设备
CN110930987A (zh) * 2019-12-11 2020-03-27 腾讯科技（深圳）有限公司 音频处理方法、装置和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613310B2 (en) * 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US9584642B2 (en) * 2013-03-12 2017-02-28 Google Technology Holdings LLC Apparatus with adaptive acoustic echo control for speakerphone mode
US11417351B2 (en) * 2018-06-26 2022-08-16 Google Llc Multi-channel echo cancellation with scenario memory
CN109166589A (zh) * 2018-08-13 2019-01-08 深圳市腾讯网络信息技术有限公司 应用声音抑制方法、装置、介质以及设备
CN110956973A (zh) * 2018-09-27 2020-04-03 深圳市冠旭电子股份有限公司 一种回声消除方法、装置及智能终端
CN111583950B (zh) * 2020-04-21 2024-05-03 珠海格力电器股份有限公司 一种音频处理方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014205A (zh) * 2010-11-19 2011-04-13 中兴通讯股份有限公司 语音通话质量的处理方法及装置
CN103856648A (zh) * 2012-11-29 2014-06-11 广达电脑股份有限公司 回音消除系统
CN103312913A (zh) * 2013-07-03 2013-09-18 苏州科达科技股份有限公司 一种消除回声的系统及方法
CN106910510A (zh) * 2017-02-16 2017-06-30 智车优行科技（北京）有限公司 车载功放设备、车辆及其音频播放处理方法
CN109961797A (zh) * 2017-12-25 2019-07-02 阿里巴巴集团控股有限公司 一种回声消除方法、装置以及电子设备
CN108630219A (zh) * 2018-05-08 2018-10-09 北京小鱼在家科技有限公司 一种音频处理系统、方法、装置、设备及存储介质
CN109767777A (zh) * 2019-01-31 2019-05-17 迅雷计算机（深圳）有限公司 一种直播软件的混音方法
CN209994549U (zh) * 2019-08-16 2020-01-24 深圳市技湛科技有限公司 音频互动主机及音频互动设备
CN110930987A (zh) * 2019-12-11 2020-03-27 腾讯科技（深圳）有限公司 音频处理方法、装置和存储介质

Also Published As

Publication number Publication date
CN111583950A (zh) 2020-08-25
WO2021212905A1 (zh) 2021-10-28

Similar Documents

Publication Publication Date Title
CN111583950B (zh) 一种音频处理方法、装置、电子设备及存储介质
US11017799B2 (en) Method for processing voice in interior environment of vehicle and electronic device using noise data based on input signal to noise ratio
CN110246515B (zh) 回声的消除方法、装置、存储介质及电子装置
CN111161752A (zh) 回声消除方法和装置
WO2018188282A1 (zh) 回声消除方法、装置、会议平板及计算机存储介质
CN111883156B (zh) 音频处理方法、装置、电子设备及存储介质
CN108630219B (zh) 回声抑制音频信号特征跟踪的处理系统、方法及装置
CN110956976B (zh) 一种回声消除方法、装置、设备及可读存储介质
CN113170024B (zh) 回声消除方法、延时估计方法、装置、存储介质及设备
CN111031448B (zh) 回声消除方法、装置、电子设备和存储介质
CN107360530B (zh) 一种回声消除的测试方法和装置
US11349525B2 (en) Double talk detection method, double talk detection apparatus and echo cancellation system
CN109658935B (zh) 多通道带噪语音的生成方法及系统
CN110992923B (zh) 回声消除方法、电子设备以及存储装置
CN110782914B (zh) 信号处理方法、装置、终端设备及存储介质
CN109727605B (zh) 处理声音信号的方法及系统
CN112037810A (zh) 一种回音处理方法、装置、介质和计算设备
CN117693791A (zh) 言语增强
CN113241085B (zh) 回声消除方法、装置、设备及可读存储介质
CN112489679B (zh) 声学回声消除算法的评估方法、装置及终端设备
CN115620737A (zh) 语音信号处理装置、方法、电子设备和扩音系统
CN114792524B (zh) 音频数据处理方法、装置、程序产品、计算机设备和介质
CN112489680B (zh) 声学回声消除算法的评估方法、装置及终端设备
CN111756906B (zh) 一种语音信号的回声抑制方法、装置和计算机可读介质
CN112863534B (zh) 噪声音频消除方法、语音识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant