CN113421578A - 音频处理方法、装置、电子设备及存储介质 - Google Patents
音频处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113421578A CN113421578A CN202110615748.2A CN202110615748A CN113421578A CN 113421578 A CN113421578 A CN 113421578A CN 202110615748 A CN202110615748 A CN 202110615748A CN 113421578 A CN113421578 A CN 113421578A
- Authority
- CN
- China
- Prior art keywords
- audio
- played
- signal
- processing
- echo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000005236 sound signal Effects 0.000 claims abstract description 116
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000007613 environmental effect Effects 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
Abstract
本申请实施例提供了一种音频处理方法、装置、电子设备及存储介质，涉及音频技术领域。该方法包括：获取音频混合前的多路待播放音频，其中，所述多路待播放音频至少为两路待播放音频；使用音频采集装置采集环境音频信号；获取每路待播放音频对应生成的参考信号，根据所述参考信号对所述环境音频信号进行回声消除处理，以消除环境音频信号中包含的回声信号，所述回声信号为所述多路待播放音频被播放后产生的音频。通过获取音频混合前的多路待播放音频，再根据每路待播放音频对应生成的参考信号，对采集到的环境音频信号进行回声消除处理，最终本申请能够有效消除环境音频信号中多路待播放音频被播放后产生的回声信号，得到更加干净的音频信号。
Description
技术领域
本申请涉及音频技术领域，更具体地，涉及一种音频处理方法、装置、电子设备及存储介质。
背景技术
回声消除系统在多媒体领域得到了广泛的应用，但是，对具有多路回声信号的系统进行回声消除处理时，回声消除效果往往不佳。
发明内容
本申请提出了一种音频处理方法、装置、电子设备及存储介质，以改善上述缺陷。
第一方面，本申请实施例提供了一种音频处理方法，所述方法包括：获取音频混合前的多路待播放音频，其中，所述多路待播放音频至少为两路待播放音频；使用音频采集装置采集环境音频信号；获取每路待播放音频对应生成的参考信号，根据所述参考信号对所述环境音频信号进行回声消除处理，以消除环境音频信号中包含的回声信号，所述回声信号为所述多路待播放音频被播放后产生的音频。
第二方面，本申请实施例还提供了一种电子设备的音频处理装置，所述装置包括：获取单元、采集单元和处理单元。获取单元，用于获取音频混合前的多路待播放音频，其中，所述多路待播放音频至少为两路待播放音频；采集单元，用于使用音频采集装置采集环境音频信号；处理单元，用于获取每路待播放音频对应生成的参考信号，根据所述参考信号对所述环境音频信号进行回声消除处理，以消除环境音频信号中包含的回声信号，所述回声信号为所述多路待播放音频被播放后产生的音频。
第三方面，本申请实施例还提供了一种电子设备，包括处理器、存储器，所述存储器存储有计算机程序，所述处理器通过调用所述计算机程序执行以下操作：获取音频混合前的多路待播放音频，其中，所述多路待播放音频至少为两路待播放音频；使用音频采集装置采集环境音频信号；获取每路待播放音频对应生成的参考信号，根据所述参考信号对所述环境音频信号进行回声消除处理，以消除环境音频信号中包含的回声信号，所述回声信号为所述多路待播放音频被播放后产生的音频。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方法。
本申请实施例提供的音频处理方法、装置、电子设备及存储介质，通过获取音频混合前的多路待播放音频，再根据每路待播放音频对应生成的参考信号，对采集到的环境音频信号进行回声消除处理，最终本申请能够有效消除环境音频信号中多路待播放音频被播放后产生的回声信号，得到更加干净的音频信号。
本申请实施例的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的使用软件方案进行回声消除的音频处理系统的系统框图；
图2示出了本申请另一实施例提供的使用硬件方案进行回声消除的音频处理系统的系统框图；
图3示出了本申请一实施例提供的应用场景示意图；
图4示出了本申请另一实施例提供的音频处理方法的方法流程图；
图5示出了本申请另一实施例提供的音频处理方法的示意框图；
图6示出了本申请一实施例提供的音频处理方法的方法流程图；
图7示出了本申请一实施例提供的音频处理方法的示意框图；
图8示出了本申请一实施例提供的音频混合示意图；
图9示出了本申请一实施例提供的音频复用示意图；
图10示出了本申请另一实施例提供的一种复用信号的数据结构示意图；
图11示出了本申请又一实施例提供的连续回声消除处理示意图；
图12示出了本申请一实施例提供的电子设备的音频处理装置的模块框图；
图13示出了本申请实施例提供的电子设备的结构框图；
图14示出了本申请实施例的用于保存或者携带实现根据本申请实施例的音频处理方法的程序代码的计算机可读介质。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，回声消除系统(Acoustic Echo Cancellation，AEC)在多媒体领域得到了广泛的应用，主要用在一些同时具有上下行音频数据流的使用场景，比如终端通话，语音识别，多麦克阵列智能音响等。由于自身系统播放的音频噪声以及背景噪声的干扰，这些场景的拾音系统往往很难获取用户的语音。因为拾音系统接收到的语音不仅仅包含用户输入的语音信号还包含由自身系统播放的音频噪声和背景噪声，这里自身系统播放的音频噪声被称为回声。音频噪声以及背景噪声传送到拾音系统的路径叫做声学路径(acoustic path)。
回声消除系统主要原理是通过对上行拾音系统获取的音频信号以及下行音频信号对应的参考信号做处理，将上行音频信号中的回声部分消除，从而得到干净的不包含回声的上行音频信号。
通常回声消除的实现方法分为软件方案及硬件方案，不管是软件回声消除方案还是硬件回声消除方案都需要参考信号，参考信号是实现回声消除的重要依据，其中，参考信号是对下行音频信号进行音频处理后得到的信号。在具有多路下行音频信号的系统中，往往会在下行音频信号播放前将多路下行音频信号混合处理为一路信号，而从多路音频信号混合处理后得到的一路信号中获取得到的参考信号将不再准确，此时根据参考信号进行回声消除处理，消除回声的效果不佳。
发明人在研究中发现，可以分别获取独立的多路下行音频信号，并将多路下行音频信号分别传输至回声消除处理模块进行多重回声消除处理，可以实现更好的回声消除效果。
需要说明的是，本申请实施例既可以应用在软件回声消除方案中，也可以应用在硬件回声消除方案中。为更好地对本申请实施例进行说明，下面分别以软件方案和硬件方案为例介绍回声消除的处理过程。
请参考图1，其示出了采用软件方案进行回声消除的音频处理系统的系统框图，其中，在本申请的一些实施例中，音频处理系统的回声消除模块由系统级芯片(System onChip，SOC)、音频输入、参考信号输入以及回声消除算法组成。经回声消除系统处理后的音频数据从音频输出接口输出之后，会经过音频混合、音量调整及音频均衡等非线性处理，最后经数模转换解码后变成模拟信号，推动音频播放装置输出播放。这是整个系统的下行链路(downlink path)。另一侧，音频采集装置采集到的音频信号经过模数转换、重采样处理(针对接收方采样率和发送方不同，可能需要进行重采样处理)处理之后经音频输入接口输入到系统级芯片。这是系统的上行链路(uplink path)。另外，音频播放装置播放出来的音频有一部分会直接进入到音频采集装置，被音频采集装置接收。这是系统的声学路径。音频混合、音量调整及音频均衡等非线性处理之后的下行音频数据，经过重采样处理到经参考信号输入接口输入到系统级芯片，这是系统的参考信号路径。一般而言，音频采集设备采集的声音会包含正常我们需要的信号，比如人的说话声音(通话的声音，语音识别用户说的关键字等)，也包含了声学路径传播过来的声音，比如此时正在播放的音乐和背景噪声。系统级芯片中的回声消除算法可以将音频采集装置采集到的声音中的回声信号消除掉，从而得到干净的上行音频数据。其中，音频处理系统的各处理模块或装置可以集成在一个音频处理设备中，也可以设置在不同的音频处理设备中，本申请实施例对此不作限制。若设置在不同的音频处理设备中，各音频处理设备将各自分工，以实现不同的功能，在该情况下，音频信号在各音频处理设备间传输时应当采用统一的传输标准，例如采用I2S(Inter—ICSound)总线等。
当然，回声消除也可以由专用的回声消除处理器来处理。硬件回声消除方案如图2所示，图中许多音频处理流程与软件方案相同，在此不再赘述，不同的是，回声消除处理器可以直接接收上行音频信号及参考信号，然后在回声消除处理器内部做算法处理消除回声，最后将回声消除处理之后的干净上行音频数据发送给系统级芯片进行后级处理，比如通过网络发送给云端进行语音识别等。可以理解的是，为方便对回声消除软件方案及硬件方案进行示例性说明，图1及图2仅示出了其中两种典型的音频处理系统的处理流程，在实际应用中，回声消除系统可能包含图中所有处理模块，也可能包含其中部分处理模块，且本申请实施例对各处理模块的处理顺序不做限定。
从上面框图可知，不管软件方案还是硬件方案，参考信号均来自下行链路中音频混合、音量调整以及音频均衡等处理之后的输出音频。音频混合、音量调整以及音频均衡等处理之前的信号可能包括多路下行音频信号，多路下行音频信号通过音频混合将变为一路音频信号，传输到回声处理系统的参考信号也是一个信号，这样参考信号将无法准确地反应多路下行音频信号的情况，回声消除的效果将远远差于只有一路下行音频信号的时候。
在实际的应用中，由于回声消除不干净，输入后级处理系统的音频数据往往就带有回声信号。如图3所示，其示出了本申请实施例的一个应用场景示意图，在车辆行驶过程中，开启了语音导航的同时正在播放音乐，此时如用户意图唤醒语音助手，那么语音导航和音乐声通过声学路径同用户语音一起被音频采集装置拾音后，由于回声消除不干净，可能随用户语音输入到语音识别引擎，从而增加语音识别误差，无法唤醒语音助手，给用户带来较差的使用体验。
因此，为了改善上述缺陷，申请实施例提供了一种音频处理方法、装置、电子设备及存储介质，该方法的执行主体可以是本申请实施例提供的音频处理装置，或者集成了该音频处理装置的电子设备，其中该音频处理装置可以采用硬件或者软件的方式实现。电子设备可以是如平板电脑、游戏主机、电子书阅读器、多媒体播放设备、智能手表、智能音箱、车载智能系统、手机、PC(Personal Computer，个人计算机)等设备。电子设备内应当安装有多个应用程序，用户可以使用多个应用程序实现不同的功能、用途，例如，利用音频播放软件播放音频，利用电子游戏软件玩游戏，利用导航系统进行定位、目的地选择、路径计算和路径指导等。
请参考图4，其示出了本申请一实施例提供的音频处理方法的方法流程图。该方法包括：S410至S430。
步骤S410：获取音频混合前的多路待播放音频，其中，所述多路待播放音频至少为两路待播放音频。
本申请实施例中的所述多路待播放音频至少为两路待播放音频。为方便理解，本实施例将以图3中的两路待播放音频为例进行说明。示例性地，第一路待播放音频用于音乐播放，第二路待播放音频用于导航播放。其中，数字音频处理装置将对播放前的多路待播放音频进行一系列的音频处理。示例性地，若多路待播放音频为用于音乐播放和导航播放的两路下行音频信号，其中，数字音频处理装置将对两路下行音频信号进行音频混合处理使其合成为一路音频信号，具体地，数字音频处理装置将两路音频叠加、混合在一起。在现有技术方案中，参考信号是由音频混合后合成的一路音频信号得到的，音频混合后两路信号将互相影响，得到的参考信号也不再准确有效。因此，为得到互相独立准确的参考信号，本申请实施例获取音频混合前的多路待播放音频。例如，如图5所示，由系统级芯片输出的下行多路待播放音频是独立、互不相干的，若按照图1或图2的处理方式，参考信号将是由音频混合后合成的一路音频信号得到的。而在本申请实施例中，下行多路待播放音频仍然输入到数字音频处理装置，本实施例将获取并导出音频混合处理前的多路待播放音频，请参见图5中的第一路待播放音频及第二路待播放音频，本实施例中在音频混合前获取这两路音频，然后将其作为参考信号输入路径的源信号。
步骤S420：使用音频采集装置采集环境音频信号。
音频采集装置采集的环境音频信号中可能包括音频播放装置播放出来的沿声学路径传播的回声信号，以及环境噪音信号。例如，前述实施例中的多路待播放音频，经下行链路处理、传输后，由音频播放装置播放后，就极有可能作为回声信号被音频采集装置采集到。因此，为去除这部分回声信号，需要对采集到的环境音频信号进行回声消除处理。例如通过自适应滤波器从音频采集装置采集到环境音频信号中减去回声，实现回声消除功能。
步骤S430：获取每路待播放音频对应生成的参考信号，根据所述参考信号对所述环境音频信号进行回声消除处理，以消除环境音频信号中包含的回声信号，所述回声信号为所述多路待播放音频被播放后产生的音频。
在本申请实施例中，可以将每路待播放音频信息直接作为回声消除的参考信号，也可以对每路待播放音频信息进行处理，将处理后的信号作为回声消除的参考信号。
参考信号与回声信号均来源于待播放音频，所携带的音频信息均包含了待播放音频的音频特征，因此可以根据参考信号消除环境音频信号中的回声信号。回声消除的处理，可以形象地描述为从环境音频信号中减去参考信号，从而得到不含回声的纯净音频信号。在本申请实施例中，参考信号是根据音频混合前的每路待播放音频生成的，一般来说，参考信号的数量与待播放音频的数量一致。再次参见图5，将根据两路待播放音频，分别生成两路参考信号，如第一路待播放音频对应生成第一参考信号，第二路待播放音频对应生成第二参考信号。同时，由独立的每路待播放音频对应生成的每路参考信号也是独立的，不会产生信号混叠，能够准确地反应每路待播放音频的音频特征，从而根据所述相互独立的参考信号对音频采集装置采集得到的环境音频信号进行回声消除处理后，能够得到更加干净的，不含回声的纯净音频信号。得到纯净音频信号后，在一些实施例中，还将对所述处理后的纯净音频信号执行预设操作。例如，由于纯净音频信号中仍然可能存在环境噪声，如设备运行的声音、交通噪声等，因此预设操作可以是为消除环境噪声而对纯净音频信号执行的去噪操作。另外，也可能在回声消除前已经完成去噪操作，得到的纯净音频信号可能已经是需要的正常音频，那么预设操作则可能包括对音频的应用操作，如语音识别、声源定位与跟踪、音乐信息检索、音频播放等一个或连续多个操作。
综上所述，本申请实施例提供的技术方案，通过获取音频混合前的多路待播放音频，再根据每路待播放音频对应生成的参考信号，对采集到的环境音频信号进行回声消除处理，最终本申请能够有效消除环境音频信号中多路待播放音频被播放后产生的回声信号，得到更加干净的音频信号。
请参考图6，其示出了本申请又一实施例提供的音频处理方法的方法流程图。该方法包括：S610至S660。
步骤S610：获取音频混合前的多路待播放音频，其中，所述多路待播放音频至少为两路待播放音频。
在本申请实施例中，音频混合前获取的多路待播放音频是互相独立的音频。为提高传输效率，同时保证多路音频在传输过程中仍然保持相互独立，将进行音频复用处理。请参见图7，在获取到多路待播放音频后，将通过音频复用，在音频发送端将音频混合前获取的多路待播放音频复用为一路复用信号进行传输，而在音频接收端通过解复用从复用信号中分离出多路待播放音频。同样是将多路音频处理为一路音频，经音频混合处理后生成的混合音频中原有的多路音频信号相互叠加、相互影响，从混合音频中已经无法恢复出原有的多路音频信号。如图8所示，其形象地示出了对多路音频信号进行音频混合的处理过程，音乐信号A与导航信号B经过音频混合生成了混合信号，而混合信号中信号A与信号B产生了重合部分C，由于相互叠加产生的重合部分的存在，导致从混合信号中无法分离出信号A与信号B。
与音频混合技术不同的是，复用技术是为提高传输效率而将多路音频复用为一路复用信号，复用信号中所传输的多路音频信号互不干扰，经过对应的解复用技术，即可恢复出原有的多路音频。如图9所示，其形象地示出了对多路音频信号进行复用处理的过程，同样对音乐信号A和导航信号B进行处理，复用信号1与复用信号2表示经过不同方式生成的两种复用信号，从而使两路的音频数据可以共享一个信道进行传输。但无论采用何种复用方式，复用信号中信号A与信号B都互不重叠、干扰，可以轻易地将其分离，恢复出两个独立的信号。示例性地，所述复用信号可以为经过频分复用生成的频分复用信号，经过码分复用生成的码分复用信号，或者经过时分复用生成的时分复用信号等。
步骤S620：若所述多路待播放音频均为立体声信号，将所述多路待播放音频中，属于左声道的所述多路待播放音频放入第一数据帧的不同时隙。
步骤S630：将所述多路待播放音频中，属于右声道的所述多路待播放音频放入第二数据帧的不同时隙。
在本申请实施例中，采用时分复用(time-division multiplexing，TDM)的方式将音频混合前的多路待播放音频组合生成时分复用信号，方便进行独立传输。其中，时分复用利用同一物理信道的不同时段来传输不同的信号，它将整个传输时间分为许多时间间隔(Slot time，TS，又称为时隙)，每个时间间隔被一路信号占用。在一些典型的实施例中，对于多路待播放音频，通过时分复用处理可以将各路待播放音频放入数据帧的不同时隙，再将数据帧组合起来生成时分复用信号。
特别地，若所述多路待播放音频均为立体声信号，每路待播放音频都包括左声道音频和右声道音频，在本申请实施例中，对多路立体声信号进行时分复用，可以单独将属于左声道的待播放音频放入第一数据帧的不同时隙，将属于右声道的所述待播放音频放入第二数据帧的不同时隙。示例性地，以以两路待播放音频为例介绍对立体声音频进行时分复用的处理过程。两路待播放音频分别为用于播放音乐的音乐音频和用于播放导航语音的导航音频，其中音乐音频的左右声道音频分别标记为mL和mR，导航音频的左右声道音频分别标记为nL和nR。如图10所示，将属于左声道的音乐音频mL和导航音频nL放入了第一数据帧的两个时隙，将属于右声道的音乐音频mR和导航音频nR放入了第二数据帧的两个时隙。可以理解的是，本实施例的图例中示例性地列出一种可能的实施方式，并未对多路音频放入时隙的前后顺序及左右声道音频放入数据帧的前后顺序作出限制。
步骤S640：将所述数据帧组合生成时分复用信号，以传输所述多路待播放音频。
将左右声道生成的第一数据帧和第二数据帧组合起来，生成时分复用信号。此外，由于采样频率、采样位深及同步时钟的不同，时隙的大小也有所差异。以32bit的位深进行采样，同时同步时钟为48000Hz，位时钟频率为6144000Hz，在一些实施例中，同步时钟为低电平时传输左声道的第一数据帧，高电平时传输右声道的第二数据帧，则传输两路待播放音频的时分复用信号的时隙可以为1/96000s。
步骤S650：使用音频采集装置采集环境音频信号。
步骤S660：接收复用信号，根据复用信号中携带的多路待播放音频，获取每路待播放音频对应生成的参考信号，根据所述参考信号对所述环境音频信号进行回声消除处理，以消除环境音频信号中包含的回声信号。
在一些实施例中，需要对复用信号进行解复用操作，从复用信号中恢复出多路待播放信号，然后将恢复出来的多路待播放信号处理为对应的多路参考信号，再根据多路参考信号对音频采集装置采集的环境音频信号进行回声消除处理。
通过复用和解复用的过程，让音频混合前获得的多路各自独立的待播放音频能够互不干扰地传输到回声消除工作的模块。其中，在一些实施例中，可以直接将复用信号解复用得到的多路待播放音频对应作为多路参考信号，从环境音频信号进行回声消除，也可以对解复用得到的多路待播放音频分别进行进一步处理后，将处理后得到的多路信号作为多路参考信号，再执行回声消除处理。时分复用过程中会将多路待播放音频放入不同的时隙，放入的顺序可能是预设好的，也可能是随机生成的顺序，在一些典型的实施例中，时分复用信号的接收端并不知道具体的放入顺序，因此，生成时分复用信号时会在时分复用信号中插入帧同步码，帧同步码使解复用时接收端能正确地从数据帧中识别各路待播放音频，使接收端能按照恰当的顺序将原始的多路待播放音频恢复出来。从前述实施例可知，根据所述时分复用信号携带的多路待播放音频信息对环境音频信号进行回声消除处理，首先将多路待播放音频对应生成多路参考信号，然后根据多路参考信号对环境音频信号进行回声消除。
在一些实施例中，将根据多路待播放音频对所述环境音频信号进行连续回声消除处理。进一步地，连续回声消除处理的具体过程包括：从所处环境音频信号中连续消除多路待播放音频，直至所述多路待播放音频全部消除为止。
需要说明的是，使用音频采集装置采集环境音频信号前，多路待播放音频经过音频混合及其他预设的音频处理操作后，将通过音频播放设备播放所述处理后的音频信号。其中播放出的部分音频信号经过声学路径随真正需要的正常音频被音频采集装置采集，通常这部分音频信号称为回声，由此可知采集得到的环境音频信号中既包括真正需要的正常音频还包括回声。回声作为多路待播放音频的一部分，在连续多重回声消除处理过程中，由多路待播放音频独立生成的多路参考信号分别作为每次回声消除的参考信号，逐步消除各路待播放音频对应的回声，从而得到真正需要的纯净音频信号。
以两路待播放音频为例，两路待播放音频对应将生成两路参考信号，经下行音频处理播放后也将形成两个回声信号，那么针对两个回声信号将对环境音频信号进行两次回声消除处理。其中，第一次回声消除将根据第一参考信号消除该参考信号对应的第一回声，第二次回声消除将根据第二参考信号消除该参考信号对应的第二回声，如图11所示，两次回声消除处理是连续的，并且第二次回声消除处理的源音频是经第一次回声消除处理消除掉环境音频信号中的第一回声后得到音频信号，经过第二次回声消除后最终得到回声消除完毕的纯净音频信号，方便对纯净音频信号执行进一步的环境噪声消除、语音识别等预设处理操作。
此外，在一些实施例中，由于音频复用、解复用的过程可以利用软件回声消除方案和硬件回声消除方案的音频输出端和参考信号输入端实现，而连续多重回声消除可直接基于软件方案的回声消除算法和硬件方案的回声消除处理器实现，不需要新增硬件装置，因此可以直接使用空中下载技术(Over-the-Air Technology，OTA)在线更新技术方案，方案升级更加快捷、便利。
综上所述，本申请实施例提供的技术方案，通过获取音频混合前的多路待播放音频，将所述多路待播放音频组合生成时分复用信号，最后根据所述时分复用信号中恢复出多路待播放音频信息，根据每路待播放音频对应生成的参考信号，对音频采集装置采集的环境音频信息进行连续多重回声消除处理得到处理后的纯净音频信号。最终本申请能够有效消除环境音频信号中多路待播放音频被播放后产生的回声信号，得到更加干净的音频信号。
请参阅图12，示出了本申请一实施例提供的电子设备的音频处理装置的模块框图。该装置包括：获取单元1210、采集单元1220和处理单元1230。
获取单元1210，用于获取音频混合前的多路待播放音频，其中，所述多路待播放音频至少为两路待播放音频；采集单元1220，用于使用音频采集装置采集环境音频信号；处理单元1230，用于获取每路待播放音频对应生成的参考信号，根据所述参考信号对所述环境音频信号进行回声消除处理，以消除环境音频信号中包含的回声信号，所述回声信号为所述多路待播放音频被播放后产生的音频。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
综上所述，本申请实施例提供的技术方案，通过获取音频混合前的多路待播放音频，再根据每路待播放音频对应生成的参考信号，对采集到的环境音频信号进行回声消除处理，最终本申请能够有效消除环境音频信号中多路待播放音频被播放后产生的回声信号，得到更加干净的音频信号。
请参阅图13，其示出了本申请实施例提供的电子设备的结构框图，具体地，所述电子设备1300一个或多个如下部件：存储器1310、处理器1320以及一个或多个应用程序。其中，一个或多个应用程序可以被存储在存储器1310中并被配置为由一个或多个处理器1320执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
电子设备1300可以为移动、便携式并执行无线通信的各种类型的计算机系统设备中的任何一种。具体的，电子设备1300可以为移动电话或智能电话(例如，基于iPhone TM，基于Android TM的电话)、便携式游戏设备(例如Nintendo DS TM，PlayStation PortableTM，Gameboy Advance TM，iPhone TM)、膝上型电脑、PDA、便携式互联网设备、音乐播放器以及数据存储设备，其他手持设备以及诸如智能手表、智能手环、耳机、吊坠等，电子设备1300还可以为其他的可穿戴设备(例如，诸如电子眼镜、电子衣服、电子手镯、电子项链、电子纹身、电子设备或头戴式设备(HMD))。
电子设备1300还可以是多个电子设备中的任何一个，多个电子设备包括但不限于蜂窝电话、智能电话、智能手表、智能手环、其他无线通信设备、个人数字助理、音频播放器、其他媒体播放器、音乐记录器、录像机、照相机、其他媒体记录器、收音机、医疗设备、车辆运输仪器、计算器、可编程遥控器、寻呼机、膝上型计算机、台式计算机、打印机、上网本电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器，便携式医疗设备以及数码相机及其组合。
在一些情况下，电子设备1300可以执行多种功能(例如，播放音乐，显示视频，存储图片以及接收和发送电话呼叫)。如果需要，电子设备1300可以是诸如蜂窝电话、媒体播放器、其他手持设备、腕表设备、吊坠设备、听筒设备或其他紧凑型便携式设备。
处理器1310可以包括一个或者多个处理核。处理器1310利用各种接口和线路连接整个电子设备1300内的各个部分，通过运行或执行存储在存储器1320内的指令、程序、代码集或指令集，以及调用存储在存储器1320内的数据，执行电子设备1300的各种功能和处理数据。可选地，处理器1310可以采用数字信号处理、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1310可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1310中，单独通过一块通信芯片进行实现。
存储器1320可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器1320可用于存储指令、程序、代码、代码集或指令集。存储器1320可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)，用于获取音频混合前的多路待播放音频，其中，所述多路待播放音频至少为两路待播放音频；使用音频采集装置采集环境音频信号；获取每路待播放音频对应生成的参考信号，根据所述参考信号对所述环境音频信号进行回声消除处理，以消除环境音频信号中包含的回声信号，所述回声信号为所述多路待播放音频被播放后产生的音频。存储数据区还可以存储电子设备1300在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的处理器1310、存储器1320的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的音频处理方法。
请参考图14，其示出了本申请实施例的用于保存或者携带实现根据本申请实施例的音频处理方法的程序代码的计算机可读介质。该计算机可读介质1400中存储有程序代码1410，所述程序代码可被处理器调用执行上述方法实施例中所描述的音频处理方法。
计算机可读存储介质1400可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1400包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1400具有执行上述方法中的任何方法步骤的程序代码1410的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1410可以例如以适当形式进行压缩。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
本发明实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一区域和第二区域等是用于区别不同的区域，而不是用于描述区域的特定顺序。在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
本文中术语“和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系，例如A/B表示A或者B。
在本发明的实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (11)
1.一种音频处理方法，其特征在于，所述方法包括：
获取音频混合前的多路待播放音频，其中，所述多路待播放音频至少为两路待播放音频；
使用音频采集装置采集环境音频信号；
获取每路待播放音频对应生成的参考信号，根据所述参考信号对所述环境音频信号进行回声消除处理，以消除环境音频信号中包含的回声信号，所述回声信号为所述多路待播放音频被播放后产生的音频。
2.根据权利要求1所述的方法，其特征在于，所述获取音频混合前的多路待播放音频之后，还包括：
将所述多路待播放音频组合生成复用信号，以传输所述多路待播放音频。
3.根据权利要求2所述的方法，其特征在于，所述获取每路待播放音频对应生成的参考信号包括：
接收所述复用信号，根据所述复用信号中携带的多路待播放音频，获取每路待播放音频对应生成的参考信号。
4.根据权利要求2所述的方法，其特征在于，所述复用信号为时分复用信号，所述将所述多路待播放音频组合生成复用信号，包括：
将所述多路待播放音频放入数据帧的不同时隙以组合生成时分复用信号。
5.根据权利要求4所述的方法，其特征在于，若所述多路待播放音频均为立体声信号，所述将所述多路待播放音频放入数据帧的不同时隙包括：
将所述多路待播放音频中，属于左声道的所述多路待播放音频放入第一数据帧的不同时隙；
将所述多路待播放音频中，属于右声道的所述多路待播放音频放入第二数据帧的不同时隙。
6.根据权利要求1所述的方法，其特征在于，所述根据所述参考信号对所述环境音频信号进行回声消除处理，包括：
根据所述参考信号，对所述环境音频信号进行连续回声消除处理。
7.根据权利要求5所述的方法，其特征在于，所述根据所述参考信号，对所述环境音频信号进行连续回声消除处理，包括：
根据所述参考信号，从所处环境音频信号中连续消除所述回声信号，直至所述回声信号全部被消除为止。
8.根据权利要求1所述的方法，其特征在于，所述使用音频采集装置采集环境音频信号之前，还包括：
对所述多路待播放音频进行音频混合处理，得到混合音频信号；
基于混合音频信号，执行预设处理操作，得到处理后的音频信号；
通过音频播放设备播放所述处理后的音频信号。
9.一种音频处理装置，其特征在于，所述装置包括：
获取单元，用于获取音频混合前的多路待播放音频，其中，所述多路待播放音频至少为两路待播放音频；
采集单元，用于使用音频采集装置采集环境音频信号；
处理单元，用于获取每路待播放音频对应生成的参考信号，根据所述参考信号对所述环境音频信号进行回声消除处理，以消除环境音频信号中包含的回声信号，所述回声信号为所述多路待播放音频被播放后产生的音频。
10.一种电子设备，其特征在于，包括处理器、存储器，所述存储器存储有计算机程序，所述处理器通过调用所述计算机程序，用于执行如权利要求1至8任一项所述的音频处理方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110615748.2A CN113421578A (zh) | 2021-06-02 | 2021-06-02 | 音频处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110615748.2A CN113421578A (zh) | 2021-06-02 | 2021-06-02 | 音频处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113421578A true CN113421578A (zh) | 2021-09-21 |
Family
ID=77713661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110615748.2A Pending CN113421578A (zh) | 2021-06-02 | 2021-06-02 | 音频处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421578A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114121050A (zh) * | 2021-11-30 | 2022-03-01 | 云知声智能科技股份有限公司 | 音频播放方法、装置、电子设备和存储介质 |
| CN116566963A (zh) * | 2023-07-12 | 2023-08-08 | 腾讯科技（深圳）有限公司 | 一种音频处理方法、装置、电子设备和存储介质 |
| WO2023206795A1 (zh) * | 2022-04-29 | 2023-11-02 | 歌尔股份有限公司 | 基于音频进行多频道数据传输方法、设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2987312A1 (en) * | 2013-04-15 | 2016-02-24 | Nuance Communications, Inc. | System and method for acoustic echo cancellation |
| US9659555B1 (en) * | 2016-02-09 | 2017-05-23 | Amazon Technologies, Inc. | Multichannel acoustic echo cancellation |
| CN109087660A (zh) * | 2018-09-29 | 2018-12-25 | 百度在线网络技术（北京）有限公司 | 用于回声消除的方法、装置、设备以及计算机可读存储介质 |
| CN110956973A (zh) * | 2018-09-27 | 2020-04-03 | 深圳市冠旭电子股份有限公司 | 一种回声消除方法、装置及智能终端 |
| US10657981B1 (en) * | 2018-01-19 | 2020-05-19 | Amazon Technologies, Inc. | Acoustic echo cancellation with loudspeaker canceling beamformer |
| CN111261180A (zh) * | 2020-01-16 | 2020-06-09 | 百度在线网络技术（北京）有限公司 | 音频信号处理方法、装置、电子设备及计算机可读介质 |
| CN111356058A (zh) * | 2018-12-20 | 2020-06-30 | 深圳市冠旭电子股份有限公司 | 一种回声消除方法、装置及智能音箱 |
| CN111724804A (zh) * | 2020-06-29 | 2020-09-29 | 北京百度网讯科技有限公司 | 用于处理信息的方法和装置 |
| CN111755002A (zh) * | 2020-06-19 | 2020-10-09 | 北京百度网讯科技有限公司 | 语音识别装置、电子设备和语音识别方法 |
| CN111883158A (zh) * | 2020-07-30 | 2020-11-03 | 广州小鹏车联网科技有限公司 | 一种回声消除方法和装置 |
| CN111883156A (zh) * | 2020-07-22 | 2020-11-03 | Oppo（重庆）智能科技有限公司 | 音频处理方法、装置、电子设备及存储介质 |
| CN112185366A (zh) * | 2020-08-18 | 2021-01-05 | 北京百度网讯科技有限公司 | 语音交互设备、方法、装置、电子设备和存储介质 |
-
2021
- 2021-06-02 CN CN202110615748.2A patent/CN113421578A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2987312A1 (en) * | 2013-04-15 | 2016-02-24 | Nuance Communications, Inc. | System and method for acoustic echo cancellation |
| US9659555B1 (en) * | 2016-02-09 | 2017-05-23 | Amazon Technologies, Inc. | Multichannel acoustic echo cancellation |
| US10657981B1 (en) * | 2018-01-19 | 2020-05-19 | Amazon Technologies, Inc. | Acoustic echo cancellation with loudspeaker canceling beamformer |
| CN110956973A (zh) * | 2018-09-27 | 2020-04-03 | 深圳市冠旭电子股份有限公司 | 一种回声消除方法、装置及智能终端 |
| CN109087660A (zh) * | 2018-09-29 | 2018-12-25 | 百度在线网络技术（北京）有限公司 | 用于回声消除的方法、装置、设备以及计算机可读存储介质 |
| CN111356058A (zh) * | 2018-12-20 | 2020-06-30 | 深圳市冠旭电子股份有限公司 | 一种回声消除方法、装置及智能音箱 |
| CN111261180A (zh) * | 2020-01-16 | 2020-06-09 | 百度在线网络技术（北京）有限公司 | 音频信号处理方法、装置、电子设备及计算机可读介质 |
| CN111755002A (zh) * | 2020-06-19 | 2020-10-09 | 北京百度网讯科技有限公司 | 语音识别装置、电子设备和语音识别方法 |
| CN111724804A (zh) * | 2020-06-29 | 2020-09-29 | 北京百度网讯科技有限公司 | 用于处理信息的方法和装置 |
| CN111883156A (zh) * | 2020-07-22 | 2020-11-03 | Oppo（重庆）智能科技有限公司 | 音频处理方法、装置、电子设备及存储介质 |
| CN111883158A (zh) * | 2020-07-30 | 2020-11-03 | 广州小鹏车联网科技有限公司 | 一种回声消除方法和装置 |
| CN112185366A (zh) * | 2020-08-18 | 2021-01-05 | 北京百度网讯科技有限公司 | 语音交互设备、方法、装置、电子设备和存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114121050A (zh) * | 2021-11-30 | 2022-03-01 | 云知声智能科技股份有限公司 | 音频播放方法、装置、电子设备和存储介质 |
| WO2023206795A1 (zh) * | 2022-04-29 | 2023-11-02 | 歌尔股份有限公司 | 基于音频进行多频道数据传输方法、设备及存储介质 |
| CN116566963A (zh) * | 2023-07-12 | 2023-08-08 | 腾讯科技（深圳）有限公司 | 一种音频处理方法、装置、电子设备和存储介质 |
| CN116566963B (zh) * | 2023-07-12 | 2023-10-13 | 腾讯科技（深圳）有限公司 | 一种音频处理方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113421578A (zh) | 音频处理方法、装置、电子设备及存储介质 | |
| CN109246672B (zh) | 数据传输方法、装置、系统及蓝牙耳机 | |
| EP3624463A1 (en) | Audio signal processing method and device, terminal and storage medium | |
| CN111951819A (zh) | 回声消除方法、装置及存储介质 | |
| CN106910510A (zh) | 车载功放设备、车辆及其音频播放处理方法 | |
| EP3618461A1 (en) | Audio signal processing method and apparatus, terminal and storage medium | |
| CN109273017A (zh) | 编码控制方法、装置以及电子设备 | |
| EP4171066A1 (en) | Audio processing method, apparatus, and system, and storage medium | |
| CN109660911A (zh) | 录音音效处理方法、装置、移动终端及存储介质 | |
| CN108810860B (zh) | 一种音频传输方法、终端设备及主耳机 | |
| CN104010226A (zh) | 基于音频的多终端互动播放的方法和系统 | |
| CN110890100B (zh) | 语音增强、多媒体数据采集、播放方法、装置及监控系统 | |
| CN113257218B (zh) | 语音合成方法、装置、电子设备和存储介质 | |
| CN116208704A (zh) | 一种声音处理方法及其装置 | |
| CN109194998A (zh) | 数据传输方法、装置、电子设备及计算机可读介质 | |
| CN111081238B (zh) | 一种蓝牙音箱语音交互控制方法、装置及系统 | |
| CN112599144A (zh) | 音频数据处理方法、音频数据处理装置、介质与电子设备 | |
| CN111857473A (zh) | 音频播放方法、装置和电子设备 | |
| CN108605067B (zh) | 播放音频的方法和移动终端 | |
| CN114979344A (zh) | 回声消除方法、装置、设备及存储介质 | |
| CN111314553B (zh) | 音量调节方法、装置、终端及存储介质 | |
| CN113517000A (zh) | 回声消除的测试方法、终端以及存储装置 | |
| CN113608714A (zh) | 一种回音消除方法、电子设备和计算机可读存储介质 | |
| CN112394771A (zh) | 通信方法、装置、穿戴设备及可读存储介质 | |
| US11234076B2 (en) | Apparatus and method for processing audio signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |