CN113031903A - 电子设备及其音频流合成方法 - Google Patents

Abstract

本申请公开了一种电子设备及其音频流合成方法，涉及音频处理技术领域。电子设备可以在采集第一音频流的过程中，实时将第一音频流与第二音频流合成。由此，有效提高了音频流的合成效率。并且，电子设备还可以在将第一音频流与第二音频流合成的过程中，响应于针对第三音频流的选择操作，将第一音频流和第三音频流合成。也即是，电子设备在采集并合成音频流的过程中，可以切换用于与第一音频流合成的音频流，从而有效提高了音频流合成的灵活性。

Description

电子设备及其音频流合成方法

技术领域

本申请涉及音频处理技术领域，特别涉及一种电子设备及其音频流合成方法。

背景技术

电子设备可以包括麦克风，电子设备可以通过麦克风采集音频流。在采集完成音频流之后，电子设备可以将采集得到的音频流与电子设备中预先存储的音频流进行合成，以改善音频流的播放效果。

但是，上述音频流的合成方式的效率较低。

发明内容

本申请提供了一种电子设备及其音频流合成方法，可以解决相关技术的音频流的合成方式的效率较低的问题。所述技术方案如下：

一方面，提供了一种电子设备，所述电子设备包括：麦克风和处理器；所述处理器用于：

响应于音频录制指令，通过所述麦克风采集第一音频流；

在采集所述第一音频流的过程中，将所述第一音频流与所述电子设备中存储的第二音频流合成；

在采集所述第一音频流，并将所述第一音频流与所述第二音频流合成的过程中，响应于针对所述电子设备中存储的第三音频流的选择操作，将所述第一音频流与所述第三音频流合成。

可选的，所述处理器用于：

按照第一采样率对所述第一音频流进行采样，得到第一采样数据；

按照所述第一采样率对所述第二音频流进行采样，得到第二采样数据；

将所述第一采样数据与所述第二采样数据合成；

按照所述第一采样率对所述第一音频流进行采样，得到第三采样数据；

按照所述第一采样率对所述第三音频流进行采样，得到第四采样数据；

将所述第三采样数据与所述第四采样数据合成；

其中，所述第一采样率大于采样率阈值。

可选的，所述处理器还用于：

按照第二采样率对合成得到的采样数据进行采样，得到混合音频流；

其中，所述第二采样率小于所述第一采样率。

可选的，所述第一采样率为所述电子设备支持的最高采样率，所述第二采样率为所述电子设备中用于播放所述混合音频流的目标应用支持的采样率。

可选的，所述电子设备还包括：显示屏；所述处理器还用于：

控制所述显示屏显示至少一个用于播放所述混合音频流的应用的应用标识；

响应于针对至少一个所述应用标识中目标应用标识的选择操作，将所述目标应用标识指示的目标应用支持的采样率确定为所述第二采样率。

可选的，所述电子设备还包括显示屏；所述处理器还用于：

控制所述显示屏显示至少一个备选音频流；

接收针对所述至少一个备选音频流中所述第二音频流的选择操作；

在采集所述第一音频流，并将所述第一音频流与所述第二音频流合成的过程中，接收针对所述第三音频流的选择操作。

可选的，所述处理器用于：

响应于针对所述电子设备中存储的第三音频流的选择操作，若未接收到针对所述第二音频流的取消选择操作，则将所述第一音频流、所述第二音频流和所述第三音频流合成。

另一方面，提供了一种电子设备的音频流合成方法，所述电子设备包括：麦克风；所述方法包括：

响应于音频录制指令，通过所述麦克风采集第一音频流；

在采集所述第一音频流的过程中，将所述第一音频流与所述电子设备中存储的第二音频流合成；

在采集所述第一音频流，并将所述第一音频流与所述第二音频流合成的过程中，响应于针对所述电子设备中存储的第三音频流的选择操作，将所述第一音频流与所述第三音频流合成。

可选的，所述将所述第一音频流与所述电子设备中存储的第二音频流合成，包括：

按照第一采样率对所述第一音频流进行采样，得到第一采样数据；

按照所述第一采样率对所述第二音频流进行采样，得到第二采样数据；

将所述第一采样数据与所述第二采样数据合成；

所述将所述第一音频流与所述第三音频流合成，包括：

按照所述第一采样率对所述第一音频流进行采样，得到第三采样数据；

按照所述第一采样率对所述第三音频流进行采样，得到第四采样数据；

将所述第三采样数据与所述第四采样数据合成；

其中，所述第一采样率大于采样率阈值。

可选的，在完成对所述第一音频流的采集之后，所述方法还包括：

按照第二采样率对合成得到的采样数据进行采样，得到混合音频流；

其中，所述第二采样率小于所述第一采样率。

又一方面，提供了一种电子设备，所述电子设备包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方面所述的电子设备的音频流合成方法。

再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的电子设备的音频流合成方法。

再一方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在所述计算机上运行时，使得所述计算机执行上述方面所述的电子设备的音频流合成方法。

本申请提供的技术方案带来的有益效果至少包括：

本申请提供了一种电子设备及其音频流合成方法，电子设备可以在采集第一音频流的过程中，实时将第一音频流与第二音频流合成。由此，有效提高了音频流的合成效率。

并且，电子设备还可以在将第一音频流与第二音频流合成的过程中，响应于针对第三音频流的选择操作，将第一音频流和第三音频流合成。也即是，电子设备在采集并合成音频流的过程中，可以切换用于与第一音频流合成的音频流，从而有效提高了音频流合成的灵活性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种电子设备的音频流合成方法的流程图；

图2是本申请实施例提供的另一种电子设备的音频流合成方法的流程图；

图3是本申请实施例提供的一种音频流合成应用的界面示意图；

图4是本申请实施例提供的一种合成音频流的界面示意图；

图5是本申请实施例提供的另一种合成音频流的界面示意图；

图6是本申请实施例提供的又一种合成音频流的界面示意图；

图7是本申请实施例提供的又一种合成音频流的界面示意图；

图8是本申请实施例提供的一种合成音频流的框架示意图；

图9是本申请实施例提供的一种播放音频流以及录制音频流的框架示意图；

图10是本申请实施例提供的一种电子设备的结构示意图；

图11是本申请实施例提供的一种电子设备的软件结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种电子设备的音频流合成方法，该方法可以应用于电子设备。该电子设备可以包括：麦克风。可选的，该电子设备可以为手机、平板电脑、笔记本电脑、可穿戴设备或对讲机。并且，该电子设备的操作系统可以为安卓(Android)操作系统。参见图1，该方法可以包括：

步骤101、响应于音频录制指令，通过麦克风采集第一音频流。

电子设备可以接收音频录制指令，并可以响应于该音频录制指令启用麦克风，以通过麦克风采集第一音频流。

步骤102、在采集第一音频流的过程中，将第一音频流与电子设备中存储的第二音频流合成。

电子设备中可以预先存储有至少一个备选音频流，该电子设备可以响应于用户针对至少一个备选音频流中第二音频流的选择操作，将该第二音频流确定为用于与第一音频流合成的音频流。并且，电子设备可以在通过麦克风采集第一音频流的过程中，实时将采集到的第一音频流与该第二音频流合成。

步骤103、在采集第一音频流，并将第一音频流与第二音频流合成的过程中，响应于针对电子设备中存储的第三音频流的选择操作，将第一音频流与第三音频流合成。

在采集第一音频流，并将第一音频流与第二音频流合成的过程中，用户可以从电子设备中存储的至少一个备选音频流中选择用于与该第一音频流合成的第三音频流。相应的，电子设备可以响应于针对该第三音频流的选择操作，将该第三音频流确定为用于与第一音频流合成的音频流，并实时将第一音频流与第三音频流合成。

综上所述，本申请实施例提供了一种电子设备的音频流合成方法，电子设备可以在采集第一音频流的过程中，实时将第一音频流与第二音频流合成。由此，有效提高了音频流的合成效率。

并且，电子设备还可以在将第一音频流与第二音频流合成的过程中，响应于针对第三音频流的选择操作，将第一音频流和第三音频流合成。也即是，电子设备在采集并合成音频流的过程中，可以切换用于与第一音频流合成的音频流，从而有效提高了音频流合成的灵活性。

图2是本申请实施例提供的另一种电子设备的音频流合成方法的流程图，该方法可以应用于电子设备，该电子设备可以包括麦克风。参见图2，该方法可以包括：

步骤201、响应于音频录制指令，通过麦克风采集第一音频流。

电子设备可以显示录音控件，电子设备的用户可以触控该录音控件以触发音频录制指令。电子设备进而可以响应于该音频录制指令通过麦克风采集第一音频流。

在本申请实施例中，电子设备可以响应于该音频录制指令，确定该电子设备的麦克风是否启用。若电子设备确定其麦克风启用，则可以直接通过控制该麦克风采集第一音频流。若电子设备确定其麦克风未启用，则可以先开启该麦克风，之后可以控制该麦克风采集第一音频流。

可选的，该电子设备中可以安装有音频合成应用。用户可以触控该音频合成应用的应用标识。相应的，电子设备可以响应于用户针对该应用标识的触控操作，显示录音控件。其中，该应用标识可以包括应用图标和应用名称中的至少一种。例如，该应用标识可以包括应用图标和应用名称。

示例的，假设电子设备中安装了音频合成应用，则参见图3，用户触控了该音频合成应用的应用标识。相应的，电子设备可以响应于用户针对该应用标识的触控操作，显示录音控件(即图3所示的麦克风对应的选择控件)01。之后，用户选择了录音控件01，相应的，电子设备可以接收音频录制指令，并可以响应于该音频录制指令，通过麦克风采集第一音频流。

此外，从图3中还可以看出，该电子设备中还可以安装有用于供用户进行休闲娱乐的应用，例如阅读应用、游戏应用和音频播放应用1至音频播放应用3等应用，以及用于为用户提供基本服务的应用，例如主题应用、日程应用、工具应用、通话应用、短信应用、通讯录应用、浏览器应用、时钟应用以及相机应用等应用。并且，从图3还可以看出，该电子设备还可以显示当前的时间，当前的天气以及温度。

在本申请实施例中，电子设备还可以响应于音频录制指令，创建第一缓冲区，该第一缓冲区用于存储通过麦克风实时采集的第一音频流。在创建第一缓冲区后，电子设备可以将该第一缓冲区和第一音频流对应关系记录在缓冲区列表中，以便后续合成音频流时，电子设备可以基于缓冲区列表中记录的该对应关系快速定位到第一缓冲区，并对该第一缓冲区中的第一音频流进行采样。

其中，该第一缓冲区可以存储播放时长为0.5s(秒)至1s的音频流，即该第一缓冲区的内存大小有限。在该第一缓冲区存满时，当前采集的第一音频流可以覆盖第一缓冲区中存储的音频流。

可选的，该对应关系中还可以记录有第一音频流的流向(例如播放或录制)，通过麦克风采集第一音频流的采样率，以及采集该第一音频流的设备(例如主麦克风，或者副麦克风)。

步骤202、在采集第一音频流的过程中，将第一音频流与电子设备中存储的第二音频流合成。

电子设备中可以预先存储有至少一个备选音频流，电子设备可以响应于用户针对至少一个备选音频流中第二音频流的选择操作，将该第二音频流确定为用于与第一音频流合成的音频流。并且，电子设备可以在通过麦克风采集第一音频流的过程中，实时将采集到的第一音频流与该第二音频流合成。

在本申请实施例中，电子设备将第一音频流与第二音频流合成的过程可以包括：电子设备先按照第一采样率对采集的第一音频流进行采样，得到第一采样数据，并按照第一采样率对第二音频流进行采样，得到第二采样数据。之后，电子设备将第一采样数据与第二采样数据合成，从而达到将第一音频流与第二音频流合成的效果。其中，该采样率大于采样率阈值。其中，电子设备可以将同一采样时刻采集的第一采样数据和第二采样数据叠加，从而将第一采样数据与第二采样数据合成。例如，若电子设备的操作系统为安卓操作系统，则电子设备可以采用其中的音频混合器(AudioMixer)将第一采样数据与第二采样数据叠加。

可选的，用户可以从至少一个备选音频流中选择至少一个第二音频流，相应的，电子设备可以响应于用户的选择操作，确定至少一个用于与第一音频流合成的第二音频流，并将采集到的第一音频流与该至少一个第二音频流合成。

其中，该至少一个第二音频流中的每个第二音频流可以为电子设备预先下载的音频流，或者可以为用户提前录制的音频流，又或者可以为电子设备的系统音频流。该系统音频流可以是指：音频播放应用的安装包中携带的音频流。

作为一种可选的实现方式，电子设备确定第二音频流的过程可以包括：电子设备显示预先存储的至少一个备选音频流。之后，电子设备接收针对至少一个备选音频流中第二音频流的选择操作，从至少一个备选音频流中确定第二音频流。

例如，电子设备可以响应于用户针对音频合成应用的应用标识的触控操作，显示预先存储的至少一个备选音频流。并且，电子设备可以在采集第一音频流之前显示至少一个备选音频流，或者可以在采集第一音频流的过程中显示至少一个备选第二音频流。本申请实施例对此不做限定。

示例的，假设电子设备在采集第一音频流的过程中确定第二音频流，则请继续参考图3，电子设备响应于用户针对音频合成应用的应用标识的触控操作，还可以显示音频流选择控件(即图3所示的文件对应的选择控件)02。

然后，用户可以触控音频流选择控件02，相应的，电子设备可以响应于用户针对该音频流选择控件02的触控操作，显示音频流a，音频流b，音频流c和音频流d等4个备选音频流。如图3所示，每个音频流还对应有一个播放控件03和一个删除控件04。

用户触控了音频流d对应的播放控件03，相应的，电子设备可以响应于用户针对该音频流d对应的播放控件03的触控操作，将音频流d确定为第二音频流。并且，从图3中可以看出，电子设备在接收到针对录音控件01的选择操作后，即可显示“第一音频流采集过程中”的字样。

作为另一种可选的实现方式，电子设备确定第二音频流的过程可以包括：电子设备在通过音频播放应用播放第二音频流的过程中，响应于音频合成指令，显示该音频播放应用的应用标识。之后，若电子设备接收针对该音频播放应用的应用标识的触控操作，则可以将该第二音频流确定为用于与第一音频流合成的音频流。

例如，用户可以触控电子设备中音频合成应用的应用标识，相应的，电子设备可以接收音频合成指令，并可以响应于该音频合成指令显示音频播放应用的应用标识。

示例的，参见图4，电子设备可以响应于用户针对该音频播放应用1的应用标识的触控操作，显示音频流e，音频流f，音频流g以及音频流h等4个备选音频流。如图4所示，每个音频流均对应有一个播放控件03和一个删除控件04。然后电子设备可以响应于针对该播放控件03的触控操作，将音频流h确定为第二音频流，并播放音频流h。

之后，电子设备可以响应于用户针对音频合成应用的应用标识的触控操作，显示录音控件01、音频播放应用1的应用标识对应的第一选择控件05。用户可以触控第一选择控件05，电子设备可以将音频流h作为用于与第一音频流合成的音频流。

作为又一种可选的实现方式，电子设备确定第二音频流的过程可以包括：电子设备在通过至少一个音频播放应用播放至少一个备选音频流的过程中，响应于音频合成指令，显示该至少一个音频播放应用的应用标识。之后，若电子设备接收针对至少一个音频播放应用中目标音频播放应用的应用标识的触控操作，则可以将该目标音频播放应用正在播放的备选音频流确定为用于与第一音频流合成的第二音频流。

示例的，假设电子设备中的安装的音频播放应用1当前正在播放音频流d，音频播放应用2当前正在播放其系统音频流(即音频播放应用2的安装包中携带的音频流)，则参见图5，用户可以触控音频合成应用的应用标识。相应的，电子设备可以接收音频合成指令，显示音频播放应用1的应用标识对应的第一选择控件05，音频播放应用2的应用标识对应第二选择控件06，以及录制控件01。

用户触控了第二选择控件06，相应的，电子设备可以响应于用户针对该第二选择控件06的触控操作，将音频播放应2当前正在播放的系统音频流确定为用于与第一音频流合成的第二音频流。

由此可知，即使在多个音频流同时播放的场景下，本申请实施例提供音频流合成方法也可以将第一音频流和正在播放的多个音频流中的至少一个音频流合成，而并非将第一音频流与正在播放的所有音频流合成。即用户可以灵活选择用于与第一音频流合成的音频流，由此有效提高了音频流合成的灵活性，进而改善了用户体验。

在本申请实施例中，若电子设备的操作系统为安卓系统，则电子设备在接收到针对音频流的播放指令时，即可为该音频流创建缓冲区，并在创建完成后将该缓冲区与音频流的对应关系记录在缓冲区列表中。其中，该缓冲区用于存储待播放的音频流。

可选的，电子设备还可以记录该音频流的播放设备(例如扬声器，或耳机，)以及声道数数据(即左声道和/或右声道)。

基于此，电子设备将第一音频流和第二音频流合成的过程可以包括：电子设备先检测缓冲区列表中是否记录有第二音频流。若电子设备确定缓冲区列表中记录有第二音频流，即第二音频流为电子设备当前正在播放的音频流，则电子设备基于缓冲区列表中记录的第二音频流与第二缓冲区的对应关系，确定第二音频流对应的第二缓冲区，并按照第一采样率对该第二缓冲区中存储的第二音频流采样。

若电子设备确定缓冲区列表中未记录有该第二音频流，即第二音频流为电子设备未播放的音频流，则电子设备可以为该第二音频流创建第二缓冲区，以存储第二音频流，并可以将该第二音频流与第二缓冲区的对应关系记录在缓冲区列表中。之后，电子设备可以基于该缓冲区列表，定位到第二音频流对应的第二缓冲区，并按照第一采样率对第二缓冲区中存储的第二音频流采样。

其中，第二缓冲区用于存储第二音频流，且该第二缓冲区存储的音频流的时长也可以为0.5s至1s。

可选的，对于电子设备确定的第二音频流的个数为多个的场景，电子设备可以为每个第二音频流创建对应的第二缓冲区。

步骤203、在采集第一音频流，并将第一音频流与第二音频流合成的过程中，接收针对电子设备中存储的第三音频流的选择操作。

在采集第一音频流，并将第一音频流与第二音频流合成的过程中，用户可以从电子设备中存储的至少一个备选音频流中选择用于与该第一音频流合成的第三音频流。相应的，电子设备可以接收针对该第三音频流的选择操作。

可选的，用户可以从该至少一个备选音频流中选择至少一个第三音频流。相应的，电子设备可以接收针对至少一个第三音频流的选择操作。

步骤204、响应于针对该第三音频流的选择操作，将第一音频流与第三音频流合成。

电子设备在接收到针对第三音频流的选择操作后，可以响应于针对该第三音频流的选择操作，将第三音频流确定为用于与第一音频流合成的音频流，并实时将第一音频流与第三音频流合成。可以理解的是，若用户仅选择了一个第三音频流，则电子设备可以将第一音频流与一个第三音频流合成。若用户选择了多个第三音频流，则电子设备可以将第一音频流与多个第三音频流合成。

在本申请实施例中，电子设备将第一音频流与第三音频流合成的过程可以包括：电子设备先按照第一采样率对采集的第一音频流进行采样，得到第三采样数据，并按照第一采样率对第三音频流进行采样，得到第四采样数据。之后，电子设备可以将第三采样数据与第四采样数据合成，以达到将第一音频流与第三音频流的效果。

其中，电子设备可以将同一采样时刻采集的第三采样数据和第四采样数据叠加，从而将第三采样数据与第四采样数据合成。例如，若电子设备的操作系统为安卓操作系统，则电子设备可以采用其中的音频混合器(AudioMixer)将第三采样数据与第四采样数据叠加。

作为一种可选的实现方式，电子设备响应于针对第三音频流的选择操作，若确定未接收到针对第二音频流的取消选择操作，则可以将第一音频流、第二音频流和第三音频流合成。

示例的，请继续参考图5，假设电子设备在将第一音频流与音频播放应用2正在播放的系统音频流合成的过程中，用户触控了音频流选择控件02。相应的，电子设备可以响应于用户针对该音频流选择控件02的触控操作，显示音频流a至音频流d等四个备选音频流。之后，电子设备可以响应于用户针对音频流d的播放控件03的选择操作，将该音频流d确定为第三音频流。且从图4中可以看出，第一选择控件05和第二选择控件06均处于选中状态，因此电子设备可以将第一音频流、音频流h、音频流d以及音频播放应用2的系统音频流合成。

或者，参见图6，音频合成应用的显示界面可以显示第一选择控件05，第二选择控件06，录音控件01和音频流选择控件02，还可以显示用于将上述所述的各个控件均选中的全选控件(即图6所示的所有音频对应的控件)07。电子设备在将第一音频流与音频播放应用2正在播放的系统音频流合成的过程中，用户触控了该全选空控件07。相应的，电子设备可以响应于用户针对该全选控件07的选择操作，将音频播放应用1播放的音频流h作为第一个第三音频流，并将未播放的默认音频流作为第二个第三音频流。之后，电子设备可以将第一音频流、正在播放的音频流h、正在播放的系统音频流以及默认音频流合成。

从图6中还可以看出，音频流合成过程中，该音频合成应用的界面可以显示“音频流合成过程中”的字样。

作为另一种可选的实现方式，电子设备响应于针对第三音频流的选择操作，若确定接收到针对第二音频流的取消选择操作，则可以仅将第一音频流和第三音频流合成。也即是，在音频流合成的过程中，电子设备能够中止合成第一音频流和第二音频流，并开始合成第一音频流和第三音频流，即电子设备能够在不终止通过麦克风采集第一音频流的前提下，将用于与第一音频流合成的音频流由第二音频流切换为第三音频流。由此，提高了音频流合成的效率，并有效提高了音频流合成的灵活性，从而进一步改善了用户体验。

示例的，假设电子设备在将第一音频流、音频播放应用1正在播放的音频h和音频播放应用2正在播放的系统音频流合成，则参见图7，在合成过程中，用户再次触控了第一选择控件05和第二选择控件06。相应的，电子设备可以响应于用户针对第一选择控件05和第二选择控件06的再次触控操作，不再对音频h和该系统音频流进行采样，即不再将第一音频流、音频h和该系统音频流合成。

并且，用户触控了音频流选择控件02，电子设备可以响应于用户针对音频流选择控件02的触控操作，显示音频流a至音频流d等四个备选音频流。之后，电子设备可以响应于用户针对音频流d的播放控件03的选择操作，将该音频流d确定为第三音频流。且从图7中可以看出，仅录音控件01和音频流选择控件02处于选中状态，因此电子设备可以将第一音频流和音频流d合成。

在本申请实施例中，电子设备在接收到针对第三音频流的选择操作后，可以为该第三音频流创建第三缓冲区，该第三缓冲区可以用于存储第三音频流。在第三缓冲区创建完成后，电子设备可以将该第三音频流和第三缓冲区的对应关系记录在缓冲区列表中，以便后续在需要将第三音频流与第一音频流合成时，电子设备可以基于该对应关系快速定位至该第三缓冲区，以对该第三缓冲区中音频流进行采样。

其中，该第三缓冲区可以存储的音频流的时长也可以为0.5s至1s。

步骤205、按照第二采样率对合成得到的采样数据进行采样，得到混合音频流。

电子设备在完成对第一音频流的采集之后，可以按照第二采样率对合成得到的采样数据进行采样，得到混合音频流。其中，该第二采样率可以小于第一采样率。

可选的，第一采样率可以为电子设备支持的最高采样率，第二采样率可以为电子设备中用于播放混合音频流的目标应用支持的采样率。

在第二采样率为该目标应用支持的采样率的场景下，且在按照第二采样率对合成得到的采样数据进行采样之前，电子设备可以显示至少一个用于播放混合音频流的应用的应用标识。用户可以从该至少一个应用标识中选择目标应用标识，相应的，电子设备可以响应于用户针对至少一个应用标识中目标应用标识的选择操作，将目标应用标识指示的目标应用支持的采样率确定为第二采样率。

示例的，参见图5，电子设备响应于用户针对音频合成应用的应用标识的触控操作，可以在其采样率选择界面显示音频播放应用1，音频播放应用2以及音频播放应用3等三个应用。用户触控了音频播放应用3的应用标识，相应的，电子设备可以响应于该触控操作，将音频播放应用3确定为目标应用，继而将该音频播放应用3支持的采样率确定为第二采样率。

可选的，电子设备在得到混合音频流后，还可以按照目标应用支持的音频格式对该混合音频流进行编码。

可选的，该目标应用的个数可以为一个或多个。在该目标应用为多个，且电子设备对每个缓冲区中的音频流进行采样，以分别合成用于供一个目标应用播放的音频流的场景，电子设备还可以包括与每个缓冲区对应的计数组件，该计数组件可以用于为缓冲区的使用总数计数，计数的计数值与该缓冲区的对应关系可以记录在缓冲区列表中。

以目标应用的个数为2为例进行说明。电子设备在开始合成音频流之前，可以将每个缓冲区对应的计数组件的计数值设置为2。在每完成一个音频流的合成后，电子设备可以将该计数值减去1，并遍历缓冲区列表中的计数值。若电子设备在遍历完成后，确定某一计数组件的计数值为0，则可以清除该计数值对应的缓冲区，以节省电子设备的内存。

并且，若该缓冲区对应的音频流为电子设备当前播放的音频流，则电子设备还可以关闭用于播放该音频流的播放设备，以避免增加电子设备的功耗。

以音频播放应用为音乐应用，且以混合音频流基于第一音频流和第二音频流合成得到为例，对本申请实施例提供的电子设备的音频合成方法进行示例性的说明。参见图8，电子设备在通过麦克风采集第一音频流时，电子设备可以通过调用音频录制(AudioRecord)类，为该第一音频流创建第一缓冲区，以存储第一音频流。音乐应用在播放第二音频流时，电子设备可以通过调用声道(AudioTrack)类，为该第二音频流创建第二缓冲区，以存储该第二音频流。

然后，电子设备中的AudioMixer可以对由第一缓冲区存储的音频流采样得到的数据，以及由第二缓冲区中存储的音频流采样得到的数据进行混合，得到合成后的采样数据。之后，电子设备中的音频重采样器(AudioResampler)可以对合成得到的采样数据进行重新采样，得到混合音频流，并可以将该混合音频流存储在音频合成应用的文件目录下。

之后，若电子设备接收到的针对该混合音频流的播放指令，则可以调用AudioTrack类为该混合音频流创建目标缓冲区，该目标缓冲区中存储的音频流可以通过扬声器播放。

可选的，图8所示的框架图中，电子设备可以在通话过程中，响应于录制指令，通过麦克风采集第一音频流，并调用AudioRecord类，为第一音频流创建第一缓冲区。或者，电子设备可以在人机语音交互的过程中，例如用户通过语音助手向电子设备下发指令的过程中，响应于录制指令，通过麦克风采集第一音频流，并调用AudioRecord类，为该第一音频流创建第一缓冲区。

图9是本申请实施例提供的一种电子设备的音频架构的示意图。图9中以音频播放应用包括音乐应用和聊天应用，音频播放设备包括扬声器和耳机，音频录制应用包括语音助手应用，录音应用以及通话应用为例进行示意。从图9中可以看出，音乐应用在播放音频流时，可以调用电子设备的播放器(NuPlayer)，该播放器可以调用AudioTrack类，将该音频流传输至音频流管理(AudioManager)服务。AudioManager服务继而可以通过扬声器(speaker)或耳机(headset)播放音频流。聊天应用在播放音频流时，可以直接调用AudioTrack类，将该音频流传输至AudioManager服务，继而通过扬声器或耳机播放。

在通话过程中，或人机语音交互的过程中，若电子设备接收到音频录制指令，则可以直接调用AudioRecord类，将通过麦克风采集的音频流传输至AudioManager服务。AudioManager服务进而可以将采集的音频流存储在对应的应用的文件目录下。例如，在通话过程中录音，则AudioManager服务可以将采集的音频流存储在通话应用的文件目录下，在人机语音交互过程中录音，则AudioManager服务可以将采集的音频流存储在语音助手应用的文件目录下。

若电子设备在运行其系统录音应用的过程中，接收到音频录制指令，则可以调用本地录制器(stagefrightrecorder)，该本地录制器可以调用AudioRecord类，继而将采集的音频流发送至AudioManager服务。该AudioManager服务继而可以将该采集到的音频流存储在系统录音应用的文件目录下。

相关技术中，电子设备在需要将通过麦克风采集的音频流与电子设备中存储另一音频流合成的情况下，例如直播时为用户的声音加入背景音乐的情况下，或者录屏时加入解说语音的情况下，电子设备一般先通过麦克风完成对音频流的采集，再将通过麦克风采集的音频流与该另一音频流合成。但是，通过该种方式将该音频流与另一音频流合成的效率较低。

而在本申请实施例中，电子设备在采集第一音频流的过程中，即可将第一音频流与第二音频流合成，由此有效提高了合成第一音频流和第二音频流的效率。

需要说明的是，本申请实施例提供的电子设备的音频流合成方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。例如步骤205可以视情况删除。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。

综上所述，本申请实施例提供了一种电子设备的音频流合成方法，电子设备可以在采集第一音频流的过程中，实时将第一音频流与第二音频流合成。由此，有效提高了音频流的合成效率。

并且，电子设备还可以在将第一音频流与第二音频流合成的过程中，响应于针对第三音频流的选择操作，将第一音频流和第三音频流合成。也即是，电子设备在采集并合成音频流的过程中，可以切换用于与第一音频流合成的音频流，从而有效提高了音频流合成的灵活性。

图10是本申请实施例提供的一种电子设备的结构示意图，该电子设备可以用于执行上述方法实施例提供的电子设备的音频流合成方法。参见图10，该电子设备可以包括：麦克风162和处理器1101。该处理器1101可以用于：

响应于音频录制指令，通过麦克风采集第一音频流；

在采集第一音频流的过程中，将第一音频流与电子设备中存储的第二音频流合成；

在采集第一音频流，并将第一音频流与第二音频流合成的过程中，响应于针对电子设备中存储的第三音频流的选择操作，将第一音频流与第三音频流合成。

可选的，该处理器1101可以用于：

按照第一采样率对第一音频流进行采样，得到第一采样数据；

按照第一采样率对第二音频流进行采样，得到第二采样数据；

将第一采样数据与第二采样数据合成；

按照第一采样率对第一音频流进行采样，得到第三采样数据；

按照第一采样率对第三音频流进行采样，得到第四采样数据；

将第三采样数据与第四采样数据合成；

其中，第一采样率大于采样率阈值。

可选的，该处理器1101可以用于：

按照第二采样率对合成得到的采样数据进行采样，得到混合音频流；

其中，第二采样率小于第一采样率。

可选的，第一采样率为电子设备支持的最高采样率，第二采样率为电子设备中用于播放混合音频流的目标应用支持的采样率。

可选的，该电子设备还可以包括显示屏131。该处理器1101还可以用于：

控制显示屏显示至少一个用于播放混合音频流的应用的应用标识；

响应于针对至少一个应用标识中目标应用标识的选择操作，将目标应用标识指示的目标应用支持的采样率确定为第二采样率。

可选的，该处理器1101可以用于：

控制显示屏显示至少一个备选音频流；

接收针对至少一个备选音频流中第二音频流的选择操作；

在采集第一音频流，并将第一音频流与第二音频流合成的过程中，接收针对第三音频流的选择操作。

可选的，该处理器1101可以用于：

响应于针对电子设备中存储的第三音频流的选择操作，若未接收到针对第二音频流的取消选择操作，则将第一音频流、第二音频流和第三音频流合成。

综上所述，本申请实施例提供了一种电子设备的，该电子设备可以在采集第一音频流的过程中，实时将第一音频流与第二音频流合成。由此，有效提高了音频流的合成效率。

并且，该电子设备还可以在将第一音频流与第二音频流合成的过程中，响应于针对第三音频流的选择操作，将第一音频流和第三音频流合成。也即是，电子设备在采集并合成音频流的过程中，可以切换用于与第一音频流合成的音频流，从而有效提高了音频流合成的灵活性。

如图10所示，该电子设备110还可以包括：显示单元130、射频(radio frequency，RF)电路150、音频电路160、无线保真(wireless fidelity，Wi-Fi)模块170、蓝牙模块180、电源190和摄像头121等部件。

其中，摄像头121可用于捕获静态图片或视频。物体通过镜头生成光学图片投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器1101转换成数字图片信号。

处理器1101是电子设备110的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器140内的软件程序，以及调用存储在存储器140内的数据，执行电子设备110的各种功能和处理数据。在一些实施例中，处理器1101可包括一个或多个处理单元；处理器1101还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器1101中。本申请中处理器1101可以运行操作系统和应用程序，可以控制用户界面显示，并可以实现本申请实施例提供的电子设备的音频流合成方法。另外，处理器1101与输入单元和显示单元130耦接。

显示单元130可用于接收输入的数字或字符信息，产生与电子设备110的用户设置以及功能控制有关的信号输入，可选的，显示单元130还可以用于显示由用户输入的信息或提供给用户的信息以及电子设备110的各种菜单的图形用户界面(graphical userinterface，GUI)。显示单元130可以包括设置在电子设备110正面的显示屏131。其中，显示屏131可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本申请中所述的各种图形用户界面。

显示单元130包括：显示屏131和设置在电子设备110正面的触摸屏132。该显示屏131可以用于显示预览图片。触摸屏132可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。其中，触摸屏132可以覆盖在显示屏131之上，也可以将触摸屏132与显示屏131集成而实现电子设备110的输入和输出功能，集成后可以简称触摸显示屏。

存储器140可用于存储软件程序及数据。处理器1101通过运行存储在存储器140的软件程序或数据，从而执行电子设备110的各种功能以及数据处理。存储器140可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器140存储有使得电子设备110能运行的操作系统。本申请中存储器140可以存储操作系统及各种应用程序，还可以存储执行本申请实施例提供的电子设备的音频流合成的代码。

RF电路150可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器1101处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。

音频电路160、扬声器161、麦克风162可提供用户与电子设备110之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出。电子设备110还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至RF电路150以发送给比如另一终端，或者将音频数据输出至存储器140以便进一步处理。本申请中麦克风162可以获取用户的语音。

Wi-Fi属于短距离无线传输技术，电子设备110可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。

蓝牙模块180，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，电子设备110可以通过蓝牙模块180与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。

电子设备110还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理系统与处理器1101逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。电子设备110还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。

电子设备110可以包括至少一种传感器1110，比如运动传感器11101、距离传感器11102、指纹传感器11103和温度传感器11104。电子设备110还可配置有陀螺仪、气压计、湿度计、温度计和红外线传感器等其他传感器。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备和各器件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图11是本申请实施例提供的电子设备的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行环境(android runtime，ART)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。如图11所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图11所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图片，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备110的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，通信终端振动，指示灯闪烁等。

android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：openGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图片文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图片渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序由处理器加载并执行以上述实施例提供的电子设备的音频流合成方法，例如图1或图2所示的方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例提供的电子设备的音频流合成方法，例如图1或图2所示的方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

应当理解的是，在本文中提及的“和/或”，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。并且，本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。例如，在不脱离各种所述示例的范围的情况下，第二音频流可以被称为第三音频流，并且类似地，第三音频流可以被称为第二音频流。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种电子设备，其特征在于，所述电子设备包括：麦克风和处理器；所述处理器用于：

响应于音频录制指令，通过所述麦克风采集第一音频流；

在采集所述第一音频流的过程中，将所述第一音频流与所述电子设备中存储的第二音频流合成；

在采集所述第一音频流，并将所述第一音频流与所述第二音频流合成的过程中，响应于针对所述电子设备中存储的第三音频流的选择操作，将所述第一音频流与所述第三音频流合成。

2.根据权利要求1所述的电子设备，其特征在于，所述处理器用于：

按照第一采样率对所述第一音频流进行采样，得到第一采样数据；

按照所述第一采样率对所述第二音频流进行采样，得到第二采样数据；

将所述第一采样数据与所述第二采样数据合成；

按照所述第一采样率对所述第一音频流进行采样，得到第三采样数据；

按照所述第一采样率对所述第三音频流进行采样，得到第四采样数据；

将所述第三采样数据与所述第四采样数据合成；

其中，所述第一采样率大于采样率阈值。

3.根据权利要求2所述的电子设备，其特征在于，所述处理器还用于：

按照第二采样率对合成得到的采样数据进行采样，得到混合音频流；

其中，所述第二采样率小于所述第一采样率。

4.根据权利要求3所述的电子设备，其特征在于，

所述第一采样率为所述电子设备支持的最高采样率，所述第二采样率为所述电子设备中用于播放所述混合音频流的目标应用支持的采样率。

5.根据权利要求3所述的电子设备，其特征在于，所述电子设备还包括：显示屏；所述处理器还用于：

控制所述显示屏显示至少一个用于播放所述混合音频流的应用的应用标识；

响应于针对至少一个所述应用标识中目标应用标识的选择操作，将所述目标应用标识指示的目标应用支持的采样率确定为所述第二采样率。

6.根据权利要求1至5任一所述的电子设备，其特征在于，所述电子设备还包括显示屏；所述处理器还用于：

控制所述显示屏显示至少一个备选音频流；

接收针对所述至少一个备选音频流中所述第二音频流的选择操作；

在采集所述第一音频流，并将所述第一音频流与所述第二音频流合成的过程中，接收针对所述第三音频流的选择操作。

7.根据权利要求1至5任一所述的电子设备，其特征在于，所述处理器用于：

响应于针对所述电子设备中存储的第三音频流的选择操作，若未接收到针对所述第二音频流的取消选择操作，则将所述第一音频流、所述第二音频流和所述第三音频流合成。

8.一种电子设备的音频流合成方法，其特征在于，所述电子设备包括：麦克风；所述方法包括：

响应于音频录制指令，通过所述麦克风采集第一音频流；

在采集所述第一音频流的过程中，将所述第一音频流与所述电子设备中存储的第二音频流合成；

在采集所述第一音频流，并将所述第一音频流与所述第二音频流合成的过程中，响应于针对所述电子设备中存储的第三音频流的选择操作，将所述第一音频流与所述第三音频流合成。

9.根据权利要求8所述的方法，其特征在于，所述将所述第一音频流与所述电子设备中存储的第二音频流合成，包括：

按照第一采样率对所述第一音频流进行采样，得到第一采样数据；

按照所述第一采样率对所述第二音频流进行采样，得到第二采样数据；

将所述第一采样数据与所述第二采样数据合成；

所述将所述第一音频流与所述第三音频流合成，包括：

按照所述第一采样率对所述第一音频流进行采样，得到第三采样数据；

按照所述第一采样率对所述第三音频流进行采样，得到第四采样数据；

将所述第三采样数据与所述第四采样数据合成；

其中，所述第一采样率大于采样率阈值。

10.根据权利要求9所述的方法，其特征在于，在完成对所述第一音频流的采集之后，所述方法还包括：

按照第二采样率对合成得到的采样数据进行采样，得到混合音频流；

其中，所述第二采样率小于所述第一采样率。

Images