CN106293659A - 一种音频实时处理方法、装置及智能终端 - Google Patents

Abstract

本申请提供了一种音频实时处理方法、装置及智能终端，其中，方法包括：响应于用户在应用程序上触发的音频处理操作，指定内核层的音频输入设备和音频输出设备；确定音频输入设备和音频输出设备的采样率；控制音频输入设备按照所述确定的采样率录入音频数据；将所述音频数据输出给音频输出设备，并控制音频输出设备按照所述确定的采样率输出音频数据。本发明从应用层到内核层的跨层方式减少了音频输入到音频输出的延时；从智能终端的应用程序来触发对音频实时处理，可以与应用程序进行数据交互，提供应用灵活性高的体验，本发明无需其他外设不增加用户使用成本，因此，本发明能够给用户提供低成本的、应用灵活性高的、实时性高的使用体验。

Description

一种音频实时处理方法、装置及智能终端

技术领域

本申请涉及音频处理技术领域，特别涉及一种音频实时处理方法、装置及智能终端。

背景技术

随着网络和智能终端的快速发展及应用，用户对智能终端上音频处理实时性要求越来越高，现有技术有以下两种音频处理方式：

一种方式是通过系统框架层的Audio Flinger与应用层的PCM输入输出设备的交互方式实现音频处理，由于框架层必须支持系统内所有硬件以及软件的功能，其构件的复杂度较高，缓存设置较大且不可调整导致音频处理会有200毫秒左右的延迟，这种方式的延迟过大还无法保证实时性。

另一种方式是智能终端与外置硬件设备相连接的方式来实现音频处理，这种方式虽然能够保证音频处理的实时性，但其一方面会增加用户使用成本，使用不够灵活，另一方面，由于外置硬件设备并不能与智能终端的APP进行数据交互，无法支持用户在使用APP时对音频处理的需求，而用户基本上都是在使用APP功能时才需要进行音频处理，另外，用户还需要对处理后的音频再进行其他操作，如关于K歌的APP，用户需要将自己的歌声与曲子混音，在终端上同步显示歌词，还可能需要将歌曲上传到网上以得到网友的点赞或评分等等。因此，现有的音频处理方式还不能给用户提供低成本的、应用灵活性高的、实时性高的使用体验。

发明内容

本发明所要解决的技术问题是提供一种音频实时处理方法，用以向用户提供低成本的、应用灵活性高的、实时性高的使用体验。

本发明还提供了一种音频实时处理装置和智能终端，用以保证上述方法在实际中的实现及应用。

一方面，本发明提供了一种音频实时处理方法，该方法包括：

响应于用户在应用程序上触发的音频处理操作，指定内核层的音频输入设备和音频输出设备；以及，确定音频输入设备和音频输出设备的采样率；

控制音频输入设备按照所述确定的采样率录入音频数据；以及，将所述音频数据输出给音频输出设备，并控制音频输出设备按照所述确定的采样率输出音频数据。

又一方面，本发明提供了一种音频实时处理装置，该装置包括：

指定单元，用于响应于用户在应用程序上触发的音频处理操作，指定内核层的音频输入设备和音频输出设备；

采样率匹配单元，用于确定音频输入设备和音频输出设备的采样率；

第一控制单元，用于控制音频输入设备按照所述确定的采样率录入音频数据；

第二控制单元，用于将所述音频数据输出给音频输出设备，并控制音频输出设备按照所述确定的采样率输出音频数据。

又一方面，本发明提供了一种智能终端，该智能终端包括上述音频实时处理装置；该智能终端上的应用程序通过调用该音频实时处理装置实现对音频的采集播放。

与现有技术相比，本申请包括以下优点：

在本发明中，用户通过应用程序来触发对音频的实时处理，从智能终端系统的应用层跨过构架层调用内核层的输入输出设备，从应用层到内核层的跨层调用方式节省了音频输入到音频输出的延时；本发明是基于应用层来实现的，输入到输出过程的缓存可以根据需求预先设定，能够做到在满足输入输出需求的同时提高实时性。本发明是从智能终端的应用程序来触发对音频实时处理，能够很好地与应用程序进行数据交互，能够提供应用灵活性高的体验，本发明无需其他外设不增加用户使用成本，因此，本发明能够给用户提供低成本的、应用灵活性高的、实时性高的使用体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的一种音频实时处理方法实施例1的流程图；

图2是本申请提供的一种音频实时处理方法实施例2的流程图；

图3是本申请提供的一种音频实时处理装置实施例1的结构图；

图4是本申请提供的一种音频实时处理装置实施例2的结构图；

图5是本申请提供的智能终端的系统构架图；

图6是本申请提供的一种应用场景下的智能终端系统构架图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

参见图1，图1是本申请提供的一种音频实时处理方法实施例1的流程图，如图1所示，该方法包括：

S101，响应于用户在应用程序上触发的音频处理操作，指定内核层的音频输入设备和音频输出设备。

S102，确定音频输入设备和音频输出设备的采样率。

本实施例是在智能终端系统的应用层以软件形式来实现。当用户使用智能终端，通过应用程序来触发音频处理操作，例如在K歌应用程序上触发录歌操作等。

在接收到用户触发操作的指示后，先需要指定参与此次处理的音频设备，即音频输入设备和音频输出设备。在具体实现时，可以通过指定音频设备编号和音频声卡编号的方式，指定内核层的音频输入设备和音频输出设备。由于一般情况下，音频输入设备和音频输出设备各自支持的采样率参数不同，当音频输入设备的采样率和输出设备的采样率不匹配时，会对音频数据造成一定的影响，最终影响音频效果。因此，在指定音频输入输出设备的同时，需要确定音频输入输出设备各自的采样率，使两者的采样率匹配。

本发明针对如何匹配输入输出设备的采样率提供了如下匹配方法：

当音频输入设备和音频输出设备各自支持的采样率范围有重叠区域时，从该重叠区域中选择一个采样率作为音频输入设备和音频输出设备的采样率；或者，

当音频输入设备和音频输出设备各自支持的采样率范围没有重叠区域时，先确定音频输出设备的采样率，再根据音频输出设备的采样率设置音频输入设备的采样率，使得两个采样率成整除倍数关系。

音频输入输出设备如果采用相同的采样率就无需进行重采样，可以节约时间提高效率，当音频输入输出采样率不相同时，就需要通过重采样来实现音频处理，而两个采样率呈整除倍数关系能够保证数据正常输出，保证音频效果。

S103，控制音频输入设备按照所述确定的采样率录入音频数据。

S104，将所述音频数据输出给音频输出设备，并控制音频输出设备按照所述确定的采样率输出音频数据。

本实施例能够实现最基本的音频处理，保证音频录入到音频输出的实时性，由于本实施例是基于智能终端系统的应用层实现时，仅需要满足音频处理需求，因此，可以通过以下方式来实现：

根据音频输出设备的采样率和预设的缓存时间来确定缓存区，将音频数据缓存在缓存区内并控制音频输出设备输出缓存区内的数据。

通过上述实施例可以看出，用户通过应用程序来触发对音频的实时处理，从智能终端系统的应用层跨过构架层调用内核层的输入输出设备，从应用层到内核层的跨层方式节省了音频输入到音频输出的延时；本发明是基于应用层来实现的，输入到输出过程的缓存可以根据需求预先设定，能够做到在满足输入输出需求的同时提高实时性。本发明是从智能终端的应用程序来触发对音频实时处理，能够很好地与应用程序进行数据交互，能够提供应用灵活性高的体验，本发明无需其他外设不增加用户使用成本，因此，本发明能够给用户提供低成本的、应用灵活性高的、实时性高的使用体验。

在实际应用中，在上述实施例直接录入播放的基础上，音频处理还会有音量调整、混音处理等处理需求，针对这种音频处理需求，本发明也提供了对应的方法，下面以具体实施例来解释说明本发明提供的音频实时处理方法。

参见图2，图2是本申请提供的一种音频实时处理方法实施例2的流程图，如图2所示，该方法包括：

S201，响应于用户在应用程序上触发的音频处理操作，指定内核层的音频输入设备和音频输出设备。

S202，确定音频输入设备和音频输出设备的采样率。

S203，控制音频输入设备按照所述确定的采样率录入音频数据。

为了更清楚地描述本实施例，下面以智能终端上一个卡拉OK应用程序为例，对本实施例方法的实现过程进行解释说明。该卡拉OK应用程序的音频处理需求是从麦克风采集输入，并且将人声和伴奏混音以后输出到音频输出设备；其具体的使用场景是用户使用智能终端的卡拉OK应用进行音频处理，插入耳机来实现音频录入和播放。

用户在卡拉OK应用程序上触发录入歌声的操作，响应于用户的这一操作，通过获取到耳机麦克风和扬声器对应的音频设备编号和音频声卡编号来指定对应的输入输出设备。

然后，按照上述实施例1描述的方式来确定音频输入输出设备各自的采样率，接着就进入音频录入过程。用户唱出的声音就被录入到系统中。

下面结合android系统自身数据库以及接口来描述本实施例上述步骤的实现过程。

通过tinyalsa库中的pcm＿open接口打开音频输入输出设备，通过tinyalsa库中的pcm＿read接口来录制音频输入设备中的音频数据以实现音频录制。通过tinyalsa库中的pcm＿write接口来播放音频数据到音频输出设备。在调用pcm＿open接口时，指定device和card参数来确定参与此次处理的音频输入输出设备。通过数据库和接口的实现角度可以看出，本发明在应用层直接操作pcm接口就可以实现低延时的音频处理功能，以保证处理的实时性。

S204，对所述音频数据进行音量调整和/或混音处理得到处理后的音频数据。

S205，将所述处理后的音频数据输出给音频输出设备，并控制音频输出设备按照所述确定的采样率输出该处理后的音频数据。

根据应用的实际需求，可以对音频输入设备采集到的音频数据进行音频调整，也可以直接进行混音处理，还可以先作音量调整再作混音处理，或者，先作混音处理再作音量调整等。最常用到的应用需求是先对音频数据作音量调整，再作混音处理。下面就以这种应用需求的处理过程为例来对该步骤的实现过程进行说明。

对音频输入设备录入的音频数据先作音量调整，然后读取伴奏的数据，如果伴奏的数据和录入的音频数据采样率不相同，则需要把两路数据进行重采样，让这两路数据的采样率一致。如果相同，就无需重采样，直接进行混音处理，所谓混音就是把两路音频数据作Mix，使得两路音频数据成为一路音频数据。

在具体实现时，由于应用场景的不同，应用需求的不同，混音所需要的另一路数据可以从当前的卡拉OK应用直接获取，也可以从其他应用程序获取。

通过上述实施例可以看出，用户通过应用程序来触发对音频的实时处理，从智能终端系统的应用层跨过构架层调用内核层的输入输出设备，从应用层到内核层的跨层调用方式节省了音频输入到音频输出的延时；本发明是基于应用层来实现的，输入到输出过程的缓存可以根据需求预先设定，能够做到在满足输入输出需求的同时提高实时性。本发明是从智能终端的应用程序来触发对音频实时处理，能够提供音量调整、混音等音频处理，可以很好地与应用程序进行数据交互，以提供应用灵活性高的体验，本发明无需其他外设不增加用户使用成本，因此，本发明能够给用户提供低成本的、应用灵活性高的、实时性高的使用体验。

与上述方法相对应的，本发明还提供了音频实时处理装置。下面对该装置进行解释说明。

参见图3，图3是本申请提供的一种音频实时处理装置实施例1的结构图，如图3所示，该装置包括：

指定单元301，用于响应于用户在应用程序上触发的音频处理操作，指定内核层的音频输入设备和音频输出设备；

采样率匹配单元302，用于确定音频输入设备和音频输出设备的采样率；

第一控制单元303，用于控制音频输入设备按照所述确定的采样率录入音频数据；

第二控制单元304，用于将所述音频数据输出给音频输出设备，并控制音频输出设备按照所述确定的采样率输出音频数据。

优选的，所述指定单元具体用于：

通过指定音频设备编号和音频声卡编号的方式，指定内核层的音频输入设备和音频输出设备。

优选的，所述采样率匹配单元，具体用于：

当音频输入设备和音频输出设备各自支持的采样率范围有重叠区域时，从该重叠区域中选择一个采样率作为音频输入设备和音频输出设备的采样率；

当音频输入设备和音频输出设备各自支持的采样率范围没有重叠区域时，先确定音频输出设备的采样率，再根据音频输出设备的采样率设置音频输入设备的采样率，使得两个采样率成整除倍数关系。

优选的，所述第二控制单元，具体用于：

根据音频输出设备的采样率和预设的缓存时间来确定缓存区，将音频数据缓存在缓存区内并控制音频输出设备输出缓存区内的数据。

与上述本申请一种音频实时处理方法实施例2所提供的方法相对应，参见图4，本申请提供的一种音频实时处理装置实施例2的结构图，该装置包括：

指定单元401，用于响应于用户在应用程序上触发的音频处理操作，指定内核层的音频输入设备和音频输出设备；

采样率匹配单元402，用于确定音频输入设备和音频输出设备的采样率；

第一控制单元403，用于控制音频输入设备按照所述确定的采样率录入音频数据；

音频处理单元404，用于对所述音频数据进行音量调整和/或混音处理得到处理后的音频数据。

第二控制单元405，具体用于将所述处理后的音频数据输出给音频输出设备，并控制音频输出设备按照所述确定的采样率输出该处理后的音频数据。

通过上述实施例可以看出，用户通过应用程序来触发对音频的实时处理，从智能终端系统的应用层跨过构架层调用内核层的输入输出设备，从应用层到内核层的跨层方式节省了音频输入到音频输出的延时；本发明是基于应用层来实现的，输入到输出过程的缓存可以根据需求预先设定，能够做到在满足输入输出需求的同时提高实时性。本发明是从智能终端的应用程序来触发对音频实时处理，能够提供音量调整、混音等音频处理，可以很好地与应用程序进行数据交互，以提供应用灵活性高的体验，本发明无需其他外设不增加用户使用成本，因此，本发明能够给用户提供低成本的、应用灵活性高的、实时性高的使用体验。

本发明还提供了智能终端，以保证上述方法在实际中的实现及应用。

本发明提供的智能终端包括上述音频实时处理装置；所述智能终端上的应用程序通过调用该音频实时处理装置实现对音频的采集播放。

参见图5，图5是本发明智能终端的系统构架图。音频实时处理装置位于智能终端系统的应用层以便于与应用程序之间进行数据交互。

本发明的上述方法和装置均可以以软件形式在智能终端的应用层来实现其功能。利用上述方法或装置可以以SDK形式存在如karaoke SDK，其他应用程序可以通过调用该karaoke SDK的方式来实现对音频实时处理。

例如，在一种应用场景下，K歌应用通过调用karaoke SDK来实现音频实时处理，该karaoke SDK承载着对音频数据进行音量调整、重采样以及混音的处理功能，则该智能终端的系统构架图具体如图6所示。

在智能终端系统上实现上述方法和装置时，可以采用智能终端系统所支持的计算机语言。但发明人发现java语言自身虚拟机以及周期性垃圾回收等特性和功能导致java语言的软件在运行时会被暂停受到影响，因此为了进一步保证处理实时性。发明人提出如下实现方式：

音频实时处理装置以c++或c语言的计算机语言形式存在于智能终端系统的应用层，且通过JNI提供的接口与智能终端系统内核层的音频输入输出设备进行交互。

即，通过c++或c语言来编程实现音频实时处理装置，利用JNI提供的控制接口来控制处理的开始、停止等操作，利用JNI提供的数据接口来进行数据交互，例如当需要从其他应用获取数据进行混音时，就利用该数据接口来获取数据。

本发明在智能终端上实现时，在应用层直接操作内核层的音频输入输出设备就可以实现低延时的音频处理，以满足用户的实时性需求，整个实现过程无需其他外设，无需增加额外成本，在应用层可以与应用程序进行数据交互，便于用户灵活操作。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的音频实时处理方法、装置及智能终端进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种音频实时处理方法，其特征在于，所述方法包括：

响应于用户在应用程序上触发的音频处理操作，指定内核层的音频输入设备和音频输出设备；以及，确定音频输入设备和音频输出设备的采样率；

控制音频输入设备按照所述确定的采样率录入音频数据；以及，将所述音频数据输出给音频输出设备，并控制音频输出设备按照所述确定的采样率输出音频数据。

2.根据权利要求1所述的方法，其特征在于，所述指定内核层的音频输入设备和音频输出设备，包括：

通过指定音频设备编号和音频声卡编号的方式，指定内核层的音频输入设备和音频输出设备。

3.根据权利要求1所述的方法，其特征在于，所述确定音频输入设备和音频输出设备的采样率，包括：

当音频输入设备和音频输出设备各自支持的采样率范围有重叠区域时，从该重叠区域中选择一个采样率作为音频输入设备和音频输出设备的采样率；或者，

当音频输入设备和音频输出设备各自支持的采样率范围没有重叠区域时，先确定音频输出设备的采样率，再根据音频输出设备的采样率设置音频输入设备的采样率，使得两个采样率成整除倍数关系。

4.根据权利要求1所述的方法，其特征在于，在所述控制音频输入设备按照所述确定的采样率录入音频数据之后，所述方法还包括：

对所述音频数据进行音量调整和/或混音处理得到处理后的音频数据。

5.根据权利要求1所述的方法，其特征在于，将所述音频数据输出给音频输出设备，并控制音频输出设备按照所述确定的采样率输出音频数据，包括：

根据音频输出设备的采样率和预设的缓存时间来确定缓存区，将音频数据缓存在缓存区内并控制音频输出设备输出缓存区内的数据。

6.一种音频实时处理装置，其特征在于，所述装置包括：

指定单元，用于响应于用户在应用程序上触发的音频处理操作，指定内核层的音频输入设备和音频输出设备；

采样率匹配单元，用于确定音频输入设备和音频输出设备的采样率；

第一控制单元，用于控制音频输入设备按照所述确定的采样率录入音频数据；

第二控制单元，用于将所述音频数据输出给音频输出设备，并控制音频输出设备按照所述确定的采样率输出音频数据。

7.根据权利要求6所述的装置，其特征在于，所述指定单元具体用于：

通过指定音频设备编号和音频声卡编号的方式，指定内核层的音频输入设备和音频输出设备。

8.根据权利要求6所述的装置，其特征在于，所述采样率匹配单元，具体用于：

当音频输入设备和音频输出设备各自支持的采样率范围有重叠区域时，从该重叠区域中选择一个采样率作为音频输入设备和音频输出设备的采样率；或者，

当音频输入设备和音频输出设备各自支持的采样率范围没有重叠区域时，先确定音频输出设备的采样率，再根据音频输出设备的采样率设置音频输入设备的采样率，使得两个采样率成整除倍数关系。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

音频处理单元，用于对所述音频数据进行音量调整和/或混音处理得到处理后的音频数据。

10.根据权利要求6所述的装置，其特征在于，所述第二控制单元，具体用于：

根据音频输出设备的采样率和预设的缓存时间来确定缓存区，将音频数据缓存在缓存区内并控制音频输出设备输出缓存区内的数据。

11.一种智能终端，其特征在于，所述智能终端包括上述权利要求6－10任一项所述的音频实时处理装置；所述智能终端上的应用程序通过调用该音频实时处理装置实现对音频的采集播放。

12.根据权利要求11所述的智能终端，其特征在于，所述音频实时处理装置以c++或c语言的计算机语言形式存在于智能终端系统的应用层，且通过JNI提供的接口与智能终端系统内核层的音频输入输出设备进行交互。