CN115966203A - 一种音频采集方法及装置 - Google Patents

Abstract

本申请涉及语音处理技术领域，提供一种音频采集方法及装置，在接收到第一录音请求时，确定第一录音请求对应的第一语音业务类型，在当前不存在已授权的目标语音业务类型或者目标语音业务类型的优先级低于第一语音业务类型的优先级时，允许录音，并基于第一语音业务类型对应的录音通道采集语音数据，通过比较第一语音业务类型与目标语音业务类型的优先级大小，确定是否对采集第一语音业务类型的语音数据，这样，可以有效防止低优先级的语音业务类型对高优先级的语音业务类型的干扰，提高采集的语音数据的准确性；并且，基于第一语音业务类型调用相应的录音通道，从而实现对通道资源的合理使用，提高通道资源的利用率。

Description

一种音频采集方法及装置

技术领域

本申请涉及语音处理技术领域，公开了一种音频采集方法及装置。

背景技术

随着人工智能技术的发展，大多数智能播放装置(例如，手机、音箱等)已具备语音识别功能和音视频通话功能。

目前，智能播放装置大多是基于单录音通道采集音频数据，即不同的语音业务类型共用一个录音通道。显然，这种方式会造成通道资源冲突。

为了解决上述资源冲突问题，在一些新型的智能播放装置(例如，智能电视)中会设置多个录音通道。然而，目前却没有一种音频数据采集方式能够合理的利用多个录音通道，造成了通道资源的浪费。

发明内容

本申请实施例提供一种音频采集方法及装置，用以提高通道资源的利用率。

第一方面，本申请实施例提供了一种音频采集方法，所述方法包括：

响应于第一录音请求，确定所述第一录音请求对应的第一语音业务类型；

确定当前不存在已授权的目标语音业务类型，或确定所述第一语音业务类型的优先级高于当前已授权的目标语音业务类型的优先级时，允许所述第一录音请求，并基于所述第一语音业务类型对应的录音通道，采集所述第一语音业务类型的语音数据。

第二方面，本申请实施例提供一种智能播放装置，包括：

响应模块，用于响应于第一录音请求，确定所述第一录音请求对应的第一语音业务类型；

采集模块，用于确定当前不存在已授权的目标语音业务类型，或所述第一语音业务类型的优先级高于当前已授权的目标语音业务类型的优先级时，允许所述第一录音请求，并基于所述第一语音业务类型对应的录音通道，采集所述第一语音业务类型的语音数据。

可选的，所述智能播放装置安装有第一应用，所述第一应用中包含音视频通话模块，用于与第二应用进行跨进程通信；所述采集模块用于：

通过所述第二应用，基于所述音视频通话类型对应的录音通道，对音视频通话类型的语音数据进行采集；

通过所述音视频通话模块调用所述第二应用的读取接口，获取所述第二应用采集的音视频通话类型的语音数据。

可选的，所述音视频通话模块中包含第一通信单元，所述第二应用中包含第二通信单元，所述采集模块具体用于：

通过所述第一通信单元向所述第二通信单元发送数据获取请求，以使所述第二通信单元基于接收的数据获取请求初始化录音参数，并基于所述初始化录音参数，从所述音视频通话类型对应的录音通道采集语音数据。

可选的，所述第一录音请求是所述音视频通话模块检测到音视频通话指令后发送的。

可选的，所述智能播放装置还包括发送模块，用于：

向至少一个第一录音模块发送第一控制指令，以使所述至少一个第一录音模块不使用相应的录音通道采集语音数据；其中，所述至少一个第一录音模块对应的语音业务类型的优先级低于所述第一语音业务类型的优先级。

可选的，所述智能播放装置还包括发送模块，用于：

接收所述第一语音业务类型对应的录音完成指令，向所述至少一个第一录音模块发送第二控制指令，以使所述至少一个第一录音模块恢复对相应的录音通道的使用状态。

可选的，所述第一应用中还包含近场语音模块，所述响应模块具体用于：

确定所述第一录音请求是所述近场语音模块检测到语音按键事件后发送的时，判定所述第一语音业务类型为近场语音业务类型。

可选的，所述第一应用中还包含远场语音模块，所述远场语音模块在开机时进入监听状态，所述响应模块具体用于：

确定所述第一录音请求是所述远场语音模块经对应的录音通道监听到第一唤醒词后发送的时，判定所述第一语音业务类型为远场语音业务类型。

可选的，语音业务类型包括近场语音业务类型、远场语音业务类型和音视频通话类型，所述近场语音业务类型的优先级高于所述远场语音业务类型的优先级，所述远场语音业务类型的优先级高于所述音视频通话类型的优先级。

可选的，当所述第一语音业务类型为音视频通话类型，且所述语音数据中包含第二唤醒词时，所述发送模块还用于：

向所述第一语音业务类型对应的音视频通话模块发送第三控制指令，以使所述音视频通话模块停止使用所述音视频通话类型对应的录音通道采集语音数据；以及，

向基于所述第二唤醒词唤醒的远场语音模块发送允许录音指令，以使所述远场语音模块通过所述远场语音业务类型对应的录音通道采集语音数据。

第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算程序时实现音频采集方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行音频采集方法。

本申请的上述实施例中，在接收到第一录音请求后，确定第一录音请求对应的语音业务类型，在当前不存在已授权的目标语音业务类型，或者当前存在已授权的目标业务类型，但第一语音业务类型的优先级高于目标语音业务类型的优先级时，允许录音，并基于第一语音业务类型对应的录音通道，采集语音数据，通过比较第一语音业务类型的优先级与目标语音业务类型的优先级大小，确定是否对采集第一语音业务类型的语音数据，这样，可以有效防止低优先级的语音业务类型对高优先级的语音业务类型的干扰，提高采集的语音数据的准确性；并且，基于第一语音业务类型调用相应的录音通道，从而实现对通道资源的合理使用，提高通道资源的利用率。

附图说明

图1为本申请实施例提供的智能播放装置硬件结构图；

图2为本申请实施例提供的智能播放装置软件结构图；

图3为本申请实施例提供的语音业务类型的优先级时序图；

图4为本申请实施例提供的多路并发录音方法流程图；

图5为本申请实施例提供的录音切换过程示意图；

图6为本申请实施例提供的智能播放装置中各个功能模块的调度方法流程图；

图7为本申请实施例提供的智能播放装置的功能结构图；

图8为本申请实施例提供的电子设备的结构图；

图9为本申请实施例提供的终端设备的结构图。

具体实施方式

为了更好的理解本申请实施例提供的技术方案，下面将结合说明书附图以及具体的实施方式进行详细的说明。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于本领域技术人员更好地理解本申请的技术方案，下面对本申请涉及的基本概念进行说明。

近场语音：是指用户通过外接设备(例如，遥控器、无线终端)输入的语音，需要借助物理按键的触发，按键按下，近场语音开始录制，按键松开，近场语音录制结束。通常的，外接设备与智能播放装置的距离不超过50厘米(cm)，因此，这种方式输入的语音称为近场语音。

远场语音：是指用户通过智能播放装置自带的麦克风阵列输入的语音，需要借助特定的唤醒词触发，监听到唤醒词时，远场语音开始录制，用户说话完成且静置设定的时段后，远场语音录制结束。通常的，用户与麦克风阵列的距离约为3到5米(m)，因此，这种方式输入的语音称为远场语音。

音视频通话：是一种智能播放装置的新兴功能，需要借助智能播放装置内置或外置的摄像头，且摄像头带有收音功能(例如，摄像头带有麦克风)，在用户主动拨打或被动呼叫后，开启摄像头采集图像的同时，麦克风采集语音。通话结束，则结束图像和语音的采集。

下面对本申请的设计思想进行说明。

目前，对于单录音通道的智能播放装置(例如，手机)，大多采用内置的麦克风采集音频数据。该类智能播放装置中，每个语音业务类型分别对应一个应用程序(Application，APP)，各个APP共用一个录音通道接收相应类型的音频数据，此种多个APP共用一个录音通道的方式称为单通道录音机制。

采用单通道录音机制的智能播放装置，通常基于“先占用先使用”的原则从外界接收音频数据。具体的，先启动录音功能的APP将先占用录音通道来接收相应类型的音频数据，此时其他APP无法使用录音通道，只有在先启动录音功能的APP结束录音并释放录音通道后，其他APP才可以继续使用录用通道；显然，“先占用先使用”的原则会在各个APP之间造成资源冲突。

在一些新型的智能播放装置(例如，智能电视)中会设置多个录音通道，每个录音通道对应一种语音业务类型，从而解决单录音机制带来的资源冲突的问题。

随着智能播放设备的不断发展，智能播放设备的功能越来越多，包括但不限于近场语音识别、远场语音识别和音视频通话功能，这三项功能分别依赖于不同的录音通道。

由“先占用先使用”的原则可知，不同语音业务类型不区分优先级，对各类语音业务同等对待，当有高优先级的语音业务请求录音时，由于录音通道已被占用，高优先级的语音业务也无法抢占录音通道，只能等待，显然，单通道录音机制中“先占用先使用”的原则已不再适用多录音通道的智能播放设备。由于单通道录音机制对应的通道资源调度策略并不适用于多通道录音机制，这样，便会存在软件机制与硬件资源不匹配的问题，令硬件资源无法得到合理利用，造成了资源浪费。

针对多录音通道的智能播放装置，本申请实施例提供了一种音频采集方法及装置，用以对多个录音通道进行合理调度以实现多路并发采集音频数据，提高通道资源的利用率。具体的，本申请实施例中，将提供不同语音业务类型的功能模块集成于同一应用中，并预先为不同类型的语音业务设置了优先级，其中，近场语音业务类型的优先级高于远场语音业务类型的优先级，远场语音业务类型的优先级高于音视频通话业务类型的优先级，当接收到录音请求后，将录音请求对应的语音业务类型的优先级与当前语音业务类型的优先级进行比较，当前者高于后者时，基于高优先级语音业务类型对应的录音通道采集语音数据，从而防止低优先级的语音业务类型对高优先级的语音业务类型的干扰，提高录音的准确性；并且，基于录音请求对应的语音业务类型调用相应的录音通道，实现通道资源的合理利用，提高通道资源的利用率。

通过本申请实施例的音频采集方法，可实现近场语音、远场语音、音视频通话三路录音共存，并且当进行音视频通话时，本申请实施例采用跨进程通信方式采集语音数据，保证远场语音和音视频通话同时录制。

以智能播放装置为智能电视为例，图1为本申请实施例提供的智能播放装置的硬件结构图；如图1所示，智能电视10配置有外接遥控器101，遥控器101内置有麦克风。按下遥控器101的语音按键，遥控器麦克风开始录制近场语音，松开遥控器101的语音按键，近场语音录制结束。遥控器101通过通信协议将录制的近场语音发送给智能电视10，智能电视10上的电视助手通过系统接口获取近场语音数据，并对获得的近场语音数据进行语音识别、语义理解和语音响应等一些列的操作。其中，本申请实施例对遥控器101的类型不做限制性要求，包括但不限于蓝牙遥控器、红外遥控器、无线遥控器。

需要说明的是，图1中的语音按键仅是一种示例，除设置在控制智能电视的遥控器上外，还可设置在智能电视本身，并且语音按键的类型可以是按压式的，也可以是触控式的，本申请实施例并不做限制性要求。

如图1示出的，智能电视10自带有麦克风阵列102，麦克风阵列102的录音功能随智能电视10的开机而开启，即智能电视10开机后，麦克风阵列102便进入监听状态，智能电视10关机后，麦克风阵列102便结束监听状态。监听状态下监听到特定的唤醒词后，麦克风阵列102开始录制远场语音，用户结束说话并静置一段时间后，远场语音录制结束。智能电视10上的电视助手通过系统接口获取远场语音数据，并对获得的远场语音数据进行语音识别、语义理解和语音响应等一些列的操作。

如图1示出的，智能电视10内置或外接有摄像头103，摄像头103带有用于通话的麦克风。在接通音视频通话时，摄像头103同时采集视频图像和音频数据，通话结束，音视频数据录入完成。

需要说明的是，图1所示的智能播放装置仅是一种示例，本申请实施例中的智能播放装置包括但不限于车载终端、笔记本电脑、可穿戴设备、虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备等具有音视频播放功能的终端。

基于图1示出的智能播放装置，图2示例性示出了本申请实施例提供的智能播放装置的软件结构图；如图2示出的，智能播放装置的播放助手中包含近场语音模块、远场语音模块、音视频通话模块、录音调度管理模块。

近场语音模块对应于“VOIC_RECOGNITION”录音通道，用于提供近场语音业务，包括语音按键的监听、近场语音数据的获取、近场语音数据的识别等。具体的，近场语模块会检测遥控器的语音按键事件，当检测到语音按键事件后，通过录音通道“VOIC_RECOGNITION”接收遥控器麦克风录制的近场语音数据。近场语音业务对应的优先级被设置为高级。

远场语音模块对应于“HOTWORD”录音通道，用于提供远场语音业务，包括唤醒词的监听、远场语音数据的获取、远场语音数据的识别等。远场语音模块在智能播放设备开机时便进入监听状态，持续监听唤醒远场语音业务的唤醒词，当监听到唤醒词后，通过录音通道“HOTWORD”接收内置麦克风阵列录制的远场语音数据。远场语音业务对应的优先级被设置为中级。

音视频通话模块对应于“MIC”录音通道，用于提供音视频通话业务，包括获取语音数据和图像数据。音视频通话业务对应的优先级被设置为低级。

录音调度管理模块用于向近场语音模块、远场语音模块、音视频通话模块发送相应调度指令，以合理调度多路录音通道实现多路并发录音。

本申请实施例中各类语音业务类型对应的功能模块的配置信息参见表1。

表1

模块	语音业务类型	优先级	录音通道
				近场语音模块	近场语音业务	高	VOIC_RECOGNITION
远场语音模块	远场语音业务	中	HOTWORD
				音视频通话模块	音视频通话业务	低	MIC

图2所示的智能播放装置的运行环境为安卓(Android)操作系统，受Android系统限制，播放助手APP(记为第一应用)仅开启了一个录音进程，即只能有一路录音通道在录音，这样，远场语音模块的持续监听与音视频通话无法共存。为了解决同时收音的问题，本申请实施为音视频通话设置了一个独立于播放助手APP的通话APP(记为第二应用)。

如图2示出的，在音视频通话模块和通话APP内设计了AKAudioRecord单元，用于实现音视频通话模块与通话APP的跨进程通信，以及接收摄像头录制的音视频数据，从而使音视频通话模块和远场语音模块通过两个不同的进程同时收音。

其中，AKAudioRecord单元分为服务(Server)端和客户(Client)端，通话APP内集成了AKAudioRecord单元的Server端(记为第二通信单元)，用于对录音参数(包括录音通道数，音视频采样频率，音视频采样深度等)进行初始化，控制摄像头开始或停止录制音视频数据，并通过“MIC”录音通道接收摄像头录制的音视频数据。播放助手APP中的音视频通话模块内集成了AKAudioRecord单元的Client端(记为第一通信单元)，通过调用AudioRecord接口获取摄像头麦克风录制的音视频数据，从而完成音视频通话功能。

需要说明的是，图2中的跨进程实现方式仅是一种示例，除使用Android系统中的AudioRecord录音接口外，还可使用Alsa录音接口、Binder AIDL接口、管道、共享内存等方式。

本申请实施例为多种类型的语音业务分别设置了不同的优先级，以语音业务包括近场语音、远场语音、音视频通话三种类型的语音业务为例，这三种语音业务的优先级为：近场语音业务类型的优先级高于远场语音业务类型的优先级，远场语音业务类型的优先级高于音视频通话类型的优先级。基于设置的优先级，对三个通道资源进行合理的调度，实现多路并发录音。

图3为三种语音业务的优先级在时间轴上的体现方式示意图；如图3示出的，远场语音业务在开机时进入监听状态，近场语音业务和音视频通话业务分别在达到触发条件后进入录音状态。近场语音的优先级高于远场语音的优先级，远场语音的优先级高于音视频通话的优先级，保证了遥控器的近场语音录入可打断远场语音的录入，近场语音或远场语音的录入可以操控音视频通话功能。

如图3中的(a)示出的，在检测到语音按键事件时，开始录入近场语音，此时，远场语音结束监听状态，摄像头暂停录制音视频通话中的音视频数据，以避免远场语音被唤醒或者是音视频通话中的语音录入到近场语音，干扰用户录入的近场语音的真实意图。在检测到语音按键事件结束时，结束录入近场语音，远场语音恢复监听状态，以及摄像头继续录制音视频通话中的音视频数据。

如图3中的(b)示出的，在麦克风阵列接收到特定的唤醒词时，开始录制远场语音，此时，摄像头暂停录制音视频通话中的音频数据，以避免音视频通话中的语音录入到远场语音，干扰远场语音的真实意图。在用户停止说话并静置一段时间后，结束录制远场语音，摄像头继续录制音视频通话中的音视频数据。

如图3中的(c)示出的，在开始音视频通话时，远场语音可维持监听状态，从而音视频通话和远场语音两路通道同时使用的状态，实现远场语音和音视频通话同时共存。

基于图1-图2所示的装置结构，对本申请实施例中涉及的多路并发录音方法进行详细描述。参见图4，该方法由智能播放装置执行，主要包括以下几步：

S401：响应于第一录音请求，确定第一录音请求对应的第一语音业务类型。

以智能播放装置可提供近场语音业务、远场语音业务和音视频通话三种类型的语音业务为例，第一录音请求可以是提供近场语音业务的近场语音模块发送的请求，也可以是提供远场语音业务的远场语音模块发送的，还可以是提供音视频通话业务的音视频通话模块发送的，这三个模块同时集成在第一应用中。

以第一录音请求为近场语音模块发送的为例，在执行S401时，当近场语音模块检测到语音按键事件后，发送第一录音请求，第一录音请求携带近场语音模块对应的近场语音业务的标识，基于该标识，确定第一录音请求对应的第一语音业务类型为近场语音业务类型。

本申请实施例对语音按键事件不做限制性要求，其可由控制智能播放房装置的外接设备(例如遥控器)触发，可由智能播放装置本身的按键触发，且触发方式可以是按键方式，也可以是触控方式。

以第一录音请求为远场语音模块发送的为例，在执行S401时，当远场语音模块经“HOTWORD”录音通道监听到第一唤醒词后，发送第一录音请求，第一录音请求携带远场语音模块对应的远场语音业务的标识，基于该标识，确定第一录音请求对应的第一语音业务类型为远场语音业务类型。

其中，第一唤醒词可根据实际需求进行设置，可是一个，也可以是多个本申请实施例对唤醒词的监听算法不做限制性要求，包括但不限于语音活动检测(Voice ActivityDetection，VAD)算法、关键词搜索(KeyWord Search，KWS)算法。

以第一录音请求为音视频通话模块发送的为例，在执行S401时，当音视频通话模块检测到音视频通话指令后，发送第一录音请求，第一录音请求携带音视频通话模块对应的通视频通话业务的标识，基于该标识，确定第一录音请求对应的第一语音业务类型为音视频通话业务类型。

本申请实施例对音视频通话指令的触发方式不做限制性要求，其可以是主动拨打音视频通话时触发的，也可以是被动接收音视频通话时触发的。

S402：确定当前是否存在已授权的目标语音业务类型，若存在，执行S403，若不存在，执行S404。

由于本申请实施例中智能播放装置可提供多种类型的语音业务，因此，在接收到第一录音请求后，需要确定当前是否存在已授权的目标语音业务类型，若存在，并获取目标语音业务类型的优先级，若不存在，直接进行录音。

S403：确定第一语音业务类型的优先级是否高于目标语音业务类型的优先级，若是，执行S404，否则，执行S405。

在执行S403时，获取第一语音业务类型的优先级，将第一语音业务类型的优先级与目标语音业务类型的优先级进行比较，若前者高于后者，则表明第一语音业务类型的重要等级较高，应中断目标语音业务，若前者低于后者，则表明目标语音业务的重要等级较高，为防止第一语音业务对目标语音业务的干扰，应拒绝第一录音请求。

例如，以第一语音业务类型为近场语音业务类型、目标语音业务类型为远场语音业务类型为例，由于近场语音业务类型的优先级高于远场语音业务类型的优先级，则执行S404。

再例如，以第一语音业务类型为音视频通话类型、目标语音业务类型为远场语音业务类型为例，由于音视频通话类型的优先级低于远场语音业务类型的优先级，则拒绝第一录音请求。

S404：允许第一录音请求，并基于第一语音业务类型对应的录音通道，采集第一语音业务类型的语音数据。

当第一语音业务类型为近场语音业务类型时，执行S404时，智能播放装置中的录音调度管理模块向近场语音模块发送第一录音指令，以通知近场语音模块允许进行近场语音的录入，近场语音模块在接收到第一录音指令后，通过近场语音业务类型对应的“VOIC_RECOGNITION”录音通道，采集近场语音数据。

当第一语音业务类型为远场语音业务类型时，执行S404时，智能播放装置中的录音调度管理模块向远场语音模块发送第一录音指令，以通知远场语音模块允许进行远场语音的录入，远场语音模块在接收到第一录音指令后，通过远场语音业务类型对应的“HOTWORD”录音通道，采集远场语音数据。

当第一语音业务类型为音视频通话类型时，由于音视频通话模块中包含第一通信单元，第二用中包含第二通信单元，如图2所示，因此，即便远场语音模块在智能播放装置开机后就进入到监听状态持续收音，音视频通话模块和第二应用之间可通过第一通信单元和第二通信单元进行跨进程通信，以实现于远场语音和音视频通话共存。

在执行S404时，具体的，智能播放装置中的第一应用和第二应用进行通信，通过第二应用，基于音视频通话类型对应的录音通道对音视频通话类型的语音数据进行采集，并通过音视频通话模块调用第二应用的读取接口(例如AudioRecord接口)，获取第二应用采集的音视频通话类型的语音数据。

具体实施时，第一应用通过音视频通话模块中的第一通信单元，向第二应用中的第二通信单元发送数据获取请求，第二通信单元接收到数据获取请求后，初始化录音参数，包括录音通道数，音视频采样频率，音视频采样深度等，基于初始化的录音参数，从音视频通话类型对应的“MIC”录音通道采集语音数据。

需要说明的是，在从音视频通话类型对应的“MIC”录音通道采集语音数据的同时，还可以通过“MIC”录音通道接收摄像头采集的图像数据。

S405：拒绝第一录音请求。

在执行S405时，由于第一语音业务类型的优先级低于目标业务类型的优先级，为防止第一语音业务对目标语音业务的干扰，应拒绝第一录音请求。

本申请实施例为不同类型的语音业务设置了不同的优先级，因此，在一种可选的实施方式中，在接收到录音请求后，还可以按照语音业务类型的优先级顺序，向低优先级的语音业务类型对应的模块发送控制指令，保证录音过程中，减少低优先级的语音业务对高优先级的语音业务的干扰。

具体实施时，当存在比第一语音业务类型的优先级低的至少一个语音业务类型时，向至少一个低优先级的语音业务类型对应的第一录音模块发送第一控制指令，以使至少一个第一录音模块不使用相应的录音通道采集语音数据。

以第一语音业务类型为近场语音业务类型为例，比近场语音业务类型的优先级低的语音业务类型有远场语音业务类型和音视频通话类型，在接收到近场语音模块发送的第一录音请求后，录音调度管理模块分别向远场语音模块和音视频通话模块发送第一控制指令，使得远场语音模块不通过“HOTWORD”录音通道采集远场语音数据，音视频通话模块不通过“MIC”录音通道采集音视频语音数据。

以第一语音业务类型为远场语音业务类型为例，比远场语音业务类型的优先级低的语音业务类型有音视频通话类型，在接收到远场语音模块发送的第一录音请求后，录音调度管理模块向音视频通话模块发送第一控制指令，使得音视频通话模块不通过“MIC”录音通道采集音视频语音数据。

需要说明的是，当第一语音业务类型为音视频通话类型时，由于不存在比其优先级低的语音业务类型，因此，智能播放装置中的录音调度管理模块不发送第一控制指令。

在本申请的实施例中，当采集完第一语音业务类型的语音数据后，还可执行以下操作：

接收第一语音业务类型对应的录音完成指令，向至少一个第一录音模块发送第二控制指令，以使至少一个第一录音模块恢复对相应的录音通道的使用状态。

以第一语音业务类型为近场语音业务类型为例，当用户松开遥控器的语音按键时，近场语音数据采集结束，触发近场语音模块向智能播放装置中的录音调度管理模块发送录音完成指令，录音调度管理模块接收到录音完成指令后，分别向远场语音模块和音视频模块发送第二控制指令，远场语音模块接收到第二控制指令后，继续通过“HOTWORD”录音通道监听第一唤醒词，即恢复到监听状态；音视频通话模块接收到第二控制指令后，若音视频通话仍在继续，则恢复对“MIC”录音通道的使用状态，通过“MIC”录音通道采集音视频的语音数据，若音视频通话已经结束，则“MIC”录音通道恢复到的空闲状态，不再使用“MIC”录音通道采集音视频的语音数据。

以第一语音业务类型为远场语音业务类型为例，当用户停止说话一段时间后，远场语音数据采集结束，触发远场语音模块向智能播放装置中的录音调度管理模块发送录音完成指令，录音调度管理模块接收到录音完成指令后，向音视频通话模块发送第二控制指令，若远场语音结束后音视频通话仍在继续，则音视频通话模块继续通过“MIC”录音通道获取音视频语音数据，若远场语音结束后音视频通话已经结束，则“MIC”录音通道恢复到空闲状态。

需要说明的是，当第一语音业务类型为音视频通话类型时，由于不存在比其优先级低的语音业务类型，因此，智能播放装置中的录音调度管理模块不发送第二控制指令。

在本申请的一些实施例中，通过跨进程通信使得音视频通话与远场语音同时共存，在进行音视频通话的过程中，远场语音模块仍然通过“HOTWORD”录音通道监听唤醒词，这样，当第一语音业务类型为音视频通话类型时，且采集的语音数据中包含第二唤醒词时，由于远场语音业务类型的优先级高于音视频通话类型，因此，远场语音模块被唤醒，智能装置中的录音调度管理模块需将音视频通话切换到远场语音。

具体实施时，智能播放装置中的录音调度管理模块向第一语音业务类型对应的音视频通话模块发送第三控制指令，音视频通话模块接收到第三控制指令后，停止使用音视频通话类型对应的录音通道采集语音数据，以及，向基于第二唤醒词唤醒的远场语音模块发送允许录音指令，远场语音模块在接收到允许录音指令后，通过远场语音业务类型对应的录音通道采集语音数据。

例如，如图5所示，音视频通话过程中，语音数据中出现了第二唤醒词，第二唤醒词可唤醒远场语音模块。智能播放装置中的录音管理调度模块向音视频通话应用发送第三控制指令，音视频通话应用接收到第三控制指令后，停止通过录音通道“MIC”接收音视频数据，并且，智能播放装置中的录音调度管理模块向远场语音模块发送允许录音指令，远场语音模块接收到允许录音指令后，通过“HOTWORD”录音通道采集远场语音数据，直至远场语音结束，音视频模块继续通过“MIC”采集音视频中的语音数据。

本申请的上述实施例中，智能播放装置同时配置了遥控器、麦克风阵列、摄像头，遥控器和摄像头带有麦克风。基于这些硬件，通过播放助手APP提供近场语音、远场语音和音视频通话三种类型的语音业务。其中，近场语音业务类型的优先级高于远场语音业务类型的优先级，远场语音业务类型的优先级高于音视频通话类型的优先级。智能播放装置接收到录音请求后，按照各类语音业务类型的优先级顺序，录音调度管理模块向各个语音业务类型对应的媒体应用发送指令，通过对三个录音通道的合理调用，实现三种类型的语音业务同时共存，并且，防止低优先级的语音业务对高优先级的语音业务的干扰，保证调用的录音通道与当时用户的语音输入意图一致。

同时，本申请为音视频通话设计了一个通话APP，通过跨进程通信把摄像头的麦克风录制的音视频数据发送给智能播放装置中的播放助手APP，解决了Android系统的限制，实现音视频通话与远场语音同时收音。

为清楚描述本申请实施例提供的多路音频数据的采集方法，图6示出了录音调度管理模块对各类语音业务模块的调度示意图。如图6所示，其中，S601～S603为智能播放装置的开机启动的过程，S604～S608为近场语音数据采集过程，S609～S613为远场语音数据采集过程，S614～S616为音视频通话中音视频数据的采集过程，具体内容如下：

S601：智能播放装置开机后，录音调度管理模块、近场语音模块、远场语音模块和音视频通话模块分别接收开机指令。

在一种可选的实施方式中，用户通过遥控器的“开关”键或者智能播放装置内置的“开关”键开启智能播放装置。

S602：远场语音模块接收到开机指令后，进入监听状态，持续监听用户语音中的唤醒词。

在S602中，远场语音模块在接收到开机指令后，进入监听状态，经“HOTWORD”录音通道持续收音以监听唤醒词

S603：近场语音模块、远场语音模块和音视频通话模块分别向录音调度管理模块发送调度策略，调度策略包含相应模块提供的语音业务类型。

智能播放装置开机后，近场语音模块、远场语音模块、音视频通话模块分别向录音调度管理模块发送调度策略，调度策略中包含语音业务模块各自对应的语音业务类型。其中，每个语音业务模块提供一种类型的语音业务，每个语音业务模块对应一个录音通道，以及各个语音业务类型分别设置有不同的优先级。具体参见前述实施例，在此不再重复。

S604：近场语音模块向录音调度管理模块发送录音请求。

在一种可选的实施方式中，执行S604时，用户按下遥控器的语音按键触发近场语音模块向录音调度管理模块发送录音请求。

S605：录音调度管理模块基于接收的录音请求，分别向远场语音模块和音视频通话模块发送第一控制指令，以使远场语音模块和音视频通话模块停止录音。

在S605中，由于近场语音业务类型的优先级高于远场语音业务类型和音视频通话类型的优先级，因此，在接收到近场语音模块的录音请求后，向远场语音模块和音视频通话模块发送第一控制指令，使得远场语音模块停止使用“HOTWORD”录音通道采集远场语音数据，音视频通话模块停止使用“MIC”录音通道采集音视频数据，从而防止远场语音和音视频通话对近场语音的干扰，提高近场语音录入的准确性。

S606：录音调度管理模块基于接收的录音请求，向近场语音模块发送录音指令，以使近场语音模块通过相应的录音通道采集近场语音数据。

在S606中，近场语音模块接收到录音调度管理模块发送的录音指令后，通过“VOIC_RECOGNITION”录音通道采集近场语音数据。

S607：近场语音模块向录音调度管理模块发送录音完成指令。

在一些实施例中，执行S607中的录音完成指令可通过用户松开遥控器的语音按键触发，或者，静置设定的时间段后触发。

S608：录音调度管理模块基于接收的录音完成指令，分别向远场语音模块和音视频通话模块发送第二控制指令，以使远场语音模块和音视频通话模块原始状态。

在S608中，近场语音录制结束后，分别向远场语音模块和音视频通话模块发送第二控制指令，远场语音模块基于第二控制指令恢复对“HOTWORD”录音通道的监听状态，音视频通话模块基于第二控制指令恢复对“MIC”录音通道的使用状态。

S609：远场语音模块向录音调度管理模块发送录音请求。

在一种可选的实施方式中，执行S609时，用户通过唤醒词触发远场语音模块向录音调度管理模块发送录音请求。

S610：录音调度管理模块基于接收的录音请求，向音视频通话模块发送第一控制指令，以使音视频通话模块停止录音。

在S610中，由于远场语音业务类型的优先级高于音视频通话类型的优先级，因此，在接收到远场语音模块发送的录音请求后，向音视频通话模块发送第一控制指令，使得音视频通话模块停止使用“MIC”录音通道采集音视频数据，从而防止音视频通话对远场语音的干扰，提高远场语音录入的准确性。

S611：录音调度管理模块基于接收的录音请求，向远场语音模块发送录音指令，以使远场语音模块通过相应的录音通道采集远场语音数据。

在S611中，远场语音模块接收到录音调度管理模块发送的录音指令后，通过“HOTWORD”通道采集远场语音数据。

S612：远场语音模块向录音调度管理模块发送录音完成指令。

在一种可选的实施方式中，执行S612时，用户停止说话并静置设定的时间段后，远场语音结束，触发远场语音模块向录音调度管理模块发送录音完成指令。

S613：录音调度管理模块基于录音完成指令，向音视频通话模块发送第二控制指令，以使音视频通话模块恢复原始状态。

在S613中，远场语音录制结束后，向音视频通话模块发送第二控制指令，音视频通话模块基于第二控制指令恢复对“MIC”通道的使用状态。

S614：音视频通话模块向录音调度管理模块发送录音请求。

在一种可选的实施方式中，执行S614时，用户拨打或接听音视频通话后，触发音视频通话模块向录音调度管理模块发送录音请求。

S615：录音调度管理模块基于接收的录音调度请求，向音视频通话模块发送录音指令，以使音视频通话通过相应的录音通道采集音视频数据。

在一种可选的实施方式中，执行S615时，音视频通话模块接收到录音指令后，调用AKAudioRecord接口与通话APP进行跨进程通信，接收通话APP通过“MIC”录音通道采集的音视频数据。由于音视频通话模块和通话APP之间采用跨进程通信方式，独立于远场语音模块的监听进程，使得音视频通话与远场语音共存。

S616：音视频通话模块向录音调度管理模块发送录音完成指令。

在一些实施例中，执行S616时，用户挂断音视频通话后，触发音视频通话模块向录音调度管理模块发送录音完成指令。

需要说明的是，图6中的调度过程并非严格的执行顺序，在一种可选的方式中，可仅进行一种调度方式或任意组合，例如，仅执行S601～S608。

基于相同的技术构思，本申请实施例提供一种智能播放装置。参见图7，该智能播放装置包括：

响应模块701，用于响应于第一录音请求，确定所述第一录音请求对应的第一语音业务类型；

采集模块702，用于确定当前不存在已授权的目标语音业务类型，或确定所述第一语音业务类型的优先级高于当前已授权的目标语音业务类型的优先级时，允许所述第一录音请求，并基于所述第一语音业务类型对应的录音通道，采集所述第一语音业务类型的语音数据。

可选的，所述智能播放装置安装有第一应用，所述第一应用中包含音视频通话模块，用于与第二应用进行跨进程通信；所述采集模块702用于：

通过所述第二应用，基于所述音视频通话类型对应的录音通道，对音视频通话类型的语音数据进行采集；

通过所述音视频通话模块调用所述第二应用的读取接口，获取所述第二应用采集的音视频通话类型的语音数据。

可选的，所述音视频通话模块中包含第一通信单元，所述第二应用中包含第二通信单元，所述采集模块702具体用于：

通过所述第一通信单元向所述第二通信单元发送数据获取请求，以使所述第二通信单元基于接收的数据获取请求初始化录音参数，并基于初始化的录音参数，从所述音视频通话类型对应的录音通道采集语音数据。

可选的，所述第一录音请求是所述音视频通话模块检测到音视频通话指令后发送的。

可选的，所述智能播放装置还包括发送模块703，用于：

向至少一个第一录音模块发送第一控制指令，以使所述至少一个第一录音模块不使用相应的录音通道采集语音数据；其中，所述至少一个第一录音模块对应的语音业务类型的优先级低于所述第一语音业务类型的优先级。

可选的，所述智能播放装置还包括接收模块704，用于：

接收所述第一语音业务类型对应的录音完成指令，向所述至少一个第一录音模块发送第二控制指令，以使所述至少一个第一录音模块恢复对相应的录音通道的使用状态。

可选的，所述第一应用中还包含近场语音模块，所述响应模块701具体用于：

确定所述第一录音请求是所述近场语音模块检测到语音按键事件后发送的时，判定所述第一语音业务类型为近场语音业务类型。

可选的，所述第一应用中还包含远场语音模块，所述远场语音模块在开机时进入监听状态，所述响应模块701具体用于：

确定所述第一录音请求是所述远场语音模块经对应的录音通道监听到第一唤醒词后发送的时，判定所述第一语音业务类型为远场语音业务类型。

可选的，语音业务类型包括近场语音业务类型、远场语音业务类型和音视频通话类型，所述近场语音业务类型的优先级高于所述远场语音业务类型的优先级，所述远场语音业务类型的优先级高于所述音视频通话类型的优先级。

可选的，当所述第一语音业务类型为音视频通话类型，且所述语音数据中包含第二唤醒词时，所述发送模块703还用于：

向所述第一语音业务类型对应的音视频通话模块发送第三控制指令，以使所述音视频通话模块停止使用所述音视频通话类型对应的录音通道采集语音数据；以及，

向基于所述第二唤醒词唤醒的远场语音模块发送允许录音指令，以使所述远场语音模块通过所述远场语音业务类型对应的录音通道采集语音数据。

作为一种实施例，图7中的模块可以用于本申请实施例智能播放装置提供的音频采集方法，并能实现相同的技术效果，在此不再赘述。

上述装置作为硬件实体的一个实例如图8所示的电子设备，该电子设备包括处理器801、存储介质802以及至少一个外部通信接口803；上述处理器801、存储介质802以及外部通信接口803均通过总线804连接。

存储介质802中存储有计算机程序；

处理器801执行该计算机程序时实现前文论述的一种音频采集方法。

图8中是以一个处理器801为例，但是实际上不限制处理器801的数量。

其中，存储介质802可以是易失性存储介质(volatile memory)，例如随机存取存储介质(random-access memory，RAM)；存储介质802也可以是非易失性存储介质(non-volatile memory)，例如只读存储介质，快闪存储介质(flash memory)，硬盘(hard diskdrive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储介质802是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储介质802可以是上述存储介质的组合。

基于同一发明构思，本申请实施例提供一种终端设备，下面对该终端设备进行介绍。

请参照图9，该终端设备包括显示单元940、处理器980以及存储器920，其中，显示单元940包括显示面板941，用于接收用户输入以及提供各种操作界面和显示页面等。

可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)或有机发光二极管OLED(Organic Light-Emitting Diode)等形式来配置显示面板941。

处理器980用于读取计算机程序，然后执行计算机程序定义的方法，例如处理器980读取媒体应用，从而在该终端设备的播放助手APP上运行媒体应用，在显示单元940上显示应用的界面。处理器980可以包括一个或多个通用处理器，还可包括一个或多个DSP(Digital Signal Processor，数字信号处理器)，用于执行相关操作，以实现本申请实施例所提供的技术方案。

存储器920一般包括内存和外存，内存可以为随机存储器(RAM)，只读存储器(ROM)，以及高速缓存(CACHE)等。外存可以为硬盘、光盘、USB盘、软盘或磁带机等。存储器920用于存储计算机程序和其他数据，该计算机程序包括客户端对应的应用程序等，其他数据可包括操作系统或应用程序被运行后产生的数据，该数据包括系统数据(例如操作系统的配置参数)和用户数据。本申请实施例中程序指令存储在存储器920中，处理器980执行存储器920中的程序指令，实现前文图论述的任意的一种音频采集方法。

此外，终端设备还可以包括显示单元940，用于接收输入的数字信息、词语信息或接触式触摸操作或非接触式手势，以及产生与终端设备的用户设置以及功能控制有关的信号输入等。具体地，本申请实施例中，该显示单元940可以包括显示面板941。显示面板941例如触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在显示面板941上或在显示面板941的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，显示面板941可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测玩家的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器980，并能接收处理器980发来的命令并加以执行。

其中，显示面板941可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了显示单元940，终端设备还可以包括输入单元930，输入单元930可以包括但不限于包括图像输入设备931和其他输入设备932，其他输入设备932可以但不局限于包括物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

除以上之外，终端设备还可以包括用于给其他模块供电的电源990、音频电路960、近场通信模块970和RF电路910。终端设备还可以包括一个或多个传感器950，例如加速度传感器、光传感器、压力传感器、摄像头等。音频电路960具体包括扬声器961和麦克风962等，例如终端设备可以通过麦克风962采集用户的声音，进行相应的操作等。

作为一种实施例，处理器980的数量可以是一个或多个，处理器980和存储器920可以是耦合设置，也可以是相对独立设置。

作为一种实施例，图9中的处理器980可以用于实现如图7中各个模块的功能。

作为一种实施例，图9中的处理器980可以用于实现前文论述的音频采集方法。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的计算机程序可以存储于一计算机可读取存储介质中，该计算机程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例上述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

基于同一技术构思，本申请实施例还一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，当上述计算机指令在计算机上运行时，使得计算机执行如前文论述的音频采集方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种音频采集方法，其特征在于，所述方法包括：

响应于第一录音请求，确定所述第一录音请求对应的第一语音业务类型；

确定当前不存在已授权的目标语音业务类型，或确定所述第一语音业务类型的优先级高于当前已授权的目标语音业务类型的优先级时，允许所述第一录音请求，并基于所述第一语音业务类型对应的录音通道，采集所述第一语音业务类型的语音数据。

2.如权利要求1所述的方法，其特征在于，应用于第一应用，所述第一应用中包含音视频通话模块，用于与第二应用进行跨进程通信；

当所述第一录音请求对应的第一语音业务类型为音视频通话类型时，所述基于所述第一语音业务类型对应的录音通道，采集所述第一语音业务类型的语音数据，包括：

通过所述第二应用，基于所述音视频通话类型对应的录音通道，对音视频通话类型的语音数据进行采集；

通过所述音视频通话模块，调用所述第二应用的读取接口，获取所述第二应用采集的音视频通话类型的语音数据。

3.如权利要求2所述的方法，其特征在于，所述音视频通话模块中包含第一通信单元，所述第二应用中包含第二通信单元；

所述通过所述第二应用，基于所述音视频通话类型对应的录音通道，对音视频通话类型的语音数据进行采集，包括：

通过所述第一通信单元，向所述第二通信单元发送数据获取请求，以使所述第二通信单元基于接收的数据获取请求初始化录音参数，并基于所述初始化录音参数，从所述音视频通话类型对应的录音通道采集语音数据。

4.如权利要求2或3所述的方法，其特征在于，所述第一录音请求是所述音视频通话模块检测到音视频通话指令后发送的。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

向至少一个第一录音模块发送第一控制指令，以使所述至少一个第一录音模块不使用相应的录音通道采集语音数据；其中，所述至少一个第一录音模块对应的语音业务类型的优先级低于所述第一语音业务类型的优先级。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

接收所述第一语音业务类型对应的录音完成指令，向所述至少一个第一录音模块发送第二控制指令，以使所述至少一个第一录音模块恢复对相应的录音通道的使用状态。

7.如权利要求1、5-6中任一项所述的方法，其特征在于，应用于第一应用，所述第一应用中包含近场语音模块；

所述确定所述第一录音请求对应的第一语音业务类型，包括：

当确定所述第一录音请求是所述近场语音模块检测到语音按键事件后发送的时，判定所述第一语音业务类型为近场语音业务类型。

8.如权利要求1、5-6中任一项所述的方法，其特征在于，应用于第一应用，所述第一应用中包含远场语音模块，所述远场语音模块在开机时进入监听状态；

所述确定所述第一录音请求对应的第一语音业务类型，包括：

当确定所述第一录音请求是所述远场语音模块经对应的录音通道监听到第一唤醒词后发送的时，判定所述第一语音业务类型为远场语音业务类型。

9.如权利要求1所述的方法，其特征在于，语音业务类型包括近场语音业务类型、远场语音业务类型和音视频通话类型，所述近场语音业务类型的优先级高于所述远场语音业务类型的优先级，所述远场语音业务类型的优先级高于所述音视频通话类型的优先级。

10.如权利要求9所述的方法，其特征在于，当所述第一语音业务类型为音视频通话类型，且所述语音数据中包含第二唤醒词时，所述方法还包括：

向所述第一语音业务类型对应的音视频通话模块发送第三控制指令，以使所述音视频通话模块停止使用所述音视频通话类型对应的录音通道采集语音数据；以及，

向基于所述第二唤醒词唤醒的远场语音模块发送允许录音指令，以使所述远场语音模块通过所述远场语音业务类型对应的录音通道采集语音数据。

11.一种智能播放装置，其特征在于，包括：

响应模块，用于响应于第一录音请求，确定所述第一录音请求对应的第一语音业务类型；

采集模块：用于若当前不存在已授权的目标语音业务类型，或所述第一语音业务类型的优先级高于当前已授权的目标语音业务类型的优先级，则允许所述第一录音请求，并基于所述第一语音业务类型对应的录音通道，采集所述第一语音业务类型的语音数据。

Images