CN112449050A - 语音交互方法、语音交互设备、计算设备和存储介质 - Google Patents

Abstract

本发明公开了一种语音交互方法、语音交互设备、计算设备和存储介质。在智能设备上的应用与第一设备之间建立连接，第一设备具有音频输入和/或输出功能，或者第一设备能够连接到具有音频输入和/或输出功能的第二设备；应用通过上述连接，从第一设备接收输入音频数据，和/或向第一设备发送输出音频数据；以及应用基于输入音频数据，实现语音交互，得到输出音频数据。由此，使得第一设备或第二设备具有语音交互功能。

Description

语音交互方法、语音交互设备、计算设备和存储介质

技术领域

本公开涉及人机交互领域，特别涉及语音交互领域。

背景技术

随着科学技术的日益进步，设备产品的功能日益强大，为人们生活、工作提供了诸多便利。然而在这之中，仍然有一些设备的功能尚不完备，需要对进行设备升级或功能扩展，以为设备赋能，使得设备具有相应的功能，例如人机交互功能。

发明内容

本发明要解决的一个技术问题是，提供一种语音交互方案，其能够赋能相关设备，使得该设备例如具有语音交互功能。

根据本公开的第一个方面，提供了一种语音交互方法，包括：在智能设备上的应用与第一设备之间建立连接，第一设备具有音频输入和/或输出功能，或者第一设备能够连接到具有音频输入和/或输出功能的第二设备；应用通过上述连接，从第一设备接收输入音频数据，和/或向第一设备发送输出音频数据；以及应用基于输入音频数据，实现语音交互，得到输出音频数据。

可选地，可以响应于应用与第一设备之间建立连接，关闭智能设备的音频输入和/或输出功能。

可选地，连接可以是蓝牙连接。

可选地，可以基于私有协议在应用与第一设备之间建立连接，可以基于私有协议，从第一设备接收输入音频数据，和/或向第一设备发送输出音频数据。

可选地，实现语音交互的步骤可以包括：智能设备上的应用与服务器进行通信。

可选地，响应于应用与第一设备之间建立连接，向服务器发送第一设备的加密后的属性信息，以便在服务器进行鉴权校验；响应于从服务器接收到鉴权校验未通过的信息，强制断开应用与第一设备之间的连接。

可选地，属性信息可以是使用本地密钥加密的属性信息。

可选地，该语音交互功能还可以包括：应用从服务器接收交互事件和/或数据内容，并相应执行事件和/或播报数据内容。

可选地，响应于同时到达的多个事件和/或数据内容，可以基于预定的优先级执行事件和/或播报数据内容。

可选地，通话事件的优先级可以高于导航事件和/或内容播放事件的优先级；并且/或者导航事件的优先级可以高于内容播放事件的优先级。

可选地，该语音交互方法还可以包括：第一设备进行音频采集；第一设备对所采集到的音频进行检测；响应于判定达到触发条件，向智能设备的应用发送音频数据。

根据本公开的第二个方面，还提供了一种语音交互设备，包括：连接模块，在智能设备上的应用与第一设备之间建立连接，第一设备具有音频输入和/或输出功能，或者第一设备能够连接到具有音频输入和/或输出功能的第二设备，应用通过上述连接，从第一设备接收输入音频数据，和/或向第一设备发送输出音频数据；以及交互模块，基于输入音频数据，实现语音交互，得到输出音频数据。

根据本发明的第三个方面，提供了一种语音交互方法，由第一设备执行，该方法包括：与智能设备上的应用建立第一连接；与具有音频输入和/或输出功能的第二设备建立第二连接；经由第一连接从智能设备的应用接收输出音频数据，并经由第二连接向第二设备发送输出音频数据；并且/或者经由第二连接从第二设备接收输入音频数据，并经由第一连接向智能设备的应用发送输入音频数据。

根据本发明的第四个方面，提供了一种用于语音交互的第一设备，包括：第一连接模块，用于与智能设备上的应用建立第一连接；第二连接模块，用于与具有音频输入和/或输出功能的第二设备建立第二连接；处理模块，用于经由第一连接从智能设备的应用接收输出音频数据，并经由第二连接向第二设备发送输出音频数据；并且/或者经由第二连接从第二设备接收输入音频数据，并经由第一连接向智能设备的应用发送输入音频数据。

根据本发明的第五个方面，提供了一种语音交互系统，包括第一设备和第二设备，第一设备与智能设备上的应用建立连接；第一设备连接到第二设备，第二设备具有音频输入和/或输出功能；第一设备从第二设备接收输入音频数据，并向智能设备上的应用发送输入音频数据，并且/或者从智能设备的应用接收输出音频数据，并向第二设备发送输出音频数据。

可选地，第二设备可以是车载收音机或车载音响。

根据本公开的第六个方面，还提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

根据本公开的第七个方面，还提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本方案能够赋能第一设备或与其连接的第二设备，使得该第一设备或第二设备具有语音交互功能。并且，对于满足本公开的私有协议接入要求的第一/第二设备，能够进行设备升级，使得该设备具有语音交互功能。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据公开一个实施例的语音交互系统的示意图。

图2示出了根据本公开一个实施例的语音交互方法的流程示意图。

图3示出了根据本公开一个实施例的语音交互设备300的示意图。

图4示出了根据本公开一个实施例的第一设备110的示意图。

图5示出了根据本发明一实施例可用于实现上述语音交互方法的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本公开提出了一种语音交互方案，通过该语音交互方案，能够为相关设备(例如蓝牙设备)赋能，使得该相关设备具有语音交互的功能。

本公开的语音交互过程可以是基于智能设备上的应用执行的。该应用通过与需要被进行处理的相关设备进行连接，并能够通过与该相关设备进行数据交互，并向该相关设备发送经过处理后的数据，从而使得相关设备具有语音交互功能。

为了便于对本公开中涉及的多个设备进行区分，在下文描述中，将上述需要被进行处理的相关设备称为“第一设备”，将与该“第一设备”相连接的其它设备分别称为“第二设备”、“第三设备”等，下文将不再赘述。

下面将结合附图及实施例详细说明本公开的语音交互方案。

本公开的语音交互方案还可以实现为一种语音交互系统。

图1示出了根据公开一个实施例的语音交互系统的示意图。

如图1所示，该语音交互系统100例如可以包括第一设备110、智能设备120以及服务器130。

第一设备110与智能设备120之间、智能设备120与服务器130之间分别可以建立通信连接，并可以基于所建立的连接实现数据交互。

在一个实施例中，该第一设备110例如可以蓝牙设备。第一设备110与智能设备120之间可以基于蓝牙设备建立连接。智能设备120与服务器130之间可以使用长连接通道建立连接。

第一设备110可以具有音频输入和/或输出功能，例如蓝牙音箱或蓝牙耳机，能够进行音频采集和/或向外播报音频数据。

或者，参见图1所示，该第一设备110例如能够连接到具有音频输入和/或输出功能的第二设备140，并经由该第二设备140实现上述音频输入和/或输出功能。这种情况下，例如第二设备可以是车载音响，第一设备110可以是蓝牙连接设备(例如蓝牙连接线材)，一方面通过蓝牙通信与智能设备120连接，另一方面与车载音响建立音频连接(例如通过AUX接口)。或者，第二设备可以是车载收音机，第一设备110可以是蓝牙连接设备，一方面通过蓝牙通信与智能设备120连接，另一方面通过FM信号向车载收音机发送音频数据。

图4示出了可以连接在智能设备120和第二设备140之间的第一设备110的示意性框图。

第一连接模块410与智能设备120上的应用建立第一连接.第二连接模块430与具有音频输入和/或输出功能的第二设备建立第二连接。

处理模块420经由第一连接从智能设备的应用接收输出音频数据，并经由第二连接向第二设备发送输出音频数据。

或者，处理模块420经由第二连接从第二设备接收输入音频数据，并经由第一连接向智能设备的应用发送输入音频数据。

返回图1，智能设备120可以是任何合适的终端设备，优选可以为便携式移动设备，例如智能电话、平板电脑等。

基于所建立的连接，第一设备110能够向智能设备120提供输入音频数据。该智能设备120能够基于所接收到的输入音频数据实现语音交互，得到输出音频数据。或者，智能设备120能够向服务器发送输入音频数据以便服务器进行语音交互处理。该智能设备120还能够将所得到的输出音频数据发送给第一设备110，从而实现语音交互。

在一个实施例中，智能设备120上可以安装有预定应用程序(APP)。可以通过该应用程序分别建立与第一设备120和服务器130之间的连接，并实现上述语音交互。其中，该应用可以是能够提供语音交互处理功能的相关应用。该应用也可以是与预定设备或预定产品关联的应用，本公开对此不做限制。

第一设备110与智能设备120或智能设备120上的应用之间的连接可以通过多种方式实现。例如，可以是有线连接，也可以是无线连接。连接方式包括但不限于蓝牙连接、基于私有协议的连接、USB数据线连接等。

在一个实施例中，第一设备110可以具有蓝牙模块，智能设备120上的应用也可以内置蓝牙模块，该应用的蓝牙模块与第一设备110的蓝牙模块之间可以建立蓝牙连接，并基于该蓝牙连接实现数据交互。

在一个实施例中，第一设备110和智能设备120上的应用均例如可以满足私有协议的接入要求。其中，可以基于私有协议在所述应用与所述第一设备110之间建立上述连接。并且，基于所述私有协议，应用可以从所述第一设备接收输入音频数据，并向所述第一设备发送输出音频数据。

应当理解的是，上述是对连接方式的举例而非任何限定。在本公开实施例中，智能设备上的应用与第一设备之间也可以通过其它方式建立连接，本公开对其连接方式不做限制。

智能设备120，例如可以是智能设备上的应用内置的语音模块可以与服务器130之间可以使用长连接通道建立连接，并实现数据交互。其中，该语音模块可以具有处理功能，其例如可以基于来自第一设备的输入音频数据进行语音唤醒、降噪、连接网络等处理，在此不再赘述。

为保障第一设备的安全性，在上述语音交互过程中，例如还可以对第一设备110进行鉴权校验。其中，该鉴权校验可以在服务器130实现。

具体地，响应于应用与第一设备之间建立连接，第一设备110可以通过本地密钥(secret key)加密属性信息，并将使用本地密钥加密后的属性信息发送给应用。

应用可以向服务器130发送第一设备加密后的属性信息，以便在服务器进行鉴权校验。

服务器130可以基于接收到的属性信息进行鉴权校验。

在鉴权校验成功的情况下，第一设备110、智能设备120上的应用、服务器130三者之间可以基于其连接流式传递数据，以实现语音交互。

在鉴权校验未成功的情况下，服务器130可以向应用发送鉴权校验未通过的信息。响应于从服务器接收到鉴权校验未通过的信息，应用可以强制断开其与第一设备110之间的连接。

在上述语音交互的过程中，第一设备110可以进行音频采集，并能够对所采集到的音频进行检测，其中，响应于判定达到触发条件，可以向所述智能设备120的应用发送音频数据。

上述触发条件例如可以是唤醒条件。

第一设备110可以基于预定唤醒算法对所采集的音频进行检测，并在例如检测到唤醒词等触发条件的情况下，继续进行音频采集，并基于其与应用之间的连接，向应用传输所采集的输入音频数据。

应用(例如其语音模块)可以通过其与网关之间的长连接通道向服务器130流式传输上述输入音频数据，以便服务器130侧进行自动语音识别(ASR)和/或自然语言理解(NLU)等处理，并向应用返回和/或交互事件和/或数据内容(包括语音合成结果(TTS)或其它音频数据)。

应用可以从服务器130接收交互事件和/或数据内容，并相应执行所述事件和/或播报所述数据内容。

其中，应用例如可以根据事件决定播报数据内容还是进行人机交互(UI交互)。

在一个实施例中，上述事件和/或数据内容可以具有其相应的执行等级或播报等级或优先级。

其中，应用可以响应于同时到达的多个事件和/或数据内容，基于预定的优先级执行事件和/或播报数据内容。例如，通话事件的优先级可以高于导航事件和/或内容播放事件的优先级，导航事件的优先级可以高于内容播放事件的优先级。

至此，已经结合图1描述了本公开的语音交互方案。通过上述语音交互方案，能够赋能相关设备(例如第一设备或第二设备)，使得该设备具有语音交互功能。

在实际应用中，上述第一设备例如也可以是蓝牙硬件或是满足私有协议接入要求的设备，该第一设备还能够被配置在或连接于具有音频输入和/或输出功能的设备(例如如前所述的第二设备)上，从而使得该设备具有语音交互功能。换言之，在能够与智能设备进行交互的第一设备的协助下，使得原本不能直接与智能设备对接以实现语音交互的第二设备也能够用于实现语音交互功能。

本公开上述的语音交互方案尤其适用于在产品过渡阶段或者对设备的功能扩展使用，为不具有语音交互功能的设备赋能，从而使其具有语音交互功能。

本公开的语音交互方案可以实现为一种语音交互方法。该语音交互方法可以由一种语音交互设备实现。

图2示出了根据本公开一个实施例的语音交互方法的流程示意图。图3示出了根据本公开一个实施例的语音交互设备300的示意图。

如图2所示，在步骤S210，例如可以由图3所示的连接模块310，在智能设备上的应用与第一设备之间建立连接。其中，所述第一设备具有音频输入和/或输出功能，或者所述第一设备能够连接到具有音频输入和/或输出功能的第二设备。

在步骤S220，例如可以由图3所示的连接模块310，所述应用通过所述连接，从所述第一设备接收输入音频数据，和/或向所述第一设备发送输出音频数据。

在步骤S230，例如可以由图3所示的交互模块320，基于输入音频数据，实现语音交互，得到输出音频数据。

上述语音交互设备和/或语音交互方法中，所涉及的实现细节可参见上文的相关描述，在此不再赘述。

由此，通过本公开的语音交互方案，对满足私有协议接入要求的设备，进行设备升级和/或功能扩展，使得该设备具备语音交互功能。

图5示出了根据本发明一实施例可用于实现上述语音交互方法的计算设备的结构示意图。

参见图5，计算设备500包括存储器510和处理器520。

处理器520可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器520可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器520可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器510可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器520或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器510可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器510可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器510上存储有可执行代码，当可执行代码被处理器520处理时，可以使处理器520执行上文述及的语音交互方法。

上文中已经参考附图详细描述了根据本发明的语音交互方案。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (18)

1.一种语音交互方法，其特征在于，包括：

在智能设备上的应用与第一设备之间建立连接，所述第一设备具有音频输入和/或输出功能，或者所述第一设备能够连接到具有音频输入和/或输出功能的第二设备；

所述应用通过所述连接，从所述第一设备接收输入音频数据，和/或向所述第一设备发送输出音频数据；以及

所述应用基于输入音频数据，实现语音交互，得到输出音频数据。

2.根据权利要求1所述的语音交互方法，其特征在于，

响应于所述应用与第一设备之间建立连接，关闭所述智能设备的音频输入和/或输出功能。

3.根据权利要求2所述的语音交互方法，其特征在于，

所述连接是蓝牙连接。

4.根据权利要求1所述的语音交互方法，其特征在于，

基于私有协议在所述应用与所述第一设备之间建立所述连接，

基于所述私有协议，从所述第一设备接收所述输入音频数据，和/或向所述第一设备发送输出音频数据。

5.根据权利要求1所述的语音交互方法，其特征在于，所述实现语音交互的步骤包括：

所述智能设备上的应用与服务器进行通信。

6.根据权利要求5所述的语音交互方法，其特征在于，

响应于所述应用与第一设备之间建立连接，向服务器发送第一设备的加密后的属性信息，以便在所述服务器进行鉴权校验；

响应于从所述服务器接收到鉴权校验未通过的信息，强制断开所述应用与第一设备之间的所述连接。

7.根据权利要求6所述的语音交互方法，其特征在于，

所述属性信息是使用本地密钥加密的属性信息。

8.根据权利要求5所述的语音交互方法，其特征在于，还包括：

所述应用从所述服务器接收交互事件和/或数据内容，并相应执行所述事件和/或播报所述数据内容。

9.根据权利要求8所述的语音交互方法，其特征在于，

响应于同时到达的多个事件和/或数据内容，基于预定的优先级执行事件和/或播报数据内容。

10.根据权利要求9所述的语音交互方法，其特征在于，

通话事件的优先级高于导航事件和/或内容播放事件的优先级；并且/或者

导航事件的优先级高于内容播放事件的优先级。

11.根据权利要求1所述的语音交互方法，其特征在于，还包括：

所述第一设备进行音频采集；

所述第一设备对所采集到的音频进行检测；

响应于判定达到触发条件，向所述智能设备的所述应用发送音频数据。

12.一种语音交互设备，其特征在于，包括：

连接模块，在智能设备上的应用与第一设备之间建立连接，所述第一设备具有音频输入和/或输出功能，或者所述第一设备能够连接到具有音频输入和/或输出功能的第二设备，所述应用通过所述连接，从所述第一设备接收输入音频数据，和/或向所述第一设备发送输出音频数据；以及

交互模块，基于输入音频数据，实现语音交互，得到输出音频数据。

13.一种语音交互方法，其特征在于，由第一设备执行，该方法包括：

与智能设备上的应用建立第一连接；

与具有音频输入和/或输出功能的第二设备建立第二连接；

经由所述第一连接从所述智能设备的所述应用接收输出音频数据，并经由所述第二连接向所述第二设备发送所述输出音频数据；并且/或者经由所述第二连接从第二设备接收输入音频数据，并经由所述第一连接向所述智能设备的所述应用发送所述输入音频数据。

14.一种用于语音交互的第一设备，其特征在于，包括：

第一连接模块，用于与智能设备上的应用建立第一连接；

第二连接模块，用于与具有音频输入和/或输出功能的第二设备建立第二连接；

处理模块，用于经由所述第一连接从所述智能设备的所述应用接收输出音频数据，并经由所述第二连接向所述第二设备发送所述输出音频数据；并且/或者经由所述第二连接从第二设备接收输入音频数据，并经由所述第一连接向所述智能设备的所述应用发送所述输入音频数据。

15.一种语音交互系统，其特征在于，包括第一设备和第二设备，

所述第一设备与智能设备上的应用建立连接；

所述第一设备连接到第二设备，第二设备具有音频输入和/或输出功能；

所述第一设备从所述第二设备接收输入音频数据，并向所述智能设备上的所述应用发送所述输入音频数据，并且/或者从所述智能设备的所述应用接收输出音频数据，并向所述第二设备发送所述输出音频数据。

16.根据权利要求15所述的语音交互系统，其特征在于，

所述第二设备是车载收音机或车载音响。

17.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至11、13中任何一项所述的方法。

18.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至11、13中任一项所述的方法。

Images