CN114120964A

CN114120964A - 语音交互方法及其装置、电子设备和可读存储介质

Info

Publication number: CN114120964A
Application number: CN202111301724.6A
Authority: CN
Inventors: 郭华鹏; 张岩
Original assignee: Guangzhou Xiaopeng Motors Technology Co Ltd
Current assignee: Guangzhou Xiaopeng Motors Technology Co Ltd
Priority date: 2021-11-04
Filing date: 2021-11-04
Publication date: 2022-03-01
Anticipated expiration: 2041-11-04
Also published as: CN114120964B; WO2023078199A1

Abstract

本申请公开了一种语音交互方法及其装置、电子设备和可读存储介质。该语音交互方法包括：在车辆处于网络连接正常状态的情况下，获取车辆处于网络连接异常状态时，根据第一音频文件进行语音播报对应存储的离线内容；根据离线内容发送第一语音合成请求至服务器，以使服务器根据第一语音合成请求生成第二音频文件；在车辆处于网络连接正常状态的情况下，接收服务器返回的第二音频文件并缓存第二音频文件至本地客户端，以使车辆再次处于网络连接异常状态且进行相应语音播报的情况下，根据本地缓存的第二音频文件进行语音播报。本申请可以在第二次或第二次以上的网络连接异常状态时可以得到云端高质量播报内容，离线播报的音色质量更好，用户体验佳。

Description

语音交互方法及其装置、电子设备和可读存储介质

技术领域

本申请涉及语音技术领域，特别涉及一种语音交互方法及其装置、电子设备和可读存储介质。

背景技术

用户在某些场景处于无网络连接的情况下，用户的TTS(Text To Speech，从文本到语音)播报内容，无法将TTS文本内容传输到云端，以至于无法得到云端高质量播报内容，而离线播报的音色较差，影响用户体验。

发明内容

本申请实施方式提供一种语音交互方法及其装置、电子设备和可读存储介质。

本申请实施方式提供一种语音交互方法，其特征在于，包括：在车辆处于网络连接正常状态的情况下，获取所述车辆处于网络连接异常状态时，根据第一音频文件进行语音播报对应存储的离线内容；根据所述离线内容发送第一语音合成请求至服务器，以使所述服务器根据所述第一语音合成请求生成第二音频文件；在车辆处于网络连接正常状态的情况下，接收所述服务器返回的所述第二音频文件并缓存所述第二音频文件至本地客户端，以使所述车辆再次处于网络连接异常状态且进行相应语音播报的情况下，根据本地缓存的所述第二音频文件进行语音播报。

如此，本申请的语音交互方法可以在第二次或第二次以上的网络连接异常状态时可以得到云端高质量播报内容，离线播报的音色质量更好，用户体验佳。

在所述在车辆处于网络连接正常状态的情况下，获取所述车辆处于网络连接异常状态时，根据第一音频进行语音播报对应存储的离线内容之前，所述语音交互方法包括：确定用户语音请求对应的语音文本；在所述车辆处于网络连接异常状态，且所述本地客户端不存在所述语音文本对应的第二音频文件的情况下，根据本地语音库离线合成所述第一音频文件；根据所述第一音频文件进行语音播报并存储对应的所述离线内容。

如此，本申请的语音交互方法是在车辆处于第一次网络连接异常状态时就可以合成第一音频文件，并根据第一音频文件进行语音播报并存储对应的离线内容，从而可以为在除第一次网络连接异常状态外之后的其他网络连接异常状态时能够根据高质量的第二音频文件进行语音播报奠定了基础。

所述语音交互方法包括：在所述车辆处于网络连接异常状态，且所述本地客户端存在所述语音文本对应的第二音频文件的情况下，从所述本地客户端获取所述语音文本对应的第二音频文件；根据所述语音文本对应的第二音频文件进行语音播报。

如此，本申请的语音交互方法先判断车辆的本地客户端是否已经存在语音文本对应的第二音频文件，可以避免不必要的重复获取第二音频文件的工作，提升语音播报的效率。

所述语音交互方法包括：在所述车辆处于网络连接正常状态的情况下，根据所述语音文本发送第二语音合成请求至服务器，以使所述服务器根据所述第二语音合成请求生成第二音频文件；接收所述服务器返回的所述第二音频文件以进行语音播报。

如此，本申请的语音交互方法可以在网络状况良好的情况下，可以直接根据第二音频文件进行语音播报。

所述语音交互方法包括：在缓存所述第二音频文件至本地客户端之后，删除对应的所述离线内容。

如此，本申请的语音交互方法可以减轻离线数据管理模块的容量负荷，能够为下一次获取的新的离线内容腾出存储空间。

所述语音交互方法包括：所述在所述第二音频文件满足预设条件时，执行音频文件的缓存淘汰策略。

如此，本申请的本地客户端可以缓存更多新的第二音频文件，用户体验更好。

所述执行音频文件的缓存淘汰策略包括：根据最近最少使用原则和预设过期时间，对所述第二音频文件执行缓存淘汰策略。

本申请还提供一种语音交互装置。所述语音交互装置包括获取模块、离线数据管理模块和控制模块。所述获取模块用于在车辆处于网络连接正常状态的情况下，获取所述车辆处于网络连接异常状态时，根据第一音频文件进行语音播报对应存储的离线内容；所述离线数据管理模块用于根据所述离线内容发送第一语音合成请求至服务器，以使所述服务器根据所述第一语音合成请求生成第二音频文件；所述控制模块用于在车辆处于网络连接正常状态的情况下，接收所述服务返回的所述第二音频并缓存所述第二音频至本地客户端，以使所述车辆再次处于网络连接异常状态且进行相应语音播报的情况下，根据本地缓存的所述第二音频进行语音播报。

如此，本申请的语音交互装置可以在第二次或第二次以上的网络连接异常状态时可以得到云端高质量播报内容，离线播报的音色质量更好，用户体验佳。

本申请还提供一种电子设备。所述电子设备包括处理器和存储器，所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现上述任意一项实施方式所述的语音交互方法。

如此，本申请的电子设备可以在第二次或第二次以上的网络连接异常状态时可以得到云端高质量播报内容，离线播报的音色质量更好，用户体验佳。

本申请实施方式还提供一种包含有计算机程序的非易失性计算机可读存储介质。当所述计算机程序被一个或多个处理器执行时，实现上述任意一项实施方式所述的语音交互方法。

如此，本申请的可读存储介质可以在第二次或第二次以上的网络连接异常状态时可以得到云端高质量播报内容，离线播报的音色质量更好，用户体验佳。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请的语音交互方法的流程示意图；

图2是本申请的语音交互装置的结构示意图；

图3是本申请的语音交互方法的场景示意图；

图4是本申请的语音交互方法的流程示意图；

图5是本申请的语音交互装置的结构示意图；

图6是本申请的语音交互方法的流程示意图；

图7是本申请的语音交互装置的结构示意图；

图8是本申请的语音交互方法的流程示意图；

图9是本申请的语音交互方法的流程示意图；

图10是本申请的语音交互装置的结构示意图；

图11是本申请的语音交互方法的流程示意图；

图12是本申请的语音交互方法的流程示意图；

图13是本申请的电子设备的结构示意图；

图14是本申请的计算机可读存储介质的结构示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

目前，用户在某些场景永远处于没网的情况下，其中，某些场景例如用户处于地下车库或者隧道等没网的场景，用户的TTS播报内容，无法将TTS文本内容传输到云端，以至于无法得到云端高质量播报内容，离线播报的音色，音色较差，影响用户体验。

为了解决上述问题，请参阅图1，本申请提供了一种语音交互方法。该语音交互方法包括：

02：在车辆处于网络连接正常状态的情况下，获取车辆处于网络连接异常状态时，根据第一音频文件进行语音播报对应存储的离线内容；

04：根据离线内容发送第一语音合成请求至服务器，以使服务器根据第一语音合成请求生成第二音频文件；

06：在车辆处于网络连接正常状态的情况下，接收服务器返回的第二音频文件并缓存第二音频文件至本地客户端，以使车辆再次处于网络连接异常状态且进行相应语音播报的情况下，根据本地缓存的第二音频文件进行语音播报。

请参阅图2，本申请还提供一种语音交互装置10。语音交互装置10包括：离线数据管理模块12和播报模块16。语音交互装置10可以设置在车辆内部，也可以与车辆外接设置。

步骤01和步骤02可以由离线数据管理模块12实现，步骤03可以由控制模块16实现。也即是说，离线数据管理模块12用于在车辆处于网络连接正常状态的情况下，获取车辆处于网络连接异常状态时，根据第一音频文件进行语音播报对应存储的离线内容；根据离线内容发送第一语音合成请求至服务器，以使服务器根据第一语音合成请求生成第二音频文件；控制模块16用于在车辆处于网络连接正常状态的情况下，接收服务器返回的第二音频文件并缓存第二音频文件至本地客户端，以使车辆再次处于网络连接异常状态且进行相应语音播报的情况下，根据本地缓存的第二音频文件进行语音播报。

可以理解地，在车辆处于网络连接正常状态的情况下，若用户输入语音指令“打开车窗”，在控制车窗打开后，基于TTS(Text To Speech，从文本到语音)方式获得回复文本数据“好的，已为您打开”，根据回复文本数据“好的，已为您打开”查找服务器中与回复文本数据“好的，已为您打开”相应的目标音频文件。该目标音频文件用于发送至车辆端，以供车辆端播放。车辆可以是车载大屏等可以进行语音交互的设备。

然而若在车辆处于隧道内或地下车库时，车辆的网络状态为网络连接异常状态，在此时，若用户输入语音指令“打开车窗”，则无法将回复文本数据“好的，已为您打开”上传到云端服务器合成高质量的音频文件，从而不能在车辆端播放高质量音频。

有鉴于此，本申请的语音交互方法可以对播放音频进行异步补救。具体的异步补救方式为，请参阅图3，首先，本申请的语音交互方法在车辆处于网络连接正常状态的情况下，离线数据管理模块12可以获取车辆处于网络连接异常状态时，根据第一音频文件进行语音播报对应存储的离线内容。

其中，网络连接正常状态可以是车辆刚出隧道后的第一次网络连接正常状态，或者车辆刚出地下车库后的第一次网络连接正常状态。此时，第一音频文件指的是网络连接异常状态时语音交互终端中根据的回复文本数据“好的，已为您打开”在本地离线合成相应的目标音频文件，语音播报对应的离线内容为“好的，已为您打开”，此时播报的离线内容的音色由于网络异常可能不是很清晰，音色较差。

然后，离线数据管理模块12再根据该离线内容“好的，已为您打开”发送第一语音合成请求至云端的服务器，由于此时网络为正常状态，因此，云端的服务器可以接收离线数据管理模块11发送的该第一语音合成请求。

之后，云端的服务器可以根据该第一语音合成请求生成第二音频文件，第二音频文件为回复文本“好的，已为您打开”对应的高质量的音频文件。即，第二音频文件是比第一音频文件音色等质量更高的音频文件。第二音频文件也可以存储在云端的服务器

最后，车辆端的控制模块16可以在网络状态正常时接收服务器返回的第二音频文件并缓存第二音频文件至客户端，使得车辆再次处于网络连接异常状态且进行相应语音播报的情况下，可以根据本地缓存的第二音频文件进行语音播报。

综上，本申请的语音交互方法及其装置可以在第二次或第二次以上的网络连接异常状态时可以得到云端高质量播报内容，离线播报的音色质量更好，用户体验佳。

请参阅图4，在步骤02之前，语音交互方法包括：

011：确定用户语音请求对应的语音文本；

012：在车辆处于网络连接异常状态，且本地客户端不存在语音文本对应的第二音频文件的情况下，根据本地语音库离线合成第一音频文件；

013：根据第一音频文件进行语音播报并存储对应的离线内容。

请结合图5，语音交互装置10还包括文本确定模块111、音频文件合成模块112和存储模块113。

步骤011可以由文本确定模块111实现，步骤012可以由音频文件合成模块112实现，步骤013可以由播报模块113实现。也即是说，文本确定模块111用于确定用户语音请求对应的语音文本；音频文件合成模块112用于在车辆处于网络连接异常状态，且本地客户端不存在语音文本对应的第二音频文件的情况下，根据本地语音库离线合成第一音频文件；播报模块113用于根据第一音频文件进行语音播报并存储对应的离线内容。

具体地，用户语音请求可以指的是用户语音指令“打开车窗”的操作，确定模块111确定用户语音请求对应的语音文本，即根据语音指令“打开车窗”确定的语音文本。

在车辆处于网络连接异常状态时，可以先判断车辆的本地客户端是否存在语音文本对应的第二音频文件，在车辆的本地客户端不存在语音文本对应的第二音频文件的情况下，音频文件合成模块112根据本地语音库离线合成第一音频文件。

之后，播报模块113可以根据第一音频文件进行语音播报并存储对应的离线内容。

也即是说，本申请的语音交互方法是在车辆处于第一次网络连接异常状态时就可以合成第一音频文件，并根据第一音频文件进行语音播报并存储对应的离线内容，从而可以为在除第一次网络连接异常状态外之后的其他网络连接异常状态时能够根据高质量的第二音频文件进行语音播报奠定了基础。

请参阅图6，语音交互方法包括：

014：在车辆处于网络连接异常状态，且本地客户端存在语音文本对应的第二音频文件的情况下，从本地客户端获取语音文本对应的第二音频文件；

015：根据语音文本对应的第二音频文件进行语音播报。

请结合图7，语音交互装置10包括判断模块114。

请结合图2，步骤014可以由判断模块114实现，步骤015可以由播报模块16实现。也即是说，判断模块114用于在车辆处于网络连接异常状态，且本地客户端存在语音文本对应的第二音频文件的情况下，从本地客户端获取语音文本对应的第二音频文件；播报模块16用于根据语音文本对应的第二音频文件进行语音播报。

具体地，在车辆处于网络连接异常状态时，可以先根据判断模块114判断车辆的本地客户端是否存在语音文本对应的第二音频文件，在本地客户端存在语音文本对应的第二音频文件的情况下，从本地客户端获取语音文本对应的第二音频文件，然后根据播报模块根据语音文本对应的第二音频文件进行语音播报。

可以理解地，先判断车辆的本地客户端是否已经存在语音文本对应的第二音频文件，可以避免不必要的重复获取第二音频文件的工作，提升语音播报的效率。

请参阅图8，语音交互方法包括：

016：在车辆处于网络连接正常状态的情况下，根据语音文本发送第二语音合成请求至服务器，以使服务器根据第二语音合成请求生成第二音频文件；

017：接收服务器返回的第二音频文件以进行语音播报。

请参阅图5，步骤016可以由音频文件合成模块112实现，步骤017可以由存储模块113实现。也即是，音频文件合成模块112用于在车辆处于网络连接正常状态的情况下，根据语音文本发送第二语音合成请求至服务器，以使服务器根据第二语音合成请求生成第二音频文件；存储模块113用于接收服务返回的第二音频文件以进行语音播报。

具体地，在车辆处于网络连接正常状态的情况下，根据语音文本发送第二语音合成请求至服务器，此时的第二语音合成请求不是由离线数据管理模块12发送的合成请求，而是直接由车辆的本地客户端直接发送的第二语音合成请求，从而直接生成高质量的第二音频文件。

也即是说，本申请的语音交互方法可以在网络状况良好的情况下，可以直接根据第二音频文件进行语音播报。

此外，在根据第二音频文件进行语音播报的同时还可以缓存播报的第二音频文件至本地客户端，以备下一次网络异常的时候使用。

请参阅图9，语音交互方法包括：

08：在缓存第二音频文件至本地客户端之后，删除对应的离线内容。

请结合图10，语音交互装置10包括删除模块18。

步骤08可以由删除模块18实现，也即是说，删除模块18用于在缓存第二音频文件至本地客户端之后，删除对应的离线内容。

具体地，删除模块18在缓存第二音频文件至本地客户端后，删除离线数据管理模块12中对应的离线内容，可以减轻离线数据管理模块的容量负荷，能够为下一次获取的新的离线内容腾出存储空间。

请参阅图11，语音交互方法包括：

09：在第二音频文件满足预设条件时，执行音频文件的缓存淘汰策略。

请结合图10，步骤09可以由删除模块18实现，也即是说，删除模块18用于在第二音频文件满足预设条件时，执行音频文件的缓存淘汰策略。

具体地，预设条件可以为本地客户端设定的第二音频文件的容量为预定数量的情况，预定数量可以为本地客户端默认设置的数值，也可以是用户自行设定的数值。

可以理解地，由于本地客户端的缓存有容量限制，若本地客户端中缓存的第二音频文件的容量，根据缓存淘汰策略删除掉部分第二音频文件。如此，本地客户端可以缓存更多新的第二音频文件，用户体验更好。

请参阅图12，步骤09包括：

091：根据最近最少使用原则和预设过期时间，对第二音频文件执行缓存淘汰策略。

请结合图10，步骤091可以由删除模块18实现，也即是说，删除模块18用于根据最近最少使用原则和预设过期时间，对第二音频文件执行缓存淘汰策略。

也即是，缓存淘汰策略可以为基于最近最少使用(Least Recently Used，LRU)原则的淘汰策略。

预设过期时间可以为本地客户端设定的第二音频文件的过期时间，例如预设过期时间为1个月，在1个月以后就可以根据缓存淘汰策略删除掉该过期的第二音频文件。若后续车辆再次出现语音交互时离线的情况，则再次异步补救，所产生的第二音频文件则可以再在本地客户端存储1个月。

综上，根据最近最少使用原则和预设过期时间，对第二音频文件执行缓存淘汰策略。如此，本地客户端可以缓存更多新的第二音频文件，用户体验更好。

请参阅图13，本申请还提供一种电子设备20。该电子设备20包括处理器21和存储器22，存储器22上存储有计算机程序221，当计算机程序221被处理器21执行时，实现上述任意一个实施例中所述的语音交互方法。电子设备20可以指的是任意类型的车辆车辆、手机、平板电脑等其他具有语音交互功能的设备。

本申请的电子设备可以在第二次或第二次以上的网络连接异常状态时可以得到云端高质量播报内容，离线播报的音色质量更好，用户体验佳。

请参阅图14，本申请还提供一种包含有计算机程序的非易失性计算机可读存储介质30。当计算机程序31被一个或多个处理器40执行时，实现上述任意实施条例的数据处理方法。

例如，计算机程序31被处理器40执行时实现以下数据处理方法的步骤：

02：在车辆处于网络连接正常状态的情况下，获取车辆处于网络连接异常状态时，根据第一音频文件进行语音播报对应的离线内容；

可以理解，计算机程序31包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。

本申请的可读存储介质可以在第二次或第二次以上的网络连接异常状态时可以得到云端高质量播报内容，离线播报的音色质量更好，用户体验佳。

Claims

1.一种语音交互方法，其特征在于，包括：

在车辆处于网络连接正常状态的情况下，获取所述车辆处于网络连接异常状态时，根据第一音频文件进行语音播报对应存储的离线内容；

根据所述离线内容发送第一语音合成请求至服务器，以使所述服务器根据所述第一语音合成请求生成第二音频文件；

在车辆处于网络连接正常状态的情况下，接收所述服务器返回的所述第二音频文件并缓存所述第二音频文件至本地客户端，以使所述车辆再次处于网络连接异常状态且进行相应语音播报的情况下，根据本地缓存的所述第二音频文件进行语音播报。

2.根据权利要求1所述的语音交互方法，其特征在于，在所述在车辆处于网络连接正常状态的情况下，获取所述车辆处于网络连接异常状态时，根据第一音频文件进行语音播报对应存储的离线内容之前，所述语音交互方法包括：

确定用户语音请求对应的语音文本；

在所述车辆处于网络连接异常状态，且所述本地客户端不存在所述语音文本对应的第二音频文件的情况下，根据本地语音库离线合成所述第一音频文件；

根据所述第一音频文件进行语音播报并存储对应的所述离线内容。

3.根据权利要求2所述的语音交互方法，其特征在于，所述语音交互方法包括：

在所述车辆处于网络连接异常状态，且所述本地客户端存在所述语音文本对应的第二音频文件的情况下，从所述本地客户端获取所述语音文本对应的第二音频文件；

根据所述语音文本对应的第二音频文件进行语音播报。

4.根据权利要求2所述的语音交互方法，其特征在于，所述语音交互方法包括：

在所述车辆处于网络连接正常状态的情况下，根据所述语音文本发送第二语音合成请求至服务器，以使所述服务器根据所述第二语音合成请求生成第二音频文件；

接收所述服务器返回的所述第二音频文件以进行语音播报。

5.根据权利要求2所述的语音交互方法，其特征在于，所述语音交互方法包括：

在缓存所述第二音频文件至本地客户端之后，删除对应的所述离线内容。

6.根据权利要求1所述的语音交互方法，其特征在于，所述语音交互方法包括：

所述在所述第二音频文件满足预设条件时，执行音频文件的缓存淘汰策略。

7.根据权利要求6所述的语音交互方法，其特征在于，所述执行音频文件的缓存淘汰策略包括：

根据最近最少使用原则和预设过期时间，对所述第二音频文件执行缓存淘汰策略。

8.一种语音交互装置，包括：

获取模块，所述获取模块用于在车辆处于网络连接正常状态的情况下，获取所述车辆处于网络连接异常状态时，根据第一音频文件进行语音播报对应存储的离线内容；

离线数据管理模块，所述离线数据管理模块用于根据所述离线内容发送第一语音合成请求至服务器，以使所述服务器根据所述第一语音合成请求生成第二音频文件；

控制模块，所述控制模块用于在车辆处于网络连接正常状态的情况下，接收所述服务返回的所述第二音频并缓存所述第二音频至本地客户端，以使所述车辆再次处于网络连接异常状态且进行相应语音播报的情况下，根据本地缓存的所述第二音频进行语音播报。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1-7任一项所述的语音交互方法。

10.一种包含有计算机程序的非易失性计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，实现权利要求1-7任一项所述的语音交互方法。