CN115457943A - 语音识别的播报方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本公开涉及一种语音识别的播报方法、装置、设备及计算机可读存储介质。本公开通过在接收到语音信号后，当网络第一状态为在线状态时，明确了当前的网络状态，对语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义；根据在线语义和离线语义，确定目标语义，在线语义准确度高，离线语义速度快，使得获取的目标语义不仅速度快，而且准确度高；判断网络第二状态，在确定目标语义的情况下，根据网络第二状态可以快速确定语音信号对应的播报内容，提高播报内容的速度和准确度，提升用户体验。

Description

语音识别的播报方法、装置、设备及计算机可读存储介质

技术领域

本公开涉及语音识别技术领域，尤其涉及一种语音识别的播报方法、装置、设备及计算机可读存储介质。

背景技术

语音识别技术是一门交叉学科，涉及到多个技术领域。随着科学的不断进步，语音识别技术的应用范围也越来越广阔。

在不同的网络条件下，语音识别的识别率是不同的。通常情况下，语音在线识别的识别速度比较慢，语音离线识别的准确度比较低。

那么，如何使语音识别的准确度高且速度快成为亟待解决的问题。

发明内容

为了解决上述技术问题，本公开提供了一种语音识别的播报方法、装置、设备及计算机可读存储介质，以提升语义识别的速度和准确度。

第一方面，本公开实施例提供一种语音识别的播报方法，包括：

在接收到语音信号后，基于网络第一状态为在线状态，对所述语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义；

基于所述在线语义和所述离线语义，确定目标语义；

判断网络第二状态，并基于所述网络第二状态、所述目标语义，确定所述语音信号对应的播报内容。

在一些实施例中，所述在接收到语音信号后，基于网络第一状态为在线状态，对所述语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义之前，所述方法还包括：

响应于唤醒指令，判断网络第一状态；

基于所述网络第一状态为在线状态，则语音播报所述在线状态；

基于所述网络第一状态为离线状态，则语音播报所述离线状态。

在一些实施例中，所述基于所述在线语义和所述离线语义，确定目标语义，包括：

判断是否先得到离线语义，且在之后的预设时长内得到在线语义；

若先得到所述离线语义，且在之后的预设时长内得到所述在线语义，则执行所述基于所述在线语义，判断所述语音信号对应的对话状态；并基于所述对话状态、所述在线语义和所述离线语义，确定目标语义。

在一些实施例中，所述基于所述在线语义和所述离线语义，确定目标语义还包括：

若先得到所述在线语义，则确定所述目标语义为所述在线语义；

若先得到所述离线语义，且在之后的预设时长内未得到所述在线语义，则确定所述目标语义为所述离线语义。

在一些实施例中，所述基于基于所述对话状态、所述在线语义和所述离线语义，确定目标语义包括：

基于所述在线语义，判断所述语音信号对应的对话状态；

若所述对话状态为连续对话状态，或者所述对话状态为多轮对话状态的首轮对话，则确定目标语义为所述在线语义；

若所述对话状态为多轮对话状态的非首轮对话，则判断所述离线语义是否命中可见即可说语义，并基于判断结果确定目标语义。

在一些实施例中，所述基于判断结果确定目标语义包括：

若判断结果为所述离线语义命中可见即可说语义，则确定目标语义为所述可见即可说语义；

若判断结果为所述离线语义未命中可见即可说语义，则确定目标语义为所述在线语义。

在一些实施例中，所述基于所述网络第二状态、所述目标语义，确定所述语音信号对应的播报内容，包括：

若所述网络第二状态为在线状态，则确定所述播报内容包括所述目标语义、所述目标语义执行完毕后的结果中的至少一个；

若所述网络第二状态为离线状态，则判断所述目标语义是否为离线支持的语义，若支持，则确定所述播报内容为所述目标语义、所述目标语义执行完毕后的结果中的至少一个；若不支持，则确定所述播报内容包括用于提示网络断开的信息。

在一些实施例中，所述方法还包括：

基于所述网络第一状态为离线状态，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义；

获取网络第三状态，并基于所述网络第三状态、所述离线语义，确定所述语音信号对应的播报内容。

在一些实施例中，所述基于所述网络第三状态、所述离线语义，确定所述语音信号对应的播报内容包括：

若所述网络第三状态为在线状态，则确定所述播报内容为所述离线语义、所述离线语义执行完毕后的结果中的至少一个；

若所述网络第三状态为离线状态，则判断所述离线语义是否为离线支持的语义，若支持，则确定所述播报内容为所述离线语义、所述离线语义执行完毕后的结果中的至少一个；若不支持，则确定所述播报内容包括用于提示网络断开的信息。

第二方面，本公开实施例提供一种语音识别的播报装置，包括：

识别模块，用于在接收到语音信号后，基于网络第一状态为在线状态，对所述语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义；

第一确定模块，用于基于所述在线语义和所述离线语义，确定目标语义；

第二确定模块，用于判断网络第二状态，并基于所述网络第二状态、所述目标语义，确定所述语音信号对应的播报内容。

第三方面，本公开实施例提供一种电子设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。

第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。

第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行以实现第一方面所述的方法。

本公开实施例提供的语音识别的播报方法、装置、设备及计算机可读存储介质，通过在接收到语音信号后，当网络第一状态为在线状态时，明确了当前的网络状态，对语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，在线语义准确度高，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义，离线语义速度快；根据在线语义和离线语义，确定目标语义，在线语义优先，离线语义兜底，使得获取的目标语义不仅速度快，而且准确度高；判断网络第二状态，并根据网络第二状态、目标语义，确定语音信号对应的播报内容，目标语义获取速度快、准确度高的情况下，相应的，语音信号对应的播报内容播报速度快、准确度高，提升用户体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的语音识别的播报方法流程图；

图2为本公开实施例提供的语音识别的播报方法流程图；

图3为本公开另一实施例提供的语音识别的播报方法流程图；

图4为本公开另一实施例提供的语音识别的播报方法流程图；

图5为本公开实施例提供的语音识别的播报装置的结构示意图；

图6为本公开实施例提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

本公开实施例提供了一种语音识别的播报方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的语音识别的播报方法流程图。该方法可以应用于语音识别播报的应用场景，可以理解的是，本公开实施例提供的语音识别的播报方法还可以应用在其他场景中。下面对图1所示的语音识别的播报方法进行介绍，该方法包括的具体步骤如下：

S101、在接收到语音信号后，基于网络第一状态为在线状态，对所述语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义。

语音识别(Voice recognition)，也称自动语音识别技术(Automatic SpeechRecognition，ASR)。是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的技术。属于计算语言学的跨学科子领域，本质上是一种模式识别的过程，未知语音的模式和已知语音的参考模式足一进行比较，最佳匹配的参考模式被作为识别结果。它主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。

语义识别，也称语义理解，是让机器对文字内容进行理解，识别出意图。语义识别技术所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。

语音识别和语义识别的区别，可以形象的用人体器官表达出来：语音识别相当于人的嘴巴和耳朵，负责表达和获取；语义识别相当于人的大脑，负责思考和信息处理。

车辆中布置有麦克风，用来检测车辆中的声音，当麦克风获取到语音信号时，将该语音信号发送给车机，车机接收到语音信号之后，判断当前的网络状态并获取网络第一状态，网络第一状态包括有网时的在线状态和无网时的离线状态两种状态。

当网络第一状态为在线状态时，对语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，在线语义准确度高，对语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义，离线语义速度快。例如，语音识别可以是播放赵雷的《南方姑娘》，具体到不需要对文字内容进行理解；语义理解可以是播放音乐或者播放民谣歌曲等，概念比较模糊，需要对文字内容进行理解判断，具体的，当语音信号为“播放民谣歌曲”，那么语音识别结果为“播放民谣歌曲”，在语音识别结果的基础上进行语义识别，即从民谣歌曲中挑选一首进行播放，例如赵雷的《南方姑娘》，可以理解的是，赵雷的《南方姑娘》也可以是其他民谣歌曲，同样的，民谣歌曲也可以是摇滚歌曲、抒情歌曲等其他类型，本实施例不做限定，当歌曲为摇滚歌曲时，具体的，可以是许巍的《像风一样自由》。

S102、基于所述在线语义和所述离线语义，确定目标语义。

根据在线语义和离线语义，得到目标语义，由于在线语义准确度高，离线语义速度快，因此，得到的目标语义不仅速度快，而且准确度高。

可选的，得到目标语义的原则是在线语义优先，离线语义兜底，即以准确度高为第一原则。

S103、判断网络第二状态，并基于网络第二状态、所述目标语义，确定语音信号对应的播报内容。

判断网络第二状态，网络第二状态包括有网时的在线状态和无网时的离线状态两种状态，根据网络第二状态、目标语义，确定语音信号对应的播报内容，该播报内容是由车机输出的。

本公开实施例通过在接收到语音信号后，当网络第一状态为在线状态时，明确了当前的网络状态，对语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，在线语义准确度高，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义，离线语义速度快；根据在线语义和离线语义，确定目标语义，在线语义优先，离线语义兜底，使得获取的目标语义不仅速度快，而且准确度高；判断网络第二状态，并根据网络第二状态、目标语义，确定语音信号对应的播报内容，在确定目标语义的情况下，根据网络的第二状态可以快速确定语音信号对应的播报内容，从而提高播报内容的速度和准确度，提升用户体验。

在一些实施例中，在接收到语音信号后，基于网络第一状态为在线状态，对所述语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义之前，还包括：响应于唤醒指令，判断网络第一状态；基于所述网络第一状态为在线状态，则语音播报所述在线状态；基于所述网络第一状态为离线状态，则语音播报所述离线状态。

唤醒，进程在运行过程中具有多种状态，当它从等待态转换为就绪态时称为唤醒。

响应于唤醒指令，该唤醒指令可以是类似“理想同学”、“天猫精灵”等提前设置好的语音助手用语，判断网络第一状态，若网络第一状态有网，即网络第一状态为在线状态时，语音助手将会播报当前处于在线状态，例如：“我在”、“你好”、“有什么事”等；若网络第一状态无网，即网络第一状态为离线状态时，语音助手将会播报当前处于离线状态，例如：“离线模式”、“当前无网络”、“网络已掉线”等。

可以理解的是，在线状态语音识别率比离线状态高，在线状态语义识别理解和支持的技能比离线状态多，离线状态下，自动语音识别技术(Automatic SpeechRecognition,ASR)和自然语言理解(Natural Language Understanding,NLU)的响应速度更快。

本公开实施例通过响应唤醒指令，确定网络的第一状态，明确当前网络所处状态，使得用户可以针对当前网络状态提出相应的车控需求，提升用户体验。

如图2所示，基于在线语义和离线语义，确定目标语义，语音识别的播报方法还包括如S201-S205几个步骤：

S201、判断是否先得到离线语义，若否，则执行步骤S202；若是，则执行步骤S203。

当网络处于在线状态时，对语音信号进行在线语义识别和离线语义识别，判断先得到语义结果是在线语义还是离线语义，若先得到在线语义，则执行步骤S202；若先得到离线语义，则执行步骤S203。

S202、目标语义为在线语义。

当网络处于在线状态且先得到在线语义时，则确定目标语义为所述在线语义。

S203、预设时长内是否得到在线语义，若是，则执行步骤S204；若否，则执行步骤S205。

预设时长，实验数据验证后配置的等待时长，原因是担心离线兜底的领域存在误召回的情况，影响整体确定目标策略的结果。

配置过程包括：输出一个含离线支持语音的评测集合；针对该评测集合输出纯在线结果，以及在离线目标结果；对比两组结果的值，进行参数调优。

当网络处于在线状态且先得到离线语义时，判断预设时长内是否得到在线语义，若是，则执行步骤S204；若否，则执行步骤S205。

S204、执行基于在线语义，判断语音信号对应的对话状态；并基于对话状态、在线语义和离线语义，确定目标语义。

当网络处于在线状态且先得到离线语义时，预设时长内得到在线语义，则执行基于在线语义，判断语音信号对应的对话状态；并根据对话状态、在线语义和离线语义，确定目标语义。

可选的，语音信号对应的对话状态包括：连续对话状态、多轮对话状态的首轮对话、以及多轮对话状态的非首轮对话。

S205、目标语义为离线语义。

当网络处于在线状态且先得到离线语义时，预设时长内未得到在线语义，则确定目标语义为离线语义。

本公开实施例通过根据在线语义和离线语义详细描述如何确定目标语义，提高了目标语义获取的速度和准确度。

在一些实施例中，基于对话状态、在线语义和离线语义，确定目标语义包括：

基于在线语义，判断语音信号对应的对话状态；若对话状态为连续对话状态，或者对话状态为多轮对话状态的首轮对话，则确定目标语义为在线语义；若对话状态为多轮对话状态的非首轮对话，则基于离线语义，确定目标语义。

根据在线语义，判断语音信号对应的对话状态，若对话状态为连续对话状态，或者对话状态为多轮对话状态的首轮对话，则确定目标语义为在线语义；若对话状态为多轮对话状态的非首轮对话，则判断离线语义是否命中可见即可说语义，并根据判断结果确定目标语义。

可选的，连续对话状态是前后两句对话的内容没有相关性，即本对话一句即可结束。例如可以是打开或关闭类技能，具体可以是打开或关闭应用软件(Application，APP)、打开或关闭车控等。例如，本对话可以是打开蓝牙、播放音乐等，本对话的后一句对话可以是打开车窗、打开座椅加热、打开座椅通风、打开氛围灯等。可以理解的是，在另一些实施例中，本对话可以是打开车窗、打开座椅加热、打开座椅通风、打开氛围灯等，本对话的后一句对话可以是打开蓝牙、播放音乐等，本实施例仅对连续对话状态进行举例说明，在其他实施例中，本对话和本对话的后一句对话也可以是其他内容。

多轮对话分为封闭域的多轮对话和开放式的多轮对话。封闭域的多轮对话，是任务驱动的，主要目的为补全必要条件，并根据条件执行意图。每次会话维护一个轮询状态，有明确的进入和退出状态。开放式的多轮对话，一般指的是没有明确的轮询状态，需要基于语义理解来判断用户本轮话术是否与上文存在关联，一般分为三种类型：指代消解、省略补全、语义顺承。例如，多轮对话状态的首轮对话可以是“帮我导航”等，这时识别到用户意图是导航，但是缺少必要条件地址。

若对话状态为多轮对话状态的非首轮对话，则基于判断结果，确定目标语义，包括：若判断结果为离线语义命中可见即可说语义，则确定目标语义为可见即可说语义；若判断结果为离线语义未命中可见即可说语义，则确定目标语义为在线语义。

可见即可说语义，即DCS语义，界面上能看到的界面元素，只要是文字，看到什么说出它的名字或内容，系统就会通过模拟点击的方式对该元素进行操作。例如，界面元素可以是音乐馆、个性电台、今日私事等。

若离线语义命中DCS语义，则确定目标语义为可见即可说语义，例如，语音“导航去商场”后，会出现多个选择结果包括“**商场”、“***商场”等，可以语音“选择第一个”或者“选择**商场”，命中DCS语义；若离线语义未命中可见即可说语义，则确定目标语义为在线语义。例如，语音“导航去商场”后，会出现多个选择结果，可以语音“选择去最近的商场”，未命中可见即可说语义，则根据在线语义，判断距离远近，从而选择去最近的商场。

本公开实施例通过根据在线语义和离线语义，得到目标语义，并具体描述了在线语义和离线语义的部分应用场景，进一步提高了目标语义获取的速度和准确度。

在一些实施例中，基于网络第二状态、目标语义，确定语音信号对应的播报内容，包括：

网络第二状态包括在线状态和离线状态，获取网络第二状态的前提是网络第一状态为在线状态。若网络第二状态为在线状态，则确定播报内容包括目标语义、目标语义执行完毕后的结果中的至少一个；若网络第二状态为离线状态，则判断目标语义是否为离线支持的语义，若支持，则确定播报内容为目标语义、目标语义执行完毕后的结果中的至少一个；若不支持，则确定播报内容包括用于提示网络断开的信息。

当网络第二状态为在线状态时，则播报内容包括目标语义、目标语义执行完毕后的结果中的至少一个，例如，语音信号为“导航去**”，播报内容可以是“导航去**”、“已为您提供去**的最佳路线”等。

若网络第二状态为离线状态，则判断目标语义是否为离线支持的语义且该该目标语义对应的置信度大于或等于预设阈值，其中，置信度是在进行语义识别时获取的置信度，语义识别模型在输出语义时，同时会给出该语义的置信度；若支持，则确定播报内容为目标语义、目标语义执行完毕后的结果中的至少一个，例如，目标语义为“打开天窗”，播报内容可以是“打开天窗”、“已为您打开天窗”等；若不支持，则确定播报内容包括用于提示网络断开的信息，例如，播报内容可以是“网络已断开连接，请重试”、“网络出了点儿问题，请稍后再试吧”。

可以理解的是，车机也会根据该目标语义执行相对应的车控功能。

本公开实施例通过例举根据网络第二状态、目标语义，从而确定语音信号对应的播报内容，提高了播报内容的准确度。

在一些实施例中，基于网络第一状态为离线状态，对语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义；获取网络第三状态，并基于网络第三状态、离线语义，确定语音信号对应的播报内容，包括：

网络第三状态包括在线状态和离线状态，获取网络第三状态的前提是网络第一状态为离线状态。若网络第三状态为在线状态，则确定播报内容为离线语义、离线语义执行完毕后的结果中的至少一个；若网络第三状态为离线状态，则判断离线语义是否为离线支持的语义，若支持，则确定播报内容为离线语义、离线语义执行完毕后的结果中的至少一个；若不支持，则确定播报内容包括用于提示网络断开的信息。

本公开实施例通过例举网络第一状态为离线状态时，语音信号对应的播报内容，进一步提高了播报内容的准确度。

图3为本公开另一实施例提供的语音识别的播报方法流程图，该方法包括的具体步骤如下：

S301、唤醒语音助手，判断唤醒后网络第一状态，若有网，则执行步骤S302；若无网，则执行步骤S306。

S302、给出正常反馈。

正常反馈，例如“我在”、“你好”、“有什么事”等。

S303、开始语音识别，并对语音识别结果进行语义识别。

语音识别(Voice recognition)，也称自动语音识别技术(Automatic SpeechRecognition，ASR)。是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的技术。属于计算语言学的跨学科子领域，本质上是一种模式识别的过程，未知语音的模式和已知语音的参考模式足一进行比较，最佳匹配的参考模式被作为识别结果。它主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。

语义识别，也称语义理解，是让机器对文字内容进行理解，识别出意图。语义识别技术所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。

语音识别和语义识别的区别，可以形象的用人体器官表达出来：语音识别相当于人的嘴巴和耳朵，负责表达和获取；语义识别相当于人的大脑，负责思考和信息处理。

判断唤醒后网络第一状态为有网，对语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，以及，对语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义。

S304、结束语音识别、语义识别。

S305、得到语义识别最终结果。

通过在线语义和离线语义，对得到的在线语义和离线语义进行在离线融合，得到语义识别最终结果。

S306、给出无网反馈。

无网反馈，例如“离线模式”、“当前无网络”等。

S307、开始语音识别、并对语音识别结果进行语义识别。

判断唤醒后网络第一状态为无网，对语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义。

S308、结束语音识别、语义识别。

S309、得到语义识别最终结果。

语义识别最终结果为离线语义。

图4为本公开另一实施例提供的语音识别的播报方法流程图，该方法包括的具体步骤如下：

S401、语义识别最终结果。

S402、判断第二网络状态，若有网，则执行步骤S403，若无网，则执行步骤S405。

S403、正常执行播报。

S404、有网并保持。

S405、判断离线是否支持，若支持，则执行步骤S406，若不支持，则执行步骤S408。

判断语义识别最终结果在离线状态下是否支持，若支持，则执行步骤S406，若不支持，则执行步骤S408。

S406、正常执行播报。

离线支持的功能包括：

点击范式类技能：例如可见即可说语义、页面控制等。

打开或关闭类技能：例如打开或关闭应用软件、打开或关闭车控等。

车辆控制及查询类技能：例如车控、车辆状态查询、车辆手册、设置等。

媒体控制类技能：例如播控、续播、控制、界面控制类技能。

离线可支持的应用技能：例如导航、电话等。

S407、无网并保持。

S408、网络断开，请重试。

网络断开，请重试，播报内容可以是“网络已断开连接，请重试”、“网络出了点儿问题，请稍后再试吧”。

S409、无网，退出。

另外，本实施例提供了场景序号、唤醒后网络状态、表现1唤醒问候语、表现2图形用户界面反馈、语音(语义)识别最终结果、离线是否支持、执行与播报、第二网络状态、以及连续对话状态的对应关系，具体如表1所示：

表1

图5为本公开实施例提供的语音识别的播报装置的结构示意图。该语音识别的播报装置可以是如上实施例所述的电子设备，或者该语音识别的播报装置可以该电子设备中的部件或组件。本公开实施例提供的语音识别的播报装置可以执行语音识别的播报方法实施例提供的处理流程，如图5所示，语音识别的播报装置50包括：识别模块51、第一确定模块52、第二确定模块53；其中，识别模块51，用于在接收到语音信号后，基于网络第一状态为在线状态，对所述语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义；第一确定模块52，用于基于所述在线语义和所述离线语义，确定目标语义；第二确定模块53，用于判断网络第二状态，并基于所述网络第二状态、所述目标语义，确定所述语音信号对应的播报内容。

可选的，语音识别的播报装置50还包括：判断模块54，用于响应于唤醒指令，判断网络第一状态；基于所述网络第一状态为在线状态，则语音播报所述在线状态；基于所述网络第一状态为离线状态，则语音播报所述离线状态。

可选的，第一确定模块52，还用于判断是否先得到离线语义，且在之后的预设时长内得到在线语义；

若先得到所述离线语义，且在之后的预设时长内得到所述在线语义，则执行所述基于所述在线语义，判断所述语音信号对应的对话状态；并基于所述对话状态、所述在线语义和所述离线语义，确定目标语义的步骤。

可选的，第二确定模块53，还用于若先得到所述在线语义，则确定所述目标语义为所述在线语义；

若先得到所述离线语义，且在之后的预设时长内未得到所述在线语义，则确定所述目标语义为所述离线语义。

可选的，第二确定模块53，还用于基于所述在线语义，判断所述语音信号对应的对话状态；

若所述对话状态为连续对话状态，或者所述对话状态为多轮对话状态的首轮对话，则确定目标语义为所述在线语义；

若所述对话状态为多轮对话状态的非首轮对话，则判断所述离线语义是否命中可见即可说语义，并基于判断结果确定目标语义。

可选的，第二确定模块53，还用于若判断结果为所述离线语义命中可见即可说语义，则确定目标语义为所述可见即可说语义；

若判断结果为所述离线语义未命中可见即可说语义，则确定目标语义为所述在线语义。

可选的，第二确定模块53，还用于若所述网络第二状态为在线状态，则确定所述播报内容包括所述目标语义、所述目标语义执行完毕后的结果中的至少一个；

若所述网络第二状态为离线状态，则判断所述目标语义是否为离线支持的语义，若支持，则确定所述播报内容为所述目标语义、所述目标语义执行完毕后的结果中的至少一个；若不支持，则确定所述播报内容包括用于提示网络断开的信息。

可选的，第二确定模块53，还用于基于所述网络第一状态为离线状态，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义；

获取网络第三状态，并基于所述网络第三状态、所述离线语义，确定所述语音信号对应的播报内容。

可选的，第二确定模块53，还用于若所述网络第三状态为在线状态，则确定所述播报内容为所述离线语义、所述离线语义执行完毕后的结果中的至少一个；

若所述网络第三状态为离线状态，则判断所述离线语义是否为离线支持的语义，若支持，则确定所述播报内容为所述离线语义、所述离线语义执行完毕后的结果中的至少一个；若不支持，则确定所述播报内容包括用于提示网络断开的信息。

图5所示实施例的语音识别的播报装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图6为本公开实施例提供的电子设备的结构示意图。本公开实施例提供的电子设备可以执行语音识别的播报方法实施例提供的处理流程，如图6所示，电子设备60包括：存储器61、处理器62、计算机程序和通讯接口63；其中，计算机程序存储在存储器61中，并被配置为由处理器62执行如上所述的语音识别的播报方法。

另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的语音识别的播报方法。

此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的语音识别的播报方法。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：

在接收到语音信号后，基于网络第一状态为在线状态，对所述语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义；

基于所述在线语义和所述离线语义，确定目标语义；

判断网络第二状态，并基于所述网络第二状态、所述目标语义，确定所述语音信号对应的播报内容。

另外，该电子设备还可以执行如上所述的语音识别的播报方法中的其他步骤。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种语音识别的播报方法，其特征在于，所述方法包括：

在接收到语音信号后，基于网络第一状态为在线状态，对所述语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义；

基于所述在线语义和所述离线语义，确定目标语义；

判断网络第二状态，并基于所述网络第二状态、所述目标语义，确定所述语音信号对应的播报内容。

2.根据权利要求1所述的方法，其特征在于，所述在接收到语音信号后，基于网络第一状态为在线状态，对所述语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义之前，所述方法还包括：

响应于唤醒指令，判断网络第一状态；

基于所述网络第一状态为在线状态，则语音播报所述在线状态；

基于所述网络第一状态为离线状态，则语音播报所述离线状态。

3.根据权利要求1所述的方法，其特征在于，所述基于所述在线语义和所述离线语义，确定目标语义，包括：

判断是否先得到离线语义，且在之后的预设时长内得到在线语义；

若先得到所述离线语义，且在之后的预设时长内得到所述在线语义，则执行所述基于所述在线语义，判断所述语音信号对应的对话状态；并基于所述对话状态、所述在线语义和所述离线语义，确定目标语义。

4.根据权利要求3所述的方法，其特征在于，所述基于所述在线语义和所述离线语义，确定目标语义还包括：

若先得到所述在线语义，则确定所述目标语义为所述在线语义；

若先得到所述离线语义，且在之后的预设时长内未得到所述在线语义，则确定所述目标语义为所述离线语义。

5.根据权利要求3所述的方法，其特征在于，所述基于所述对话状态、所述在线语义和所述离线语义，确定目标语义包括：

若所述对话状态为连续对话状态，或者所述对话状态为多轮对话状态的首轮对话，则确定目标语义为所述在线语义；

若所述对话状态为多轮对话状态的非首轮对话，则判断所述离线语义是否命中可见即可说语义，并基于判断结果确定目标语义。

6.根据权利要求5所述的方法，其特征在于，所述基于判断结果确定目标语义包括：

若判断结果为所述离线语义命中可见即可说语义，则确定目标语义为所述可见即可说语义；

若判断结果为所述离线语义未命中可见即可说语义，则确定目标语义为所述在线语义。

7.根据权利要求1所述的方法，其特征在于，所述基于所述网络第二状态、所述目标语义，确定所述语音信号对应的播报内容，包括：

若所述网络第二状态为在线状态，则确定所述播报内容包括所述目标语义、所述目标语义执行完毕后的结果中的至少一个；

若所述网络第二状态为离线状态，则判断所述目标语义是否为离线支持的语义，若支持，则确定所述播报内容为所述目标语义、所述目标语义执行完毕后的结果中的至少一个；若不支持，则确定所述播报内容包括用于提示网络断开的信息。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述网络第一状态为离线状态，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义；

获取网络第三状态，并基于所述网络第三状态、所述离线语义，确定所述语音信号对应的播报内容。

9.根据权利要求8所述的方法，其特征在于，所述基于所述网络第三状态、所述离线语义，确定所述语音信号对应的播报内容包括：

若所述网络第三状态为在线状态，则确定所述播报内容为所述离线语义、所述离线语义执行完毕后的结果中的至少一个；

若所述网络第三状态为离线状态，则判断所述离线语义是否为离线支持的语义，若支持，则确定所述播报内容为所述离线语义、所述离线语义执行完毕后的结果中的至少一个；若不支持，则确定所述播报内容包括用于提示网络断开的信息。

10.一种语音识别的播报装置，其特征在于，所述装置包括：

识别模块，用于在接收到语音信号后，基于网络第一状态为在线状态，对所述语音信号进行在线语音识别并对在线语音识别结果进行在线语义识别，得到在线语义，以及，对所述语音信号进行离线语音识别并对离线语音识别结果进行离线语义识别，得到离线语义；

第一确定模块，基于所述在线语义和所述离线语义，确定目标语义；

第二确定模块，用于判断网络第二状态，并基于所述网络第二状态、所述目标语义，确定所述语音信号对应的播报内容。

11.一种电子设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-9中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的方法。

Images