CN113990322B - 语音交互方法、服务器、语音交互系统和介质 - Google Patents

Abstract

本发明公开了一种语音交互方法、服务器、语音交互系统和介质。语音交互方法用于服务器，所述语音交互方法包括：接收车辆发送的语音请求和车辆状态；根据所述语音请求和所述车辆状态，获取相应的车辆推荐操作；发送所述车辆推荐操作至所述车辆以使所述车辆提示所述车辆推荐操作。上述语音交互方法，可以根据车辆发送的语音请求和车辆状态，获取相应的车辆推荐操作，以使车辆提示车辆推荐操作，可以向用户推荐用车场景下车辆支持的适当操作，在为用户提供更好的驾驶体验的同时，使得用户了解和熟练使用车辆提供的功能，从总体上提高用户的驾驶体验。

Description

语音交互方法、服务器、语音交互系统和介质

技术领域

本发明涉及语音技术领域，特别涉及一种语音交互方法、服务器、语音交互系统和介质。

背景技术

车辆在功能更新(系统更新)过程中的新功能或已有功能以说明或示例方式展示于用户，往往被用户忽略，导致用户依旧停留在旧有操作习惯中，车辆新增功能无法为用户提供更好的用户体验。

在相关技术中，目前针对该问题，车辆采用动态示例、广告宣称的方式，无法在用户需要时，进行高效讲解和推荐，使得某些功能(如新功能)在用户的使用和普及效率低下，严重影响了用户驾驶体验的提升。

发明内容

本发明的实施方式提供一种语音交互方法、服务器、语音交互系统和介质。

本发明实施方式的一种语音交互方法，用于服务器，所述语音交互方法包括：

接收车辆发送的语音请求和车辆状态；

根据所述语音请求和所述车辆状态，获取相应的车辆推荐操作；

发送所述车辆推荐操作至所述车辆以使所述车辆提示所述车辆推荐操作。

在某些实施方式中，根据所述语音请求和所述车辆状态，获取相应的车辆推荐操作，包括：

根据所述语音请求和车控图谱获得第一批推荐候选项；

根据所述车辆状态获得第二批推荐候选项；

根据所述第一批推荐候选项和所述第二批推荐候选项，确定所述车辆推荐操作。

在某些实施方式中，根据所述语音请求和车控图谱获得第一批推荐候选项，包括：

对所述语音请求进行实体链接和标准问题匹配以在所述车控图谱中获取第一批推荐候选项。

在某些实施方式中，对所述语音请求进行实体链接和标准问题匹配以在所述车控图谱中获取第一批推荐候选项，包括：

对所述语音请求进行自然语言理解以获取所述语音请求中的槽位信息和意图信息；

利用所述槽位信息和所述意图信息获取在所述车控图谱中对应的实体信息；

利用所述实体信息进行标准问题匹配以获取与所述实体信息相关的第一批推荐候选项。

在某些实施方式中，所述标准问题匹配是采用余弦相似度完成句子相似度匹配。

在某些实施方式中，所述语音交互方法包括：

确定所述实体信息后，随机从同类型以及多度关系中选择候选实体以获取所述第一批推荐候选项。

在某些实施方式中，所述语音交互方法还包括：

记录用户在所述第一批推荐候选项的选择内容；

根据所述选择内容筛选掉相应的推荐候选项。

在某些实施方式中，所述语音交互方法还包括：根据用户意图和所述车辆状态，获取所述第二推荐候选项。

在某些实施方式中，所述第二推荐候选项包括槽位数值，所述语音交互方法包括：

利用槽位计算方式预测槽位数值。

在某些实施方式中，所述语音交互方法包括：

推荐带有所述槽位数值的车辆推荐操作。

在某些实施方式中，所述语音交互方法还包括：

对所述车辆推荐操作进行排序以使所述车辆提示排序后的车辆推荐操作。

本发明实施方式的一种服务器，包括：

接收模块，用于接收车辆发送的语音请求和车辆状态；

处理模块，用于根据所述语音请求和所述车辆状态，获取相应的车辆推荐操作；

发送模块，用于发送所述车辆推荐操作至所述车辆以使所述车辆提示所述车辆推荐操作。

本发明实施方式的一种语音交互系统，包括车辆和上述实施方式的服务器。

本发明实施方式提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述任一实施方式的语音交互方法。

上述语音交互方法、服务器、语音交互系统及计算机可读存储介质，可以根据车辆发送的语音请求和车辆状态，获取相应的车辆推荐操作，以使车辆提示车辆推荐操作，可以向用户推荐用车场景下车辆支持的适当操作，在为用户提供更好的驾驶体验的同时，使得用户了解和熟练使用车辆提供的功能，从总体上提高用户的驾驶体验。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的语音交互方法的流程示意图；

图2是本发明实施方式的车控图谱的示意图；

图3是本发明实施方式的意图推荐的流程示意图；

图4是本发明实施方式的意图推荐的再一流程示意图；

图5是本发明实施方式的语音交互系统的模块示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1，本发明实施方式的一种语音交互方法，用于服务器，语音交互方法包括：

步骤S12，接收车辆发送的语音请求和车辆状态；

步骤S14，根据语音请求和车辆状态，获取相应的车辆推荐操作；

步骤S16，发送车辆推荐操作至车辆以使车辆提示车辆推荐操作。

上述语音交互方法，可以根据车辆发送的语音请求和车辆状态，获取相应的车辆推荐操作，以使车辆提示车辆推荐操作，可以向用户推荐用车场景下车辆支持的适当操作，在为用户提供更好的驾驶体验的同时，使得用户了解和熟练使用车辆提供的功能，从总体上提高用户的驾驶体验。

具体地，车辆可与服务器进行有线或无线连接，无线连接的方式包括但不限于移动通信网络，移动通信网络包括但不限于4G、5G、6G等。

车辆包括但不限于燃油汽车、增程式电动车、纯电动汽车、混合动力汽车、氢能源汽车、飞行汽车等。车辆包括有麦克风及显示屏，麦克风用于采集用户的语音请求。显示屏可以是触摸显示屏，除显示与车辆控制相关的图形用户界面外，还提供用户输入的方式。用户通过触摸触摸显示屏上的相关按键或输入相关手势来实现指令的输入。在一个实施方式中，显示屏可以包括车辆的中控显示屏、仪表显示屏和副驾驶显示屏、主副驾驶座背面的娱乐大屏的至少一者。用户可以通过说话来输入语音请求。车辆将采集到用户的语音请求及车辆状态发送到服务器进行处理。服务器返回车辆推荐操作，车辆提示车辆推荐操作，例如，车辆可以在显示屏显示车辆推荐操作的文字、图形、图案、视频、动画等，也可以利用扬声器播放车辆推荐操作的音频等等。

在一个实施方式中，车辆提示车辆推荐操作，相当于向用户反馈。反馈包括但不限于以下至少一种方式：

1.在车辆中控屏幕上显示车辆推荐操作；

2.通过TTS播报车辆推荐操作；

3.在前挡风玻璃以HUD方式投影车辆推荐操作。

车辆状态可包括车辆自身状态和车辆外部状态，车辆自身状态可包括车速、乘客情况(主驾驶有人、副驾驶有人等)、车内温度、车内湿度等。车辆外部状态可包括车外温度、车外湿度、外部天气、交通状况等。车辆状态可以由车辆的传感器采集，例如车速可以由车速传感器采集，外部天气可以由面向车外的摄像头、雨量传感器所采集，交通状况可以由面向车外的激光雷达、超声波传感器、摄像头等采集。

在某些实施方式中，根据语音请求和车辆状态，获取相应的车辆推荐操作，包括：

根据语音请求和车控图谱获得第一批推荐候选项；

根据车辆状态获得第二批推荐候选项；

根据第一批推荐候选项和第二批推荐候选项，确定车辆推荐操作。

如此，获取到的车辆推荐操作与用户需求和车辆状态的匹配度较高。

具体地，车控图谱可以预先存储在服务器中。请结合图2，图2示出了本发明实施方式的车控图谱。根据语音请求，在车控图谱找到相应的第一批推荐候选项。若在车控图谱找不到相应的第一批推荐候选项，则生成提示信息，该提示信息发送到车辆，以使车辆发出相应提示，如“对不起，我听不懂您的话”或“对不起，您能换其他操作吗？”之类的回复话术。回复话术可以利用TTS(从文本到语音，TextToSpeech)技术来生成。

在一个例子中，用户发出的语音请求是“空调使用会不会影响车辆续航？”，车辆采集到该语音请求，并发送至服务器。

车辆状态可以是上述所说的车辆状态。根据车辆状态来获取第二批推荐候选项，使得车辆推荐操作贴合车辆状态。

本实施方式中，通过结合第一推荐候选项和第二推荐候选项，来获取最终的车辆推荐操作。

在某些实施方式中，根据语音请求和车控图谱获得第一批推荐候选项，包括：

对语音请求进行实体链接和标准问题匹配以在车控图谱中获取第一批推荐候选项。如此，可以实现第一批推荐候选项的获取。

具体地，通过对语音请求进行实体链接和标准问题匹配，可以在车控图谱找到相应的第一批推荐候选项。

在某些实施方式中，对语音请求进行实体链接和标准问题匹配以在车控图谱中获取第一批推荐候选项，包括：

对语音请求进行自然语言理解以获取语音请求中的槽位信息和意图信息；

利用槽位信息和意图信息获取在车控图谱中对应的实体信息；

利用实体信息进行标准问题匹配以获取与实体信息相关的第一批推荐候选项。

如此，可以获取与语音请求匹配度较高的第一批推荐候选项。

具体地，进行自然语言理解(NLU)可以使服务器“理解”用户的语音请求(query)，获取到语音请求中的槽位信息(slot)和意图信息(intent)，并可利用槽位信息和意图信息在车控图谱中查找相应的实体信息。

就上面的例子而言，服务器接收到语音请求“空调使用会不会影响车辆续航？”，并对该语音请求进行自然语言理解，获取用户问题中的槽位信息：续航，和意图信息：空调续航影响。通过槽位信息：续航，和意图信息：空调续航影响，并连接到车控图谱，可以使续航连接到空调的相关内容，如图2所示。

进行标准问题匹配是为了得到对应的实体信息及其标准问题。在一个实施方式中，标准问题匹配是采用余弦相似度完成句子相似度匹配。具体地，对语音请求直接进行相似度匹配，利用Bert模型进行句向量提取，获取句子的Embedding表示，基于余弦相似度进行句子相似度匹配，获取在车控图谱实体下，对应的候选问题，进行相似度计算，获取匹配程度，得到对应的实体信息及标准问题。

就上面的例子而言，请结合图2，语音请求“空调使用会不会影响车辆续航？”与车控图谱中“开空调会不会让续航变短”相似度排序最高，链接到车控图谱中对应的实体“空调”上。

进行实体链接的结果与进行标准问题匹配的结果会进行融合，在一个实施方式中，当进行实体链接的方法只获取到一级、二级、三级实体时，进行标准问题匹配可为句子相似度计算提供了候选项，缩小候选范围，提高候选准确度。例如，请结合图2，当进行实体链接的方法只获取到电量(一级)、续航(二级)、影响因素(三级)实体时，而无法获取到具体的影响因素，此时，进行标准问题匹配对句子相似度计算，获取到实体信息：“空调”，进而可以确定“空调”作为候选项。根据“空调”的候选项，可以获取车辆推荐操作“空调对电池续航的影响”，并发送该车辆推荐操作“空调对电池续航的影响”至车辆，以使车辆播报“空调使用会影响车辆续航，您还可以这样问：空调对电池续航的影响”，进而可以引导用户继续发出相应的语音请求。而且，用户按照车辆推荐操作来发问，其问题的置信度较高，可以在下轮对话中快速确定到相应的实体及标准问题。

另外，在车控图谱中，获取推荐问题候选项：与对应实体同类型及存在跳关系的其它实体获取推荐问题候选项。跳关系的次数可以预先设定，例如可以设置为2次，所说的跳关系可指不同级别之间的关系。例如，请结合图2，与实体“影响因素”存在1次跳关系的是实体“空调”，与实体“影响因素”存在2次跳关系的是实体“影响”，经实体“空调”关联起来。同类型的个数也可以作类似设定。与实体“空调”是同类型的实体是“天气”、“车龄”、“放电情况”、“路况”等。

在某些实施方式中，语音交互方法包括：

确定实体信息后，随机从同类型以及多度关系中选择候选实体以获取第一批推荐候选项。如此，可以丰富第一批推荐候选项。

具体地，定位到对应实体后，可随机从同类型、多度关系中，选择候选实体，并将对应的标准问题(standard)推送给用户。如：多度关系可以是在车控图谱中与对应实体存在的跳级关系。在上面的例子中，在上一个问题链接到空调后，会从：天气、车龄、放电情况、路况(同类型)，影响(一跳关系)随机筛选实体，并将标准问题：“电池”(对应实体“天气”)等问题推送给用户。推荐问题的个数可以由系统预先设置，在一个例子中，可以推荐3个问题给用户。

在某些实施方式中，语音交互方法还包括：

记录用户在第一批推荐候选项的选择内容；

根据选择内容筛选掉相应的推荐候选项。

如此，可以防止重复推荐。

具体地，语音交互的过程中，车机与用户可能进行多轮对话，在之前的对话中，车辆可提示多个车辆推荐操作A、B、C，用户选择了其中一个车辆推荐操作A，此时，记录相应的选择内容。在之后的车辆推荐操作中，当获取到的车辆推荐操作A、B、C时，将服务器将车辆推荐操作A筛选掉，即车辆推荐操作A不再作为候选项给用户推荐。在这种情况下，车辆提供车辆推荐操作B、C。

在某些实施方式中，语音交互方法还包括：根据用户意图和车辆状态，获取第二推荐候选项。如此，可以获取到第二批推荐候选项。

具体地，获取到语音请求的意图信息后，服务器可以推荐与语音请求的意图信息同意图和/或相关意图，并结合车辆状态，获取第二批推荐候选项，对用户进行推荐。更具体地，请结合图3，利用用户意图，并结合车辆状态(如车速、乘客情况(主驾驶有人、副驾驶有人等)、车内温度、车外温度、外部天气等)作为输入，通过对历史数据用户在同车辆状态条件下的统计数据构建推荐模型，以用户意图和车辆状态作为输入，推荐该场景下，用户可能进行的其他意图及操作。

在一个例子中，请结合图4，用户的意图为“打开空调”，服务器控制车辆执行相应操作，即打开空调。与用户意图“打开空调”的相关意图包括：空调风速、空调温度、车窗状态等，并结合车辆状态，利用推荐模型，获取到相关的第二推荐候选项：1.将风速设置到2档；2.将空调温度设置为24度；3.关闭车窗。服务器根据相关的第二批推荐候选项获取车辆推荐操作“1.将风速设置到2档”、“2.将空调温度设置为24度”、“3.关闭车窗”，以使车辆播报：已为您打开空调，您还可以这样说：“1.将风速设置到2档”、“2.将空调温度设置为24度”、“3.关闭车窗”，进而使得用户根据车辆推荐操作发出相应的语音请求。

在某些实施方式中，第二推荐候选项包括槽位数值，语音交互方法包括：

利用槽位计算方式预测槽位数值。

。如此，可以获取槽位数值。

具体地，某些车辆推荐操作可存在具体数值。由此，利用槽位信息智能计算，通过结合车辆状态和语音请求的意图信息，来预测推荐数值。

在一个实施方式中，可将车辆状态、语音请求的意图信息、槽位标签(Label)作为输入，预测合理的槽位数值，该槽位数值可作为推荐数据。

在某些实施方式中，语音交互方法包括：

推荐带有槽位数值的车辆推荐操作。如此，可以提升用户体验。

具体地，某些车辆推荐操作可存在具体数值，但在实际使用中，用户无法对具体数据做出明确判断，需要进行智能推荐。由此，在利用槽位信息智能计算，通过结合车辆状态、语音请求的意图信息预测推荐数值之后，可以推荐带有槽位数值的车辆推荐操作。

例如：推荐用户为打开空调，将空调设置到XX度；系统会根据车辆状况，利用回归模型，自动计算合理的空调温度，补充到槽位中，返回带有具体数值推荐的结果。

在某些实施方式中，语音交互方法还包括：

对车辆推荐操作进行排序以使车辆提示排序后的车辆推荐操作。如此，可以引导用户进行相应操作。

具体地，获取车控图谱、车辆状态推荐的车辆推荐操作序列，根据归一化的置信度，结合用户的语音请求、车辆状态，利用相似度匹配模型，输出用户的语音请求与候选问题的相似度，对结果进行排序，例如，按相似度从高到低进行排序。

综上，本发明实施方式的语音交互方法可以实现：

1.车控图谱的构建及语音交互；

1)针对车辆控制技能及传感器感知点能力，构建专门知识图谱形成车控图谱；

2)利用车控图谱对用户的语音请求进行智能推荐。

2.基于车辆状态的问题推荐及补全。

1)利用车辆状态(车身自身状态及所处外部环境状态)，结合用户在该状态下意图及相关统计信息，进行车辆推荐操作；

2)推荐过程中，提供知识计算，即在当前状态下，为用户提供最佳结果，如开启空调，智能推荐当前最适宜的温度。

请参图5，本发明实施方式提供的一种服务器100，包括：

接收模块102，用于接收车辆发送的语音请求和车辆状态；

处理模块104，用于根据语音请求和车辆状态，获取相应的车辆推荐操作；

发送模块106，用于发送车辆推荐操作至车辆200以使车辆200提示车辆推荐操作。

请参图5，本发明实施方式提供的一种语音交互系统300，包括车辆200和上述实施方式的服务器100。

本发明实施方式还提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述任一实施方式的语音交互方法。

具体地，在一个实施方式，计算机程序被处理器执行时，实现的语音交互方法包括：

步骤S12，接收车辆发送的语音请求和车辆状态；

步骤S14，根据语音请求和车辆状态，获取相应的车辆推荐操作；

步骤S16，发送车辆推荐操作至车辆以使车辆提示车辆推荐操作。

可以理解的是，上述对语音交互方法的实施方式和有益效果的解释说明，也适用于本发明实施方式的语音交互系统300、服务器100及计算机可读存储介质，为避免冗余，在此不作详细展开。

综上，本发明实施方式的服务器100、语音交互系统300及计算机可读存储介质，可以根据车辆发送的语音请求和车辆状态，获取相应的车辆推荐操作，以使车辆提示车辆推荐操作，可以向用户推荐用车场景下车辆支持的适当操作，在为用户提供更好的驾驶体验的同时，使得用户了解和熟练使用车辆提供的功能，从总体上提高用户的驾驶体验。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种语音交互方法，用于服务器，其特征在于，所述语音交互方法包括：

接收车辆发送的语音请求和车辆状态；

根据所述语音请求、车控图谱和所述车辆状态，获取相应的车辆推荐操作，其中，所述车控图谱为根据车辆控制技能及传感器感知点能力构建的知识图谱；

发送所述车辆推荐操作至所述车辆以使所述车辆提示所述车辆推荐操作。

2.根据权利要求1所述的语音交互方法，其特征在于，根据所述语音请求、车控图谱和所述车辆状态，获取相应的车辆推荐操作，包括：

根据所述语音请求和车控图谱获得第一批推荐候选项；

根据所述车辆状态获得第二批推荐候选项；

根据所述第一批推荐候选项和所述第二批推荐候选项，确定所述车辆推荐操作。

3.根据权利要求2所述的语音交互方法，其特征在于，根据所述语音请求和车控图谱获得第一批推荐候选项，包括：

对所述语音请求进行实体链接和标准问题匹配以在所述车控图谱中获取第一批推荐候选项。

4.根据权利要求3所述的语音交互方法，其特征在于，对所述语音请求进行实体链接和标准问题匹配以在所述车控图谱中获取第一批推荐候选项，包括：

对所述语音请求进行自然语言理解以获取所述语音请求中的槽位信息和意图信息；

利用所述槽位信息和所述意图信息获取在所述车控图谱中对应的实体信息；

利用所述实体信息进行标准问题匹配以获取与所述实体信息相关的第一批推荐候选项。

5.根据权利要求4所述的语音交互方法，其特征在于，所述标准问题匹配是采用余弦相似度完成句子相似度匹配。

6.根据权利要求4所述的语音交互方法，其特征在于，所述语音交互方法包括：

确定所述实体信息后，随机从同类型以及多度关系中选择候选实体以获取所述第一批推荐候选项。

7.根据权利要求3所述的语音交互方法，其特征在于，所述语音交互方法还包括：

记录用户在所述第一批推荐候选项的选择内容；

根据所述选择内容筛选掉相应的推荐候选项。

8.根据权利要求2所述的语音交互方法，其特征在于，所述语音交互方法还包括：根据用户意图和所述车辆状态，获取所述第二批推荐候选项。

9.根据权利要求2所述的语音交互方法，其特征在于，所述第二批推荐候选项包括槽位数值，所述语音交互方法包括：

利用槽位计算方式预测槽位数值。

10.根据权利要求9所述的语音交互方法，其特征在于，所述语音交互方法包括：

推荐带有所述槽位数值的车辆推荐操作。

11.根据权利要求1所述的语音交互方法，其特征在于，所述语音交互方法还包括：

对所述车辆推荐操作进行排序以使所述车辆提示排序后的车辆推荐操作。

12.一种服务器，其特征在于，包括：

接收模块，用于接收车辆发送的语音请求和车辆状态；

处理模块，用于根据所述语音请求、车控图谱和所述车辆状态，获取相应的车辆推荐操作，其中，所述车控图谱为根据车辆控制技能及传感器感知点能力构建的知识图谱；

发送模块，用于发送所述车辆推荐操作至所述车辆以使所述车辆提示所述车辆推荐操作。

13.一种语音交互系统，其特征在于，包括车辆和权利要求12所述的服务器。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的语音交互方法。