CN117198289B - 语音交互方法、装置、设备、介质及产品 - Google Patents

Abstract

本公开提供了语音交互方法、装置、设备、介质及产品，涉及人工智能技术领域，尤其涉及自动驾驶、大语言模型以及智能座舱等技术领域。具体实现方案为：获取车载终端采集的目标用户对应的语音信息，并获取所述语音信息对应的文本信息；根据所述文本信息，确定所述语音信息对应的文本表达类型；采用与所述文本表达类型对应的目标语言模型，确定所述语音信息的理解结果信息；通过所述车载终端输出所述理解结果信息。

Description

语音交互方法、装置、设备、介质及产品

技术领域

本公开涉及人工智能领域中的自动驾驶、大语言模型以及智能座舱等技术领域，尤其涉及一种语音交互方法、装置、设备、介质及产品。

背景技术

车机是一种安装在汽车上的车载信息设备，可以实现人与车、车与车、车与后台服务器的信息通信。目前，车机可以采集驾驶人员发出的语音信息，并获取与该语音信息对应的理解结果，之后输出该理解结果。理解结果例如可以为显示导航信息、播打电话等。

但是，目前的车机只能处理简单的语音交互场景，对于一些复杂的语音交互场景，获得的理解结果准确度较差，导致语音交互失败。

发明内容

本公开提供了一种用于人机交互场景的语音交互方法、装置、设备、介质及产品。

根据本公开的第一方面，提供了一种语音交互方法，包括：

获取车载终端采集的目标用户对应的语音信息，并获取所述语音信息对应的文本信息；

根据所述文本信息，确定所述语音信息对应的文本表达类型；

采用与所述文本表达类型对应的目标语言模型，确定所述语音信息的理解结果信息；

通过所述车载终端输出所述理解结果信息。

根据本公开的第二方面，提供了一种语音交互装置，包括：

信息获取单元，用于获取车载终端采集的目标用户对应的语音信息，并获取所述语音信息对应的文本信息；

类型确定单元，用于根据所述文本信息，确定所述语音信息对应的文本表达类型；

答复生成单元，用于采用与所述文本表达类型对应的目标语言模型，生成所述语音信息的理解结果信息；

理解输出单元，用于通过所述车载终端输出所述理解结果信息。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面的方法。

根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面的方法。

根据本公开的技术解决了车机只能处理简单的语音交互场景的技术问题。通过获取车载终端设备采集的目标用户对应的语音信息，并获取语音信息对应的文本信息。通过文本信息可以确定语音信息对应的文本表达类型，通过采用与文本表达类型相对应的目标语言模型可以实现语音信息的理解，获得相应的理解结果信息。通过目标语言模型与语音信息的文本表达类型的关联，可以使得参与到语音信息的理解的目标语言模型与该语音信息的适配度更高，快速获得准确度较高的理解结果信息。通过车载终端输出理解结果信息，可以实现与目标用户的快速且准确的交互。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开第三实施例的示意图；

图4是根据本公开实施例的一种语音理解的示意性流程图；

图5是根据本公开第四实施例的示意图；

图6是根据本公开第五实施例的示意图；

图7是根据本公开实施例的语音交互方法的一个应用示意图；

图8是根据本公开第六实施例的示意图；

图9是用来实现本公开实施例的语音交互方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供一种语音交互方法、装置、设备、介质及产品，应用于人工智能领域中的自动驾驶、大语言模型以及智能座舱等技术领域，以达到快速而准确地实现车机交互的目的。

相关技术中，车机可以配置于车辆或者驾驶座舱中，通过人机交互实现辅助驾驶。较为常见的辅助驾驶场景中，车机可以采集用户对应的语音信息，根据语音信息确定对应的文本理解模型，通过文本理解模型，理解语音信息中的实际含义。并通过理解语音信息中的含义进行相应的人机交互。例如用户发起“导航到A地”的语音则可以通过NLU（NaturalLanguage Understanding，自然语言处理）模型语音中的理解结果，也即导航和A地两个关键词语。但是目前，NLU模型只能理解简单的语音内容，理解准确度不高，导致在实际应用中，用户只能通过固定的文本发出对应的语音，导致车机交互的场景较为受限。

为了解决上述问题，本公开考虑使用大型语言模型来理解语音内容。但是大型语言模型的参数数量庞大，虽然可以保证理解的准确度，但是理解的速度和效率降低。而若继续使用现有的NLU模型，虽然会保证识别速度和效率，但是识别的准确度降低。因此，本公开中考虑按照用户发出的语音信息中的文本分类进行处理。

因此，本公开的技术方案中，可以获取车载终端设备采集的目标用户对应的语音信息，并获取语音信息对应的文本信息。通过文本信息可以确定语音信息对应的文本表达类型，通过采用与文本表达类型相对应的目标语言模型可以实现语音信息的理解，获得相应的理解结果信息。通过目标语言模型与语音信息的文本表达类型的关联，可以使得参与到语音信息的理解的目标语言模型与该语音信息的适配度更高，快速获得准确度较高的理解结果信息。通过车载终端输出理解结果信息，可以实现与目标用户的快速且准确的交互。

下面将结合附图对本公开的技术方案进行详细说明。

图1为本公开第一实施例的示意图，如图1所示的一种用于实现语音交互方法的系统示意图。

该系统中，车载终端11可以与目标用户交互，采集目标用户的语音信息。而车载终端11可以与服务器12建立通信连接，将语音信息发送至服务器12。

服务器12可以获取车载终端设备11发送的语音信息，并获取信息语音信息对应的文本信息。根据文本信息确定对应的文本表达类型。采用与文本表达类型对应的目标语言模型，确定语音信息的理解结果信息。通过车载终端输出理解结果信息。实现人机交互。

图2为本公开第二实施例的示意图，参考图2所示的种语音交互方法，可以包括下列步骤：

201、获取车载终端采集的目标用户对应的语音信息，并获取语音信息对应的文本信息。

可选地，车载终端可以是指配置于车辆或者座舱中的设备，例如可以为车机、平板电脑等，本实施例中对车载终端的具体类型并不过多限定。

本公开的语音交互方法可以配置于车载终端中，也可以配置于与车载终端存在通信连接的电子设备中，电子设备例如可以为服务器、计算机等设备。服务器例如可以为普通服务器或云服务器，本实施例对电子设备的设备类型并不过多限定。

其中，步骤201中获取车载终端采集的目标用户对应的语音信息可以包括：接收车载终端设备采集的目标用户对应的语音信息。语音信息可以是指通过麦克风采集的语音信号。

获取语音信息对应的文本信息可以包括：基于语音识别模型识别语音信息中的文本信息。语音识别模型可以将语音信息转换为文本信息。

文本信息可以是指由多个文字组成的信息。

202、根据文本信息，确定语音信息对应的文本表达类型。

其中，文本表达类型可以是指文本信息的具体表达方式。文本表达类型可以为命令式表达类型或非命令式表达类型中的任一种。

步骤202可以包括：根据文本信息的复杂度，确定语音信息对应的文本表达类型。按照文本信息的复杂度进行文本表达类型的分类，文本表达类型可以体现文本信息的复杂程度，进而通过文本表达类型确定的目标语言模型与文本信息的复杂度相匹配，使得识别准确性和识别效率能够达到平衡。

203、采用与文本表达类型对应的目标语言模型，确定语音信息的理解结果信息。

目标语言模型可以是指用于实现文本理解的自然语言处理模型（NLU，NaturalLanguage Understanding）。自然语言处理模型可以通过计算机理解和分析自然语言文本或语音中的具体内容。

理解结果信息可以是指通过NLU模型理解的文本信息中的含义所形成的信息。

可选地，步骤203，可以包括：将语音信息的文本信息输入到目标语言模型，获得语音信息的理解结果信息。

进一步地，理解结果信息可以是指通过领域、意图和槽值三个维度表示的信息。

示例性地，假设语音信息为“帮我订一张去北京的票”，则理解结果信息可以是指通过领域：机票，意图：订机票，槽值：达到地=北京。通过理解结果信息可以准确表示语音信息的理解内容。

204、通过车载终端输出理解结果信息。

可选地，步骤204可以包括：确定理解结果信息对应的应用程序，通过调用车载终端的应用程序实现相应的交互操作。

以上述“帮我订一张去北京的票”为例，可以通过理解结果信息确定需要订一张去北京的机票，因此可以调用订票程序，并启动车载终端的订票程序，并控制车载终端的订票程序以到达地为北京作为查询目标，查询剩余机票，并显示剩余机票，并通过与用户交互完成机票预订。

本公开的技术方案中，可以获取车载终端设备采集的目标用户对应的语音信息，并获取语音信息对应的文本信息。通过文本信息可以确定语音信息对应的文本表达类型，通过采用与文本表达类型相对应的目标语言模型可以实现语音信息的理解，获得相应的理解结果信息。通过目标语言模型与语音信息的文本表达类型的关联，可以使得参与到语音信息的理解的目标语言模型与该语音信息的适配度更高，快速获得准确度较高的理解结果信息。通过车载终端输出理解结果信息，可以实现与目标用户的快速且准确的交互。

为使读者更深刻地理解本公开的实现原理，现结合以下图3-图7对图2所示的实施例进行进一步细化。

在实际应用中可以提供两个以上的语言处理模型，进而按照语音信息对应的文本表达类型，实现终端设备的准确传输。

因此，作为一个实施例，采用与文本表达类型对应的目标语言模型，生成语音信息的理解结果信息，包括：

从预设至少两个语言处理模型中确定与文本表达类型对应的目标语言模型，至少两个语言处理模型包括文本处理模型和大型语言模型，文本处理模型的参数数量小于大型语言模型的参数数量。

通过目标语言模型，确定语音信息的理解结果信息。

文本处理模型可以为语言处理模型的一种，可以是指参数较少的小型语言处理模型。

大型语言模型（LLM，Large Language Model）大型语言模型可以为NLU的一种，具体可以是指使用大量文本数据训练、参数数量较为庞大的深度学习模型。

大型语言模型的模型规模大于文本处理模型的模型规模。大型语言模型的模型参数更多，可以实现更复杂的文本的理解处理。

可选地，语言处理模型可以包括输入层、隐藏层和输出层。

其中，文本处理模型的输入层和大型语言模型的输入层可以不同。相较于文本处理模型的输入层，大型语言模型的输入层可以更复杂，包含更多的输入神经元，以接收更复杂的文本信息。

文本处理模型的隐藏层和大语言模型的隐藏层可以不同。相较于文本处理模型的隐藏层，大型语言模型的隐藏层可以更复杂，包含更多隐藏神经元，以对更复杂的文本信息进行特征提取，获得更准确文本特征。

此外，文本处理模型的输出层和大型语言模型的输出层可以不同。相较于文本处理模型的输出层，大型语言模型的输出层也更复杂。文本处理模型的输出层可以对命令式表达类型的文本进行理解处理。而大型语言模型可以对非命令式表达类型的文本特征进行理解处理，获得理解结果信息。而非命令式表达类型可以包括至少一种，也即，大型语言模型的输出层可以对至少一种非命令式表达类型的文本特征进行理解。继而大型语言模型的输出层可以对至少一种非命令式表达类型中与文本特征对应的非命令式表达类型对应的理解结果信息。

本公开的技术方案，从预设的至少两个语言处理模型中确定文本表达类型对应的目标语言模型，可以使得目标语言模型是与文本表达类型相对应的语言处理模型，使得目标语言模型不局限于单一的语言处理模型，适用于更多的文本理解场景，进而通过目标语言模型获得的语音信息的理解结果信息时，可以兼顾处理效率和处理精度，使得语音理解效果有效提升。

图3为本公开第三实施例的示意图，参考图3所示的语音交互方法，与前述实施例的不同之处在于，从预设至少两个语言处理模型中确定与文本表达类型对应的目标语言模型，可以包括：

301、判断文本表达类型是否为命令式表达类型。若是，则执行302，若否，则执行304。

命令式表达类型是指按照命令表达结构表达的表达类型，命令表达结构包括：动词和动词对应的动作目标。

命令式表达类型可以是指能够按照命令表达结果直接提取动词和动词对应的动作目标。命令表达结构中的动词可以用于确定意图，动词对应的动作目标可以用于确定槽值。

例如“导航到A地”可以为一种命令式表达类型。可以从“导航到A地”中提取到意图：导航，槽值：目标地=A地的理解内容。

302、从预设至少两个语言处理模型中确定文本处理模型为目标语言模型。

303、利用文本处理模型，确定语音信息的理解结果信息。

可选地，利用文本处理模型，确定语音信息的理解结果信息可以包括：将语音信息的文本信息输入到文本处理模型，获得文本处理模型输出的理解结果信息。

304、判断文本表达类型为非命令式表达类型，若是，则执行304。

可选地，本实施例中可以为文本表达类型设置类型标识。例如命令式表达类型可以设置为第一类型标识。非命令式表达类型可以设置为第二类型标识。

若文本表达类型为第一类型标识，则确定文本表达类型为命令式表达类型。若文本表达类型为第二类型标识，则确定文本表达类型为非命令式表达类型。

进一步地，步骤301可以包括：判断文本表达类型的类型标识是否为命令式表达类型的第一类型标识。步骤304可以包括：判断文本表达类型的类型标识是否为非命令式表达类型的第二来写标识。

305、从预设至少两个语言处理模型中确定大型语言模型为目标语言模型。

可选地，非命令式表达类型的文本表达复杂度大于命令式表达类型的文本表达复杂度。

将大型语言模型作为目标语言模型可以实现更复杂的文本信息的理解。

306、利用大型语言模型，确定语音信息的理解结果信息。

可选地，步骤306，可以包括：将语音信息的文本信息发送至大型语言模型，获得大型语言模型输出的理解结果信息。

在实际应用中，使用大型语言模型确定语音信息的理解结果信息时，可以先获取语音信息的背景语音信息，并通过大型语言模型识别语音信息和背景语音信息中的理解结果信息。

本公开的技术方案中，语音信息的文本表达类型可以为命令式表达类型和非命令式表达类型中的任一种，非命令式表达类型的表达复杂度大于命令式表达类型的表达复杂度。在文本表达类型为命令式表达类型时，说明语音信息的文本信息表达方式较为简洁、明确，可以通过普通的文本处理模型实现文本信息的理解，提高文本理解的效率。而在文本表达类型为非命令式表达类型时，说明语音信息的文本信息表达较为复杂，可以通过能够识别复杂文本的大型语言模型完成文本信息的理解，提高文本理解的准确度。因此，通过文本表达类型匹配对应的目标语言模型，可以在兼顾速度和准确性两个维度上实现语音信息的理解。

进一步地，在上述任一实施例的基础上，确定文本处理模型为目标语言模型之后，还包括：

若通过文本处理模型未获取到语音信息的理解结果信息，则确定大型语言模型为目标语言模型。

为了便于理解本公开的技术方案，图4示出了一种语音理解的示意性流程图。参考图4，获得语音信息之后，可以获取语音信息中的文本信息，之后确定文本信息对应的文本表达类型。判断文本表达类型是否为命令式表达类型。若是，则可以确定文本处理模型为目标语言模型。若否，则可以确定大型语言模型为目标语言模型。通过文本处理模型对文本信息进行理解，并判断文本处理模型是否获取到理解结果信息。若是，则确定理解结果信息。若否则确定大型语言模型为目标语言模型。

进一步地，在大型语言模型为目标语言模型时，获取大型语言模型确定的理解结果信息。

本公开的技术方案中，在文本处理模型未获取到语音信息的理解结果信息时，可以将大型语言模型作为目标语言模型。通过大型语言模型再次获取语音信息中的理解结果信息，避免因文本处理模型理解失败产生理解空白现象，可以有效提升语音信息的理解成功率。

进一步地，在上述任一实施例的基础上，根据文本信息，确定语音信息对应的文本表达类型，包括：

基于训练获得的文本分类器，对文本信息的文本表达方式进行分类，获得语音信息对应的文本表达类型，文本分类器包括命令式表达类型和非命令式表达类型。

可选地，命令式表达类型和非命令式表达类型可以作为文本分类器的两种分类类别。基于训练获得的文本分类器，对文本信息的文本表达方式进行分类，获得语音信息对应的文本表达类型，可以包括：将文本信息输入到训练获得的文本分类器，获得语音信息对应的文本表达类型。

其中，文本分类器分类获得的文本表达类型可以为命令式表达类型或非命令式表达类型。

本公开的技术方案中，通过文本分类器实现文本信息的文本表达方式的分类，可以实现语音信息的文本表达方式的自动分类，提高文本信息的分类效率和准确性。

可选地，非命令式表达类型，包括：自然表达类型、指代表达类型、省略表达类型、语法错误类型以及停顿表达类型中的至少一个。

自然表达类型是指文本使用自然语言表达方式表达的表达类型。

指代表达类型是指文本中使用代词指代实体词的表达类型。

语法错误类型是指文本中存在语法错误和/或表达错误的表达类型。

省略表达类型是指文本中存在省略关键实体词的表达类型。

停顿表达类型是指前后文本存在表述关联的表达类型。

可选地，自然语言表达方式可以为较为口语化的表达方式，不具备命令表达结构的表达方式。例如“我今天起床后一直忙到现在，饭还没吃呢，有没有推荐的地方”，该文本信息中直接提取出按照命令表达结构表达的短句较为困难，需要使用能够识别更复杂的文本信息的大型语言模型进行更为口语化的文本信息进行理解，获得更准确的理解结果信息。

指代表达类型中的使用代词指代实体词的表达方式是指，文本信息中出现代词。代词例如可以为人称代词、物主代词、指示代词、反身代词、相互代词、疑问代词、关系代词、连接代词、不定待敌、替代词等任一种代词。代词例如可以为“她，他，它”“这、哪、那”等。例如，语句1为“介绍下T景点”语句2为“听起来不错，导航去那边吧”。这时语句2作为文本信息进行理解时，需要确定“那边”对应的地点为“T景点”。需要获取语句2的背景语句，也即语句1，进行语言识别处理。采用大型语言模型可以对指代表达类型的文本信息进行指代确认，以进行语义理解，获得准确的理解结果信息。

语法错误类型的文本中存在语法错误和/或表达错误。例如可以包括存在重复词语，错误用词等现象。例如：“导航去天天天天地”中存在重复字“天”。“播S的电话”中的“播”字错误。采用大型语言模型可以对语法错误类型的文本信息进行文本纠错，以进行语义理解，获得准确的理解结果信息。

省略表达类型中省略的关键实体词可以为文本中的主语、谓语、宾语、定语、状语或补语等相关的词语，关键实体词可以是指对文本理解起到关键作用的词语。例如语句1为“介绍下T景点”语句2为“听起来T景点的T1位置不错，赶紧导航过去吧”。语句2中“导航”缺乏补语。根据上下文可以确定“T景点的T1位置”为动词导航的补语。采用大型语言模型可以对省略表达类型的文本信息进行词语补齐，以进行语义理解，获得准确的理解结果信息。

停顿表达类型中前后文本存在表述关联可以是指前后两个文本拼接之后为一个完整的句子。例如语句1为“导航去D城市”，语句2为“的博物馆”。语句2作为语音信号时，并不是一个完整的句子，可以确定为停顿表达类型。可以采用大型语言模型对停顿表达类型以及其前一句话进行语句拼接，以对拼接后的完整语句进行语义理解，获得准确的理解结果信息。

当然，在实际应用中，非命令式表达类型还可以包含其它表达类型，本实施例中列举的自然表达类型、指代表达类型、省略表达类型、语法错误类型以及停顿表达类型等类型仅是示例性的，并不应构成对非命令式表达类型的具体限定。

本公开的技术方案中，将自然表达类型、指代表达类型、省略表达类型、语法错误类型以及停顿表达类型中的至少一个作为非命令式表达类型。进而可以使得非命令式表达类型包含至少一种文本表达类型，能够完成更复杂的文本分类，提高文本表达类型的分类有效性，避免因非命令式表达类型的构成单一，造成的文本表达类型的分类识别现象。

图5为本公开第四实施例的示意图，参考图5所示的文本分类器训练方法，可以包括：

501、按照命令式表达类型，采集第一训练数据，第一训练数据包括按照命令式表达类型对应的命令表达结构表达的训练文本和命令式表达类型对应的类型标签。

502、按照非命令式表达类型，采集第二训练数据，第二训练数据包括按照非命令式表达类型采集训练文本和非命令式表达类型对应的类型标签。

503、基于第一训练数据和第二训练数据，训练获得文本分类器。

可选地，按照命令式表达类型，采集第一训练数据，可以包括：从语料库中读取多条候选文本，选择多条候选文本中按照命令表达结构表示的第一候选文本，获得命令式表达类型对应的第一训练数据。

可选地，按照非命令式表达类型，采集第二训练数据，可以包括从语料库中读取多条候选文本，选择多条候选文本中按照非命令表达结构表示的第二候选文本，获得非命令式表达类型对应的第二训练数据。

当然，在实际应用中，获得第一候选文本和第二候选文本之后，可以由人工确认第一候选文本是否属于命令式表达类型，还可以由人工确认第二候选文本是否属于非命令式表达类型。通过人工确认可以使得训练文本与训练需求相对应，进而使得文本分类器的训练过程更有效。

本公开的技术方案中，利用命令式表达类型的第一训练数据和非命令式表达类型的第二训练数据，训练文本分类器。可以使得文本分类器学习到采用命令表达结果表达的训练文本和非命令式表达类型采集的训练文本，能够对两种类型的文本进行有效分类，使得文本分类器的分类准确度更高。

图6为本公开第五实施例的示意图，参考图6所示的示意图，与前述实施例的不同之处在于，根据文本信息，确定语音信息对应的文本表达类型，可以包括：

601、确定文本信息对应的文本复杂度。

602、若文本复杂度小于或等于复杂度阈值，则确定命令式表达类型为语音信息对应的文本表达类型。

603、若文本复杂度大于复杂度阈值，则确定非命令式表达类型为语音信息对应的文本表达类型。

可选地，文本复杂度可以是指文本信息的复杂程度，具体可以是一个复杂概率值。

其中，步骤601，可以包括通过文本复杂度预测模型，确定文本信息对应的文本复杂度。文本复杂度预测模型可以是指训练获得的用于预测文本复杂度的深度学习模型。文本复杂度预测模型可以训练获得。

具体地，可以获取多条复杂训练数据，每条复杂训练数据可以对应有真实复杂度。可以根据多条复杂训练数据以及每条复杂训练数据的真实复杂度，训练文本复杂度预测模型。文本复杂度预测模型的输入为待预测文本，输出为待预测文本的复杂度。

复杂度阈值可以是根据使用需求设置的常数。复杂度阈值可以大于0且小于1。示例性地，复杂度阈值可以为0.5。

其中，步骤601，具体还可以包括：利用至少一个复杂因子，对文本信息在各复杂因子进行概率分析，获得文本信息在至少一个复杂因子分别对应的复杂概率。

进一步地，可以将至少一个复杂因子分别对应的复杂概率进行加权求和，获得文本信息的文本复杂度。此外，还可以直接确定至少一个复杂因子分别对应的复杂度概率即为文本复杂度。

可选地，至少一个复杂因子分别对应的权重可以相同。当然至少一个复杂因子分别对应的权重也可以不同，至少一个复杂因子分别对应的权重可以根据使用需求设置。

其中。至少一个复杂因子可以包括至少一个文本表达类型对应的复杂因子。也即，至少一个复杂因子具体可以包括：自然表达类型对应的表达复杂因子、指代表达类型对应的指代复杂因子、语法错误类型对应的语法复杂因子、省略表达类型对应的省略复杂因子以及停顿表达类型对应的停顿复杂因子中的至少一个。

具体地，可以对文本信息进行分词，获得至少一个词语以及至少一个词语分别对应的词语类型；根据至少一个词语分别对应的词语类型，对至少一个复杂因子分别对应的概率值进行获取，获得至少一个复杂因子分别对应的复杂概率。

进一步地，对任一个复杂因子而言，可以确定文本信息的至少一个词语以及至少一个词语分别对应的词语类型中与该复杂因子关联的词语或者词语类型的数量，获得该复杂因子的文本相关数量。进而获得至少一个复杂因子分别对应文本相关数量，之后将至少一个复杂因子分别对应的文本相关数量进行归一化处理，获得至少一个复杂因子分别对应的复杂概率。当然本实施例中所示的复杂因子的复杂概率的获取方式仅是示例性的，并不应构成对本公开技术方案的详细限定。

本实施例中，若文本复杂度由至少一个复杂因子分别对应的复杂概率加权求和获得，加权求和获得的数值即为获得文本信息的文本复杂度。此时可以根据复杂度阈值与文本复杂度的直接比较，确定文本表达类型。

本实施例中，若文本复杂度由至少一个复杂因子分别对应的复杂概率构成。此时，复杂度阈值则可以为至少一个复杂因子分别对应的因子阈值。

进一步地，若一个或多个复杂因子的复杂概率大于对应的因子阈值，则说明确定非命令式表达类型为语音信息对应的文本表达类型。若至少一个复杂因子中所有复杂因子的复杂概率小于对应的因子阈值，则确定命令式表达类型为语音信息对应的文本表达类型。

本公开的技术方案中，根据文本信息的文本复杂度与复杂度阈值的大小关系确定文本信息的文本表达类型。进而若文本复杂度小于或等于复杂度阈值，则确定命令式表达类型为语音信息对应的文本表达类型，若文本复杂度大于复杂度阈值，则确定非命令式表达类型为语音信息对应的文本表达类型。通过复杂度对文本信息的文本表达类型进行确认，可以使得目标语言模型的确定是通过文本复杂度实现的。进而将复杂度较高的文本信息使用大型语言模型处理，保证文本理解的准确度。将复杂度较低的文本信息使用文本处理模型处理，保证文本理解的效率。

进一步地，在上述任一实施例的基础上，通过车载终端输出理解结果信息，包括：

从车载终端支持的至少一个应用程序中确定与理解结果信息对应的目标应用程序。

根据目标应用程序，生成理解结果信息对应的交互结果。

通过车载终端的目标应用程序执行交互结果。

可选地，车载终端支持的至少一个应用程序可以是指能够在车载终端运行的应用程序。

从车载终端支持的至少一个应用程序中确定与理解结果信息对应的目标应用程序可以包括：获取车载终端支持的至少一个应用程序分别对应的程序功能，获取理解结果信息中的领域，从至少一个应用程序分别对应的程序功能中确定与该理解结果信息中的领域相匹配的目标程序功能。并确定目标程序功能对应的应用程序为目标应用程序。

进一步地，与该理解结果信息中的领域相匹配的目标程序功能，具体可以是指目标程序功能中包含理解结果信息中的领域。

示例性地，以至少一个应用程序包括：电子地图程序、音乐播放程序、拨打电话程序为例。假设理解结果信息的领域为导航领域，则确定具备导航功能的电子地图程序为目标应用程序。

可选地，根据目标应用程序，生成理解结果信息对应的交互结果，可以包括获取理解结果信息中的意图和槽值，根据意图、槽值，生成目标应用程序的操作指令，发送操作指令至车载终端设备的目标应用程序的调用接口，操作指令指示目标应用程序按照意图和槽值执行相应的操作。

本公开的技术方案中，获得理解结果信息之后，可以从车载终端支持的至少一种应用程序中确定与理解结果信息对应的目标应用程序。通过先确定与理解结果信息对应的目标应用程序，可以实现对车载终端的交互对象的获取，而在并根据目标应用程序，生成理解结果信息对应的交互结果之后，可以通过车载终端的目标应用程序执行交互结果，完成从理解结果信息到车载终端的交互，提高用户的交互体验。

为了便于理解本公开的技术方案，图7示出了本公开的语音交互方法的一个应用示意图。参考图7假设目标用户701输入两条语音，分别为语音1“请介绍下H山”和语音2“听起来不错，请导航去那吧”。语音2可以为目标用户701对应的最新语音信息。将语音2输入到文本分类器可以确定语音2的文本信息为指代表达类型。进而确定语音2为非命令式表达类型，因此可以确定大型语言模型为语音2的目标语言模型。进而可以通过大型语言模型，确定语音2以及语音2关联的语音1对应的理解结果信息702。

在目标用户703输入语音3“导航到B地”。将语音3输入到文本分类器可以确定语音3的文本信息为命令式表达类型，因此，确定文本处理模型为语音3的目标语言模型。进而可以通过文本处理模型，确定语音3的理解结果信息704。

图8为本公开第六实施例的示意图，参考图8所示的语音交互装置，可以包括：信息获取单元801，类型确定单元802，答复生成单元803以及理解输出单元804。

其中，信息获取单元801用于获取车载终端采集的目标用户对应的语音信息，并获取语音信息对应的文本信息。类型确定单元802，用于根据文本信息，确定语音信息对应的文本表达类型。答复生成单元803，用于采用与文本表达类型对应的目标语言模型，生成语音信息的理解结果信息。理解输出单元804，用于通过车载终端输出理解结果信息。

进一步地，在上述任一实施例的基础上，答复生成单元，包括：

模型选择模块，用于从预设至少两个语言处理模型中确定与文本表达类型对应的目标语言模型，至少两个语言处理模型包括文本处理模型和大型语言模型，文本处理模型的参数数量小于大型语言模型的参数数量。

信息理解模块，用于通过目标语言模型，确定语音信息的理解结果信息。

进一步地，在上述任一实施例的基础上，模型选择模块，包括：

第一选择子模块，用于若文本表达类型为命令式表达类型，则从预设至少两个语言处理模型中确定文本处理模型为目标语言模型，命令式表达类型是指按照命令表达结构表达的表达类型，命令表达结构包括：动词和动词对应的动作目标。

进一步地，在上述任一实施例的基础上，确定文本处理模型为目标语言模型之后，还包括：

若通过文本处理模型未获取到语音信息的理解结果信息，则确定大型语言模型为目标语言模型。

进一步地，在上述任一实施例的基础上，模型选择模块，包括：

第二选择子模块，用于若文本表达类型为非命令式表达类型，则从预设至少两个语言处理模型中确定大型语言模型为目标语言模型，非命令式表达类型的表达复杂度大于命令式表达类型的表达复杂度。

进一步地，在上述任一实施例的基础上，类型确定单元，包括：

文本分类单元，用于基于训练获得的文本分类器，对文本信息的文本表达方式进行分类，获得语音信息对应的文本表达类型，文本分类器包括命令式表达类型和非命令式表达类型。

进一步地，在上述任一实施例的基础上，非命令式表达类型，包括：自然表达类型、指代表达类型、省略表达类型、语法错误类型以及停顿表达类型中的至少一个。

自然表达类型是指文本使用自然语言表达方式表达的表达类型。

指代表达类型是指文本中使用代词指代实体词的表达类型。

语法错误类型是指文本中存在语法错误和/或表达错误的表达类型。

省略表达类型是指文本中存在省略关键实体词的表达类型。

停顿表达类型是指前后文本存在表述关联的表达类型。

进一步地，在上述任一实施例的基础上，还包括：

第一采集单元，用于按照命令式表达类型，采集第一训练数据，第一训练数据包括按照命令式表达类型对应的命令表达结构表达的训练文本和命令式表达类型对应的类型标签。

第二采集单元，用于按照非命令式表达类型，采集第二训练数据，第二训练数据包括按照非命令式表达类型采集训练文本和非命令式表达类型对应的类型标签。

模型训练单元，用于基于第一训练数据和第二训练数据，训练获得文本分类器。

进一步地，在上述任一实施例的基础上，类型确定单元，包括：

复杂确定模块，用于确定文本信息对应的文本复杂度。

第一确定模块，用于若文本复杂度小于或等于复杂度阈值，则确定命令式表达类型为语音信息对应的文本表达类型。

第二确定模块，用于若文本复杂度大于复杂度阈值，则确定非命令式表达类型为语音信息对应的文本表达类型。

进一步地，在上述任一实施例的基础上，理解输出单元，包括：

程序确定模块，用于从车载终端支持的至少一个应用程序中确定与理解结果信息对应的目标应用程序。

结果生成模块，用于根据目标应用程序，生成理解结果信息对应的交互结果。

结果输出模块，用于通过车载终端的目标应用程序执行交互结果。

需要说明的是，本实施例中的至少两个语言处理模型并不是针对某一特定用户的语言处理模型，并不能反映出某一特定用户的个人信息。需要说明的是，本实施例中的训练数据来自于公开数据集。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器（ROM）902中的计算机程序或者从存储单元908加载到随机访问存储器（RAM）903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出（I/O）接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如语音交互方法。例如，在一些实施例中，语音交互方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的语音交互方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行语音交互方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语音的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（"Virtual Private Server"，或简称 "VPS"）中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种语音交互方法，包括：

获取车载终端采集的目标用户对应的语音信息，并获取所述语音信息对应的文本信息；

根据所述文本信息，确定所述语音信息对应的文本表达类型；

采用与所述文本表达类型对应的目标语言模型，确定所述语音信息的理解结果信息；

通过所述车载终端输出所述理解结果信息；

其中，所述采用与所述文本表达类型对应的目标语言模型，生成所述语音信息的理解结果信息，包括：

从预设至少两个语言处理模型中确定与所述文本表达类型对应的目标语言模型，所述至少两个语言处理模型包括文本处理模型和大型语言模型，所述文本处理模型的参数数量小于所述大型语言模型的参数数量；

通过所述目标语言模型，确定所述语音信息的理解结果信息。

2.根据权利要求1所述的方法，其中，所述从预设至少两个语言处理模型中确定与所述文本表达类型对应的目标语言模型，包括：

若所述文本表达类型为命令式表达类型，则从预设至少两个所述语言处理模型中确定所述文本处理模型为所述目标语言模型，所述命令式表达类型是指按照命令表达结构表达的表达类型，所述命令表达结构包括：动词和所述动词对应的动作目标。

3.根据权利要求2所述的方法，其中，所述确定所述文本处理模型为所述目标语言模型之后，还包括：

若通过所述文本处理模型未获取到所述语音信息的理解结果信息，则确定所述大型语言模型为所述目标语言模型。

4.根据权利要求1-3任一项所述的方法，其中，所述从预设至少两个语言处理模型中确定与所述文本表达类型对应的目标语言模型，包括：

若所述文本表达类型为非命令式表达类型，则从预设至少两个所述语言处理模型中确定所述大型语言模型为所述目标语言模型。

5.根据权利要求1-3任一项所述的方法，其中，所述根据所述文本信息，确定所述语音信息对应的文本表达类型，包括：

基于训练获得的文本分类器，对所述文本信息的文本表达方式进行分类，获得所述语音信息对应的文本表达类型，所述文本分类器包括命令式表达类型和非命令式表达类型。

6.根据权利要求5所述的方法，其中，所述非命令式表达类型，包括：自然表达类型、指代表达类型、省略表达类型、语法错误类型以及停顿表达类型中的至少一个；

所述自然表达类型是指文本使用自然语言表达方式表达的表达类型；

所述指代表达类型是指文本中使用代词指代实体词的表达类型；

所述语法错误类型是指文本中存在语法错误和/或表达错误的表达类型；

所述省略表达类型是指文本中存在省略关键实体词的表达类型；

所述停顿表达类型是指前后文本存在表述关联的表达类型。

7.根据权利要求5所述的方法，其中，还包括：

按照所述命令式表达类型，采集第一训练数据，所述第一训练数据包括按照所述命令式表达类型对应的命令表达结构表达的训练文本和所述命令式表达类型对应的类型标签；

按照所述非命令式表达类型，采集第二训练数据，所述第二训练数据包括按照所述非命令式表达类型采集训练文本和所述非命令式表达类型对应的类型标签；

基于所述第一训练数据和所述第二训练数据，训练获得所述文本分类器。

8.根据权利要求1-3任一项所述的方法，其中，所述根据所述文本信息，确定所述语音信息对应的文本表达类型，包括：

确定所述文本信息对应的文本复杂度；

若所述文本复杂度小于或等于复杂度阈值，则确定命令式表达类型为所述语音信息对应的文本表达类型；

若所述文本复杂度大于所述复杂度阈值，则确定非命令式表达类型为所述语音信息对应的文本表达类型。

9.根据权利要求1-3任一项所述的方法，其中，所述通过所述车载终端输出所述理解结果信息，包括：

从所述车载终端支持的至少一个应用程序中确定与所述理解结果信息对应的目标应用程序；

根据所述目标应用程序，生成所述理解结果信息对应的交互结果；

通过所述车载终端的所述目标应用程序播放所述交互结果。

10.一种语音交互装置，包括：

信息获取单元，用于获取车载终端采集的目标用户对应的语音信息，并获取所述语音信息对应的文本信息；

类型确定单元，用于根据所述文本信息，确定所述语音信息对应的文本表达类型；

答复生成单元，用于采用与所述文本表达类型对应的目标语言模型，生成所述语音信息的理解结果信息；

理解输出单元，用于通过所述车载终端输出所述理解结果信息；

其中，所述答复生成单元，包括：

模型选择模块，用于从预设至少两个语言处理模型中确定与所述文本表达类型对应的目标语言模型，所述至少两个语言处理模型包括文本处理模型和大型语言模型，所述文本处理模型的参数数量小于所述大型语言模型的参数数量；

信息理解模块，用于通过所述目标语言模型，确定所述语音信息的理解结果信息。

11.根据权利要求10所述的装置，其中，所述模型选择模块，包括：

第一选择子模块，用于若所述文本表达类型为命令式表达类型，则从预设至少两个所述语言处理模型中确定所述文本处理模型为所述目标语言模型，所述命令式表达类型是指按照命令表达结构表达的表达类型，所述命令表达结构包括：动词和所述动词对应的动作目标。

12.根据权利要求11所述的装置，其中，所述确定所述文本处理模型为所述目标语言模型之后，还包括：

若通过所述文本处理模型未获取到所述语音信息的理解结果信息，则确定所述大型语言模型为所述目标语言模型。

13.根据权利要求10-12任一项所述的装置，其中，所述模型选择模块，包括：

第二选择子模块，用于若所述文本表达类型为非命令式表达类型，则从预设至少两个所述语言处理模型中确定所述大型语言模型为所述目标语言模型，所述非命令式表达类型的表达复杂度大于命令式表达类型的表达复杂度。

14.根据权利要求10-12任一项所述的装置，其中，所述类型确定单元，包括：

文本分类单元，用于基于训练获得的文本分类器，对所述文本信息的文本表达方式进行分类，获得所述语音信息对应的文本表达类型，所述文本分类器包括命令式表达类型和非命令式表达类型。

15.根据权利要求14所述的装置，其中，所述非命令式表达类型，包括：自然表达类型、指代表达类型、省略表达类型、语法错误类型以及停顿表达类型中的至少一个；

所述自然表达类型是指文本使用自然语言表达方式表达的表达类型；

所述指代表达类型是指文本中使用代词指代实体词的表达类型；

所述语法错误类型是指文本中存在语法错误和/或表达错误的表达类型；

所述省略表达类型是指文本中存在省略关键实体词的表达类型；

所述停顿表达类型是指前后文本存在表述关联的表达类型。

16.根据权利要求15所述的装置，其中，还包括：

第一采集单元，用于按照所述命令式表达类型，采集第一训练数据，所述第一训练数据包括按照所述命令式表达类型对应的命令表达结构表达的训练文本和所述命令式表达类型对应的类型标签；

第二采集单元，用于按照所述非命令式表达类型，采集第二训练数据，所述第二训练数据包括按照所述非命令式表达类型采集训练文本和所述非命令式表达类型对应的类型标签；

模型训练单元，用于基于所述第一训练数据和所述第二训练数据，训练获得所述文本分类器。

17.根据权利要求10-12任一项所述的装置，其中，所述类型确定单元，包括：

复杂确定模块，用于确定所述文本信息对应的文本复杂度；

第一确定模块，用于若所述文本复杂度小于或等于复杂度阈值，则确定命令式表达类型为所述语音信息对应的文本表达类型；

第二确定模块，用于若所述文本复杂度大于所述复杂度阈值，则确定非命令式表达类型为所述语音信息对应的文本表达类型。

18.根据权利要求10-12任一项所述的装置，其中，所述理解输出单元，包括：

程序确定模块，用于从所述车载终端支持的至少一个应用程序中确定与所述理解结果信息对应的目标应用程序；

结果生成模块，用于根据所述目标应用程序，生成所述理解结果信息对应的交互结果；

结果输出模块，用于通过所述车载终端的所述目标应用程序播放所述交互结果。

19. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-9中任一项所述方法的步骤。