CN114898752B

CN114898752B - 语音交互方法、车辆及存储介质

Info

Publication number: CN114898752B
Application number: CN202210762117.8A
Authority: CN
Inventors: 胡蓉; 陈松吟; 王超; 王天一; 顾斐琦; 简驾; 张运旭
Original assignee: Guangzhou Xiaopeng Motors Technology Co Ltd
Current assignee: Guangzhou Xiaopeng Motors Technology Co Ltd
Priority date: 2022-06-30
Filing date: 2022-06-30
Publication date: 2022-10-14
Anticipated expiration: 2042-06-30
Also published as: CN114898752A

Abstract

本申请公开了一种语音交互方法，包括：在接收到车辆座舱内第一用户的第一语音请求且未对第一语音请求的执行结果进行播报的情况下，若接收到车辆座舱内与第一用户位置不同的第二用户的第二语音请求，根据预定反馈策略处理第一语音请求和所述第二语音请求，生成针对包括第一语音请求的执行结果和第二语音请求的执行结果在内的反馈内容；以及根据反馈内容完成语音交互。本申请的语音交互方法，对于座舱内不同用户多语音场景，在先语音请求未反馈的情况下，将根据预定反馈策略对多个语音请求进行统一反馈，生成融合多内容的反馈内容，在反馈时可以兼顾到所有发出语音请求的用户，符合自然交流的沟通习惯，提高人机交互的沟通效率，提升用户体验。

Description

语音交互方法、车辆及存储介质

技术领域

本申请涉及交通领域，特别涉及一种语音交互方法、车辆及计算机可读存储介质。

背景技术

车载系统的语音助手为座舱内的用户提供诸多便利，用户可以通过语音交互实现对软件或座舱内车辆零部件的控制。由于车内空间属于共享环境，会存在多个用户同时与语音助手进行交互的情况。相关技术中，语音助手尽管能够识别不同方位、不同用户的语音请求，但受音频输出通道的限制单轮只能够服务一位用户，也即是每次只能够语音回复一个用户的语音请求，而对其他用户的语音请求暂不处理，无法同时为多位用户提供及时地反馈，用户体验不佳。

发明内容

有鉴于此，本申请提供了一种语音交互方法、车辆及计算机可读存储介质。

本申请提供了一种语音交互方法，包括：

在接收到车辆座舱内第一用户的第一语音请求且未对所述第一语音请求的执行结果进行播报的情况下，若接收到车辆座舱内与所述第一用户位置不同的第二用户的第二语音请求，根据预定反馈策略处理所述第一语音请求和所述第二语音请求，生成针对所包括述第一语音请求的执行结果和所述第二语音请求的执行结果在内的反馈内容；

根据所述反馈内容完成所述语音交互。

如此，本申请的语音交互方法，对于车辆座舱内不同位置处的多用户多语音请求的场景，在先语音请求未反馈的情况下，将根据预定反馈策略对多个语音请求进行统一反馈，生成融合多内容的反馈内容，并根据反馈内容完成语音交互。在反馈时可以兼顾到所有发出语音请求的用户，符合自然交流的沟通习惯，提高人机交互的沟通效率，提升用户体验。

所述根据预定反馈策略处理所述第一语音请求和所述第二语音请求，生成针对包括所述第一语音请求的执行结果和所述第二语音请求的执行结果在内的反馈内容，包括：

若所述第一语音请求和所述第二语音请求中至少一个属于多轮任务类型，生成第一反馈内容，所述第一反馈内容包括属于多轮任务类型的语音请求的执行结果以及属于单轮任务类型的语音请求延后反馈的提示信息。

如此，根据每个语音请求的任务场景信息，对于存在语音请求属于多轮任务类型的情况，对于多轮任务类型的语音请求优先反馈，并提示用户单轮任务类型的语音请求延后反馈。

若所述第一语音请求和所述第二语音请求均属于单轮任务类型，根据所述第一语音请求和所述第二语音请求的语义信息，对针对所述第一语音请求的反馈和针对所述第二语音请求的反馈进行融合处理以生成所述反馈内容。

如此，对于全部语音请求均属于单轮任务类型的情况，根据多个语音请求的语义信息对反馈内容进行融合处理，为用户提供简洁高效的反馈。

所述根据所述第一语音请求和所述第二语音请求的语义信息，对针对所述第一语音请求的反馈和针对所述第二语音请求的反馈进行融合处理以生成所述反馈内容，包括：

若所述第一语音请求和所述第二语音请求不存在相同的语义信息，且接收到所述第一语音请求和所述第二语音请求的时间差大于或等于预定时间差值，根据所述第一语音请求和所述第二语音请求的先后顺序，生成第二反馈内容，所述第二反馈内容包括根据时间顺序依次反馈的所述第一语音请求的执行结果和所述第二语音请求的执行结果。

如此，在多个语音请求不存在相同语义信息，且能够识别出多个语音请求的先后顺序的情况下，根据语音请求的先后顺序反馈相应语音请求的执行结果，使得不同用户可根据发出语音请求的先后顺序得到反馈，符合自然对话的习惯。

若所述第一语音请求和所述第二语音请求不存在相同的语义信息，且接收到所述第一语音请求和所述第二语音请求的时间差值小于所述预定时间差，生成第三反馈内容，所述第三反馈内容包括告知所述第一用户和所述第二用户请重新下达语音请求的提示信息。

如此，在多个语音请求不存在相同语义信息，且无法识别出多个语音请求的先后顺序的情况下，会请用户重新下达指令，避免车内操作混乱，保障车辆的稳定性和安全。

若所述第一语音请求和所述第二语音请求中存在相同语义信息，对针对所述第一语音请求的反馈和针对所述第二语音请求的反馈中所述相同语义信息进行融合处理以生成第四反馈内容，所述第四反馈内容包括对相同语义信息进行融合处理后的所述第一语音请求的执行结果和所述第二语音请求的执行结果。

如此，在多个语音请求存在相同语义信息的情况下，根据存在的相同语义信息对反馈内容进行融合处理，从而简洁高效地对全部语音请求的执行结果进行反馈。

所述若所述第一语音请求和所述第二语音请求中存在相同语义信息，对针对所述第一语音请求的反馈和针对所述第二语音请求的反馈中所述相同语义信息进行融合处理以生成所述第四反馈内容，包括：

若所述第一语音请求和所述第二语音请求中存在相同指向实体、相同指向位置、相同指向动作、相同指向对象中的至少一个，对针对所述第一语音请求的反馈和针对所述第二语音请求的反馈中相同信息进行融合处理以生成所述第四反馈内容。

如此，相同语义信息包括相同指向实体、相同指向位置、相同指向动作、相同指向对象、及其组合等多种情况，根据相同语义信息的具体情况，对反馈内容进行融合处理，从而简洁高效地对全部语音请求的执行结果进行反馈。

所述第二用户包括多个，所述第二语音请求包括多个，所述根据所述第一语音请求和所述第二语音请求的语义信息，对针对所述第一语音请求的反馈和针对所述第二语音请求的反馈进行融合处理以生成所述反馈内容，包括：

若所述第一语音请求和多个所述第二语音请求中的至少一个存在相同语义信息，对所述第一语音请求和存在相同语义信息的第二语音请求进行融合处理以生成第五反馈内容，所述第五反馈内容包括顺次反馈的融合相同语义信息的所述第一语音请求的执行结果和所述第二语音请求的执行结果以及其他所述第二语音请求的执行结果。

如此，当具有多个第二语音请求的时，将具有相同语义信息的部分进行融合，而不同的部分则依次反馈，也即是，优先反馈融合部分的执行结果，然后再反馈无法进行融合的其他第二语音请求的执行结果，符合自然语言沟通的习惯，也能够简洁高效地对全部语音请求的执行结果进行反馈。

所述根据预定反馈策略处理所述第一语音请求和所述第二语音请求，生成针对所述第一语音请求的执行结果和所述第二语音请求的执行结果的反馈内容，包括：

若所述第一语音请求和所述第二语音请求的语义相反，且接收到所述第一语音请求和所述第二语音请求的时间差小于预定时间差值，生成第六反馈内容，所述第六反馈内容包括告知所述第一用户和第二用户请重新下达语音请求的提示信息。

如此，如果第一语音请求和第二语音请求语义相反，并且无法识别第一语音请求和第二语音请求的先后顺序，会请用户重新下达指令，避免车内操作混乱，保障车辆的稳定性和安全。

若所述第一语音请求和所述第二语音请求的语义相反，且接收到所述第一语音请求和所述第二语音请求的时间差大于或等于预定时间差值，生成第七反馈内容，所述第七反馈内容包括所述第二语音请求的执行结果。

如此，如果第一语音请求和第二语音请求的语义相反，并且能够识别第一语音请求和第二语音请求的先后顺序，那么，将仅对在后的语音请求的执行结果进行反馈，反馈内容更符合自然对话习惯及用户的真实操作逻辑。

所述方法还包括：

在接收到车辆座舱内第一用户的第一语音请求且未对所述第一语音请求的执行结果进行播报的情况下，若接收所述第一用户的第三语音请求，且所述第一语音请求与所述第三语音请求存在相反语义信息，生成第八反馈内容，所述第八反馈内容包括所述第三语音请求的执行结果。

如此，如果同一用户接连发出存在相反的语义信息的语音请求，那么，将仅对在后的语音请求的执行结果进行反馈，反馈内容更符合自然对话习惯及用户的真实操作逻辑。

所述根据所述反馈内容完成所述语音交互，包括：

通过所述第一用户和第二用户各自的声音通道分别播报所述反馈内容，以完成所述语音交互。

如此，可根据车辆座舱的空间，选择通过每个用户各自的声音通道播报反馈内容，使得每个用户都可以在各自的空间处及时准确地收听到反馈内容。

所述根据所述反馈内容完成所述语音交互，包括：

通过车辆座舱内的音响设备播报所述反馈内容，以完成所述语音交互。

如此，可根据车辆座舱的空间，选择通过车辆座舱内公共的音响设备播报反馈内容，使得全体用户都可以共同收听到反馈内容。

本申请还提供了一种车辆，所述车辆包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述的语音交互方法。

如此，本申请中，对于车辆座舱内不同位置处的多用户多语音请求的场景，在先语音请求未反馈的情况下，将根据预定反馈策略对多个语音请求进行统一反馈，生成融合多内容的反馈内容，并根据反馈内容完成语音交互。在反馈时可以兼顾到所有发出语音请求的用户，符合自然交流的沟通习惯，提高人机交互的沟通效率，提升用户体验。

本申请还提供一种非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，实现上述的语音交互方法。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请交互方法的流程示意图之一；

图2是本申请交互方法的流程示意图之二；

图3是本申请交互方法的流程示意图之三；

图4是本申请交互方法的流程示意图之四；

图5是本申请交互方法的流程示意图之五；

图6是本申请交互方法的流程示意图之六；

图7是本申请交互方法的流程示意图之七；

图8是本申请交互方法的流程示意图之八；

图9是本申请交互方法的流程示意图之九；

图10是本申请交互方法的流程示意图之十；

图11是本申请交互方法的非易失性计算机可读存储介质和处理器的连接状态示意图。

具体实施方式

下面详细描述本申请，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图的描述是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

请参阅图1，本申请提供了一种语音交互方法，包括以下步骤：

01：在接收到车辆座舱内第一用户的第一语音请求且未对第一语音请求的执行结果进行播报的情况下，若接收到车辆座舱内与第一用户位置不同的第二用户的第二语音请求，根据预定反馈策略处理第一语音请求和第二语音请求，生成针对包括第一语音请求的执行结果和第二语音请求的执行结果在内的反馈内容；

02：根据反馈内容完成语音交互。

本申请还提供了一种车辆，本申请的语音交互方法可以由本申请的车辆实现。车辆包括存储器和处理器，存储器中存储有计算机程序，处理器用于在接收到车辆座舱内第一用户的第一语音请求且未对第一语音请求的执行结果进行播报的情况下，若接收到车辆座舱内与第一用户位置不同的第二用户的第二语音请求，根据预定反馈策略处理第一语音请求和第二语音请求，生成针对第一语音请求的执行结果和第二语音请求的执行结果的反馈内容，以及用于根据反馈内容完成语音交互。

随着车辆座舱智能化的发展，车辆座舱内的功能配置越来越丰富。例如，车辆座舱内不同座椅处都配置了显示屏，如副驾驶显示屏、后排座椅显示屏等。座舱前后排配置分区空调。每个座椅都配置有座椅通风及座椅加热功能等。用户可以利用车载系统搭载的语音助手进行人机交互。用户在车辆座舱内，通过语音交互来实现对车辆零部件的控制，例如对于车窗、座椅、空调等的控制，还可以实现车辆控制、导航、影音娱乐等操作。

相关技术中，有些为了保证车辆行驶安全，仅为主驾用户提供进行语音交互的权限，即只有主驾用户可以在座舱内进行语音交互，而其他座位处的用户若希望实现相关功能就只能由主驾用户进行转达，然而如此，若车辆处于行驶过程中，可能会导致主驾用户分心，从而影响驾驶安全。有些虽然开放权限给座舱内的全部用户，但是在同一时间段内，只能处理一个用户的语音请求，例如主驾用户和副驾用户相继发出语音请求，车载系统只能够处理完成在先接收到的用户，如主驾用户的语音请求，而不会处理其他用户，如副驾用户的语音请求，副驾用户只能够当前语音交互完成后，再次唤醒语音助手进行语音交互。如此，无法满足全部用户的需求，并且对于多个语音请求，每次都需要完整的播报对于执行结果的反馈，会造成空间内一定的混乱，服务效率较低。例如，主驾用户发出第一语音请求，车载系统会对第一语音请求的执行结果进行完整反馈，副驾用户发出第二语音请求，车载系统会对第二语音请求的执行结果进行完整反馈。

本申请中，针对这样车辆座舱内多个用户同时使用语音交互的情况，也即是在接收到车辆座舱内第一用户的第一语音请求且未对所述第一语音请求的执行结果进行播报的情况下，又接收到车辆座舱内与第一用户位置不同的第二用户的第二语音请求的场景，不会锁定用户，也即是，在对应的时间段内，对于接收到来自不同用户的语音请求都会进行反馈。并且，反馈的内容也不是将对于每个语音请求的反馈进行简单的语音叠加，即完整地反馈两个语音请求的执行结果。而是会根据预定反馈策略处理第一语音请求和第二语音请求，寻求简洁高效的反馈，生成针对第一语音请求和第二语音请求的一次性反馈。也即是，反馈内容是针对第一语音请求的执行结果以及第二语音请求的执行结果一次性的反馈，这样更符合人在自然语言沟通中，像用户A和用户B分别对车载系统的语音助手下达了任务a和任务b，车载系统的语音助手在完成全部任务后通常会根据任务a和任务b的异同，在回复中省略部分可能存在的重复信息，回复任务a、b都完成了等反馈，例如用户A使用语音助手打开空调，用户B使用语音助手打开音乐，语音助手的反馈可以是“空调和音乐都打开了哦”。

需要说明地，本申请所针对的场景中，是针对第一语音请求的反馈内容尚未播报给第一用户，此时，又接收到第二用户的第二语音请求的情况。可以理解地，如果针对第一语音请求的反馈内容已经完成播报，也就无需在进行如本申请的处理。

综上所述，本申请的语音交互方法和车辆，对于车辆座舱内不同位置处的多用户多语音请求的场景，在先语音请求未反馈的情况下，将根据预定反馈策略对多个语音请求进行统一反馈，生成融合多内容的反馈内容，并根据反馈内容完成语音交互。在反馈时可以兼顾到所有发出语音请求的用户，符合自然交流的沟通习惯，提高人机交互的沟通效率，提升用户体验。

请参阅图2，步骤01包括：

010：若第一语音请求和第二语音请求中至少一个属于多轮任务类型，生成第一反馈内容，第一反馈内容包括属于多轮任务类型的语音请求的执行结果以及属于单轮任务类型的语音请求延后反馈的提示信息。

处理器用于在第一语音请求和第二语音请求中至少一个属于多轮任务类型的情况下，生成第一反馈内容。

具体地，所述的多轮任务类型指的是任一用户需要进行多轮连续对话的情况，例如，用户通过语音进行前往目的地的导航。可以理解地，在导航交互过程中，会涉及到目的地确认、行车路线确认等多个部分，往往需要通过多轮对话才能够完成。

单轮任务类型，则是相对于多轮任务类型而言，下达语音指令的所有用户均处于单轮即可结束的情况，例如打开车窗、打开座椅加热等。

可以理解地，对于多轮任务而言，通常较为复杂，需要较为集中的处理当前用户的语音请求，而避免在多轮对话中被打断的情况发生。因此，对于第一语音请求和第二语音请求中至少一个属于多轮任务类型中的情况，优先对属于多轮任务类型的语音请求进行反馈，并提示属于单轮任务类型的语音请求延后反馈，例如可以提示用户，在多轮任务类型结束后，对属于单轮任务类型的语音请求进行反馈。对于语音请求的执行结果，与控制相关的语音请求，例如，打开车窗、打开空调等，执行结果也即是控制对象是否完成相应的控制指令，例如已打开、未能成功打开等。而与问答相关的语音请求，例如，今天天气怎么样等，执行结果也即是问题的答案，例如今天多云，最高温度T1度，最低温度T2摄氏度。

以主驾用户发出属于多轮任务类型的第一语音请求，副驾用户发出属于单轮任务类型的第二语音请求为例，主驾用户发出第一语音请求：导航去地点A，在车载系统未对主驾用户进行反馈时，副驾用户发出第二语音请求：打开车窗。可以确认，主驾用户的语音请求属于多轮任务类型，而副驾用户的语音请求属于单轮任务类型。在这样的情况下，将优先处理主驾用户的语音请求。此时，生成的第一反馈内容将包括对于主驾的语音请求的反馈以及告知副驾用户第二语音请求将延后执行的提示信息。例如，第一反馈内容可以是“副驾请稍等，当前为主驾进行导航，搜索到以与地点A相关的内容，请问去哪一个”可以暂时将第二语音求进行缓存，在主驾用户完成导航设置后，可以由车载系统控制车窗打开，并在车窗打开后，进行反馈。或者，在主驾用户完成导航设置后。车载系统主动向副驾用户发起语音交互，询问副驾用户是否还需要打开车窗。

需要说明地，本申请中，并未对属于多轮任务类型的语音请求和属于单轮任务类型的语音请求的顺序进行限定，仅对于这种场景中的反馈内容进行上述的处理。也即是说，多轮任务类型的语音请求可以第一语音请求也可以是第二语音请求。

此外，对于第一语音请求和第二语音请求均属于多轮任务类型的情况，可以提示全部用户重新发出语音请求，或提示在后发出语音请求的第二用户在第一语音请求处理完成后，再发出语音请求。

请参阅图3，步骤01包括：

011：若第一语音请求和第二语音请求均属于单轮任务类型，根据第一语音请求和第二语音请求的语义信息，对针对第一语音请求的反馈和针对第二语音请求的反馈进行融合处理以生成反馈内容。

处理器用于在第一语音请求和第二语音请求均属于单轮任务类型的情况下，根据第一语音请求和第二语音请求的语义信息，对针对第一语音请求的反馈和针对第二语音请求的反馈进行融合处理以生成反馈内容。

具体地，当第一语音请求和第二语音请求均属于单轮任务类型的情况下，则会尝试根据第一语音请求和第二语音请求的语义信息，对于多个语音请求对应的执行结果进行融合处理。可以理解地，对于单轮任务类型的语音请求均是在单轮即可结束，无需进行延后处理。

融合处理的目的在于使得对于多个语音请求的回复不再只是对于多个语音请求进行简单的叠加，从而更贴近在自然语言中对于多指令的回复。例如，对于第一语音请求和第二语音请求分别为：“打开主驾座椅加热”和“打开副驾座椅加热”。车载系统会回复“主驾座椅加热已打开”以及“副驾座椅加热已打开”，但这样的回复并不符合自然语言交流的习惯。通常，对于这样的情况，人们的习惯表达应当是类似，“主驾、副驾座椅加热均已打开”。本申请中，将基于第一语音请求和第二语音请求的语义信息对反馈内容进行处理，从而尽可能使得反馈内容简洁清楚，更加符合自然语言的表达习惯。

请参阅图4，步骤011包括：

0110：若第一语音请求和第二语音请求不存在相同的语义信息，且接收到第一语音请求和第二语音请求的时间差大于或等于预定时间差值，根据第一语音请求和第二语音请求的先后顺序，生成第二反馈内容，第二反馈内容包括根据时间顺序依次反馈的第一语音请求的执行结果和第二语音请求的执行结果。

处理器用于在第一语音请求和第二语音请求不存在相同的语义信息，且接收到第一语音请求和第二语音请求的时间差大于或等于预定时间差值的情况下，根据第一语音请求和第二语音请求的先后顺序，生成第二反馈内容。

具体地，如果第一语音请求和第二语音请求不存在相同的语义信息，例如，第一语音请求为调高车辆悬架，第二语音请求为询问今天天气，二者语义不相关，不存在相同的语义信息。在这种情况下，需要确认第一语音请求和第二语音请求的接收顺序。在确认接收顺序时，如果接收到两个语音请求的时间差值大于或等于预定时间差值，例如1s，2s等，则可以确认二者的先后顺序。否则，则可以认为二者是同时下达的。对于能够确认先后顺序的情况，在反馈时，按照顺序对第一语音请求和第二语音请求的执行结果分别进行反馈。例如，对于前例，生成的第二反馈内容可以是“悬架已调高，今天多云，最高温度T1度，最低温度T2度。”

可以理解地，在自然语言沟通中，对于多个语义不相关或不存在相同语义信息的指令，如果人们能够清楚地收到每一个指令，通常人们会在完成全部指令后，按照顺序，对多个指令的执行情况逐一进行回复。本申请中，基于这样的表达习惯，选择以类似地方式生成反馈内容。

请参阅图5，步骤011包括：

0111：若第一语音请求和第二语音请求不存在相同的语义信息，且接收到第一语音请求和第二语音请求的时间差值小于预定时间差，生成第三反馈内容，第三反馈内容包括告知第一用户和第二用户请重新下达语音请求的提示信息。

处理器用于在第一语音请求和第二语音请求不存在相同的语义信息，且接收到第一语音请求和第二语音请求的时间差值小于预定时间差的情况下，生成第三反馈内容。

具体地，如果第一语音请求和第二语音请求不存在相同的语义信息，并且在确认接收顺序时，接收到两个语音请求的时间差值小于预定时间差值，则可以认为二者是同时下达的，不能够确认第一语音请求和第二语音请求的明确顺序。对于无法确认先后顺序的情况，在反馈时，将会提示用户重新下达指令。例如，对于前例，生成的第二反馈内容可以是“抱歉我没听清楚，请重新和我说一遍吧，可以一个一个慢慢来。”

可以理解地，在自然语言沟通中，对于多个语义不相关或不存在相同语义信息的指令，并且不能够清楚地收到每一个指令，例如，在接收第一个指令的过程中，又接收到其他指令，将会对第一个指令的接收造成障碍，也即是本示例中的多个语音请求无法区分先后顺序。

对于这种情况，通常人们请求重新下达指令，以更加清楚明白地接收到全部指令。本申请中，基于这样的表达习惯，选择以类似地方式生成反馈内容。

请参阅图6，步骤011包括：

0112：若第一语音请求和第二语音请求中存在相同语义信息，对针对第一语音请求的反馈和针对第二语音请求的反馈中相同语义信息进行融合处理以生成第四反馈内容，第四反馈内容包括对相同语义信息进行融合处理后的第一语音请求的执行结果和第二语音请求的执行结果。

处理器用于在第一语音请求和第二语音请求中存在相同语义信息的情况下，对针对第一语音请求的反馈和针对第二语音请求的反馈中相同语义信息进行融合处理以生成第四反馈内容。

具体地，如前述，融合处理的目的在于使得对于多个语音请求的回复不再只是对于多个语音请求进行简单的叠加，从而更贴近在自然语言中对于多指令回复的表达习惯。融合处理通常会根据多个语音请求中的相同语义信息，将多个语音请求的反馈重新进行组合，例如对多个相同语义信息进行部分省略，将省略的语句重新进行断句和组合，生成最终的反馈内容。

例如，第一语音请求为打开主驾座椅通风，第二语音请求为打开副驾座椅通风，其中，第一语音请求和第二语音请求中存在相同的实体、相同的动作，因此，在反馈内容可以对这部分内容进行融合，相同语义信息的内容只需要表达一次，即语音助手可以发出TTS播报类似“主驾、副驾的座椅通风都打开了”的反馈内容。

可以理解地，在自然语言沟通中，对于多个存在相同语义信息的指令，通常人们在回复时会对语句进行精简，在表达意思清楚的前提下，通常会对已经表达过的内容进行省略，而不会进行重复表达。本申请中，基于这样的表达习惯，选择以类似地方式生成反馈内容。

请参阅图7，步骤0112包括：

01120：若第一语音请求和第二语音请求中存在相同指向实体、相同指向位置、相同指向动作、相同指向对象中的至少一个，对针对第一语音请求的反馈和所述第二语音请求的反馈中相同信息进行融合处理以生成第四反馈内容。

处理器用于在第一语音请求和第二语音请求中存在相同指向实体、相同指向位置、相同指向动作、相同指向对象中的至少一个的情况下，对针对第一语音请求的反馈和所述第二语音请求的反馈中相同信息进行融合处理以生成第四反馈内容。

具体地，第一语音请求和第二语音请求存在相同指向实体，例如，第一、第二语音请求分别为：打开座椅通风；关闭座椅加热。其中存在相同指向实体“座椅”。那么在反馈内容中，则可以将第二语音请求的反馈中的实体进行省略，例如，语音助手可以发出TTS播报作为回复：座椅通风打开了，加热关闭了。

第一语音请求和第二语音请求存在相同指向位置，例如，第一、第二语音请求分别为：打开主驾空调；关闭主驾座椅加热。其中存在相同指向位置“主驾”。那么在反馈内容中，则可以将第二语音请求的反馈中的位置进行省略，例如，语音助手可以发出TTS播报作为回复：主驾空调已打开，座椅加热已关闭。

第一语音请求和第二语音请求存在相同指向动作，例如，第一、第二语音请求分别为：打开主驾座椅通风；打开副驾车窗。其中存在相同指向动作“打开”。那么在反馈内容中，则可以在反馈中共用同一动作，例如，语音助手可以发出TTS播报作为回复：主驾座椅通风和副驾车窗都已打开。

第一语音请求和第二语音请求存在相同指向对象，例如，第一、第二语音请求分别为：A是谁；A几岁。其中存在相同指向对象“A”。那么在反馈内容中，则可以在反馈中共用同一对象，省略第二语音请求反馈中的对象，例如，语音助手可以发出TTS播报作为回复：A是中国男演员，今年X岁。

当然，第一语音请求和第二语音请求还存在多个相同语义信息的情况，例如：

第一语音请求和第二语音请求存在相同指向实体及位置，例如，第一、第二语音请求分别为：打开副驾座椅通风；关闭副驾座椅加热。其中存在相同指向实体“座椅”以及相同指向位置“副驾”。那么在反馈内容中，则可以将第二语音请求的反馈中的实体和位置进行省略，例如，语音助手可以发出TTS播报作为回复：副驾座椅通风已打开，加热已关闭。

第一语音请求和第二语音请求存在相同指向位置及动作，例如，第一、第二语音请求分别为：打开副驾座椅通风；打开副驾车窗。其中存在相同指向动作“打开”以及相同位置“副驾”。那么在反馈内容中，则可以将第二语音请求的反馈中的位置进行省略，并与第一语音请求的反馈共用同一动作，例如，语音助手可以发出TTS播报作为回复：副驾座椅通风和车窗都已打开。

应当说明地，存在相同语义信息的情况并不限定于上述已公开的形式或其组合，还包括其他未公开但合理存在的其他组合形式。

请参阅图8，第二用户包括多个，第二语音请求包括多个，步骤011包括：

0113：若第一语音请求和多个第二语音请求中的至少一个存在相同语义信息，对第一语音请求和存在相同语义信息的第二语音请求进行融合处理以生成第五反馈内容，第五反馈内容包括顺次反馈的融合相同语义信息的第一语音请求的执行结果和第二语音请求的执行结果以及其他第二语音请求的执行结果。

处理器用于在第一语音请求和多个第二语音请求中的至少一个存在相同语义信息的情况下，对第一语音请求和存在相同语义信息的第二语音请求进行融合处理以生成第五反馈内容。

具体地，当存在多个第二用户，例如副驾用户、后排左侧用户等。多个第二语音请求也即是副驾用户、后排左侧座椅用户分别发出的语音请求。在这种情况下，就需要确认是否全部的第二语音请求都和第一语音请求存在相同的语义信息，从而进行融合处理。如果多个第二语音请求彼此之间不存在相同的语义信息，并且与第一请求也不存在相同的语义信息，那么就可参照前述对于第一语音请求和第二语音请求不存在相同语义信息的情况进行处理。例如，在能够区分多个语音请求的顺序时，依照时间顺序依次对多个语音请求进行反馈。而如果不能够区分多个语音请求的顺序，则提示用户重新下达语音请求。

而如果多个第二语音请求中至少一个与第一语音请求存在相同的语义信息，则可依照上述的方式，对存在相同语义信息的语音请求的反馈进行融合处理，然后再对无法进行融合处理的第二语音请求的执行结果进行反馈。

例如，主驾用户：空调调到26度；副驾用户：氛围灯调成紫色；后排左侧用户：明天天气怎么样。可以理解，其中，副驾用户和主驾用户的语音请求存在相同指向动作“调”，而后排左侧用户的语音请求则与二者并无相同语义信息。那么生成的反馈内容可以是：空调和氛围灯都调好啦。明天晴天，最高温20度，最低温9度。也即是，顺次反馈融合相同语义信息的第一语音请求的执行结果和第二语音请求的执行结果以及其他第二语音请求的执行结果。

又如，主驾用户：打开主驾座椅加热；副驾用户：打开副驾座椅通风；后排左侧用户：打开后排左侧车窗。可以理解，其中，副驾用户、主驾用户以及后排左侧用户的语音请求存在相同指向动作“打开”。那么生成的反馈内容则可以是对三个语音请求的反馈进行融合后的结果，例如，语音助手可以发出TTS播报作为回复：主驾座椅加热、副驾座椅通风、后排左侧车窗都打开啦。

多个语音请求的反馈融合处理可以先对两个语音请求的反馈进行融合处理，然后将融合处理后的反馈内容，与下一个语音请求的反馈进行融合处理，直至全部语音请求的反馈都完成处理。具体融合方式可参照上述示例，在此不再赘述。

请参阅图9，步骤01包括：

012：若第一语音请求和第二语音请求的语义相反，且接收到第一语音请求和第二语音请求的时间差小于预定时间差值，生成第六反馈内容，第六反馈内容包括告知第一用户和第二用户请重新下达语音请求的提示信息。

处理器用于在第一语音请求和第二语音请求的语义相反，且接收到第一语音请求和第二语音请求的时间差小于预定时间差值的情况下，生成第六反馈内容。

具体地，对于第一语音请求和第二语音请求语义相反的情况，可参考不存在相同语义信息的情况，进行类似处理。也即是，首先确认第一语音请求和第二语音请求是否是同时发出的，如果接收到两个语音请求的时间差值小于预定时间差值，则可以认为二者是同时下达的，不能够确认第一语音请求和第二语音请求的先后顺序。对于无法确认先后顺序的情况，在反馈时，将会提示用户重新下达指令。

需要说明地，语义相反并不能理解为不存在相同的语义信息。例如，对于两语音请求“打开主驾座椅通风”以及“关闭主驾座椅通风”，根据前述可知，二者存在相同指向位置“主驾”和相同指向实体“座椅”。但二者存在相反指向动作，即“打开”和“关闭”。

对于本示例，语义相反是指相同指向实体和位置的相反指向动作。

在自然语言沟通中，对于不能够清楚地收到每一个指令的情况，例如，在接收第一个指令的过程中，又接收到其他指令，将会对第一个指令的接收造成障碍，同时，第一指令的持续也会对第二指令的接收造成障碍，也即是本示例中的多个语音请求无法区分先后顺序。

请参阅图10，步骤01包括：

013：若第一语音请求和第二语音请求的语义相反，且接收到第一语音请求和第二语音请求的时间差大于或等于预定时间差值，生成第七反馈内容，第七反馈内容包括第二语音请求的执行结果。

处理器用于在第一语音请求和第二语音请求的语义相反，且接收到第一语音请求和第二语音请求的时间差大于或等于预定时间差值的情况下，生成第七反馈内容。

具体地，对于第一语音请求和第二语音请求语义相反的情况，可参考不存在相同语义信息的情况，进行类似处理。也即是，首先确认第一语音请求和第二语音请求是否是同时发出的，如果接收到两个语音请求的时间差值大于或等于预定时间差值，则可以确认第一语音请求和第二语音请求的先后顺序。

可以理解地，在自然语言沟通中，对于多个语义完全相反的指令，如果人们能够清楚地收到每一个指令，通常人们会意识到真实意图可能是最后一个指令。因此，只会对最后一个指令进行回复。本申请中，基于这样的表达习惯，选择以类似地方式生成反馈内容。例如，两语音请求“打开主驾座椅通风”以及“关闭主驾座椅通风”，二者语义完全相反，生成的反馈内容可以是“主驾座椅通风已关闭。”

语音交互方法还包括步骤：

在接收到车辆座舱内第一用户的第一语音请求且未对第一语音请求的执行结果进行播报的情况下，若接收第一用户的第三语音请求，且第一语音请求与第三语音请求的语义相反，生成第八反馈内容，第八反馈内容包括第三语音请求的执行结果。

处理器用于在接收到车辆座舱内第一用户的第一语音请求且未对第一语音请求的执行结果进行播报，接收第一用户的第三语音请求，且第一语音请求与第三语音请求的语义相反的情况下，生成第八反馈内容。

具体地，可以理解地，上述各示例均为不同位置处的多个用户所发出的多个语音请求的场景。而本示例中所针对的则是，同一位置的用户发出连续的语音请求的场景。具体而言，为第一用户发出第一语音请求，在车载系统尚未对该语音请求进行反馈的情况下，第一用户发出与在第一语音请求语义相反的第三语音请求。

对于这种情况，可以参考前述对于第一语音请求和第二语音请求语义相反且可区分先后顺序的情况。

相类似地，可以确认，第三语音请求的意图为第一用户的真实意图，生成的反馈内容为第三语音请求的执行结果。例如，第一用户先后发出两语音请求“打开主驾座椅通风”以及“关闭主驾座椅通风”，二者语义完全相反，生成的反馈内容可以是“主驾座椅通风已关闭。”

步骤02包括：

通过第一用户和第二用户各自的声音通道分别播报反馈内容，以完成语音交互。

处理器用于通过第一用户和第二用户各自的声音通道分别播报反馈内容，以完成语音交互。

对于车辆座舱空间较为宽敞的车辆，通常会额外为每个座椅处的用户配备独立的声音通道。例如，对于主驾可在座椅靠背的头枕处配备扬声器，对于副驾和后排座椅，可以配备相应的蓝牙耳机。在这种情况下，可通过每个用户各自的声音通道播报反馈内容。也即是，不会利用车辆座舱内公放的影响设备播报反馈内容，播报反馈内容不会影响到他人，而没有发出语音请求的用户也不会受到干扰。对于非主驾用户参与的交互场景，主驾用户不会因为播报内容而分神，保证驾驶安全。

步骤02包括：

通过车辆座舱内的音响设备播报反馈内容，以完成语音交互。

对于车辆座舱空间相对狭小的车辆，通常不会额外为每个座椅处的用户配备独立的声音通道。在这种情况下，通过座舱内的音响设备统一播报反馈内容，使得全体用户都可以获知执行结果，而未参与当前交互的用户，也可以所执行的内容，发起后续的交互。

此外，针对本申请中场景，可以泛化对象词的联想程度，增加可融合的覆盖范围，例如，对于两语音请求：“今天天气怎么样”和“明天几度”，可以认为二者存在相同指向对象“天气”。

请参阅图11，本申请还提供一种包含计算机程序101的非易失性计算机可读存储介质100。当计算机程序101被一个或多个处理器200执行时，使得一个或多个处理器200执行上述任一实施方式的控制方法。

本发明实施方式还提供了一种计算机可读存储介质。一个或多个存储有计算机程序的非易失性计算机可读存储介质，当计算机程序被一个或多个处理器执行时，实现上述任一实施方式的交互方法。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的软件来完成。程序可存储于一非易失性计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）等。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行动作的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims

1.一种语音交互方法，其特征在于，包括：

在接收到车辆座舱内第一用户的第一语音请求且未对所述第一语音请求的执行结果进行播报的情况下，若接收到车辆座舱内与所述第一用户位置不同的第二用户的第二语音请求，根据预定反馈策略处理所述第一语音请求和所述第二语音请求，生成针对包括所述第一语音请求的执行结果和所述第二语音请求的执行结果在内的反馈内容，所述预定反馈策略包括优先对属于任一用户进行多轮连续对话的多轮任务类型的语音请求进行反馈，并提示属于单轮即可结束的单轮任务类型的语音请求延后反馈；

根据所述反馈内容完成所述语音交互。

2.根据权利要求1所述的方法，其特征在于，所述根据预定反馈策略处理所述第一语音请求和所述第二语音请求，生成针对包括所述第一语音请求的执行结果和所述第二语音请求的执行结果在内的反馈内容，包括：

若所述第一语音请求和所述第二语音请求中至少一个属于所述多轮任务类型，生成第一反馈内容，所述第一反馈内容包括属于所述多轮任务类型的语音请求的执行结果以及属于所述单轮任务类型的语音请求延后反馈的提示信息。

3.根据权利要求1所述的方法，其特征在于，所述根据预定反馈策略处理所述第一语音请求和所述第二语音请求，生成针对包括所述第一语音请求的执行结果和所述第二语音请求的执行结果在内的反馈内容，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一语音请求和所述第二语音请求的语义信息，对针对所述第一语音请求的反馈和针对所述第二语音请求的反馈进行融合处理以生成所述反馈内容，包括：

5.根据权利要求3所述的方法，其特征在于，所述根据所述第一语音请求和所述第二语音请求的语义信息，对针对所述第一语音请求的反馈和针对所述第二语音请求的反馈进行融合处理以生成所述反馈内容，包括：

若所述第一语音请求和所述第二语音请求不存在相同的语义信息，且接收到所述第一语音请求和所述第二语音请求的时间差值小于预定时间差值，生成第三反馈内容，所述第三反馈内容包括告知所述第一用户和所述第二用户请重新下达语音请求的提示信息。

6.根据权利要求3所述的方法，其特征在于，所述根据所述第一语音请求和所述第二语音请求的语义信息，对针对所述第一语音请求的反馈和针对所述第二语音请求的反馈进行融合处理以生成所述反馈内容，包括：

7.根据权利要求6所述的方法，其特征在于，所述若所述第一语音请求和所述第二语音请求中存在相同语义信息，对针对所述第一语音请求的反馈和针对所述第二语音请求的反馈中所述相同语义信息进行融合处理以生成所述第四反馈内容，包括：

8.根据权利要求3所述的方法，其特征在于，所述第二用户包括多个，所述第二语音请求包括多个，所述根据所述第一语音请求和所述第二语音请求的语义信息，对针对所述第一语音请求的反馈和针对所述第二语音请求的反馈进行融合处理以生成所述反馈内容，包括：

9.根据权利要求1所述的方法，其特征在于，所述根据预定反馈策略处理所述第一语音请求和所述第二语音请求，生成针对所述第一语音请求的执行结果和所述第二语音请求的执行结果的反馈内容，包括：

10.根据权利要求1所述的方法，其特征在于，所述根据预定反馈策略处理所述第一语音请求和所述第二语音请求，生成针对所述第一语音请求的执行结果和所述第二语音请求的执行结果的反馈内容，包括：

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在接收到车辆座舱内第一用户的第一语音请求且未对所述第一语音请求的执行结果进行播报的情况下，若接收所述第一用户的第三语音请求，所述第一语音请求与所述第三语音请求的语义相反，生成第八反馈内容，所述第八反馈内容包括所述第三语音请求的执行结果。

12.根据权利要求1所述的方法，其特征在于，所述根据所述反馈内容完成所述语音交互，包括：

13.根据权利要求1所述的方法，其特征在于，所述根据所述反馈内容完成所述语音交互，包括：

14.一种车辆，其特征在于，所述车辆包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1-13任一项所述的方法。

15.一种计算机程序的非易失性计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，实现权利要求1-13任一项所述的方法。