CN116954443A - 车载虚拟形象控制方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种车载虚拟形象控制方法、装置、电子设备及存储介质。该方法包括：获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据；对脸部动作的图像数据和语音数据分别进行有效性检测；根据脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果，控制车载虚拟形象执行响应动作。本发明实施例的技术方案提高了车载虚拟形象的控制命令的响应率。

Description

车载虚拟形象控制方法、装置、电子设备及存储介质

技术领域

本发明涉及车辆控制技术领域，尤其涉及一种车载虚拟形象控制方法、装置、电子设备及存储介质。

背景技术

为了提高车辆驾驶室的智能化，便捷化交互体验，在车辆驾驶室中配置车载虚拟形象。

但是，车载虚拟形象的控制存在控制命令响应率低的问题。

发明内容

本发明提供了一种车载虚拟形象控制方法、装置、电子设备及存储介质，提高了车载虚拟形象的控制命令的响应率。

根据本发明的一方面，提供了车载虚拟形象控制方法，包括：

获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据；

对脸部动作的图像数据和语音数据分别进行有效性检测；

根据脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果，控制车载虚拟形象执行响应动作。

根据本发明的另一方面，提供了一种车载虚拟形象控制装置，包括：

数据获取模块，用于获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据；

有效性检测模块，用于对脸部动作的图像数据和语音数据分别进行有效性检测；

虚拟形象控制模块，用于根据脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果，控制车载虚拟形象执行响应动作。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的车载虚拟形象控制方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的车载虚拟形象控制方法。

本发明实施例的技术方案，通过获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据，对脸部动作的图像数据和语音数据分别进行有效性检测，根据脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果，控制车载虚拟形象执行响应动作，解决了车载虚拟形象的控制存在控制命令响应率低的问题，提高了车载虚拟形象的控制命令的响应率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种车载虚拟形象控制方法的流程图；

图2是根据本发明实施例二提供的一种车载虚拟形象控制方法的流程图；

图3是根据本发明实施例二提供的一种车载虚拟形象控制方法的流程图；

图4是根据本发明实施例三提供的一种车载虚拟形象控制装置的结构示意图；

图5是实现本发明实施例的车载虚拟形象控制方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供的一种车载虚拟形象控制方法的流程图。本发明实施例可适用于对车载虚拟形象进行控制的情况，该方法可以由车载虚拟形象控制装置来执行，该车载虚拟形象控制装置可以采用硬件和/或软件的形式实现，该车载虚拟形象控制装置可配置于承载车载虚拟形象控制功能的电子设备中。

参见图1所示的车载虚拟形象控制方法，包括：

S110、获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据。

脸部动作的图像数据可以为脸部动作的视频图像数据。语音数据可以是驾驶员发出的语音的数据。

具体的，可以获取DMS(Driver Monitor System，驾驶员监控系统)摄像头采集的驾驶用户脸部动作的图像数据。可以获取驾驶用户发出的语音数据。

S120、对脸部动作的图像数据和语音数据分别进行有效性检测。

有效性检测可以为识别脸部动作的图像数据和语音数据是否可被识别为虚拟形象控制器的控制指令的语句。其中，虚拟形象控制器用于控制车载虚拟形象。控制指令可以用于对车载虚拟形象进行控制。可以根据虚拟形象控制器的控制命令的语句进行设置。示例性的，控制指令可以包括“打开音乐”、“播放下一首”或“播放下一首歌曲”等。

具体的，可以通过DMS控制器对脸部动作的图像数据进行解析处理，检测脸部动作的图像数据是否可以转换为控制指令。可以通过语音系统检测语音数据是否可以解析得到音频信号，也可以检测所得到的音频信号是否可以转换为虚拟形象控制器的控制指令。示例性的，可能会存在由于车辆内部语音环境过于嘈杂，通过语音系统无法对语音数据进行解析，得到音频信号的情况。

S130、根据脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果，控制车载虚拟形象执行响应动作。

车辆驾驶室是驾驶用户生活和工作的主要空间。为了提高车辆驾驶室的智能化，提升驾驶用户对于车辆的智能化、舒适化和便捷化的驾驶体验，可以在车辆驾驶室中配置车载虚拟形象。通过驾驶用户与车载虚拟形象之间的高可靠交互，可以极大程度地便捷驾驶员对于车辆状态的控制，进而提升驾驶安全性、舒适性与便捷性。可选的，车载虚拟形象可以配置于车机中，可以通过车机的显示屏幕进行显示。响应动作可以是由车载虚拟形象发出的反馈控制指令的响应动作。实际上，响应动作可以理解为是车辆对驾驶用户的控制指令的响应，但是以车载虚拟形象的响应动作的形式进行反馈。可选的，响应动作可以包括语音响应动作、文本响应动作和图像响应动作等中至少一项。其中，语音响应动作可以是车载虚拟形象发出的语音。示例性的，语音响应动作可以为“好的”或“很抱歉，您可以再说一遍么？”等语音内容。文本响应动作可以是在车载虚拟形象附近显示的文本内容。可选的，可以以聊天对话框或文本泡泡等形式显示。示例性的，文本响应动作也可以为“好的”或“很抱歉，您可以再说一遍么？”等文本内容。文本响应动作包含的文本内容与语音响应动作包含的语音内容相对应。图像响应动作可以包括车载虚拟形象的图像做出的动作内容。示例性的，图像响应动作可以包括“车载虚拟形象做出的ok的手势动作”或“车载虚拟形象做出的歪头疑惑的动作”等。

具体的，可以在脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果包括有效结果时，根据有效结果对应的控制指令，控制车载虚拟形象执行响应动作。

本发明实施例的技术方案，通过获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据，对脸部动作的图像数据和语音数据分别进行有效性检测，根据脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果，控制车载虚拟形象执行响应动作，相较于通过单一数据源实现对车载虚拟形象进行控制，控制指令识别成功率低，车载虚拟形象的响应率低的情况，通过脸部动作的图像数据和语音数据两个数据源对车载虚拟形象进行控制，提高了控制指令的识别成功率，进而提高了车载虚拟形象的响应率，同时，提高了车载虚拟形象控制的可靠性。

在本发明的一个可选实施例中，根据脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果，控制车载虚拟形象执行对应的响应动作，包括：在脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果中存在有效结果和无效结果时，将有效结果对应的控制指令确定为有效控制指令，控制车载虚拟形象执行有效控制指令对应的有效响应动作。

脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果中存在有效结果和无效结果，可以理解为，脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果为其中一个为有效结果，另一个为无效结果，也即存在单个有效结果。在这种情况下，可以根据有效结果对应的控制指令，对车载虚拟形象进行控制。其中，有效结果可以是对应的数据通过了有效性检测的结果。无效结果可以是对应的数据未通过有效性检测的结果。有效控制指令可以为对通过有效性检测的数据进行解析得到的控制指令。有效控制指令可以被虚拟形象控制器所识别。虚拟形象控制器针对有效控制指令可以控制车载虚拟形象执行有效响应动作。有效响应动作可以是虚拟形象控制器识别到有效控制指令后控制车载虚拟形象做出的响应动作。可选的，有效控制指令和有效响应动作之间可以具有对应关系。示例性的，有效控制指令可以为“打开音乐”，有效控制指令可以为“好的”或“正在为您播放音乐”等。

本方案通过在脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果中存在有效结果和无效结果时，将有效结果对应的控制指令确定为有效控制指令，控制车载虚拟形象执行有效控制指令对应的有效响应动作，通过对数据源进行冗余判断，在任一数据源的数据为有效数据时，将该数据源对应的控制指令确定为有效控制指令，进而控制车载虚拟形象执行有效响应动作，进一步提高了控制指令的识别成功率，进而提高了车载虚拟形象的响应率。

在本发明的一个可选实施例中，对脸部动作的图像数据和语音数据分别进行有效性检测，包括：检测脸部动作的图像数据和语音数据是否可解析得到控制指令；和/或检测脸部动作的图像数据对应的控制指令和语音数据对应的控制指令是否可执行。

脸部动作的图像数据是否可解析得到控制指令，可以理解为通过对脸部动作的图像数据进行解析，判断是否可以解析得到连贯的控制指令。例如，在车辆驾驶室内的光线较差时，脸部动作的图像数据的清晰度相对较低，可能会存在无法解析的情况。又如，对于部分驾驶用户而言，可能由于脸部动作习惯性问题，或者语言种类的问题，也可能会存在无法解析的情况。

语音数据是否可解析得到控制指令，可以理解为通过对语音数据进行解析，判断是否可以解析得到连贯的控制指令。例如，在车辆驾驶室内的语音环境较为嘈杂时，语音数据的清晰度相对较低，可能会存在无法解析的情况。又如，对于部分驾驶用户而言，可能语言种类的问题，也可能会存在无法解析的情况。

检测脸部动作的图像数据对应的控制指令是否可执行，可以理解为根据脸部动作的图像数据可以解析为虚拟形象控制器可执行的控制指令。语音数据对应的控制指令是否可执行，可以理解为根据语音数据可以解析为虚拟形象控制器可执行的控制指令。可选的，虚拟形象控制器可执行的控制指令可以预先存储与数据库中。示例性的，在解析得到的控制指令在数据库中无法查询到时，虚拟形象控制器接收到该控制指令之后，难以确定所需执行的任务，也难以控制车载虚拟形象执行对应的响应动作。

可选的，可以检测脸部动作的图像数据和语音数据是否可解析得到控制指令。

可选的，可以检测脸部动作的图像数据对应的控制指令和语音数据对应的控制指令是否可执行。

可选的，可以检测脸部动作的图像数据和语音数据是否可解析得到控制指令；以及可以检测脸部动作的图像数据对应的控制指令和语音数据对应的控制指令是否可执行。

本方案通过检测脸部动作的图像数据和语音数据是否可解析得到控制指令和/或检测脸部动作的图像数据对应的控制指令和语音数据对应的控制指令是否可执行，剔除了无法解析得到控制指令和/或无法执行对应的控制指令的情况，进一步提高了车载虚拟形象对于控制指令的响应率。

在本发明的一个可选实施例中，获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据，包括：检测车辆驾驶座位上是否存在驾驶用户；在车辆驾驶座位上存在驾驶用户时，获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据。

具体的，可以通过占位传感器检测车辆驾驶座位上是否存在驾驶用户，在车辆驾驶座位上存在驾驶用户时，获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据。

本方案通过对车辆驾驶座位上是否存在驾驶用户进行预先检测，在存在驾驶用户时，获取脸部动作的图像数据和语音数据，避免了不存在驾驶用户时，车辆的采集设备对数据的采集以及控制器对数据的处理，保证了车载资源的合理利用，进一步提高了车载资源的利用率。

在本发明的一个可选实施例中，脸部动作包括嘴部动作。

具体的，可以直接获取驾驶用户的嘴部动作的图像数据和驾驶用户发出的语音数据。可以对嘴部动作的图像数据和语音数据分别进行有效性检测。可以根据脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果，控制车载虚拟形象执行响应动作。

本方案通过将脸部动作具体化为嘴部动作，通过更为直观的嘴部动作的图像数据进行车载虚拟形象的控制，进一步提高了车载虚拟形象控制的效率和准确度。

实施例二

图2为本发明实施例二提供的一种车载虚拟形象控制方法的流程图。本发明实施例在上述实施例的基础上，将“根据脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果，控制车载虚拟形象执行对应的响应动作”具体化为“在脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果均为有效结果时，对脸部动作的图像数据对应的第一控制指令和语音数据对应的第二控制指令进行比较；在第一控制指令与第二控制指令一致时，将对应的控制指令确定为有效控制指令，控制车载虚拟形象执行有效控制指令对应的有效响应动作”，进一步提高了车载虚拟形象控制的可靠性和准确性。需要说明的是，在本发明实施例中未详述的部分，可参见其他实施例的表述。

参见图2所示的车载虚拟形象控制方法，包括：

S210、获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据。

S220、对脸部动作的图像数据和语音数据分别进行有效性检测。

S230、在脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果均为有效结果时，对脸部动作的图像数据对应的第一控制指令和语音数据对应的第二控制指令进行比较。

第一控制指令可以为对脸部动作的图像数据进行解析得到的控制指令。第二控制指令可以为对语音数据进行解析得到的控制指令。第一控制指令和第二控制指令均为车载虚拟形象的控制指令，但是，第一控制指令和第二控制指令对应的数据来源不同。脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果均为有效结果，可以理解为脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果均通过，通过脸部动作的图像数据和语音数据均可识别得到虚拟形象控制器可执行的控制指令。

具体的，在脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果均为有效结果时，可以对有效性检测过程中脸部动作的图像数据解析得到的第一控制指令和有效性检测过程中语音数据解析得到的第二控制指令进行比较。

S240、在第一控制指令与第二控制指令一致时，将对应的控制指令确定为有效控制指令，控制车载虚拟形象执行有效控制指令对应的有效响应动作。

第一控制指令和第二控制指令一致，可以理解为通过两个数据源识别得到同一控制指令。可选的，有效控制指令和有效响应动作之间可以具有对应关系。

具体的，在第一控制指令和第二控制指令一致时，可以将对应的控制指令确定为有效控制指令，控制车载虚拟形象执行有效控制指令对应的有效响应动作。

本发明实施例的技术方案，通过获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据，对脸部动作的图像数据和语音数据分别进行有效性检测，在脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果均为有效结果时，对脸部动作的图像数据对应的第一控制指令和语音数据对应的第二控制指令进行比较，在第一控制指令与第二控制指令一致时，将对应的控制指令确定为有效控制指令，控制车载虚拟形象执行有效控制指令对应的有效响应动作，通过在两个数据源的有效性检测的基础上，对相应的控制指令的内容进行再次比较，进一步提高了车载虚拟形象的控制指令的准确性，从而提高了车载虚拟形象控制的可靠性和准确性。

在本发明的一个可选实施例中，该方法还包括：在第一控制指令与第二控制指令不一致时，将对应的控制指令确定为无效控制指令，控制车载虚拟形象执行无效控制指令对应的无效响应动作。

第一控制指令与第二控制指令不一致，可以理解为通过两个数据源识别得到了不同的控制指令。可选的，无效控制指令与无效响应动作之间可以具有对应关系。

具体的，在第一控制指令与第二控制指令不一致时，可以将对应的控制指令确定为无效控制指令，控制车载虚拟形象执行无效控制指令对应的无效响应动作。

本方案通过在第一控制指令与第二控制指令不一致时，将对应的控制指令确定为无效控制指令，控制车载虚拟形象执行无效控制指令对应的无效响应动作，在控制指令不一致的情况下，实现了对车载虚拟形象的控制，进一步提高了车载虚拟形象控制的容错性。

示例性的，图3是根据本发明实施例二提供的一种车载虚拟形象控制方法的流程图。如图3所示，该车载虚拟形象控制方法包括：

S301、初始化。

S302、判断点火开关ON档是否接通，若是，则执行S303；若否，则执行S301。

S303、判断驾驶座位是否有人，若是则执行S304；若否，则重复执行S303。

具体的，可以通过占位传感器判断驾驶座位(即车辆驾驶座位)是否有人，若有，则向DMS控制器和语音系统发送驾驶员信号接收命令。

S304、驾驶用户发出语音和动作指令。

S305、DMS摄像头接收驾驶用户的图像数据。

具体的，DMS摄像头可以采集驾驶用户的嘴部动作的视频图像数据。

S306、DMS控制器判断图像数据是否有效，若是，则执行S310；若否，则执行S307。

具体的，DMS控制器可以对嘴部动作的图像数据进行解析处理，分析嘴部动作的图像数据是否为有效数据。可以理解为，检测嘴部动作的图像数据是否可解析和或是否可执行。

S307、输出无效值。

具体的，在DMS控制器检测嘴部动作的图像数据无效时，可以输出无效值。

S308、语音系统判断语音数据是否有效，若是，则执行S310；若否，则执行S309。

具体的，语音系统通过识别驾驶用户输出的语音数据，将语音数据转化为音频信号，判断语音数据是否有效。可选的，若语音数据可以解析成车载虚拟形象可以执行的控制命令，则语音数据有效；否则，语音数据无效。

S309、输出无效值。

具体的，在语音系统检测到语音数据无效时，可以输出无效值。

S310、中央控制器接收DMS控制器和语音系统处理后向总线发送的报文。

具体的，中央控制器的处理单元可以同时接收DMS控制器处理后的嘴部动作的图像数据对应的第一控制指令，以及语音系统输出的第二控制指令，可以通过冗余算法对两个信号进行校核计算。

示例性的，冗余算法可以理解为，当DMS控制器与语音系统解析得到的控制指令中任意一者为有效值时，则中央控制器处理单元向控制器局域网络(Controller AreaNetwork,CAN)总线信号发送有效值对应的有效控制指令。当DMS控制器与语音系统解析得到的控制指令中两者皆为有效值时，中央控制器处理单元判断两者解析数据(即控制指令)是否一致，若一致，则中央控制器处理单元向CAN总线信号发送有效命令信号(即有效控制指令)；若不一致，则中央控制器处理单元向CAN总线信号发送无效命令信号(即无效控制指令)；当DMS控制器与语音系统解析驾驶员输出信号两者皆为无效值时，则中央控制器处理单元向CAN总线信号发送无效命令信号(即无效控制指令)。

S311、虚拟形象控制器接收总线信号。

具体的，虚拟形象控制器可以接收CAN总线信号。

S312、虚拟形象控制器判断命令是否有效，若是，则执行S313；若否，则执行S314。

具体的，虚拟形象控制器可以比对命令码表，判断命令是否为有效控制指令，若是有效控制指令，则执行相应的命令动作(即有效响应动作)；若是无效控制指令，则执行无效动作(即无效响应动作)。

示例性的，表1为命令码表的具体内容。

表1命令码表

S313、执行命令动作。

S314、执行无效动作。

本方案通过综合判断，实现了对车载虚拟形象的高效控制；通过对驾驶用户的语音数据进行处理，结合对嘴部动作的图像数据进行处理，对处理结果进行冗余判断，提高了控制命令的识别成功率；通过向总线输出可靠的控制信号，以及占位传感器、DMS摄像头、DMS控制器、语音控制系统、中央控制器、虚拟形象控制器和CAN总线等硬件资源的相互配合，解决了车载虚拟形象的控制命令的响应成功率低的问题，降低了车载虚拟形象对驾驶用户的控制命令的误判率；通过控制车载虚拟形象的不同功能，从而实现驾驶用户对车辆部分功能的可靠控制，提高了驾驶体验的便捷性与安全性。

实施例三

图4为本发明实施例三提供的一种车载虚拟形象控制装置的结构示意图。本发明实施例可适用于对车载虚拟形象进行控制的情况，该装置可以执行车载虚拟形象控制方法，该装置可以采用硬件和/或软件的形式实现，该装置可配置于承载车载虚拟形象控制功能的电子设备中。

参见图4所示的车载虚拟形象控制装置，包括：数据获取模块410、有效性检测模块420和虚拟形象控制模块430。其中，数据获取模块410，用于获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据；有效性检测模块420，用于对脸部动作的图像数据和语音数据分别进行有效性检测；虚拟形象控制模块430，用于根据脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果，控制车载虚拟形象执行响应动作。

本发明实施例的技术方案，通过获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据，对脸部动作的图像数据和语音数据分别进行有效性检测，根据脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果，控制车载虚拟形象执行响应动作，相较于通过单一数据源实现对车载虚拟形象进行控制，控制指令识别的成功率低，车载虚拟形象的响应率的情况，通过脸部动作的图像数据和语音数据两个数据源，实现了对车载虚拟形象的控制，提高了控制指令的识别成功率，进而提高了车载虚拟形象的响应率，同时，提高了车载虚拟形象控制的可靠性。

在本发明的一个可选实施例中，虚拟形象控制模块430，包括：控制指令比较单元，用于在脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果均为有效结果时，对脸部动作的图像数据对应的第一控制指令和语音数据对应的第二控制指令进行比较；第一有效响应动作控制单元，用于在第一控制指令与第二控制指令一致时，将对应的控制指令确定为有效控制指令，控制车载虚拟形象执行有效控制指令对应的有效响应动作。

在本发明的一个可选实施例中，虚拟形象控制模块430，还包括：无效响应动作控制单元，用于在第一控制指令与第二控制指令不一致时，将对应的控制指令确定为无效控制指令，控制车载虚拟形象执行无效控制指令对应的无效响应动作。

在本发明的一个可选实施例中，虚拟形象控制模块430，包括：第二有效响应动作控制单元，用于在脸部动作的图像数据的有效性检测结果和语音数据的有效性检测结果中存在有效结果和无效结果时，将有效结果对应的控制指令确定为有效控制指令，控制车载虚拟形象执行有效控制指令对应的有效响应动作。

在本发明的一个可选实施例中，有效性检测模块420，包括：可解析检测单元，用于检测脸部动作的图像数据和语音数据是否可解析得到控制指令；和/或可执行检测单元，用于检测脸部动作的图像数据对应的控制指令和语音数据对应的控制指令是否可执行。

在本发明的一个可选实施例中，数据获取模块410，包括：驾驶用户检测单元，用于检测车辆驾驶座位上是否存在驾驶用户；数据获取单元，用于在车辆驾驶座位上存在驾驶用户时，获取驾驶用户的脸部动作的图像数据和驾驶用户发出的语音数据。

在本发明的一个可选实施例中，脸部动作包括嘴部动作。

本发明实施例所提供的车载虚拟形象控制装置可执行本发明任意实施例所提供的车载虚拟形象控制方法，具备执行方法相应的功能模块和有益效果。

本发明实施例的技术方案中，所涉及的驾驶用户的脸部动作的图像数据和所述驾驶用户发出的语音数据等的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

实施例四

图5示出了可以用来实施本发明的实施例的电子设备500的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备500包括至少一个处理器501，以及与至少一个处理器501通信连接的存储器，如只读存储器(ROM)502、随机访问存储器(RAM)503等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器501可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储电子设备500操作所需的各种程序和数据。处理器501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

电子设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器501可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器501执行上文所描述的各个方法和处理，例如车载虚拟形象控制方法。

在一些实施例中，车载虚拟形象控制方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到电子设备500上。当计算机程序加载到RAM 503并由处理器501执行时，可以执行上文描述的车载虚拟形象控制方法的一个或多个步骤。备选地，在其他实施例中，处理器501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行车载虚拟形象控制方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS(VirtualPrivate Server，虚拟专用服务器)服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种车载虚拟形象控制方法，其特征在于，所述方法包括：

获取驾驶用户的脸部动作的图像数据和所述驾驶用户发出的语音数据；

对所述脸部动作的图像数据和所述语音数据分别进行有效性检测；

根据所述脸部动作的图像数据的有效性检测结果和所述语音数据的有效性检测结果，控制车载虚拟形象执行响应动作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述脸部动作的图像数据的有效性检测结果和所述语音数据的有效性检测结果，控制车载虚拟形象执行对应的响应动作，包括：

在所述脸部动作的图像数据的有效性检测结果和所述语音数据的有效性检测结果均为有效结果时，对所述脸部动作的图像数据对应的第一控制指令和所述语音数据对应的第二控制指令进行比较；

在所述第一控制指令与所述第二控制指令一致时，将对应的控制指令确定为有效控制指令，控制车载虚拟形象执行所述有效控制指令对应的有效响应动作。

3.根据权利要求2所述的方法，其特征在于，还包括：

在所述第一控制指令与所述第二控制指令不一致时，将对应的控制指令确定为无效控制指令，控制车载虚拟形象执行所述无效控制指令对应的无效动作。

4.根据权利要求1所述的方法，其特征在于，所述根据所述脸部动作的图像数据的有效性检测结果和所述语音数据的有效性检测结果，控制车载虚拟形象执行对应的响应动作，包括：

在所述脸部动作的图像数据的有效性检测结果和所述语音数据的有效性检测结果中存在有效结果和无效结果时，将有效结果对应的控制指令确定为有效控制指令，控制车载虚拟形象执行所述有效控制指令对应的有效响应动作。

5.根据权利要求1所述的方法，其特征在于，所述对所述脸部动作的图像数据和所述语音数据分别进行有效性检测，包括：

检测所述脸部动作的图像数据和所述语音数据是否可解析得到控制指令；和/或

检测所述脸部动作的图像数据对应的控制指令和所述语音数据对应的控制指令是否可执行。

6.根据权利要求1所述的方法，其特征在于，所述获取驾驶用户的脸部动作的图像数据和所述驾驶用户发出的语音数据，包括：

检测车辆驾驶座位上是否存在驾驶用户；

在所述车辆驾驶座位上存在驾驶用户时，获取所述驾驶用户的脸部动作的图像数据和所述驾驶用户发出的语音数据。

7.根据权利要求1所述的方法，其特征在于，所述脸部动作包括嘴部动作。

8.一种车载虚拟形象控制装置，其特征在于，所述装置包括：

数据获取模块，用于获取驾驶用户的脸部动作的图像数据和所述驾驶用户发出的语音数据；

有效性检测模块，用于对所述脸部动作的图像数据和所述语音数据分别进行有效性检测；

虚拟形象控制模块，用于根据所述脸部动作的图像数据的有效性检测结果和所述语音数据的有效性检测结果，控制车载虚拟形象执行响应动作。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的车载虚拟形象控制方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的车载虚拟形象控制方法。