CN114187637A - 车辆控制方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种车辆控制方法、装置、电子设备及存储介质，该方法包括：获取目标区域内的待识别用户的面部特征信息；若所述面部特征信息与预设面部特征信息相匹配，则将所述待识别用户确定为目标用户，并获取所述目标用户的多模态信息；其中，所述多模态信息包括语音信息以及口型信息；基于所述多模态信息确定相应的调控指令，以使目标车辆基于所述调控指令执行相应的功能。本发明实施例的技术方案，以简便的方式增加了车辆召唤功能的实现途径，同时增强了车辆控制过程中的安全性，提高了用户的使用体验。

Description

车辆控制方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及汽车车辆控制技术领域，尤其涉及一种车辆控制方法、装置、电子设备及存储介质。

背景技术

在汽车数量不断增加以及停车位紧张的情况下，已停放的车辆都可能面临被车门两侧其他车辆阻碍的问题，此时，如果用户强行开门进入车内空间，很容易使车门与其他车辆发生碰撞。

现有技术中，用户可以通过肢体语言控制车辆自动驶出停车位，然而，这种方案存在较大的局限性，例如，当用户手里抱着物品时便无法向车辆下达有效的肢体语言；同时，仅检测肢体语言很难保证用车的安全性，肢体语言识别一旦出现错误可能造成严重后果。

发明内容

本发明提供一种车辆控制方法、装置、电子设备及存储介质，以简便的方式增加了车辆召唤功能的实现途径，同时增强了车辆控制过程中的安全性，提高了用户的使用体验。

第一方面，本发明实施例提供了一种车辆控制方法，该方法包括：

获取目标区域内的待识别用户的面部特征信息；

若所述面部特征信息与预设面部特征信息相匹配，则将所述待识别用户确定为目标用户，并获取所述目标用户的多模态信息；其中，所述多模态信息包括语音信息以及口型信息；

基于所述多模态信息确定相应的调控指令，以使目标车辆基于所述调控指令执行相应的功能。

第二方面，本发明实施例还提供了一种车辆控制装置，该装置包括：

面部特征信息获取模块，用于获取目标区域内的待识别用户的面部特征信息；

多模态信息获取模块，用于若所述面部特征信息与预设面部特征信息相匹配，则将所述待识别用户确定为目标用户，并获取所述目标用户的多模态信息；其中，所述多模态信息包括语音信息以及口型信息；

调控指令确定模块，用于基于所述多模态信息确定相应的调控指令，以使目标车辆基于所述调控指令执行相应的功能。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的车辆控制方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的车辆控制方法。

本发明实施例的技术方案，先获取目标区域内的待识别用户的面部特征信息，若面部特征信息与预设面部特征信息相匹配，则将待识别用户确定为目标用户，即确定出具有车辆控制权限的用户；进一步的，获取目标用户的语音信息以及口型信息作为多模态信息，并基于多模态信息确定相应的调控指令，以使目标车辆基于调控指令执行相应的功能，不仅以简便的方式增加了车辆召唤功能的实现途径，避免了用户利用肢体动作控制车辆存在不便的问题，还利用多模态信息实现了对控制指令的安全复验，增强了车辆控制过程中的安全性，提高了用户的使用体验。

附图说明

为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。

图1为本发明实施例一所提供的一种车辆控制方法的流程示意图；

图2为本发明实施例二所提供的一种车辆控制方法的流程示意图；

图3为本发明实施例三所提供的一种车辆控制方法的流程图；

图4为本发明实施例三所提供的一种车辆控制系统方案图；

图5为本发明实施例四所提供的一种车辆控制装置的结构框图；

图6为本发明实施例五所提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一所提供的一种车辆控制方法的流程示意图，本实施例可适用于基于用户的语音信息和唇语信息对车辆进行控制的情况，该方法可以由车辆控制装置来执行，该装置可以通过软件和/或硬件的形式实现，该硬件可以是电子设备，如移动终端、PC端或服务器等。

如图1所示，该方法具体包括如下步骤：

S110、获取目标区域内的待识别用户的面部特征信息。

在本实施例中，目标区域即是预先设置在车辆上的摄像装置能够采集到画面的区域，具体的，可以是摄像装置对用户人脸的感知距离范围，范围大小取决于摄像装置自身的参数。例如，目标区域可以是以摄像装置为中心，以十米为半径所形成的圆形对应的区域，可以理解，只有在该区域内，摄像装置才能够以非强制取样的方式采集到与用户相对应的清晰图像。

对应的，待识别用户即是处于目标区域内的、需要被摄像装置采集面部特征信息的任意用户，可以理解为，待识别用户只要进入到目标区域内，无需专门配合摄像装置便可以被采集到对应的面部特征信息。

示例性的，当车辆停放在停车场处于驻车状态时，预先设置在车辆上的摄像装置可以对目标区域进行实时检测，当一名用户进入该区域时，即被确定为待识别用户，进一步的，摄像装置可以采集该用户的一幅或多幅图像，并根据眼睛、眉毛、嘴巴、鼻子等器官的特征以及相互之间的几何位置关系对图像中的人脸进行检测，当确定出图像中的人脸区域后，即可针对面部特征进行建模，进而得到于该用户对应的面部特征信息。需要说明的是，当目标区域内存在多名用户时，这些用户都可以被确定为待识别用户，对应的，摄像装置可以按照上述方式分别确定各用户的面部特征信息，本公开实施例在此不再赘述。

S120、若面部特征信息与预设面部特征信息相匹配，则将待识别用户确定为目标用户，并获取目标用户的多模态信息。

在本实施例中，当摄像装置采集到待识别用户的面部特征信息后，可以将面部特征信息与车载系统中预先存储的面部特征信息(即特征模板)进行比较，进而根据两者的相似程度对用户的身份信息进行判断。

具体来说，匹配面部特征信息的过程可以是一个人脸确认过程，可以理解为，将包含待识别用户的图像中的面部特征信息，与预先存储的面部特征信息进行比较，当信息相似度达到预先设置的相似度阈值时，即表明两者匹配成功。或者，匹配面部特征信息的过程还可以是一个人脸辨认的过程，可以理解为，将包含待识别用户的图像中的面部特征信息，与预先存储的多幅图像中的面部特征信息进行比较，进一步的，根据相似度值的大小对比较结果进行排序，从而确定出与待识别用户最接近的图像，当所确定的图像符合车载系统的要求时，表明两者匹配成功。本领域技术人员应当理解，具体的匹配方式可以根据实际情况进行选择，本公开实施例在此不作具体的限定。

在本实施例中，当面部特征信息与预设特征信息相匹配时，则可以将待识别用户确定为目标用户，可以理解，目标用户至少拥有向车辆下发指令以控制车辆的权限。进一步的，获取目标用户的多模态信息。

其中，多模态信息是指多种维度的信息，同时也是确定目标用户向车辆下发的控制指令的依据，至少包括目标用户的语音信息以及口型信息。具体来说，在车辆确定出目标用户后，即可启动预先安装在车辆上的语音采集装置，并利用该装置对目标用户发出的语音信息进行采集，进一步的，对所采集的语音信息进行识别，从而得到与语音信息相对应的文本信息。在确定与目标用户语音信息相对应的文本信息的同时，还可以控制摄像装置获取目标用户的口型信息，同样的，根据获取的口型信息确定对应的文本信息。可以理解，获取多维度信息的过程即是对目标用户进行语音识别以及唇语识别的过程。

S130、基于多模态信息确定相应的调控指令，以使目标车辆基于调控指令执行相应的功能。

在本实施例中，获取目标用户的多模态信息后，可以对语音信息对应的文本信息，以及唇语信息对应的文本信息进行一致性校验，得到对应的校验结果，进一步的，根据预先存储的表征文本信息与调控指令之间关联关系的映射表，即可确定出目标用户实际向车辆下发的调控指令，进而将一条或多条调控指令下发至与车辆各部件相关联的控制单元，由这些单元控制车辆执行特定的动作，实现与目标用户多模态信息所对应的功能。

示例性的，当用户在车辆侧面发出“启动并向前行驶三米”的语音信息时，车辆上的语音采集装置以及摄像装置即可采集到该语音信息以及对应的唇语信息，进一步的，将采集的信息全部转换为文本信息，并对两类文本信息进行一致性校验，当校验结果达到预设阈值时表示校验通过，同时，输出最终确定的文本信息。最后，基于预先设置的映射表即可确定出与该文本信息对应的调控指令，车辆根据调控指令即可自动启动并向前行驶三米的距离，从而在无需目标用户上车操控的情况下实现了对车辆的召唤。

本实施例的技术方案，先获取目标区域内的待识别用户的面部特征信息，若面部特征信息与预设面部特征信息相匹配，则将待识别用户确定为目标用户，即确定出具有车辆控制权限的用户；进一步的，获取目标用户的语音信息以及口型信息作为多模态信息，并基于多模态信息确定相应的调控指令，以使目标车辆基于调控指令执行相应的功能，不仅以简便的方式增加了车辆召唤功能的实现途径，避免了用户利用肢体动作控制车辆存在不便的问题，还利用多模态信息实现了对控制指令的安全复验，增强了车辆控制过程中的安全性，提高了用户的使用体验。

实施例二

图2为本发明实施例二所提供的一种车辆控制方法的流程示意图，在前述实施例的基础上，通过对目标设备的检测和确认，提高了车辆控制过程中的安全性，同时，当车辆在邻域范围内检测到目标设备再执行图像采集，可以有效避免相关装置对电能的浪费；进一步的，利用包含唇语信息以及语音信息的多模态信息确定车辆的调控指令，一方面增加了确认用户身份以及调控指令所依赖的数据的维度，另一方面也避免了车辆处于环境声音较为嘈杂的停车场时，传统语音识别方案中存在的误识别以及漏识别的问题，提高了车辆控制过程中的安全性。其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。

如图2所示，该方法具体包括如下步骤：

S210、当目标车辆处于驻车状态，且与目标车辆相关联的邻域范围内存在目标设备时，向预先设置的摄像装置下发图像采集指令，以控制摄像装置采集待识别用户的目标视图。

其中，目标设备包括与目标车辆相关联的移动设备(如手机)以及车钥匙。对应的，邻域范围即是车辆基于射频芯片/蓝牙模块检测到上述目标设备的区域，本领域技术人员应当理解，邻域范围是一个可变的范围，范围大小由射频芯片/蓝牙模块所能检测到目标设备的实际范围所决定。例如，车辆停放在停车场并处于驻车状态，车辆蓝牙模块对应的邻域范围为20米，当持有车钥匙的驾驶员走进该邻域范围内后，车辆即可检测到作为目标设备的车钥匙，进而触发后续操作。

在本实施例中，当车辆检测到邻域范围内的目标设备后，即可向预先设置的摄像装置下发图像采集指令，可以理解，图像采集指令至少用于控制摄像装置采集包含有该用户的目标视图。具体的，当车辆向摄像装置下发图像采集指令后，安装在车辆前风挡玻璃以及后风挡玻璃上的摄像头即可对目标区域内的图像进行采集，从而得到包含有待识别用户的目标视图。本领域技术人员应当理解，通过对目标设备的检测和确认，提高了车辆控制过程中的安全性，同时，当车辆在邻域范围内检测到目标设备再执行图像采集，可以有效避免相关装置对电能的浪费。

S220、基于特征识别算法确定目标视图中的面部特征信息。

其中，特征识别算法可以是预先训练好的、用于确定目标用户面部特征信息的卷积神经网络模型，具体来说，模型的输入为包含目标用户人脸的图像，该图像经过特征识别算法的处理后，即可输出反映目标用户面部特征信息的多个低维向量。本领域技术人员应当理解，特征识别算法模型可以利用由多个用户人脸的图像以及对应的面部特征信息构建的训练集进行训练，并利用校验集对模型中的参数进行优化，本公开实施例在此不再赘述。

S230、若面部特征信息与目标车辆关联的面部特征信息相匹配，则将待识别用户确定为目标用户。

在本实施例中，与目标车辆关联的面部特征信息可以是与车载系统预先绑定的用户对应的人脸信息，如驾驶员的人脸信息，可以理解，与车载系统预先绑定的用户拥有车辆的控制权限。需要说明的是，对于与车载系统绑定的用户来说，还可以通过移动设备从云端录入自己的人脸信息，基于此，当车辆在邻域范围内检测到目标设备时，即可从云端实时调取用户录入的人脸信息，进而将所采集图像中的人脸信息与调取的人脸信息进行匹配。

进一步的，当所采集图像中的人脸信息与目标车辆关联的人脸信息相匹配时，可以确定该用户为目标用户，即实现了对目标用户身份的确认。而当上述两种人脸信息不匹配时，车辆既可以重新采集该待识别用户的人脸信息，并基于重新采集的人脸信息与关联的人脸信息进行匹配，还可以直接停止采集该待识别用户的人脸信息，本领域技术人员应当理解，当两种人脸信息不匹配时，具体的处理方式可以根据实际情况进行选择，本公开实施例在此不做赘述。

S240、将连续采集的多幅目标视图输入至口型识别模块中，得到与多幅目标视图相对应的口型信息；基于预先设置的音频采集装置获取目标用户的待处理音频，并确定待处理音频相对应的语音信息。

在本实施例中，当确定待识别用户为目标用户后，车辆即可通过安装在前风挡玻璃以及后风挡玻璃上的摄像头获取目标用户多幅目标视图，并将这些目标视图输入至包含有对应识别算法的口型识别模块中，从而得到目标用户的口型信息，该过程可以理解为，对用户的唇语信息进行感知。

在对用户的唇语信息进行感知的同时，车辆还可以通过预先设置的麦克风采集目标用户的待处理音频，并将这些待处理音频输入至语音识别模块中，从而得到目标用户的语音信息，该过程可以理解为，对用户的语音信息进行感知。

需要说明的是，为了在后续过程中对上述多模态信息进行一致性校验，在确定目标用户口型信息以及语音信息的同时，还需要使这些信息保持时间上的一致性，可以理解为，多幅目标视图的拍摄起始时刻与采集待处理音频的起始时刻相一致，拍摄多幅目标视图的终止时刻与采集待处理音频的终止时刻相一致。同时，在实际应用过程中，摄像头和麦克风在车辆上的部署方式并非局限于本实施例中所提到的方式，可以理解为，在保证能够获取目标区域内目标用户唇语信息和语音信息的前提下，摄像头和麦克风可以根据实际情况在车身上进行安装与部署。

S250、当语音信息以及唇语信息的一致性校验结果达到预设阈值时，将语音信息以及口型信息输入至语义理解模块中，得到与各目标控制器相对应的至少一个调控指令，以使各目标控制器驱动目标车辆执行相应的功能。

在本实施例中，当车辆对目标用户的唇语信息以及语音信息进行感知后，需要对这两种信息进行一致性校验，当校验结果达到预设阈值时，即可将这些信息输入至语义理解模块中，从而得到对应的调控指令。在实际应用过程中，当所确定的目标用户的唇语信息和语音信息经过一致性校验后，可以将这些信息在信号处理器中进行信号转换，并将多模融合处理后得到车辆控制信号作为调控指令。

进一步的，当得到针对于车辆各目标控制器的调控指令后，各目标控制器即可驱动车辆执行相应的功能。在实际应用过程中，可以将作为调控指令的车辆控制信息通过车辆控制器输入给车辆执行器，从而驱动车辆执行相应的功能。其中，车辆控制信号包括车辆启动信号、前进/后退信号、左转/右转控制信号。在车辆执行相应功能的同时，还可以依据超声波雷达、毫米波雷达、摄像头、激光雷达的感知结果实现路径规划及避障，从而实现如根据用户下发的调控指令驶出半个车位、驶出整个车位、调整行驶方向等多个动作。

在本实施例中，利用包含唇语信息以及语音信息的多模态信息确定车辆的调控指令，一方面增加了确认用户身份以及调控指令所依赖的数据的维度，另一方面也避免了车辆处于环境声音较为嘈杂的停车场时，传统语音识别方案中存在的误识别以及漏识别的问题，提高了车辆控制过程中的安全性。

需要说明的是，当语音信息以及唇语信息的一致性校验结果未达到预设阈值，或者，未基于语义理解模块确定出多模态信息的调控指令时，向指示灯控制模块发送指示灯工作指令，以基于指示灯工作指令控制相应的指示灯处于工作状态。具体来说，当一致性校验结果未达到预设阈值，或未生成调控指令时，车辆可以通过CAN总线向车灯控制器下发连续的灯控指令，车灯控制器接收到指令后，即可控制车灯发光或频闪，从而在车辆召唤失败的情况下对用户进行提醒。可以理解，车灯具体的发光时间或闪烁频率(即车灯灯语)可以按照用户需求提前在车机系统中进行设置。

本实施例的技术方案，通过对目标设备的检测和确认，提高了车辆控制过程中的安全性，同时，当车辆在邻域范围内检测到目标设备再执行图像采集，可以有效避免相关装置对电能的浪费；进一步的，利用包含唇语信息以及语音信息的多模态信息确定车辆的调控指令，一方面增加了确认用户身份以及调控指令所依赖的数据的维度，另一方面也避免了车辆处于环境声音较为嘈杂的停车场时，传统语音识别方案中存在的误识别以及漏识别的问题，提高了车辆控制过程中的安全性。

实施例三

作为上述实施例的一可选实施例，图3为本发明实施例三所提供的一种车辆控制方法的流程图；图4为本发明实施例三所提供的一种车辆控制系统方案图。为了清楚的介绍本实施例技术方案，可以以应用场景是基于用户的语音信息和唇语信息对车辆进行控制的情形为例来介绍，但是不局限于上述场景，可以适用于各种需要对车辆进行控制的场景中。

参见图3以及图4，当车辆处于驻车状态时，如果在邻域范围内检测到待识别用户携带的终端设备(如图4所示的遥控钥匙或手机)，则可以开启安装在车辆前风挡玻璃以及后风挡玻璃上的红外摄像头以对待识别用户进行检测，可以理解为，确定待识别用户是否为目标用户。其中，目标用户可以是在车载系统上进行过人脸绑定的用户，也可以是车辆所有者通过手机应用从云端录入的人脸信息所对应的用户，该用户的人脸信息在车辆唤醒后从云端传到车端以用于对待识别用户身份的确认。

继续参见图3以及图4，当摄像头确认待识别用户为目标用户后，可以继续利用上述红外摄像头以及预先安装的麦克风，分别对该用户的唇语图像和语音进行感知，进一步的，感知信号可以在信号处理器中进行信号转换，并经过多模融合处理后得到车辆控制信号。

继续参见图3以及图4，当确定出车辆控制信号后，即可将这些信号通过车辆控制器输入给车辆执行器，从而实现车辆驶出狭窄车位并打开车门以完成车辆召唤的功能，其中，车辆控制信号包括针对于车辆启动、前进/后退、左转/右转控制的信号，在车辆执行相应动作的过程中，可以依据超声波雷达、毫米波雷达、摄像头、激光雷达的感知结果实现路径规划以及避障，从而实现车辆驶出半个车位、整个车位、调整行驶方向等效果。需要说明的是，当用户打开车门则判定整个车辆召唤过程结束，红外摄像头和麦克风停止接收图像信息以及语音信息。

上述技术方案的有益效果为：不仅以简便的方式增加了车辆召唤功能的实现途径，避免了用户利用肢体动作控制车辆存在不便的问题，还利用多模态信息实现了对控制指令的安全复验，增强了车辆控制过程中的安全性，提高了用户的使用体验。

实施例四

图5为本发明实施例四所提供的一种车辆控制装置的结构框图，可执行本发明任意实施例所提供的车辆控制方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置具体包括：面部特征信息获取模块310、多模态信息获取模块320、以及调控指令确定模块330。

面部特征信息获取模块310，用于获取目标区域内的待识别用户的面部特征信息。

多模态信息获取模块320，用于若所述面部特征信息与预设面部特征信息相匹配，则将所述待识别用户确定为目标用户，并获取所述目标用户的多模态信息；其中，所述多模态信息包括语音信息以及口型信息。

调控指令确定模块330，用于基于所述多模态信息确定相应的调控指令，以使目标车辆基于所述调控指令执行相应的功能。

在上述各技术方案的基础上，车辆控制装置还包括图像采集指令下发模块。

图像采集指令下发模块，用于当所述目标车辆处于驻车状态，且与所述目标车辆相关联的邻域范围内存在目标设备时，向预先设置的摄像装置下发图像采集指令，以控制所述摄像装置采集所述待识别用户的目标视图；其中，所述目标设备包括与所述目标车辆相关联的移动设备以及车钥匙。

可选的，面部特征信息获取模块310，还用于基于特征识别算法确定所述目标视图中的面部特征信息。

在上述各技术方案的基础上，多模态信息获取模块320包括目标用户确定单元以及多模态信息获取单元。

目标用户确定单元，用于若所述面部特征信息与所述目标车辆关联的面部特征信息相匹配，则将所述待识别用户确定为目标用户。

多模态信息获取单元，用于将连续采集的多幅目标视图输入至口型识别模块中，得到与所述多幅目标视图相对应的口型信息；基于预先设置的音频采集装置获取所述目标用户的待处理音频，并确定所述待处理音频相对应的语音信息；其中，所述多幅目标视图的拍摄起始时刻与采集所述待处理音频的起始时刻相一致，拍摄所述多幅目标视图的终止时刻与采集所述待处理音频的终止时刻相一致。

可选的，调控指令确定模块330，还用于当所述语音信息以及所述唇语信息的一致性校验结果达到预设阈值时，将所述语音信息以及所述口型信息输入至语义理解模块中，得到与各目标控制器相对应的至少一个调控指令，以使各目标控制器驱动所述目标车辆执行相应的功能。

可选的，调控指令确定模块330，还用于当所述语音信息以及所述唇语信息的一致性校验结果未达到预设阈值，或者，未基于所述语义理解模块确定出所述多模态信息的调控指令时，向指示灯控制模块发送指示灯工作指令，以基于指示灯工作指令控制相应的指示灯处于工作状态。

本实施例所提供的技术方案，先获取目标区域内的待识别用户的面部特征信息，若面部特征信息与预设面部特征信息相匹配，则将待识别用户确定为目标用户，即确定出具有车辆控制权限的用户；进一步的，获取目标用户的语音信息以及口型信息作为多模态信息，并基于多模态信息确定相应的调控指令，以使目标车辆基于调控指令执行相应的功能，不仅以简便的方式增加了车辆召唤功能的实现途径，避免了用户利用肢体动作控制车辆存在不便的问题，还利用多模态信息实现了对控制指令的安全复验，增强了车辆控制过程中的安全性，提高了用户的使用体验。

本发明实施例所提供的车辆控制装置可执行本发明任意实施例所提供的车辆控制方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。

实施例五

图6为本发明实施例五所提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施例实施方式的示例性电子设备40的框图。图6显示的电子设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备40以通用计算设备的形式表现。电子设备40的组件可以包括但不限于：一个或者多个处理器或者处理单元401，系统存储器402，连接不同系统组件(包括系统存储器402和处理单元401)的总线403。

总线403表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备40访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器402可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)404和/或高速缓存存储器405。电子设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统406可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块407的程序/实用工具408，可以存储在例如存储器402中，这样的程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。

电子设备40也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信，还可与一个或者多个使得用户能与该电子设备40交互的设备通信，和/或与使得该电子设备40能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且，电子设备40还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器412通过总线403与电子设备40的其它模块通信。应当明白，尽管图6中未示出，可以结合电子设备40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元401通过运行存储在系统存储器402中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的车辆控制方法。

实施例六

本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行车辆控制方法。

该方法包括：

获取目标区域内的待识别用户的面部特征信息；

若所述面部特征信息与预设面部特征信息相匹配，则将所述待识别用户确定为目标用户，并获取所述目标用户的多模态信息；其中，所述多模态信息包括语音信息以及口型信息；

基于所述多模态信息确定相应的调控指令，以使目标车辆基于所述调控指令执行相应的功能。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的项目代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的项目代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机项目代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。项目代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种车辆控制方法，其特征在于，包括：

获取目标区域内的待识别用户的面部特征信息；

若所述面部特征信息与预设面部特征信息相匹配，则将所述待识别用户确定为目标用户，并获取所述目标用户的多模态信息；其中，所述多模态信息包括语音信息以及口型信息；

基于所述多模态信息确定相应的调控指令，以使目标车辆基于所述调控指令执行相应的功能。

2.根据权利要求1所述的方法，其特征在于，在所述获取目标区域内的待识别用户的面部特征信息之前，还包括：

当所述目标车辆处于驻车状态，且与所述目标车辆相关联的邻域范围内存在目标设备时，向预先设置的摄像装置下发图像采集指令，以控制所述摄像装置采集所述待识别用户的目标视图；

其中，所述目标设备包括与所述目标车辆相关联的移动设备以及车钥匙。

3.根据权利要求2所述的方法，其特征在于，所述获取目标区域内的待识别用户的面部特征信息，包括：

基于特征识别算法确定所述目标视图中的面部特征信息。

4.根据权利要求1所述的方法，其特征在于，所述若所述面部特征信息与预设面部特征信息相匹配，则将所述待识别用户确定为目标用户，包括：

若所述面部特征信息与所述目标车辆关联的面部特征信息相匹配，则将所述待识别用户确定为目标用户。

5.根据权利要求1所述的方法，其特征在于，所述获取所述目标用户的多模态信息，包括：

将连续采集的多幅目标视图输入至口型识别模块中，得到与所述多幅目标视图相对应的口型信息；

基于预先设置的音频采集装置获取所述目标用户的待处理音频，并确定所述待处理音频相对应的语音信息；

其中，所述多幅目标视图的拍摄起始时刻与采集所述待处理音频的起始时刻相一致，拍摄所述多幅目标视图的终止时刻与采集所述待处理音频的终止时刻相一致。

6.根据权利要求1所述的方法，其特征在于，所述基于所述多模态信息确定相应的调控指令，以使目标车辆基于所述调控指令执行相应的功能，包括：

当所述语音信息以及所述唇语信息的一致性校验结果达到预设阈值时，将所述语音信息以及所述口型信息输入至语义理解模块中，得到与各目标控制器相对应的至少一个调控指令，以使各目标控制器驱动所述目标车辆执行相应的功能。

7.根据权利要求1所述的方法，其特征在于，还包括：

当所述语音信息以及所述唇语信息的一致性校验结果未达到预设阈值，或者，未基于所述语义理解模块确定出所述多模态信息的调控指令时，向指示灯控制模块发送指示灯工作指令，以基于指示灯工作指令控制相应的指示灯处于工作状态。

8.一种车辆控制装置，其特征在于，包括：

面部特征信息获取模块，用于获取目标区域内的待识别用户的面部特征信息；

多模态信息获取模块，用于若所述面部特征信息与预设面部特征信息相匹配，则将所述待识别用户确定为目标用户，并获取所述目标用户的多模态信息；其中，所述多模态信息包括语音信息以及口型信息；

调控指令确定模块，用于基于所述多模态信息确定相应的调控指令，以使目标车辆基于所述调控指令执行相应的功能。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的车辆控制方法。

10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的车辆控制方法。

Images