CN116639144A - 车辆的多模融合控制方法及装置、设备、车辆和存储介质 - Google Patents

Abstract

本发明提出一种车辆的多模融合控制方法及装置、设备、车辆和存储介质，方法包括：接收语音数据和可穿戴设备运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度；根据多轴运动参数确定车辆的目标执行器件；对语音数据进行识别，得到状态控制指令；控制目标执行器件执行与状态控制指令对应的动作，本发明提高对用户动作的识别精确度，并且减少车辆使用摄像头所带来的车辆座舱布置空间较小的问题，缩减成本。

Description

车辆的多模融合控制方法及装置、设备、车辆和存储介质

技术领域

本发明涉及车辆技术领域，尤其是涉及一种车辆的多模融合控制方法及装置、设备、车辆和存储介质。

背景技术

在相关技术中，车辆的多媒体主机控制TOF(Time of Flight，飞行时间法)摄像头基于视觉算法的识别方式检测用户的手势，从而控制车内执行器件。

然而，采用上述方法，视觉算法的识别精确度较低，对用户的手势识别可能产生误差，从而影响用户的使用效果，并且TOF摄像头占用车辆座舱的布置空间较大，导致其成本较高。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。

为此，本发明的一个目的在于提出一种车辆的多模融合控制方法，该方法提高对用户动作的识别精确度，并且减少车辆使用TOF摄像头所带来的车辆座舱布置空间较小的问题，缩减成本。

为此，本发明的第二个目的在于提出一种车辆的多模融合控制装置。

为此，本发明的第三个目的在于提出一种车辆的多融合控制设备。

为此，本发明的第四个目的在于提出一种车辆。

为此，本发明的第五个目的在于提出一种非临时性计算机可读存储介质。

为了达到上述目的，本发明的第一方面的实施例提出了一种车辆的多模融合控制方法，所述方法包括：接收语音数据和可穿戴设备运动时的多轴运动参数，所述多轴运动参数包括多轴转向角度和/或多轴加速度；根据所述多轴运动参数确定车辆的目标执行器件；对所述语音数据进行识别，得到状态控制指令；控制所述目标执行器件执行与所述状态控制指令对应的动作。

根据本发明实施例的车辆的多模融合控制方法，通过可穿戴设备的传感器检测运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度，通过识别算法确定车辆的目标执行器件，并对用户发出的语音数据进行识别，确定目标执行器件的状态控制指令，将目标执行器件与状态控制指令进行多模融合，控制目标执行器件执行与状态控制指令对应的动作，从而实现对目标执行器件的多模态控制，同时，通过可穿戴设备的传感器检测用户需要控制的执行器件，提高对用户动作的识别精确度，并且减少车辆使用TOF摄像头所带来的车辆座舱布置空间较小的问题，缩减成本。

在一些实施例中，所述多轴运动参数包括多轴旋转角度，根据所述多轴转向角度确定车辆的目标执行器件，包括：判断所述可穿戴设备停止运动时在目标位置的停留时间是否达到第一预设时间阈值；若是，获取所述可穿戴设备在目标位置的多轴转向角度，并将基于所述多轴转向角度确定的执行器件作为所述车辆的目标执行器件，其中，所述目标位置为所述可穿戴设备的停留时间达到所述第一预设时间阈值的位置。

在一些实施例中，所述多轴运动参数包括多轴旋转角度和多轴加速度，根据所述多轴转向角度和所述多轴加速度确定车辆的目标执行器件，包括：判断所述可穿戴设备的停留时间是否达到第一预设时间阈值；若是，获取所述可穿戴设备从初始位置至所述目标位置运动过程中的多轴转向角度和多轴加速度，并将所述多轴转向角度及所述多轴加速度带入预设模型，确定所述车辆的目标执行器件，其中，所述目标位置为所述可穿戴设备的停留时间达到所述第一预设时间阈值的位置。

在一些实施例中，对所述语音数据进行识别，得到状态控制指令，包括：判断接收所述语音数据的时间与所述可穿戴设备执行完整动作后的时间的差值是否在第二预设时间内；若是，对所述语音数据进行识别，得到状态控制指令。

在一些实施例中，对所述语音数据进行识别，得到状态控制指令，包括：判断所述语音数据是否包括控制动作数据；若是，将所述语音数据及所述目标执行器件进行数据融合，得到所述目标执行器件的状态控制指令。

在一些实施例中，将所述语音数据及所述目标执行器件进行数据融合，包括：判断所述语音数据中是否包括指示语音数据；若是，识别所述语音数据中的所述控制动作数据及所述指示语音数据，去掉所述语音数据中的所述指示语音数据，并将所述控制动作数据与所述可穿戴设备的目标执行器件进行数据融合；否则，识别所述语音数据中的控制动作数据，并将所述控制动作数据与所述可穿戴设备的目标执行器件进行数据融合。

为了达到上述目的，本发明的第二方面的实施例提出了一种车辆的多模融合控制装置，所述装置包括：接收模块，用于接收语音数据和可穿戴设备运动时的多轴运动参数，所述多轴运动参数包括多轴转向角度和/或多轴加速度；第一确定模块，用于根据所述多轴运动参数确定车辆的目标执行器件；第二确定模块，用于对所述语音数据进行识别，得到状态控制指令；控制模块，用于控制所述目标执行器件执行与所述状态控制指令对应的动作。

根据本发明实施例的车辆的多模融合控制装置，通过可穿戴设备的传感器检测运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度，通过识别算法确定车辆的目标执行器件，并对用户发出的语音数据进行识别，确定目标执行器件的状态控制指令，将目标执行器件与状态控制指令进行多模融合，控制目标执行器件执行与状态控制指令对应的动作，从而实现对目标执行器件的多模态控制，同时，通过可穿戴设备的传感器检测用户需要控制的执行器件，提高对用户动作的识别精确度，并且减少车辆使用TOF摄像头所带来的车辆座舱布置空间较小的问题，缩减成本。

为了达到上述目的，本发明的第三方面的实施例提出了一种车辆的多融合控制设备，所述设备包括：多媒体装置，用于接收所述可穿戴设备运动时的多轴转向角度和多轴加速度；语音装置，与所述多媒体装置通信，用于输出语音数据；执行器件，与所述语音装置通信，用于根据所述语音数据及所述可穿戴设备运动时的多轴转向角度和多轴加速度控制指令控制执行所述器件执行与所述状态控制指令对应的动作。

根据本发明实施例的车辆的多模融合控制设备，通过可穿戴设备的传感器检测运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度，通过识别算法确定车辆的目标执行器件，并对用户发出的语音数据进行识别，确定目标执行器件的状态控制指令，将目标执行器件与状态控制指令进行多模融合，控制目标执行器件执行与状态控制指令对应的动作，从而实现对目标执行器件的多模态控制，同时，通过可穿戴设备的传感器检测用户需要控制的执行器件，提高对用户动作的识别精确度，并且减少车辆使用TOF摄像头所带来的车辆座舱布置空间较小的问题，缩减成本。

为了达到上述目的，本发明的第四方面的实施例提出了一种车辆，所述车辆包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的车辆的多模融合控制指令，所述车辆的多模融合控制指令被所述至少一个处理器执行时，使所述至少一个处理器执行上述实施例所述的车辆的多模融合控制方法。

根据本发明实施例的车辆，通过可穿戴设备的传感器检测运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度，通过识别算法确定车辆的目标执行器件，并对用户发出的语音数据进行识别，确定目标执行器件的状态控制指令，将目标执行器件与状态控制指令进行多模融合，控制目标执行器件执行与状态控制指令对应的动作，从而实现对目标执行器件的多模态控制，同时，通过可穿戴设备的传感器检测用户需要控制的执行器件，提高对用户动作的识别精确度，并且减少车辆使用TOF摄像头所带来的车辆座舱布置空间较小的问题，缩减成本。

为了达到上述目的，本发明的第五方面的实施例提出了一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质上存储有车辆的多模融合控制程序，所述车辆的多模融合控制程序被处理器执行时实现如上述实施例所述的车辆的多模融合控制方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的车辆的多模融合控制方法的流程图；

图2是根据本发明一个实施例的可穿戴设备的初始位置的示意图；

图3是根据本发明一个实施例的可穿戴设备的目标位置的示意图；

图4是根据本发明一个实施例的融合可穿戴设备的车载多模控制链路的示意图

图5是根据本发明一个实施例的车辆的多模融合控制装置的框图；

图6是根据本发明一个实施例的车辆的多融合控制设备的框图。

附图标记：车辆的多模融合控制装置2；接收模块21；第一确定模块22；第二确定模块23；控制模块24；车辆的多融合控制设备3；多媒体装置31；语音装置32；执行器件33。

具体实施方式

下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。

下面结合图1-图4对本发明实施例的车辆的多模融合控制方法进行举例说明。

如图1所示，本发明实施例的车辆的多模融合控制方法至少包括步骤S1-步骤S4。

步骤S1，接收语音数据和可穿戴设备运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度。

其中，语音数据为用户发出的语音指令对应的数据，可穿戴设备是指直接穿在用户身上的一种便携式设备，具备部分计算功能、可连接手机及各类终端的便携式配件，例如以手腕支撑的watch类设备，包括手表和运动手环等，和以头部为支撑的glass类设备，包括眼镜、头盔和头带等，多轴运动参数为可穿戴设备运动时，传感器可以实时检测的运动数据，例如多轴转向角度和/或多轴加速度，可穿戴设备内置有6轴IMU(Inertialmeasurement unit，惯性测量单元)的传感器，其中包括三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测可穿戴设备运动时，在导航坐标系中沿着三轴即X轴、Y轴和Z轴方向的多轴加速度；陀螺仪检测可穿戴设备运动时，相对于导航坐标系的沿着三轴即X轴、Y轴和Z轴方向的多轴转向角度，例如记为α、β、γ，通过检测可穿戴设备运动时的多轴转向角度和/或多轴加速度，便于根据上述信息计算用户的运动姿态。

在实施例中，通过可穿戴设备中的加速度计接收运动时的多轴加速度，通过可穿戴设备中的陀螺仪接收运动时的多轴转向角度，以确定可穿戴设备运动时的多轴运动参数，可穿戴设备通过蓝牙协议将设备ID(Identity document，身份标识号码)发送至多媒体主机，多媒体主机确认唯一ID匹配后，蓝牙认证完成并开始后续的标定工作，多媒体主机开始接收语音数据和可穿戴设备运动时的多轴运动参数，包括多轴转向角度和/或多轴加速度，以便根据上述信息确定用户需要操作的执行器件。

步骤S2，根据多轴运动参数，确定车辆的目标执行器件。

其中，目标执行器件为车辆座舱的支持智能化操控的电器执行部件，包括但不限于天窗、车窗、车门、座椅、后排吸顶屏、副驾屏和空调。

在实施例中，车辆的多媒体主机接收可穿戴设备运动时的多轴运动参数后，通过识别算法判断用户的手势指向或头部转向，以确定用户需要控制的目标执行器件。

步骤S3，对语音数据进行识别，得到状态控制指令。

其中，语音数据为用户发出的语音对应的数据，状态控制指令为车辆的多媒体主机通过整车通讯，执行对车内电器的控制。

在实施例中，用户发出语音后，车辆的多媒体主机接收语音数据，并对语音数据进行识别，以得到状态控制指令，以便控制目标执行器件执行相应的动作。

步骤S4，控制目标执行器件执行与状态控制指令对应的动作。

在实施例中，车辆的多媒体主机确定目标执行器件以及状态控制指令后，将目标执行器件与状态控制指令进行融合，通过整车通讯例如CAN(Controller Area Network，控制器局域网总线)总线将状态控制指令发送至目标执行器件，目标执行器件接收到状态控制指令后，根据状态控制指令执行相应的动作，以提高识别控制的速度。

根据本发明实施例的车辆的多模融合控制方法，通过可穿戴设备的传感器检测运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度，通过识别算法确定车辆的目标执行器件，并对用户发出的语音数据进行识别，确定目标执行器件的状态控制指令，将目标执行器件与状态控制指令进行融合，控制目标执行器件执行与状态控制指令对应的动作，从而实现对目标执行器件的多模态控制，同时，通过可穿戴设备的传感器检测用户需要控制的执行器件，提高对用户动作的识别精确度，并且减少车辆使用TOF摄像头所带来的车辆座舱布置空间较小的问题，缩减成本。

在一些实施例中，多轴运动参数包括多轴旋转角度，根据多轴转向角度确定车辆的目标执行器件时，判断可穿戴设备停止运动时在目标位置的停留时间是否达到第一预设时间阈值；若是，获取可穿戴设备在目标位置的多轴转向角度，并将基于多轴转向角度确定的执行器件作为车辆的目标执行器件，其中，目标位置为可穿戴设备的停留时间达到第一预设时间阈值的位置。

其中，可穿戴设备的初始位置根据设备的不同有所不同，例如可穿戴设备为以手腕支撑的watch类设备，初始位置为用户将手抓握在方向盘上；可穿戴设备为以头部为支撑的glass类设备，初始位置为用户正坐，头部平视前方。如图2所示，为本发明一个实施例的可穿戴设备的初始位置的示意图。在初始位置时，将导航坐标系的沿着三轴即X轴、Y轴和Z轴方向的多轴转向角度α、β、γ均标定归零，并且由于没有空间姿态变化导航坐标系的沿着三轴即X轴、Y轴和Z轴方向的多轴加速度也为零。

同理，可穿戴设备的目标位置根据设备的不同也有所不同，例如可穿戴设备为以手腕支撑的watch类设备，目标位置为用户将手腕指向需要控制的目标物；可穿戴设备为以头部为支撑的glass类设备，目标位置为将用户头部转向需要控制的目标物。如图3所示，为本发明一个实施例的可穿戴设备的目标位置的示意图。可穿戴设备运动到目标位置停止时，多轴转向角度变化为相对稳定在一个固定的值，例如记为α1、β1、γ1，多轴加速度为零。

在实施例中，可穿戴设备从初始位置运动到目标位置时，由于用户的移动习惯不同，运动过程中方向角和加速度的变化会有不同，在可穿戴设备停止运动在目标位置时，判断在目标位置的停留时间是否达到第一预设时间阈值例如1s，若在目标位置的停留时间达到第一预设时间阈值1s，认为可穿戴设备执行完整动作，则获取可穿戴设备在目标位置的多轴转向角度α1、β1、γ1，并将多轴转向角度α1、β1、γ1通过蓝牙发送至多媒体主机，多媒体主机接收到多轴转向角度α1、β1、γ1后，基于主机的识别算法确定多轴转向角度α1、β1、γ1对应的计算模型，根据对应的计算模型确定多轴转向角度α1、β1、γ1对应的执行器件，例如，将多轴转向角度α1、β1、γ1输入主机，主机的识别算法中包括提前预存的各个执行器件的计算模型，将上述多轴旋转角度输入各个计算模型，确定多轴旋转角度对应的计算模型，在不同计算模型中，多轴旋转角度输入后对应的概率不同，将上述多轴旋转角度输入各个预存的计算模型后，将概率最大的计算模型对应的执行器件作为车辆的目标执行部件，通过将多轴转向角度α1、β1、γ1确定的执行器件作为车辆的目标执行器件，使其适应识别要求精准度较低的情况。

在一些实施例中，多轴运动参数包括多轴旋转角度和多轴加速度，根据多轴转向角度和多轴加速度确定车辆的目标执行器件时，判断可穿戴设备的停留时间是否达到第一预设时间阈值；若是，获取可穿戴设备从初始位置至目标位置运动过程中的多轴转向角度和多轴加速度，并将多轴转向角度及多轴加速度带入预设模型，确定车辆的目标执行器件，其中，目标位置为可穿戴设备的停留时间达到第一预设时间阈值的位置。

在实施例中，在可穿戴设备停止运动在目标位置时，判断在目标位置的停留时间是否达到第一预设时间阈值例如1s，若在目标位置的停留时间达到第一预设时间阈值1s，认为可穿戴设备执行完整动作，则在可穿戴设备的传感器中每10-20ms间隔取点，获取可穿戴设备从初始位置至目标位置运动过程中的每一个点的多轴转向角度及多轴加速度，根据多个多轴转向角度及多个多轴加速度形成一个序列数据，重复多次收集序列数据，通过蓝牙发送至多媒体主机，多媒体主机根据大量的序列数据建立预设模型，例如隐马尔可夫链之类的模型，该预设模型中存在指向车辆的各个目标执行器件的序列数据，当用户实际使用时，根据新动作产生一个新的序列数据，多媒体主机将该新的序列数据带入预设模型中进行分类计算，判断新的序列数据最接近车辆的某个目标执行器件的序列数据，以确定对应的目标执行器件，使其适应识别要求精准度较高的情况，通过设备不同的识别要求精准度，便于在实际使用中能够满足用户的不同需求。

在一些实施例中，对语音数据进行识别，得到状态控制指令，包括：判断接收语音数据的时间与可穿戴设备执行完整动作后的时间的差值是否在第二预设时间内；若是，对语音数据进行识别，得到状态控制指令。

在实施例中，判断接收语音数据的时间与可穿戴设备执行完整动作后的时间的差值是否在第二预设时间例如2s内，若接收语音数据的时间与可穿戴设备执行完整动作后的时间的差值在第二预设时间2s内，则将语音数据带入语音识别模块进行融合识别，得到状态控制指令；若接收语音数据的时间与可穿戴设备执行完整动作后的时间的差值超过第二预设时间2s内，则忽略语音数据，保证在较短时间内连续检测到动作和语音指令时，执行相应的动作控制指令，减少对用户的动作或者语音的错误解读。

在一些实施例中，对语音数据进行识别，得到状态控制指令包括：判断语音数据是否包括控制动作数据；若是，将语音数据及目标执行器件进行数据融合，得到目标执行器件的状态控制指令，其中，控制动作数据为控制目标执行器件相应动作的数据，例如打开这个中的打开，通过识别语音数据中的控制动作数据，便于在后续控制过程中确定目标执行器件需要执行的动作。

在实施例中，接收到用户发出的语音数据后，将语音数据带入语音识别模块进行识别时，判断语音数据是否包括控制动作数据，若语音数据包括控制动作数据，例如语音数据为打开这个/那个/这边/那边时，认为语音数据中包括控制动作数据，则将语音数据中的控制动作数据与目标执行器件进行数据融合，得到目标执行器件的状态控制指令，若接收到的语音数据不包括控制动作数据，则执行一般语音流程。其中，控制动作数据的语义可以做泛化处理，需要语音识别模块自行定义，解决了部分用户对车内执行器件不熟悉，使用语音控制的学习成本较高的问题。

在一些实施例中，将语音数据及目标执行器件进行数据融合时，判断语音数据中是否包括指示语音数据，若是，识别语音数据中的控制动作数据及指示语音数据；去掉语音数据中的指示语音数据，并将控制动作数据与可穿戴设备的目标执行器件进行融合；否则，识别语音数据中的控制动作数据，并将控制动作数据与可穿戴设备的目标执行器件进行数据融合。

可以理解的是，指示语音数据为指代目标执行器件的数据，例如打开这个中的这个，通过识别指示语音数据便于在后续控制过程中确定需要控制的目标执行器件。

在实施例中，接收到用户发出的语音数据后，若确定语音数据中包括指示语音数据，则通过语音识别模块识别语音数据中的控制动作数据及指示语音数据，例如语音数据为打开这个/那个/这边/那边，其中包含控制动作数据为打开，指示语音数据为这个/那个/这边/那边，则去掉语音数据中的指示语音数据，插入并替换为目标执行器件，例如将天窗插入并替换掉这个/那个/这边/那边，并将控制动作数据与可穿戴设备的目标执行器件进行融合，得到状态控制指令即打开天窗，以得到目标执行器件的动作控制指令，简化语音识别的操作语音，通过在语音识别中的信息提取阶段对指示语音数据进行替换后，将替换后目标执行器件进行后续的NLU(Natural Language Understanding,自然语音识别)步骤，无需在NLU过程中添加额外的分词逻辑，从而维护NLU代码的复用性。

若确定语音数据中不包括指示语音数据，则通过语音识别模块识别语音数据中的控制动作数据，例如识语音数据为打开，其包括控制动作数据为打开，则将控制动作数据与可穿戴设备的目标执行器件进行融合，得到状态控制指令，并根据状态控制指令控制目标执行器件执行相应动作，从而实现对目标执行器件的多模态控制。

在一些实施例中，如图4所示，为本发明一个实施例的融合可穿戴设备的车载多模控制链路的示意图。在车辆出厂前，工厂对可支持的可穿戴设备完成标定工作，通过大量的序列数据建立识别算法模型；由于每个用户的身材不同，不同用户首次使用可穿戴设备与车机完成匹配后，在车机系统的指引下，再一次进行适配性标定，举例而言，进行适配性标定，用户首次佩戴可穿戴设备后，在车机系统的指导下，用户开始运动，当精度要求较低时，将用户根据车机指导得到的多轴转向角度、初始位置、目标位置及运动轨迹输入车机，对车机预存的不同执行器件的计算模型进行修正标定，得到适用于不同用户的每个执行器件的标准计算模型，标准计算模型表征标准多轴转向角度、标准运动轨迹、初始位置及目标位置与执行器件的对应关系，在上述标准计算模型中，标准多轴转向角度为其中一个标定参数，其具有预设取值范围，得到不同执行器件的标准多轴转向角度后，根据可穿戴设备的多轴运动参数确定目标执行器件时，获取可穿戴设备的多轴转向角度，并将多轴转向角度发送主机，主机中预存有不同执行器件的标准计算模型，将获取的多轴转向角度与标准计算模型中的标准多轴转向角度进行匹配，若获取的多轴转向角度在标准多轴转向角度的预设取值范围内，则将获取的多轴转向角度确定的执行器件作为目标执行器件。

又例如，当精度要求较高时，将用户根据车机指导得到的多轴转向角度、多轴加速度、初始位置、目标位置及运动轨迹输入车机，对车机预存的不同执行器件的计算模型进行修正标定，得到适用于不同用户的每个执行器件的标准计算模型，标准计算模型表征标准多轴转向角度、标准多轴加速度、标准运动轨迹、初始位置及目标位置与执行器件的对应关系，在上述标准计算模型中，标准多轴转向角度和标准多轴加速度形成标准序列数据，其均具有预设取值范围，得到不同执行器件的标准序列数据后，根据多轴转向角度及多轴加速度确定目标执行器件时，每隔预设时间获取可穿戴设备从初始位置到目标位置运动过程中的多轴转向角度及多轴加速度，根据上述多轴转向角度及多轴加速度形成一个序列数据，并将序列数据发送至主机，主机中预存有不同执行器件对应的标准计算模型，将获取的序列数据与标准计算模型中的标准序列数据进行匹配，若获取的多轴转向角度及多轴加速度形成的序列数据在预设取值范围内，则将多轴转向角度及多轴加速确定的执行器件作为目标执行器件。

若确定的执行器件的多轴运动参数与该执行器件的标准多轴运动参数之间的偏差超过预设取值范围，则认为该执行器件不是目标执行器件，此时，提示用户调整可穿戴设备的多轴运动参数，再次判断调整后的可穿戴设备的多轴运动参数是否在预设取值范围，直至调整后的可穿戴设备的多轴运动参数在预设取值范围内，则确定目标执行器件，通过执行上述过程，在标定完成后，根据标定数据确定目标执行器件，使得可穿戴设备适用于不同身材的用户，以便可穿戴设备在后续运动过程中进行多模控制时，更加准确的确定的目标执行器件例如天窗或前后排座椅，从而提高多模融合控制的准确性。

标定完成后，用户使用可穿戴设备进行完整运动，判断是否离开初始位置并停留1s以上，若是，得到停止位置三轴转向角或多轴运动数据序列，通过蓝牙发送至多媒体主机，若否，则忽略。多媒体主机使用识别算法将该运动数据进行分类，并得到目标执行器件的识别结果。麦克风检测的语音指令若在可穿戴设备停止2s内且包含指示语音数据时，则将目标执行器件替换掉指示语音数据，形成状态控制指令，否则，执行一般语音流程。在指令融合后，在多媒体主机中通过CAN总线，将状态控制指令传达给目标执行器件，控制目标执行器件动作。

根据本发明实施例的车辆的多模融合控制方法，通过可穿戴设备的传感器检测运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度，通过识别算法确定车辆的目标执行器件，并对用户发出的语音数据进行识别，确定目标执行器件的状态控制指令，将目标执行器件与状态控制指令进行多模融合，控制目标执行器件执行与状态控制指令对应的动作，从而实现对目标执行器件的多模态控制，同时，通过可穿戴设备的传感器检测用户需要控制的执行器件，提高对用户动作的识别精确度，并且减少车辆使用TOF摄像头所带来的车辆座舱布置空间较小的问题，缩减成本。

下面参考图5描述本发明实施例的车辆的多模融合控制装置2。

如图5所示，本发明实施例的车辆的多模融合控制装置2包括：接收模块21、第一确定模块22、第二确定模块23和控制模块24，其中，

接收模块21用于接收语音数据和可穿戴设备运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度；第一确定模块22用于根据多轴运动参数确定车辆的目标执行器件；第二确定模块23用于对语音数据进行识别，得到状态控制指令；控制模块24用于控制目标执行器件执行与状态控制指令对应的动作。

在实施例中，接收模块21通过可穿戴设备中的加速度计接收运动时的多轴加速度，通过可穿戴设备中的陀螺仪接收运动时的多轴转向角度，以确定可穿戴设备运动时的多轴运动参数，可穿戴设备通过蓝牙协议将设备ID发送至多媒体主机，多媒体主机确认唯一ID匹配后，蓝牙认证完成并开始后续的标定工作，多媒体主机开始接收语音数据和可穿戴设备运动时的多轴运动参数，包括多轴转向角度和/或多轴加速度，以便根据上述信息确定用户需要操作的执行器件。

第一确定模块22接收可穿戴设备运动时的多轴运动参数后，通过识别算法判断用户的手势指向或头部转向，以确定用户需要控制的目标执行器件，需要注意的是，确定车辆的目标执行器件时，距离较近的执行器件应取舍，以防止识别精度不足引起对车辆的目标执行器件的误识别，例如车内调节空调温度的按键与调节出风量的按键，两个按键所处的区域的均存在一个中心点，若两个区域的中心点距离较近时，例如两个中心点的距离小于20cm时，认为通过可穿戴设备运动时的多轴转向角度和/或多轴加速度无法准确区分上述两个按键，即无法区分车辆的目标执行器件，因此，确定两个区域的中心点较近时不使用可穿戴设备运动时的多轴运动参数确定目标执行器件；又例如，车辆的后座左车门和车辆的后座左车窗，两个器件所在区域的中心点距离较远，例如大于20cm时，认为通过可穿戴设备运动时的多轴转向角度和/或多轴加速度可以准确区分上述两个器件，因此，根据可穿戴设备的多轴运动参数确定目标执行器件。

第二确定模块23接收语音数据，并对语音数据进行识别，以得到状态控制指令，以便控制目标执行器件执行相应的动作。

控制模块24将目标执行器件与状态控制指令进行多模融合，通过整车通讯例如CAN总线将状态控制指令发送至目标执行器件，目标执行器件接收到状态控制指令后，根据状态控制指令执行相应的动作，以提高识别控制的速度。

根据本发明实施例的车辆的多模融合控制装置2，通过可穿戴设备的传感器检测运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度，通过识别算法确定车辆的目标执行器件，并对用户发出的语音数据进行识别，确定目标执行器件的状态控制指令，将目标执行器件与状态控制指令进行多模融合，控制目标执行器件执行与状态控制指令对应的动作，从而实现对目标执行器件的多模态控制，同时，通过可穿戴设备的传感器检测用户需要控制的执行器件，提高对用户动作的识别精确度，并且减少车辆使用TOF摄像头所带来的车辆座舱布置空间较小的问题，缩减成本。

在一些实施例中，第一确定模块22具体用于：判断可穿戴设备停止运动时在目标位置的停留时间是否达到第一预设时间阈值；若是，若是，获取可穿戴设备在目标位置的多轴转向角度，并将多轴转向角度确定的执行器件作为车辆的目标执行器件。

在一些实施例中，第一确定模块22具体用于：在可穿戴设备的停留时间达到第一预设时间阈值时，获取可穿戴设备从初始位置至目标位置运动过程中的多轴转向角度和多轴加速度，并将多轴转向角度及多轴加速度带入预设模型，确定车辆的目标执行器件，其中，目标位置为可穿戴设备的停留时间达到第一预设时间阈值的位置。

在一些实施例中，第二确定模块23具体用于：判断接收语音数据的时间与可穿戴设备执行完整动作后的时间的差值是否在第二预设时间内；若是，根据语音数据及目标执行器件确定目标执行器件的动作控制指令。

在一些实施例中，第二确定模块23具体用于：判断接收语音数据的时间与可穿戴设备执行完整动作后的时间的差值是否在第二预设时间内；若是，对语音数据进行识别，得到状态控制指令。

在一些实施例中，第二确定模块23具体用于：判断所述语音数据是否包括控制动作数据；若是，将语音数据及目标执行器件进行数据融合，得到目标执行器件的状态控制指令。

在一些实施例中，控制模块24具体用于：判断语音数据中是否包括指示语音数据；若是，识别语音数据中的控制动作数据及指示语音数据，去掉语音数据中的指示语音数据，并将控制动作数据与可穿戴设备的目标执行器件进行数据融合；否则，识别语音数据中的控制动作数据，并将控制动作数据与可穿戴设备的目标执行器件进行数据融合。

根据本发明实施例的车辆的多模融合控制装置2，通过可穿戴设备的传感器检测运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度，通过识别算法确定车辆的目标执行器件，并对用户发出的语音数据进行识别，确定目标执行器件的状态控制指令，将目标执行器件与状态控制指令进行多模融合，控制目标执行器件执行与状态控制指令对应的动作，从而实现对目标执行器件的多模态控制，同时，通过可穿戴设备的传感器检测用户需要控制的执行器件，提高对用户动作的识别精确度，并且减少车辆使用TOF摄像头所带来的车辆座舱布置空间较小的问题，缩减成本。

下面参考图6描述本发明实施例的车辆的多融合控制设备3。

如图6所示，本发明实施例的车辆的多融合控制设备3包括：多媒体装置31、语音装置32和执行器件33，其中，

多媒体装置31用于接收可穿戴设备运动时的多轴转向角度和多轴加速度；语音装置32与多媒体装置31通信，用于输出语音数据；执行器件33与语音装置32通信，用于根据语音数据及可穿戴设备运动时的多轴转向角度和多轴加速度控制指令控制执行器件33执行与状态控制指令对应的动作。

根据本发明实施例的车辆的多模融合控制设备3，通过可穿戴设备的传感器检测运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度，通过识别算法确定车辆的目标执行器件，并对用户发出的语音数据进行识别，确定目标执行器件的状态控制指令，将目标执行器件与状态控制指令进行多模融合，控制目标执行器件执行与状态控制指令对应的动作，从而实现对目标执行器件的多模态控制，同时，通过可穿戴设备的传感器检测用户需要控制的执行器件，提高对用户动作的识别精确度，并且减少车辆使用TOF摄像头所带来的车辆座舱布置空间较小的问题，缩减成本。

下面描述本发明实施例的车辆。

本发明实施例的车辆包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的车辆的多模融合控制指令，车辆的多模融合控制指令被至少一个处理器执行时，使至少一个处理器执行上述实施例的车辆的多模融合控制方法。

根据本发明实施例的车辆，通过可穿戴设备的传感器检测运动时的多轴运动参数，多轴运动参数包括多轴转向角度和/或多轴加速度，通过识别算法确定车辆的目标执行器件，并对用户发出的语音数据进行识别，确定目标执行器件的状态控制指令，将目标执行器件与状态控制指令进行多模融合，控制目标执行器件执行与状态控制指令对应的动作，从而实现对目标执行器件的多模态控制，同时，通过可穿戴设备的传感器检测用户需要控制的执行器件，提高对用户动作的识别精确度，并且减少车辆使用TOF摄像头所带来的车辆座舱布置空间较小的问题，缩减成本。

下面描述本发明实施例的非临时性计算机可读存储介质。

本发明实施例的非临时性计算机可读存储介质上存储有车辆的多模融合控制程序，车辆的多模融合控制程序被处理器执行时实现如上述实施例的车辆的多模融合控制方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种车辆的多模融合控制方法，其特征在于，包括：

接收语音数据和可穿戴设备运动时的多轴运动参数，所述多轴运动参数包括多轴转向角度和/或多轴加速度；

根据所述多轴运动参数确定车辆的目标执行器件；

对所述语音数据进行识别，得到状态控制指令；

控制所述目标执行器件执行与所述状态控制指令对应的动作。

2.根据权利要求1所述的车辆的多模融合控制方法，其特征在于，所述多轴运动参数包括多轴旋转角度，根据所述多轴转向角度确定车辆的目标执行器件，包括：

判断所述可穿戴设备的停留时间是否达到第一预设时间阈值；

若是，获取所述可穿戴设备在目标位置的多轴转向角度，并将基于所述多轴转向角度确定的执行器件作为所述车辆的目标执行器件，其中，所述目标位置为所述可穿戴设备的停留时间达到所述第一预设时间阈值的位置。

3.根据权利要求1所述的车辆的多模融合控制方法，其特征在于，所述多轴运动参数包括多轴旋转角度和多轴加速度，根据所述多轴转向角度和所述多轴加速度确定车辆的目标执行器件，包括：

判断所述可穿戴设备的停留时间是否达到第一预设时间阈值；

若是，获取所述可穿戴设备从初始位置至所述目标位置运动过程中的多轴转向角度和多轴加速度，并将所述多轴转向角度及所述多轴加速度带入预设模型，确定所述车辆的目标执行器件，其中，所述目标位置为所述可穿戴设备的停留时间达到所述第一预设时间阈值的位置。

4.根据权利要求1所述的车辆的多模融合控制方法，其特征在于，对所述语音数据进行识别，得到状态控制指令，包括：

判断接收所述语音数据的时间与所述可穿戴设备执行完整动作后的时间的差值是否在第二预设时间内；

若是，对所述语音数据进行识别，得到状态控制指令。

5.根据权利要求4所述的车辆的多模融合控制方法，其特征在于，对所述语音数据进行识别，得到状态控制指令，包括：

判断所述语音数据是否包括控制动作数据；

若是，将所述语音数据及所述目标执行器件进行数据融合，得到所述目标执行器件的状态控制指令。

6.根据权利要求5所述的车辆的多模融合控制方法，其特征在于，将所述语音数据及所述目标执行器件进行数据融合，包括：

判断所述语音数据中是否包括指示语音数据；

若是，识别所述语音数据中的所述控制动作数据及所述指示语音数据，去掉所述语音数据中的所述指示语音数据，并将所述控制动作数据与所述可穿戴设备的目标执行器件进行数据融合；

否则，识别所述语音数据中的控制动作数据，并将所述控制动作数据与所述可穿戴设备的目标执行器件进行数据融合。

7.一种车辆的多模融合控制装置，其特征在于，包括：

接收模块，用于接收语音数据和可穿戴设备运动时的多轴运动参数，所述多轴运动参数包括多轴转向角度和/或多轴加速度；

第一确定模块，用于根据所述多轴运动参数确定车辆的目标执行器件；

第二确定模块，用于对所述语音数据进行识别，得到状态控制指令；

控制模块，用于控制所述目标执行器件执行与所述状态控制指令对应的动作。

8.一种车辆的多融合控制设备，其特征在于，包括：

多媒体装置，用于接收所述可穿戴设备运动时的多轴转向角度和多轴加速度；

语音装置，与所述多媒体装置通信，用于输出语音数据；

执行器件，与所述语音装置通信，用于根据所述语音数据及所述可穿戴设备运动时的多轴转向角度和多轴加速度控制指令控制所述执行器件执行与所述状态控制指令对应的动作。

9.一种车辆，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的车辆的多模融合控制指令，所述车辆的多模融合控制指令被所述至少一个处理器执行时，使所述至少一个处理器执行权利要求1-6任一项所述的车辆的多模融合控制方法。

10.一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质上存储有车辆的多模融合控制程序，所述车辆的多模融合控制程序被处理器执行时实现如权利要求1-6任一项所述的车辆的多模融合控制方法。