CN117666794A - 车辆交互方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种车辆交互方法、装置、电子设备及存储介质，所述车辆的方向盘上设置有第一传感器，所述车辆交互方法包括以下步骤：通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息；在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令；在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令。本申请解决了相关技术中在行车过程中进行车辆交互的安全性较低的技术问题。

Description

车辆交互方法、装置、电子设备及存储介质

技术领域

本申请涉及车辆技术领域，尤其涉及一种车辆交互方法、装置、电子设备及存储介质。

背景技术

随着汽车行业的高速发展，用户驾车过程中与车辆或者其他车载设备进行交互的场景也越来越多，目前很多车辆为了提高用户体验感，都会尽量简化用户操作，使得用户的操作时间尽可能的缩短，但不论如何缩短，很多操作的决策权都必须掌握在用户自己手中，因此，确认和取消操作是驾驶车辆的过程中频次较高且必要的操作。

相关技术中的，用户在驾车过程中要做出确认或取消的决策操作，仍需要驾驶员将手离开方向盘，移动到车载终端或其他终端设备上进行操作，且要精准选中确认或取消按键，还需要集中一定的精力去准确找到确认或取消按键在显示界面中的位置，操作较为复杂，而这些操作均会导致注意力的分散，从而增加驾驶风险，甚至引发安全事故。

发明内容

本申请的主要目的在于提供一种车辆交互方法、装置、电子设备及存储介质，旨在解决相关技术中在行车过程中进行车辆交互的安全性较低的技术问题。

为实现上述目的，本申请提供一种车辆交互方法，所述车辆的方向盘上设置有第一传感器，所述车辆交互方法包括以下步骤：

通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息；

在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令；

在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令。

本申请还提供一种车辆交互装置，所述车辆的方向盘上设置有第一传感器，所述车辆交互装置包括：

采集模块，用于通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息；

第一指令生成模块，用于在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令；

第二指令生成模块，用于在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令。

本申请还提供一种电子设备，所述电子设备为实体设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述的车辆交互方法的程序，所述的车辆交互方法的程序被处理器执行时可实现如上述的车辆交互方法的步骤。

本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有实现车辆交互方法的程序，所述的车辆交互方法的程序被处理器执行时实现如上述的车辆交互方法的步骤。

本申请提供了一种车辆交互方法、装置、电子设备及存储介质，所述确认或取消方法应用于车辆，所述车辆的方向盘上设置有第一传感器，首先通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息，实现了通过方向盘对用户确认或取消意图的检测，这样，用户可以在双手无需离开方向盘的情况下，通过与方向盘进行交互，表达其确认或取消意图；进而在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令，在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令，实现了基于检测到的确认或取消意图进行确认或取消控制，也即，可以将用户通过与方向盘进行交互表达的确认或取消意图，转化成确认或取消指令，实现对确认或取消的决策控制。由于用户在车辆驾驶过程中双手本应放在方向盘上操控方向盘，因此在需要决策时，通过设置于方向盘上的第一传感器采集第一手势触控信息，可以使得驾驶员无需移动手的位置即可实现决策的目的，由于无需移动手的位置，也就无需分散注意力去关注手决策的操作是否准确。这样，驾驶员可以在双手握住方向盘的情况下用较少的视觉，通过手部与方向盘之间的交互动作，使用手势来传达决策意图，提高了决策的操控便捷性，降低了行车过程中决策所引发的安全风险。克服了用户在驾车过程中要做出确认或取消的决策操作，仍需要驾驶员将手离开方向盘，移动到车载终端或其他终端设备上进行操作，且要精准选中确认或取消按键，还需要集中一定的精力去准确找到确认或取消按键在显示界面中的位置，操作较为复杂，而这些操作均会导致注意力的分散，从而增加驾驶风险，甚至引发安全事故的技术缺陷，本申请提供了一种更为便捷且安全的车辆交互方法，提高了驾驶员在驾驶中作出决策控制的便捷性，降低了注意力分散导致的驾驶风险。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图得到其他的附图。

图1为本申请中车辆交互方法的第一实施例的流程示意图；

图2为本申请实施例中确认手势的场景示意图；

图3为本申请实施例中取消手势的场景示意图；

图4为本申请中车辆交互方法的第二实施例的流程示意图；

图5为本申请中车辆交互方法装置的一实施例的结构示意图；

图6为本申请实施例中车辆交互方法涉及的硬件运行环境的设备结构示意图。

本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所得到的所有其它实施例，均属于本发明保护的范围。

随着汽车行业的高速发展，用户驾车过程中与车辆或者其他车载设备进行交互的场景也越来越多，目前很多车辆为了提高用户体验感，都会尽量简化用户操作，使得用户的操作时间尽可能的缩短，但不论如何缩短，很多操作的决策权都必须掌握在用户自己手中，因此，确认和取消操作是驾驶车辆的过程中频次较高且必要的操作。然而，提高驾驶员的安全性和操作便捷性一直是重要的技术挑战。相关技术中心的用户在与车辆交互过程中进行决策控制的方法包括以下几种：

(1)基于摄像头的手势识别系统：一些车辆制造商和科技公司已经开始尝试将摄像头和手势识别算法用于车辆交互控制上。这些系统可以捕捉驾驶员的手势，如挥手或手指移动，然后将其转化为交互控制命令。然而，这些系统也需要驾驶员将手移动到摄像头视野范围内，且需要执行幅度较大的手势操作，才能被准备识别出来，驾驶员仍需要分散注意力去找到可以做出手势的位置，以及需要将手从方向盘上移开，因此仍存在较高的安全风险。

(2)声控装置：一些车辆配备了声控的车辆交互控制装置，允许驾驶员通过语音指令来进行车辆交互控制。尽管这些系统可以减少手动操作，但对声音识别的环境要求较高，车辆行驶过程中并不一定是完全安静的，车辆运行本身就会产生一定的杂音、车辆中乘员的交谈声、车上播放音乐的声音或者车辆本身就处于嘈杂的环境中，在这些情况下通过语音识别控制指令的难度较高，且目前语音识别对于某些指令的理解上仍存在挑战，对于其他对于时效性要求不高的场景，可以通过多次重复的方式，使得语音指令被准确识别到，但在车辆行驶过程中，多次重复耗费大量时间，在这段时间内，车辆仍处于行驶的状态，可能会导致走错路，或者减速影响后方车辆行驶，或者使得用户分散注意力到发音准确、关闭背景音乐、关窗等操作上，也会导致较高的安全风险。

(3)触摸感应方向盘：一些汽车制造商已经开始使用触摸感应技术在驾驶控制区域上集成一些控制功能。然而，这些触摸板通常是平面的，因此需要单独设置，驾驶员仍然需要分散注意力去找到触摸板的位置，从而作出相应的手势，也存在较高的安全风险。

(4)虚拟现实手势控制技术：虚拟现实领域已经有一些手势控制方案，允许用户在虚拟环境中使用手势来进行交互。尽管这些技术在虚拟环境中表现良好，但在车辆交互控制中的应用需要考虑更多的安全性和实用性因素。

综上，相关技术中比较具有实用性的车辆交互方法仍需要驾驶员将手离开方向盘，移动到指定位置，在此过程中，用户还需要将视线从道路上移开去确认手是否移动到指定位置，若用户将视线从道路上移开去确认手是否移动到指定位置，可以更好地确保车辆交互操作能够被准确识别到，但手脱离方向盘以及视线离开道路均会导致注意力的分散，从而增加驾驶风险，甚至引发安全事故；而若用户不将视线从道路上移开去确认手是否移动到指定位置，又会出现用户的车辆交互操作可能无法被准确识别到的情况，例如用户仅凭手无法准确摸索到触摸板，无法将手部调整为摄像头可以准确识别到的角度和位置，导致摄像头采集的图像中无法准确识别出车辆交互操作等，而车辆交互操作无法被准确识别到，会导致交互控制无法及时实现，但车辆在行驶过程中是在不断往前行驶的，因此可能导致车辆走错路，造成不便，浪费资源和时间，且会给用户带来不好的体验感。

基于此，本申请提供了一种更为便捷且安全的车辆交互方法，所述确认或取消方法应用于车辆，所述车辆的方向盘上设置有第一传感器，首先通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息，实现了通过方向盘对用户确认或取消意图的检测，这样，用户可以在双手无需离开方向盘的情况下，通过与方向盘进行交互，表达其确认或取消意图；进而在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令，在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令，实现了基于检测到的确认或取消意图进行确认或取消控制，也即，可以将用户通过与方向盘进行交互表达的确认或取消意图，转化成确认或取消指令，实现对确认或取消的决策控制。由于用户在车辆驾驶过程中双手本应放在方向盘上操控方向盘，因此在需要决策时，通过设置于方向盘上的第一传感器采集第一手势触控信息，可以使得驾驶员无需移动手的位置即可实现决策的目的，由于无需移动手的位置，也就无需分散注意力去关注手决策的操作是否准确。这样，驾驶员可以在双手握住方向盘的情况下用较少的视觉，通过手部与方向盘之间的交互动作，使用手势来传达决策意图，提高了决策的操控便捷性，降低了行车过程中决策所引发的安全风险。克服了用户在驾车过程中要做出确认或取消的决策操作，仍需要驾驶员将手离开方向盘，移动到车载终端或其他终端设备上进行操作，且要精准选中确认或取消按键，还需要集中一定的精力去准确找到确认或取消按键在显示界面中的位置，操作较为复杂，而这些操作均会导致注意力的分散，从而增加驾驶风险，甚至引发安全事故的技术缺陷，提高了驾驶员在驾驶中作出决策控制的便捷性，降低了注意力分散导致的驾驶风险。

实施例一

本申请实施例提供一种车辆交互方法，在本申请车辆交互方法的第一实施例中，参照图1，所述车辆的方向盘上设置有第一传感器，所述车辆交互方法包括以下步骤：

步骤S10，通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息；

本实施例方法的执行主体可以是一种车辆交互装置，也可以是一种车辆交互方法终端设备或服务器，本实施例以车辆交互装置进行举例，该车辆交互装置可以集成在具有数据处理功能的车辆、车载终端、整车控制器、智能手机、平板电脑等终端设备上。

在本实施例中，需要说明的是，用户驾车过程中常常可能需要与车辆或者其他车载设备进行交互，目前很多车辆为了提高用户体验感，都会尽量简化用户操作，使得用户的操作时间尽可能的缩短，但不论如何缩短，很多操作的决策权都必须掌握在用户自己手中，因此，确认和取消操作是驾驶车辆的过程中频次较高且必要的操作，其中确认表示肯定，取消表示否定。目前，用户在驾车过程中要做出确认或取消操作，仍需要驾驶员将手离开方向盘，移动到车载终端或其他终端设备上进行操作，且要精准选中确认或取消按键，还需要集中一定的精力去准确找到确认或取消按键在显示界面中的位置，操作较为复杂，而这些操作均会导致注意力的分散，从而增加驾驶风险，甚至引发安全事故。本实施例通过简单且无需脱离方向盘的手势，即可快速且准确地实现决策的功能，可以在保证驾驶安全性的情况下，满足用户在驾车过程中随时便捷地进行决策的实际需求。例如，当驾驶员使用车机导航系统时，他们可以使用手势来确认所选的目的地，避免需要触摸屏幕或使用按钮进行确认，这特别适用于驾驶员需要保持目光在道路上的情况；又例如，驾驶员可以使用手势来接听、挂断电话通话或取消来电，从而更方便地进行电话操作，而不需要分散注意力；又例如，用手势确认与取消功能也可用于快速且便捷地控制车内娱乐系统，如音乐播放、视频选择或游戏操作等；又例如，驾驶员还可以使用手势快速且便捷地确认或取消车辆系统设置，如温度、座椅调整等。

所述车辆交互方法应用于车辆，用于在用户与车辆的交互过程中，将用户的决策意图转化为确认指令或取消指令，实现对车辆的决策控制。所述车辆的方向盘上设置有第一传感器，所述第一传感器用于采集用户与方向盘进行触控交互操作而产生的手势触控信息，可以包括压力传感器、光电传感器、图像传感器等中的至少一种。

在一种可实施的方式中，所述第一传感器为传感器阵列，传感器阵列包括多个分布设置于方向盘表面不同位置的传感器单元，在其中任一个或多个传感器单元采集到传感器数据时，可以基于传感器数据，结合传感器单元本身的位置，或传感器单元与其他传感器单元之间的相对位置关系，或传感器单元在传感器阵列中的位置关系，判断用户当前与方向盘进行交互的手势。可以预先为不同的手势匹配不同的交互控制指令，用户学习各种手势以及各种手势各自对应的交互控制指令之后，在实际驾驶过程中，在想要进行交互控制时，就会作出相应的手势，进而在检测到用户作出手势而产生的手势触控信息之后，即可识别出用户想要实施的交互控制指令，并控制车辆或车辆上搭载的其他设备执行用户想要实施的交互控制指令。

手势触控信息可以包括压力信息、操作时间、操作位置信息等中的至少一种，手势触控信息可以从传感器数据、传感器单元的部署位置等信息中进行提取。其中，基于压力信息、操作时间等可以判别用户操作的操作类型，例如触摸、敲击、按压、滑动等；基于操作位置信息可以识别出执行操作的部位，因此，可以实现对微型手势的识别，微型手势包括手的部分作出的手势，例如某一个手指的动作、多根手指的动作、手掌的动作等。这样，手的部分与操作类型可以组成更多的组合方式，从而匹配更多的交互控制，实现更多种的交互控制操作。这样，一方面，在驾驶车辆的过程中，手原本就应该放在方向盘上操控方向盘，本实施例的车辆交互方法中，手指或手掌与方向盘的交互的过程中，手无需脱离方向盘，与传统的手势识别系统相比，不会引起驾驶员的手离开方向盘，因此大大提高了驾驶的安全性；另一方面，微型手势非常微小和精准，仅需要极少的视觉和动作即可完成交互控制，相对于需要大幅手势或复杂动作的传统手势控制系统，这降低了分散注意力的风险，有助于保持驾驶员的注意力集中在道路上。

作为一种示例，所述步骤S10包括：在车辆上电运行后，可以不断地或在满足预设手势控制条件后，通过所述第一传感器采集用户手部与方向盘进行交互的第一待识别手势的第一手势触控信息。

在一种可实施的方式中，可以在车辆上电时，输出是否开启手势控制的提示框，在用户选择开启手势控制的情况下，判断当前满足预设手势控制条件，车辆进入手势控制状态，并开启所述第一传感器，以使得所述第一传感器可以采集到所述手势触控信息，直至车辆退出手势控制状态，车辆退出手势控制状态的方式可以为用户操作退出、车辆下电等，具体可以根据实际情况进行确定，本实施例对此不加以限制。车辆在最初上电时，通常处于停车状态，此时用户与车辆进行交互不会产生安全风险，还可以更精准地确认用户是否需要通过手势进行交互控制。

在另一种可实施的方式中，可以预先设置手势控制唤醒手势，还可以预先设置手势控制关闭手势。在车辆上电后，开启第一传感器，进而在通过所述第一传感器检测到手势控制唤醒手势时，判断当前满足预设手势控制条件，开始执行所述车辆交互方法，对第一传感器采集到的传感器数据进行分析；在检测到手势控制关闭手势时，停止执行所述车辆交互方法，避免误触。用户在车辆行驶后可能产生确认或取消的决策控制的需求，但此时车辆已经行驶在道路上，靠边停车进行操作的便捷性较低，但若将手离开方向盘，与车载终端或其他终端设备进行交互，需要分散驾驶员的注意力，安全风险较高，因此可以通过手势控制唤醒手势控制所述车辆交互方法开启，而在交互控制之后，为了避免误触，又可以通过手势控制关闭手势控制所述车辆交互方法停止执行，实现所述车辆交互方法的灵活开关。

在一种可实施的方式中，所述通过所述第一传感器采集用户与方向盘进行交互的待识别手势的手势触控信息的步骤包括：通过所述第一传感器采集用户手指与方向盘进行交互的第一待识别手势的第一手势触控信息，其中，所述手势触控信息包括至少一个目标手指的敲击手势信息、至少一个目标手指的触摸手势信息、至少一个目标手指未触摸的手势信息和至少一个目标手指的滑动手势信息中的至少一种。

在本实施例中，需要说明的是，通过对手指与方向盘进行交互的微型手势进行检测，并基于微型手势进行交互控制，一方面，手指的数量较多，其本身可以进行组合，还可以进一步与操作类型组成更多的组合方式，从而匹配更多的交互控制，实现更多种的交互控制操作；另一方面，手指的灵活度较高，与方向盘进行交互的操作难度较小，容易实现，且不会对方向盘的控制造成干扰，因此安全风险较小。因此，所述手势触控信息可以包括至少一个目标手指的敲击手势信息、至少一个目标手指的触摸手势信息、至少一个目标手指未触摸的手势信息和至少一个目标手指的滑动手势信息中的一种或多种的组合，其中，目标手指可以根据传感器数据中的位置信息进行确定。

作为一种示例，在车辆上电运行后，可以不断地或在满足预设手势控制条件后，通过所述第一传感器采集用户手指与方向盘进行交互的第一待识别手势的第一手势触控信息。

可选地，所述确认手势包括食指和拇指握住方向盘，同时中指、无名指和小拇指敲击方向盘的手势；

和/或，所述取消手势包括中指、无名指和小拇指握住方向盘，同时食指和拇指敲击方向盘的手势。

在本实施例中，参照图2，所述确认手势包括食指和拇指握住方向盘，同时中指、无名指和小拇指敲击方向盘的手势。一方面，这一手势蕴含了“OK”的含义，容易联想到确认的意图，因此将其作为确认指令对应的手势，容易理解，学习成本较低；另一方面，驾驶员日常驾车过程中不容易无意中作出这一手势，且在食指和中指同时向上抬起时，大拇指会向方向盘施加一个向上的较为明显的压力，也即手势的特征较为明显，手势识别误检概率较低。

参照图3，所述取消手势包括中指、无名指和小拇指握住方向盘，同时食指和拇指敲击方向盘的手势。一方面，这一手势与“OK”正好相反，容易联想到取消的意图，因此将其作为取消指令对应的手势，容易理解，学习成本较低；另一方面，驾驶员日常驾车过程中不容易无意中作出这一手势，手势识别误检概率较低。

可选地，所述通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息的步骤包括：

步骤S11，在接收到待确认指令之后，通过所述方向盘输出振动提示信息；

步骤S12，通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息。

在本实施例中，需要说明的是，在行车过程中，驾驶员的手部与方向盘之间会产生大量的交互操作，而需要进行决策控制的情况是少数的，因此，可以仅在有决策需求的情况下，也即在接收到待确认指令的情况下，开启手势决策控制功能，而在用户未接收到待确认指令的情况下，可以进入手势控制休眠状态，可以关闭手势决策控制功能，这样，既可以避免影响驾驶员正常的驾驶操作，还可以节约资源。

作为一种示例，所述步骤S11-S12包括：在车辆上电运行后，可以对车辆的待确认指令进行监测，在接收到待确认指令之后，可以通过所述方向盘输出振动提示信息，通过振动的方式提醒用户当前接收到了待确认指令，进而，获取所述第一传感器在输出振动提示信息之后采集到的用户与方向盘进行交互的第一待识别手势的第一手势触控信息。

在一种可实施的方式中，所述车辆交互方法还可以包括以下步骤：在所述生成确认指令的步骤之后，或者在所述生成取消指令的步骤之后，进入手势控制休眠状态。避免影响驾驶员正常的驾驶操作，同时还可以节约资源。

步骤S20，在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令；

步骤S30，在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令。

在本实施例中，确认指令是表示肯定的指令，取消指令是表示否定的指令，需要说明的是，车辆的各种功能可以根据实际需要将其选择划分为肯定或否定，从而与确认指令和取消指令相适配，例如，可以将提高音量认定为肯定，降低音量认定为否定，这样，即可通过确认手势和取消手势实现对音量的控制。

作为一种示例，所述步骤S20-S30包括：在采集到所述第一手势触控信息之后，可以对所述第一手势触控信息进行分析，判断所述第一待识别手势与预设确认手势或预设取消手势是否相匹配，在确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令；在确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令；在确定所述第一待识别手势与预设确认手势或预设取消手势均不匹配的情况下，可以输出重新作出手势的提示信息。

在一种可实施的方式中，所述对所述第一手势触控信息进行分析，判断所述第一待识别手势与预设确认手势或预设取消手势是否相匹配的方式可以为：将所述第一手势触控信息与预设确认手势或预设取消手势进行匹配，判断所述第一待识别手势是否与预设确认手势或预设取消手势相匹配；或者，将所述第一手势触控信息输入预设第一手势识别模型，通过第一手势识别模型对所述第一手势触控信息进行分析，确定所述第一待识别手势对应的目标手势，判断所述目标手势是否为所述确认手势或取消手势，其中，手势识别模型与现有技术相近，在此不过多赘述。

可选地，所述在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令的步骤包括：

步骤S21，基于所述第一手势触控信息判断所述第一待识别手势是否包括间隔时间小于预设第一时间阈值的多个待识别子手势；

步骤S22，若是，则基于所述第一手势触控信息判断与预设确认手势相匹配的待识别子手势的数量是否超过预设第一数量阈值；

步骤S23，若是，则生成确认指令。

在本实施例中，需要说明的是，由于行车过程中，驾驶员的手部与方向盘之间会产生大量的交互操作，因此难免可能作出与预设确认手势或预设取消手势相近似或手势特征相近似的操作，导致误检。通常偶然一次作出相近似的动作的概率较高，但连续两次或多次作出同一个相近似的动作的概率则会大大降低，因此，可以通过检测预设时间阈值内重复出现多次的确认手势或取消手势，降低误识别的概率，提高用户体验感。

作为一种示例，所述步骤S21-S23包括：在采集到所述第一手势触控信息之后，可以对所述第一手势触控信息进行分析，检测所述第一待识别手势中是否包括多个待识别子手势，时间上相邻的任意两个待识别子手势的时间间隔超过预设第三时间阈值且小于预设第一时间阈值，超过预设第三时间阈值则可以认定为是两个独立的子手势，小于预设第一时间阈值则可以认定为两个独立的子手势表征的是同一个意图，因此是属于同一个手势；在检测到多个待识别子手势的情况下，对各所述待识别子手势各自对应的第一手势触控信息进行分析，分别判断每个待识别子手势是否与预设确认手势相匹配；在检测到与预设确认手势相匹配的待识别子手势的数量超过预设第一数量阈值的情况下，生成确认指令。

在一种可实施的方式中，假设与预设确认手势相匹配的待识别子手势的数量为两个或两个以上，则生成确认指令。用户在作出手势时，在第一个子手势做完之后遇到突发情况，原本是需要中指、无名指和小指同时敲击方向盘，但因突发情况导致中指没能敲击到方向盘，也即第二个子手势未完成或不标准，用户可以迅速再重复一次，这样，三个子手势中仍然有两个与预设确认手势相匹配，则仍然能够识别到用户的意图，生成确认指令。

可选地，所述在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令的步骤包括：

步骤S31，基于所述第一手势触控信息判断所述第一待识别手势是否包括间隔时间小于预设第二时间阈值的多个待识别子手势；

步骤S32，若是，则基于所述第一手势触控信息判断与预设取消手势相匹配的待识别子手势的数量是否超过预设第二数量阈值；

步骤S33，若是，则生成取消指令。

作为一种示例，所述步骤S31-S33包括：在采集到所述第一手势触控信息之后，可以对所述第一手势触控信息进行分析，检测所述第一待识别手势中是否包括多个待识别子手势，时间上相邻的任意两个待识别子手势的时间间隔超过预设第四时间阈值且小于预设第二时间阈值，超过预设第四时间阈值则可以认定为是两个独立的子手势，小于预设第二时间阈值则可以认定为两个独立的子手势表征的是同一个意图，因此是属于同一个手势；在检测到多个待识别子手势的情况下，对各所述待识别子手势各自对应的第一手势触控信息进行分析，分别判断每个待识别子手势是否与预设取消手势相匹配；在检测到与预设取消手势相匹配的待识别子手势的数量超过预设第二数量阈值的情况下，生成取消指令。

在一种可实施的方式中，假设与预设取消手势相匹配的待识别子手势的数量为两个或两个以上，则生成取消指令。用户在作出手势时，在第一个子手势做完之后遇到突发情况，原本是需要中指、无名指和小指同时敲击方向盘，但因突发情况导致中指没能敲击到方向盘，也即第二个子手势未完成或不标准，用户可以迅速再重复一次，这样，三个子手势中仍然有两个与预设取消手势相匹配，则仍然能够识别到用户的意图，生成取消指令。

在本实施例中，所述车辆交互方法应用于车辆，所述确认或取消方法应用于车辆，所述车辆的方向盘上设置有第一传感器，首先通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息，实现了通过方向盘对用户确认或取消意图的检测，这样，用户可以在双手无需离开方向盘的情况下，通过与方向盘进行交互，表达其确认或取消意图；进而在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令，在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令，实现了基于检测到的确认或取消意图进行确认或取消控制，也即，可以将用户通过与方向盘进行交互表达的确认或取消意图，转化成确认或取消指令，实现对确认或取消的决策控制。由于用户在车辆驾驶过程中双手本应放在方向盘上操控方向盘，因此在需要决策时，通过设置于方向盘上的第一传感器采集第一手势触控信息，可以使得驾驶员无需移动手的位置即可实现决策的目的，由于无需移动手的位置，也就无需分散注意力去关注手决策的操作是否准确。这样，驾驶员可以在双手握住方向盘的情况下用较少的视觉，通过手部与方向盘之间的交互动作，使用手势来传达决策意图，提高了决策的操控便捷性，降低了行车过程中决策所引发的安全风险。克服了用户在驾车过程中要做出确认或取消的决策操作，仍需要驾驶员将手离开方向盘，移动到车载终端或其他终端设备上进行操作，且要精准选中确认或取消按键，还需要集中一定的精力去准确找到确认或取消按键在显示界面中的位置，操作较为复杂，而这些操作均会导致注意力的分散，从而增加驾驶风险，甚至引发安全事故的技术缺陷，本申请提供了一种更为便捷且安全的车辆交互方法，提高了驾驶员在驾驶中作出决策控制的便捷性，降低了注意力分散导致的驾驶风险。

实施例二

进一步地，参照图3，基于本申请上述实施例，在本申请的第二实施例中，与上述实施例相同或相似的内容，可以参考上文介绍，后续不再赘述。在此基础上，所述车辆还包括第二传感器，所述车辆交互方法还包括：

步骤A10，通过所述第二传感器采集手势图像；

在本实施例中，需要说明的是，车辆行驶过程中对用户操作进行检测识别的精准性越高，用户的操作越便捷，用户越不容易紧张，注意力越集中，因此驾驶安全性越高。而相比于多传感器相互验证，单一传感器进行手势检测更容易出现误检的情况下，精准性略差。

图像数据中包含的信息较多，且图像数据中包含的位置信息的准确性较高，但图像传感器采集图像数据时，容易因为障碍物的遮挡、分辨率等问题导致采集到的图像数据中的目标物不全，也即采集到的所述手势图像中的手势特征可能不全，因此单一的图像识别很容易出现无法识别出目标手势的情况。而所述手势触控信息对于识别出用户手部与方向盘之间的交互操作的全面性较高，但对位置的判别准确性较低，因此对于作出交互操作的具体是哪一根手指或是手的哪一个部位的判别准确性较低。因此，手势触控信息和手势图像二者可以相互补足，手势触控信息可以弥补手势图像因遮挡、分辨率等问题导致的采集到的图像数据中的目标物不全的缺陷，手势图像可以弥补手势触控信息对位置的判别准确性较低的缺陷，实现对用户微型手势的全面且准确的识别。

在一种可实施的方式中，所述第二传感器可以设置于与所述方向盘相对应的位置，示例性地，可以设置于转向管柱护罩、仪表板、A柱等位置，用于拍摄方向盘区域的图像，这样，可以仅采集用户手部与方向盘进行交互的第一待识别手势的手势图像，降低出现检测异常的概率。

作为一种示例，所述步骤A10包括：在车辆上电运行后，可以不断地或在满足预设手势控制条件后，通过所述第二传感器采集用户手部在方向盘区域作出与方向盘进行交互的第一待识别手势的手势图像。其中，所述手势图像可以为图片或视频等，具体可以根据实际需要进行确定，本实施例对此不加以限制。

步骤A20，在确定所述手势图像与所述第一手势触控信息相匹配的情况下，根据所述第一手势触控信息和所述手势图像检测所述第一待识别手势是否与预设确认手势或预设取消手势相匹配。

作为一种示例，所述步骤A20包括：将所述手势图像与所述第一手势触控信息进行信息进行匹配，在确定所述手势图像与所述第一手势触控信息相匹配的情况下，对所述手势图像和所述第一手势触控信息进行分析，基于所述手势图像和所述第一手势触控信息检测所述第一待识别手势是否与预设确认手势或预设取消手势相匹配。

在一种可实施的方式中，所述将所述手势图像与所述第一手势触控信息进行信息匹配的方式可以为：通过预设的第一特征提取器从所述手势图像中提取第一手势特征，并通过预设的第二特征提取器从所述第一手势触控信息中提取第二手势特征，判断所述第一手势特征与所述第二手势特征是否匹配。

在另一种可实施的方式中，所述将所述手势图像与所述第一手势触控信息进行信息匹配的方式还可以为：通过预设的第一手势识别模型对所述手势图像进行手势识别，得到预设第一手势，并通过预设的第二手势识别模型对所述第一手势触控信息进行手势识别，得到预设第二手势，判断所述预设第一手势与所述预设第二手势是否匹配。

可选地，所述根据所述第一手势触控信息和所述手势图像检测所述第一待识别手势是否与预设确认手势或预设取消手势相匹配的步骤包括：

步骤C21，通过预设的手势识别算法，基于所述第一手势触控信息和所述手势图像，从预设手势库中确定目标手势；

步骤C22，判断所述目标手势是否为确认手势或取消手势。

作为一种示例，所述步骤C21-C22包括：通过预设的手势识别算法，基于所述第一手势触控信息和所述手势图像进行手势识别运算，计算用户手部当前与方向盘进行交互的第一待识别手势为预设手势库中各个手势的概率，根据概率确定目标手势，判断所述目标手势是否为确认手势或取消手势。

在一种可实施的方式中，所述手势识别算法包括第一特征提取算法、第二特征提取算法以及手势分类算法，其中，特征提取算法可以根据数据的类型、实际所需的特征等进行确定，本实施例对此不加以限制；所述通过预设的手势识别算法，基于所述第一手势触控信息和所述手势图像，从预设手势库中确定目标手势的步骤可以包括：先通过第一特征提取算法从所述第一手势触控信息中提取第一手势特征，并通过第二特征提取算法从所述手势图像中提取第二手势特征，将所述第一手势特征和所述第二手势特征拼接成手势特征向量或手势特征矩阵，进而通过预设的手势分类算法，基于所述手势特征向量或手势特征矩阵，计算用户手部当前与方向盘进行交互的第一待识别手势为预设手势库中各个手势的概率，根据概率输出目标手势作为分类结果，示例性地，可以将概率最高的手势确定为目标手势，也可以将概率高于预设概率阈值且概率最高的手势确定为目标手势，具体可以根据实际情况进行确定，本实施例对此不加以限制。

在本实施例中，通过第二传感器采集手势图像，可以与第一传感器采集的手势触控信息进行相互验证和信息的补全，不仅可以降低错误识别的概率，还可以提高采集到的手势信息的全面性，提高手势识别的准确性，从而可以更准确地确定出符合用户实际需求的目标交互控制指令，因此，可以有效提高用户操作的便捷性和驾驶安全性，提高用户体验感。

实施例三

进一步地，参照图4，本申请实施例还提供一种车辆交互装置，其特征在于，所述车辆的方向盘上设置有第一传感器，所述车辆交互装置包括：

采集模块10，用于通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息；

第一指令生成模块20，用于在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令；

第二指令生成模块20，用于在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令。

可选地，所述车辆还包括第二传感器，所述车辆交互装置还包括手势图像识别模块，所述手势图像识别模块用于：

通过所述第二传感器采集手势图像；

在确定所述手势图像与所述第一手势触控信息相匹配的情况下，根据所述第一手势触控信息和所述手势图像检测所述第一待识别手势是否与预设确认手势或预设取消手势相匹配。

可选地，所述手势图像识别模块，还用于：

通过预设的手势识别算法，基于所述第一手势触控信息和所述手势图像，从预设手势库中确定目标手势；

判断所述目标手势是否为确认手势或取消手势。

可选地，所述确认手势包括食指和拇指握住方向盘，同时中指、无名指和小拇指敲击方向盘的手势；

和/或，所述取消手势包括中指、无名指和小拇指握住方向盘，同时食指和拇指敲击方向盘的手势。

可选地，所述采集模块10，还用于：

在接收到待确认指令之后，通过所述方向盘输出振动提示信息；

通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息。

可选地，所述第一指令生成模块20，还用于：

基于所述第一手势触控信息判断所述第一待识别手势是否包括间隔时间小于预设第一时间阈值的多个待识别子手势；

若是，则基于所述第一手势触控信息判断与预设确认手势相匹配的待识别子手势的数量是否超过预设第一数量阈值；

若是，则生成确认指令。

可选地，所述第二指令生成模块30，还用于：

基于所述第一手势触控信息判断所述第一待识别手势是否包括间隔时间小于预设第二时间阈值的多个待识别子手势；

若是，则基于所述第一手势触控信息判断与预设取消手势相匹配的待识别子手势的数量是否超过预设第二数量阈值；

若是，则生成取消指令。

本发明提供的车辆交互装置，采用上述实施例中的车辆交互方法，解决了相关技术中在行车过程中进行车辆交互的安全性较低的技术问题。与现有技术相比，本发明实施例提供的车辆交互装置的有益效果与上述实施例提供的车辆交互方法的有益效果相同，且该车辆交互装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。

实施例四

进一步地，本发明实施例提供一种电子设备，电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例中的车辆交互方法。

下面参考图6，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如蓝牙耳机、移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有电子设备操作所需的各种程序和数组。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

通常，以下系统可以连接至I/O接口：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信装置。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数组。虽然图中示出了具有各种系统的电子设备，但是应理解的是，并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从ROM被安装。在该计算机程序被处理装置执行时，执行本公开实施例的方法中限定的上述功能。

本发明提供的电子设备，采用上述实施例中的车辆交互方法，解决了相关技术中在行车过程中进行车辆交互的安全性较低的技术问题。与现有技术相比，本发明实施例提供的电子设备的有益效果与上述实施例提供的车辆交互方法的有益效果相同，且该电子设备中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

实施例五

进一步地，本实施例提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行上述实施例中的车辆交互方法。

本发明实施例提供的计算机可读存储介质例如可以是U盘，但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读存储介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。

上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被电子设备执行时，使得电子设备：通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息；在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令；在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。

本发明提供的计算机可读存储介质，存储有用于执行上述车辆交互方法的计算机可读程序指令，解决了相关技术中在行车过程中进行车辆交互的安全性较低的技术问题。与现有技术相比，本发明实施例提供的计算机可读存储介质的有益效果与上述实施例提供的车辆交互方法的有益效果相同，在此不做赘述。

实施例六

进一步地，本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的车辆交互方法的步骤。

本申请提供的计算机程序产品解决了相关技术中在行车过程中进行车辆交互的安全性较低的技术问题。与现有技术相比，本发明实施例提供的计算机程序产品的有益效果与上述实施例提供的车辆交互方法的有益效果相同，在此不做赘述。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种车辆交互方法，其特征在于，所述车辆的方向盘上设置有第一传感器，所述车辆交互方法包括以下步骤：

通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息；

在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令；

在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令。

2.如权利要求1所述的车辆交互方法，其特征在于，所述车辆还包括第二传感器，所述车辆交互方法还包括：

通过所述第二传感器采集手势图像；

在确定所述手势图像与所述第一手势触控信息相匹配的情况下，根据所述第一手势触控信息和所述手势图像检测所述第一待识别手势是否与预设确认手势或预设取消手势相匹配。

3.如权利要求2所述的车辆交互方法，其特征在于，所述根据所述第一手势触控信息和所述手势图像检测所述第一待识别手势是否与预设确认手势或预设取消手势相匹配的步骤包括：

通过预设的手势识别算法，基于所述第一手势触控信息和所述手势图像，从预设手势库中确定目标手势；

判断所述目标手势是否为确认手势或取消手势。

4.如权利要求1所述的车辆交互方法，其特征在于，所述确认手势包括食指和拇指握住方向盘，同时中指、无名指和小拇指敲击方向盘的手势；

和/或，所述取消手势包括中指、无名指和小拇指握住方向盘，同时食指和拇指敲击方向盘的手势。

5.如权利要求1所述的车辆交互方法，其特征在于，所述通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息的步骤包括：

在接收到待确认指令之后，通过所述方向盘输出振动提示信息；

通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息。

6.如权利要求1所述的车辆交互方法，其特征在于，所述在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令的步骤包括：

基于所述第一手势触控信息判断所述第一待识别手势是否包括间隔时间小于预设第一时间阈值的多个待识别子手势；

若是，则基于所述第一手势触控信息判断与预设确认手势相匹配的待识别子手势的数量是否超过预设第一数量阈值；

若是，则生成确认指令。

7.如权利要求1所述的车辆交互方法，其特征在于，所述在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令的步骤包括：

基于所述第一手势触控信息判断所述第一待识别手势是否包括间隔时间小于预设第二时间阈值的多个待识别子手势；

若是，则基于所述第一手势触控信息判断与预设取消手势相匹配的待识别子手势的数量是否超过预设第二数量阈值；

若是，则生成取消指令。

8.一种车辆交互装置，其特征在于，所述车辆的方向盘上设置有第一传感器，所述车辆交互装置包括：

采集模块，用于通过所述第一传感器采集用户与方向盘进行交互的第一待识别手势的第一手势触控信息；

第一指令生成模块，用于在基于所述第一手势触控信息确定所述第一待识别手势与预设确认手势相匹配的情况下，生成确认指令；

第二指令生成模块，用于在基于所述第一手势触控信息确定所述第一待识别手势与预设取消手势相匹配的情况下，生成取消指令。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的车辆交互方法的步骤。

10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有实现车辆交互方法的程序，所述实现车辆交互方法的程序被处理器执行以实现如权利要求1至7中任一项所述的车辆交互方法的步骤。