CN111176443B

CN111176443B - 一种车载智能系统及其控制方法

Info

Publication number: CN111176443B
Application number: CN201911275608.4A
Authority: CN
Inventors: 孙飞
Original assignee: Qingdao Xiaoniao Kankan Technology Co Ltd
Current assignee: Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2023-10-13
Anticipated expiration: 2039-12-12
Also published as: CN111176443A

Abstract

本申请公开了一种车载智能系统及其控制方法，该车载智能系统的控制方法包括：利用预先训练完成的深度神经网络定位手势图像中手部所在区域，其中，所述手势图像是实时采集驾驶室内用户手势得到的图像；利用预先训练完成的深度神经网络定位所述手势图像中手部所在区域；获取所述手势图像中手部所在区域的轮廓信息以及手部质心点的位置信息，依据所述手部质心点的位置信息确定手部运动状态，识别出用户当前的手势；响应于所述用户当前的手势，执行与所述用户当前的手势对应的操作。本申请实施例利用深度学习和图像处理识别用户手势，提高了手势识别精度、增强了算法的鲁棒性和可扩展性，改善了驾驶体验。

Description

一种车载智能系统及其控制方法

技术领域

本申请涉及人机交互技术领域，具体涉及一种车载智能系统及其控制方法。

背景技术

目前车载智能系统大部分是通过语音控制，而语音控制在嘈杂的坏境下易受噪声影响，导致语音识别失效或误识别。有一种通过红外线识别障碍物进而实现手势识别控制的方案，但是该方案基于红外线识别原理实现，同样容易造成误识别、反复操作等，给驾驶员带来困扰，并且影响行车安全。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种车载智能系统及其控制方法，提高驾驶员操作的便捷性并保障行车安全，从而带来更舒适的驾驶体验。

依据本申请的一个方面，提供了一种车载智能系统的控制方法，包括：

利用预先训练完成的深度神经网络定位手势图像中手部所在区域，其中，所述手势图像是实时采集驾驶室内用户手势得到的图像；

获取所述手势图像中手部所在区域的轮廓信息以及手部质心点的位置信息，依据所述手部质心点的位置信息确定手部运动状态，识别出用户当前的手势；

响应于所述用户当前的手势，执行与所述用户当前的手势对应的操作。

依据本申请的又一方面，提供了一种车载智能系统，该车载智能系统包括：

相机，用于实时采集驾驶室内用户手势得到手势图像；

处理器，用于利用预先训练完成的深度神经网络定位所述手势图像中手部所在区域；获取所述手势图像中手部所在区域的轮廓信息以及手部质心点的位置信息；依据所述手部质心点的位置信息确定手部运动状态，识别出用户当前的手势；响应于所述用户当前的手势，执行与所述用户当前的手势对应的操作。

本申请实施例的技术方案，提供了车载智能系统及其控制方法，控制方法包括利用预先训练完成的深度神经网络定位手势图像中手部所在区域，获取手势图像中手部所在区域的轮廓信息以及手部质心点的位置信息，依据手部质心点的位置信息确定手部运动状态，识别出用户当前的手势，响应于用户当前的手势，执行与用户当前的手势对应的操作。由上述可知，本申请实施例，基于手势识别实现车载智能系统操作，不受环境噪声的影响，且操作更加便捷；通过深度学习降低手势的误识别率，提高了手势识别精度；依据手部质心点的位置信息确定手部运动状态，对自定义的手势动作做出准确判断，大大提高了手势操作的可扩展性和灵活性，改善了用户驾驶控制体验。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的车载智能系统的控制方法的流程示意图；

图2示出了根据本申请另一个实施例的车载智能系统的控制方法的流程图；

图3示出了根据本申请一个实施例的手部运动状态判断的原理示意图；

图4示出了根据本申请一个实施例的车载智能系统的结构框图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

图1示出了根据本申请一个实施例的车载智能系统的控制方法的流程示意图，参见图1，本实施例的车载智能系统的控制方法包括下列步骤：

步骤S101，利用预先训练完成的深度神经网络定位手势图像中手部所在区域，其中，所述手势图像是实时采集驾驶室内用户手势得到的图像。

步骤S102，获取所述手势图像中手部所在区域的轮廓信息以及手部质心点的位置信息，依据所述手部质心点的位置信息确定手部运动状态，识别出用户当前的手势。

步骤S103，响应于所述用户当前的手势，执行与所述用户当前的手势对应的操作。

由图1所示可知，本实施例的车载智能系统的控制方法，一方面，基于手势识别实现，解决了语音控制等对噪声敏感、控制效果不佳的技术问题，降低了环境的干扰和误识别概率。另一方面，通过深度学习定位手部特征，提高了方法的识别精度，鲁棒性与可扩展性。

本实施例中，将用户的手势动作转换为系统操作响应之后，还通过车载交互显示单元在终端显示操作结果提示信息，以提醒用户操作处于完成状态，一次控制过程结束。这里的车载智能系统是设置在汽车上的供不同软件运行的智能平台。随着车载系统及自动驾驶不断发展，越来越多的汽车配置了车载智能系统，比如宝马汽车驾驶人员前方的车载操作系统。

有一种手势识别进行车载控制方案通过红外线识别手部障碍物实现，这种方案很容易造成误识别，进而反复操作而给车主带来困扰且影响行车安全。对此，本实施例通过深度学习对手势进行识别，即，为了降低算法复杂度并提高效率，同时提高检测精度，这里采用深度学习方法对手势进行检测定位与识别。

需要说明的是，本实施例在应用之前包括一个离线的模型训练过程，即，在实际应用中不需要进行模型训练，只需要利用训练好的深度学习模型进行手势识别即可。这里对模型训练作简要说明如下：数据准备。根据使用场景需求和环境需求进行数据采集，标注手部区域信息，形成深度学习训练样本，注：数据采集中需要保证手部的完整以及清晰。模型训练。根据预先设计的神经网络进行模型训练。预先设计的神经网络是通过对MobileNetv2+YOLOv3网络进行修改得到的，修改内容包括：将MobileNetv2卷积层的输出神经元个数降低到一半；将YOLOv3中采用的上采样策略去掉，不进行特征图相加，且只使用最后一层做出预测，由此训练得到轻量化的深度神经网络模型。

在完成模型训练之后，本实施例的车载智能系统的控制方法，执行利用预先训练完成的深度神经网络定位手势图像中手部所在区域的步骤，其中，所述手势图像是实时采集驾驶室内用户手势得到的图像。图2示出了根据本申请另一个实施例的车载智能系统的控制方法的流程图；下面结合图2对车载智能系统的控制方法进行说明。

大体上，本实施例的控制方法包括获取彩色图像和深度图像，在彩色图像中，通过轻量化深度神经网络对手势进行检测与识别，结合图像处理技术和深度图像的深度信息，对检测到的手部区域图像提取手部轮廓，并计算手部质心位置；使用状态机对手势状态进行分析，输出手势识别结果。

步骤S201，获取彩色图像和深度图像；

本步骤中实时获取彩色和深度图像，也就是说，前述手势图像包括：手势彩色图像和手势深度图像，然后对彩色图像和深度图像进行对应，即，根据相机标定参数计算彩色图像各点对应到深度图像的坐标，并获取对应后的深度值。

步骤S202，手部定位；

这里，利用预先训练完成的深度神经网络定位所述手势图像中手部所在区域，具体的包括：利用预先训练完成的深度神经网络定位第一帧手势彩色图像中手部所在区域，并根据第一帧手势彩色图像中手部所在区域，对手部进行跟踪，得到第二帧手势彩色图像中手部所在区域。也就是说，本实施例中手部定位包括在第一帧彩色图像中对手部进行检测定位与手势识别以及根据检测出的第一帧中手部的位置对手部进行跟踪，得到第二帧中手部的位置两个过程。

需要说明的是，本实施例之所以利用跟踪算法来确定第二帧中的手部区域是因为现实应用中由于环境因素比如物体遮挡可能导致后续图像中检测不出手部，而实际上后续图像中是存在手部的，即，发生漏检，而利用跟踪算法对第一帧中检测的手部进行跟踪，避免了漏检与误检的发生，从而提高了手部检测精度。这里的第一帧是指第一次检测到手部的那一帧图像。

步骤S203，图像处理；

图像处理是根据步骤S202中跟踪到的手部位置区域进行图像处理，提取手部区域的轮廓，并计算手部的质心点坐标。即根据跟踪结果进行图像处理，计算出每一帧手部的质心坐标。

本实施例中，获取手势图像中手部所在区域的轮廓信息以及手部质心点的位置信息包括：根据相机标定参数，在所述手势深度图像上确定出与所述手势彩色图像中手部所在区域对应的第一区域；对所述第一区域进行高斯滤波得到第二区域；将所述第二区域内像素值小于第一阈值或大于第二阈值的点的像素值设为0；其中，所述第一阈值与所述第二阈值均依据所述第一区域的中心点对应的深度值确定；计算所述第二区域内点的最大连通区域，将最大连通区域内点的像素值设为255，将其余区域内点的像素值设为0，得到二值图像；对所述二值图像进行边缘提取，得到手部轮廓和边缘点信息；依据各内点与各边缘点的距离，确定当前帧图像中手部质心点位置。

例如，手部质心点的确定流程是：

(1)将当前帧的手部矩形区域对应到深度图，记为||DR||_m×n，其中m,n分别为矩形区域的高和宽；然后对其进行高斯滤波得到更加平滑的区域||DR'||_m×n，记其各点的像素值为DR′_ij，其中i＜m,j＜n。

(2)记深度图中手部矩形区域中心点坐标为(x₀,y₀)，并获取中心点对应的深度值d₀；若DR′_ij＜d₀-α或DR′_ij＞d₀+α，则DR_ij＝0；这一步骤的目的是为了降低手部区域背景的干扰。

(3)在上一步骤的基础上，对DR′_ij求解最大连通区域，然后将最大连通区域所在像素赋值为255，其他区域赋值为0，得到的二值图像，记为||DR||_m×n。

(4)通过canny算子对||DR”||_m×n进行边缘提取，得到手部轮廓，记为||DR”'||_m×_n；然后通过max{min{d(pi_j,p_hl)}}计算出手部对应的质心点O_c，p_ij表示手部轮廓区域的内点，p_hl表示手部轮廓区域的边缘点，d(p_ij,p_hl)表示内点与边缘点的距离，记为第一距离，min{d(p_ij,p_hl)}表示一个内点对应的所有第一距离的最小值；max{min{d(p_ij,p_hl)}}表示所有内点的第一距离最小值中最大的那一个第一距离，根据所有内点对应的第一距离最小值中最大的那一个第一距离，可以确定出一个内点和一个边缘点，该内点即为质心点。

步骤S204，运动状态判断。

运动状态判断是对用户手势的运动状态进行判断，实际应用中，本实施例支持用户自定义动态手势进行车载智能系统控制，从而方案的可扩展性强，这里的自定义动态手势比如是握拳顺时针旋转、五指张开左右挥手等。

本实施例依据手部质心点的位置信息确定手部运动状态，识别出用户当前的手势，具体的，根据手势图像的采集时间将所述手部质心点的位置信息顺序存储到预设的手势分析队列中，并按照先进先出方式实时更新所述手势分析队列，其中，所述手势分析队列的长度为大于2的自然数；依据所述手势分析队列中所述手部质心点的位置信息确定手部运动状态，识别出用户当前的手势后清空所述手势分析队列。依据所述手势分析队列中所述手部质心点的位置信息确定手部运动状态，

识别出用户当前的手势包括：对所述手势分析队列中的质心点拟合得到圆形曲线；按照从前到后的顺序，从所述手势分析队列中选取三个质心点，在所述圆形曲线上找到相应的质心点并标注为第一质心点，第二质心点和第三质心点；当第一向量与第二向量的张量积小于0时，确定手部运动状态为手部正在顺时针画圆；其中，所述第一向量的起点为所述第一质心点，所述第一向量的终点为所述第二质心点，所述第二向量的起点为所述第二质心点，所述第二向量的终点为所述第三质心点；当所述第一向量与所述第二向量的张量积不小于0时，确定手部运动状态为手部正在逆时针画圆。

也就是说，运动状态判断步骤主要包括下列两个子步骤，子步骤一：建立手势状态队列，将手部的质心点坐标放入手势状态队列；子步骤二：根据自定义手势状态，分析手势状态队列后得到最终手势识别结果。

下面以车载智能系统的音量调节手势为例，对运动状态判断进行说明。

首先，建立手势分析队列，根据需要设定手势分析队列长度，比如，根据实际实验结论设置手势分析队列大小为100。一般的，手势的完成都需要持续存在一定的时间(比如2秒)，在这段时间内，相机实时采集用户的手势图像，得到多帧手势图像。本实施例，在识别出用户的手势后，清空手势分析队列，供下次控制时使用。

其次，将每一帧的手部质心点坐标按照先进先出方式放在手势分析队列中，并实时的更新手势分析。本实施例定义握拳顺时针画圆对应的操作为提高音量，逆时针画圆手势对应的操作为降低音量。

接着，使用最小二乘法将手势分析队列中的质心点拟合为一个圆，图3示出了根据本申请一个实施例的手部运动状态判断的原理示意图，参见图3，按照从前到后的顺序，从手势分析队列中选取三个质心点，在圆形曲线上找到相应的质心点并标注为第一质心点A，第二质心点B和第三质心点C，如图3所示；

最后，依据向量的张量积确定运动状态。若则表明手部正在做顺时针画圆的动作；反之，则表明手部正在做逆时针画圆的动作。张量积是将小的向量空间合在一起，构成更大向量空间的一种方法。注：前述第一向量AB的起点为第一质心点，终点为第二质心点。第二向量BC的起点为第二质心点，终点为第三质心点。

至此，判断出了手势的运动状态，即，用户当前做的是握拳顺时针画圆的手势还是握拳逆时针画圆的手势。需要说明的是，实际应用中，手势的运动状态不同，判断算法和过程也不同，这里仅以握拳顺时针或逆时针画圆进行示意性说明，本实施例的判断算法不具有针对所有动态手势的普遍性。

在识别出用户正在做握拳顺时针画圆的动作或握拳逆时针画圆的动作之后，根据握拳顺时针画圆对应的操作为提高音量，握拳逆时针画圆手势对应的操作为降低音量的定义，车载智能系统响应于所述用户当前的手势，执行与所述用户当前的手势对应的操作(提高音量/降低音量)。

由上可知，本实施例的车载智能系统的控制方法基于手势识别进行控制操作，不受环境噪声的影响，且操作更加便捷；通过深度学习在车内采集海量数据进行模型训练而后利用训练完成的模型进行手部定位检测和跟踪，降低手势的误识别率，提高识别精度；通过手势分析队列对自定义的手势动作做出准确判断，大大提高了手势操作的可扩展性和灵活性。

图4示出了根据本申请一个实施例的车载智能系统的结构框图，参见图4，车载智能系统400包括：

相机401，用于实时采集驾驶室内用户手势得到手势图像；

处理器402，用于利用预先训练完成的深度神经网络定位所述手势图像中手部所在区域；获取所述手势图像中手部所在区域的轮廓信息以及手部质心点的位置信息；依据所述手部质心点的位置信息确定手部运动状态，识别出用户当前的手势；响应于所述用户当前的手势，执行与所述用户当前的手势对应的操作。

在本申请的一个实施例中，车载智能系统400还包括车载交互显示单元，

所述车载交互显示单元用于显示操作结果提示信息；

所述手势图像包括：手势彩色图像和手势深度图像；

所述处理器402，具体用于利用预先训练完成的深度神经网络定位第一帧手势彩色图像中手部所在区域，并根据第一帧手势彩色图像中手部所在区域，对手部进行跟踪，得到第二帧手势彩色图像中手部所在区域。

在本申请的一个实施例中，所述处理器402，具体用于根据相机标定参数，在所述手势深度图像上确定出与所述手势彩色图像中手部所在区域对应的第一区域；对所述第一区域进行高斯滤波得到第二区域；将所述第二区域内像素值小于第一阈值或大于第二阈值的点的像素值设为0；其中，所述第一阈值与所述第二阈值均依据所述第一区域的中心点对应的深度值确定；计算所述第二区域内点的最大连通区域，将最大连通区域内点的像素值设为255，将其余区域内点的像素值设为0，得到二值图像；对所述二值图像进行边缘提取，得到手部轮廓信息；依据各内点与各边缘点的距离，确定手部质心点位置。

在本申请的一个实施例中，所述处理器402，具体用于根据所述手势图像的采集时间将所述手部质心点的位置信息顺序存储到预设的手势分析队列中，并按照先进先出方式实时更新所述手势分析队列，其中，所述手势分析队列的长度为大于2的自然数；依据所述手势分析队列中所述手部质心点的位置信息确定手部运动状态，识别出用户当前的手势后清空所述手势分析队列；对所述手势分析队列中的质心点拟合得到圆形曲线；按照从前到后的顺序，从所述手势分析队列中选取三个质心点，在所述圆形曲线上找到相应的质心点并标注为第一质心点，第二质心点和第三质心点；当第一向量与第二向量的张量积小于0时，确定手部运动状态为手部正在顺时针画圆；其中，所述第一向量的起点为所述第一质心点，所述第一向量的终点为所述第二质心点，所述第二向量的起点为所述第二质心点，所述第二向量的终点为所述第三质心点；当所述第一向量与所述第二向量的张量积不小于0时，确定手部运动状态为手部正在逆时针画圆。

需要说明的是，上述终端实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。

本发明的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的手势交互方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。

Claims

1.一种车载智能系统的控制方法，其特征在于，该车载智能系统的控制方法包括：

利用预先训练完成的深度神经网络定位手势图像中手部所在区域，其中，所述手势图像是实时采集驾驶室内用户手势得到的图像；所述手势图像包括手势彩色图像和手势深度图像；

响应于所述用户当前的手势，执行与所述用户当前的手势对应的操作；

其中，所述获取所述手势图像中手部所在区域的轮廓信息以及手部质心点的位置信息包括：

根据相机标定参数，在所述手势深度图像上确定出与所述手势彩色图像中手部所在区域对应的第一区域；

对所述第一区域进行高斯滤波得到第二区域；

对所述第二区域内点的像素值进行赋值，得到二值图像；

对所述二值图像进行边缘提取，得到边缘点信息；

依据各内点与各边缘点的距离，确定手部质心点位置。

2.如权利要求1所述的车载智能系统的控制方法，其特征在于，该方法还包括：通过车载交互显示单元显示操作结果提示信息。

3.如权利要求1所述的车载智能系统的控制方法，其特征在于，所述利用预先训练完成的深度神经网络定位所述手势图像中手部所在区域包括：

利用预先训练完成的深度神经网络定位第一帧手势彩色图像中手部所在区域，并根据第一帧手势彩色图像中手部所在区域，对手部进行跟踪，得到第二帧手势彩色图像中手部所在区域。

4.如权利要求1所述的车载智能系统的控制方法，其特征在于，所述对所述第二区域内点的像素值进行赋值，得到二值图像包括：

将所述第二区域内像素值小于第一阈值或大于第二阈值的点的像素值设为0；其中，所述第一阈值与所述第二阈值均依据所述第一区域的中心点对应的深度值确定；

计算所述第二区域内点的最大连通区域，将最大连通区域内点的像素值设为255，将其余区域内点的像素值设为0，得到二值图像。

5.如权利要求1-4中任一项所述的车载智能系统的控制方法，其特征在于，所述依据所述手部质心点的位置信息确定手部运动状态，识别出用户当前的手势包括：

根据所述手势图像的采集时间将所述手部质心点的位置信息顺序存储到预设的手势分析队列中，并按照先进先出方式实时更新所述手势分析队列，其中，所述手势分析队列的长度为大于2的自然数；

依据所述手势分析队列中所述手部质心点的位置信息确定手部运动状态，识别出用户当前的手势后清空所述手势分析队列。

6.如权利要求5所述的车载智能系统的控制方法，其特征在于，所述依据所述手势分析队列中所述手部质心点的位置信息确定手部运动状态，识别出用户当前的手势包括：

对所述手势分析队列中的质心点拟合得到圆形曲线；

按照从前到后的顺序，从所述手势分析队列中选取三个质心点，在所述圆形曲线上找到相应的质心点并标注为第一质心点，第二质心点和第三质心点；

当第一向量与第二向量的张量积小于0时，确定手部运动状态为手部正在顺时针画圆；其中，所述第一向量的起点为所述第一质心点，所述第一向量的终点为所述第二质心点，所述第二向量的起点为所述第二质心点，所述第二向量的终点为所述第三质心点；

当所述第一向量与所述第二向量的张量积不小于0时，确定手部运动状态为手部正在逆时针画圆。

7.一种车载智能系统，其特征在于，该车载智能系统包括：

相机，用于实时采集驾驶室内用户手势得到手势图像；

处理器，用于利用预先训练完成的深度神经网络定位所述手势图像中手部所在区域；获取所述手势图像中手部所在区域的轮廓信息以及手部质心点的位置信息；依据所述手部质心点的位置信息确定手部运动状态，识别出用户当前的手势；响应于所述用户当前的手势，执行与所述用户当前的手势对应的操作；其中，所述手势图像包括手势彩色图像和手势深度图像；

所述处理器，具体用于根据相机标定参数，在所述手势深度图像上确定出与所述手势彩色图像中手部所在区域对应的第一区域；对所述第一区域进行高斯滤波得到第二区域；对所述第二区域内点的像素值进行赋值，得到二值图像；对所述二值图像进行边缘提取，得到边缘点信息；依据各内点与各边缘点的距离，确定手部质心点位置。

8.如权利要求7所述的车载智能系统，其特征在于，所述车载智能系统还包括车载交互显示单元，

所述车载交互显示单元用于显示操作结果提示信息；

所述处理器，具体用于利用预先训练完成的深度神经网络定位第一帧手势彩色图像中手部所在区域，并根据第一帧手势彩色图像中手部所在区域，对手部进行跟踪，得到第二帧手势彩色图像中手部所在区域。

9.如权利要求7所述的车载智能系统，其特征在于，

所述处理器，具体用于将所述第二区域内像素值小于第一阈值或大于第二阈值的点的像素值设为0；其中，所述第一阈值与所述第二阈值均依据所述第一区域的中心点对应的深度值确定；计算所述第二区域内点的最大连通区域，将最大连通区域内点的像素值设为255，将其余区域内点的像素值设为0，得到二值图像。

10.如权利要求7-9中任一项所述的车载智能系统，其特征在于，

所述处理器，具体用于根据所述手势图像的采集时间将所述手部质心点的位置信息顺序存储到预设的手势分析队列中，并按照先进先出方式实时更新所述手势分析队列，其中，所述手势分析队列的长度为大于2的自然数；依据所述手势分析队列中所述手部质心点的位置信息确定手部运动状态，识别出用户当前的手势后清空所述手势分析队列；对所述手势分析队列中的质心点拟合得到圆形曲线；按照从前到后的顺序，从所述手势分析队列中选取三个质心点，在所述圆形曲线上找到相应的质心点并标注为第一质心点，第二质心点和第三质心点；当第一向量与第二向量的张量积小于0时，确定手部运动状态为手部正在顺时针画圆；其中，所述第一向量的起点为所述第一质心点，所述第一向量的终点为所述第二质心点，所述第二向量的起点为所述第二质心点，所述第二向量的终点为所述第三质心点；当所述第一向量与所述第二向量的张量积不小于0时，确定手部运动状态为手部正在逆时针画圆。