CN117351556A - 手势识别方法、装置、车辆及存储介质 - Google Patents

Abstract

本申请实施例适用于人机交互技术领域，提供了一种手势识别方法、装置、车辆及存储介质，方法应用于车辆，车辆中设置有摄像设备和雷达感知设备，该方法包括：获取摄像设备采集到的待识别图像序列，并根据待识别图像确定目标对象的第一手势信息；待识别图像中包含目标对象的手势；获取雷达感知设备采集到的目标对象的动态点云数据，并根据动态点云数据确定目标对象的第二手势信息；动态点云数据用于表征目标对象的手部运动轨迹；根据第一手势信息和第二手势信息识别目标对象的目标手势。采用上述方法可以提高动态手势识别的准确率。

Description

手势识别方法、装置、车辆及存储介质

技术领域

本申请属于人机交互技术领域，尤其涉及一种手势识别方法、装置、车辆及存储介质。

背景技术

随着汽车的智能化发展，现有的很多汽车都配置有手势识别功能，手势识别功能可以使用户无需操作显示屏或操作台上的按键，只需做出相应的手势，便可实现对车辆相应功能的开启或关闭，不仅可以提高车主驾车的安全性，而且可以提高人车交互效率。

汽车上的手势识别功能主要是通过车内的摄像设备拍摄车主的图像，而后将所拍摄的车主的图像导入手势识别模型中，对车主的手势进行识别。手势通常包括静态手势(如，比心)和动态手势(如，滑动)。对动态手势的识别通常需要拍摄多帧相邻的图像导入手势识别模型中进行识别，且图像拍摄时易受环境因素的影响，导致动态手势的识别准确率较低。

发明内容

本申请实施例提供了一种手势识别方法、装置、车辆及存储介质，可以解决通过车内的摄像设备拍摄图像进行动态手势识别的准确率低的问题。

第一方面，本申请实施例提供了一种手势识别方法，应用于车辆，车辆中设置有摄像设备和雷达感知设备，方法包括：

获取摄像设备采集到的待识别图像序列，并根据待识别图像确定目标对象的第一手势信息；待识别图像中包含目标对象的手势；

获取雷达感知设备采集到的目标对象的动态点云数据，并根据动态点云数据确定目标对象的第二手势信息；动态点云数据用于表征目标对象的手部运动轨迹；

根据第一手势信息和第二手势信息识别目标对象的目标手势。

第二方面，本申请实施例提供了一种手势识别装置，与车辆中的摄像设备和雷达感知设备连接，装置包括：

图像处理模块，用于获取摄像设备采集到的待识别图像序列，并根据待识别图像确定目标对象的第一手势信息；待识别图像中包含目标对象的手势；

点云处理模块，用于获取雷达感知设备采集到的目标对象的动态点云数据，并根据动态点云数据确定目标对象的第二手势信息；动态点云数据用于表征目标对象的手部运动轨迹；

识别模块，用于根据第一手势信息和第二手势信息识别目标对象的目标手势。

第三方面，本申请实施例提供了一种车辆，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在车辆上运行时，使得车辆执行上述第一方面的方法。

本申请实施例与现有技术相比存在的有益效果是：分别通过车内的摄像设备获取包含目标对象的手势的待识别图像，以及，通过雷达感知设备获取表征目标对象的手部运动轨迹的动态点云数据。之后，分别从待识别图像中识别目标对象的第一手势信息；以及，从动态点云数据中识别目标对象的第二手势信息。因雷达感知设备采集动态点云数据时，不会受到外界因素的影响，且动态点云数据可以表征目标手部的运动轨迹。基于此，根据动态点云数据识别手势时，可以在一定程度上提高准确率，同时还可以在一定程度上反应目标对象的动态手势。以此，在结合第二手势信息识别目标手势时，可以提高对动态手势进行识别的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种手势识别方法的实现流程图；

图2是本申请一实施例提供的一种手势识别方法的确定第一手势类型的一种实现方式示意图；

图3是本申请一实施例提供的一种手势识别方法的确定第二手势类型的一种实现方式示意图；

图4是本申请一实施例提供的一种手势识别方法的确定第一手势信息的一种实现方式示意图；

图5是本申请一实施例提供的一种手势识别方法的确定图像质量的一种实现方式示意图；

图6是本申请一实施例提供的一种手势识别装置的结构示意图；

图7是本申请一实施例提供的一种车辆的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

目前，在人机交互的领域中，通常是通过按键方式或语音方式与车辆进行交互。但是，采用按键方式进行交互时，需要车主手指触控，或者在车辆安装的显示屏中输入需要进行交互的信息。但是，该方式对于正在驾驶车辆的车主而言，该车机交互方式并不便捷，且在交互过程中存在一定的驾驶风险。以及，在采用语音方式进行交互时，若车辆处于嘈杂的环境中，在对语音进行采集并识别时，其识别的语义的准确率低。

因此，为了使车主能够便捷且安全的与车辆进行交互，其交互方式改为通过摄像设备拍摄车主的图像，而后对车主的手势进行识别的方式。然而，手势通常包括静态手势(如，比心)和动态手势(如，滑动)。对动态手势的识别通常需要拍摄多帧相邻的图像导入手势识别模型中进行识别，且在进行图像拍摄时易受环境因素的影响，导致动态手势的识别准确率较低。

基于此，为了提高对车主的动态手势进行识别的准确率，本申请实施例提供了一种手势识别方法，该手势识别方法可以应用于手势识别装置，或应用于设置有该手势识别装置的车辆中。示例性的，手势识别装置可以为车载设备。

另外，为了提高对动态手势进行识别的准确率，车辆中可以设置有摄像设备和雷达感知设备。其中，摄像设备用于实时拍摄采集车内的待识别图像；同时，雷达感知设备也需实时采集车内的点云数据。

其中，摄像设备可以为摄像机或照相机等具有拍摄功能的设备，对此不作限定。雷达感知设备可以为毫米波雷达或激光雷达等可以采集点云数据的设备，对此不作限定。

请参阅图1，图1示出了本申请实施例提供的一种手势识别方法的实现流程图，该方法包括如下步骤：

S101、获取摄像设备采集到的待识别图像序列，并根据待识别图像确定目标对象的第一手势信息；待识别图像中包含目标对象的手势。

在一实施例中，上述目标对象可以为人，也可以具体为手部，对此不作限定。其中，在车机交互中，车辆是识别手势以进行交互。也即识别到的手势可以为车主的手势，也可以为其他乘客的手势，对此不作限定。在本实施例中，上述目标对象可以为车主的手部。

通常的，摄像设备是实时采集车内的图像。然而，车主并不是实时与车辆进行交互。因此，对于摄像设备实时采集的图像，还需进行进一步的检测。例如，摄像设备在检测到图像中包含有目标对象的手势时，即可认为该图像为待识别图像。之后将其传输给手势识别装置。也即，手势识别装置并不是实时从摄像设备中获取待识别图像。

另外，在车主与车辆进行手势交互时，通常车主的手部所展示的手势可能需要维持一定时间。也即摄像设备通常可以连续拍摄到多帧同时包含有目标对象的手势的待识别图像。此时，连续拍摄到的多帧待识别图像即为上述待识别图像序列。

在一实施例中，上述第一手势信息包括目标对象的第一手势类型和第一手势特征。其中，第一手势类型用于表征目标对象的手势为动态手势或静态手势。第一手势特征可以用于进一步的表征目标对象具体的目标手势。

在一实施例中，在确定第一手势信息时，手势识别装置可以通过预先训练的手势识别模型对待识别图像进行处理后得到。其中，手势识别模型可以为卷积神经网络模型，也可以为深度残差神经网络模型，对此不作限定。

需要说明的是，现有的是手势识别模型通常包括输入层、处理层、分类层以及输出层。其中，输入层用于输入待识别图像；处理层用于对待识别图像进行处理，得到第一手势特征；分类层用于根据第一手势特征进行预测，输出对第一手势特征进行预测的目标手势；输出层用于输出该目标手势。

在本实施例中，可以对上述手势识别模型做出部分调整。具体的，分别在将每帧待识别图像经过输入层传输至处理层后，处理层可以对待识别图像进行处理，得到第一手势信息中第一手势特征。之后，通过分类层对第一手势特征进行处理，以对第一手势信息进行粗分类(即得到第一手势类型)。之后，由输出层进行输出。此时，分类层输出的粗分类并不是具体的目标手势。其中，每帧待识别图像均对应一个第一手势特征。

需要说明的是，上述手势识别模型可以直接识别当前需被处理的待识别图像中目标对象的第一手势特征，而对于第一手势类型，本申请实施例还可以根据其他方式进行得到。此时，本申请实施例所使用的手势识别模型可以只包括输入层、处理层以及输出层即可。

在一具体实施例中，手势识别装置可以通过如图2所示的S201-S204确定目标对象的第一手势类型，详述如下：

S201、确定目标对象在第一目标帧的待识别图像中的第一目标位置。

S202、确定目标对象在第二目标帧的待识别图像中的第二目标位置。

在一实施例中，上述第一目标帧的待识别图像具体可以为当前时刻下被处理的待识别图像。其中，上述S101中已说明摄像设备在检测到图像中包含有目标对象的手势时，即可认为该图像为当前需要被处理的第一目标帧的待识别图像。同时，还可以认为摄像设备在检测到待识别图像中包含有目标对象的手势时，还可同时确定目标对象在该第一目标帧的待识别图像中的第一目标位置，并同时上传至手势识别装置。此时，无需手势识别装置执行确定第一目标位置的过程。

示例性的，摄像设备可以预先为待识别图像建立二维坐标系。之后，摄像设备在从待识别图像确定目标对象时，生成包含目标对象的手势的检测框。最后，将检测框的角点或中心点确定为目标对象在第一目标帧的待识别图像中的第一目标位置。其中，目标检测框的形状可以规则的矩形或圆形，也可以不规则形状，对此不作限定。

需要说明的是，在为每帧待识别图像建立二维坐标系时，均应当以相同的像素点作为原点，建立二维坐标系。例如，均以每帧待识别图像中的各个顶点或中心点作为原点。

在其他实施例中，手势识别装置还可以在获取到待识别图像后，通过上述处理层对第一目标帧的待识别图像进行处理确定第一目标位置，对此不作详细说明。

在一实施例中，上述第二目标帧可以为与第一目标帧相邻的上一帧，或者待识别图像序列中的第一帧，对此不作限定。其中，获取目标对象在第二目标帧的待识别图像中的第二目标位置的方式，与获取第一目标位置的方式相似，对此不再进行说明。

S203、计算第一目标帧与第二目标帧之间的第一间隔时长。

S204、根据第一目标位置、第二目标位置以及第一间隔时长，确定目标对象的第一手势类型。

在一实施例中，对于动态手势，因手部处于运动，因此，目标对象在第一目标帧的待识别图像中的第一目标位置，通常与目标对象在第二目标帧的待识别图像中的第二目标位置之间的间隔距离较长。而对于动态手势，目标对象在第一目标帧的待识别图像中的第一目标位置，通常与目标对象在第二目标帧的待识别图像中的第二目标位置相同，或之间的间隔距离较短。

基于此，手势识别装置可以计算第一目标位置和第二目标之间的第一间隔距离，之后，将第一间隔距离与第一预设间隔距离进行比较。若第一间隔距离大于第一预设间隔距离，则确定第一手势类型为动态手势。即在第一预设间隔时长内，目标对象的手势发生变化，且变化较大。若第一间隔距离小于或等于第一预设间隔距离，则确定第一手势类型为静态手势。即在第一预设间隔时长内，目标对象的手势未发生变化，或变化较小。

可以理解的是，车主可能因抖动使得第一手势类型本应当为静态手势，而被误识别为动态手势。基于此，为了降低误识别的概率，在根据第一目标位置和第二目标位置确定第一手势类型时，还需根据第一间隔时长进行辅助判断，进而，进一步的提高对第一手势类型进行识别的准确率。

具体的，对于动态手势，第一目标位置与第二目标位置之间的第一间隔距离可能因第一间隔时长的长短，而发生改变。因此，在手势识别装置计算出第一目标帧与第二目标帧之间的第一间隔时长后，还可以选择该第一间隔时长对应的第一预设间隔距离与第一间隔距离进行比较。其中，每个第一间隔时长对应的第一预设间隔距离可以由车主预先进行设置，并存储在手势识别装置中，对此不作限定。

需要补充的是，在得到第一目标帧的第一手势特征时，手势识别装置也应当对应识别第一目标帧中的目标对象的第一手势特征；之后，将根据第一手势类型和对应的第一手势特征确定第一手势信息。

S102、获取雷达感知设备采集到的目标对象的动态点云数据，并根据动态点云数据确定目标对象的第二手势信息；动态点云数据用于表征目标对象的手部运动轨迹。

在一实施例中，根据对上述获取待识别图像序列的方式的解释，对于雷达感知设备采集到的点云数据，也可以对其进行检测，以从点云数据中确定包含目标对象的动态点云数据。可以理解的是，若检测到采集的点云数据为非目标对象的动态点云数据，则手势识别装置可以无需进行获取。基于此，采集到的动态点云数据也应当为连续时刻下的点云数据，且该连续时刻下的点云数据可以表征目标对象的手部运动轨迹。

在另一实施例中，因摄像设备和雷达设备均是实时工作的，因此，在确定摄像设备拍摄到具有目标对象的手势的待识别图像时，可以将雷达感知设备在同一时刻下采集到的点云数据确定为包含目标对象的动态点云数据。也即包含待识别图像序列和动态点云数据在时间上同步。并且，为了提高手势识别装置对动态手势进行识别的准确率，摄像设备和雷达感知设备在车辆中的安装位置应当处于相同位置，或两者位置相邻。也即，可以保证待识别图像序列和动态点云数据被采集时，能够在空间和时间上的同步。

其中，需要说明的是，本实施例中，对上述S101和S102步骤的执行先后顺序不作限定。

在一实施例中，第二手势特征包括目标对象的第二手势特征和第二手势类型。与第一手势信息相类似，第二手势类型用于表征目标对象的手势为动态手势或静态手势。第二手势特征可以用于进一步的表征目标对象的目标手势，以提高对目标手势进行识别的准确率。区别在于：第一手势信息基于待识别图像得到，第二手势信息基于动态点云数据得到。

另外，第二手势特征也可以为根据预先训练的点云识别模型对第一目标时刻的动态点云数据进行处理得到。其中，对点云识别模型的模型结构与上述手势识别模型的模型结构相似，以及点云识别模型对动态点云数据进行处理的过程与手势识别模型对待识别图像进行处理的方式类似，对此不再对获取第二手势特征的获取方式进行说明。

对于上述第二手势类型，本申请实施例还可以根据如图3所示的S301-S304确定目标对象的第一手势类型，详述如下：

S301、确定目标对象在第一目标时刻的动态点云数据中的第一点云位置。

S302、确定目标对象在第二目标时刻的动态点云数据中的第二点云位置。

在一实施例中，上述第一目标时刻可以为当前时刻下需被处理的动态点云数据。其在，上述第二目标时刻可以为与第一目标时刻相邻的上一时刻，也可以为第一次获取动态点云数据时的时刻，对此不作限定。

需要说明的是，在获取第一点云位置时，车辆可以先通过雷达感知设备采集车内的环境点云数据，并进行存储。之后，将雷达感知设备作为原点，建立的空间坐标系。而后，根据环境点云数据和空间坐标系，确定动态点云数据所在的第一点云位置。同样的，雷达感知设备也可以根据上述方式获取目标对象在目标时刻下动态点云数据的第二点云位置，对此不做详细说明。而后，雷达设备可以将上述第一点云位置和第二点云位置传输至手势识别装置。

S303、计算第一目标时刻与第二目标时刻之间的第二间隔时长。

S304、根据第一点云位置、第二点云位置以及第二间隔时长，确定目标对象的第二手势类型。

在一实施例中，上述根据第一点云位置、第二点云位置以及第二间隔时长，确定目标对象的第二手势类型的方式，与上述S204判断第一手势类型的方式相似。例如，同样需要预先设置每个第二间隔时长对应的第二预设间隔距离，将第一点云位置和第二点云位置之间的第二间隔距离与对应的第二预设间隔距离进行比较，得出第二手势类型，对此不做详细说明。

需要说明的是，在每次采集目标对象对应的动态点云数据，其动态点云数据通常具有多个。也即将获得多个第一点云位置以及对应的第二点云位置。基于此，在计算上述第二间隔距离时，其还应当为计算每个第一点云位置分别与对应的第二点云位置之间的距离和。

需要补充的是，在得到第一目标时刻下的第二手势类型时，手势识别装置也应当对应识别第一目标时刻的动态点云数据中目标对象的第二手势特征；之后，将根据第二手势类型和对应的第二手势特征确定第二手势信息。

可以理解的是，车主可能因抖动使得第二手势类型本应当为静态手势，而被误识别为动态手势。基于此，为了降低误识别的概率，在根据第一点云位置和第二点云位置确定第二手势类型时，还需根据第二间隔时长进行辅助判断，进而，进一步的提高对第二手势类型进行识别的准确率。

S103、根据第一手势信息和第二手势信息识别目标对象的目标手势。

在一实施例中，上述目标手势即为对目标对象进行识别后最终输出的分类类别。其中，目标手势包括但不限于比心或比耶等静态手势，还可以包括滑动或翻页等动态手势，对此不作限定。

其中，在得到第一手势信息和第二手势信息后，手势识别装置可以对其进行融合，得到目标融合手势特征。之后，根据目标融合手势特征进行手势处理，得到目标手势。例如，根据手势识别模型中的分类层，对目标融合手势特征进行处理，得到目标手势。

其中，对第一手势信息和第二手势信息进行融合具体为：根据第一手势类型和第二手势类型，分别确定第一手势特征对应的第一权重和第二手势特征对应的第二权重；根据第一手势特征与第二手势特征的加权和，生成目标融合手势特征。

需要说明的是，在根据摄像设备拍摄的待识别图像识别动态手势时，需要拍摄多帧相邻的图像导入手势识别模型中进行识别，且图像拍摄时易受环境因素的影响。因此，可以认为根据待识别图像对静态手势进行识别的准确率高，而对动态手势进行识别的准确率低。雷达感知设备连续采集的动态点云数据可以表征目标手部的运动轨迹。因此，可以认为在根据动态点云数据对静态手势进行识别时的准确率低，而对动态手势进行识别时的准确率高。

基于此，为了能够使得到的目标融合手势特征能够更完整且准确的表征目标对象的手势的细节特征信息，手势识别装置需要根据第一手势类型和第二手势类型，合理地确定第一手势特征对应的第一权重和第二手势特征对应的第二权重。

具体的，若第一手势类型和第二手势类型均为动态手势，则在分配第一权重和第二权重时，可以使第一权重小于第二权重。也即第一手势类型和第二手势类型均为动态手势时，需要抑制从待识别图像中获取到的第一手势特征的第一权重，提高从动态点云数据中获取到的第二手势特征的第二权重。以使生成的目标融合手势特征可以包含更多关于动态手势的细节特征信息。

同样的，若第一手势类型和第二手势类型均为静态手势，则分配第一权重和第二权重时，可以使第一权重大于第二权重。也即，提高从待识别图像中获取到的第一手势特征的第一权重，抑制从动态点云数据中获取到的第二手势特征的第二权重。以使生成的目标融合手势特征可以包含更多关于静态手势的细节特征信息。

可以理解的是，若第一手势类型和第二手势类型为相异的手势，即第一手势类型为动态手势时，第二手势类型为静态手势，或者，第一手势类型为静态手势时，第二手势类型为动态手势，则在分配第一权重和第二权重时，可以使第一权重等于第二权重，以使生成的目标融合手势特征可以同时包含关于静态手势和动态手势的细节特征信息。

在一实施例中，分别通过车内的摄像设备获取包含目标对象的手势的待识别图像，以及，通过雷达感知设备获取表征目标对象的手部运动轨迹的动态点云数据。之后，分别从待识别图像中识别目标对象的第一手势信息；以及，从动态点云数据中识别目标对象的第二手势信息。因雷达感知设备采集动态点云数据时，不会受到外界因素的影响，且动态点云数据可以表征目标手部的运动轨迹。基于此，在根据动态点云数据识别手势时，可以在一定程度上提高准确率，同时还可以在一定程度上反应目标对象的动态手势。以此，在结合第二手势信息识别目标手势时，可以提高对动态手势进行识别的准确率。

需要说明的是，上述实施例在确定目标对象的第一手势信息时，可以对摄像设备采集到的每个待识别图像均进行处理，得到每个待识别图像对应的第一手势信息；而后，对所有第一手势信息进行融合，得到融合后的第一手势信息，已参与后续步骤处理。同样的，在确定第二手势信息也可以进行上述步骤处理。

在另一实施例中，因图像拍摄时易受环境因素的影响，因此，为了能够从待识别图像中获取精确的第一手势信息，需要对获取到的待识别图像进行进一步的筛选。具体的，手势识别装置可以根据如图4所示的S401-S403对获取到的待识别图像进行进一步的筛选，以根据筛选后的待识别图像确定第一手势信息，详述如下：

S401、确定摄像设备采集到的各个待识别图像的图像质量。

在一实施例中，上述图像质量通常与摄像设备拍摄时的曝光、色调和图像噪声相关，其可以用于反映待识别图像中的前景、背景、物体的轮廓、纹理等因素的清晰程度。在本实施例中，手势识别装置可以根据待识别图像中的所有像素点的像素值和灰度值，计算待识别图像的图像质量。

具体的，手势识别装置可以根据如图5所示的S501-S503计算待识别图像的图像质量，详述如下：

S501、根据待识别图像中所有像素点的像素值，确定待识别图像的图像亮度值。

在一实施例中，上述像素值是待识别图像被手势识别装置数字化时，由手势识别装置赋予的值。其中，像素值可以用于表示待识别图像中某一区域的平均亮度信息。例如，像素值可以为像素点的平均亮度值。在一实施例中，上述图像亮度值指待识图像的画面明亮程度，其可以为所有像素点的像素值之和。

S502、根据待识别图像中所有像素点的灰度值，确定待识别图像的边缘细节信息。

在一实施例中，由于待识别图像中各个像素点的颜色及亮度不同，将待识别图像转成黑白图像时，其黑白图像上各个像素点将呈现不同程度的灰色。此时，不同程度的灰色即对应上述不同的灰度值。

在一实施例中，待识别图像中的任一像素点通常由红、绿、蓝三基色组成，在计算该像素点的灰度值时，则可以根据红、绿、蓝三种基色的数值进行计算。

示例性的，若像素点的颜色为RGB(A，B，C)，则计算方式可以为平均值法。即Gray＝(A+B+C)/3。其中，Gray即为灰度值。在其他实施例中，灰度值的计算方式还可以为浮点法、整数法和移位法等多种方式，对此不作限定。

在一实施例中，上述边缘细节信息是指待识别图像中主体信息(目标对象)的轮廓信息。其中，根据灰度值提取边缘细节信息的方式为已有技术，对此不做详细说明。需要说明的是，在提取出边缘细节信息后，可以将该边缘细节信息数字化，以作为后续计算图像质量的参数。

示例性的，上述已说明边缘细节信息是指待识别图像中主体信息的轮廓信息。因此，在对边缘细节信息数字化时，可以将边缘细节信息(轮廓信息)与预设的边缘细节信息(预设轮廓信息)的比值，作为后续计算图像质量的参数。可以理解的是，在比值接近1时，表示提取的边缘细节信息越完整，即图像质量越好。

S503、将图像亮度值与边缘细节信息的加权和确定为待识别图像的图像质量。

在一实施例中，上述图像亮度值与边缘细节信息分别对应的权重可以为预先设置的数值，对此不作限定。以此，手势识别装置可以根据待识别图像的多方面因素，合理的计算待识别图像的图像质量。

S402、从所有待识别图像中确定图像质量大于预设质量阈值的目标图像。

S403、根据目标图像确定目标对象的第一手势信息。

在一实施例中，上述预设质量阈值为根据实际需求设置的数值，对此不作限定。可以理解的是，在目标图像的图像质量大于预设质量阈值时，从该目标图像中提取的第一手势信息，其包含的手势信息更为准确且完整。进而，可以提高基于第一手势信息和第二手势信息识别目标手势的准确率。

其中，从目标图像中确定目标对象的第一手势信息具体可以参照上述S103步骤中的内容，对此不再进行说明。

请参阅图6，图6是本申请实施例提供的一种手势识别装置的结构框图。本实施例中手势识别装置包括的各模块用于执行图1至图5对应的实施例中的各步骤。具体请参阅图1至图5以及图1至图5所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图6，手势识别装置600应用于车辆，手势识别装置与车辆中的摄像设备和雷达感知设备连接；装置可以包括：图像处理模块610、点云处理模块620以及识别模块630，其中：

图像处理模块610，用于获取摄像设备采集到的待识别图像序列，并根据待识别图像确定目标对象的第一手势信息；待识别图像中包含目标对象的手势。

点云处理模块620，用于获取雷达感知设备采集到的目标对象的动态点云数据，并根据动态点云数据确定目标对象的第二手势信息；动态点云数据用于表征目标对象的手部运动轨迹。

识别模块630，用于根据第一手势信息和第二手势信息识别目标对象的目标手势。

在一实施例中，图像处理模块610还用于：

确定摄像设备采集到的各个待识别图像的图像质量；从所有待识别图像中确定图像质量大于预设质量阈值的目标图像；根据目标图像确定目标对象的第一手势信息。

在一实施例中，图像处理模块610还用于：

针对任一帧待识别图像，获取待识别图像中的每个像素点的像素值和灰度值；根据待识别图像中的所有像素点的像素值和灰度值，计算待识别图像的图像质量。

在一实施例中，图像处理模块610还用于：

根据待识别图像中所有像素点的像素值，确定待识别图像的图像亮度值；根据待识别图像中所有像素点的灰度值，确定待识别图像的边缘细节信息；将图像亮度值与边缘细节信息的加权和确定为待识别图像的图像质量。

在一实施例中，图像处理模块610还用于：

确定目标对象在第一目标帧的待识别图像中的第一目标位置；确定目标对象在第二目标帧的待识别图像中的第二目标位置；计算第一目标帧与第二目标帧之间的第一间隔时长；根据第一目标位置、第二目标位置以及第一间隔时长，确定目标对象的第一手势类型；识别第一目标帧中的目标对象的第一手势特征；根据第一手势类型和第一手势特征确定第一手势信息。

在一实施例中，点云处理模块620还用于：

确定目标对象在第一目标时刻的动态点云数据中的第一点云位置；确定目标对象在第二目标时刻的动态点云数据中的第二点云位置；计算第一目标时刻与第二目标时刻之间的第二间隔时长；根据第一点云位置、第二点云位置以及第二间隔时长，确定目标对象的第二手势类型；识别第一目标时刻的动态点云数据中目标对象的第二手势特征；根据第二手势类型和第二手势特征确定第二手势信息。

在一实施例中，识别模块630还用于：

根据第一手势类型和第二手势类型，分别确定第一手势特征对应的第一权重和第二手势特征对应的第二权重；根据第一手势特征与第二手势特征的加权和，生成目标融合手势特征；根据目标融合手势特征识别目标手势。

当理解的是，图6示出的手势识别装置的结构框图中，各模块用于执行图1至图5对应的实施例中的各步骤，而对于图1至图5对应的实施例中的各步骤已在上述实施例中进行详细解释，具体请参阅图1至图5以及图1至图5所对应的实施例中的相关描述，此处不再赘述。

图7是本申请一实施例提供的一种车辆的结构框图。如图7所示，该实施例的车辆700包括：处理器710、存储器720以及存储在存储器720中并可在处理器710运行的计算机程序730，例如手势识别方法的程序。处理器710执行计算机程序730时实现上述各个手势识别方法各实施例中的步骤，例如图1所示的S101至S103。或者，处理器710执行计算机程序730时实现上述图6对应的实施例中各模块的功能，例如，图6所示的模块610至630的功能，具体请参阅图6对应的实施例中的相关描述。

示例性的，计算机程序730可以被分割成一个或多个模块，一个或者多个模块被存储在存储器720中，并由处理器710执行，以实现本申请实施例提供的手势识别方法。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序730在车辆700中的执行过程。例如，计算机程序730可以实现本申请实施例提供的手势识别方法。

车辆700可包括，但不仅限于，处理器710、存储器720。本领域技术人员可以理解，图7仅仅是车辆700的示例，并不构成对车辆700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如车辆还可以包括输入输出设备、网络接入设备、总线等。

所称处理器710可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器720可以是车辆700的内部存储单元，例如车辆700的硬盘或内存。存储器720也可以是车辆700的外部存储设备，例如车辆700上配备的插接式硬盘，智能存储卡，闪存卡等。进一步地，存储器720还可以既包括车辆700的内部存储单元也包括外部存储设备。

本申请实施例提供了一种计算机可读存储介质，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述各个实施例中的手势识别方法。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在车辆上运行时，使得车辆执行上述各个实施例中的手势识别方法。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种手势识别方法，其特征在于，应用于车辆，所述车辆中设置有摄像设备和雷达感知设备，所述方法包括：

获取所述摄像设备采集到的待识别图像序列，并根据所述待识别图像确定目标对象的第一手势信息；所述待识别图像中包含所述目标对象的手势；

获取所述雷达感知设备采集到的所述目标对象的动态点云数据，并根据所述动态点云数据确定所述目标对象的第二手势信息；所述动态点云数据用于表征所述目标对象的手部运动轨迹；

根据所述第一手势信息和所述第二手势信息识别所述目标对象的目标手势。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待识别图像确定所述目标对象的第一手势信息，包括：

确定所述摄像设备采集到的各个待识别图像的图像质量；

从所有所述待识别图像中确定图像质量大于预设质量阈值的目标图像；

根据所述目标图像确定所述目标对象的第一手势信息。

3.根据权利要求2所述的方法，其特征在于，所述确定所述摄像设备采集到的各个待识别图像的图像质量，包括：

针对任一帧所述待识别图像，获取所述待识别图像中的每个像素点的像素值和灰度值；

根据所述待识别图像中的所有像素点的像素值和所述灰度值，计算所述待识别图像的图像质量。

4.根据权利要求3所述的方法，其特征在于，所述根据所述待识别图像中的所有像素点的像素值和所述灰度值，计算所述待识别图像的图像质量，包括：

根据所述待识别图像中所有像素点的像素值，确定所述待识别图像的图像亮度值；

根据所述待识别图像中所有像素点的灰度值，确定所述待识别图像的边缘细节信息；

将所述图像亮度值与所述边缘细节信息的加权和确定为所述待识别图像的图像质量。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述待识别图像确定所述目标对象的第一手势信息，包括：

确定所述目标对象在第一目标帧的所述待识别图像中的第一目标位置；

确定所述目标对象在第二目标帧的所述待识别图像中的第二目标位置；

计算所述第一目标帧与所述第二目标帧之间的第一间隔时长；

根据所述第一目标位置、所述第二目标位置以及所述第一间隔时长，确定所述目标对象的第一手势类型；

识别所述第一目标帧中的所述目标对象的第一手势特征；

根据所述第一手势类型和所述第一手势特征确定所述第一手势信息。

6.根据权利要求5所述的方法，其特征在于，所述根据所述动态点云数据确定所述目标对象的第二手势信息，包括：

确定所述目标对象在第一目标时刻的动态点云数据中的第一点云位置；

确定所述目标对象在第二目标时刻的动态点云数据中的第二点云位置；

计算所述第一目标时刻与所述第二目标时刻之间的第二间隔时长；

根据所述第一点云位置、所述第二点云位置以及所述第二间隔时长，确定所述目标对象的第二手势类型；

识别所述第一目标时刻的动态点云数据中所述目标对象的第二手势特征；

根据所述第二手势类型和所述第二手势特征确定所述第二手势信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一手势信息和所述第二手势信息识别所述目标对象的目标手势，包括：

根据所述第一手势类型和所述第二手势类型，分别确定所述第一手势特征对应的第一权重和所述第二手势特征对应的第二权重；

根据所述第一手势特征与所述第二手势特征的加权和，生成目标融合手势特征；

根据所述目标融合手势特征识别所述目标手势。

8.一种手势识别装置，其特征在于，与车辆中的摄像设备和雷达感知设备连接，所述装置包括：

图像处理模块，用于获取所述摄像设备采集到的待识别图像序列，并根据所述待识别图像确定目标对象的第一手势信息；所述待识别图像中包含所述目标对象的手势；

点云处理模块，用于获取所述雷达感知设备采集到的所述目标对象的动态点云数据，并根据所述动态点云数据确定所述目标对象的第二手势信息；所述动态点云数据用于表征所述目标对象的手部运动轨迹；

识别模块，用于根据所述第一手势信息和所述第二手势信息识别所述目标对象的目标手势。

9.一种车辆，其特征在于，所处车辆中设置有摄像设备、雷达感知设备及手势识别装置，所述手势识别装置与所述摄像设备和所述雷达感知设备连接，所述手势识别装置用于执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。