CN112926454B - 一种动态手势识别方法 - Google Patents

Abstract

一种动态手势识别方法，包括，设置启动手势判断阶段，启动手势判定帧介于启动手势判定下限帧数与启动手势判定上限帧数之间时，判断手势已启动。这样在手势识别之前，加入手势运动情况的判断，避免较短时间的手势晃动、较长时间的静态手势被纳入手势识别，提高了识别效率，同时提高识别精度。在一帧图像识别存在误差时，设置忍受冗余过程，逐步降低手势识别忍受度，避免临时一张图像出现模糊、抖动情况下，未通过阈值识别、大小调整等情况，导致整体识别错误的风险。

Description

一种动态手势识别方法

技术领域

本发明属于汽车智能座舱智能交互技术领域，具体涉及动态手势识别方法。

背景技术

汽车的电动化、网联化、共享化和智能化是当前整个汽车发展的趋势，该趋势将极大的改善当前出行的感官和方式。在汽车不断发展的过程中，针对汽车内部座舱的形态、相关座舱实现的功能、座舱的人机交互模式等的改进，是整车厂在构建智能座舱的关键部分。长期以来，座舱的内部用户交互以机械按键或显示大屏触碰来完成，针对车内的相关控制一般仅由前排主驾控制，针对后排乘客，并无实际可控途径和方式。

隔空手势识别作为人机交互最为自然的方式，是最为简单和直观的车内设备控制的技术，作为一种非接触式的、能够使用户以徒手方式进行操作的技术手段，隔空手势控制能够实时的识别用户的意图。当前隔空手势技术主要包含手势数据感知、手势分割、特征模式构建和手势识别模型构建，根据使用的实际设备，实现手段主要分为计算机视觉、超声波和电磁信号三个类别，而对于车内座舱，综合成本与可靠性等相关因素，手势识别一般将计算机视觉作为可靠的解决方案。

计算机视觉手势根据视觉相机的不同可分为单目彩色RGB相机、单目红外IR相机、双目深度相机、双目红外相机。传统单目彩色相机通过肤色等其他特征构建，进行目标手位置和手型检测，之后根据手型和运动轨迹的构建策略进行识别，该类识别方式对肤色和光照等实际物理环境要求苛刻，因而一般只能针对特定的应用环境。为减少光照等相关因素的影响且适应夜晚等环境，可采用IR红外相机进行手势识别，该方案针对近距离范围有较好的实际效果。获取相关手势之后，后端根据实际情况采用基于手势轨迹和角度的隐马尔可夫模型进行动态隔空手势的模型建模，从而实现手势识别。双目深度相机和双目红外相机，则通过光学信息获取深度空间信息，因此根据实际空间位置关系能较好的进行手势分割，之后进行后续的特征点手势匹配过程，实时获取手的空间运动手型和轨迹，并根据实际的策略或时间序列匹配，进行手势识别。但无论是单目红外IR相机、双目深度相机或双目红外相机对系统的成本均增加较大。

当前，以神经网络为代表的深度学习视觉方案是实现手势识别的标准解决方案之一。不论是二维平面图像或是三位点云空间，通过卷积神经网络能较好的识别手势空间位置，而针对前端获取的手势空间位置，又可分为基于策略的动态匹配与基于手部关键点的端到端识别模式，特别是基于手部关键点的动态手势识别，后端采用基于长短时记忆网络或卷积神经网络的端到端一体化模型训练，能较好的完成手势的各种定义，且由于其端到端的性质，隔离了动态识别策略逻辑的定义，具有很强的操作行。例如公开号为CN111563401A的一种车载手势识别方法、系统、存储介质及电子设备专利，该方案就使用上述模式的卷积神经网络进行三维手势点云分割与空间手势卷积进行手型匹配与静态手势识别。但是，基于关键点识别或三维点云的后端模型前期需要大量的规范数据进行定义，且后续针对实际车机场景需求计算力很高的独立高性能计算(HPC)单元，因此其实际操作困难，迭代周期长，硬件成本高。此外，结合传统图像与深度学习的方案，例如公开号为CN111597888A的高斯混合模型与CNN结合手势识别方法专利，该方法以高斯混合模型提取手部前景部分掩膜区域，通过一些图像形态学的操作来获取手部位置，之后做简单的静态手型识别分类。其问题在于掩膜方式的手位置也难避免传统图像导致的光照等相关影响，此外，该方案后端构造的卷积神经网络模型过重，在座舱车机端的相关硬件设备很难实时运算该卷积神经网络模型。

因此考虑其实际商业应用，以及各车内实际常规布置的RGB摄像头利用，考虑开发一种满足实现隔空手势识别的方法，增加实车用户体验，在一定程度上对副驾和后排等不能进行实际车机按钮控制的用户有极强的便利性。

发明内容

本发明公开的一种动态手势识别方法，通过启动手势判断及冗余手势判断，在无需复杂硬件情况下，提高了手势识别精度。

本发明公开的一种动态手势识别方法，包括以下步骤：

初步手势判断阶段：

步骤1)原始手部图像通过识别模型识别，获取相关手部感兴趣区域；

步骤2)将各个手部感兴趣区域进行图像大小调整，判断手的个数；个数大于零时，再通过目标识别手势阈值判断手部感兴趣区域的手势是否符合动态手势分类；动态手势分类由手势识别状态表示；属于动态手势分类，将手部感兴趣区域作为当前帧手势数据输入启动手势判断阶段。

启动手势判断阶段：

步骤3)如果启动手势值为正在识别，直接进入步骤4)，否则，按如下进行：

根据前帧目标手势数据与当前帧手势数据空间位置进行对比判断是否存在运动，在手势由之前静止一定帧数到此帧对比出现运动状态的情况下，判断手势启动，设置启动手势值为正在识别；进入具体手势识别阶段。

具体手势识别阶段：

步骤4)判断手势启动后，持续采集当前帧手势数据到目标识别手势数组，目标识别手势索引帧数增加，直到达到设定帧长。

步骤5)当目标识别手势索引帧数达到设定帧长时，根据目标识别手势数组中手势数据识别具体手势；判断完成后，重复步骤1)。

进一步地，

步骤3)根据前帧目标手势数据与当前帧手势数据空间位置进行对比。

其一，当启动帧计数小于启动手势判定下限帧数时，判断运动状态；若运动，则认定为单帧或几帧误识别，没有达到启动手势要求，无划动意图，启动帧计数置零，保留当前帧手势数据；若未运动，则启动帧计数持续加一，若达到设定的帧数，则认定目标手型静止不动一段时间，手势有运动意图。

其二，当启动帧计数大于启动手势判定下限帧数，小于启动手势判定上限帧数；若未运动，则启动帧计数持续加一，保留当前帧手势数据；若运动，则认定手已开始运动，认定手势已启动。

其三，当启动帧计数大于启动手势判定上限帧数时，认定手持续不动，无识别意图。

进一步地，

步骤2)判断手的个数为零时，或目标识别手势阈值判断手部感兴趣区域的手势是否符合动态手势分类失败时，进入手势忍受过程。

还包括手势忍受过程，

判断当前手势忍受过程状态，为“是”，手势识别忍受度逐步下降；

如果手势识别忍受度降到零，设置手势忍受过程状态为“否”，设置手势识别状态为未识别状态，认定用户已取消或无手势运动意图。

如果手势识别忍受度未降到零，认定可能存在潜在的手势运动模糊或者手型丢帧的情况，手势识别状态保持为目标手势状态。

进一步地，

步骤2)中，在手的个数和目标识别手势阈值判断之前，还包括手势识别状态判断过程。

其一，当前为未识别状态，即认定没有手势划动意图，则重置手势忍受过程为否，相关忍受度重置为原始设定参数，判断当前帧手势数据的目标识别手势阈值是否大于设定值分两种情况；当大于阈值，认定潜在存在可能的动态手势意图，当前帧手势数据保留，手势识别状态修正为目标手势识别状态，重置目标手势索引为零，目标识别手势启动帧计数置零，重置启动手势判断为正在识别；当小于阈值，认定无识别意图，手势识别状态修正为未识别状态。

其二，当前为目标手势状态，判断当前帧手势数据的目标识别手势阈值是否大于设定值分两种情况；当小于阈值，根据是否处于手势忍受过程，确定相关状态，未处于手势忍受过程，手势识别状态修正为未识别状态；当处于手势忍受过程，忍受度下降一，当忍受度下降为零，则手势识别状态修正为未识别状态，否则保持为目标识别状态；当大于阈值，标示属于动态手势分类，将手部感兴趣区域作为当前帧手势数据输入步骤3)。

进一步地，

手势识别状态表示的动态手势分类分为目标手势状态和未识别状态，其中目标手势状态根据神经网络分类分为向上划状态、向下划状态、向左划状态和向右划状态。

本发明的有益技术效果为：

1)设置启动手势判断阶段，启动手势判定帧介于启动手势判定下限帧数与启动手势判定上限帧数之间时，判断手势已启动。这样在手势识别之前，加入手势运动情况的判断，避免较短时间的手势晃动、较长时间的静态手势被纳入手势识别，提高了识别效率，同时提高识别精度。

2)在一帧图像识别存在误差时，设置忍受冗余过程，逐步降低手势识别忍受度，避免临时一张图像出现模糊、抖动情况下，未通过阈值识别、大小调整等情况，导致整体识别错误的风险。

附图说明

图1为手势识别模型逻辑图第一部分。

图2为手势识别模型逻辑图第二部分。

图3为手势识别模型逻辑图第三部分。

以上图1、图2和图3依次连接共同构成本方法完整的方法逻辑。

具体实施方式

下面结合附图对本发明做详细说明。

参见图1、图2和图3，本实施例展示一种动态手势识别方法,包括以下步骤：

初步手势判断阶段：

步骤1)原始手部图像通过YOLO识别模型识别，获取相关手部感兴趣区域；

步骤2)将各个手部感兴趣区域进行图像大小调整，判断手的个数；

判断手的个数为零时，进入手势忍受过程；

手势忍受过程为：

判断当前手势忍受过程状态，为“是”，手势识别忍受度逐步下降；

如果手势识别忍受度降到零，设置手势忍受过程状态为“否”，设置手势识别状态为未识别状态，认定用户已取消或无手势运动意图。

如果手势识别忍受度未降到零，认定可能存在潜在的手势运动模糊或者手型丢帧的情况，手势识别状态保持为目标手势状态。

判断手的个数大于零时，进入手势识别状态判断过程；手势识别状态表示的动态手势分类分为目标手势状态和未识别状态，其中目标手势状态根据MobileNetV2轻量神经网络分类分为向上划状态、向下划状态、向左划状态和向右划状态。认定向上划状态、向下划状态持续1秒为上下滑动起始认定状态(根据一般车内座舱摄像头成像帧率为15帧或30帧)。认定向左划状态和向右划状态持续1秒为左右滑动起始认定状态。

手势识别状态判断过程为：

其一，当前为未识别状态，即认定没有手势划动意图，则重置手势忍受过程为否，相关忍受度重置为原始设定参数，判断当前帧手势数据的目标识别手势阈值是否大于设定值分两种情况；当大于阈值，认定潜在存在可能的动态手势意图，当前帧手势数据保留，手势识别状态修正为目标手势识别状态，重置目标手势索引为零，目标识别手势启动帧计数置零，重置启动手势判断为正在识别；当小于阈值，认定无识别意图，手势识别状态修正为未识别状态。

其二，当前为目标手势状态，判断当前帧手势数据的目标识别手势阈值是否大于设定值分两种情况；当小于阈值，根据是否处于手势忍受过程，确定相关状态，未处于手势忍受过程，手势识别状态修正为未识别状态；当处于手势忍受过程，忍受度值下降一，当忍受度下降为零，手势忍受过程修正为否，手势识别状态修正为未识别状态，否则保持为目标识别状态；当大于阈值，标示属于动态手势分类，将手部感兴趣区域作为当前帧手势数据输入步骤3)。

启动手势判断阶段：

步骤3)如果启动手势状态为正在识别，直接进入步骤4)；

否则，按如下进行：

根据前帧目标手势数据与当前帧手势数据空间位置进行对比。

其一，当启动帧计数小于启动手势判定下限帧数时，判断运动状态；若运动，则认定为单帧或几帧误识别，没有达到启动手势要求，无划动意图，启动帧计数置零，保留当前帧手势数据，手势识别状态保持为目标手势状态；若未运动，则启动帧计数持续加一，若达到设定的帧数，则认定目标手型静止不动一段时间，手势有运动意图，手势忍受过程设置为真。

其二，当启动帧计数大于启动手势判定下限帧数，小于启动手势判定上限帧数；若未运动，则启动帧计数持续加一，保留当前帧手势数据；若运动，则认定手已开始运动，认定手势已启动；设置启动手势值为正在识别；手势识别状态保持为目标手势状态；进入具体手势识别阶段。

其三，当启动帧计数大于启动手势判定上限帧数时，认定手持续不动，无识别意图；手势忍受过程设置为否。

具体手势识别阶段：

步骤4)判断手势启动后，持续采集当前帧手势数据到目标识别手势数组，目标识别手势索引帧数增加，直到达到设定帧长。

步骤5)当目标识别手势索引帧数达到设定帧长时，根据目标识别手势数组中手势数据，利用后一帧减去前一帧的位置参数状态，选取实际相减后的位置运动差作为基准来识别具体手势；判断完成后，重复步骤1)。

下表为重要参数表。

表1

从以上根据图1、图2和图3的手势识别模型逻辑显示的方法可以看出，本发明的手势策略算法模型是根据实际反馈的手型和在运动过程中出现的各种问题进行综合考虑的。

以下进一步说明本发明思想。

启动手势指代在手势开始滑动过程中的启动滑动标志，通过手部识别后，相关手部区域送入MobileNetV2轻量网络中进行分类，根据分类定义，动态手势被实际分为上下滑动手势类、左右滑动手势类、负样本类。为区别上下滑动和左右滑动的趋势，认定上下滑动手型持续1秒(根据一般车内座舱摄像头成像帧率为15帧或30帧)为上下滑动起始认定状态，左右滑动手型持续1秒为左右滑动起始认定状态，当相关状态确认之后，继续进行后续手势识别。

启动手势定义包括：

A.原始图像获取输入于YOLO前端手部检测模型，获取相关手部的ROI区域与置信度等信息。

B.将各个roi区域所对应的图像进行图像resize，作为整体MobileNetV2的输入，进行相关模型的检测。

C.检测获取相关模型结果，输出于动态手势识别的追踪策略部分。

进一步，针对前端MobileNetV2模型输出各个手型，各个手型需根据情况实现手势追踪算法，确定各目标追踪手势，动态手势追踪包括：

A.获取各个动态手势数据，由于场景中可能出现多只手，因此，对整体手型进行分类与筛选。删除非左右滑动与上下滑动分类的手势区域，根据相关手的情况，单独追踪与识别左右滑动与上下滑动，实现各个控制解耦。

B.由于一次手势识别近响应一只手的动作，因此根据手势区域的大小，分别规定选取最大的左右滑动手型和上下滑动手型作为输出的目标手势。

C.保留前述的目标手势状态，根据手势区域的空间位置，手势区域的面积大小等信息作为追踪手势的依据。持续追踪目标手的区域，并根据实际运动中可能出现的手运动模糊而不能识别的情况进行容忍度设置，形成一定的冗余性。

D.根据追踪的情况持续输出相关的目标手于后续的动态手势识别的逻辑判断部分。

最后，完成相关手型的追踪后，针对单ROI区域的手的滑动状态识别，进行最后阶段的逻辑判断，包括：

A.是否含有目标追踪手势，若无目标追踪手势，在设定的忍受度机制下，具有一定的冗余设定，而若存在目标手势，则进行后续目标手势识别。

B.根据设定的忍受度与其他逻辑状态进行后续的单帧逻辑判断，判断手势是否已认定具有滑动意图，并根据各帧之间的向量差距与帧的roi区域变化程度设定高可靠性的滑动意图识别机制，从而判断是否开始滑动。

C.认定开始滑动以后，针对滑动过程中可能出现的手部追踪丢失、手部拖影等实际情况，设定忍受度与冗余度机制，保证实际算法的可靠性。

D.根据多帧的手运动状态，手型的状态等各类综合状态判定，完成对左右滑动手型和上下滑动手型的单独解耦判断。

E.持续每帧判断，持续输出每帧状态，当完成单帧识别结果之后，为减少后续一段时间内的误识别情况，设定响应后的一定帧数范围内，相关逻辑不再触发，并还原所有的初始设定状态。

Claims (4)

1.一种动态手势识别方法，其特征在于：包括以下步骤，

初步手势判断阶段，

步骤1）原始手部图像通过识别模型识别，获取相关手部感兴趣区域；

步骤2）将各个手部感兴趣区域进行图像大小调整，判断手的个数；个数大于零时，再通过目标识别手势阈值判断手部感兴趣区域的手势是否符合动态手势分类；动态手势分类由手势识别状态表示；属于动态手势分类，将手部感兴趣区域作为当前帧手势数据输入启动手势判断阶段；

启动手势判断阶段，

步骤3）如果启动手势值为正在识别，直接进入步骤4），否则，按如下进行：

根据前帧目标手势数据与当前帧手势数据空间位置进行对比判断是否存在运动，在手势由之前静止一定帧数到此帧对比出现运动状态的情况下，判断手势启动，设置启动手势值为正在识别；进入具体手势识别阶段；

所述根据前帧目标手势数据与当前帧手势数据空间位置进行对比包括；

其一，当启动帧计数小于启动手势判定下限帧数时，判断运动状态；若运动，则认定为单帧或几帧误识别，没有达到启动手势要求，无划动意图，启动帧计数置零，保留当前帧手势数据；若未运动，则启动帧计数持续加一，若达到设定的帧数，则认定目标手型静止不动一段时间，手势有运动意图；

其二，当启动帧计数大于启动手势判定下限帧数，小于启动手势判定上限帧数；若未运动，则启动帧计数持续加一，保留当前帧手势数据；若运动，则认定手已开始运动，认定手势已启动；

其三，当启动帧计数大于启动手势判定上限帧数时，认定手持续不动，无识别意图；

具体手势识别阶段：

步骤4）判断手势启动后，持续采集且保存当前每帧手势数据，直到达到设定可判断手势运动状态的帧长；

步骤5）当目标识别手势索引帧数达到设定帧长时，根据持续保存的手势数据识别具体手势；判断完成后，重复步骤1）。

2.如权利要求1所述的一种动态手势识别方法，其特征在于：

步骤2）判断手的个数为零时，或目标识别手势阈值判断手部感兴趣区域的手势是否符合动态手势分类失败时，进入手势忍受过程；

还包括手势忍受过程，

判断当前手势忍受过程状态，为“是”，手势识别忍受度逐步下降；

如果手势识别忍受度降到零，设置手势忍受过程状态为“否”，设置手势识别状态为未识别状态，认定用户已取消或无手势运动意图；

如果手势识别忍受度未降到零，认定可能存在潜在的手势运动模糊或者手型丢帧的情况，手势识别状态保持为目标手势状态。

3.如权利要求2所述的一种动态手势识别方法，其特征在于：

步骤2）中，在手的个数和目标识别手势阈值判断之前，还包括手势识别状态判断过程：

其一，当前为未识别状态，即认定没有手势划动意图，则重置手势忍受过程为否，相关忍受度重置为原始设定参数，判断当前帧手势数据的目标识别手势阈值是否大于设定值分两种情况；当大于阈值，认定潜在存在可能的动态手势意图，当前帧手势数据保留，手势识别状态修正为目标手势识别状态，重置目标手势索引为零，目标识别手势启动帧计数置零，重置启动手势判断为正在识别；当小于阈值，认定无识别意图，手势识别状态修正为未识别状态；

其二，当前为目标手势状态，判断当前帧手势数据的目标识别手势阈值是否大于设定值分两种情况；当小于阈值，根据是否处于手势忍受过程，确定相关状态，未处于手势忍受过程，手势识别状态修正为未识别状态；当处于手势忍受过程，忍受度下降一，当忍受度下降为零，则手势识别状态修正为未识别状态，否则保持为目标识别状态；当大于阈值，标示属于动态手势分类，将手部感兴趣区域作为当前帧手势数据输入步骤3）。

4.如权利要求3所述的一种动态手势识别方法，其特征在于：手势识别状态表示的动态手势分类分为目标手势状态和未识别状态，其中目标手势状态根据神经网络分类分为向上划状态、向下划状态、向左划状态和向右划状态。

Images