CN114627561B

CN114627561B - 动态手势识别方法、装置、可读存储介质及电子设备

Info

Publication number: CN114627561B
Application number: CN202210526221.7A
Authority: CN
Inventors: 毛凤辉; 郭振民
Original assignee: Nanchang Virtual Reality Institute Co Ltd
Current assignee: Nanchang Virtual Reality Institute Co Ltd
Priority date: 2022-05-16
Filing date: 2022-05-16
Publication date: 2022-09-23
Anticipated expiration: 2042-05-16
Also published as: CN114627561A

Abstract

一种动态手势识别方法、装置、可读存储介质及电子设备，该方法包括：获取RGB图像及对应的深度图像，检测出RGB图像上的人脸；根据深度图像计算图像中各人脸区域的深度值，并根据最小深度值确定图像分割阈值；检测动态手势的起始动作；连续读取预设数量帧RGB图像及深度图像，并结合图像阈值，分割出RGB图像中动态手势深度相近区域，以进行背景滤除。将滤除背景的各个RGB图像输入至动态手势识别模型中进行动态手势识别。通过简单的阈值分割，使得包含动态手势在内的小范围区域与背景分离，其计算量小，降低计算成本，提高实时性增强客户体验。

Description

动态手势识别方法、装置、可读存储介质及电子设备

技术领域

本发明涉及图像处理领域，特别是涉及一种动态手势识别方法、装置、可读存储介质及电子设备。

背景技术

手势识别在VR技术（Virtual Reality，虚拟现实）、AR技术（Augmented Reality，增强现实）、无人机控制、智能家居和手语识别等众多领域都有广泛应用。

在动态手势识别中，如果背景环境比较复杂，容易对动态手势识别结果造成误识别，对客户体验较差，现有的解决方法是要求识别背景单一化或视场角较小，所含的背景较少，如此对动态手势的使用受到较大的限制，不利于动态手势的推广。另外是使用手部目标跟踪，要求对动态识别过程中不断跟踪，这方法计算量大，较难达到实时性，且容易受环境光影响，识别率低，导致跟踪失败。

发明内容

鉴于上述状况，有必要针对现有技术中手势识别实时性差和识别率低的问题，提供一种动态手势识别方法、装置、可读存储介质及电子设备。

一种动态手势识别方法，包括：

获取当前帧RGB图像和对应的深度图像，并分别作为起始RGB图像和起始深度图像；

对所述起始RGB图像进行人脸检测，以确定出所述起始RGB图像中的各个人脸区域；

根据所述起始深度图像分别确定各个所述人脸区域的深度值，并筛选出最小深度值；

根据所述最小深度值确定图像分割阈值；

将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测；

若检测到起始手势时，连续获取预设数量帧RGB图像及对应的深度图像，得到预设数量帧手势RGB图像和对应的手势深度图像；

根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域，并将所述手势RGB图像中所述图像区域的图像滤除；

将滤除图像的各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别。

进一步的，上述动态手势识别方法，其中，所述将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测的步骤之前还包括：

判断所述图像分割阈值是否小于手势识别阈值，所述手势识别阈值为识别出最大手势动作的深度值；

若是，执行将所述RGB图像输入到动态手势检测模型中进行起始手势检测的步骤；

否则，返回执行获取当前帧RGB图像和对应的深度图像，并分别作为起始RGB图像和起始深度图像的步骤。

进一步的，上述动态手势识别方法，其中，所述根据所述起始深度图像分别确定各个所述人脸区域的深度值的步骤包括：

确定所述起始深度图像中与各个所述人脸区域的位置对应的目标区域，并将各个所述目标区域分别进行均值滤波和中值滤波后，进行大津阈值分割，得到对应的二值化区域；

将各个所述目标区域分别与对应的二值化区域进行逻辑与运算，得到对应的处理区域；

计算各个所述处理区域像素的灰度值的平均值，以得到各个人脸区域对应的深度值。

进一步的，上述动态手势识别方法，其中，所述根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域，并将所述手势RGB图像中所述图像区域的图像滤除的步骤包括：

将当前手势RGB图像对应的手势深度图像进行均值滤波；

将均值滤波后的手势深度图像的各个像素的灰度值与所述图像分割阈值进行比较，并得到二值化图像，计算公式如下：

，其中，Ⅰ_M（x,y）表示二值化图像中位置（x,y）的像素的灰度值，dep_M（x,y）表示手势深度图像中位置（x,y）的像素的灰度值，thr为图像分割阈值；

将所述二值化图像转换为三通道图像；

将所述三通道图像与所述当前手势RGB图像进行逻辑与运算。

进一步的，上述动态手势识别方法，其中，所述连续获取预设数量帧RGB图像及对应的深度图像的步骤之前还包括：

若检测到起始手势时，获取所述动态手势检测模型输出的手势区域；

根据所述深度图像确定所述手势区域的深度值，并判断所述手势区域的深度值是否大于所述图像分割阈值；

若是，返回执行获取当前帧RGB图像和对应的深度图像，并分别作为起始RGB图像和起始深度图像的步骤；

若否，则执行连续获取预设数量帧RGB图像及对应的深度图像的步骤。

进一步的，上述动态手势识别方法，其中，根据所述最小深度值确定图像分割阈值thr，其计算公式为：

，ε表示常量，mean_k为最小深度值。

本发明还公开了一种动态手势识别装置，包括：

第一获取模块，用于获取当前帧RGB图像和对应的深度图像，并分别作为起始RGB图像和起始深度图像；

人脸检测模块，用于对所述起始RGB图像进行人脸检测，以确定出所述起始RGB图像中的各个人脸区域；

深度值确定模块，用于根据所述起始深度图像分别确定各个所述人脸区域的深度值，并筛选出最小深度值；

分割阈值确定模块，用于根据所述最小深度值确定图像分割阈值；

起始手势检测模块，用于将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测；

第二获取模块，用于当检测到起始手势时，连续获取预设数量帧RGB图像及对应的深度图像，得到预设数量帧手势RGB图像和对应的手势深度图像；

背景图像滤除模块，用于根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域，并将所述手势RGB图像中所述图像区域的图像滤除；

动态手势识别模块，用于将滤除图像的各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别。

进一步的，上述动态手势识别装置，还包括：

第一判断模块，用于判断所述图像分割阈值是否小于手势识别阈值，所述手势识别阈值为识别出最大手势动作的深度值；若是，则所述起始手势检测模块执行将所述RGB图像输入到动态手势检测模型中进行起始手势检测的步骤；否则，所述第一获取模块执行获取当前帧RGB图像和对应的深度图像，并分别作为起始RGB图像和起始深度图像的步骤。

进一步的，上述动态手势识别装置，还包括：

第三获取模块，用于当检测到起始手势时，获取所述动态手势检测模型输出的手势区域；

第二判断模块，用于根据所述深度图像确定所述手势区域的深度值，并判断所述手势区域的深度值是否大于所述图像分割阈值；若是，所述第一获取模块执行获取当前帧RGB图像和对应的深度图像，并分别作为起始RGB图像和起始深度图像的步骤；若否，所述第二获取模块则执行连续获取预设数量帧RGB图像及对应的深度图像的步骤。

本发明还公开了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的方法。

本发明还公开了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。

本发明通过获取RGB图像及对应的深度图像，结合深度图能有效的过滤动态背景或静态背景，不受光照和背景环境变化的影响，有利于提高动态手势的识别率。通过简单的阈值分割，使得包含动态手势在内的小范围区域与背景分离，其计算量小，降低计算成本，提高实时性增强客户体验。

附图说明

图1为本发明第一实施例中的动态手势识别方法的流程图；

图2为本发明第二实施例中的动态手势识别方法的流程图；

图3为本发明第三实施例中的动态手势识别装置的结构框图；

图4为本发明实施例中的电子设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

请参阅图1，为本发明第一实施例中的动态手势识别方法，包括步骤S11~S16。

步骤S11，获取当前帧RGB图像和对应的深度图像，并分别作为起始RGB图像和起始深度图像。

具体的，该RGB图像和对应的深度图像可通过RGBD相机来采集。本实施中可使用RGBD相机实时对环境进行图像采集，基于第二视角同时采集的RGB图像和深度图像，RGBD相机采集的RGB图像和深度图像是已经矫正和对齐的图像。当获取RGBD相机采集的当前帧RGB图像和深度图像时，分别作为起始RGB图像和起始深度图像。

步骤S12，对所述起始RGB图像进行人脸检测，以确定出所述起始RGB图像中的各个人脸区域。

具体实施时，可以将起始RGB图像输入至人脸检测模型中进行人脸检测，并确定出各个人脸区域。假设检测到N张人脸，根据人脸检测模型的检测结果得到各个人脸区域最小外接矩左上角点坐标为

，宽高为：

，单位：pix，其中

。

进一步的，如果没有检测到人脸时，则返回步骤S11，即继续获取一帧RGB图像和对应的深度图像，并分别作为起始RGB图像和起始深度图像输入至人脸检测模型中进行人脸检测。

步骤S13，根据所述起始深度图像分别确定各个所述人脸区域的深度值，并筛选出最小深度值。

步骤S14，根据所述最小深度值确定图像分割阈值。

深度图像可以反映出对应的RGB图像各像素的深度信息，即可以计算出各个人脸区域的各自的深度值，选择深度值最小的人脸作为动态手势发出者。根据该最小深度值确定图像分割阈值，该图像分割阈值用于分割图像中的手势区域和背景区域，深度小于或等于该图像分割阈值的区域为手势区域，大于该图像分割阈值的区域认为是背景区域。

具体的，在本发明的一实施例中，所述根据所述起始深度图像分别确定各个所述人脸区域的深度值的步骤包括：

根据起始RGB图像image检测到的人脸，获得人脸在image中的位置（人脸区域最小外接矩左上角点坐标

和宽高

），由于起始RGB图像和起始深度图像是对齐的，所以人脸在起始深度图上的位置也是

和宽高

。根据确定出的人脸位置在初始深度图上切割出对应的区域，即目标区域

。

分割出来的区域

是一个矩形区域，该区域

不完全是面部区域，还包括背景区域或干扰区域，所以使用均值、中值滤波，然后进行大津阈值分割尽可能的提取面部区域，经过这些处理之后得到二值化区域

，即提取的脸部区域为白色，像素值为255，其余区域为黑色，像素值为0。

将第i个区域

和对应的二值化区域

进行逻辑与运算得到对应的处理区域

，计算

区域中各个像素的灰度值的平均值，得到第i个人脸区域的深度值

，计算公式为：

，T表示

中灰度值不为0的总像素的个数，

表示

区域的深度值，单位为mm，(x,y)表示像素点的位置坐标。

和

进行逻辑与计算，公式表达为：

。

将各个人脸区域的深度值

按小到大排序，假设最小值为

，则图像分割阈值thr为：

，为经验值。手势与人脸比较，手势离摄像头更近，即手势图像的深度会比最小深度值更小，但是为了手势检测准确性，图像分割阈值thr为最小深度值加上经验值，即图像分割阈值会设置的比最小人脸深度值稍微远点，以获得更多的图像信息。

步骤S15，将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测。

将起始RGB图像image图像输入到动态手势检测模型中，通过该动态手势检测模型确定是否存在起始手势。

步骤S16，若检测到起始手势时，连续获取预设数量帧RGB图像及对应的深度图像，得到预设数量帧手势RGB图像和对应的手势深度图像。

步骤S17，根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域，并将所述手势RGB图像中所述图像区域的图像滤除。

当该当前帧RGB图像中存在起始手势时，则继续连续读取M帧RGB图img_M及其对齐的深度图dep_M，得到M帧手势RGB图像和M帧手势深度图像。在实际应用中动态手势识别一般都是连续的16帧或者32帧进行一个动作的识别，因此该预设数量M取值为16或32。

根据该手势深度图像可以获的其对应的手势RGB图像的深度信息，该手势RGB图像中深度大于该图像分割阈值的区域可以认定为背景区域，因此，将该手势RGB图像中深度小于该图像分割阈值的区域的图像进行滤除。此处的滤除操作例如将该部分图像的颜色全部设为纯黑色或者纯白色。

具体的，在本发明的一实施例中，根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域，并将所述手势RGB图像中所述图像区域的图像滤除的步骤包括：

将当前手势RGB图像对应的手势深度图像进行均值滤波；

将均值滤波后的手势深度图像的各个像素的灰度值与所述图像分割阈值进行比较，得到二值化图像，公式如下：

，其中，（x,y）表示图像中像素的位置坐标，Ⅰ_M（x,y）表示二值化图像在位置（x,y）的像素的灰度值，dep_M（x,y）表示手势深度图像在位置（x,y）的像素的灰度值，thr为图像分割阈值；

将所述二值化图像转换为三通道图像；

将所述三通道图像与所述当前手势RGB图像进行逻辑与运算。

对每一帧手势RGB图像均进行滤除背景的操作，以当前图像为第一帧手势RGB图像为例来说明，例如获取到手势RGB图img₁和对应的手势深度图像dep₁，将dep₁通过均值滤波后与阈值thr进行比较得到二值图像

，公式如下：

，其中，（x,y）表示图像中像素的位置。

即手势深度图像

中在位置(x,y)的像素值小于或者等于阈值thr，就将

在位置(x,y)的像素值重新赋值为255，否则赋值为0。将手势深度图像

中的每个像素点的值与thr比较，和重新赋值，最后得到一张与图像

大小相同的二值化图像Ⅰ₁。

为二值图像，单通道，通过opencv（开源计算机视觉库）中cvtColor函数将

转换成3通道图像，然后将

与img₁进行逻辑与运算，得到图像dst₁。dst₁是滤除背景后的手势RGB图像，此图像中假如视场角范围中，离相机距离小于或者等于图像分割阈值thr的像素为彩色像素，大于图像分割阈值thr的背景区域颜色全部为纯黑色或者纯白色。

步骤S18，将滤除背景的各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别。

将滤除背景的RGB图像dst_M一帧帧的按采集顺序依次输入到动态手势识别模型中进行手势识别，并输出结果，结束运行或者进行下一次动态识别返回到步骤S11。

可以理解的是，该动态手势识别模型用于识别手势姿态，其可以与动态手势检测模型为同一个模型，或者该动态手势识别模型为该动态手势检测模型中的一个组成部分，或者，该动态手势检测模型为该动态识别模型中的一个组成部分，此处不予限定。

本实施例基于RGBD相机，获取RGB图像及对其的深度图像，结合深度图能有效的过滤动态背景或静态背景，不受光照和背景环境变化的影响，有利于提高动态手势的识别率。通过简单的阈值分割，使得包含动态手势在内的小范围区域与背景分离，其计算量小，降低计算成本，提高实时性增强客户体验。

请参阅图2，为本发明第二实施例中的动态手势识别方法，包括步骤S21~S31。

步骤S21，获取当前帧RGB图像和对应的深度图像，并分别作为起始RGB图像和起始深度图像。

步骤S22，对所述起始RGB图像进行人脸检测，以确定出所述起始RGB图像中的各个人脸区域。

具体实施时，可以使用RGBD相机，基于第二视角同时采集已经矫正和对齐的RGB图像image和深度图像depth。将image输入人脸检测模型，进行人脸检测，假设检测到N张人脸，得到各人脸区域最小外接矩左上角点坐标为

，宽高为：

，其中

；如果没有人脸则返回步骤S21。

步骤S23，根据所述起始深度图像分别确定各个所述人脸区域的深度值，并筛选出最小深度值。

步骤S24，根据所述最小深度值确定图像分割阈值。

具体实施时，通过检测到的人脸区域的起始坐标（即人脸区域最小外接矩左上角点坐标）

和宽高

，在起始深度图像depth相同位置切割出对应的目标区域

。将切割出的各个区域进行均值、中值滤波，然后进行大津阈值分割，得到二值化区域

，将

进行逻辑与运算得到区域

，计算

区域中像素的平均灰度值

，计算公式为：

，T表示

中灰度值不为0的总个数，

表示

区域的平均灰度值，单位为mm。计算出的平均灰度值即为人脸区域的深度值。

将平均灰度值

按小到大排序，假设最小值为

，则图像分割阈值thr为：

，ε表示常量，根据经验获得。

步骤S25，判断所述图像分割阈值是否小于手势识别阈值，若是执行步骤S26，否则返回执行步骤S21。其中，所述手势识别阈值为识别出最大手势动作的深度值。

可以理解的，进行手势识别时，需要保证

，其中TH表示识别出最大的手势动作的深度值，否则返回步骤S21。一般识别场景中，识别人脸的深度阈值是大于手势识别阈值的，当人离相机设备很远的时候，虽然人脸可以识别到，但是手势由于太远会出现识别不到的情况，因此，本实施例需保证手势识别阈值大于图像分割阈值，可以避免人离相机很远导致无法识别手势的情况。

步骤S26，通过动态手势检测模型检测所述起始RGB图像中是否存在起始手势，若是，执行步骤S27，否则返回执行步骤S21。

具体的，将起始手势图像输入到动态手势检测模型中进行起始手势检测，有起始手势则输出手势区域起始坐标坐标

，宽高分别为

；如果没有则返回步骤S21。该起始坐标通常为手势区域左上角点。

步骤S27，获取所述动态手势检测模型输出的手势区域，并根据所述深度图像确定所述手势区域的深度值。

手势区域的深度值的确定方法与上述步骤中人脸区域的深度值的确定方法基本相同。具体如下：

首先，根据检测到的手势区域的起始坐标

和宽高

，在手势深度图像中相同位置确定出对应的区域图像A_q；

将该区域图像A_q进行均值和中值滤波后，进行大津阈值分割得到二值化图像B_q

将该区域图像A_q和二值化图像B_q进行逻辑与运算，得到图像G_q；

计算图像G_q中像素的平均值，即得到该手势区域的深度值

。

步骤S28，判断所述手势区域的深度值是否大于所述图像分割阈值，若是，返回执行步骤S21，否则执行步骤S29。

上述步骤中，如果

，则返回步骤S21，如果

，则执行下一步骤。

步骤S29，连续获取预设数量帧RGB图像及对应的深度图像，得到预设数量帧手势RGB图像和对应的手势深度图像。

步骤S30，根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域，并将所述手势RGB图像中所述图像区域的图像滤除。

可以理解的，该实施例中手势RGB图像去除背景的方法与第一实施例中的基本相同，此处不予赘述。

步骤S31，将滤除背景各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别。

将滤除背景的RGB图像一帧帧的按采集顺序依次输入到动态手势识别模型中进行手势识别，并输出结果。

本实施例是基于RGBD相机，第二视角识别动态手势为背景，结合深度图像有效的过滤有干扰的背景环境，因为深度图不受光照影响，稳定性好，另外简单的阈值分割计算量小，提高客户体验。

请参阅图3，为本发明第三实施例中的动态手势识别装置，包括：

第一获取模块31，用于获取当前帧RGB图像和对应的深度图像，并分别作为起始RGB图像和起始深度图像；

人脸检测模块32，用于对所述起始RGB图像进行人脸检测，以确定出所述起始RGB图像中的各个人脸区域；

深度值确定模块33，用于根据所述起始深度图像分别确定各个所述人脸区域的深度值，并筛选出最小深度值；

分割阈值确定模块34，用于根据所述最小深度值确定图像分割阈值；

起始手势检测模块35，用于将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测；

第二获取模块36，用于当检测到起始手势时，连续获取预设数量帧RGB图像及对应的深度图像，得到预设数量帧手势RGB图像和对应的手势深度图像；

背景图像滤除模块37，用于根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域，并将所述手势RGB图像中所述图像区域的图像滤除；

动态手势识别模块38，用于将滤除图像的各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别。

进一步的，上述动态手势识别装置，还包括：

本发明实施例所提供的动态手势识别装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明另一方面还提出一种电子设备，请参阅图4，所示为本发明第四实施例当中的电子设备，包括处理器10、存储器20以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述计算机程序30时实现如上述的动态手势识别方法。

其中，所述电子设备可以为但不限于VR设备、控制器、个人电脑、手机等设备。处理器10在一些实施例中可以是一中央处理器（Central Processing Unit, CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据等。

其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的硬盘。存储器20在另一些实施例中也可以是电子设备的外部存储装置，例如电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。进一步地，存储器20还可以既包括电子设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于电子设备的应用软件及各类数据等，还可以用于暂时地存储已经输出或者将要输出的数据。

可选地，该电子设备还可以包括用户接口、网络接口、通信总线等，用户接口可以包括显示器（Display）、输入单元比如键盘（Keyboard），可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。网络接口可选的可以包括标准的有线接口、无线接口（如WI-FI接口），通常用于在该装置与其他电子装置之间建立通信连接。通信总线用于实现这些组件之间的连接通信。

需要指出的是，图4示出的结构并不构成对电子设备的限定，在其它实施例当中，该电子设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的动态手势识别方法。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置中获取指令并执行指令的系统）使用，或结合这些指令执行系统、装置而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或结合这些指令执行系统、装置而使用的设备。

计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种动态手势识别方法，其特征在于，包括：

根据所述最小深度值确定图像分割阈值；

将滤除图像的各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别；

所述根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域，并将所述手势RGB图像中所述图像区域的图像滤除的步骤包括：

将当前手势RGB图像对应的手势深度图像进行均值滤波；

将均值滤波后的手势深度图像的各个像素的灰度值与所述图像分割阈值进行比较，并得到二值化图像；

将所述二值化图像转换为三通道图像；

将所述三通道图像与所述当前手势RGB图像进行逻辑与运算；

所述将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测的步骤之前还包括：

若否，返回执行获取当前帧RGB图像和对应的深度图像，并分别作为起始RGB图像和起始深度图像的步骤。

2.如权利要求1所述的动态手势识别方法，其特征在于，所述根据所述起始深度图像分别确定各个所述人脸区域的深度值的步骤包括：

3.如权利要求1所述的动态手势识别方法，其特征在于，所述二值化图像的计算公式如下：

，其中，Ⅰ_M（x,y）表示二值化图像中位置（x,y）的像素的灰度值，dep_M（x,y）表示手势深度图像中位置（x,y）的像素的灰度值，thr为图像分割阈值。

4.如权利要求1所述的动态手势识别方法，其特征在于，所述连续获取预设数量帧RGB图像及对应的深度图像的步骤之前还包括：

5.如权利要求1所述的动态手势识别方法，其特征在于，根据所述最小深度值确定图像分割阈值thr，其计算公式为：

，ε表示常量，mean_k为最小深度值。

6.一种动态手势识别装置，其特征在于，包括：

动态手势识别模块，用于将滤除图像的各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别；

背景图像滤除模块具体用于，将当前手势RGB图像对应的手势深度图像进行均值滤波；将均值滤波后的手势深度图像的各个像素的灰度值与所述图像分割阈值进行比较，并得到二值化图像；将所述二值化图像转换为三通道图像；将所述三通道图像与所述当前手势RGB图像进行逻辑与运算；

还包括：

7.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的方法。

8.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。