CN114627561B - 动态手势识别方法、装置、可读存储介质及电子设备 - Google Patents

动态手势识别方法、装置、可读存储介质及电子设备 Download PDF

Info

Publication number
CN114627561B
CN114627561B CN202210526221.7A CN202210526221A CN114627561B CN 114627561 B CN114627561 B CN 114627561B CN 202210526221 A CN202210526221 A CN 202210526221A CN 114627561 B CN114627561 B CN 114627561B
Authority
CN
China
Prior art keywords
image
gesture
depth
rgb
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210526221.7A
Other languages
English (en)
Other versions
CN114627561A (zh
Inventor
毛凤辉
郭振民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Virtual Reality Institute Co Ltd
Original Assignee
Nanchang Virtual Reality Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Virtual Reality Institute Co Ltd filed Critical Nanchang Virtual Reality Institute Co Ltd
Priority to CN202210526221.7A priority Critical patent/CN114627561B/zh
Publication of CN114627561A publication Critical patent/CN114627561A/zh
Application granted granted Critical
Publication of CN114627561B publication Critical patent/CN114627561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

一种动态手势识别方法、装置、可读存储介质及电子设备,该方法包括:获取RGB图像及对应的深度图像,检测出RGB图像上的人脸;根据深度图像计算图像中各人脸区域的深度值,并根据最小深度值确定图像分割阈值;检测动态手势的起始动作;连续读取预设数量帧RGB图像及深度图像,并结合图像阈值,分割出RGB图像中动态手势深度相近区域,以进行背景滤除。将滤除背景的各个RGB图像输入至动态手势识别模型中进行动态手势识别。通过简单的阈值分割,使得包含动态手势在内的小范围区域与背景分离,其计算量小,降低计算成本,提高实时性增强客户体验。

Description

动态手势识别方法、装置、可读存储介质及电子设备
技术领域
本发明涉及图像处理领域,特别是涉及一种动态手势识别方法、装置、可读存储介质及电子设备。
背景技术
手势识别在VR技术(Virtual Reality,虚拟现实)、AR技术(Augmented Reality,增强现实)、无人机控制、智能家居和手语识别等众多领域都有广泛应用。
在动态手势识别中,如果背景环境比较复杂,容易对动态手势识别结果造成误识别,对客户体验较差,现有的解决方法是要求识别背景单一化或视场角较小,所含的背景较少,如此对动态手势的使用受到较大的限制,不利于动态手势的推广。另外是使用手部目标跟踪,要求对动态识别过程中不断跟踪,这方法计算量大,较难达到实时性,且容易受环境光影响,识别率低,导致跟踪失败。
发明内容
鉴于上述状况,有必要针对现有技术中手势识别实时性差和识别率低的问题,提供一种动态手势识别方法、装置、可读存储介质及电子设备。
一种动态手势识别方法,包括:
获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像;
对所述起始RGB图像进行人脸检测,以确定出所述起始RGB图像中的各个人脸区域;
根据所述起始深度图像分别确定各个所述人脸区域的深度值,并筛选出最小深度值;
根据所述最小深度值确定图像分割阈值;
将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测;
若检测到起始手势时,连续获取预设数量帧RGB图像及对应的深度图像,得到预设数量帧手势RGB图像和对应的手势深度图像;
根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域,并将所述手势RGB图像中所述图像区域的图像滤除;
将滤除图像的各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别。
进一步的,上述动态手势识别方法,其中,所述将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测的步骤之前还包括:
判断所述图像分割阈值是否小于手势识别阈值,所述手势识别阈值为识别出最大手势动作的深度值;
若是,执行将所述RGB图像输入到动态手势检测模型中进行起始手势检测的步骤;
否则,返回执行获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像的步骤。
进一步的,上述动态手势识别方法,其中,所述根据所述起始深度图像分别确定各个所述人脸区域的深度值的步骤包括:
确定所述起始深度图像中与各个所述人脸区域的位置对应的目标区域,并将各个所述目标区域分别进行均值滤波和中值滤波后,进行大津阈值分割,得到对应的二值化区域;
将各个所述目标区域分别与对应的二值化区域进行逻辑与运算,得到对应的处理区域;
计算各个所述处理区域像素的灰度值的平均值,以得到各个人脸区域对应的深度值。
进一步的,上述动态手势识别方法,其中,所述根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域,并将所述手势RGB图像中所述图像区域的图像滤除的步骤包括:
将当前手势RGB图像对应的手势深度图像进行均值滤波;
将均值滤波后的手势深度图像的各个像素的灰度值与所述图像分割阈值进行比较,并得到二值化图像,计算公式如下:
Figure 520030DEST_PATH_IMAGE001
,其中,ⅠM(x,y)表示二值化图像中位置(x,y)的像素的灰度值,depM(x,y)表示手势深度图像中位置(x,y)的像素的灰度值,thr为图像分割阈值;
将所述二值化图像转换为三通道图像;
将所述三通道图像与所述当前手势RGB图像进行逻辑与运算。
进一步的,上述动态手势识别方法,其中,所述连续获取预设数量帧RGB图像及对应的深度图像的步骤之前还包括:
若检测到起始手势时,获取所述动态手势检测模型输出的手势区域;
根据所述深度图像确定所述手势区域的深度值,并判断所述手势区域的深度值是否大于所述图像分割阈值;
若是,返回执行获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像的步骤;
若否,则执行连续获取预设数量帧RGB图像及对应的深度图像的步骤。
进一步的,上述动态手势识别方法,其中,根据所述最小深度值确定图像分割阈值thr,其计算公式为:
Figure 349315DEST_PATH_IMAGE002
,ε表示常量,meank为最小深度值。
本发明还公开了一种动态手势识别装置,包括:
第一获取模块,用于获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像;
人脸检测模块,用于对所述起始RGB图像进行人脸检测,以确定出所述起始RGB图像中的各个人脸区域;
深度值确定模块,用于根据所述起始深度图像分别确定各个所述人脸区域的深度值,并筛选出最小深度值;
分割阈值确定模块,用于根据所述最小深度值确定图像分割阈值;
起始手势检测模块,用于将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测;
第二获取模块,用于当检测到起始手势时,连续获取预设数量帧RGB图像及对应的深度图像,得到预设数量帧手势RGB图像和对应的手势深度图像;
背景图像滤除模块,用于根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域,并将所述手势RGB图像中所述图像区域的图像滤除;
动态手势识别模块,用于将滤除图像的各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别。
进一步的,上述动态手势识别装置,还包括:
第一判断模块,用于判断所述图像分割阈值是否小于手势识别阈值,所述手势识别阈值为识别出最大手势动作的深度值;若是,则所述起始手势检测模块执行将所述RGB图像输入到动态手势检测模型中进行起始手势检测的步骤;否则,所述第一获取模块执行获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像的步骤。
进一步的,上述动态手势识别装置,还包括:
第三获取模块,用于当检测到起始手势时,获取所述动态手势检测模型输出的手势区域;
第二判断模块,用于根据所述深度图像确定所述手势区域的深度值,并判断所述手势区域的深度值是否大于所述图像分割阈值;若是,所述第一获取模块执行获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像的步骤;若否,所述第二获取模块则执行连续获取预设数量帧RGB图像及对应的深度图像的步骤。
本发明还公开了一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一项所述的方法。
本发明还公开了一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的方法。
本发明通过获取RGB图像及对应的深度图像,结合深度图能有效的过滤动态背景或静态背景,不受光照和背景环境变化的影响,有利于提高动态手势的识别率。通过简单的阈值分割,使得包含动态手势在内的小范围区域与背景分离,其计算量小,降低计算成本,提高实时性增强客户体验。
附图说明
图1为本发明第一实施例中的动态手势识别方法的流程图;
图2为本发明第二实施例中的动态手势识别方法的流程图;
图3为本发明第三实施例中的动态手势识别装置的结构框图;
图4为本发明实施例中的电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
参照下面的描述和附图,将清楚本发明的实施例的这些和其他方面。在这些描述和附图中,具体公开了本发明的实施例中的一些特定实施方式,来表示实施本发明的实施例的原理的一些方式,但是应当理解,本发明的实施例的范围不受此限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1,为本发明第一实施例中的动态手势识别方法,包括步骤S11~S16。
步骤S11,获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像。
具体的,该RGB图像和对应的深度图像可通过RGBD相机来采集。本实施中可使用RGBD相机实时对环境进行图像采集,基于第二视角同时采集的RGB图像和深度图像,RGBD相机采集的RGB图像和深度图像是已经矫正和对齐的图像。当获取RGBD相机采集的当前帧RGB图像和深度图像时,分别作为起始RGB图像和起始深度图像。
步骤S12,对所述起始RGB图像进行人脸检测,以确定出所述起始RGB图像中的各个人脸区域。
具体实施时,可以将起始RGB图像输入至人脸检测模型中进行人脸检测,并确定出各个人脸区域。假设检测到N张人脸,根据人脸检测模型的检测结果得到各个人脸区域最小外接矩左上角点坐标为
Figure 891154DEST_PATH_IMAGE003
,宽高为:
Figure 265635DEST_PATH_IMAGE004
,单位:pix,其中
Figure 892926DEST_PATH_IMAGE005
进一步的,如果没有检测到人脸时,则返回步骤S11,即继续获取一帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像输入至人脸检测模型中进行人脸检测。
步骤S13,根据所述起始深度图像分别确定各个所述人脸区域的深度值,并筛选出最小深度值。
步骤S14,根据所述最小深度值确定图像分割阈值。
深度图像可以反映出对应的RGB图像各像素的深度信息,即可以计算出各个人脸区域的各自的深度值,选择深度值最小的人脸作为动态手势发出者。根据该最小深度值确定图像分割阈值,该图像分割阈值用于分割图像中的手势区域和背景区域,深度小于或等于该图像分割阈值的区域为手势区域,大于该图像分割阈值的区域认为是背景区域。
具体的,在本发明的一实施例中,所述根据所述起始深度图像分别确定各个所述人脸区域的深度值的步骤包括:
确定所述起始深度图像中与各个所述人脸区域的位置对应的目标区域,并将各个所述目标区域分别进行均值滤波和中值滤波后,进行大津阈值分割,得到对应的二值化区域;
将各个所述目标区域分别与对应的二值化区域进行逻辑与运算,得到对应的处理区域;
计算各个所述处理区域像素的灰度值的平均值,以得到各个人脸区域对应的深度值。
根据起始RGB图像image检测到的人脸,获得人脸在image中的位置(人脸区域最小外接矩左上角点坐标
Figure 870109DEST_PATH_IMAGE006
和宽高
Figure 394019DEST_PATH_IMAGE007
),由于起始RGB图像和起始深度图像是对齐的,所以人脸在起始深度图上的位置也是
Figure 64034DEST_PATH_IMAGE006
和宽高
Figure 53987DEST_PATH_IMAGE008
。根据确定出的人脸位置在初始深度图上切割出对应的区域,即目标区域
Figure 834861DEST_PATH_IMAGE009
分割出来的区域
Figure 210348DEST_PATH_IMAGE010
是一个矩形区域,该区域
Figure 51265DEST_PATH_IMAGE011
不完全是面部区域,还包括背景区域或干扰区域,所以使用均值、中值滤波,然后进行大津阈值分割尽可能的提取面部区域,经过这些处理之后得到二值化区域
Figure 528514DEST_PATH_IMAGE012
,即提取的脸部区域为白色,像素值为255,其余区域为黑色,像素值为0。
将第i个区域
Figure 113079DEST_PATH_IMAGE010
和对应的二值化区域
Figure 218438DEST_PATH_IMAGE013
进行逻辑与运算得到对应的处理区域
Figure 354890DEST_PATH_IMAGE014
,计算
Figure 178490DEST_PATH_IMAGE015
区域中各个像素的灰度值的平均值,得到第i个人脸区域的深度值
Figure 442112DEST_PATH_IMAGE016
,计算公式为:
Figure 667557DEST_PATH_IMAGE017
,T表示
Figure 974910DEST_PATH_IMAGE018
中灰度值不为0的总像素的个数,
Figure 285806DEST_PATH_IMAGE019
表示
Figure 87540DEST_PATH_IMAGE020
区域的深度值,单位为mm,(x,y)表示像素点的位置坐标。
Figure 167491DEST_PATH_IMAGE021
Figure 925974DEST_PATH_IMAGE022
进行逻辑与计算,公式表达为:
Figure 989745DEST_PATH_IMAGE023
将各个人脸区域的深度值
Figure 595170DEST_PATH_IMAGE024
按小到大排序,假设最小值为
Figure 529628DEST_PATH_IMAGE025
,则图像分割阈值thr为:
Figure 444363DEST_PATH_IMAGE026
,为经验值。手势与人脸比较,手势离摄像头更近,即手势图像的深度会比最小深度值更小,但是为了手势检测准确性,图像分割阈值thr为最小深度值加上经验值,即图像分割阈值会设置的比最小人脸深度值稍微远点,以获得更多的图像信息。
步骤S15,将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测。
将起始RGB图像image图像输入到动态手势检测模型中,通过该动态手势检测模型确定是否存在起始手势。
步骤S16,若检测到起始手势时,连续获取预设数量帧RGB图像及对应的深度图像,得到预设数量帧手势RGB图像和对应的手势深度图像。
步骤S17,根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域,并将所述手势RGB图像中所述图像区域的图像滤除。
当该当前帧RGB图像中存在起始手势时,则继续连续读取M帧RGB图imgM及其对齐的深度图depM,得到M帧手势RGB图像和M帧手势深度图像。在实际应用中动态手势识别一般都是连续的16帧或者32帧进行一个动作的识别,因此该预设数量M取值为16或32。
根据该手势深度图像可以获的其对应的手势RGB图像的深度信息,该手势RGB图像中深度大于该图像分割阈值的区域可以认定为背景区域,因此,将该手势RGB图像中深度小于该图像分割阈值的区域的图像进行滤除。此处的滤除操作例如将该部分图像的颜色全部设为纯黑色或者纯白色。
具体的,在本发明的一实施例中,根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域,并将所述手势RGB图像中所述图像区域的图像滤除的步骤包括:
将当前手势RGB图像对应的手势深度图像进行均值滤波;
将均值滤波后的手势深度图像的各个像素的灰度值与所述图像分割阈值进行比较,得到二值化图像,公式如下:
Figure 729851DEST_PATH_IMAGE001
,其中,(x,y)表示图像中像素的位置坐标,ⅠM(x,y)表示二值化图像在位置(x,y)的像素的灰度值,depM(x,y)表示手势深度图像在位置(x,y)的像素的灰度值,thr为图像分割阈值;
将所述二值化图像转换为三通道图像;
将所述三通道图像与所述当前手势RGB图像进行逻辑与运算。
对每一帧手势RGB图像均进行滤除背景的操作,以当前图像为第一帧手势RGB图像为例来说明,例如获取到手势RGB图img1和对应的手势深度图像dep1,将dep1通过均值滤波后与阈值thr进行比较得到二值图像
Figure 873387DEST_PATH_IMAGE028
,公式如下:
Figure 927931DEST_PATH_IMAGE029
,其中,(x,y)表示图像中像素的位置。
即手势深度图像
Figure 279147DEST_PATH_IMAGE030
中在位置(x,y)的像素值小于或者等于阈值thr,就将
Figure 661717DEST_PATH_IMAGE031
在位置(x,y)的像素值重新赋值为255,否则赋值为0。将手势深度图像
Figure 999158DEST_PATH_IMAGE032
中的每个像素点的值与thr比较,和重新赋值,最后得到一张与图像
Figure 298421DEST_PATH_IMAGE032
大小相同的二值化图像Ⅰ1
Figure 164746DEST_PATH_IMAGE031
为二值图像,单通道,通过opencv(开源计算机视觉库)中cvtColor函数将
Figure 300192DEST_PATH_IMAGE031
转换成3通道图像,然后将
Figure 910165DEST_PATH_IMAGE031
与img1进行逻辑与运算,得到图像dst1。dst1是滤除背景后的手势RGB图像,此图像中假如视场角范围中,离相机距离小于或者等于图像分割阈值thr的像素为彩色像素,大于图像分割阈值thr的背景区域颜色全部为纯黑色或者纯白色。
步骤S18,将滤除背景的各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别。
将滤除背景的RGB图像dstM一帧帧的按采集顺序依次输入到动态手势识别模型中进行手势识别,并输出结果,结束运行或者进行下一次动态识别返回到步骤S11。
可以理解的是,该动态手势识别模型用于识别手势姿态,其可以与动态手势检测模型为同一个模型,或者该动态手势识别模型为该动态手势检测模型中的一个组成部分,或者,该动态手势检测模型为该动态识别模型中的一个组成部分,此处不予限定。
本实施例基于RGBD相机,获取RGB图像及对其的深度图像,结合深度图能有效的过滤动态背景或静态背景,不受光照和背景环境变化的影响,有利于提高动态手势的识别率。通过简单的阈值分割,使得包含动态手势在内的小范围区域与背景分离,其计算量小,降低计算成本,提高实时性增强客户体验。
请参阅图2,为本发明第二实施例中的动态手势识别方法,包括步骤S21~S31。
步骤S21,获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像。
步骤S22,对所述起始RGB图像进行人脸检测,以确定出所述起始RGB图像中的各个人脸区域。
具体实施时,可以使用RGBD相机,基于第二视角同时采集已经矫正和对齐的RGB图像image和深度图像depth。将image输入人脸检测模型,进行人脸检测,假设检测到N张人脸,得到各人脸区域最小外接矩左上角点坐标为
Figure 332444DEST_PATH_IMAGE006
,宽高为:
Figure 245036DEST_PATH_IMAGE033
,其中
Figure 992412DEST_PATH_IMAGE034
;如果没有人脸则返回步骤S21。
步骤S23,根据所述起始深度图像分别确定各个所述人脸区域的深度值,并筛选出最小深度值。
步骤S24,根据所述最小深度值确定图像分割阈值。
具体实施时,通过检测到的人脸区域的起始坐标(即人脸区域最小外接矩左上角点坐标)
Figure 530710DEST_PATH_IMAGE003
和宽高
Figure 148773DEST_PATH_IMAGE035
,在起始深度图像depth相同位置切割出对应的目标区域
Figure 763425DEST_PATH_IMAGE036
。将切割出的各个区域进行均值、中值滤波,然后进行大津阈值分割,得到二值化区域
Figure 732518DEST_PATH_IMAGE037
,将
Figure 808927DEST_PATH_IMAGE038
进行逻辑与运算得到区域
Figure 812655DEST_PATH_IMAGE039
,计算
Figure 332630DEST_PATH_IMAGE040
区域中像素的平均灰度值
Figure 789019DEST_PATH_IMAGE041
,计算公式为:
Figure 403540DEST_PATH_IMAGE042
,T表示
Figure 261774DEST_PATH_IMAGE043
中灰度值不为0的总个数,
Figure 952650DEST_PATH_IMAGE044
表示
Figure 896335DEST_PATH_IMAGE045
区域的平均灰度值,单位为mm。计算出的平均灰度值即为人脸区域的深度值。
将平均灰度值
Figure 317477DEST_PATH_IMAGE046
按小到大排序,假设最小值为
Figure 30218DEST_PATH_IMAGE047
,则图像分割阈值thr为:
Figure 891994DEST_PATH_IMAGE048
,ε表示常量,根据经验获得。
步骤S25,判断所述图像分割阈值是否小于手势识别阈值,若是执行步骤S26,否则返回执行步骤S21。其中,所述手势识别阈值为识别出最大手势动作的深度值。
可以理解的,进行手势识别时,需要保证
Figure 322976DEST_PATH_IMAGE049
,其中TH表示识别出最大的手势动作的深度值,否则返回步骤S21。一般识别场景中,识别人脸的深度阈值是大于手势识别阈值的,当人离相机设备很远的时候,虽然人脸可以识别到,但是手势由于太远会出现识别不到的情况,因此,本实施例需保证手势识别阈值大于图像分割阈值,可以避免人离相机很远导致无法识别手势的情况。
步骤S26,通过动态手势检测模型检测所述起始RGB图像中是否存在起始手势,若是,执行步骤S27,否则返回执行步骤S21。
具体的,将起始手势图像输入到动态手势检测模型中进行起始手势检测,有起始手势则输出手势区域起始坐标坐标
Figure 544878DEST_PATH_IMAGE050
,宽高分别为
Figure 112126DEST_PATH_IMAGE051
;如果没有则返回步骤S21。该起始坐标通常为手势区域左上角点。
步骤S27,获取所述动态手势检测模型输出的手势区域,并根据所述深度图像确定所述手势区域的深度值。
手势区域的深度值的确定方法与上述步骤中人脸区域的深度值的确定方法基本相同。具体如下:
首先,根据检测到的手势区域的起始坐标
Figure 144804DEST_PATH_IMAGE050
和宽高
Figure 63082DEST_PATH_IMAGE052
,在手势深度图像中相同位置确定出对应的区域图像Aq
将该区域图像Aq进行均值和中值滤波后,进行大津阈值分割得到二值化图像Bq
将该区域图像Aq和二值化图像Bq进行逻辑与运算,得到图像Gq
计算图像Gq中像素的平均值,即得到该手势区域的深度值
Figure 432883DEST_PATH_IMAGE053
步骤S28,判断所述手势区域的深度值是否大于所述图像分割阈值,若是,返回执行步骤S21,否则执行步骤S29。
上述步骤中,如果
Figure 244850DEST_PATH_IMAGE054
,则返回步骤S21,如果
Figure 573063DEST_PATH_IMAGE055
,则执行下一步骤。
步骤S29,连续获取预设数量帧RGB图像及对应的深度图像,得到预设数量帧手势RGB图像和对应的手势深度图像。
步骤S30,根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域,并将所述手势RGB图像中所述图像区域的图像滤除。
可以理解的,该实施例中手势RGB图像去除背景的方法与第一实施例中的基本相同,此处不予赘述。
步骤S31,将滤除背景各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别。
将滤除背景的RGB图像一帧帧的按采集顺序依次输入到动态手势识别模型中进行手势识别,并输出结果。
本实施例是基于RGBD相机,第二视角识别动态手势为背景,结合深度图像有效的过滤有干扰的背景环境,因为深度图不受光照影响,稳定性好,另外简单的阈值分割计算量小,提高客户体验。
请参阅图3,为本发明第三实施例中的动态手势识别装置,包括:
第一获取模块31,用于获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像;
人脸检测模块32,用于对所述起始RGB图像进行人脸检测,以确定出所述起始RGB图像中的各个人脸区域;
深度值确定模块33,用于根据所述起始深度图像分别确定各个所述人脸区域的深度值,并筛选出最小深度值;
分割阈值确定模块34,用于根据所述最小深度值确定图像分割阈值;
起始手势检测模块35,用于将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测;
第二获取模块36,用于当检测到起始手势时,连续获取预设数量帧RGB图像及对应的深度图像,得到预设数量帧手势RGB图像和对应的手势深度图像;
背景图像滤除模块37,用于根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域,并将所述手势RGB图像中所述图像区域的图像滤除;
动态手势识别模块38,用于将滤除图像的各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别。
进一步的,上述动态手势识别装置,还包括:
第一判断模块,用于判断所述图像分割阈值是否小于手势识别阈值,所述手势识别阈值为识别出最大手势动作的深度值;若是,则所述起始手势检测模块执行将所述RGB图像输入到动态手势检测模型中进行起始手势检测的步骤;否则,所述第一获取模块执行获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像的步骤。
进一步的,上述动态手势识别装置,还包括:
第三获取模块,用于当检测到起始手势时,获取所述动态手势检测模型输出的手势区域;
第二判断模块,用于根据所述深度图像确定所述手势区域的深度值,并判断所述手势区域的深度值是否大于所述图像分割阈值;若是,所述第一获取模块执行获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像的步骤;若否,所述第二获取模块则执行连续获取预设数量帧RGB图像及对应的深度图像的步骤。
本发明实施例所提供的动态手势识别装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明另一方面还提出一种电子设备,请参阅图4,所示为本发明第四实施例当中的电子设备,包括处理器10、存储器20以及存储在存储器上并可在处理器上运行的计算机程序30,所述处理器10执行所述计算机程序30时实现如上述的动态手势识别方法。
其中,所述电子设备可以为但不限于VR设备、控制器、个人电脑、手机等设备。处理器10在一些实施例中可以是一中央处理器(Central Processing Unit, CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器20中存储的程序代码或处理数据等。
其中,存储器20至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的硬盘。存储器20在另一些实施例中也可以是电子设备的外部存储装置,例如电子设备上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(FlashCard)等。进一步地,存储器20还可以既包括电子设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于电子设备的应用软件及各类数据等,还可以用于暂时地存储已经输出或者将要输出的数据。
可选地,该电子设备还可以包括用户接口、网络接口、通信总线等,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口),通常用于在该装置与其他电子装置之间建立通信连接。通信总线用于实现这些组件之间的连接通信。
需要指出的是,图4示出的结构并不构成对电子设备的限定,在其它实施例当中,该电子设备可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
本发明还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述的动态手势识别方法。
本领域技术人员可以理解,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置中获取指令并执行指令的系统)使用,或结合这些指令执行系统、装置而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或结合这些指令执行系统、装置而使用的设备。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种动态手势识别方法,其特征在于,包括:
获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像;
对所述起始RGB图像进行人脸检测,以确定出所述起始RGB图像中的各个人脸区域;
根据所述起始深度图像分别确定各个所述人脸区域的深度值,并筛选出最小深度值;
根据所述最小深度值确定图像分割阈值;
将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测;
若检测到起始手势时,连续获取预设数量帧RGB图像及对应的深度图像,得到预设数量帧手势RGB图像和对应的手势深度图像;
根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域,并将所述手势RGB图像中所述图像区域的图像滤除;
将滤除图像的各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别;
所述根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域,并将所述手势RGB图像中所述图像区域的图像滤除的步骤包括:
将当前手势RGB图像对应的手势深度图像进行均值滤波;
将均值滤波后的手势深度图像的各个像素的灰度值与所述图像分割阈值进行比较,并得到二值化图像;
将所述二值化图像转换为三通道图像;
将所述三通道图像与所述当前手势RGB图像进行逻辑与运算;
所述将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测的步骤之前还包括:
判断所述图像分割阈值是否小于手势识别阈值,所述手势识别阈值为识别出最大手势动作的深度值;
若是,执行将所述RGB图像输入到动态手势检测模型中进行起始手势检测的步骤;
若否,返回执行获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像的步骤。
2.如权利要求1所述的动态手势识别方法,其特征在于,所述根据所述起始深度图像分别确定各个所述人脸区域的深度值的步骤包括:
确定所述起始深度图像中与各个所述人脸区域的位置对应的目标区域,并将各个所述目标区域分别进行均值滤波和中值滤波后,进行大津阈值分割,得到对应的二值化区域;
将各个所述目标区域分别与对应的二值化区域进行逻辑与运算,得到对应的处理区域;
计算各个所述处理区域像素的灰度值的平均值,以得到各个人脸区域对应的深度值。
3.如权利要求1所述的动态手势识别方法,其特征在于,所述二值化图像的计算公式如 下:
Figure 515220DEST_PATH_IMAGE001
,其中,ⅠM(x,y)表示二值化图像中位置(x,y)的像素的灰度 值,depM(x,y)表示手势深度图像中位置(x,y)的像素的灰度值,thr为图像分割阈值。
4.如权利要求1所述的动态手势识别方法,其特征在于,所述连续获取预设数量帧RGB图像及对应的深度图像的步骤之前还包括:
若检测到起始手势时,获取所述动态手势检测模型输出的手势区域;
根据所述深度图像确定所述手势区域的深度值,并判断所述手势区域的深度值是否大于所述图像分割阈值;
若是,返回执行获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像的步骤;
若否,则执行连续获取预设数量帧RGB图像及对应的深度图像的步骤。
5.如权利要求1所述的动态手势识别方法,其特征在于,根据所述最小深度值确定图像分割阈值thr,其计算公式为:
Figure 91695DEST_PATH_IMAGE002
,ε表示常量,meank为最小深度值。
6.一种动态手势识别装置,其特征在于,包括:
第一获取模块,用于获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像;
人脸检测模块,用于对所述起始RGB图像进行人脸检测,以确定出所述起始RGB图像中的各个人脸区域;
深度值确定模块,用于根据所述起始深度图像分别确定各个所述人脸区域的深度值,并筛选出最小深度值;
分割阈值确定模块,用于根据所述最小深度值确定图像分割阈值;
起始手势检测模块,用于将所述起始RGB图像输入至动态手势检测模型中进行起始手势检测;
第二获取模块,用于当检测到起始手势时,连续获取预设数量帧RGB图像及对应的深度图像,得到预设数量帧手势RGB图像和对应的手势深度图像;
背景图像滤除模块,用于根据对应的手势深度图像分割出各个所述手势RGB图像中深度值大于所述图像分割阈值的图像区域,并将所述手势RGB图像中所述图像区域的图像滤除;
动态手势识别模块,用于将滤除图像的各个所述手势RGB图像输入至动态手势识别模型中进行动态手势识别;
背景图像滤除模块具体用于,将当前手势RGB图像对应的手势深度图像进行均值滤波;将均值滤波后的手势深度图像的各个像素的灰度值与所述图像分割阈值进行比较,并得到二值化图像;将所述二值化图像转换为三通道图像;将所述三通道图像与所述当前手势RGB图像进行逻辑与运算;
还包括:
第一判断模块,用于判断所述图像分割阈值是否小于手势识别阈值,所述手势识别阈值为识别出最大手势动作的深度值;若是,则所述起始手势检测模块执行将所述RGB图像输入到动态手势检测模型中进行起始手势检测的步骤;否则,所述第一获取模块执行获取当前帧RGB图像和对应的深度图像,并分别作为起始RGB图像和起始深度图像的步骤。
7.一种可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至5中任一项所述的方法。
8.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。
CN202210526221.7A 2022-05-16 2022-05-16 动态手势识别方法、装置、可读存储介质及电子设备 Active CN114627561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210526221.7A CN114627561B (zh) 2022-05-16 2022-05-16 动态手势识别方法、装置、可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210526221.7A CN114627561B (zh) 2022-05-16 2022-05-16 动态手势识别方法、装置、可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN114627561A CN114627561A (zh) 2022-06-14
CN114627561B true CN114627561B (zh) 2022-09-23

Family

ID=81906986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210526221.7A Active CN114627561B (zh) 2022-05-16 2022-05-16 动态手势识别方法、装置、可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114627561B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171217B (zh) * 2022-07-27 2023-03-03 北京拙河科技有限公司 一种动态背景下的动作识别方法及系统
CN117075730B (zh) * 2023-08-18 2024-04-30 广东早安文化发展有限公司 一种基于图像识别技术的3d虚拟展厅控制系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982315A (zh) * 2012-11-05 2013-03-20 中国科学院计算技术研究所 一种自动检测非手势模式的手势分割识别方法及系统
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法
CN105930784A (zh) * 2016-04-15 2016-09-07 济南大学 一种手势识别方法
CN107563286A (zh) * 2017-07-28 2018-01-09 南京邮电大学 一种基于Kinect深度信息的动态手势识别方法
CN112487981A (zh) * 2020-11-30 2021-03-12 哈尔滨工程大学 基于双路分割的ma-yolo动态手势快速识别方法
CN113392820A (zh) * 2021-08-17 2021-09-14 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、电子设备及可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663364A (zh) * 2012-04-10 2012-09-12 四川长虹电器股份有限公司 仿3d手势识别系统及方法
CN103353935B (zh) * 2013-07-19 2016-06-08 电子科技大学 一种用于智能家居系统的3d动态手势识别方法
US10009598B2 (en) * 2015-05-01 2018-06-26 Dell Products L.P. Dynamic mode switching of 2D/3D multi-modal camera for efficient gesture detection
CN107808143B (zh) * 2017-11-10 2021-06-01 西安电子科技大学 基于计算机视觉的动态手势识别方法
CN108256421A (zh) * 2017-12-05 2018-07-06 盈盛资讯科技有限公司 一种动态手势序列实时识别方法、系统及装置
CN108537147B (zh) * 2018-03-22 2021-12-10 东华大学 一种基于深度学习的手势识别方法
CN109344701B (zh) * 2018-08-23 2021-11-30 武汉嫦娥医学抗衰机器人股份有限公司 一种基于Kinect的动态手势识别方法
CN109542233B (zh) * 2018-11-30 2020-04-10 哈尔滨拓博科技有限公司 一种基于动态手势和人脸识别的灯具控制系统
CN112506342B (zh) * 2020-12-04 2022-01-28 郑州中业科技股份有限公司 基于动态手势识别的人机交互方法及系统
CN112686231B (zh) * 2021-03-15 2021-06-01 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982315A (zh) * 2012-11-05 2013-03-20 中国科学院计算技术研究所 一种自动检测非手势模式的手势分割识别方法及系统
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法
CN105930784A (zh) * 2016-04-15 2016-09-07 济南大学 一种手势识别方法
CN107563286A (zh) * 2017-07-28 2018-01-09 南京邮电大学 一种基于Kinect深度信息的动态手势识别方法
CN112487981A (zh) * 2020-11-30 2021-03-12 哈尔滨工程大学 基于双路分割的ma-yolo动态手势快速识别方法
CN113392820A (zh) * 2021-08-17 2021-09-14 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN114627561A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN114627561B (zh) 动态手势识别方法、装置、可读存储介质及电子设备
EP1970839B1 (en) Apparatus, method, and program for face feature point detection
Bradley et al. Adaptive thresholding using the integral image
US9430704B2 (en) Image processing system with layout analysis and method of operation thereof
US8023725B2 (en) Identification of a graphical symbol by identifying its constituent contiguous pixel groups as characters
CN111435438A (zh) 适于增强现实、虚拟现实和机器人的图形基准标记识别
EP2833288A1 (en) Face calibration method and system, and computer storage medium
CN110287791B (zh) 一种用于人脸图片的筛选方法和系统
US10586321B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
US20210334998A1 (en) Image processing method, apparatus, device and medium for locating center of target object region
KR20210006276A (ko) 플리커를 약화시키기 위한 이미지 처리 방법
CN108830133A (zh) 合同影像图片的识别方法、电子装置及可读存储介质
US7460705B2 (en) Head-top detecting method, head-top detecting system and a head-top detecting program for a human face
CN111191611A (zh) 基于深度学习的交通标志标号识别方法
US11216905B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
CN112733823A (zh) 手势姿态识别关键帧提取方法、装置及可读存储介质
CN108304840B (zh) 一种图像数据处理方法以及装置
CN110909568A (zh) 用于面部识别的图像检测方法、装置、电子设备及介质
CN112507767B (zh) 脸部辨识方法及其相关电脑系统
CN116261742A (zh) 信息处理装置及信息处理方法
US20230410561A1 (en) Method and apparatus for distinguishing different configuration states of an object based on an image representation of the object
CN113449629B (zh) 基于行车视频的车道线虚实识别装置、方法、设备及介质
CN113158818B (zh) 用于识别伪造视频的方法、装置和设备
CN114926631A (zh) 目标框生成方法、装置、非易失性存储介质及计算机设备
CN105868768A (zh) 一种识别图片是否带有特定标记的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant