CN106503651A - 一种手势图像的提取方法及系统 - Google Patents

一种手势图像的提取方法及系统 Download PDF

Info

Publication number
CN106503651A
CN106503651A CN201610919557.4A CN201610919557A CN106503651A CN 106503651 A CN106503651 A CN 106503651A CN 201610919557 A CN201610919557 A CN 201610919557A CN 106503651 A CN106503651 A CN 106503651A
Authority
CN
China
Prior art keywords
frame
image
gestures
images
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610919557.4A
Other languages
English (en)
Other versions
CN106503651B (zh
Inventor
恽为民
夏晓斌
庞作伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xpartner Robotics Co Ltd
Original Assignee
Shanghai Xpartner Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xpartner Robotics Co Ltd filed Critical Shanghai Xpartner Robotics Co Ltd
Priority to CN201610919557.4A priority Critical patent/CN106503651B/zh
Publication of CN106503651A publication Critical patent/CN106503651A/zh
Application granted granted Critical
Publication of CN106503651B publication Critical patent/CN106503651B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本发明公开了一种手势图像的提取方法及系统,其中手势图像的提取方法,包括在一采集图像中对当前每一个帧图像做分析处理以获取手势图像集,手势图像集包含至少两个帧图像;根据图像集的各帧图像的肤色区域像素点跳变确定有效手势图像;根据当前帧图像以及当前帧图像的前一帧图像以获取有效手势图像中的运动目标;根据运动目标形成判别图像,本发明中,对当前的每一个帧图像做分析处理以获取有效手势图像;根据当前帧图像以及当前帧图像的前一帧图像以获取有效手势图像中的运动目标;旨在去除无效图像、获得运动目标,采用此种方法,降低了图像识别的基础数据量,提高了手势图像的识别效率,同时使得基础手势图像处于标准状态,提高识别的准确度。

Description

一种手势图像的提取方法及系统
技术领域
本发明实施例涉及图像处理技术,尤其涉及一种手势图像的提取方法及系统。
背景技术
随着计算机技术的发展,人机交互已成为了人们生活中不可或缺的部分,但大部分交互都是基于鼠标、键盘、手持设备及窗口界面的二维交互技术,如何让交互变得更加自然近年来成为研究热题。手势作为人类交互的主要手段之一,历史甚至早于有声语言,所以使用手势作为人机交互会更为友好、方便、简洁、直观,很自然成为传统人机交互的一种扩充。目前,许多手势识别系统中需要借助传感器设备,如红外、超声波、多摄像头等设备,同时识别速度慢,识别率低。
基于摄像头的手势识别与动作识别交互技术,主要3D摄像头,以人体或手掌作为采集对象,进行动作行为捕捉,但是现有的图像采集单元在采集过程中,其采集的图像均包含较多的非肤色信息,进而导致在图像识别时,需要识别大量的非特征信息,大大降低了图像的识别量。
发明内容
本发明提供一种手势图像的提取方法及系统,通过对采集图像的检测、分割及滤除,以获取手势图像,大大减少图像中的非特征信息,提高了手势图像获取效率及准确率。
一方面,本发明提供一种手势图像的提取方法,其中,包括:
在一采集图像中对当前的每一个帧图像做分析处理以获取手势图像集,所述手势图像集包含至少两个帧图像;
从第二个帧图像开始,根据当前所述帧图像以及当前所述帧图像的前一个帧图像以获取一有效手势图像的运动目标;
根据所述运动目标形成一判别图像。
优选地,上述的手势图像的提取方法,其中,在所述采集图像中对当前的每一个帧图像做分析处理以获取手势图像集;所述手势图像集包含至少两个帧图像,包括:
在所述采集图像集中获取每一个帧图像;
对所述每一个帧图像做二值化处理形成每一个帧处理图像;
对每一个所述帧处理图像进行检测及过滤处理形成每一个帧分割图像;
在每一个所述帧分割图像上生成标记图,并计算每一个所述帧分割图像的跳变像素点的数量;
预制一检测阈值,在连续三帧所述分割图像的跳变像素点的数量的方差匹配所述检测阈值的状态,则根据当前的连续三帧所述分割图像中的第二帧所述分割图像形成所述有效手势图像。
优选地,上述的手势图像的提取方法,其中,对每一个所述帧处理图像进行检测及过滤处理形成所述每一个帧分割图像,包括:
设置一肤色点检测阈值;
根据所述肤色点检测阈值对每一个所述帧处理图像进行检测,去除所述处理出现中的非肤色点像素区域;
设置于面积检测阈值;
计算每一个所述帧处理图像中的每个肤色区域面积;
判断每个肤色区域面积是否匹配所述面积检测阈值;
滤除肤色区域面积小于所述面积检测阈值所对应的肤色区域以形成每一个帧分割图像。
优选地,上述的手势图像的提取方法,其中,在每一个所述帧分割图像上生成标记图,并计算每一个所述帧分割图像的跳变像素点的数量,包括:
在每一个所述帧分割图像上生成标记点,所述标记点形成所述标记图;
根据所述标记点形成与肤色区域对应的肤色区域分割图像;
根据当前帧所述分割图像和结合上一帧所述分割图像计算形成当前帧分割图像的跳变像素点的数量。
优选地,上述的手势图像的提取方法,其中,根据当前帧图像以及所述当前帧图像的前一个帧图像以获取所述有效手势图像中的运动目标,包括:
获取手势图像集中的全部帧图像;
获取与每一个帧图像匹配的每一个帧灰度图像,
从第二个的帧灰度图像开始,根据当前的帧灰度图像结合上一个帧灰度图像计算形成当前帧灰度图像的灰度图像帧差;
叠加全部所述灰度图像帧差形成帧差叠加图,并根据所述帧差叠加图获取所述有效手势图像中的运动目标。
优选地,上述的手势图像的提取方法,其中,根据所述运动目标形成一判别图像,包括:
获取所述运动目标中连通区域,并计算每一个连通区域的连通面积;
于所述帧差叠加图中获取每一个连通区域的帧差叠加值;
根据所述帧差叠加值和所述连通面积计算每一个连通区域的平均帧差值;
比较获取最大平均帧差值,以最大平均帧差值对应的连通区域作为所述判别图像。
另一方面,本发明再提供一种手势图像的提取系统,其中,包括:
手势图像集形成单元,在一采集图像中对当前的每一个帧图像做分析处理以获取手势图像集;所述手势图像集包含至少两个帧图像;
运动目标获取单元,从第二个帧图像开始,根据当前所述帧图像以及当前所述帧图像的前一个帧图像以获取一有效手势图像中的运动目标;
判别图像形成单元,根据所述运动目标中形成判别图像。
优选地,上述的手势图像的提取系统,其中,所述手势图像集形成单元,包括:
图像获取装置,于所述采集图像集中获取每一个帧图像;
二值化处理装置,对所述每一个帧图像做二值化处理形成每一个帧处理图像;
分割装置,对每一个所述帧处理图像进行检测及过滤处理形成每一个帧分割图像;
标记装置,于每一个所述帧分割图像上生成标记图,并计算每一个所述帧分割图像的跳变像素点的数量;
检测装置,预制一检测阈值,在连续三帧所述分割图像的跳变像素点的数量的方差匹配所述检测阈值的状态,则根据当前的连续三帧所述分割图像中的第二帧所述分割图像形成所述有效手势图像。
优选地,上述的手势图像的提取系统,其中,所述分割装置预制一肤色点检测阈值;包括:
肤色检测器,根据所述肤色点检测阈值对每一个所述帧处理图像进行检测,去除所述处理出现中的非肤色点像素区域;
面积检测器,设置于面积检测阈值;计算每一个所述帧处理图像中保留的每个肤色区域的连通面积;
判断器,判断每个肤色区域的连通面积是否匹配所述面积检测阈值;
滤除器,滤除肤色区域面积小于所述面积检测阈值所对应的肤色区域以形成每一个帧分割图像。
优选地,上述的手势图像的提取系统,其中,所述标记装置包括:
标记器,于每一个所述帧分割图像上生成标记点,所述标记点形成所述标记图;
分割图像形成器,根据所述标记点形成与肤色区域对应的肤色区域分割图像;
标记计算器,从第二帧所述分割图开始,根据当前帧所述分割图像和结合上一帧所述分割图像计算形成当前帧分割图像的跳变像素点的数量。
优选地,上述的手势图像的提取系统,其中,所述运动目标获取单元包括:
帧图像获取器,获取手势图像集中的全部帧图像;
灰度处理器,获取与每一个帧图像匹配的每一个帧灰度图像,
帧差计算器,从第二个的帧灰度图像开始,根据当前的帧灰度图像结合上一个帧灰度图像计算形成当前帧灰度图像的灰度图像帧差;
帧差叠加器,叠加全部所述灰度图像帧差形成帧差叠加图,并根据所述帧差叠加图获取所述有效手势图像中的所述运动目标。
优选地,上述的手势图像的提取系统,其中,所述判别图像形成单元像包括:
连通区域面积计算器,获取所述运动目标中连通区域,并计算每一个连通区域的连通面积;
连通区域帧差叠加器,于所述帧差叠加图中计算每一个连通区域的帧差叠加值;
平均帧差计算器,根据所述帧差叠加值及所述面积计算每一个连通区域的平均帧差值;
比较器,比较获取最大平均帧差值,以最大平均帧差值对应的连通区域作为所述判别图像。
与现有技术相比,本法的优点是:
本发明中,首先对当前的每一个帧图像做分析处理以获取手势图像集;根据当前帧图像以及所述当前帧图像的前一帧图像以获取所述有效手势图像中的运动目标;旨在去除无效图像、获得运动目标及判别图像,采用此种方法,一方面降低了图像识别的基础数据量,提高了手势图像的识别效率,另一方面使得所述基础手势图像处于标准状态,提高识别的准确度。
附图说明
图1为本发明实施例中的一种手势图像的提取方法的流程图;
图2是本发明实施例中的一种手势图像的提取方法的流程图;
图3是本发明实施例中的一种手势图像的提取方法的流程图;
图4是本发明实施例中的一种手势图像的提取系统的结构示意图;
图5是本发明实施例中的一种手势图像的提取系统的结构示意图;
图6是本发明实施例中的一种手势图像的提取系统的结构示意图;
图7是本发明实施例中实施部分手势图像的提取方法获取的图像示意图;
图8是本发明实施例中实施部分手势图像的提取方法获取的图像示意图;
图9是本发明实施例中实施部分手势图像的提取方法获取的图像示意图;
图10是本发明实施例中实施手势图像的提取方法形成的图像示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的手势图像的提取方法的流程图,本实施例可适用于图像处理情况,具体包括如下步骤:
步骤S110、在一采集图像中对当前的每一个帧图像做分析处理以获取手势图像集,所述手势图像集包含至少两个帧图像;
步骤S120、从第二个帧图像开始,根据当前所述帧图像以及当前所述帧图像的前一个帧图像以获取一有效手势图像的运动目标;
步骤S130、根据所述运动目标形成一判别图像。
本发明的工作原理是:
首先于一采集图像中对当前的每一个帧图像做分析处理以获取手势图像集;其中所述手势图像集包含至少两个帧图像,每一个帧图像中包括特征信息部分(运动目标图像)及非必要特征信息部分。
然后从第二个帧图像开始,根据当前帧图像以及所述当前帧图像的前一个帧图像以获取所述有效手势图像中的运动目标,即若当前帧图像为第二个帧图像时,则当前帧图像的前一个帧图像为第一个帧图像,以第一个帧图像作为参考图像,将第二个帧图像与第一个帧图像做比较,获取第一个帧图像、第二个帧图像中的相同图像信息,并将第一个帧图像、第二个帧图像中相同图像信息去除,依次类推处理第三个帧图像、第四个帧图像……,从而获取的获取所述有效手势图像中的运动目标(运动目标在每一个帧图像中均不一样,而背景部分则在每一帧图像中均相同)。
最后,根据所述运动目标中形成一判别图像。
本发明中,首先对当前的每一个帧图像做分析处理以获取手势图像集;根据当前每一个帧图像以及所述当前每一个帧图像的前一个帧图像以获取所述有效手势图像中的运动目标;旨在去除无效图像、获得运动目标,采用此种方法,一方面降低了图像识别的基础数据量,提高了手势图像的识别效率,另一方面使得所述基础手势图像处于标准状态,提高识别的准确度。
实施例二
每一个帧图像通常是基于RGB颜色空间的彩色图像。RGB颜色空间的彩色图像的频带相对较宽,在RGB颜色空间中,面部或手部的肤色受亮度影响较大大,肤色点很难从非肤色点中分离出来,手势图像的提取准确率较低,另外,图像中的离散的肤色点像素也降低了手势图像的提取效率。因此本发明再提供一种手势图像的提取方法,通过对每一个帧图像做分析处理以提高手势图像的提取准确率及效率。
如图2所示,本发明再提供一种手势图像的提取方法的流程示意图,具体包括,包括:
步骤S1101、于所述采集图像集中获取每一个帧图像;
步骤S1102、对所述每一个帧图像做二值化处理形成每一个帧处理图像;进一步地,在进行二值化处理之前,需要先将基于RGB颜色空间的彩色图像转化为基于YCbCr颜色空间的图像,通常基于RGB颜色空间的彩色图像,其面部、手势的肤色受亮度影响相当大,所以肤色点很难从非肤色点中分离出来,将基于RGB颜色空间的彩色图像转化为基于YCbCr颜色空间的图像,使得肤色点成为离散的点,基于YCbCr颜色空间的图像进行二值化处理,二值化有效滤除非肤色区域部分,例如,以手势图像为例,经过二值化处理后,手臂肢体图像会被转化为一个手臂肢体形态的区域,去除部分背景信息。
步骤S1103、对每一个所述帧处理图像进行检测、过滤处理形成一每一个帧分割图像,过滤处理至少可包括:二值图像膨胀处理、和/或腐蚀处理、和/或面积阈值计算等;具体地,包括,
步骤S11031、设置一肤色点检测阈值;具体地,
当处理图像为基于YCbCr颜色空间的图像时,肤色点检测阈值至少包括蓝色色调阈值Cb、红色色度阈值Cr,其中蓝色色调阈值Cb可为77≤Cb≤127,红色色度阈值Cr可为133≤Cr≤173。
步骤S11032、根据所述肤色点检测阈值对每一个所述帧处理图像进行检测,去除所述处理出现中的非肤色点像素区域;每一帧处理图像中,像素区域匹配上述肤色点检测阈值时,则判定该像素点为肤色像素点,当像素不匹配上述肤色点检测阈值,则判定该像素点为非肤色像素点,如图7所示,经过肤色点检验后,处理图像中仅保留与肤色像素相近区域的图像,去除其他非肤色像素区域。
步骤S11033、设置于面积检测阈值;通常图像中除了手势部位图像外,也可能会存在有其他人体部位的图像满足上述肤色点检测阈值,为了提高图像提取的准确度,进一步增加面积检测阈值。
步骤S11034、计算每一个所述帧处理图像中保留的每个肤色区域面积;
步骤S11035、判断每个肤色区域面积是否匹配所述面积检测阈值;
步骤S11036、滤除肤色区域面积小于所述面积检测阈值所对应的肤色区域以形成每一个帧分割图像。通过面积检测阈值滤出面积较小的肤色区域,因面积较小的肤色区域相对比较离散,且面积较小,无法形成一个有效的、且含有控制信息的图像,进而滤除以提高图像提取的效率。如图8所示,将处理出现中的每个小面积的像素区域去除。
步骤S1104、于每一个所述帧分割图像上生成标记图,并计算每一个所述帧分割图像的跳变像素点的数量;具体包括,
步骤S11041、于每一个所述帧分割图像上生成标记点,所述标记点形成所述标记图;其中肤色区域的像素点对应的标记点可为1,其他区域(包括但不限于背景区域)的像素点对应的标记点可为0。
步骤S11042、根据所述标记点形成与肤色区域对应的肤色区域分割图像,进一步地,第n帧所述分割图像可记为Bn,其中n为正整数。
步骤S11043、根据当前帧所述分割图像和结合上一帧所述分割图像计算形成当前帧分割图像的跳变像素点的数量。具体,以第n帧所述分割图像的跳变像素点的数量计算为例,其计算方式为:
Psn=|Bn-Bn-1|;
其中:Psn为第n帧所述分割图像的跳变像素点的数量;
Bn为第n帧所述分割图像;
Bn-1为第n-1帧所述分割图像;
其中,第n帧所述分割图像与第n-1帧所述分割图像为两个相邻帧的所述分割图像。
步骤S1105、预制一检测阈值,于连续三帧所述分割图像的跳变像素点的数量的方差匹配所述检测阈值的状态,则根据当前的连续三帧所述分割图像中的第二帧所述分割图像形成所述有效手势图像。
步骤S120、从第二个帧图像开始,根据当前所述帧图像以及当前所述帧图像的前一个帧图像以获取一有效手势图像的运动目标;
步骤S130、根据所述运动目标形成一判别图像。
上述技术方案中,将基于RGB颜色空间的彩色图像转化为基于YCbCr颜色空间的图像,使得肤色点成为离散的点,基于YCbCr颜色空间的图像进行二值化处理,二值化有效滤除非肤色区域部分,同时减少了光线等拍摄因素对图像获取的干扰,提高图像提取的准确率,另外继续通过面积检测阈值滤出面积较小的肤色区域,因面积较小的肤色区域相对比较离散,且面积较小,无法形成一个有效的、且含有控制信息的图像,进而滤除以提高图像提取的效率,接着根据检测阈值,于连续三帧所述分割图像的跳变像素点总和的方差匹配所述检测阈值的状态,根据当前的连续三帧所述分割图像中的第二帧所述分割图像形成所述有效手势图像。
实施例三:
帧图像中除了包括运动目标之外,还会包括有其他非特征信息,对非特征信息的数据量相对较大,对非特征信息的提取、识别大大降低了手势图像获取的效率。因此本发明再提供一种手势图像的提取方法。
如图3所示,本发明再提供一种手势图像的提取方法的流程示意图,具体包括,其中,步骤S120、从第二个帧图像开始,根据当前所述帧图像以及当前所述帧图像的前一个帧图像以获取一有效手势图像的运动目标,包括:
步骤S1201、获取手势图像集中的全部帧图像;
步骤S1202、获取与每一个帧图像匹配的每一个帧灰度图像,通过每一个帧灰度图像以滤除每一帧图像的随机噪声,旨在减少以后运算的复杂度,减少噪声对每一帧图像处理结果的干扰。
步骤S1203、从第二个的帧灰度图像开始,根据当前的帧灰度图像结合上一个帧灰度图像计算形成当前帧灰度图像的灰度图像帧差;当帧灰度图像中出现运动目标时,相邻两帧之间会出现较为明显的差别,两帧相减,得到两帧的灰度图像的帧差,通过帧差分析以获得当前帧的灰度图像序列的运动特性,确定当前帧的灰度图像序列中有无运动目标。
具体地,可采用下述计算方法:
Fn=Mn-Mn-1;
Fn:为第n帧所述帧灰度图像帧差;
Mn:为第n帧所述帧灰度图像的图像帧;
Mn-1:为第n-1帧所述帧灰度图像的图像帧;
其中,第n帧所述帧灰度图像与第n-1帧所述帧灰度图像为相邻的两个帧灰度图像。
步骤S1204、如图9所示,叠加全部所述灰度图像帧差形成帧差叠加图,并根据所述帧差叠加图获取所述有效手势图像中的运动目标。叠加方法为:
G:为全部所述灰度图像帧差形成帧差叠加值;
步骤S130、如图10所示,根据所述运动目标形成一判别图像,具体包括:
步骤S1301、获取所述运动目标中连通区域,并计算每一个连通区域的面积;其中,所述运动目标中包括i个联通区域,
步骤S1302、于所述帧差叠加图中计算每一个连通区域的帧差叠加值;
步骤S1303、根据所述帧差叠加值、所述面积计算每一个连通区域的平均帧差值;
VGi=Gi/Si
VGi:为第i个连通区域的平均帧差值;
Gi:为第i个连通区域的帧差叠加值;
Si:为第i个连通区域的面积。
步骤S1304、比较获取最大平均帧差值,以最大平均帧差值对应的连通区域作为所述判别图像。
通过上述技术方案可知,本发明中,采用帧差叠加法获取图像中的运动目标,去除帧图像中的背景信息,减少了手势图像获取的分析数据量,最后以最大平均帧差值对应的连通区域作为所述手势图像。
实施例四
如图4所示,为本发明实施例三提供的一种手势图像的提取系统的结构示意图,本实施例可适用于图像识别,该手势图像的提取系统的具体结构如下:
手势图像集形成单元1,于一采集图像中对当前的每一个帧图像做分析处理以获取手势图像集;所述手势图像集包含至少两个帧图像;
运动目标获取单元2,从第二个帧图像开始,根据当前所述帧图像以及当前所述帧图像的前一个帧图像以获取一有效手势图像中的运动目标;
判别图像形成单元3,于所述运动目标中获取一手势图像以形成一判别图像。
本发明的工作原理是:
通过手势图像集形成单元1于一采集图像集中对当前的每一个帧图像做分析处理以获取手势图像集;其中所述手势图像集包含至少两个帧图像,每一个帧图像中包括特征信息部分(运动目标图像)及非必要特征信息部分。
然后从第二个帧图像开始,运动目标获取单元2根据当前帧图像以及所述当前帧图像的前一个帧图像以获取所述有效手势图像中的运动目标,即若当前帧图像为第二个帧图像时,则当前帧图像的前一个帧图像为第一个帧图像,以第一个帧图像作为参考图像,将第二个帧图像与第一个帧图像做比较,获取第一个帧图像、第二个帧图像中的相同图像信息,并将第一个帧图像、第二个帧图像中相同图像信息去除,依次类推处理第三个帧图像、第四个帧图像……,从而获取的获取所述有效手势图像中的运动目标(运动目标在每一帧图像中均不一样,而背景部分则在每一帧图像中均相同)。最后,判别图像形成单元3根据所述运动目标中形成一判别图像。
通过手势图像集形成单元1于对当前的每一个帧图像做分析处理以获取手势图像集;运动目标获取单元2根据当前帧图像以及所述当前帧图像的前一个帧图像以获取所述有效手势图像中的运动目标;旨在去除无效图像、获得运动目标,采用此种方法,一方面降低了图像识别的基础数据量,提高了手势图像的识别效率,另一方面使得所述基础手势图像处于标准状态,提高识别的准确度。
实施例五
每一个帧图像通常是基于RGB颜色空间的彩色图像。RGB颜色空间的彩色图像的频带相对较宽,在RGB颜色空间中,面部或手部的肤色受亮度影响较大大,肤色点很难从非肤色点中分离出来,手势图像的提取准确率较低,另外,图像中的离散的肤色点像素也降低了手势图像的提取效率。因此本发明再提供一种手势图像的提取方法,通过对每一个帧图像做分析处理以提高手势图像的提取准确率及效率。
如图5所示,一种手势图像的提起系统的结构示意图,于上述的手势图像的提取系统的基础上,其中,所述手势图像集形成单元1,包括:
图像获取装置11,于所述采集图像个中获取每一个帧图像;
二值化处理装置12,对所述每一个帧图像做二值化处理形成每一个帧处理图像;进一步地,在进行二值化处理之前,需要先将基于RGB颜色空间的彩色图像转化为基于YCbCr颜色空间的图像,通常基于RGB颜色空间的彩色图像,其面部、手势的肤色受亮度影响相当大,所以肤色点很难从非肤色点中分离出来,将基于RGB颜色空间的彩色图像转化为基于YCbCr颜色空间的图像,使得肤色点成为离散的点,基于YCbCr颜色空间的图像进行二值化处理,二值化有效滤除非肤色区域部分。例如,经过二值化处理后,肢体图像会被转化为一个肢体形态的区域。
分割装置13,对每一个所述帧处理图像进行检测、过滤处理形成每一个帧分割图像,过滤处理至少可包括:二值图像膨胀处理、和/或腐蚀处理、和/或面积阈值计算等;具体地,当处理图像为基于YCbCr颜色空间的图像时,分割装置13预制有肤色点检测阈值,肤色点检测阈值至少包括蓝色色调阈值Cb、红色色度阈值Cr,其中蓝色色调阈值Cb可为77≤Cb≤127,红色色度阈值Cr可为133≤Cr≤173。
标记装置14,于每一个所述帧分割图像上生成标记图,并计算每一个所述帧分割图像的跳变像素点总和;
检测装置15,预制一检测阈值,在连续三帧所述分割图像的跳变像素点的数量的方差匹配所述检测阈值的状态,则根据当前的连续三帧所述分割图像中的第二帧所述分割图像形成所述有效手势图像。
作为进一步优选实施方案,上述的手势图像的提取系统,所述分割装置13,设置一肤色点检测阈值;包括:
肤色检测器131,根据所述肤色点检测阈值对每一个所述帧处理图像进行检测,去除所述处理出现中的非肤色点像素区域;旨在去除所述处理出现中的非肤色点像素区域;每一帧处理图像中,像素匹配上述肤色点检测阈值时,则判定该像素点为肤色像素点,当像素不匹配上述肤色点检测阈值,则判定该像素点为非肤色像素点。
面积检测器132,设置于面积检测阈值;计算每一个所述帧处理图像中保留的每个肤色区域面积;通常图像中除了手势部位图像外,也可能会存在有其他人体部位的图像满足上述肤色点检测阈值,为了提高图像提取的准确度,进一步增加面积检测阈值。
判断器133,判断每个肤色区域面积是否匹配所述面积检测阈值;
滤除器134,滤除面积小于所述面积检测阈值的肤色区域以形成每一个帧分割图像。通过面积检测阈值滤出面积较小的肤色区域,因面积较小的肤色区域相对比较离散,且面积较小,无法形成一个有效的、且含有控制信息的图像,进而滤除以提高图像提取的效率。
作为进一步优选实施方案,上述的手势图像的提取系统,其中,所述标记装置14,包括:
标记器141,于每一个所述帧分割图像上生成标记点,所述标记点形成所述标记图;其中肤色区域的像素点对应的标记点可为1,其他区域(包括但不限于背景区域)的像素点对应的标记点可为0。
分割图像形成器142,根据所述标记点形成与肤色区域对应的肤色区域分割图像,进一步地,第n帧所述分割图像为Bn,其中n为正整数。
标记计算器143,根据当前帧所述分割图像和结合上一帧所述分割图像计算形成当前帧分割图像的跳变像素点的数量。具体,以第n帧所述分割图像的跳变像素点的数量计算为例,其计算方式为:
Psn=|Bn-Bn-1|;
其中:Psn为第n帧所述分割图像的跳变像素点的数量;
Bn为第n帧所述分割图像;
Bn-1为第n-1帧所述分割图像;
其中,第n帧所述分割图像与第n-1帧所述分割图像为两个相邻帧的所述分割图像。
上述技术方案中,将基于RGB颜色空间的彩色图像转化为基于YCbCr颜色空间的图像,使得肤色点成为离散的点,基于YCbCr颜色空间的图像进行二值化处理,二值化有效滤除非肤色区域部分,同时减少了光线等拍摄因素对图像获取的干扰,提高图像提取的准确率,另外继续通过面积检测阈值滤出面积较小的肤色区域,因面积较小的肤色区域相对比较离散,且面积较小,无法形成一个有效的、且含有控制信息的图像,进而滤除以提高图像提取的效率,接着根据检测阈值,于连续三帧所述分割图像的跳变像素点总和的方差匹配所述检测阈值的状态,获取有效手势图像。
实施例六
帧图像中除了包括运动目标之外,还会包括有其他非特征信息,对非特征信息的数据量相对较大,对非特征信息的提取、识别大大降低了手势图像获取的效率。因此本发明再提供一种手势图像的提取系统。
如图5所示,一种手势图像的提起系统的结构示意图,于上述的手势图像的提取系统的技术方案上,其中,所述运动目标获取单元2,包括:
帧图像获取器21,获取手势图像集中的全部帧图像;
灰度处理器22,获取与每一个帧图像匹配的每一个帧灰度图像,灰度处理器22滤除了每一个帧图像的随机噪声,旨在减少以后运算的复杂度,克服噪声对每一帧图像处理结果的干扰。
帧差计算器23,从第二个的帧灰度图像开始,根据当前的帧灰度图像结合上一个帧灰度图像计算形成当前帧灰度图像的灰度图像帧差;当前的帧灰度图像中出现运动目标时,相邻两帧之间会出现较为明显的差别,两帧相减,得到两帧的灰度图像的帧差,通过帧差分析当前帧的灰度图像序列的运动特性,确定当前帧的灰度图像序列中运动目标。
具体地,可采用下述计算方法:
Fn=Mn-Mn-1;
Fn:为第n帧所述的帧灰度图像帧差;
Mn:为第n帧所述的帧灰度图像的图像帧;
Mn-1:为第n-1帧所述的帧灰度图像的图像帧;
其中,第n帧所述的帧灰度图像与第n-1帧的所述帧灰度图像为相邻的两个帧灰度图像。
帧差叠加器24,叠加全部所述灰度图像帧差形成帧差叠加图,并根据所述帧差叠加图获取所述有效手势图像中的运动目标。叠加方法为:
G:为全部所述灰度图像帧差形成帧差叠加值;
作为进一步优选实施方案,上述的手势图像的提取系统,其中,所述判别图像形成单元3像,包括:
连通区域面积计算器31,获取所述运动目标中连通区域,并计算每一个连通区域的面积;
连通区域差叠加器3224,于所述帧差叠加图中计算每一个连通区域的帧差叠加值;
平均帧差计算器3323,根据所述帧差叠加值、所述面积计算每一个连通区域的平均帧差值;VGi=Gi/Si
VGi:为第i个连通区域的平均帧差值;
Gi:为第i个连通区域的帧差叠加值;
Si:为第i个连通区域的面积。
比较器34,比较获取最大平均帧差值,以最大平均帧差值对应的连通区域作为所述判别图像。
上述产品可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。
虽然本发明的各个方面在独立权利要求中给出,但是本发明的其它方面包括来自所描述实施方式的特征和/或具有独立权利要求的特征的从属权利要求的组合,而并非仅是权利要求中所明确给出的组合。
这里所要注意的是,虽然以上描述了本发明的示例实施方式,但是这些描述并不应当以限制的含义进行理解。相反,可以进行若干种变化和修改而并不背离如所附权利要求中所限定的本发明的范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种手势图像的提取方法,其特征在于,包括:
在一采集图像中对当前的每一个帧图像做分析处理以获取手势图像集,所述手势图像集包含至少两个帧图像;
从第二个帧图像开始,根据当前所述帧图像以及当前所述帧图像的前一个帧图像以获取一有效手势图像的运动目标;
根据所述运动目标形成一判别图像。
2.根据权利要求1所述的手势图像的提取方法,其特征在于,在所述采集图像中对当前的每一个帧图像做分析处理以获取手势图像集;所述手势图像集包含至少两个帧图像,包括:
在所述采集图像集中获取每一个帧图像;
对所述每一个帧图像做二值化处理形成每一个帧处理图像;
对每一个所述帧处理图像进行检测及过滤处理形成每一个帧分割图像;
在每一个所述帧分割图像上生成标记图,并计算每一个所述帧分割图像的跳变像素点的数量;
预制一检测阈值,在连续三帧所述分割图像的跳变像素点的数量的方差匹配所述检测阈值的状态,则根据当前的连续三帧所述分割图像中的第二帧所述分割图像形成所述有效手势图像。
3.根据权利要求2所述的手势图像的提取方法,其特征在于,对每一个所述帧处理图像进行检测及过滤处理形成所述每一个帧分割图像,包括:
设置一肤色点检测阈值;
根据所述肤色点检测阈值对每一个所述帧处理图像进行检测,去除所述处理出现中的非肤色点像素区域;
设置于面积检测阈值;
计算每一个所述帧处理图像中的每个肤色区域面积;
判断每个肤色区域面积是否匹配所述面积检测阈值;
滤除肤色区域面积小于所述面积检测阈值所对应的肤色区域以形成每一个帧分割图像。
4.根据权利要求3所述的手势图像的提取方法,其特征在于,在每一个所述帧分割图像上生成标记图,并计算每一个所述帧分割图像的跳变像素点的数量,包括:
在每一个所述帧分割图像上生成标记点,所述标记点形成所述标记图;
根据所述标记点形成与肤色区域对应的肤色区域分割图像;
根据当前帧所述分割图像和结合上一帧所述分割图像计算形成当前帧分割图像的跳变像素点的数量。
5.根据权利要求1所述的手势图像的提取方法,其特征在于,根据当前帧图像以及所述当前帧图像的前一个帧图像以获取所述有效手势图像中的运动目标,包括:
获取手势图像集中的全部帧图像;
获取与每一个帧图像匹配的每一个帧灰度图像,
从第二个的帧灰度图像开始,根据当前的帧灰度图像结合上一个帧灰度图像计算形成当前帧灰度图像的灰度图像帧差;
叠加全部所述灰度图像帧差形成帧差叠加图,并根据所述帧差叠加图获取所述有效手势图像中的运动目标。
6.根据权利要求5所述的手势图像的提取方法,其特征在于,根据所述运动目标形成一判别图像,包括:
获取所述运动目标中连通区域,并计算每一个连通区域的连通面积;
于所述帧差叠加图中获取每一个连通区域的帧差叠加值;
根据所述帧差叠加值和所述连通面积计算每一个连通区域的平均帧差值;
比较获取最大平均帧差值,以最大平均帧差值对应的连通区域作为所述判别图像。
7.一种手势图像的提取系统,其特征在于,包括:
手势图像集形成单元,在一采集图像中对当前的每一个帧图像做分析处理以获取手势图像集;所述手势图像集包含至少两个帧图像;
运动目标获取单元,从第二个帧图像开始,根据当前所述帧图像以及当前所述帧图像的前一个帧图像以获取一有效手势图像中的运动目标;
判别图像形成单元,根据所述运动目标中形成判别图像。
8.根据权利要求7所述的手势图像的提取系统,其特征在于,所述手势图像集形成单元,包括:
图像获取装置,于所述采集图像集中获取每一个帧图像;
二值化处理装置,对所述每一个帧图像做二值化处理形成每一个帧处理图像;
分割装置,对每一个所述帧处理图像进行检测及过滤处理形成一每一个帧分割图像;
标记装置,于每一个所述帧分割图像上生成标记图,并计算每一个所述帧分割图像的跳变像素点的数量;
检测装置,预制一检测阈值,在连续三帧所述分割图像的跳变像素点的数量的方差匹配所述检测阈值的状态,则根据当前的连续三帧所述分割图像中的第二帧所述分割图像形成所述有效手势图像。
9.根据权利要求8所述的手势图像的提取系统,其特征在于,所述分割装置预制一肤色点检测阈值;包括:
肤色检测器,根据所述肤色点检测阈值对每一个所述帧处理图像进行检测,去除所述处理出现中的非肤色点像素区域;
面积检测器,设置于面积检测阈值;计算每一个所述帧处理图像中保留的每个肤色区域的连通面积;
判断器,判断每个肤色区域的连通面积是否匹配所述面积检测阈值;
滤除器,滤除肤色区域面积小于所述面积检测阈值所对应的肤色区域以形成每一个帧分割图像。
10.根据权利要求3所述的手势图像的提取系统,其特征在于,所述标记装置包括:
标记器,于每一个所述帧分割图像上生成标记点,所述标记点形成所述标记图;
分割图像形成器,根据所述标记点形成与肤色区域对应的肤色区域分割图像;
标记计算器,从第二帧所述分割图开始,根据当前帧所述分割图像和结合上一帧所述分割图像计算形成当前帧分割图像的跳变像素点的数量。
11.根据权利要求7所述的手势图像的提取系统,其特征在于,所述运动目标获取单元包括:
帧图像获取器,获取手势图像集中的全部帧图像;
灰度处理器,获取与每一个帧图像匹配的每一个帧灰度图像,
帧差计算器,从第二个的帧灰度图像开始,根据当前的帧灰度图像结合上一个帧灰度图像计算形成当前帧灰度图像的灰度图像帧差;
帧差叠加器,叠加全部所述灰度图像帧差形成帧差叠加图,并根据所述帧差叠加图获取所述有效手势图像中的所述运动目标。
12.根据权利要求11所述的手势图像的提取系统,其特征在于,所述判别图像形成单元像包括:
连通区域面积计算器,获取所述运动目标中连通区域,并计算每一个连通区域的连通面积;
连通区域帧差叠加器,于所述帧差叠加图中计算每一个连通区域的帧差叠加值;
平均帧差计算器,根据所述帧差叠加值及所述面积计算每一个连通区域的平均帧差值;
比较器,比较获取最大平均帧差值,以最大平均帧差值对应的连通区域作为所述判别图像。
CN201610919557.4A 2016-10-21 2016-10-21 一种手势图像的提取方法及系统 Expired - Fee Related CN106503651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610919557.4A CN106503651B (zh) 2016-10-21 2016-10-21 一种手势图像的提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610919557.4A CN106503651B (zh) 2016-10-21 2016-10-21 一种手势图像的提取方法及系统

Publications (2)

Publication Number Publication Date
CN106503651A true CN106503651A (zh) 2017-03-15
CN106503651B CN106503651B (zh) 2019-09-24

Family

ID=58318311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610919557.4A Expired - Fee Related CN106503651B (zh) 2016-10-21 2016-10-21 一种手势图像的提取方法及系统

Country Status (1)

Country Link
CN (1) CN106503651B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108614995A (zh) * 2018-03-27 2018-10-02 深圳市智能机器人研究院 用于yolo网络的手势数据集采集方法、手势识别方法和装置
CN109190496A (zh) * 2018-08-09 2019-01-11 华南理工大学 一种基于多特征融合的单目静态手势识别方法
CN111079613A (zh) * 2019-12-09 2020-04-28 北京明略软件系统有限公司 姿势识别方法和装置、电子设备及存储介质
CN113221892A (zh) * 2021-05-12 2021-08-06 佛山育脉科技有限公司 手掌图像确定方法、装置及计算机可读存储介质
CN114009058A (zh) * 2019-04-26 2022-02-01 李铁佑 多反应型图像制作方法、多反应型图像元数据生成方法、用于理解人类行为的交互数据分析方法以及利用该方法的程序
CN115311445A (zh) * 2022-10-12 2022-11-08 南通红运金属科技有限公司 一种用于冶金工艺的渣盒智能检测方法
CN116627260A (zh) * 2023-07-24 2023-08-22 成都赛力斯科技有限公司 一种隔空操作方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218601A (zh) * 2013-04-03 2013-07-24 华为技术有限公司 检测手势的方法及装置
CN104050488A (zh) * 2014-06-16 2014-09-17 西安工业大学 一种基于切换的卡尔曼滤波模型的手势识别方法
CN104182772A (zh) * 2014-08-19 2014-12-03 大连理工大学 一种基于深度学习的手势识别方法
CN104679242A (zh) * 2015-02-05 2015-06-03 吉林纪元时空动漫游戏科技股份有限公司 基于单目视觉复杂背景下的手势分割方法
CN104778460A (zh) * 2015-04-23 2015-07-15 福州大学 一种在复杂背景以及光照下的单目手势识别方法
CN104123007B (zh) * 2014-07-29 2017-01-11 电子科技大学 一种多维加权的3d动态手势识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218601A (zh) * 2013-04-03 2013-07-24 华为技术有限公司 检测手势的方法及装置
CN104050488A (zh) * 2014-06-16 2014-09-17 西安工业大学 一种基于切换的卡尔曼滤波模型的手势识别方法
CN104123007B (zh) * 2014-07-29 2017-01-11 电子科技大学 一种多维加权的3d动态手势识别方法
CN104182772A (zh) * 2014-08-19 2014-12-03 大连理工大学 一种基于深度学习的手势识别方法
CN104679242A (zh) * 2015-02-05 2015-06-03 吉林纪元时空动漫游戏科技股份有限公司 基于单目视觉复杂背景下的手势分割方法
CN104778460A (zh) * 2015-04-23 2015-07-15 福州大学 一种在复杂背景以及光照下的单目手势识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TAN WENJUN 等: "Dynamic Hand Gesture Recognition Using Motion Trajectories and Key Frames", 《2010 2ND INTERNATIONAL CONFERENCE ON ADVANCED COMPUTER CONTROL》 *
李瑞峰 等: "一种复杂背景下的手势提取方法", 《华中科技大学学报(自然科学版)》 *
袁敏 等: "结合三帧差分和肤色椭圆模型的动态手势分割", 《光电工程》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108614995A (zh) * 2018-03-27 2018-10-02 深圳市智能机器人研究院 用于yolo网络的手势数据集采集方法、手势识别方法和装置
CN109190496A (zh) * 2018-08-09 2019-01-11 华南理工大学 一种基于多特征融合的单目静态手势识别方法
CN114009058A (zh) * 2019-04-26 2022-02-01 李铁佑 多反应型图像制作方法、多反应型图像元数据生成方法、用于理解人类行为的交互数据分析方法以及利用该方法的程序
CN111079613A (zh) * 2019-12-09 2020-04-28 北京明略软件系统有限公司 姿势识别方法和装置、电子设备及存储介质
CN111079613B (zh) * 2019-12-09 2023-11-03 北京明略软件系统有限公司 姿势识别方法和装置、电子设备及存储介质
CN113221892A (zh) * 2021-05-12 2021-08-06 佛山育脉科技有限公司 手掌图像确定方法、装置及计算机可读存储介质
CN115311445A (zh) * 2022-10-12 2022-11-08 南通红运金属科技有限公司 一种用于冶金工艺的渣盒智能检测方法
CN116627260A (zh) * 2023-07-24 2023-08-22 成都赛力斯科技有限公司 一种隔空操作方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN106503651B (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN106503651B (zh) 一种手势图像的提取方法及系统
EP2601615B1 (en) Gesture recognition system for tv control
CN106600625A (zh) 检测小型生物的图像处理方法及装置
CN107885327B (zh) 一种基于Kinect深度信息的指尖检测方法
CN103353935A (zh) 一种用于智能家居系统的3d动态手势识别方法
CN103218605B (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN104123549B (zh) 一种用于疲劳驾驶实时监测的眼睛定位方法
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN106326860A (zh) 基于视觉的手势识别方法
CN109350030B (zh) 基于相位放大处理人脸视频心率信号的系统及方法
CN102880865A (zh) 基于肤色与形态特征的动态手势识别方法
CN105929947B (zh) 一种基于场景态势感知的人机交互方法
CN112114675B (zh) 基于手势控制的非接触电梯键盘的使用方法
CN105701806A (zh) 基于深度图像的帕金森震颤运动特征检测方法及系统
Kalsh et al. Sign language recognition system
CN107463873B (zh) 一种基于rgbd深度传感器的实时手势分析与评价方法与系统
CN108710879B (zh) 一种基于网格聚类算法的行人候选区域生成方法
CN106447695A (zh) 一种多物体追踪中判断同一物体的方法和装置
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN110334631B (zh) 一种基于人脸检测与二值运算的坐姿检测方法
CN109028223A (zh) 具手势控制视觉检测功能的油烟机及油烟浓度检测方法
CN109028230A (zh) 具手势控制视觉检测功能的炉具及油烟浓度检测方法
CN106056078A (zh) 一种基于多特征回归式集成学习的人群密度估计方法
CN105261038A (zh) 基于双向光流和感知哈希的指尖跟踪方法
CN110472567A (zh) 一种适用于非配合场景下的人脸识别方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190924

Termination date: 20201021