CN104778460A - 一种在复杂背景以及光照下的单目手势识别方法 - Google Patents

一种在复杂背景以及光照下的单目手势识别方法 Download PDF

Info

Publication number
CN104778460A
CN104778460A CN201510193655.XA CN201510193655A CN104778460A CN 104778460 A CN104778460 A CN 104778460A CN 201510193655 A CN201510193655 A CN 201510193655A CN 104778460 A CN104778460 A CN 104778460A
Authority
CN
China
Prior art keywords
hand
model
complex background
image
gesture recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510193655.XA
Other languages
English (en)
Other versions
CN104778460B (zh
Inventor
林志贤
郭太良
林金堂
姚剑敏
胡海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201510193655.XA priority Critical patent/CN104778460B/zh
Publication of CN104778460A publication Critical patent/CN104778460A/zh
Application granted granted Critical
Publication of CN104778460B publication Critical patent/CN104778460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种在复杂背景以及光照下的单目手势识别方法，首先对获取的图像进行肤色识别，得到初步手部图像；接着使用帧间差分法对处理后的初步手部图像进行运动物体检测，得到较为完整的手部轮廓图像；然后对步骤S2得到的较为完整的手部轮廓图像建立轮廓凸包模型，并判断手势，进而完成复杂背景下进行手部识别得到手部模型；最后对步骤S3提取出的手部模型计算重心，获得运动轨迹，完成复杂背景下进行动态手势识别。本发明能够减少光照影响，提高手势判读识别率，能够在复杂背景下进行手势识别。

Description

一种在复杂背景以及光照下的单目手势识别方法
技术领域
本发明涉及手势识别领域，特别是一种在复杂背景以及光照下的单目手势识别方法。
背景技术
    显示器等视频设备由于用户都是远距离观看，因此大都使用遥控器或者鼠标键盘操作，随着产品的智能化越来越高，使用遥控器的操作方式已经不能满足用户的需求。手势控制作为一种新型的控制方式，逐渐被应用于控制显示器等产品上。
    目前较为典型的手势识别技术是利用摄像头拍摄图像，通过对图像进行肤色识别，识别出用户的手部，然后根据手部的形态和位移确定用户的手势。手势识别技术实现了手部信息的捕捉以及手部信息到命令的转换，但现有的手势识别方法存在一些缺陷，由于肤色识别主要是对拍摄到的图像的色彩进行识别，而色彩本身受到外界光线的影响较大，而显示器本身又是发光的，这些光线照射到用户身上会使用户肤色发生变化，这种影响在夜晚表现的尤为明显。在这种情况下，肤色识别的准确度会降低，从而使得手势识别的准确。
发明内容
有鉴于此，本发明的目的是提出一种在复杂背景以及光照下的单目手势识别方法，能够减少光照影响，提高手势判读识别率，能够在复杂背景下进行手势识别。
本发明采用以下方案实现：一种在复杂背景以及光照下的单目手势识别方法，包括以下步骤：
步骤S1：对获取的图像进行肤色识别，判断肤色区域；
步骤S2：使用帧间差分法对步骤S1得到的肤色区域进行运动物体检测，得到较为完整的手部轮廓图像；
步骤S3：对步骤S2得到的较为完整的手部轮廓图像建立轮廓凸包模型，并判断手势，进而完成复杂背景下进行手部识别得到手部模型；
步骤S4：对步骤S3提取出的手部模型计算重心，获得运动轨迹，完成复杂背景下进行动态手势识别。
进一步的，所述的步骤S1具体包括以下步骤：
步骤S11：用摄像头获取待判别图像；
步骤S12：将步骤S11中的待判别图形进行色域转换，转换为YUV模型；
步骤S13：使用皮肤YUV模型判断肤色区域，其中所述皮肤YUV模型中的亮度分量Y的取值往高亮度区域增大一特定范围。
进一步的，所述步骤S3具体包括以下步骤：
步骤S31：将步骤S2中得到的所有手部轮廓图像提取出来；
步骤S32：将步骤S31提取的所有手部轮廓图像中不相交的手部轮廓图像放入预先建好的图像链表中；
步骤S33：对链表中的所有手部轮廓图像做凸包模型；
步骤S34：计算步骤S33中的每个凸包模型中凸包到轮廓的距离，并进行归一化处理；
步骤S35：以角度为X坐标，步骤S34中归一化处理后的距离信息为Y坐标，建立坐标轴；
步骤S36：将Y坐标小于0.5的值至零；
步骤S37：将经过上述步骤处理的数据进行进行傅里叶变换，得到的结果与预先存储的手部频域模型进行比较，选取相似度大于0.8的作为手部图像。
进一步的，步骤S37中所述的预先存储的手部频域模型为若干个不同手部动作的傅里叶变换模型。
与现有技术相比，本发明改进肤色识别，并且在肤色识别基础上使用帧间差分法，使用轮廓凸包模型判断手势，能够减少光照影响，并且在复杂背景下进行手势识别，提高手势判读识别率。
附图说明
图1为本发明算法流程图；
图2为本发明的凸包模型示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本实施例提供了一种在复杂背景以及光照下的单目手势识别方法，包括以下步骤：
步骤S1：对获取的图像进行肤色识别，判断肤色区域；
步骤S2：使用帧间差分法对步骤S1得到的肤色区域进行运动物体检测，得到较为完整的手部轮廓图像；
步骤S3：对步骤S2得到的较为完整的手部轮廓图像建立轮廓凸包模型，并判断手势，进而完成复杂背景下进行手部识别得到手部模型；
步骤S4：对步骤S3提取出的手部模型计算重心，获得运动轨迹，完成复杂背景下进行动态手势识别。
在本实施例中，所述的步骤S1具体包括以下步骤：
步骤S11：用摄像头获取待判别图像；
步骤S12：将步骤S11中的待判别图形进行色域转换，转换为YUV模型；
步骤S13：使用皮肤YUV模型判断肤色区域，其中所述皮肤YUV模型中的亮度分量Y的取值往高亮度区域增大一特定范围；
特别的，在本实施中，所述步骤S2中采用了帧间差分法，帧间差分法为运动物体检测常用方法，但本发明是在使用肤色识别后再进行帧间查分，能够较为完整的提取出手部边界，并且去除大量干扰。
在本实施例中，所述步骤S3具体包括以下步骤：
步骤S31：将步骤S2中得到的所有手部轮廓图像提取出来；
步骤S32：将步骤S31提取的所有手部轮廓图像中不相交的手部轮廓图像放入预先建好的图像链表中；
步骤S33：对链表中的所有手部轮廓图像做凸包模型，其中凸包模型示意图如图2所示；
步骤S34：计算步骤S33中的每个凸包模型中凸包到轮廓的距离，并进行归一化处理；
步骤S35：以角度为X坐标，步骤S34中归一化处理后的距离信息为Y坐标，建立坐标轴；
步骤S36：将Y坐标小于0.5的值至零；
步骤S37：将经过上述步骤处理的数据进行进行傅里叶变换，得到的结果与预先存储的手部频域模型进行比较，选取相似度大于0.8的作为手部图像。
在本实施例中，步骤S37中所述的预先存储的手部频域模型为若干个不同手部动作的傅里叶变换模型。
综上所述，本发明改进肤色识别，并且在肤色识别基础上使用帧间差分法，使用轮廓凸包模型判断手势，能够减少光照影响，并且在复杂背景下进行手势识别，提高手势判读识别率。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种在复杂背景以及光照下的单目手势识别方法，其特征在于包括以下步骤：
步骤S1：对获取的图像进行肤色识别，判断肤色区域；
步骤S2：使用帧间差分法对步骤S1得到的肤色区域进行运动物体检测，得到较为完整的手部轮廓图像；
步骤S3：对步骤S2得到的较为完整的手部轮廓图像建立轮廓凸包模型，并判断手势，进而完成复杂背景下进行手部识别得到手部模型；
步骤S4：对步骤S3提取出的手部模型计算重心，获得运动轨迹，完成复杂背景下进行动态手势识别。
2.根据权利要求1所述的一种在复杂背景以及光照下的单目手势识别方法，其特征在于：所述的步骤S1具体包括以下步骤：
步骤S11：用摄像头获取待判别图像；
步骤S12：将步骤S11中的待判别图形进行色域转换，转换为YUV模型；
步骤S13：使用皮肤YUV模型判断肤色区域，其中所述皮肤YUV模型中的亮度分量Y的取值往高亮度区域增大一特定范围。
3.根据权利要求1所述的一种在复杂背景以及光照下的单目手势识别方法，其特征在于：所述步骤S3具体包括以下步骤：
步骤S31：将步骤S2中得到的所有手部轮廓图像提取出来；
步骤S32：将步骤S31提取的所有手部轮廓图像中不相交的手部轮廓图像放入预先建好的图像链表中；
步骤S33：对链表中的所有手部轮廓图像做凸包模型；
步骤S34：计算步骤S33中的每个凸包模型中凸包到轮廓的距离，并进行归一化处理；
步骤S35：以角度为X坐标，步骤S34中归一化处理后的距离信息为Y坐标，建立坐标轴；
步骤S36：将Y坐标小于0.5的值至零；
步骤S37：将经过上述步骤处理的数据进行进行傅里叶变换，得到的结果与预先存储的手部频域模型进行比较，选取相似度大于0.8的作为手部图像。
4.根据权利要求3所述的一种在复杂背景以及光照下的单目手势识别方法，其特征在于：步骤S37中所述的预先存储的手部频域模型为若干个不同手部动作的傅里叶变换模型。
CN201510193655.XA 2015-04-23 2015-04-23 一种在复杂背景以及光照下的单目手势识别方法 Active CN104778460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510193655.XA CN104778460B (zh) 2015-04-23 2015-04-23 一种在复杂背景以及光照下的单目手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510193655.XA CN104778460B (zh) 2015-04-23 2015-04-23 一种在复杂背景以及光照下的单目手势识别方法

Publications (2)

Publication Number Publication Date
CN104778460A true CN104778460A (zh) 2015-07-15
CN104778460B CN104778460B (zh) 2018-05-04

Family

ID=53619913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510193655.XA Active CN104778460B (zh) 2015-04-23 2015-04-23 一种在复杂背景以及光照下的单目手势识别方法

Country Status (1)

Country Link
CN (1) CN104778460B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503651A (zh) * 2016-10-21 2017-03-15 上海未来伙伴机器人有限公司 一种手势图像的提取方法及系统
CN106909872A (zh) * 2015-12-22 2017-06-30 江苏达科智能科技有限公司 人手轮廓识别方法
CN106971131A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种基于中心位置的手势识别方法
CN106971135A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种滑动手势识别方法
CN106971130A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种以人脸为参照的手势识别方法
CN106971132A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种扫描手势并识别的方法
CN109271931A (zh) * 2018-09-14 2019-01-25 辽宁奇辉电子系统工程有限公司 一种基于轮廓分析的剑指手势实时识别系统
CN111158457A (zh) * 2019-12-31 2020-05-15 苏州莱孚斯特电子科技有限公司 一种基于手势识别的车载hud人机交互系统
CN112019892A (zh) * 2020-07-23 2020-12-01 深圳市玩瞳科技有限公司 客户端服务端分离的行为识别方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938060A (zh) * 2012-12-07 2013-02-20 上海电机学院 动态手势识别系统及方法
CN103383731A (zh) * 2013-07-08 2013-11-06 深圳先进技术研究院 一种基于指尖定位的投影交互方法、系统及计算设备
CN103677274A (zh) * 2013-12-24 2014-03-26 广东威创视讯科技股份有限公司 一种基于主动视觉的互动投影方法及系统
CN103984928A (zh) * 2014-05-20 2014-08-13 桂林电子科技大学 基于景深图像的手指手势识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938060A (zh) * 2012-12-07 2013-02-20 上海电机学院 动态手势识别系统及方法
CN103383731A (zh) * 2013-07-08 2013-11-06 深圳先进技术研究院 一种基于指尖定位的投影交互方法、系统及计算设备
CN103677274A (zh) * 2013-12-24 2014-03-26 广东威创视讯科技股份有限公司 一种基于主动视觉的互动投影方法及系统
CN103984928A (zh) * 2014-05-20 2014-08-13 桂林电子科技大学 基于景深图像的手指手势识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周丽娜: ""基于视觉的手势识别系统研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909872A (zh) * 2015-12-22 2017-06-30 江苏达科智能科技有限公司 人手轮廓识别方法
CN106971131A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种基于中心位置的手势识别方法
CN106971135A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种滑动手势识别方法
CN106971130A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种以人脸为参照的手势识别方法
CN106971132A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种扫描手势并识别的方法
CN106503651A (zh) * 2016-10-21 2017-03-15 上海未来伙伴机器人有限公司 一种手势图像的提取方法及系统
CN106503651B (zh) * 2016-10-21 2019-09-24 上海未来伙伴机器人有限公司 一种手势图像的提取方法及系统
CN109271931A (zh) * 2018-09-14 2019-01-25 辽宁奇辉电子系统工程有限公司 一种基于轮廓分析的剑指手势实时识别系统
CN111158457A (zh) * 2019-12-31 2020-05-15 苏州莱孚斯特电子科技有限公司 一种基于手势识别的车载hud人机交互系统
CN112019892A (zh) * 2020-07-23 2020-12-01 深圳市玩瞳科技有限公司 客户端服务端分离的行为识别方法、装置及系统

Also Published As

Publication number Publication date
CN104778460B (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN104778460A (zh) 一种在复杂背景以及光照下的单目手势识别方法
CN105320248B (zh) 空中手势输入方法及装置
CN102214291B (zh) 一种快速准确的基于视频序列的人脸检测跟踪方法
US20210334998A1 (en) Image processing method, apparatus, device and medium for locating center of target object region
KR100954835B1 (ko) 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
CN104392210A (zh) 一种手势识别方法
CN104504856A (zh) 基于Kinect及人脸识别的疲劳驾驶检测方法
CN105138990A (zh) 一种基于单目摄像头的手势凸包检测与掌心定位方法
CN109961016B (zh) 面向智能家居场景的多手势精准分割方法
WenJuan et al. A real-time lip localization and tacking for lip reading
CN109410138B (zh) 修饰双下巴的方法、装置和系统
CN102592113A (zh) 一种基于表观特征的静态手势快速识别法
CN105426816A (zh) 一种处理人脸图像的方法及装置
CN110287894A (zh) 一种针对超广角视频的手势识别方法及系统
CN105261038A (zh) 基于双向光流和感知哈希的指尖跟踪方法
CN104573673A (zh) 一种人脸图像年龄的识别方法
CN107241643A (zh) 一种多媒体音量调节方法及系统
Junxia et al. Hand detection based on depth information and color information of the Kinect
Ma et al. A face detection algorithm based on modified skin-color model
CN106909872A (zh) 人手轮廓识别方法
JP3578321B2 (ja) 画像正規化装置
Liao et al. Static hand gesture segmentation: Comparison and selection of existing methods
CN106020433A (zh) 一种3d车载终端人机交互系统及交互方法
Abdallah et al. Different techniques of hand segmentation in the real time
Ham et al. Unsupervised hand detection in class room using combination of skin detection and Hough transform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant