CN102789568B - 一种基于深度信息的手势识别方法 - Google Patents

一种基于深度信息的手势识别方法 Download PDF

Info

Publication number
CN102789568B
CN102789568B CN201210242290.1A CN201210242290A CN102789568B CN 102789568 B CN102789568 B CN 102789568B CN 201210242290 A CN201210242290 A CN 201210242290A CN 102789568 B CN102789568 B CN 102789568B
Authority
CN
China
Prior art keywords
hand
region
gesture
human
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210242290.1A
Other languages
English (en)
Other versions
CN102789568A (zh
Inventor
尚凌辉
张兆生
贺磊盈
余天明
高勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU DELAN TECHNOLOGY CO., LTD.
Original Assignee
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd filed Critical ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority to CN201210242290.1A priority Critical patent/CN102789568B/zh
Publication of CN102789568A publication Critical patent/CN102789568A/zh
Application granted granted Critical
Publication of CN102789568B publication Critical patent/CN102789568B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于深度信息的手势识别方法。现有方法在实际应用环境和用户体验上均存在着一定的问题。本发明首先获取实时的深度图像,背景建模后获得背景图像,利用背景图像和当前图像作差分,检测出前景区域。其次对建立的背景图像进行更新,并以提取出独立的人体区域。然后在每个独立的人体区域上检测出手部区域、轮廓信息;获取手部跟踪的运动轨迹。最后利用隐马尔科夫模型对运动轨迹进行建模,识别出手势。本发明能够适应肤色变化的干扰,在室内环境下不受距离、光照、遮挡、运动等因素的影响,算法计算量小,实时性高。

Description

一种基于深度信息的手势识别方法
技术领域
本发明属于人机交互技术领域,涉及一种基于深度信息的手势识别方法。
背景技术
近年来手势识别技术取得了快速的发展。基于单摄像机的手势识别、基于双摄像机的手势识、微软的kinect手势识别已相继出现在家电控制、游戏控制等应用领域,然而在实际应用环境和用户体验上均存在着一定的问题,主要表现在:
单摄像机下存在的多人体或手势出现遮挡时,手部无法准确定位,导致识别率较低;如专利《基于视觉的静态手势识别方法》、《互动系统中的动态手势识别方法》等;
单摄像机与双摄像机下的方法主要以人体的肤色、大小和运动等信息作为主要特征,使用时操作距离、手部颜色等受到限制;如专利《一种头戴式立体视觉手势识别装置》;
微软的kinect不能适应光照的变化,户外的阳光照射和室内的开关灯均会存在干扰,仅应用于光源稳定的室内场景。
发明内容
本发明的目的是克服现有技术的不足,提供一种基于深度信息的非接触式手势识别方法,使识别率不受距离、肤色、遮挡、光照、运动等因素的影响,能够适应复杂多变的应用环境。
本发明解决技术问题所采取的技术方案:
步骤1:从可输出深度信息的双目摄像机中获取实时的深度图像,对深度图像使用混合高斯的背景建模方法获得背景图像。
步骤2:利用背景图像和当前图像作差分,检测出前景区域。
步骤3:利用双背景更新方法对建立的背景图像进行更新。
步骤4:通过统计方法学习人体形态的模型,并根据人体模型对检测出的区域进行分割,以提取出独立的人体区域。
步骤5:通过统计方法学习手部模型的分类器,在每个独立的人体区域上检测出手部区域、轮廓信息;若能够检测出手部区域,则执行步骤6,若检测不到手部区域,则跳转至步骤1。
步骤6:通过手部的运动状态利用自回归模型对手部运动进行预测,基于预测位置,以手部区域的深度信息为特征,利用面积加权均值偏移方法跟踪手部,获取手部跟踪的运动轨迹。
步骤7:利用隐马尔科夫模型对运动轨迹进行建模,从而识别出手势。所述的手势包括水平方向的单手运动、水平方向的双手运动、垂直方向的双手运动和单个阿拉伯数字单手绘制运动。
本发明的有益效果:本发明能够适应肤色变化的干扰,在室内环境下不受距离、光照、遮挡、运动等因素的影响,算法计算量小,实时性高。
附图说明
图1为本发明方法流程图。
具体实施方式
以下结合附图对本发明作进一步说明。
步骤1:从可输出深度信息的双目摄像机中获取实时的深度图像,对深度图像使用混合高斯的背景建模方法获得背景图像。由于深度计算方法易受遮挡、扭曲等影响而使深度图像中出现噪点、空洞等情况,因此这里的混合高斯方法利用三个高斯核。即图1的建立背景模型步骤。
步骤2:利用背景图像和当前图像作差分,检测出前景区域。即对应图1的运动检测。
步骤3:利用双背景更新方法对建立的背景图像进行更新,以降低对深度图像计算误差的影响。
步骤4:收集人体样本和非人体样本,采用随机森林分类器训练出人体形态的模型。在实时处理时,首先对前景区域进行垂直投影,得到投影直方图;统计投影直方图,估计出人体的数目和位置;然后利用该位置和数目作为初始,基于人体形态的模型、占用前景的概率和未占用前景的概率作为约束,利用马尔科夫链蒙特卡洛方法搜索出最优的人体数目和位置,以分割出独立的人体区域。即对应图1的人体分割。
步骤5:若没有人体区域,则直接跳出本次处理,否则基于检测出的人体区域进行手部定位,传统方法大多基于肤色、运动等信息受限制较大。假设待定位的手部自然伸展且位于身体之前,因此在深度图像上手部的视差大于身体且在已知的范围内,通过收集人体样本,并获取对应的深度图,采用随机森林分类器学习出人体与手部视差的分布概率以用于从深度图上分割出手部区域。另根据手臂与手的连贯性和人体的对称性可定位出左右手的位置,且有效滤除其它接近的运动物体或其它人体的手部。若无法检测出手部区域且未进行手势跟踪,则跳出本次处理,否则执行手势跟踪模块。
步骤6:提取手部区域的轮廓、区域等信息,若没有处于手势跟踪状态,或手部检测的置信度较高,则更新跟踪的特征模型,否则不做更新。首先对手势的运动方程参数进行估计,设手势的运动轨迹有如下三次恒加速多项式的自回归模型描述:
 ,
其中,为邻近轨迹点。利用该模型对手势运动进行预测,基于预测的位置进行跟踪搜索出最佳位置,并更新目标轨迹,以修正预测误差。跟踪统计的特征中采用面积加权的深度分布和梯度分布的联合直方图,其描述为:
其中,C为归一化常数,为联合概率密度分布函数,其维度为,N为待统计的点的总数目,为核函数,处的深度值,为此处的梯度值,为n+1帧特征维度为u,v的质心,S为n+1帧特征维度为u,v时的面积值。该特征可适应手部的姿势变化、局部遮挡等干扰。由于采用了面积加权,可减少迭代的次数,降低计算量。
步骤7:本发明定义十二种可识别的手势,即单手水平挥动、双手水平拍手、双手上下挥手和0-9的单个阿拉伯数字单手绘制运动。采集十二种预定手势的数据,对手势的轨迹进行预处理去除密集点,获得预处理轨迹,然后采用Baum-Welch算法训练获得十二种预定手势的隐马尔科夫模型,模型中状态的长度为5。在实时分析时同样过滤手势轨迹,并将有效轨迹量化为16个方向,采用前向递推算法获得手势模型的概率,并取最大者作为识别结果。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应带理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (3)

1.一种基于深度信息的手势识别方法,其特征在于该方法包括以下步骤:
步骤1:从可输出深度信息的双目摄像机中获取实时的深度图像,对深度图像使用混合高斯的背景建模方法获得背景图像,混合高斯采用三个高斯核;
步骤2:利用背景图像和当前图像作差分,检测出前景区域;
步骤3:利用双背景更新方法对建立的背景图像进行更新;
步骤4:通过统计方法学习人体形态的模型,并根据人体模型对检测出的区域进行分割,以提取出独立的人体区域;具体是:收集人体样本,采用随机森林分类器学习出人体形态的模型;
在实时处理时,首先对前景区域进行垂直投影,得到投影直方图;统计投影直方图,估计出人体的数目和位置;
然后利用该位置和数目作为初始,基于人体形态的模型、占用前景的概率和未占用前景的概率作为约束,利用马尔科夫链蒙特卡洛方法搜索出最优的人体数目和位置,以确定独立的人体区域;
步骤5:通过统计方法学习手部模型的分类器,在每个独立的人体区域上检测出手部区域、轮廓信息;若能够检测出手部区域,则执行步骤6,若检测不到手部区域,则跳转至步骤1;
其中检测手部区域的具体是:
设待定位的手部自然伸展且位于身体之前,因此在深度图像上手部的视差大于身体且在已知的范围内,通过收集人体样本,并获取对应的深度图,采用随机森林分类器学习出人体与手部视差的分布概率以用于从深度图上分割出手部区域;
步骤6:通过手部的运动状态利用自回归模型对手部运动进行预测,基于预测位置,以手部区域的深度信息为特征,利用面积加权均值偏移方法跟踪手部,获取手部跟踪的运动轨迹;
所述的自回归模型采用三次恒加速多项式,利用该模型对手势运动进行预测,基于预测的位置进行跟踪搜索出最佳位置,并更新目标轨迹,以修正预测误差;
步骤7:利用隐马尔科夫模型对运动轨迹进行建模,从而识别出手势;
所述的手势包括水平方向的单手运动、水平方向的双手运动、垂直方向的双手运动和单个阿拉伯数字单手绘制运动。
2.根据权利要求1所述的一种基于深度信息的手势识别方法,其特征在于:根据手臂与手的连贯性和人体的对称性可定位出左右手的位置,且有效滤除其它接近的运动物体或其它人体的手部。
3.根据权利要求1所述的一种基于深度信息的手势识别方法,其特征在于:所述的隐马尔科夫模型建立过程中采用Baum-Welch算法进行训练,模型中状态的长度为5。
CN201210242290.1A 2012-07-13 2012-07-13 一种基于深度信息的手势识别方法 Expired - Fee Related CN102789568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210242290.1A CN102789568B (zh) 2012-07-13 2012-07-13 一种基于深度信息的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210242290.1A CN102789568B (zh) 2012-07-13 2012-07-13 一种基于深度信息的手势识别方法

Publications (2)

Publication Number Publication Date
CN102789568A CN102789568A (zh) 2012-11-21
CN102789568B true CN102789568B (zh) 2015-03-25

Family

ID=47154970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210242290.1A Expired - Fee Related CN102789568B (zh) 2012-07-13 2012-07-13 一种基于深度信息的手势识别方法

Country Status (1)

Country Link
CN (1) CN102789568B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
CN103839040B (zh) * 2012-11-27 2017-08-25 株式会社理光 基于深度图像的手势识别方法和装置
US20140204013A1 (en) * 2013-01-18 2014-07-24 Microsoft Corporation Part and state detection for gesture recognition
CN103136541B (zh) * 2013-03-20 2015-10-14 上海交通大学 基于深度摄像头的双手三维非接触式动态手势识别方法
CN103226708B (zh) * 2013-04-07 2016-06-29 华南理工大学 一种基于Kinect的多模型融合视频人手分割方法
CN104123529B (zh) * 2013-04-25 2018-04-10 株式会社理光 人手检测方法及系统
CN103246895B (zh) * 2013-05-15 2016-03-09 中国科学院自动化研究所 基于深度信息的图像分类方法
CN104217192B (zh) * 2013-06-03 2018-04-17 株式会社理光 基于深度图像的手定位方法和设备
CN104460967A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种人体上肢骨骼手势识别方法
CN104978583B (zh) * 2014-04-11 2018-07-03 北京数码视讯科技股份有限公司 人物动作的识别方法及装置
CN104699233B (zh) * 2014-04-14 2018-05-01 杭州海康威视数字技术股份有限公司 一种对屏幕进行操作控制的方法和系统
CN105225217B (zh) * 2014-06-23 2018-04-10 株式会社理光 基于深度的背景模型更新方法和系统
CN104167006B (zh) * 2014-07-10 2017-04-19 华南理工大学 一种任意手形的手势跟踪方法
CN104123007B (zh) * 2014-07-29 2017-01-11 电子科技大学 一种多维加权的3d动态手势识别方法
CN104346816B (zh) 2014-10-11 2017-04-19 京东方科技集团股份有限公司 一种深度确定方法、装置及电子设备
CN104408760B (zh) * 2014-10-28 2017-12-29 燕山大学 一种基于双目视觉的高精度虚拟装配系统算法
CN104318589A (zh) * 2014-11-04 2015-01-28 中国电子科技集团公司第十四研究所 基于ViSAR的异常变化检测与跟踪方法
CN104463250B (zh) * 2014-12-12 2017-10-27 广东工业大学 一种基于达芬奇技术的手语识别翻译方法
CN104538025A (zh) * 2014-12-23 2015-04-22 西北师范大学 手势到汉藏双语语音转换方法及装置
CN104636725B (zh) * 2015-02-04 2017-09-29 华中科技大学 一种基于深度图像的手势识别方法与系统
US9536136B2 (en) * 2015-03-24 2017-01-03 Intel Corporation Multi-layer skin detection and fused hand pose matching
CN105892633A (zh) * 2015-11-18 2016-08-24 乐视致新电子科技(天津)有限公司 手势识别方法及虚拟现实显示输出设备
CN106346485B (zh) * 2016-09-21 2018-12-18 大连理工大学 基于人手运动姿态学习的仿生机械手的非接触式控制方法
CN106446837B (zh) * 2016-09-28 2019-05-07 湖南优象科技有限公司 一种基于运动历史图像的挥手检测方法
CN106569716B (zh) * 2016-10-25 2020-07-24 深圳奥比中光科技有限公司 单手操控方法及操控系统
CN107018323B (zh) * 2017-03-09 2019-07-12 Oppo广东移动通信有限公司 控制方法、控制装置和电子装置
CN106951871B (zh) * 2017-03-24 2020-07-28 北京地平线机器人技术研发有限公司 操作体的运动轨迹识别方法、装置和电子设备
CN107103613B (zh) * 2017-03-28 2019-11-15 深圳市未来媒体技术研究院 一种三维手势姿态估计方法
CN109101860B (zh) * 2017-06-21 2022-05-13 富泰华工业(深圳)有限公司 电子设备及其手势识别方法
US20190026588A1 (en) * 2017-07-19 2019-01-24 GM Global Technology Operations LLC Classification methods and systems
CN107743219B (zh) * 2017-09-27 2019-04-12 歌尔科技有限公司 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN108304817B (zh) * 2018-02-09 2019-10-29 深圳市无限动力发展有限公司 实现手势操作的方法和装置
CN109190559A (zh) * 2018-08-31 2019-01-11 深圳先进技术研究院 一种手势识别方法、手势识别装置及电子设备
CN110262731A (zh) * 2019-05-29 2019-09-20 阿里巴巴集团控股有限公司 一种交互系统的输入信息获取方法、装置及电子设备
CN110688965B (zh) * 2019-09-30 2023-07-21 北京航空航天大学青岛研究院 基于双目视觉的ipt模拟训练手势识别方法
CN111241971A (zh) * 2020-01-06 2020-06-05 紫光云技术有限公司 一种三维跟踪的手势观测似然建模方法
CN112527107B (zh) 2020-11-30 2023-04-07 京东方科技集团股份有限公司 手势识别方法、装置、电子设备及存储介质
CN113656624B (zh) * 2021-10-18 2022-02-08 深圳江财教育科技有限公司 一种基于增强现实的教学设备控制方法、系统和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763515A (zh) * 2009-09-23 2010-06-30 中国科学院自动化研究所 一种基于计算机视觉的实时手势交互方法
CN102147869A (zh) * 2011-03-31 2011-08-10 上海交通大学 基于前景分析和模式识别的行人检测方法
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
CN102436590A (zh) * 2011-11-04 2012-05-02 康佳集团股份有限公司 一种基于在线学习的实时跟踪方法及跟踪系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0308943D0 (en) * 2003-04-17 2003-05-28 Univ Dundee A system for determining the body pose of a person from images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763515A (zh) * 2009-09-23 2010-06-30 中国科学院自动化研究所 一种基于计算机视觉的实时手势交互方法
CN102147869A (zh) * 2011-03-31 2011-08-10 上海交通大学 基于前景分析和模式识别的行人检测方法
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
CN102436590A (zh) * 2011-11-04 2012-05-02 康佳集团股份有限公司 一种基于在线学习的实时跟踪方法及跟踪系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Detected motion classification with a double-background and a neighborhood-based difference;Elías Herrero-Jaraba等;《Pattern Recognition Letters》;20031231;第24卷(第12期);第2079-2092页 *
一种视频运动目标的检测与识别方法;李庆忠等;《模式识别与人工智能》;20060415;第19卷(第2期);第238-242页 *

Also Published As

Publication number Publication date
CN102789568A (zh) 2012-11-21

Similar Documents

Publication Publication Date Title
CN102789568B (zh) 一种基于深度信息的手势识别方法
CN106875424B (zh) 一种基于机器视觉的城市环境行驶车辆行为识别方法
CN102855470B (zh) 基于深度图像的人体姿态估计方法
CN104317391A (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
CN106169188A (zh) 一种基于蒙特卡洛树搜索的对象跟踪方法
CN103096185B (zh) 一种视频摘要生成方法和装置
CN103105924B (zh) 人机交互方法和装置
CN104318263A (zh) 一种实时高精度人流计数方法
CN104598915A (zh) 一种手势识别方法与装置
CN104036524A (zh) 一种改进sift算法的快速目标跟踪方法
CN109584302A (zh) 相机位姿优化方法、装置、电子设备和计算机可读介质
CN103020989A (zh) 一种基于在线场景特征聚类的多视角目标跟踪方法
CN109919053A (zh) 一种基于监控视频的深度学习车辆停车检测方法
CN104036483A (zh) 图像处理系统和图像处理方法
CN111476089B (zh) 一种图像中多模态信息融合的行人检测方法、系统及终端
CN102750522B (zh) 一种目标跟踪的方法
Chen et al. [Retracted] Research on the Detection and Tracking Algorithm of Moving Object in Image Based on Computer Vision Technology
CN102142085A (zh) 一种林区监控视频中运动火焰目标的鲁棒跟踪方法
CN102592115A (zh) 一种人手定位方法及系统
CN103577832B (zh) 一种基于时空上下文的人流量统计方法
CN104167006A (zh) 一种任意手形的手势跟踪方法
CN103794050A (zh) 一种实时的交通车辆检测与跟踪方法
CN104168444A (zh) 一种跟踪球机的目标跟踪方法及跟踪球机
CN105321188A (zh) 基于前景概率的目标跟踪方法
CN103413323A (zh) 基于部件级表观模型的物体跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East

Applicant after: Zhejiang iCare Vision Technology Co., Ltd.

Address before: 310013, Zhejiang, Xihu District, Hangzhou, Tian Shan Road, No. 398, Kun building, four floor, South Block

Applicant before: Zhejiang iCare Vision Technology Co., Ltd.

C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East

Applicant after: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD.

Address before: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East

Applicant before: Zhejiang iCare Vision Technology Co., Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: HANGZHOU ICARE VISION TECHNOLOGY CO., LTD. TO: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20170810

Address after: 310013, room 1, building 398, 501 Tianmu Mountain Road, Hangzhou, Zhejiang, Xihu District

Patentee after: HANGZHOU DELAN TECHNOLOGY CO., LTD.

Address before: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East

Patentee before: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150325

Termination date: 20200713

CF01 Termination of patent right due to non-payment of annual fee