CN108805006A - 一种基于深度摄像头的手势识别系统 - Google Patents

一种基于深度摄像头的手势识别系统 Download PDF

Info

Publication number
CN108805006A
CN108805006A CN201810345109.7A CN201810345109A CN108805006A CN 108805006 A CN108805006 A CN 108805006A CN 201810345109 A CN201810345109 A CN 201810345109A CN 108805006 A CN108805006 A CN 108805006A
Authority
CN
China
Prior art keywords
gesture
depth camera
pinboard
depth
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810345109.7A
Other languages
English (en)
Inventor
王伟行
刘佩林
邹耀
应忍冬
葛昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Digital Intelligent Technology Co Ltd
Original Assignee
Shanghai Digital Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Digital Intelligent Technology Co Ltd filed Critical Shanghai Digital Intelligent Technology Co Ltd
Priority to CN201810345109.7A priority Critical patent/CN108805006A/zh
Publication of CN108805006A publication Critical patent/CN108805006A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开的一种基于深度摄像头的手势识别系统，包括：一转接板，所述转接板通过一直流电源适配器与交流电源连接；一安装在所述转接板上的深度摄像头；至少一安装在所述转接板上的红外光发射器；一集成在所述转接板上且分别与所述深度摄像头和每一红外光发射器连接的主控芯片；以及一计算机，所述计算机通过一USB接口与所述主控芯片连接并进行数据交互。本发明采用深度摄像头对使用者所做出的手势进行深度图像采集，再根据深度图像进行手势识别。本发明不受不同的光线环境的影响，可实现实时的分类识别手势。

Description

一种基于深度摄像头的手势识别系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于深度摄像头的手势识别系统。
背景技术
随着人工智能技术的日益发展，传统的人机交互方式也在发生改变和创新，手势识别、语音识别、指纹识别、人脸识别等新的交互方式得到了越来越广泛的应用。其中，手势识别技术已经成为人机交互最重要的有效途径之一。用户可以使用简单的手势来控制或与设备进行交互，让计算机理解人类的行为，其核心技术为手势分割、手势分析以及手势识别。
目前的手势识别方法是基于普通的RGB相机拍摄图像，预先设定几个手势模板，将手部区域从背景中分割出来，对待识别的手势提取轮廓特征进行形状匹配，计算相似度，根据相似度计算结果并分别归类。这种方法计算量低，算法简单，易于实现，但RGB相机对环境光照、颜色、纹理等信息较为敏感，且基于RGB图像的手部分割算法难度较大，具有识别准确率低的缺点，在实时分类识别中无法表现出良好的性能。
为此，申请人进行了有益的探索和尝试，找到了解决上述问题的办法，下面将要介绍的技术方案便是在这种背景下产生的。
发明内容
本发明所要解决的技术问题：针对现有技术的不足而提供一种不受周围环境影响、可实现实时的分类识别手势的基于深度摄像头的手势识别系统。
本发明所解决的技术问题可以采用以下技术方案来实现：
一种基于深度摄像头的手势识别系统，包括：
一转接板，所述转接板通过一直流电源适配器与交流电源连接；
一安装在所述转接板上的深度摄像头；
至少一安装在所述转接板上的红外光发射器；
一集成在所述转接板上且分别与所述深度摄像头和每一红外光发射器连接的主控芯片；以及
一计算机，所述计算机通过一USB接口与所述主控芯片连接并进行数据交互；
通过所述深度摄像头采集不同场景下多种预定义手势的深度图像，并将采集到的深度图像传送至计算机内，所述计算机内的分类器对所述深度摄像头采集到的深度图像进行分类训练，并建立手势识别数据库；
当需要对使用者做出的手势进行识别时，所述深度摄像头在所述主控芯片的控制下获取使用者所做出的手势的深度图像，并将采集到的深度图像传送至所述计算机内，所述计算机对深度图像进行滤波处理并提取深度图像的手势特征向量，所述计算机内的分类器对提取到的手势特征向量进行分类并生成分类模型，再将生成的分类模型与手势识别数据库内存储的分类模型进行匹配，若匹配成功，则表明使用者做出了相应的手势并输出手势结果。
在本发明的一个优选实施例中，所述深度摄像头为TOF深度摄像头，所述主控芯片为3D TOF Sensor芯片。
由于采用了如上的技术方案，本发明的有益效果在于：本发明采用深度摄像头对使用者所做出的手势进行深度图像采集，再根据深度图像进行手势识别。本发明不受不同的光线环境的影响，可实现实时的分类识别手势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的结构示意图。
图2是本发明的工作流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
参见图1，图中给出的是一种基于深度摄像头的手势识别系统，包括转接板100、深度摄像头200、红外光发射器300a、300b、主控芯片400以及计算机500。
转接板100通过一直流电源适配器110与110V～240V交流电源10连接。深度摄像头200安装在转接板100上，在本实施例中，深度摄像头200为TOF深度摄像头，其分辨率可达320×240，产生的空间深度数据足够细腻，视场角为H116°×V60°。红外光发射器300a、300b间隔安装在转接板100上，当然，红外发射器的数量并不局限本实施例中的数量，其应根据设计需要而设计。主控芯片400集成在转接板100上且分别与深度摄像头200和红外光发射器300a、300b，在本实施例中，主控芯片400为3D TOF Sensor芯片。。计算机500通过一高速USB接口与主控芯片400连接并进行数据交互。
参见图2，本发明的基于深度摄像头的手势识别系统的工作过程如下：
1、首先通过深度摄像头200采集不同场景下多种预定义手势的深度图像，并将采集到的深度图像传送至计算机500内，计算机500内的分类器对深度摄像头采集到的深度图像进行分类训练，并建立手势识别数据库；其中，上述的场景包括但不限于室内场景、公共场合场景、轿车内的场景以及火车驾驶舱内的场景；预定义手势可以为伸出0,1,2,3,4,5根手指的手势、胜利手势等。
2、当需要对使用者做出的手势进行识别时，深度摄像头200在主控芯片400的控制下获取使用者所做出的手势的深度图像，并将采集到的深度图像传送至计算机500内；
3、计算机500对深度图像进行滤波处理并提取深度图像的手势特征向量，计算机500内的分类器对提取到的手势特征向量进行分类并生成分类模型；
4、计算机500内的分类器将生成的分类模型与手势识别数据库内存储的分类模型进行匹配，若匹配成功，则表明使用者做出了相应的手势并输出手势结果。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种基于深度摄像头的手势识别系统，其特征在于，包括：
一转接板，所述转接板通过一直流电源适配器与交流电源连接；
一安装在所述转接板上的深度摄像头；
至少一安装在所述转接板上的红外光发射器；
一集成在所述转接板上且分别与所述深度摄像头和每一红外光发射器连接的主控芯片；以及
一计算机，所述计算机通过一USB接口与所述主控芯片连接并进行数据交互；
通过所述深度摄像头采集不同场景下多种预定义手势的深度图像，并将采集到的深度图像传送至计算机内，所述计算机内的分类器对所述深度摄像头采集到的深度图像进行分类训练，并建立手势识别数据库；
当需要对使用者做出的手势进行识别时，所述深度摄像头在所述主控芯片的控制下获取使用者所做出的手势的深度图像，并将采集到的深度图像传送至所述计算机内，所述计算机对深度图像进行滤波处理并提取深度图像的手势特征向量，所述计算机内的分类器对提取到的手势特征向量进行分类并生成分类模型，再将生成的分类模型与手势识别数据库内存储的分类模型进行匹配，若匹配成功，则表明使用者做出了相应的手势并输出手势结果。
2.如权利要求1所述的基于深度摄像头的手势识别系统，其特征在于，所述深度摄像头为TOF深度摄像头，所述主控芯片为3D TOF Sensor芯片。
CN201810345109.7A 2018-04-17 2018-04-17 一种基于深度摄像头的手势识别系统 Pending CN108805006A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810345109.7A CN108805006A (zh) 2018-04-17 2018-04-17 一种基于深度摄像头的手势识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810345109.7A CN108805006A (zh) 2018-04-17 2018-04-17 一种基于深度摄像头的手势识别系统

Publications (1)

Publication Number Publication Date
CN108805006A true CN108805006A (zh) 2018-11-13

Family

ID=64094311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810345109.7A Pending CN108805006A (zh) 2018-04-17 2018-04-17 一种基于深度摄像头的手势识别系统

Country Status (1)

Country Link
CN (1) CN108805006A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598998A (zh) * 2018-11-30 2019-04-09 深圳供电局有限公司 基于手势识别的电网培训可穿戴设备及其交互方法
CN110110614A (zh) * 2019-04-19 2019-08-09 江苏理工学院 一种基于3d相机的手势识别装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204129723U (zh) * 2014-09-25 2015-01-28 广州大学 一种基于Kinect体感交互的课堂多媒体教学装置
CN105893951A (zh) * 2016-03-29 2016-08-24 华东师范大学 一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204129723U (zh) * 2014-09-25 2015-01-28 广州大学 一种基于Kinect体感交互的课堂多媒体教学装置
CN105893951A (zh) * 2016-03-29 2016-08-24 华东师范大学 一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张燕翔 等: "《舞台展演交互式空间增强现实技术》", 28 February 2018, 中国科学技术大学出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598998A (zh) * 2018-11-30 2019-04-09 深圳供电局有限公司 基于手势识别的电网培训可穿戴设备及其交互方法
CN110110614A (zh) * 2019-04-19 2019-08-09 江苏理工学院 一种基于3d相机的手势识别装置及方法

Similar Documents

Publication Publication Date Title
CN107168527B (zh) 基于区域卷积神经网络的第一视角手势识别与交互方法
Khan et al. Hand gesture recognition: a literature review
CN104463117B (zh) 一种基于视频方式的人脸识别样本采集方法及系统
Yoon et al. Hand gesture recognition using combined features of location, angle and velocity
CN109522853B (zh) 面向监控视频的人脸检测与搜索方法
Arif et al. Automated body parts estimation and detection using salient maps and Gaussian matrix model
CN113379898B (zh) 一种基于语义分割的三维室内场景重建方法
CN105046219A (zh) 一种人脸识别系统
CN108614991A (zh) 一种基于Hu不变矩的深度图像手势识别方法
CN108846359A (zh) 一种基于皮肤颜色区域分割和机器学习算法相融合的手势识别方法及其应用
CN110232308A (zh) 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法
CN103440035A (zh) 一种三维空间中的手势识别系统及其识别方法
Ren et al. Parallel RCNN: A deep learning method for people detection using RGB-D images
Vishwakarma et al. Simple and intelligent system to recognize the expression of speech-disabled person
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸系统及方法
CN110751097A (zh) 一种半监督的三维点云手势关键点检测方法
Alksasbeh et al. Smart hand gestures recognition using K-NN based algorithm for video annotation purposes
CN108805006A (zh) 一种基于深度摄像头的手势识别系统
CN107220634A (zh) 基于改进d‑p算法与多模板匹配的手势识别方法
Vidhate et al. Virtual paint application by hand gesture recognition system
Agrawal et al. A Tutor for the hearing impaired (developed using Automatic Gesture Recognition)
Shah et al. Survey on vision based hand gesture recognition
Burger et al. Cued speech hand gestures recognition tool
Wang Hand gesture recognition based on fingertip detection
Yoon et al. Human computer interface for gesture-based editing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181113

RJ01 Rejection of invention patent application after publication