CN111626135A - 基于深度图的三维手势识别系统 - Google Patents

基于深度图的三维手势识别系统 Download PDF

Info

Publication number
CN111626135A
CN111626135A CN202010350284.2A CN202010350284A CN111626135A CN 111626135 A CN111626135 A CN 111626135A CN 202010350284 A CN202010350284 A CN 202010350284A CN 111626135 A CN111626135 A CN 111626135A
Authority
CN
China
Prior art keywords
module
signal connection
depth
gesture
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010350284.2A
Other languages
English (en)
Inventor
谢勤岚
陈红
吴晗玉
马淑敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Central Minzu University
Original Assignee
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Central University for Nationalities filed Critical South Central University for Nationalities
Priority to CN202010350284.2A priority Critical patent/CN111626135A/zh
Publication of CN111626135A publication Critical patent/CN111626135A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及计算机图形学、深度学习技术领域，尤其是基于深度图的三维手势识别系统，包括摄像头，所述摄像头信号连接有深度传感器，所述深度传感器信号连接有数据存储模块，所述数据存储模块信号连接有数据预处理模块，所述数据预处理模块信号连接有分割模块，所述分割模块信号连接有输入模块，所述区分模块信号连接有静态手势分析模块与动态手势分析模块，所述静态手势分析模块信号连接有模型建设模块，所述模型建设模块信号连接有匹配模块，所述匹配模块信号连接有数据库，所述动态手势分析模块信号连接有关键点捕捉模块，所述关键点捕捉模块信号连接有函数建设模块。本发明具有增强现实感，丰富人机交互的方式。

Description

基于深度图的三维手势识别系统
技术领域
本发明涉及计算机图形学、深度学习技术领域，尤其涉及基于深度图的三维手势识别系统。
背景技术
自然人机交互一直是计算机图形学以及计算机人机交互领域的一个重要研究方向，三维手势识别作为自然人机交互的一个中要组成成分，自然受到了极大的关注。同时，近几年来一些相对成熟的深度摄像头也相继上市，深度摄像头获取的深度图像，避免了传统RGB图像容易收到光照及背景等影响的缺点，给手势识别带来了便利。三维手势识别所需实现的不应该仅仅是判断出图像中的手势属于哪一种手势状态，而应该将整个手的所有关节点的坐标位置展示出来，达到真正的人机交互，增强现实感。然而手部具有高自由度及自遮挡等特性，三维手势识别仍然是一个具有挑战性的问题。
发明内容
本发明的目的是为了解决现有技术中存在的现实感不强的缺点，而提出的基于深度图的三维手势识别系统。
为了实现上述目的，本发明采用了如下技术方案：
设计基于深度图的三维手势识别系统，包括摄像头，所述摄像头信号连接有深度传感器，所述深度传感器信号连接有数据存储模块，通过数据存储模块对原始深度图像进行保存，所述数据存储模块信号连接有数据预处理模块，所述数据预处理模块信号连接有分割模块，所述分割模块信号连接有输入模块，所述输入模块信号连接有CNN网络模块，所述CNN网络模块信号连接有区分模块，所述区分模块、CNN网络模块、输入模块、分割模块、数据预处理模块、数据存储模块、深度传感器、摄像头信号连接有控制器，所述区分模块信号连接有静态手势分析模块与动态手势分析模块，所述静态手势分析模块信号连接有模型建设模块，所述模型建设模块信号连接有匹配模块，所述匹配模块信号连接有数据库，所述动态手势分析模块信号连接有关键点捕捉模块，所述关键点捕捉模块信号连接有函数建设模块，所述函数建设模块信号连接有轨迹识别模块，所述轨迹识别模块与匹配模块信号连接有输出模块。
优选的，通过数据预处理模块整理收集相关深度手势数据集，所述手势数据集以每秒钟20帧的速度从深度视频中提取出来。
优选的，在原始深度图像中提取手周围固定大小的立方体，空间大小为128×128，深度值规格化为[-1,1]。
优选的，所述数据库上信号来连接有录入模块。
本发明还提供了基于深度图的三维手势识别方法，包括以下步骤：
S1、使用深度传感器获取深度信息图；
S2、数据预处理，利用深度信息，采用分割模块将手部与背景分割，切割出手部深度信息图；
S3、将手部深度信息图输入CNN网络模块，将输出的21个姿势参数连接到一个使用正向运动学函数F手模型层，最后输出关键关节的三维位置；
S4、针对静态手势，根据得到手势关节点，通过模型建设模块建立三维关节模型，最后与数据库中的三维模板进行匹配识别，针对动态手势，基于手部关键点三维运动轨迹，并以手掌心为轨迹建立轨迹之间的相对关系，形成基于方向和距离变化的融合特征向量，通过轨迹识别模块进行轨迹识别，达到手势识别目的。
本发明提出的基于深度图的三维手势识别系统，有益效果在于：直接对运动手势的三维轨迹取特征，保留了动态手势的时间和空间关系，同时本发明基于深度图像，实时分析识别出用户的三维手势信息，并将分析识别的结果点线连接方式展示出来，增强现实感，丰富人机交互的方式。基于深度图像的三维手势识别，不需要用户佩戴高昂、臃肿的设备，也不存在传统基于视觉的识别技术具有的算法复杂、易受关系环境因素影响的缺陷。
附图说明
图1为本发明提出的基于深度图的三维手势识别系统框图；
图2为本发明提出的基于深度图的三维手势识别方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-2，基于深度图的三维手势识别系统，包括摄像头，所述摄像头信号连接有深度传感器，所述深度传感器信号连接有数据存储模块，通过数据存储模块对原始深度图像进行保存，所述数据存储模块信号连接有数据预处理模块，通过站在摄像头的前面，摄像机拍摄人的手部深度图像序列，使深度传感器获取深度信息图，然后通过数据存储模块进行存储。
所述数据预处理模块信号连接有分割模块，所述分割模块信号连接有输入模块，所述输入模块信号连接有CNN网络模块，所述CNN网络模块信号连接有区分模块，所述区分模块、CNN网络模块、输入模块、分割模块、数据预处理模块、数据存储模块、深度传感器、摄像头信号连接有控制器，通过区分模块对手势进行区分，将手势分为动态手势和静态手势，以便对动态手势和静态手势进行区分识别。
所述区分模块信号连接有静态手势分析模块与动态手势分析模块，所述静态手势分析模块信号连接有模型建设模块，所述模型建设模块信号连接有匹配模块，所述匹配模块信号连接有数据库，所述动态手势分析模块信号连接有关键点捕捉模块，所述关键点捕捉模块信号连接有函数建设模块，所述函数建设模块信号连接有轨迹识别模块，所述轨迹识别模块与匹配模块信号连接有输出模块，静态手势通过模型建设模块建立三维关节模型，然后通过匹配模块在数据库中寻找匹配的模板，从而进行手势识别，动态手势通过关键点捕捉模块对关键点进行捕捉，然后通过函数建立模块进行函数的建立，然后通过轨迹识别模块进行识别。
通过数据预处理模块整理收集相关深度手势数据集，所述手势数据集以每秒钟20帧的速度从深度视频中提取出来。
在原始深度图像中提取手周围固定大小的立方体，空间大小为128×128，深度值规格化为[-1,1]。
所述数据库上信号来连接有录入模块，通过录入模块的设计，便于对数据库中静态手势的模板进行补充。
本发明还提供了基于深度图的三维手势识别方法，包括以下步骤：
S1、使用深度传感器获取深度信息图；
S2、数据预处理，利用深度信息，采用分割模块将手部与背景分割，切割出手部深度信息图；
S3、将手部深度信息图输入CNN网络模块，将输出的21个姿势参数连接到一个使用正向运动学函数F手模型层，最后输出关键关节的三维位置；
S4、针对静态手势，根据得到手势关节点，通过模型建设模块建立三维关节模型，最后与数据库中的三维模板进行匹配识别，针对动态手势，基于手部关键点三维运动轨迹，并以手掌心为轨迹建立轨迹之间的相对关系，形成基于方向和距离变化的融合特征向量，通过轨迹识别模块进行轨迹识别，达到手势识别目的。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.基于深度图的三维手势识别系统，包括摄像头，其特征在于，所述摄像头信号连接有深度传感器，所述深度传感器信号连接有数据存储模块，通过数据存储模块对原始深度图像进行保存，所述数据存储模块信号连接有数据预处理模块，所述数据预处理模块信号连接有分割模块，所述分割模块信号连接有输入模块，所述输入模块信号连接有CNN网络模块，所述CNN网络模块信号连接有区分模块，所述区分模块、CNN网络模块、输入模块、分割模块、数据预处理模块、数据存储模块、深度传感器、摄像头信号连接有控制器，所述区分模块信号连接有静态手势分析模块与动态手势分析模块，所述静态手势分析模块信号连接有模型建设模块，所述模型建设模块信号连接有匹配模块，所述匹配模块信号连接有数据库，所述动态手势分析模块信号连接有关键点捕捉模块，所述关键点捕捉模块信号连接有函数建设模块，所述函数建设模块信号连接有轨迹识别模块，所述轨迹识别模块与匹配模块信号连接有输出模块。
2.根据权利要求1所述的基于深度图的三维手势识别系统，其特征在于，通过数据预处理模块整理收集相关深度手势数据集，所述手势数据集以每秒钟20帧的速度从深度视频中提取出来。
3.根据权利要求1所述的基于深度图的三维手势识别系统，其特征在于，在原始深度图像中提取手周围固定大小的立方体，空间大小为128×128，深度值规格化为[-1,1]。
4.根据权利要求1所述的基于深度图的三维手势识别系统，其特征在于，所述数据库上信号来连接有录入模块。
5.根据权利要求1-4任一项所述的基于深度图的三维手势识别方法，其特征在于，包括以下步骤：
S1、使用深度传感器获取深度信息图；
S2、数据预处理，利用深度信息，采用分割模块将手部与背景分割，切割出手部深度信息图；
S3、将手部深度信息图输入CNN网络模块，将输出的21个姿势参数连接到一个使用正向运动学函数F手模型层，最后输出关键关节的三维位置；
S4、针对静态手势，根据得到手势关节点，通过模型建设模块建立三维关节模型，最后与数据库中的三维模板进行匹配识别，针对动态手势，基于手部关键点三维运动轨迹，并以手掌心为轨迹建立轨迹之间的相对关系，形成基于方向和距离变化的融合特征向量，通过轨迹识别模块进行轨迹识别，达到手势识别目的。
CN202010350284.2A 2020-04-28 2020-04-28 基于深度图的三维手势识别系统 Pending CN111626135A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010350284.2A CN111626135A (zh) 2020-04-28 2020-04-28 基于深度图的三维手势识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010350284.2A CN111626135A (zh) 2020-04-28 2020-04-28 基于深度图的三维手势识别系统

Publications (1)

Publication Number Publication Date
CN111626135A true CN111626135A (zh) 2020-09-04

Family

ID=72271763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010350284.2A Pending CN111626135A (zh) 2020-04-28 2020-04-28 基于深度图的三维手势识别系统

Country Status (1)

Country Link
CN (1) CN111626135A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784810A (zh) * 2021-02-08 2021-05-11 风变科技（深圳）有限公司 手势识别方法、装置、计算机设备和存储介质
CN112926003A (zh) * 2021-03-11 2021-06-08 中国软件与技术服务股份有限公司 一种基于魔方模型三维动态数据展示的方法
CN113505738A (zh) * 2021-07-26 2021-10-15 湖南灵之心心理学应用技术有限公司 一种动态手势识别系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271279A1 (en) * 2004-05-14 2005-12-08 Honda Motor Co., Ltd. Sign based human-machine interaction
CN107092349A (zh) * 2017-03-20 2017-08-25 重庆邮电大学 一种基于RealSense的手语识别系统及方法
CN107578023A (zh) * 2017-09-13 2018-01-12 华中师范大学 人机交互手势识别方法、装置及系统
US10304208B1 (en) * 2018-02-12 2019-05-28 Avodah Labs, Inc. Automated gesture identification using neural networks
CN109993073A (zh) * 2019-03-14 2019-07-09 北京工业大学 一种基于Leap Motion的复杂动态手势识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271279A1 (en) * 2004-05-14 2005-12-08 Honda Motor Co., Ltd. Sign based human-machine interaction
CN107092349A (zh) * 2017-03-20 2017-08-25 重庆邮电大学 一种基于RealSense的手语识别系统及方法
CN107578023A (zh) * 2017-09-13 2018-01-12 华中师范大学 人机交互手势识别方法、装置及系统
US10304208B1 (en) * 2018-02-12 2019-05-28 Avodah Labs, Inc. Automated gesture identification using neural networks
CN109993073A (zh) * 2019-03-14 2019-07-09 北京工业大学 一种基于Leap Motion的复杂动态手势识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡茗: ""基于CNN的手势姿态估计在手势识别中的应用"" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784810A (zh) * 2021-02-08 2021-05-11 风变科技（深圳）有限公司 手势识别方法、装置、计算机设备和存储介质
CN112926003A (zh) * 2021-03-11 2021-06-08 中国软件与技术服务股份有限公司 一种基于魔方模型三维动态数据展示的方法
CN113505738A (zh) * 2021-07-26 2021-10-15 湖南灵之心心理学应用技术有限公司 一种动态手势识别系统及方法

Similar Documents

Publication Publication Date Title
CN106648103B (zh) 一种vr头戴设备的手势跟踪方法和vr头戴设备
CN108898063B (zh) 一种基于全卷积神经网络的人体姿态识别装置及方法
CN108776773B (zh) 一种基于深度图像的三维手势识别方法及交互系统
Liu et al. Hand gesture recognition using depth data
CN103941866B (zh) 一种基于Kinect深度图像的三维手势识别方法
CN111626135A (zh) 基于深度图的三维手势识别系统
CN110555412B (zh) 基于rgb和点云相结合的端到端人体姿态识别方法
CN108734194B (zh) 一种面向虚拟现实的基于单深度图的人体关节点识别方法
CN107357427A (zh) 一种用于虚拟现实设备的手势识别控制方法
CN106056053A (zh) 基于骨骼特征点提取的人体姿势识别方法
CN110008913A (zh) 基于姿态估计与视点机制融合的行人再识别方法
CN107808129A (zh) 一种基于单个卷积神经网络的面部多特征点定位方法
Liu et al. Action recognition based on 3d skeleton and rgb frame fusion
CN103105924B (zh) 人机交互方法和装置
CN106200971A (zh) 基于手势识别的人机交互系统装置及操作方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN111563452A (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
JP2017505965A (ja) モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム
CN111444488A (zh) 一种基于动态手势的身份认证方法
Zhao et al. Real-time sign language recognition based on video stream
CN112381045A (zh) 一种面向物联网移动端设备的轻量级人体姿态识别方法
KR101100240B1 (ko) 멀티모달 상호작용을 이용한 로봇의 물체 학습 시스템 및 방법
CN113570732A (zh) 一种基于ar技术的盾构维修辅助方法和系统
CN108108648A (zh) 一种新型的手势识别系统装置及方法
CN116466827A (zh) 一种智能人机交互系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200904

RJ01 Rejection of invention patent application after publication