CN109993135A - 一种基于增强现实的手势识别方法、系统及装置 - Google Patents

一种基于增强现实的手势识别方法、系统及装置 Download PDF

Info

Publication number
CN109993135A
CN109993135A CN201910274142.XA CN201910274142A CN109993135A CN 109993135 A CN109993135 A CN 109993135A CN 201910274142 A CN201910274142 A CN 201910274142A CN 109993135 A CN109993135 A CN 109993135A
Authority
CN
China
Prior art keywords
gesture
depth map
class
identification
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910274142.XA
Other languages
English (en)
Other versions
CN109993135B (zh
Inventor
冯志全
肖梦婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN201910274142.XA priority Critical patent/CN109993135B/zh
Publication of CN109993135A publication Critical patent/CN109993135A/zh
Application granted granted Critical
Publication of CN109993135B publication Critical patent/CN109993135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本申请公开了一种基于增强现实的手势识别方法、系统及装置，该方法包括：获取人手的手势深度图和手势深度信息，将手势深度图分为训练集和测试集，将训练集和测试集中的手势深度图剪切为大小相等的n个单元，利用DTW算法对两个集合中的动态视频帧进行优化，建立一双结构网络识别模型，然后将测试集输入至该识别模型中进行测试，获取手势识别结果；在增强现实环境中，根据手势深度信息和该识别模型，对手势进行识别。该系统包括：信息获取模块、集合分类模块、剪切模块、优化模块、识别模型建立模块、测试模块和识别模块。该装置包括处理器以及与其通信连接的存储器。通过本申请，能够有效提高手势识别的实时性和手势识别率，从而提高用户体验。

Description

一种基于增强现实的手势识别方法、系统及装置
技术领域
本申请涉及信息处理技术领域，特别是涉及一种基于增强现实的手势识别方法、系统及装置。
背景技术
增强现实又称AR(Augmented Reality，增强现实)，随着人机交互技术的发展，增强现实作为一种提升现实和虚拟之间交互能力的技术，越来越受到人们的关注。目前的增强现实技术中，多数是基于数据手套等穿戴设备或者利用手势识别传感器来完成真实手和虚拟场景的融合。因此，如何在增强现实技术中进行手势识别，是个重要问题。
目前，比较常用的一种手势识别方法是基于几何特征的手势识别方法。具体地，该方法主要是针对训练样本集中的测试对象，对每个测试对象的对手势的边缘和手势区域特征进行识别，提取出手势图像的边缘，把图像的边缘看成一条曲线，然后对曲线进行处理，从而确定手势识别的模型，然后根据该识别模型对测试集中的手势进行识别。
然而，目前的手势识别方法中，由于该方法所需要的训练样本比较复杂或者训练样本集比较大，导致计算速度较低，使得手势识别的实时性较低。而且，由于在基于几何特征的手势识别的方法中，根据需要首先采用局部平均法对图像进行平滑，再对图像采用最大方差法进行二值化，最后用八方向邻域搜索法对二值化图像做轮廓提取过程中，对轮廓提取得误差比较大，使得手势识别率较低，从而导致用户对真实自然空间的沉浸感较低，用户体检较差。
发明内容
本申请提供了一种基于增强现实的手势识别方法、系统及装置，以解决现有技术的手势识别方法中手势识别的实时性较差以及手势识别率较低的问题。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
一种基于增强现实的手势识别方法，所述方法包括：
获取人手的手势深度图和手势深度信息，所述手势深度图包括静态视频帧和动态视频帧，所述手势深度信息包括关节点坐标；
按照训练集和测试集7:3的比例，将所述手势深度图分为训练集和测试集；
分别将训练集和测试集中的手势深度图剪切为大小相等的n个单元，n为自然数；
分别利用DTW(Dynamic Time Warping，动态时间归整)算法对训练集和测试集中的动态视频帧进行优化，获取可被CNN(Convolutional Neural Network，卷积神经网络)神经网络识别的动态视频帧；
利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型；
将测试集输入至所述双结构网络识别模型中进行测试，获取手势识别结果；
在增强现实环境中，根据所获取的手势深度信息和所述双结构网络识别模型，对手势进行识别。
可选地，所述分别将训练集和测试集中的手势深度图剪切为大小相等的n个单元，n为自然数，包括：
将训练集中手势深度图的人手区域剪切为n个单元；
对训练集中n个单元的人手区域进行调整，获取大小相等的n个单元的训练集人手区域；
将测试集中手势深度图的人手区域剪切为n个单元；
对测试集中n个单元的人手区域进行调整，获取大小相等的n个单元的测试集人手区域。
可选地，所述利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型，包括：
将训练集中的全部手势深度图分别输入CNN神经网络和DBN(Deep BeliefNetwork，深度信念网络)神经网络中，提取手势特征；
利用分类器将CNN神经网络提取得到的手势特征和DBN神经网络提取得到的手势特征分别分为一个k维向量，其中，k为训练集中全部手势深度图种类的数量，k为自然数，且k＞2；
根据所述k维向量，确定k类手势深度图中每一个类的概率；
分别利用公式计算得出CNN神经网络训练得到的k类累计概率密度，利用公式计算得出DBN神经网络训练得到的k类累计概率密度，其中，HC(n)和HD(n)分别是CNN神经网络中每类的概率密度和DBN神经网络中每类的概率密度；
根据所述CNN神经网络训练得到的k类累计概率密度和DBN神经网络训练得到的k类累计概率密度，建立双结构网络识别模型PCD＝ωPC(k)+(1-ω)PD(k)，其中，ω为权值，PC(k)为CNN神经网络训练得到的k类累加概率密度，PD(k)为DBN神经网络训练得到的k类累加概率密度。
可选地，所述分类器为softmax分类器。
可选地，所述在增强现实环境中，根据所获取的手势深度信息和所述双结构网络识别模型，对手势进行识别，包括：
分别根据第n帧手势深度图和第n-1帧手势深度图，获取同一位置关节点在不同时刻的两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)，其中，θ为深度三维坐标，γ为手部关节自由度；
判断两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)是否相等；
如果是，判定当前的手势为静止；
如果否，判定当前的手势为双结构网络识别模型对应的手势识别结果。
可选地，所述手部关节自由度根据所述关节点坐标在真实空间中的映射以及深度三维坐标确定，且所述关节点坐标与真实空间之间的映射关系为：其中，(KinectX,KinectY,KinectZ)是真实空间中利用深度摄像头获取的手部关节坐标，(UX,UY,UZ)是unity环境下的虚拟场景坐标，W是在场景中控制虚拟物体与真实手的坐标对应的比例关系，(valX,valY,valZ)是真实空间的人手与虚拟物体视点原点的对应关系。
一种基于增强现实的手势识别系统，所述系统包括：
信息获取模块，用于获取人手的手势深度图和手势深度信息，所述手势深度图包括静态视频帧和动态视频帧，所述手势深度信息包括关节点坐标；
集合分类模块，用于按照训练集和测试集7:3的比例，将所述手势深度图分为训练集和测试集；
剪切模块，用于分别将训练集和测试集中手势深度图剪切为大小相等的n个单元，n为自然数；
优化模块，用于分别利用DTW算法对训练集和测试集中的所述动态视频帧进行优化，获取可被CNN神经网络识别的动态视频帧；
识别模型建立模块，用于利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型；
测试模块，用于将测试集输入至所述双结构网络识别模型中进行测试，获取手势识别结果；
识别模块，用于在增强现实环境中，根据所获取的手势深度信息和所述双结构网络识别模型，对手势进行识别。
可选地，所述识别模型建立模块包括：
提取单元，用于将训练集中的全部手势深度图分别输入CNN神经网络和DBN神经网络中，提取手势特征；
向量获取单元，用于利用分类器将CNN神经网络提取得到的手势特征和DBN神经网络提取得到的手势特征分别分为一个k维向量，其中，k为训练集中全部手势深度图种类的数量，k为自然数，且k＞2；
概率确定单元，用于根据所述k维向量，确定k类手势深度图中每一个类的概率；
累计概率密度计算单元，分别利用公式计算得出CNN神经网络训练得到的k类累计概率密度，利用公式计算得出DBN神经网络训练得到的k类累计概率密度，其中，HC(n)和HD(n)分别是CNN神经网络中每类的概率密度和DBN神经网络中每类的概率密度；
双结构网络识别模型建立单元，用于根据所述CNN神经网络训练得到的k类累计概率密度和DBN神经网络训练得到的k类累计概率密度，建立双结构网络识别模型PCD＝ωPC(k)+(1-ω)PD(k)，其中，ω为权值，PC(k)为CNN神经网络训练得到的k类累加概率密度，PD(k)为DBN神经网络训练得到的k类累加概率密度。
可选地，所述识别模块包括：
关节点坐标获取单元，用于分别根据第n帧手势深度图和第n-1帧手势深度图，获取同一位置关节点在不同时刻的两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)，其中，θ为深度三维坐标，γ为手部关节自由度；
判断单元，用于判断两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)是否相等；
手势判定单元，用于当两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)相等时，判定当前的手势为静止；当两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)不相等时，判定当前的手势为双结构网络识别模型对应的手势识别结果。
一种基于增强现实的手势识别装置，所述装置包括：处理器以及与所述处理器通信连接的存储器，其中，
所述存储器中存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行如上任意一项所述的基于增强现实的手势识别方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请提供一种基于增强现实的手势识别方法，该方法首先获取人手的手势深度图和手势深度信息，然后按照训练集和测试集7:3的比例，将手势深度图分为训练集和测试集，再分别将训练集和测试集中的手势深度图剪切为大小相等的n个单元，利用DTW算法对训练集和测试集中的动态视频帧进行优化，获取可被CNN神经网络识别的动态视频帧，然后利用双结构神经网络对训练集中的手势深度图进行分类和训练，从而建立一双结构识别模型，将测试集输入该模型中进行测试可获取手势识别结果，最后根据手势深度信息和双结构网络识别模型，在增强现实环境中进行手势识别。
本申请首先获取人手的手势深度图和手势深度信息，然后利用双结构神经网络对手势深度图进行分类和识别，最后提出了在增强现实环境下的手势识别方法，从而实现真实环境中的手势识别。通过利用神经网络对手势深度信息进行深度学习，提高手势识别率。通过利用DTW算法对动态视频帧进行优化，能够获取到可被CNN神经网络识别的动态视频帧，从而提高动态手势识别率，进而提高对真实自然空间的沉浸感，有利于提高用户体验。本申请实施例利用双结构神经网络对训练集中的手势深度图进行分类，通过两种神经网络不断调整权值，从而得到两个神经网络的最佳融合模型，进而得到每个类的最佳概率密度，有利于提高手势识别率。本申请还实时采集实时获取人手的手势深度信息，并根据同一位置不同时刻两个关节点坐标是否相等以及结合双结构网络识别模型，快速判断当前手势，因此本申请实施例中手势识别的实时性较高。
本申请还提供一种基于增强现实的手势识别系统，该系统主要包括：信息获取模块、集合分类模块、剪切模块、优化模块、识别模型建立模块、测试模块和识别模块七部分。通过优化模块的设置，能够分别利用DTW算法对动态手势深度图中的动态视频帧进行优化，从而获取可被CNN神经网络识别的动态视频帧，有利于提高动态手势识别率，进而提高用户对自然空间的沉浸感，有利于提高用户体验。识别模型建立模块的设置，能够利用双结构神经网络对训练集中的手势深度图进行分类和训练，从而建立一双结构网络识别模型，通过两种神经网络不断调整权值，从而得到两个神经网络的最佳融合模型，进而得到每个类的最佳概率密度，有利于提高手势识别率。信息获取模块和识别模块的设置，能够实时获取人手的手势深度信息，有利于快速判断当前手势，从而提高手势识别的实时性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种基于增强现实的手势识别方法的流程示意图；
图2为本申请实施例所提供的一种基于增强现实的手势识别系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
为了更好地理解本申请，下面结合附图来详细解释本申请的实施方式。
实施例一
参见图1，图1为本申请实施例所提供的一种基于增强现实的手势识别方法的流程示意图。由图1可知，本实施例中基于增强现实的手势识别方法，主要包括如下步骤：
S1：获取人手的人手的手势深度图和手势深度信息，其中，手势深度图包括静态视频帧和动态视频帧，手势深度信息包括关节点坐标。
本实施例中可以采用kinect体感设备获取人手的手势深度信息和手势深度图。利用kinect体感设备的骨骼信息获取到人手的关节点坐标，即：深度坐标，并获取手势深度图。
本实施例中手势深度图包括静态视频帧和动态视频帧，第n帧手势深度图所对应的关节点坐标为Sn(θ,γ)，其中，θ为该关节点的深度三维坐标，γ为该关节点的手部关节自由度。
获取到人手的关节点坐标和手势深度图之后，调整手势深度图的大小，执行步骤S2：按照训练集和测试集7:3的比例，将手势深度图分为训练集和测试集。
具体地，将数据集合按照训练集和测试集7:3的比例，抽样分层抽取手势深度图，将全部手势深度图组成的数据集合，分为训练集和测试集，且训练集和测试集的比例为7:3。通过对手势深度图按照训练集和测试集进行分类，有利于后续利用神经网络进行深度学习。
S3：分别将训练集和测试集中的手势深度图剪切为大小相等的n个单元，n为自然数。
将全部手势深度图划分为训练集和测试集之后，对于训练集和测试集中的手势深度图中人手区域分布剪切为n个单元，然后对n个单元进行调整，使其大小相等。具体地，步骤S3包括如下过程：
S31：将训练集中手势深度图的人手区域剪切为n个单元，n为自然数。
S32：对训练集中n个单元的人手区域进行调整，获取大小相等的n个单元的训练集人手区域。
通过调整使得n个单元的训练集人手区域相等，有利于提高训练集训练过程的稳定性，从而提高手势识别的准确性。
S33：将测试集中手势深度图的人手区域剪切为n个单元。
S34：对测试集中n个单元的人手区域进行调整，获取大小相等的n个单元的测试集人手区域。
当然，本实施例中也可以先执行步骤S33和S34，然后执行步骤S31和步骤S32。
S4：分别利用DTW算法对训练集和测试集中的动态视频帧进行优化，获取可被CNN神经网络识别的动态视频帧。
本实施例通过DTW算法分别对训练集中的动态视频帧和测试集中的动态视频帧进行优化，获取到可被CNN神经网络识别的动态视频帧，从而可以将优化后的动态视频帧输入CNN神经网络进行训练，有利于提高动态视频帧的识别率，进而提高手势识别率。
S5：利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型。
本实施例中的CNN神经网络，即：卷积神经网络的结构如表1所示。
Layers #Kernels FilterSize Stride Pad
1 Conv1 3*3 200*200*64 1 SAME
2 Pmax1 3*3 100*100*64 1 SAME
3 Conv2 3*3 100*100*128 1 SAME
4 Pmax2 3*3 50*50*128 2 SAME
5 Conv3 3*3 50*50*256 1 SAME
6 Conv4 1 SAME
7 Conv5 50*50*128 1 SAME
8 Pmax3 3*3 25*25*128 2 SAME
9 Fc1 1*1*1024 SAME
10 Fc2 SAME
11 Fc3 1*1*7 SAME
12 Smax
表1卷积神经网络结构表
具体地，步骤S5又包括如下过程：
S51：将训练集中的全部手势深度图分别输入CNN神经网络和DBN神经网络中，提取手势特征。
本实施例将训练集中全部手势深度图输入tensorflow框架下的CNN神经网络中，经过5个卷积层，3个池化，最后通过3个全连接层提取出手势特征。同时，将训练集中全部手势深度图输入DBN神经网络中提取手势特征。
S52：利用分类器将CNN神经网络提取得到的手势特征和DBN神经网络提取得到的手势特征分别分为一个k维向量。其中，k为训练集中全部手势深度图种类的数量，k为自然数，且k＞2。
本实施例中分类器采用softmax分类器，能够快速获取属于每一个类的概率，从而提高手势识别效率。提取到训练集中的手势特征之后，CNN神经网络和DBN神经网络分别经过softmax分类器，将手势深度图各分成一个k维向量。
S53：根据k维向量，确定k类手势深度图中每一个类的概率。
由于每个类中会获取到多个概率，取当前类的多个概率中的最大值作为当前类的概率。本实施例通过步骤S51，将手势深度图分别输入CNN神经网络和DBN神经网络中提取手势特征之后，通过步骤S52和S53，CNN神经网络和DBN神经网络分别得到手势特征概率。
S54：分别利用公式计算得出CNN神经网络训练得到的k类累计概率密度，利用公式计算得出DBN神经网络训练得到的k类累计概率密度。
其中，HC(n)是CNN神经网络中每类的概率密度，HD(n)是DBN神经网络中每类的概率密度。
S55：根据CNN神经网络训练得到的k类累计概率密度和DBN神经网络的k类累计概率密度，建立双结构网络识别模型PCD＝ωPC(k)+(1-ω)PD(k)。
其中，ω为权值，可以进行调节使得PCD的值达到最大，PC(k)为CNN神经网络训练得到的k类累加概率密度，PD(k)为DBN神经网络训练得到的k类累加概率密度。
由以上步骤S54和S55可知，本实施例分别对CNN神经网络训练softmax分类器输出得到CNN神经网络训练得到的k类累计概率密度，对DBN神经网络训练softmax分类器输出得到DBN神经网络的k类累计概率密度，然后融合两个网络，通过调整权值ω计算得到每个类的最佳概率密度，也就是两个神经网络的最佳融合模型，因此，本实施例采用双结构神经网络，能够提高手势识别率和手势识别的准确性。
获取到双结构网络识别模型之后，执行步骤S6：将测试集输入至双结构网络识别模型中进行测试，获取手势识别结果。
S7：在增强现实环境中，根据所获取的手势深度信息和双结构网络识别模型，对手势进行识别。
具体地，步骤S7包括如下过程：
S71：分别根据第n帧手势深度图和第n-1帧手势深度图，获取同一位置关节点在不同时刻的两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)，其中，θ为该同一位置关节点的深度三维坐标，γ为该同一位置关节点的手部关节自由度。
S72：判断两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)是否相等。
如果两个关节点坐标相等，也就是手部状态为0，则执行步骤S73：判定当前的手势为静止。
如果两个关节点坐标不相等，也就是手部状态不为0，则执行步骤S74：判定当前的手势为双结构网络识别模型对应的手势识别结果。
也就是当两个关节点坐标不相等时，根据双结构网络识别模型对应的状态识别为对应的手势。
进一步地，本实施例中手部关节自由度根据关节点坐标在真实空间中的映射以及深度三维坐标确定。也就是说，本实施例中手部关节的自由度γ是根据Kinect中获取的人手坐标在真实空间中的映射，然后根据过程中得到的三维坐标确定的。且本实施例中关节点坐标与真实空间之间的映射关系为：
其中，(KinectX,KinectY,KinectZ)是深度摄像头呈现的真实空间中利用深度摄像头得到的手部关节坐标，本实施例中可以采用kinect体感设备的深度摄像头，(UX,UY,UZ)是unity环境下的虚拟场景坐标，W是在场景中控制虚拟物体与真实手的坐标对应的比例关系，(valX,valY,valZ)是真实空间的人手与虚拟物体视点原点的对应关系。
本实施例通过步骤S1中实时获取人手的手势深度信息，并根据同一位置关节点在不同时刻的两个关节点坐标是否相等以及结合双结构网络识别模型，快速判断当前手势，有利于大大提高手势识别的实时性。
实施例二
在图1所示实施例的基础之上参见图2，图2为本申请实施例所提供的一种基于增强现实的手势识别系统的结构示意图。由图2可知，本实施例中基于增强现实的手势识别系统主要包括：信息获取模块、集合分类模块、剪切模块、优化模块、识别模型建立模块、测试模块和识别模块七部分。
其中，信息获取模块用于获取人手的手势深度图和手势深度信息，手势深度图包括静态视频帧和动态视频帧，手势深度信息包括关节点坐标。集合分类模块用于按照训练集和测试集7:3的比例，将手势深度图分为训练集和测试集。剪切模块用于分别将训练集和测试集中手势深度图剪切为大小相等的n个单元，n为自然数。优化模块用于分别利用DTW算法对训练集和测试集中的动态视频帧进行优化，获取可被CNN神经网络识别的动态视频帧。识别模型建立模块用于利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型。测试模块用于将测试集输入至双结构网络识别模型中进行测试，获取手势识别结果。识别模块用于在增强现实环境中，根据所获取的手势深度信息和双结构网络识别模型，对手势进行识别。
进一步地，识别模型建立模块包括：提取单元、向量获取单元、概率确定单元、累计概率密度计算单元和双结构网络识别模型建立单元。其中，提取单元用于将训练集中的全部手势深度图分别输入CNN神经网络和DBN神经网络中，提取手势特征。向量获取单元用于利用分类器将CNN神经网络提取得到的手势特征和DBN神经网络提取得到的手势特征分别分为一个k维向量，其中，k为训练集中全部手势深度图种类的数量。概率确定单元用于根据k维向量，确定k类手势深度图中每一个类的概率。累计概率密度计算单元分别利用公式计算得出CNN神经网络训练得到的k类累计概率密度，利用公式计算得出DBN神经网络训练得到的k类累计概率密度，其中，HC(n)和HD(n)分别是CNN神经网络中每类的概率密度和DBN神经网络中每类的概率密度。双结构网络识别模型建立单元用于根据CNN神经网络训练得到的k类累计概率密度和DBN神经网络的k类累计概率密度，建立双结构网络识别模型PCD＝ωPC(nC)+(1-ω)PD(nD)，其中，ω为权值，PC(nC)为CNN神经网络训练得到的k类累加概率密度，PD(nD)为DBN神经网络训练得到的k类累加概率密度。
进一步地，本实施例中识别模块包括：关节点坐标获取单元、判断单元和手势判定单元。
其中，关节点坐标获取单元用于分别根据第n帧手势深度图和第n-1帧手势深度图，获取同一位置关节点在不同时刻的两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)，其中，θ为深度三维坐标，γ为手部关节自由度。判断单元用于判断关节点坐标Sn(θ,γ)和Sn-1(θ,γ)是否相等。手势判定单元用于当关节点坐标Sn(θ,γ)和Sn-1(θ,γ)相等时，判定当前的手势为静止；当关节点坐标Sn(θ,γ)和Sn-1(θ,γ)不相等时，判定当前的手势为双结构网络识别模型对应的手势识别结果。
该实施例未详细描述的部分，可以参见图1所示的实施例1，两个实施例之间可以互相参照，在此不再赘述。
本申请还包括一种基于增强现实的手势识别装置，该装置主要包括：处理器以及与所述处理器通信连接的存储器。其中，存储器中存储有可被处理器执行的指令，该指令被处理器执行，以使处理器能够执行如上所述的基于增强现实的手势识别方法。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于增强现实的手势识别方法，其特征在于，所述方法包括：
获取人手的手势深度图和手势深度信息，所述手势深度图包括静态视频帧和动态视频帧，所述手势深度信息包括关节点坐标；
按照训练集和测试集7:3的比例，将所述手势深度图分为训练集和测试集；
分别将训练集和测试集中的手势深度图剪切为大小相等的n个单元，n为自然数；
分别利用DTW算法对训练集和测试集中的动态视频帧进行优化，获取可被CNN神经网络识别的动态视频帧；
利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型；
将测试集输入至所述双结构网络识别模型中进行测试，获取手势识别结果；
在增强现实环境中，根据所获取的手势深度信息和所述双结构网络识别模型，对手势进行识别。
2.根据权利要求1所述的一种基于增强现实的手势识别方法，其特征在于，所述分别将训练集和测试集中的手势深度图剪切为大小相等的n个单元，n为自然数，包括：
将训练集中手势深度图的人手区域剪切为n个单元；
对训练集中n个单元的人手区域进行调整，获取大小相等的n个单元的训练集人手区域；
将测试集中手势深度图的人手区域剪切为n个单元；
对测试集中n个单元的人手区域进行调整，获取大小相等的n个单元的测试集人手区域。
3.根据权利要求1所述的一种基于增强现实的手势识别方法，其特征在于，所述利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型，包括：
将训练集中的全部手势深度图分别输入CNN神经网络和DBN神经网络中，提取手势特征；
利用分类器将CNN神经网络提取得到的手势特征和DBN神经网络提取得到的手势特征分别分为一个k维向量，其中，k为训练集中全部手势深度图种类的数量，k为自然数，且k＞2；
根据所述k维向量，确定k类手势深度图中每一个类的概率；
分别利用公式计算得出CNN神经网络训练得到的k类累计概率密度，利用公式计算得出DBN神经网络的k类累计概率密度，其中，HC(n)和HD(n)分别是CNN神经网络中每类的概率密度和DBN神经网络中每类的概率密度；
根据所述CNN神经网络训练得到的k类累计概率密度和DBN神经网络训练得到的k类累计概率密度，建立双结构网络识别模型PCD＝ωPC(k)+(1-ω)PD(k)，其中，ω为权值，PC(k)为CNN神经网络训练得到的k类累加概率密度，PD(k)为DBN神经网络训练得到的k类累加概率密度。
4.根据权利要求3所述的一种基于增强现实的手势识别方法，其特征在于，所述分类器为softmax分类器。
5.根据权利要求1所述的一种基于增强现实的手势识别方法，其特征在于，所述在增强现实环境中，根据所获取的手势深度信息和所述双结构网络识别模型，对手势进行识别，包括：
分别根据第n帧手势深度图和第n-1帧手势深度图，获取同一位置关节点在不同时刻的两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)，其中，θ为深度三维坐标，γ为手部关节自由度；
判断两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)是否相等；
如果是，判定当前的手势为静止；
如果否，判定当前的手势为双结构网络识别模型对应的手势识别结果。
6.根据权利要求5所述的一种基于增强现实的手势识别方法，其特征在于，所述手部关节自由度根据所述关节点坐标在真实空间中的映射以及深度三维坐标确定，且所述关节点坐标与真实空间之间的映射关系为：其中，(KinectX,KinectY,KinectZ)是真实空间中利用深度摄像头获取的手部关节坐标，(UX,UY,UZ)是unity环境下的虚拟场景坐标，W是在场景中控制虚拟物体与真实手的坐标对应的比例关系，(valX,valY,valZ)是真实空间的人手与虚拟物体视点原点的对应关系。
7.一种基于增强现实的手势识别系统，其特征在于，所述系统包括：
信息获取模块，用于获取人手的手势深度图和手势深度信息，所述手势深度图包括静态视频帧和动态视频帧，所述手势深度信息包括关节点坐标；
集合分类模块，用于按照训练集和测试集7:3的比例，将所述手势深度图分为训练集和测试集；
剪切模块，用于分别将训练集和测试集中手势深度图剪切为大小相等的n个单元，n为自然数；
优化模块，用于分别利用DTW算法对训练集和测试集中的所述动态视频帧进行优化，获取可被CNN神经网络识别的动态视频帧；
识别模型建立模块，用于利用双结构神经网络，对训练集中的手势深度图进行分类和训练，建立一双结构网络识别模型；
测试模块，用于将测试集输入至所述双结构网络识别模型中进行测试，获取手势识别结果；
识别模块，用于在增强现实环境中，根据所获取的手势深度信息和所述双结构网络识别模型，对手势进行识别。
8.根据权利要求7所述的一种基于增强现实的手势识别系统，其特征在于，所述识别模型建立模块包括：
提取单元，用于将训练集中的全部手势深度图分别输入CNN神经网络和DBN神经网络中，提取手势特征；
向量获取单元，用于利用分类器将CNN神经网络提取得到的手势特征和DBN神经网络提取得到的手势特征分别分为一个k维向量，其中，k为训练集中全部手势深度图种类的数量，k为自然数，且k＞2；
概率确定单元，用于根据所述k维向量，确定k类手势深度图中每一个类的概率；
累计概率密度计算单元，分别利用公式计算得出CNN神经网络训练得到的k类累计概率密度，利用公式计算得出DBN神经网络训练得到的k类累计概率密度，其中，HC(n)和HD(n)分别是CNN神经网络中每类的概率密度和DBN神经网络中每类的概率密度；
双结构网络识别模型建立单元，用于根据所述CNN神经网络训练得到的k类累计概率密度和DBN神经网络的k类累计概率密度，建立双结构网络识别模型PCD＝ωPC(k)+(1-ω)PD(k)，其中，ω为权值，PC(k)为CNN神经网络训练得到的k类累加概率密度，PD(k)为DBN神经网络训练得到的k类累加概率密度。
9.根据权利要求7所述的一种基于增强现实的手势识别系统，其特征在于，所述识别模块包括：
关节点坐标获取单元，用于分别根据第n帧手势深度图和第n-1帧手势深度图，获取同一位置关节点在不同时刻的两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)，其中，θ为深度三维坐标，γ为手部关节自由度；
判断单元，用于判断两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)是否相等；
手势判定单元，用于当两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)相等时，判定当前的手势为静止；当两个关节点坐标Sn(θ,γ)和Sn-1(θ,γ)不相等时，判定当前的手势为双结构网络识别模型对应的手势识别结果。
10.一种基于增强现实的手势识别装置，其特征在于，所述装置包括：处理器以及与所述处理器通信连接的存储器，其中，
所述存储器中存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行权利要求1至6中任意一项所述的基于增强现实的手势识别方法。
CN201910274142.XA 2019-03-29 2019-03-29 一种基于增强现实的手势识别方法、系统及装置 Active CN109993135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910274142.XA CN109993135B (zh) 2019-03-29 2019-03-29 一种基于增强现实的手势识别方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910274142.XA CN109993135B (zh) 2019-03-29 2019-03-29 一种基于增强现实的手势识别方法、系统及装置

Publications (2)

Publication Number Publication Date
CN109993135A true CN109993135A (zh) 2019-07-09
CN109993135B CN109993135B (zh) 2022-11-04

Family

ID=67132328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910274142.XA Active CN109993135B (zh) 2019-03-29 2019-03-29 一种基于增强现实的手势识别方法、系统及装置

Country Status (1)

Country Link
CN (1) CN109993135B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554774A (zh) * 2019-07-22 2019-12-10 济南大学 一种面向ar的导航式交互范式系统
CN110888533A (zh) * 2019-11-27 2020-03-17 云南电网有限责任公司电力科学研究院 一种结合体感设备的高精度手势交互系统及方法
CN111444764A (zh) * 2020-02-21 2020-07-24 广东工业大学 一种基于深度残差网络的手势识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170168586A1 (en) * 2015-12-15 2017-06-15 Purdue Research Foundation Method and System for Hand Pose Detection
CN109189206A (zh) * 2018-06-20 2019-01-11 济南大学 一种三维手势生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170168586A1 (en) * 2015-12-15 2017-06-15 Purdue Research Foundation Method and System for Hand Pose Detection
CN109189206A (zh) * 2018-06-20 2019-01-11 济南大学 一种三维手势生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨文斌等: "基于肤色特征和卷积神经网络的手势识别方法", 《重庆工商大学学报(自然科学版)》 *
梁欢等: "面向移动增强现实的手势交互方法", 《微型电脑应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554774A (zh) * 2019-07-22 2019-12-10 济南大学 一种面向ar的导航式交互范式系统
CN110554774B (zh) * 2019-07-22 2022-11-04 济南大学 一种面向ar的导航式交互范式系统
CN110888533A (zh) * 2019-11-27 2020-03-17 云南电网有限责任公司电力科学研究院 一种结合体感设备的高精度手势交互系统及方法
CN111444764A (zh) * 2020-02-21 2020-07-24 广东工业大学 一种基于深度残差网络的手势识别方法

Also Published As

Publication number Publication date
CN109993135B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN110135375B (zh) 基于全局信息整合的多人姿态估计方法
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
CN106648103B (zh) 一种vr头戴设备的手势跟踪方法和vr头戴设备
CN106650687B (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN110738161A (zh) 一种基于改进生成式对抗网络的人脸图像矫正方法
CN108256421A (zh) 一种动态手势序列实时识别方法、系统及装置
CN107688391A (zh) 一种基于单目视觉的手势识别方法和装置
CN105118023B (zh) 基于人脸特征点的实时视频人脸卡通化生成方法
CN109993135A (zh) 一种基于增强现实的手势识别方法、系统及装置
CN112541422B (zh) 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN107944435A (zh) 一种三维人脸识别方法、装置及处理终端
CN111277759B (zh) 构图提示方法、装置、存储介质及电子设备
CN107808376A (zh) 一种基于深度学习的举手检测方法
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸系统及方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN111091075A (zh) 人脸识别方法、装置、电子设备及存储介质
CN109117753A (zh) 部位识别方法、装置、终端及存储介质
CN114120389A (zh) 网络训练及视频帧处理的方法、装置、设备及存储介质
CN106503619B (zh) 基于bp神经网络的手势识别方法
CN107066979A (zh) 一种基于深度信息和多维度卷积神经网络的人体动作识别方法
CN112001215A (zh) 一种基于三维唇动的文本无关说话人身份识别方法
CN109993108B (zh) 一种增强现实环境下的手势纠错方法、系统及装置
CN107977618A (zh) 一种基于双层级联神经网络的人脸对齐方法
Zhang Analyzing body changes of high-level dance movements through biological image visualization technology by convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant