CN108664877A - 一种基于三维深度数据的动态手势识别方法 - Google Patents

一种基于三维深度数据的动态手势识别方法 Download PDF

Info

Publication number
CN108664877A
CN108664877A CN201810194941.1A CN201810194941A CN108664877A CN 108664877 A CN108664877 A CN 108664877A CN 201810194941 A CN201810194941 A CN 201810194941A CN 108664877 A CN108664877 A CN 108664877A
Authority
CN
China
Prior art keywords
vector
frame
finger tip
point
dynamic gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810194941.1A
Other languages
English (en)
Inventor
刘越
赵丹
王涌天
李广传
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201810194941.1A priority Critical patent/CN108664877A/zh
Publication of CN108664877A publication Critical patent/CN108664877A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

本发明公开了一种基于三维深度数据的动态手势识别方法，能够提高动态手势识别的识别效果。包括如下步骤：利用体感控制器Leap Motion获得待识别动态手势序列，获取待识别动态手势序列中各有效帧中各个骨骼关节点的位置坐标，并逐帧提取获得手形变化特征向量以及运动方向特征向量。采用混合高斯模型求解手形变化特征向量的Fisher向量编码形式。利用时间金字塔模型提取包含测试手势序列局部时间信息的特征向量。将包含待识别手势序列局部时间信息的特征向量采用支持向量机SVM的方式进行分类，在已有的动态手势数据库中的已知的带有局部时间信息的特征向量进行匹配，以匹配结果对应的动态手势作为识别结果。

Description

一种基于三维深度数据的动态手势识别方法
技术领域
本发明涉及人机交互技术领域，具体涉及一种基于三维深度数据的动态手势识别方法。
背景技术
目前，在人机交互领域，动态手势识别是近年来大热的人机交互方式。动态手势识别技术发展迅速。
现有技术中利用深度摄像头采集视频骨骼流，获取所需骨骼节点的三维位置，将手部的骨骼节点三维位置以六维向量的方式存储，通过六维向量和帧率得到速度六维向量，将速度六维向量与预先设定好的特殊方向单位向量进行点乘，选择内积结果最大的对应的特殊方向单位向量作为特征值存储，获得待识别手势相应的特征值时间序列，然后将该特征值时间序列传入已训练好的耦合隐马尔科夫模型中，与标准手势的特征值时间序列进行匹配，得到待识别手势最接近的标准手势，将其作为识别结果。此方案主要利用手势运动的方向作为手势的特征，根据该特征对手势进行识别。而本申请提案则是利用手部各骨骼关节点的相对位置和角度，提取出能够描述手部外形变化和手部运动方向的特征向量，并引入时间金字塔模型，描述动态手势的局部时间信息。基于此利用线性分类器对动态手势进行分类和识别。
现有的技术方案是利用手部的骨骼关节点信息提取用于识别不同动态手势的特征向量，但是其将手部的骨骼节点三维位置以六维向量的方式存储，并通过六维向量和帧率得到速度六维向量，对存储的六维速度向量列表进行特征提取，获得待识别手势相应的特征值时间序列，该技术方案提取的特征主要描述了动态手势的方向信息，这对在手势完成过程中，手部运动方向变化较小，而手部外观形状变化较大的动态手势的识别结果较差。同时该方案的特征时间序列描述的是动态手势的全局时间信息，由于没有对动态手势序列的局部时间信息进行描述，这将限制方案对相似的动态手势的识别能力。
因此，如何综合手部运动方向变化和手部外形变化，并结合动态手势序列的局部时间信息对手势进行识别，从而提高动态手势识别的识别效果是亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于三维深度数据的动态手势识别方法，能够综合手部运动方向变化特征和手部外形变化特征，并结合动态手势序列的局部时间信息对手势进行识别，从而提高动态手势识别的识别效果。
本发明的技术方案提供的一种基于三维深度数据的动态手势识别方法，包括如下步骤：
利用体感控制器Leap Motion获得待识别动态手势序列，获取待识别动态手势序列中各有效帧中各个骨骼关节点的位置坐标，并逐帧提取获得手形变化特征向量以及提取获得运动方向特征向量。
采用混合高斯模型求解手形变化特征向量的Fisher向量编码形式。
利用时间金字塔模型将测试动态手势序列进行分层，逐层提取手形变化特征向量的Fisher向量编码形式和运动方向特征向量，并将提取好的特征向量逐层连接，得到包含测试手势序列局部时间信息的特征向量。
将包含待识别手势序列局部时间信息的特征向量采用支持向量机SVM的方式进行分类，在已有的动态手势数据库中的已知的带有局部时间信息的特征向量进行匹配，以匹配结果对应的动态手势作为识别结果。
优选地，提取获得手形变化特征向量，具体为：
获取待识别动态手势序列中的有效帧。
取各有效帧中各个骨骼关节点的位置坐标，并基于此逐帧提取获得手形变化特征向量。
手型变化特征向量由指尖距离向量、相邻指尖距离向量、指尖角度向量以及指尖高度向量组成。
指尖距离向量为各个指尖到手掌中心的距离FDi,i＝1，…，5表示5个指尖，大小为5维。
相邻指尖距离向量为相邻指尖的距离AFDi，大小为4维。
指尖角度向量为各个指尖在由手掌法向量确定的手掌平面上的投影与手掌中心形成的向量与手部方向向量之间形成的夹角FAi，大小为5维。
指尖高度向量，计算各指尖到手掌平面的距离FEi，大小为5维。
将指尖距离向量、相邻指尖距离向量、指尖角度向量以及指尖高度向量连结，得到大小为19维的手形变化特征向量Fs＝{FDi，AFDi，FAi，FEi}。
优选地，采用混合高斯模型求解手形变化特征向量的Fisher向量编码形式。
利用历史手形变化特征向量训练一个混合高斯模型。
混合高斯模型的聚类数目为设定数值。
对混合高斯模型的模型参数均值和方差分别求导，得到手形变化特征向量的Fisher向量编码形式Fsf。
优选地，获取待识别动态手势序列中的有效帧，包括
计算手势序列中相邻帧手部对应关节点速度变化，并计算各个骨骼关节点的速度变化之和，得到相应的速度变化曲线。
采取分段多项式拟合的方式对速度曲线进行拟合，得到平滑的速度曲线。
取平滑的速度曲线中速度的极小值点，作为手势的初步分割点。
当相邻两初步分割点之间有效帧数大于设定阈值时，保留该两初步分割点作为有效帧分割点；若相邻两初步分割点之间有效帧数小于设定阈值，则分别以两个初步分割点作为起始点，选取与下一初步分割点的之间的有效帧数大于设定阈值的起始点作为有效帧分割点，若两起始点与下一初步分割点的之间的有效帧数均大于设定阈值，则取与下一初步分割点的之间的有效帧数小的起始点作为有效帧分割点。
相邻两有效帧分割点之间的部分为有效帧。
优选地，提取获得运动方向特征向量，具体为：
获取待识别动态手势序列中的有效帧。
取各有效帧中手掌中心关节的位置坐标，计算相隔两帧手掌中心位置变化的方向向量，并用球坐标的形式表示。
将球坐标的θ和空间分别分成6份和8份，得到48份的3D空间。
将每个动态手势序列中的每一个掌心位置变化方向向量投票至唯一的3D空间中，得到48维的运动方向特征向量FD。
优选地，将包含待识别手势序列局部时间信息的特征向量采用支持向量机SVM的方式进行分类，包括：
利用历史动态手势序列，计算包含历史动态手势序列局部时间信息的特征向，训练一个G(G-1)/2类的线性SVM分类器，其中G为动态手势的种类数。
将包含待识别手势序列局部时间信息的特征向量放入训练后的线性SVM分类器进行分类。
有益效果：
本发明实施例所提供的基于三维深度数据的动态手势识别方法，利用深度传感器提供的手部骨骼信息，提取既能描述动态手势完成过程中手部运动方向变化的特征信息，又能描述手部外形变化的特征信息。除此之外，利用时间金字塔模型将动态手势序列分层，分层后的各个子层序列充分的描述了动态手势的局部时间信息。通过这种识别方法提升动态手势识别的准确率。
附图说明
图1为本发明实施例所提供的一种基于三维深度数据的动态手势识别方法流程图；
图2为本发明实施例中的Leap Motion深度传感器提供的手部骨骼结构图；
图3为本发明实施例中的动态手势数据库示意图；
图4为本发明实施例中的平滑手势运动速度变化曲线；
图5为本发明实施例中的平滑曲线局部效果图；
图6为本发明实施例中的动态手势初步分割点；
图7为本发明实施例中的动态手势有效帧分割点；
图8为本发明实施例中的动态手势局部效果图；
图9为本发明实施例中的时间金字塔模型分层原理。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于三维深度数据的动态手势识别方法，其流程如图1所示，包括如下步骤：
S1、利用体感控制器Leap Motion获得待识别动态手势序列，获取待识别动态手势序列中各有效帧中各个骨骼关节点的位置坐标，并逐帧提取获得手形变化特征向量以及提取获得运动方向特征向量。
Leap Motion提供的手部骨骼结构如图2所示。在正式开始实验任务之前，任务的进程和操作方法都会对被试者进行说明，以确保提取的动态手势数据库有效。
获取被试者的动态手势序列，创建动态手势数据库，动态手势数据库中所包含的8种动态手势如图3所示。8种手势既包括手形变化较大但掌心运动方向几乎不发生变化的动态手势，也包括掌心运动发生很大变化而手形保持不变的动态手势，以及几种相似手势。每位被试者依次完成每个动态手势，且每个动态手势完成10次，以确保数据的有效性。得到的动态手势数据库共包含8种动态手势，共包含800个动态手势序列。
本发明实施例中，要提取获得手形变化特征向量，可以采用如下具体步骤：
S101、获取待识别动态手势序列中的有效帧；本发明实施例中采用如下具体步骤进行有效帧的提取：
S1011、计算手势序列中相邻帧手部对应关节点速度变化，并计算各个骨骼关节点的速度变化之和，得到相应的速度变化曲线；
S1012、采取分段多项式拟合的方式对速度曲线进行拟合，得到平滑的速度曲线；本发明实施例中平滑手势运动速度变化曲线如图4所示。平滑曲线局部效果图如图5所示。
S1013、取平滑的速度曲线中速度的极小值点，作为手势的初步分割点；本发明实施例中的动态手势初步分割点如图6所示。
当相邻两初步分割点之间有效帧数大于设定阈值时，保留该两初步分割点作为有效帧分割点；若相邻两初步分割点之间有效帧数小于设定阈值，则分别以两个初步分割点作为起始点，选取与下一初步分割点的之间的有效帧数大于设定阈值的起始点作为有效帧分割点，若两起始点与下一初步分割点的之间的有效帧数均大于设定阈值，则取与下一初步分割点的之间的有效帧数小的起始点作为有效帧分割点；本发明实施例中的动态手势有效帧分割点如图7所示。相邻两有效帧分割点之间的部分为有效帧。
S102、取各有效帧中各个骨骼关节点的位置坐标，并基于此逐帧提取获得手形变化特征向量；
S103、手型变化特征向量由指尖距离向量、相邻指尖距离向量、指尖角度向量以及指尖高度向量组成；
指尖距离向量为各个指尖到手掌中心的距离FDi,i＝1，…，5表示5个指尖，大小为5维；
相邻指尖距离向量为相邻指尖的距离AFDi，大小为4维；
指尖角度向量为各个指尖在由手掌法向量确定的手掌平面上的投影与手掌中心形成的向量与手部方向向量之间形成的夹角FAi，大小为5维；
指尖高度向量，计算各指尖到手掌平面的距离FEi，大小为5维；
将指尖距离向量、相邻指尖距离向量、指尖角度向量以及指尖高度向量连结，得到大小为19维的手形变化特征向量Fs＝{FDi，AFDi，FAi，FEi}。
本发明实施例中的动态手势局部效果图如图8所示。
本发明实施例中，要提取获得运动方向特征向量，具体为：
S1001、获取待识别动态手势序列中的有效帧；
S1002、取各有效帧中手掌中心关节的位置坐标，计算相隔两帧手掌中心位置变化的方向向量，并用球坐标的形式表示；
S1003、将球坐标的θ和空间分别分成6份和8份，得到48份的3D空间；
S1004、将每个动态手势序列中的每一个掌心位置变化方向向量投票至唯一的3D空间中，得到48维的运动方向特征向量FD。
S2、采用混合高斯模型求解手形变化特征向量的Fisher向量编码形式。
本发明实施例中，采用混合高斯模型求解手形变化特征向量的Fisher向量编码形式，采用如下步骤进行：
利用历史手形变化特征向量训练一个混合高斯模型；
混合高斯模型的聚类数目为设定数值；
对混合高斯模型的模型参数均值和方差分别求导，得到手形变化特征向量的Fisher向量编码形式Fsf。
S3、利用时间金字塔模型将测试动态手势序列进行分层，逐层提取手形变化特征向量的Fisher向量编码形式和运动方向特征向量，并将提取好的特征向量逐层连接，得到包含测试手势序列局部时间信息的特征向量。
本发明实施例中的时间金字塔模型分层原理如图9所示，引入时间金字塔模型，将每个手势序列分成3层(经过实验验证当分层数目为3层的时候识别准确率最高)，。得到的各个子层为手势序列的部分有效帧，对每个子层序列分别提取手形变化特征向量的Fisher向量形式和运动方向特征向量，并将提取好的特征向量逐层连接，具体连接形式表示为
layer为时间金字塔模型的分层数。最终每个动态手势序列得到一个包含了手势序列局部时间信息的特征向量。
S4、将包含待识别手势序列局部时间信息的特征向量采用支持向量机SVM的方式进行分类，在已有的动态手势数据库中的已知的带有局部时间信息的特征向量进行匹配，以匹配结果对应的动态手势作为识别结果。
本发明实施例中，将包含待识别手势序列局部时间信息的特征向量采用支持向量机SVM的方式进行分类，包括：
S401、利用历史动态手势序列，计算包含历史动态手势序列局部时间信息的特征向，训练一个G(G-1)/2类的线性SVM分类器，其中G为动态手势的种类数。
S402、将包含待识别手势序列局部时间信息的特征向量放入训练后的线性SVM分类器进行分类。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于三维深度数据的动态手势识别方法，其特征在于，包括：
利用体感控制器Leap Motion获得待识别动态手势序列，获取所述待识别动态手势序列中各有效帧中各个骨骼关节点的位置坐标，并逐帧提取获得手形变化特征向量以及提取获得运动方向特征向量；
采用混合高斯模型求解所述手形变化特征向量的Fisher向量编码形式；
利用时间金字塔模型将所述测试动态手势序列进行分层，逐层提取手形变化特征向量的Fisher向量编码形式和运动方向特征向量，并将提取好的特征向量逐层连接，得到包含测试手势序列局部时间信息的特征向量；
将所述包含待识别手势序列局部时间信息的特征向量采用支持向量机SVM的方式进行分类，在已有的动态手势数据库中的已知的带有局部时间信息的特征向量进行匹配，以匹配结果对应的动态手势作为识别结果。
2.如权利要求1所述的方法，其特征在于，所述提取获得手形变化特征向量，具体为：
获取所述待识别动态手势序列中的有效帧；
取各有效帧中各个骨骼关节点的位置坐标，并基于此逐帧提取获得手形变化特征向量；
所述手型变化特征向量由指尖距离向量、相邻指尖距离向量、指尖角度向量以及指尖高度向量组成；
所述指尖距离向量为各个指尖到手掌中心的距离FDi,i＝1，…，5表示5个指尖，大小为5维；
所述相邻指尖距离向量为相邻指尖的距离AFDi，大小为4维；
所述指尖角度向量为各个指尖在由手掌法向量确定的手掌平面上的投影与手掌中心形成的向量与手部方向向量之间形成的夹角FAi，大小为5维；
所述指尖高度向量，计算各指尖到手掌平面的距离FEi，大小为5维；
将指尖距离向量、相邻指尖距离向量、指尖角度向量以及指尖高度向量连结，得到大小为19维的所述手形变化特征向量Fs＝{FDi，AFDi，FAi，FEi}。
3.如权利要求2所述的方法，其特征在于，所述采用混合高斯模型求解所述手形变化特征向量的Fisher向量编码形式；
利用历史手形变化特征向量训练一个混合高斯模型；
所述混合高斯模型的聚类数目为设定数值；
对所述混合高斯模型的模型参数均值和方差分别求导，得到手形变化特征向量的Fisher向量编码形式Fsf。
4.如权利要求2所述的方法，其特征在于，所述获取所述待识别动态手势序列中的有效帧，包括
计算手势序列中相邻帧手部对应关节点速度变化，并计算各个骨骼关节点的速度变化之和，得到相应的速度变化曲线；
采取分段多项式拟合的方式对速度曲线进行拟合，得到平滑的速度曲线；
取所述平滑的速度曲线中速度的极小值点，作为手势的初步分割点；
当相邻两初步分割点之间有效帧数大于设定阈值时，保留该两初步分割点作为有效帧分割点；若相邻两初步分割点之间有效帧数小于所述设定阈值，则分别以两个初步分割点作为起始点，选取与下一初步分割点的之间的有效帧数大于所述设定阈值的起始点作为有效帧分割点，若两起始点与下一初步分割点的之间的有效帧数均大于所述设定阈值，则取与下一初步分割点的之间的有效帧数小的起始点作为有效帧分割点；
相邻两有效帧分割点之间的部分为有效帧。
5.如权利要求1～4任一所述的方法，其特征在于，所述提取获得运动方向特征向量，具体为：
获取所述待识别动态手势序列中的有效帧；
取各有效帧中手掌中心关节的位置坐标，计算相隔两帧手掌中心位置变化的方向向量，并用球坐标的形式表示；
将球坐标的θ和空间分别分成6份和8份，得到48份的3D空间；
将每个动态手势序列中的每一个掌心位置变化方向向量投票至唯一的3D空间中，得到48维的运动方向特征向量FD。
6.如权利要求5所述的方法，其特征在于，所述将所述包含待识别手势序列局部时间信息的特征向量采用支持向量机SVM的方式进行分类，包括：
利用历史动态手势序列，计算包含所述历史动态手势序列局部时间信息的特征向，训练一个G(G-1)/2类的线性SVM分类器，其中G为动态手势的种类数；
将所述包含待识别手势序列局部时间信息的特征向量放入训练后的所述线性SVM分类器进行分类。
CN201810194941.1A 2018-03-09 2018-03-09 一种基于三维深度数据的动态手势识别方法 Pending CN108664877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810194941.1A CN108664877A (zh) 2018-03-09 2018-03-09 一种基于三维深度数据的动态手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810194941.1A CN108664877A (zh) 2018-03-09 2018-03-09 一种基于三维深度数据的动态手势识别方法

Publications (1)

Publication Number Publication Date
CN108664877A true CN108664877A (zh) 2018-10-16

Family

ID=63784802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810194941.1A Pending CN108664877A (zh) 2018-03-09 2018-03-09 一种基于三维深度数据的动态手势识别方法

Country Status (1)

Country Link
CN (1) CN108664877A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109453513A (zh) * 2018-10-22 2019-03-12 网易（杭州）网络有限公司 一种vr游戏中虚拟枪支的控制方法和装置
CN109597485A (zh) * 2018-12-04 2019-04-09 山东大学 一种基于双指角域特征的手势交互系统及其工作方法
CN109597483A (zh) * 2018-11-30 2019-04-09 湖北安心智能科技有限公司 一种基于体感交互的会议方案演示装置及方法
CN110059580A (zh) * 2019-03-27 2019-07-26 长春理工大学 一种基于leap motion的动态手势识别增强方法
CN110196635A (zh) * 2019-04-28 2019-09-03 浙江大学 一种基于可穿戴设备的手势输入方法
CN110389652A (zh) * 2019-01-03 2019-10-29 上海工程技术大学 一种基于Leap Motion的起落架虚拟维修教学方法
CN110717385A (zh) * 2019-08-30 2020-01-21 西安文理学院 一种动态手势识别方法
CN110741385A (zh) * 2019-06-26 2020-01-31 Oppo广东移动通信有限公司 手势识别的方法和设备、定位追踪的方法和设备
CN110895684A (zh) * 2019-10-15 2020-03-20 西安理工大学 一种基于Kinect的手势动作识别方法
CN111062360A (zh) * 2019-12-27 2020-04-24 恒信东方文化股份有限公司 一种手部追踪系统及其追踪方法
CN111368714A (zh) * 2020-03-02 2020-07-03 北京华捷艾米科技有限公司 一种手势识别方法及装置
CN111639612A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 姿态矫正的方法、装置、电子设备及存储介质
CN111914798A (zh) * 2020-08-17 2020-11-10 四川大学 基于骨骼关节点数据的人体行为识别方法
CN112115840A (zh) * 2020-09-11 2020-12-22 桂林量具刃具有限责任公司 一种图像测量仪器的手势识别方法
CN112989996A (zh) * 2021-03-10 2021-06-18 上海逸动医学科技有限公司 一种关于膝关节运动的动态识别方法
CN113450824A (zh) * 2021-06-28 2021-09-28 武汉理工大学 一种基于多尺度视频特征融合的语音唇读方法及系统
CN113553884A (zh) * 2020-04-26 2021-10-26 武汉Tcl集团工业研究院有限公司 手势识别方法、终端设备及计算机可读存储介质
CN114816054A (zh) * 2022-04-14 2022-07-29 江苏锦花电子股份有限公司 一种基于物联网的显示器手势动态控制系统及方法
WO2023070933A1 (zh) * 2021-10-26 2023-05-04 深圳市鸿合创新信息技术有限责任公司 手势识别方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101752A (zh) * 2007-07-19 2008-01-09 华中科技大学 基于视觉特征的单音节语言唇读识别系统
WO2017206147A1 (en) * 2016-06-02 2017-12-07 Intel Corporation Recognition of activity in a video image sequence using depth information
CN107688391A (zh) * 2017-09-01 2018-02-13 广州大学 一种基于单目视觉的手势识别方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101752A (zh) * 2007-07-19 2008-01-09 华中科技大学 基于视觉特征的单音节语言唇读识别系统
WO2017206147A1 (en) * 2016-06-02 2017-12-07 Intel Corporation Recognition of activity in a video image sequence using depth information
CN107688391A (zh) * 2017-09-01 2018-02-13 广州大学 一种基于单目视觉的手势识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHAO, DAN ET AL.: "Skeleton-based Dynamic Hand Gesture Recognition using 3D Depth Data", 《ELECTRONIC IMAGING, 3D IMAGE PROCESSING，MEASUREMENT（3DIPM），AND APPLICATIONS 2018》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109453513A (zh) * 2018-10-22 2019-03-12 网易（杭州）网络有限公司 一种vr游戏中虚拟枪支的控制方法和装置
CN109453513B (zh) * 2018-10-22 2022-07-12 网易（杭州）网络有限公司 一种vr游戏中虚拟枪支的控制方法和装置
CN109597483A (zh) * 2018-11-30 2019-04-09 湖北安心智能科技有限公司 一种基于体感交互的会议方案演示装置及方法
CN109597485A (zh) * 2018-12-04 2019-04-09 山东大学 一种基于双指角域特征的手势交互系统及其工作方法
CN109597485B (zh) * 2018-12-04 2021-05-07 山东大学 一种基于双指角域特征的手势交互系统及其工作方法
CN110389652A (zh) * 2019-01-03 2019-10-29 上海工程技术大学 一种基于Leap Motion的起落架虚拟维修教学方法
CN110389652B (zh) * 2019-01-03 2023-04-28 上海工程技术大学 一种基于Leap Motion的起落架虚拟维修教学方法
CN110059580A (zh) * 2019-03-27 2019-07-26 长春理工大学 一种基于leap motion的动态手势识别增强方法
CN110196635B (zh) * 2019-04-28 2020-07-31 浙江大学 一种基于可穿戴设备的手势输入方法
CN110196635A (zh) * 2019-04-28 2019-09-03 浙江大学 一种基于可穿戴设备的手势输入方法
CN110741385A (zh) * 2019-06-26 2020-01-31 Oppo广东移动通信有限公司 手势识别的方法和设备、定位追踪的方法和设备
CN110741385B (zh) * 2019-06-26 2023-11-07 Oppo广东移动通信有限公司 手势识别的方法和设备、定位追踪的方法和设备
CN110717385A (zh) * 2019-08-30 2020-01-21 西安文理学院 一种动态手势识别方法
CN110895684A (zh) * 2019-10-15 2020-03-20 西安理工大学 一种基于Kinect的手势动作识别方法
CN110895684B (zh) * 2019-10-15 2023-06-27 西安理工大学 一种基于Kinect的手势动作识别方法
CN111062360B (zh) * 2019-12-27 2023-10-24 恒信东方文化股份有限公司 一种手部追踪系统及其追踪方法
CN111062360A (zh) * 2019-12-27 2020-04-24 恒信东方文化股份有限公司 一种手部追踪系统及其追踪方法
CN111368714A (zh) * 2020-03-02 2020-07-03 北京华捷艾米科技有限公司 一种手势识别方法及装置
CN113553884A (zh) * 2020-04-26 2021-10-26 武汉Tcl集团工业研究院有限公司 手势识别方法、终端设备及计算机可读存储介质
CN111639612A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 姿态矫正的方法、装置、电子设备及存储介质
CN111914798B (zh) * 2020-08-17 2022-06-07 四川大学 基于骨骼关节点数据的人体行为识别方法
CN111914798A (zh) * 2020-08-17 2020-11-10 四川大学 基于骨骼关节点数据的人体行为识别方法
CN112115840A (zh) * 2020-09-11 2020-12-22 桂林量具刃具有限责任公司 一种图像测量仪器的手势识别方法
CN112989996A (zh) * 2021-03-10 2021-06-18 上海逸动医学科技有限公司 一种关于膝关节运动的动态识别方法
CN113450824B (zh) * 2021-06-28 2022-08-16 武汉理工大学 一种基于多尺度视频特征融合的语音唇读方法及系统
CN113450824A (zh) * 2021-06-28 2021-09-28 武汉理工大学 一种基于多尺度视频特征融合的语音唇读方法及系统
WO2023070933A1 (zh) * 2021-10-26 2023-05-04 深圳市鸿合创新信息技术有限责任公司 手势识别方法、装置、设备及介质
CN114816054A (zh) * 2022-04-14 2022-07-29 江苏锦花电子股份有限公司 一种基于物联网的显示器手势动态控制系统及方法

Similar Documents

Publication Publication Date Title
CN108664877A (zh) 一种基于三维深度数据的动态手势识别方法
Simon et al. Hand keypoint detection in single images using multiview bootstrapping
CN103226387B (zh) 基于Kinect的视频人手指尖定位方法
CN100407798C (zh) 三维几何建模系统和方法
Han et al. Enhanced computer vision with microsoft kinect sensor: A review
Ren et al. Robust part-based hand gesture recognition using kinect sensor
CN107808143A (zh) 基于计算机视觉的动态手势识别方法
CN104571482B (zh) 一种基于体感识别的数字设备操控方法
CN109597485B (zh) 一种基于双指角域特征的手势交互系统及其工作方法
CN100562895C (zh) 一种基于区域分割和分段学习的三维人脸动画制作的方法
CN104008564B (zh) 一种人脸表情克隆方法
CN103500010B (zh) 一种视频人手指尖定位方法
CN105809144A (zh) 一种采用动作切分的手势识别系统和方法
CN104331164B (zh) 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法
CN107688391A (zh) 一种基于单目视觉的手势识别方法和装置
CN102567716B (zh) 一种人脸合成系统及实现方法
CN104517100B (zh) 手势预判方法和系统
CN102880866A (zh) 一种人脸特征提取方法
CN106407891A (zh) 基于卷积神经网络的目标匹配方法及装置
CN103679175A (zh) 一种基于深度摄像机的快速3d骨骼模型检测方法
CN109934847A (zh) 弱纹理三维物体姿态估计的方法和装置
CN108564120A (zh) 基于深度神经网络的特征点提取方法
CN107024989A (zh) 一种基于Leap Motion手势识别的沙画制作方法
CN110021000B (zh) 基于图层变形的发际线修复方法及装置
CN103455794A (zh) 一种基于帧融合技术的动态手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181016