CN106598227B - 基于Leap Motion和Kinect的手势识别方法 - Google Patents

基于Leap Motion和Kinect的手势识别方法 Download PDF

Info

Publication number
CN106598227B
CN106598227B CN201611033457.8A CN201611033457A CN106598227B CN 106598227 B CN106598227 B CN 106598227B CN 201611033457 A CN201611033457 A CN 201611033457A CN 106598227 B CN106598227 B CN 106598227B
Authority
CN
China
Prior art keywords
gesture
hand
information
finger tip
kinect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611033457.8A
Other languages
English (en)
Other versions
CN106598227A (zh
Inventor
刘珊
郑文锋
曾庆川
杨波
李晓璐
曹婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201611033457.8A priority Critical patent/CN106598227B/zh
Publication of CN106598227A publication Critical patent/CN106598227A/zh
Application granted granted Critical
Publication of CN106598227B publication Critical patent/CN106598227B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Abstract

本发明公开了一种基于Leap Motion和Kinect的手势识别方法，通过Leap Motion传感器获取指尖3D位置，手掌心位置以及手的方向信息，由这些信息计算出手指角度、手指尖到手掌心的距离以及手指尖的高度三种特征信息；同时利用Kinect传感器获取场景的深度信息和彩色信息，通过手部区域提取，随后获取圆形度、填充率、周长比这三种手势特征信息；融合Leap Motion和Kinect两个传感器获取的手势特征信息，对需要识别的每种手势采集若干样本构成训练样本集，利用这些样本集对SVM分类器进行训练；最后将需要识别的手势输入到训练好的SVM分类器中进而对手势进行识别。

Description

基于Leap Motion和Kinect的手势识别方法
技术领域
本发明属于人机交互技术领域，更为具体地讲，涉及一种基于Leap Motion和Kinect的手势识别方法。
背景技术
传统上来说，鼠标键盘这种经典的人机交互方式已经被使用了数十年，计算机交互的界面由黑白屏发展到了现在的各式各样更加人性化的彩色界面，计算机的功能也从早期的简单计算发展到现在的各式应用。随着计算机性能的不断提高，应用的不断更新，鼠标和键盘的交互方式已经开始限制人们的应用体验，人们需要一种更加自由更加方便的交互方式。基于手势的人机交互方式可以很好的满足这一个需求，所以对手势识别的研究就变的很有意义。
随着体感技术的发展和成熟，将体感技术应用于计算机输入领域已得以实现，为人类提供了更加舒适和自然的计算机输入方式。以前，自由手势研究大体分两种，一种是基于视觉的，一种是基于数据手套的，前者容易受光线、肤色等的干扰，对手部细节动作的实时重建很困难，后者对设备要求较高，而且需要实时戴着手套，很不方便。Kinect和LeapMotion虽然均为体感设备，但是前者精度低，对于手部的动作，细节信息不够，而LeapMotion的出现，弥补了前者的精度问题，而且它的设备小，成本低，扩展性强。
张云等人在专利《一种基于Leap Motion的非接触式计算机操控方法》中公开了一种基于Leap Motion的手势识别方法，徐昆等人在专利《手势识别方法及装置，以及一种Leap Motion体感控制系统》公开了一种手势识别方法及装置，以及一种Leap Motion体感控制系统，可以构建适用于Leap Motion的三维模型操作手势库，以及相应的手势识别方法，并提高三维操作中模型变换的连贯性和稳定性。钱世奇等人在专利《基于Kinect的手势识别智能家居控制方法及系统》公开了一种基于Kinect的手势识别智能家居控制方法及系统，通过Kinect摄像机采集出现在摄像头前的用户骨架关节信息数据，并对数据进行筛选进而利用采集到的手势对家居进行控制。但是基于Leap Motion和Kinect的手势识别方法目前还未见报道。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于Leap Motion和Kinect的手势识别方法，通过Leap Motion和kinect共同检测并识别人的手势来对计算机进行操控。此方法克服了单一使用其中一种传感器对手势进行识别的精确度不足的问题，使手势识别更加精确。
为实现上述发明目的，本发明基于Leap Motion和Kinect的手势识别方法，其特征在于，包括以下步骤：
(1)、使用Leap Motion传感器获取手的相关点坐标和手的姿态特征信息；
(1.1)、Leap Motion传感器建立一个空间坐标系，坐标系原点是传感器中心，+X轴平行传感器指向右方，+Y轴指向上方，+Z轴指向背离屏幕的方向；
通过Leap Motion传感器获取指尖位置，手掌心位置以及手的方向信息；
(1.2)、计算手指角度Ai
根据步骤(1.1)获取的信息，计算相对于手方向的投影指尖的方向对应的手指角度Ai：
Ai＝∠(Fi π-C,h)＝∠((xi-a,zi-b,-c),(xi-a,zi-b,yi-c))
其中，i＝1,…10代表左右手的10个手指，1,…,5代表左手从大拇指到小拇指的5个手指，6,…,10代表右手从大拇指到小拇指的5个手指；Fi是手指尖的位置，坐标为(xi,zi,yi)，Fi π是Fi在平面XOZ上的投影，投影点坐标为(xi,zi,0)；C是手掌心位置，坐标为(a,b,c)；h是从手心指向手指尖方向的向量(xi-a,zi-b,yi-c)；
(1.3)、计算手指尖距离手掌心的三维距离Di
Di＝||Fi-C||/S＝||(xi-a,zi-b,yi-c)||/||(xmiddle-a,zmiddle-b,ymiddle-c)||,i＝1,…10
其中，S＝||Fmiddle-C||＝||(xmiddle-a,zmiddle-b,ymiddle-c)||是手心到中指尖的距离，Fmiddle为中指尖的位置，坐标为(xmiddle,zmiddle,ymiddle)，||||表示空间中两点的距离；
(1.4)、计算手指尖的高度Ei
计算手指尖到它在XOZ面的投影点之间的高度Ei：
Ei＝sgn((Fi-Fi π)×n)||Fi-Fi π||/M＝sgn((0,0,yi)×n)yi/ymiddle,i＝1,…,10
其中，n是垂直手心并指向向下的向量，是中指指尖到指尖投影的距离；
(2)、获取手势信息
(2.1)、使用Kinect传感器获取场景的深度信息和彩色信息；
(2.2)、结合深度信息和彩色信息获取手部图像，提取手部区域，再结合该手部区计算出手部轮廓周长l、手部轮廓面积B、手型外接最小矩形面积Brect和手型外接最小圆的周长lcircle；
(2.3)、结合步骤(2.2)获取相应的手势信息
圆形度：
填充率：
周长比：
(3)、利用Leap Motion传感器和Kinect传感器同时对待识别的手势进行采集，每种手势采集若干，得到手势样本集；
按照步骤(1)所述方法计算手势样本集中所有手势样本的Aki、Dki和Eki，其中，k表示手势种类；
按照步骤(2)所述方法计算手势样本集中所有手势样本的ck、fk和pk；
再将Aki、Dki和Eki，ck、fk和pk融合成一个属性矩阵；
(4)、构建SVM分类器，再将属性矩阵的每一行作为训练样本，依次输入到SVM分类器进行训练，得到可用于识别k种手势的SVM分类器；
(5)、将待识别的手势图像按照步骤(3)所述方法组成属性矩阵，再将每一行依次输入到训练好的SVM分类器中，完成对手势的分类识别。
本发明的发明目的是这样实现的：
本发明基于Leap Motion和Kinect的手势识别方法，通过Leap Motion传感器获取指尖3D位置，手掌心位置以及手的方向信息，由这些信息计算出手指角度、手指尖到手掌心的距离以及手指尖的高度三种特征信息；同时利用Kinect传感器获取场景的深度信息和彩色信息，通过手部区域提取，随后获取圆形度、填充率、周长比这三种手势特征信息；融合Leap Motion和Kinect两个传感器获取的手势特征信息，对需要识别的每种手势采集若干样本构成训练样本集，利用这些样本集对SVM分类器进行训练；最后将需要识别的手势输入到训练好的SVM分类器中进而对手势进行识别。
同时，本发明基于Leap Motion和Kinect的手势识别方法还具有以下有益效果：
(1)、本发明相对于传统方法，使用的媒介从具体的接触式发展到抽象的非接触式，不需要直接接触设备，通过检测人体动作来进行信息输入，是操控过程变得非常自由。
(2)、本发明将Leap Motion和Kinect这两个传感器结合起来，其中Leap Motion虽然精度高，体积小，成本低，但提供的数据比较受限，Kinect虽然可以提供深度信息但单一使用Kinect延迟较高并且无法很好的进行近距离精确识别，将两个传感器结合后可以极大提高手势识别的精确度。
(3)、用户可以自由的在多种环境下使用，而且只需做出一个简单的手势动作即可以对计算机进行操控。
附图说明
图1是本发明基于Leap Motion和Kinect的手势识别方法流程图；
图2是由Leap Motion所获得的数据图示；
图3是Leap Motion、Kinect两个前端设备与PC端的连接方式图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：
图1是本发明基于Leap Motion和Kinect的手势识别方法流程图。
在本实施例中，首先按照图3所示连接硬件，需要将Leap Motion和Kinect两个前端设备与PC端数据线直接连接。
硬件连接完成后，结合图1对本发明一种基于Leap Motion和Kinect的手势识别方法进行详细说明，具体包括以下步骤：
(1)、使用Leap Motion传感器获取手的相关点坐标和手的姿态特征信息；
(1.1)、Leap Motion传感器建立一个空间坐标系，坐标系原点是传感器中心，+X轴平行传感器指向右方，+Y轴指向上方，+Z轴指向背离屏幕的方向；
通过Leap Motion传感器获取指尖位置，手掌心位置以及手的方向信息，具体位置如图2所示；
(1.2)、计算手指角度Ai
根据步骤(1.1)获取的信息，计算相对于手方向的投影指尖的方向对应的手指角度Ai：
Ai＝∠(Fi π-C,h)＝∠((xi-a,zi-b,-c),(xi-a,zi-b,yi-c))
其中，i＝1,…10代表左右手的10个手指，1,…,5代表左手从大拇指到小拇指的5个手指，6,…,10代表右手从大拇指到小拇指的5个手指；Fi是手指尖的位置，坐标为(xi,zi,yi)，Fi π是Fi在平面XOZ上的投影，投影点坐标为(xi,zi,0)；C是手掌心位置，坐标为(a,b,c)；h是从手心指向手指尖方向的向量(xi-a,zi-b,yi-c)；
(1.3)、计算手指尖距离手掌心的三维距离Di
Di＝||Fi-C||/S＝||(xi-a,zi-b,yi-c)||/||(xmiddle-a,zmiddle-b,ymiddle-c)||,i＝1,…10
其中，S＝||Fmiddle-C||＝||(xmiddle-a,zmiddle-b,ymiddle-c)||是手心到中指尖的距离，Fmiddle为中指尖的位置，坐标为(xmiddle,zmiddle,ymiddle)，||||表示空间中两点的距离；
(1.4)、计算手指尖的高度Ei
计算手指尖到它在XOZ面的投影点之间的高度Ei：
Ei＝sgn((Fi-Fi π)×n)||Fi-Fi π||/M＝sgn((0,0,yi)×n)yi/ymiddle,i＝1,…,10
其中，n是垂直手心并指向向下的向量，是中指指尖到指尖投影的距离；
(2)、获取手势信息
(2.1)、使用Kinect传感器获取场景的深度信息和彩色信息；
(2.2)、结合深度信息和彩色信息获取手部图像，提取手部区域，再结合该手部区计算出手部轮廓周长l、手部轮廓面积B、手型外接最小矩形面积Brect和手型外接最小圆的周长lcircle；
其中，Brect表示手型外接最小矩形面积，填充率描述了手型在其外界最小面积矩形中占据的面积比率，该值越大，表明手势更加聚拢；
lcircle表示手型外接最小圆的周长，周长比描述了手型轮廓周长与其外界最小圆周长的比值，该数值越大，表明手型更开放。
下面对基于深度信息和彩色信息相结合来提取手部区域的过程进行详细说明：
在本实施例中，通过Kinect获取的彩色图像I分别为RGB单通道图像IR,IG,IB,分别表示图像的R,G,B三个单通道图像，计算每个单通道图像的ROI灰度直方图，分别记为HR,HG,HB；
1)：计算每个单通道图像的ROI内像素均值及方差：
其中，i＝{0,1,2},i＝0表示R通道图像，i＝1表示G通道图像，i＝2表示B通道图像，H(x)表示灰度值为x的像素个数，N表示图像周长。
2)：利用均值和方差建立RGB颜色高斯模型：
3)：遍历整个图像I，当图像中的像素属于ROI范围之内，并且满足以下条件，则视当前像素点为手部像素点：
统计手型轮廓上的像素点的距离，记为l，统计手型区域内的像素点数，记为B；
4)：通过遍历整个图像I获取最小灰度值T：
T＝min(f(x,y))x＝0,1,…,width y＝0,1,…,height
width表示图像宽度，height表示图像高度，f(x,y)表示像素点(x,y)的灰度信息；
以最小值T为依据选择适当的灰度值Threshold作为阈值进行阈值化操作，根据经验，选择Threshold＝T+4作为阈值能够取得较为理想的效果，能够获得相对完整而合适的手部图像。
其中，阈值化的操作如下：
5)：通过kinect获得的手部图像会存在一些噪声点，造成图像的不连续，因此，我们对图像进行膨胀运算和腐蚀运算，通过对图像先进行膨胀运算，后做腐蚀运算，可以修复断裂的轮廓线，使轮廓线更加平滑，从而提取出手部区域。
(2.3)、结合步骤(2.2)获取相应的手势信息
圆形度：圆形度描述了手型与圆形接近的程度，该值越接近1，表示手型更接近于圆形；
填充率：填充率描述了手型在其外界最小面积矩形中占据的面积比率，该值越大，表明手势更加聚拢；
周长比：周长比描述了手型轮廓周长与其外界最小圆周长的比值，该数值越大，表明手型更开放；
(3)、利用Leap Motion传感器和Kinect传感器同时对待识别的手势进行采集，每种手势采集若干，得到手势样本集；
按照步骤(1)所述方法计算手势样本集中所有手势样本的Aki、Dki和Eki，其中，k表示手势种类；
按照步骤(2)所述方法计算手势样本集中所有手势样本的ck、fk和pk；
再将Aki、Dki和Eki，ck、fk和pk融合成一个属性矩阵；
将Aki、Dki、Eki、ck、fk和pk融合成一个属性矩阵的方法为：
(3.1)、将属性矩阵的第一列存放手势样本的种类编号，相同手势占有同一个编号，并依次存放在该行的下一行；
(3.2)、在属性矩阵的第一列之后依次存放Aki、Dki、Eki、ck、fk和pk，且每个参数占用一列。
(4)、构建SVM分类器，再将属性矩阵的每一行作为训练样本，依次输入到SVM分类器进行训练，得到可用于识别k种手势的SVM分类器；
在本实施例中，采用一对一SVM多分类算法分类器用于手势分类，具体做法是在任意两种手势的样本之间设计一个SVM，k种类别的样本就需要设计k(k-1)/2个SVM分类器。
下面取4种手势进行举例训练，如:握拳、五指张开、OK手势、伸出大拇指，分别记为M,N,P,Q，需要6个SVM，分别记为(M,N)-classifier,(M,P)-classifier,(M,Q)-classifier,(N,P)-classifier,(N,Q)-classifier,(P,Q)-classifier。
(a)、用握拳时的手势圆形度作为(M,N)-classifier的分类参考特征值，当圆形度大于第一阈值TR1时，结果判断为M，则M＝M+1，否则N＝N+1；
(b)、用握拳时的手势圆形度作为(M,P)-classifier的分类参考特征值，当圆形度大于第一阈值TR2时，结果判断为M，则M＝M+1，否则P＝P+1；
(c)、用握拳时的手势圆形度作为(M,Q)-classifier的分类参考特征值，当圆形度大于第一阈值TR3时，结果判断为M，则M＝M+1，否则Q＝Q+1；
(d)、用五指张开手势的食指手指角度作为(N,P)-classifier的分类参考特征值，当角度大于第一阈值TR4时，结果判断为N，则N＝N+1，否则P＝P+1；
(e)、用伸出大拇指的手势圆形度作为(N,Q)-classifier的分类参考特征值，当圆形度大于第一阈值TR5时，结果判断为N，则N＝N+1，否则Q＝Q+1；
(f)、用伸出大拇指的手势的大拇指角度作为(P,Q)-classifier的分类参考特征值，当角度大于第一阈值TR6时，结果判断为P，则P＝P+1，否则Q＝Q+1；
(5)、将待识别的手势图像按照步骤(3)所述方法组成属性矩阵，再将每一行依次输入到训练好的SVM分类器中，完成对手势的分类识别。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于Leap Motion和Kinect的手势识别方法，其特征在于，包括以下步骤：
(1)、使用Leap Motion传感器获取手的相关点坐标和手的姿态特征信息；
(1.1)、Leap Motion传感器建立一个空间坐标系，坐标系原点是传感器中心，+X轴平行传感器指向右方，+Y轴指向上方，+Z轴指向背离屏幕的方向；
通过Leap Motion传感器获取指尖位置，手掌心位置以及手的方向信息；
(1.2)、计算手指角度Ai
根据步骤(1.1)获取的信息，计算相对于手方向的投影指尖的方向对应的手指角度Ai：
Ai＝∠(Fi π-C,h)＝∠((xi-a,zi-b,-c),(xi-a,zi-b,yi-c))
其中，i＝1,…10代表左右手的10个手指，1,…,5代表左手从大拇指到小拇指的5个手指，6,…,10代表右手从大拇指到小拇指的5个手指；Fi是手指尖的位置，坐标为(xi,zi,yi)，Fi π是Fi在平面XOZ上的投影，投影点坐标为(xi,zi,0)；C是手掌心位置，坐标为(a,b,c)；h是从手心指向手指尖方向的向量(xi-a,zi-b,yi-c)；
(1.3)、计算手指尖距离手掌心的三维距离Di
Di＝||Fi-C||/S＝||(xi-a,zi-b,yi-c)||/||(xmiddle-a,zmiddle-b,ymiddle-c)||,i＝1,…10
其中，S＝||Fmiddle-C||＝||(xmiddle-a,zmiddle-b,ymiddle-c)||是手心到中指尖的距离，Fmiddle为中指尖的位置，坐标为(xmiddle,zmiddle,ymiddle)，|| ||表示空间中两点的距离；
(1.4)、计算手指尖的高度Ei
计算手指尖到它在XOZ面的投影点之间的高度Ei：
Ei＝sgn((Fi-Fi π)×n)||Fi-Fi π||/M＝sgn((0,0,yi)×n)yi/ymiddle,i＝1,…,10
其中，n是垂直手心并指向向下的向量，是中指指尖到指尖投影的距离；
(2)、获取手势信息
(2.1)、使用Kinect传感器获取场景的深度信息和彩色信息；
(2.2)、结合深度信息和彩色信息获取手部图像，提取手部区域，再结合该手部区计算出手部轮廓周长l、手部轮廓面积B、手型外接最小矩形面积Brect和手型外接最小圆的周长lcircle；
(2.3)、结合步骤(2.2)获取相应的手势信息
圆形度：
填充率：
周长比：
(3)、利用Leap Motion传感器和Kinect传感器同时对待识别的手势进行采集，每种手势采集若干，得到手势样本集；
按照步骤(1)所述方法计算手势样本集中所有手势样本的Aki、Dki和Eki，其中，k表示手势种类；
按照步骤(2)所述方法计算手势样本集中所有手势样本的ck、fk和pk；
再将Ai、Dki和Eki，ck、fk和pk融合成一个属性矩阵；
(4)、构建SVM分类器，再将属性矩阵的每一行作为训练样本，依次输入到SVM分类器进行训练，得到可用于识别k种手势的SVM分类器；
(5)、将待识别的手势图像按照步骤(3)所述方法组成属性矩阵，再将每一行依次输入到训练好的SVM分类器中，完成对手势的分类识别。
2.根据权利要求1所述的一种基于Leap Motion和Kinect的手势识别方法，其特征在于，所述步骤(3)中，将Aki、Dki、Eki、ck、fk和pk融合成一个属性矩阵的方法为：
(2.1)、将属性矩阵的第一列存放手势样本的种类编号，相同手势占有同一个编号，并依次存放在该行的下一行；
(2.2)、在属性矩阵的第一列之后依次存放Aki、Dki、Eki、ck、fk和pk，且每个参数占用一列。
CN201611033457.8A 2016-11-15 2016-11-15 基于Leap Motion和Kinect的手势识别方法 Expired - Fee Related CN106598227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611033457.8A CN106598227B (zh) 2016-11-15 2016-11-15 基于Leap Motion和Kinect的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611033457.8A CN106598227B (zh) 2016-11-15 2016-11-15 基于Leap Motion和Kinect的手势识别方法

Publications (2)

Publication Number Publication Date
CN106598227A CN106598227A (zh) 2017-04-26
CN106598227B true CN106598227B (zh) 2019-03-01

Family

ID=58592528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611033457.8A Expired - Fee Related CN106598227B (zh) 2016-11-15 2016-11-15 基于Leap Motion和Kinect的手势识别方法

Country Status (1)

Country Link
CN (1) CN106598227B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688390A (zh) * 2017-08-28 2018-02-13 武汉大学 一种基于体感交互设备的手势识别控制器
CN107608510A (zh) * 2017-09-13 2018-01-19 华中师范大学 手势模型库的建立方法、装置及电子设备
CN109189206B (zh) * 2018-06-20 2023-08-18 济南大学 一种三维手势生成方法
CN109214295B (zh) * 2018-08-08 2022-03-22 长春理工大学 基于Kinect v2和Leap Motion的数据融合的手势识别方法
CN109145793A (zh) * 2018-08-09 2019-01-04 东软集团股份有限公司 建立手势识别模型的方法、装置、存储介质及电子设备
CN109492558A (zh) * 2018-10-29 2019-03-19 华南理工大学 一种基于Leap Motion的动态手势识别方法
CN109460727B (zh) * 2018-10-31 2021-04-06 中国矿业大学 一种基于人体行为识别的考场监控系统及方法
CN109753876A (zh) * 2018-12-03 2019-05-14 西北工业大学 一种三维手势的提取识别和三维手势交互系统的构建方法
CN109597485B (zh) * 2018-12-04 2021-05-07 山东大学 一种基于双指角域特征的手势交互系统及其工作方法
CN109684959B (zh) * 2018-12-14 2021-08-03 武汉大学 基于肤色检测和深度学习的视频手势的识别方法及装置
CN110389652B (zh) * 2019-01-03 2023-04-28 上海工程技术大学 一种基于Leap Motion的起落架虚拟维修教学方法
CN109993073B (zh) * 2019-03-14 2021-07-02 北京工业大学 一种基于Leap Motion的复杂动态手势识别方法
CN109933206B (zh) * 2019-03-26 2022-03-08 长安大学 一种基于Leap Motion的手指无接触绘图方法及系统
CN110196635B (zh) * 2019-04-28 2020-07-31 浙江大学 一种基于可穿戴设备的手势输入方法
CN111142663B (zh) * 2019-12-27 2024-02-02 恒信东方文化股份有限公司 一种手势识别方法及手势识别系统
CN112509668A (zh) * 2020-12-16 2021-03-16 成都翡铭科技有限公司 一种识别手部是否在进行抓握的方法
CN113221729B (zh) * 2021-05-10 2022-09-27 北京航空航天大学 一种基于手势人机交互的无人机集群控制方法及系统
CN114708696B (zh) * 2022-04-02 2023-06-16 河南大学 基于上肢微动作识别的电梯轿厢扒窃行为监控方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104007819A (zh) * 2014-05-06 2014-08-27 清华大学 手势识别方法、装置及Leap Motion体感控制系统
CN104268507A (zh) * 2014-09-15 2015-01-07 南京邮电大学 一种基于rgb-d图像的手语字母识别方法
CN104793738A (zh) * 2015-03-17 2015-07-22 上海海洋大学 基于Leap Motion的非接触式计算机操控方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9808549B2 (en) * 2014-12-24 2017-11-07 University Of Central Florida Research Foundation, Inc. System for detecting sterile field events and related methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104007819A (zh) * 2014-05-06 2014-08-27 清华大学 手势识别方法、装置及Leap Motion体感控制系统
CN104268507A (zh) * 2014-09-15 2015-01-07 南京邮电大学 一种基于rgb-d图像的手语字母识别方法
CN104793738A (zh) * 2015-03-17 2015-07-22 上海海洋大学 基于Leap Motion的非接触式计算机操控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于Leap Motion 的三维手势识别方法";李映辉 等;《现代计算机(专业版)》;20160515(第14期);第74-76、80页 *

Also Published As

Publication number Publication date
CN106598227A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN106598227B (zh) 基于Leap Motion和Kinect的手势识别方法
US20220382379A1 (en) Touch Free User Interface
Hackenberg et al. Lightweight palm and finger tracking for real-time 3D gesture control
CN104199550B (zh) 一种虚拟键盘操作装置、系统及方法
CN102096471B (zh) 一种基于机器视觉的人机交互方法
Caputo et al. 3D hand gesture recognition based on sensor fusion of commodity hardware
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
CN105589553A (zh) 一种智能设备的手势控制方法和系统
Hongyong et al. Finger tracking and gesture recognition with kinect
TW201415376A (zh) 以自然影像進行的手勢辨識方法
TWI521387B (zh) 三維空間中之可重置式虛擬觸控板
Hartanto et al. Real time hand gesture movements tracking and recognizing system
Boruah et al. Development of a learning-aid tool using hand gesture based human computer interaction system
Wang et al. A new hand gesture recognition algorithm based on joint color-depth superpixel earth mover's distance
Rehman et al. Two hand gesture based 3d navigation in virtual environments
Titlee et al. A novel design of an intangible hand gesture controlled computer mouse using vision based image processing
Roy et al. Real time hand gesture based user friendly human computer interaction system
Lan et al. Data fusion-based real-time hand gesture recognition with Kinect V2
Xu et al. Bare hand gesture recognition with a single color camera
Abdallah et al. An overview of gesture recognition
Chaudhary Finger-stylus for non touch-enable systems
CN115390739A (zh) 基于手掌触控的远程交互输入方法及装置、电子设备
Siam et al. Human computer interaction using marker based hand gesture recognition
Jain et al. Human computer interaction–Hand gesture recognition
Wang et al. A six-degree-of-freedom virtual mouse based on hand gestures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190301

Termination date: 20211115

CF01 Termination of patent right due to non-payment of annual fee