CN103226387A - 基于Kinect的视频人手指尖定位方法 - Google Patents
基于Kinect的视频人手指尖定位方法 Download PDFInfo
- Publication number
- CN103226387A CN103226387A CN2013101180609A CN201310118060A CN103226387A CN 103226387 A CN103226387 A CN 103226387A CN 2013101180609 A CN2013101180609 A CN 2013101180609A CN 201310118060 A CN201310118060 A CN 201310118060A CN 103226387 A CN103226387 A CN 103226387A
- Authority
- CN
- China
- Prior art keywords
- point
- finger tip
- hand
- arm
- kinect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明提供了一种基于Kinect的视频人手指尖定位方法,包括如下步骤:(1)采集视频信息;(2)分析处理并分割视频信息,获取用户手部;(3)对用户手部的手掌进行椭圆拟合得到椭圆,将所述椭圆的圆心作为手掌心点;(4)对用户手臂点进行定位;(5)对用户指尖进行定位,所述定位包括多指定位和单指定位。具有鲁棒性好等优点。
Description
技术领域
本发明涉及一种计算机图像处理及模式识别技术,特别涉及一种基于Kinect的视频人手指尖定位方法,本方法以Kinect传感器为取像工具。
背景技术
近年来,基于人手的智能人机交互技术由于其灵活、自然等特性占据着越来越重要的地位。相比传统需要接触硬件设备的技术手段,它更加接近于人机交互的核心理念,拥有着更良好的用户体验。而当中指尖的高自由和灵活性使其蕴含了相对其他部分更加丰富的内涵。指尖数目的变化,位置的变动可以映射为丰富的语义。在此基础上得以发展出一系列应用,如虚拟书写绘画、远程手势控制、虚拟键盘,体感游戏等等。因此绝大部分的人机交互技术都会涉及到指尖的定位。
当前指尖定位的技术总体可以分为两个领域:基于二维视觉的方法还有基于三维建模的方法。前者的主流算法是模板匹配法还有局部曲率最大法,这些方法依赖于人手分割的结果,对局部噪声敏感。另外,它们无法处理指尖正对着摄像头的情况。而三维建模的方法可以取得精确的定位结果,但是传统的三维建模依赖于高精度的摄像头如TOF相机,或者特殊的仪器如数据手套。这些设备由于其高昂的价格制约着它们成为一种真正实用性的应用技术。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种基于Kinect的视频人手指尖定位方法,这是一种更加鲁棒性的指尖定位方法。借助微软的Kinect传感器来捕捉视角内的用户手部彩色图信息和深度图信息,分割人手和定位指尖位置。指尖定位部分分为“多指定位”和“单指定位”两种情况。其中“多指定位”下,通过分析手部轮廓与其凸外形得到凸缺陷。计算凸缺陷顶点与相邻两谷底点形成的曲率得到候选指尖点。然后根据掌心点和手臂点的位置信息对指尖点进行筛除获得真实指尖数目与位置。在“单指定位”下,针对只需要定位单指的特殊情况。采用一种更精确的指尖定位方法。它针对手部不同的形态方向定义了两种指尖定位模式,并构建一个物理模型来确定在两种模式的切换选择。
本发明的目的通过下述技术方案实现:基于Kinect的视频人手指尖定位方法,包括如下步骤:
(1)通过Kinect采集视频信息,包括彩色图像,还有深度图像;
(2)分析处理并分割视频信息,获取用户手部;
(3)对用户手部的手掌进行椭圆拟合得到椭圆,将所述椭圆的圆心作为手掌心点;
(4)对用户手臂点进行定位;
(5)对用户指尖进行定位,所述定位包括多指定位和单指定位。
所述步骤(5)中:
所述多指定位的步骤如下:
(A)对分割得到的手部轮廓进行多边形拟合,得到拟合多边形;
(B)对轮廓的拟合多边形求凸外形,并由拟合多边形和凸外形这两个闭合曲线得到轮廓凸形缺陷;
(C)求取凸形缺陷各个顶点的曲率,曲率大于一定阈值的被当做候选指尖点;
(D)对手的部分进行分区并且筛除掉上一步的误判指尖点得到最后真实的指尖点数和位置;
所述单指定位的步骤如下:
(a)用最远模式求分割得到的手部区域距离手臂点的二维欧氏距离最大点作为该模式下候选单指尖点;
(b)用最前模式求分割得到的手部区域的最前点作为该模式下候选单指尖点;
(c)根据物理模型在两模式得到结果中选一作为最后真实的指尖点位置。
所述步骤(1)中,采用微软的Kinect传感器采集视频信息,所述视频信息包括彩色图像和深度图像,所述Kinect传感器自身还提供标示当前成像位置里面哪些像素属于用户这一功能(用户图),将用户从背景中分离出来。
所述步骤(3)中,所述椭圆拟合采用迭代拟合,所述迭代拟合的步骤如下:
①在对用户的手的建模中,可以将用户的手掌视为一个椭圆,手指视为圆柱,在求手掌的椭圆拟合里面需要去除手指的影响;
②这里先是对整个手部的轮廓进行第一次最小二乘椭圆线拟合;
③将第一次拟合得到的椭圆与原手部的重叠区域作为第二次椭圆拟合的对象;
④把第二次椭圆拟合的对象与原手部的重叠区域作为第三次椭圆拟合的对象;
⑤第三次椭圆拟合得到准确的手掌的一个椭圆拟合域,设定所述椭圆拟合域的中心为掌心点ppalm。
所述步骤(4)中,对用户手臂点进行定位的方法采用了一种二次深度阈值分割求取手臂点方法,所述二次深度阈值分割求取手臂点方法的步骤如下:
Ⅰ、Kinect自身提供一个视场范围内的用户深度图,基于人体在深度上连续的这一特性和人手需要处于整个人体的最前方的假设。利用Kinect提供的用户图(标示着当前视像里面那些像素属于用户)和深度图(标示着当前视像里面每一个像素位置的景物距离Kinect传感器的距离)。先求整个人体距离Kinect的最近距离点(该点应该为手的最前端)。先使用预设的深度阈值(这个深度阈值的物理意义是手的最前端到手腕的深度范围),将人手从图像中分割出来;
Ⅱ、增加上一步的深度阈值,对原深度图再次进行一次深度阈值分割,
Ⅲ、步骤Ⅰ和步骤Ⅱ的分割得到两个二值图,计算两个二值图的差值图,差值部分可视作手臂的一部分,统计差值部分的中心即为手臂点parm。
所述步骤(A)中,所述多边形拟合去除因分割不当造成的局部噪声,并且保留手部的基本形状信息;
所述步骤(B)中,根据所属轮廓凸形缺陷,初步定位指尖的候选位置。考虑到手的形态特征,指尖总处在凸形缺陷的顶点处,而手指间的间隔总处在凸形缺陷的谷底点处;
所述步骤(C)中,求一个顶点(候选指尖点)ptop的曲率时候使用的是顶点ptop和相邻两个谷底点(可能的指尖的间隔处)pbottom1和pbottom2,曲率cur计算如下:
所述步骤(D)中,采用了一个分区来筛除误判的候选指尖点,该分区的确定如下:经过掌心并且与掌心点和手臂点连线垂直的一条直线将分割得到的手部区域分为两部分,当中指尖总不会落在包含手臂的那一块。所以在上一步中得到的候选点如落在此区域,则被排除其作为指尖的可能性。最后剩下的顶点将被视作指尖点,如个数超过5,则按照曲率由大到小取前5个。
所述单指定位使用了一种双模式切换的指尖定位法,所述步骤(a)中采用最远模式,所述最远模式,考虑的是指尖不指向Kinect的情况,在这种情况下,考虑到手部姿态和物理约束,在二维视觉成像里面,指尖点应该距离手臂点最远。通过寻找分割得到的手部区域Rhand里面,距离手臂点parm最大二维欧氏距离的点pfarthest作为候选指尖点:
符号||·||即计算两个点的二维欧氏距离,上面公式的意义是对每一个属于手部区域Rhand的点P,计算它与点Parm的二维欧式距离,然后取与Parm的距离最大者赋值给pfarthest。
所述单指定位使用了一种双模式切换的指尖定位法,所述步骤(b)中,采用最前模式,所述考虑的是指尖指向Kinect的情况,在这种情况下,考虑到手部姿态和物理约束,指尖点应该属于整个人手距离Kinect最近的点。通过寻找分割得到的手部区域Rhand中,在对应的深度图里面有着最小深度值的点pfrontal作为候选指尖点:
其中d(p)表示在深度图中位于点p的深度值。
所述单指定位使用了一种双模式切换的指尖定位法,所述步骤(c)中,建立了一个手部模型来确定选用那一种模式的结果。在实验和观察中,当指尖并非指向Kinect的时候,一方面,考虑到手的形态约束,指尖总不会处在手掌的椭圆拟合域之内;另一方面,指尖与掌心ppalm的连线和手的方向(手臂点parm指向掌心点)形成的交角θ总需要小于一个指定角度阈值30°,其中θ计算如下:
当使用最远模式得到的候选指尖点pfarthest不满足以上两个条件当中的任何一个,则意味着手的当前形态应该为正指向Kinect,这时候选用最前模式的结果pfrontal,否则,使用pfarthest。
本发明可运用到如下应用领域:
1、体感游戏中手势控制交互。
2、空中虚拟手写绘画。
3、手势远程操控智能机器人。
4、虚拟键盘。
除上述的领域,还可以运用到其他需要远程手势操控的应用场合
本发明相对于现有技术具有如下的优点及效果:
1、通过一种迭代椭圆拟合的方法去除手指的影响而得到一个更加准确的手掌椭圆拟合域和掌心点位置。
2、手臂点定位使用了一种深度阈值二次分割的定位方法,能够有效得到手臂点的位置。手臂点和掌心点两者构成了描述手部方向形态的一个重要信息。
3、“多指定位”下,采用了对分割的手部轮廓求取多边形拟合的方法来去除局部噪声同时保留了原始的手部形状特点。
3、“多指定位”下,通过掌心点和手臂点两者的位置信息将手部分割为两个区域,并以此筛除错误定位的指尖点。使得指尖定位对轮廓(特别是手臂后部分)的噪声有更好的鲁棒性。
4、“单指定位”下,两种模式的切换可以有效针对手的不同形态采用不同的指尖定位模式策略。其中“最远模式”相比传统二维视觉方法对人手分割的质量好坏敏感度更低。而“最前模式”则解决了二维视觉方法无法解决的指尖正对摄像头情况下的定位难题。
5、构建了一个手部的物理模型,并用来判断当手处于不同姿态方向时候在两种指尖定位模式中的切换选择。
附图说明
图1为本发明的系统结构框图。
图2为多指定位示意图,其中虚线是手部轮廓的凸外形,五边形是凸外形的谷底点,三角形是凸外形的顶点,圆形是手臂点,矩形是掌心点,椭圆形是手掌的一个椭圆拟合域。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图1所示,为本发明的系统结构框图,通过Kinect获取用户手写视频后,进行人手分割,将手部这一感兴趣区域从背景中分离。分割后对手掌进行椭圆拟合并且得到掌心点。然后通过二次深度阈值分割方法得到手臂点。此后系统分为两个模块:“多指定位”模块与“多指定位”模块。在“多指定位”模块中,对手部轮廓进行多边形拟合去除轮廓噪点。然后求取其凸外形,利用拟合多边形和凸外形构成凸缺陷。通过计算凸缺陷顶点的曲率得到候选指尖点。对手的部分进行分区并且筛除掉上一步的误判指尖。“单指定位”模块中用“最远模式”和“最前模式”两种指尖定位方法对指尖定位,然后通过一个物理模型来确定在两种模式的切换选择。
本实施例包括如下主要步骤:
1、获取用户手写视频;
本发明的第一步是获取用户的手写视频。系统采用了微软的Kinect作为视频采集的传感器。它提供了帧率为30fps的大小为640*480的彩色图信息和深度图信息,可以满足一个实时手写系统的需求。深度信息的引入可以更好地辅助人手分割和指尖的定位。同时,Kinect向外提供API调用,其中包括标示当前成像位置里面哪些像素属于用户这一功能,这帮助将用户由复杂背景中分离出来。
2、人手分割;
为实现有效而鲁棒性好的人手分割,本发明采用是采用了一种混合模型的分割算法,它对肤色模型、深度模型和背景模型分别建模。最后的分割结果是三个模型分割结果的一种动态综合。
3、手掌椭圆拟合和掌心定位;
这里采用了一种迭代拟合的方法。在对手的建模中,可以将手掌视为一个椭圆,手指为圆柱。在求手掌的椭圆拟合里面需要去除手指的影响。这里先是对整个手部的轮廓进行一次“最小二乘”意义上的椭圆拟合。将一次拟合得到的椭圆与原手部的重叠区域作为第二次椭圆拟合的对象,如此迭代三次之后可以得到准确的手掌的一个椭圆拟合域。并且此椭圆拟合域的中心可以视作掌心点,即ppalm。示意图2和3的椭圆即为最后所得到的手掌椭圆拟合域。图中的矩形点是最终拟合得到的椭圆中心点,也就是需要求取的掌心点ppalm。
4、深度二次阈值分割求手臂点;
Kinect自身提供一个视场范围内的用户深度图,基于人体在深度上连续的这一特性和人手需要处于整个人体的最前方的假设。利用Kinect提供的用户图(标示着当前视像里面那些像素属于用户)和深度图(标示着当前视像里面每一个像素位置的景物距离Kinect传感器的距离)。先求整个人体距离Kinect的最近距离点(该点应该为手的最前端)。先使用一个经验的深度阈值(这个深度阈值的物理意义是手的最前端到手腕的深度范围),将人手从图像中分割出来。此后,增加这一深度阈值再次对原深度图进行一次深度阈值分割,前后两次得到的二值图的差值可视作属于手臂的一部分,统计该差值部分的中心即为手臂点parm。示意图2、3的圆点是得到的手臂点parm。
5、“多指定位”中对手部轮廓求多边形拟合;
在多指定位分析手部轮廓的形态特征时候,采用了多边形拟合的技术,拟合曲线可以去除因分割不当造成的局部噪声,同时保留了手部的基本形状信息。
6、“多指定位”中求拟合多边形的凸外形和凸缺陷;
求拟合多边形的凸外形。两者得到的轮廓凸形缺陷,初步定位了指尖的候选位置。考虑到手的形态特征,指尖总处在凸形缺陷的顶点处,而手指间的间隔总处在凸形缺陷的谷底点处。示意图2的三角形是凸缺陷的顶点,五边形是凸缺陷的谷底点。在凸缺陷的所有顶点中,靠近手臂的两个顶点不属于指尖,需要被排除。
7、“多指定位”中求取凸形缺陷各个顶点的曲率得候选指尖点;
求一个顶点ptop的曲率时候使用的是顶点(候选指尖点)ptop和相邻两个谷底点(可能的指尖间隔处)pbottom1和pbottom2。曲率cur计算如下:
凸缺陷的顶点曲率如果大于一个指定阈值,则被初步视作定位得到的候选指尖点,但还需要对这些候选点进行筛除。
8、对手分区并且筛除掉误判指尖点;
该分区的确定如下:经过掌心并且与掌心点和手臂点连线垂直的一条直线将分割得到的手部区域分为“指尖-手掌”和“手掌-手臂”这两部分,指尖总不会落在包含手臂的那一块。所以在上一步中得到的候选点如落在此区域,则被排除其作为指尖的可能性。示意图2靠近手臂的两个凸缺陷的顶点属于“手掌-手臂”分区,可以被有效排除。最后剩下的顶点将被视作指尖点。如果筛选剩下的指尖点个数超过5,则按照曲率由大到小取前5个。
9、“单指定位”的“最远模式”定位候选指尖点;
它考虑的是指尖不指向Kinect的情况。在这种情况下,考虑到手部姿态和物理约束,在二维视觉成像里面,指尖点应该距离手臂点最远。通过寻找分割得到的手部区域Rhand里面,距离手臂点parm有着最大二维欧氏距离的点pfarthest作为候选指尖点:
符号||·||即计算两个点的二维欧氏距离,上面公式的意义是对每一个属于手部区域Rhand的点P,计算它与点Parm的二维欧式距离,然后取与Parm的距离最大者赋值给pfarthest。
示意图3的棱形点即为在“最远模式”下定位得到的候选指尖点pfarthest。显然在示意图3这种指尖非指向摄像头的情况下,它没有落在手掌的椭圆拟合域之内,同时基于人手的一种物理上的约束,它与掌心的连线和手的方向(手臂点指向掌心点)形成的夹角θ也应该在一个约束的范围内(30°以内)。
10、“单指定位”的“最前模式”定位候选指尖点;
它考虑的是指尖指向Kinect的情况。在这种情况下,考虑到手部姿态和物理约束,指尖点应该属于整个人手距离Kinect最近的点。这个距离的概念可以通过Kinect传感器的深度图得到。通过寻找分割得到的手部区域Rhand中,在对应的深度图里面有着最小深度值的点pfrontal作为候选指尖点:
其中d(p)表示在深度图中位于点p的深度值。
11、物理模型在两模式得到结果中选择其一;
图3建立了一个手部物理模型来确定选用那一种模式的结果。在实验和观察中,当指尖并非指向Kinect的时候,一方面,考虑到手的形态,指尖总不会处在手掌的椭圆拟合域之内;另一方面,指尖与掌心ppalm的连线和手的方向(手臂点parm指向掌心点)形成的交角θ总需要小于一个指定角度阈值其中θ计算如下:
当使用“最远模式”得到的候选指尖点pfarthest不满足以上两个条件当中的任何一个,则意味着手的当前形态应该为正指向Kinect。这时候选用“最前模式”的结果pfrontal,否则,使用pfarthest。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、
替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
1.基于Kinect的视频人手指尖定位方法,其特征在于,包括如下步骤:
(1)采集视频信息;
(2)分析处理并分割视频信息,获取用户手部;
(3)对用户手部的手掌进行椭圆拟合得到椭圆,将所述椭圆的圆心作为手掌心点;
(4)对用户手臂点进行定位;
(5)对用户指尖进行定位,所述定位包括多指定位和单指定位。
2.根据权利要求1所述的视频人手指尖定位方法,其特征在于,所述步骤(5)中:
所述多指定位的步骤如下:
(A)对分割得到的手部轮廓进行多边形拟合,得到拟合多边形;
(B)对轮廓的拟合多边形求凸外形,并由拟合多边形和凸外形这两个闭合曲线得到轮廓凸形缺陷;
(C)求取凸形缺陷各个顶点的曲率,曲率大于一定阈值的被当做候选指尖点;
(D)对手的部分进行分区并且筛除掉上一步的误判指尖点得到最后真实的指尖点数和位置;
所述单指定位的步骤如下:
(a)用最远模式求分割得到的手部区域距离手臂点的二维欧氏距离最大点作为该模式下候选单指尖点;
(b)用最前模式求分割得到的手部区域的最前点作为该模式下候选单指尖点;
(c)根据物理模型在两模式得到结果中选一作为最后真实的指尖点位置。
3.根据权利要求1所述的视频人手指尖定位方法,其特征在于,所述步骤(1)中,采用微软的Kinect传感器采集视频信息,所述视频信息包括彩色图像和深度图像,所述Kinect传感器自身提供用户图,将用户从背景中分离出来。
4.根据权利要求1所述的视频人手指尖定位方法,其特征在于,所述步骤(3)中,所述椭圆拟合采用迭代拟合,所述迭代拟合的步骤如下:
①将用户的手掌视为一个椭圆,手指视为圆柱;
②对整个手部的轮廓进行第一次椭圆线拟合;
③将第一次拟合得到的椭圆与原手部的重叠区域作为第二次椭圆拟合的对象;
④把第二次椭圆拟合的对象与原手部的重叠区域作为第三次椭圆拟合的对象;
⑤第三次椭圆拟合得到最后手掌的椭圆拟合域,设定所述椭圆拟合域的中心为掌心点ppalm。
5.根据权利要求1所述的视频人手指尖定位方法,其特征在于,所述步骤(4)中,对用户手臂点进行定位的方法采用二次深度阈值分割求取手臂点方法,所述二次深度阈值分割求取手臂点方法的步骤如下:
Ⅰ、Kinect自身提供一个视场范围内的用户深度图,基于人体在深度上连续的这一特性和人手需要处于整个人体的最前方的假设,利用Kinect提供的用户图和深度图,求用户的整个人体距离Kinect的最近距离点,求用户的整个人体距离Kinect的最近距离点的方法如下:先使用预设的深度阈值,将用户的人手从图像中分割出来;所述用户图标示着当前视像里面属于用户的像素,所述深度图标示当前视像里面每一个像素位置的景物距离Kinect传感器的距离,所述用户的整个人体距离Kinect的最近距离点即是手的最前端,所述预设的深度阈值的物理意义是手的最前端到手腕的深度范围;
Ⅱ、增加上一步的深度阈值,对步骤Ⅰ中Kinect提供的深度图再进行一次深度阈值分割,
Ⅲ、步骤Ⅰ和步骤Ⅱ的对步骤Ⅰ中Kinect提供的深度图进行两次分割,得到两个二值图,计算所述两个二值图的差值图,差值部分视作手臂的一部分,统计差值部分的中心即为手臂点parm。
6.根据权利要求2所述的视频人手指尖定位方法,其特征在于,
所述步骤(A)中,所述多边形拟合去除因分割不当造成的局部噪声,并且保留手部的形状信息;
所述步骤(B)中,根据所属轮廓凸形缺陷,初步定位指尖的候选位置。所述步骤(C)中,求一个顶点ptop的曲率时候使用的是顶点ptop和相邻两个谷底点pbottom1和pbottom2,曲率计算如下:
所述步骤(D)中,采用了一个分区来筛除误判的候选指尖点,该分区的确定如下:经过掌心并且与掌心点和手臂点连线垂直的一条直线将分割得到的手部区域分为两部分,指尖属于不包含手臂的那一块。所以在步骤C中得到的候选点如落在包含手臂的部分,则被排除其作为指尖的可能性,最后剩下的顶点将被视作指尖点,如个数超过5,则按照曲率由大到小取前5个。
7.根据权利要求2所述的视频人手指尖定位方法,其特征在于,所述单指定位使用双模式切换的指尖定位法,所述步骤(a)中,所述最远模式中考虑的是指尖不指向Kinect的情况,此时,考虑到手部姿态和物理约束,在二维视觉成像里面,指尖点应该距离手臂点最远,通过寻找分割得到的手部区域Rhand里面,距离手臂点parm最大二维欧氏距离的点pfarthest作为候选指尖点,计算公式如下:
其中,符号||·||即计算两个点的二维欧氏距离,上面公式的意义是对每一个属于手部区域Rhand的点P,计算它与点Parm的二维欧式距离,然后取与Parm的距离的最大者赋值给pfarthest。
8.根据权利要求2所述的视频人手指尖定位方法,其特征在于,所述单指定位使用双模式切换的指尖定位法,所述步骤(b)中,所述最前模式,所述考虑的是指尖指向Kinect的情况,在这种情况下,考虑到手部姿态和物理约束,指尖点属于整个人手距离Kinect最近的点,通过寻找分割得到的手部区域Rhand中,在对应的深度图里面有着最小深度值的点Pfrontal作为候选指尖点,计算公式如下:
其中d(p)表示在深度图中位于点p的深度值。
9.根据权利要求2所述的视频人手指尖定位方法,其特征在于,所述单指定位使用双模式切换的指尖定位法,所述步骤(c)中,建立一个手部模型来确定选用哪一种模式的结果;在实验和观察中,当指尖并非指向Kinect的时候,考虑到手的形态约束,指尖总不会处在手掌的椭圆拟合域之内;和指尖与掌心ppalm的连线和手的方向形成的交角θ需要小于一个指定角度阈值30°,手的方向指手臂点parm指向掌心点ppalm这条连线,所述交角θ的计算公式如下:
当使用最远模式得到的候选指尖点pfarthest不满足以上两个条件当中的任何一个,则意味着手的当前形态应该为正指向Kinect,这时候选用最前模式的结果pfrontal,否则,使用pfarthest。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310118060.9A CN103226387B (zh) | 2013-04-07 | 2013-04-07 | 基于Kinect的视频人手指尖定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310118060.9A CN103226387B (zh) | 2013-04-07 | 2013-04-07 | 基于Kinect的视频人手指尖定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103226387A true CN103226387A (zh) | 2013-07-31 |
CN103226387B CN103226387B (zh) | 2016-06-22 |
Family
ID=48836869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310118060.9A Active CN103226387B (zh) | 2013-04-07 | 2013-04-07 | 基于Kinect的视频人手指尖定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103226387B (zh) |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440036A (zh) * | 2013-08-23 | 2013-12-11 | Tcl集团股份有限公司 | 三维图像的显示和交互操作方法及装置 |
CN103456012A (zh) * | 2013-09-03 | 2013-12-18 | 北京大学深圳研究生院 | 基于最大稳定曲率区域的视觉人手检测跟踪方法及系统 |
CN103500010A (zh) * | 2013-09-29 | 2014-01-08 | 华南理工大学 | 一种视频人手指尖定位方法 |
CN103616952A (zh) * | 2013-12-03 | 2014-03-05 | 北京悦动双成科技有限公司 | 确定动作的方法及三维传感器 |
CN103971102A (zh) * | 2014-05-21 | 2014-08-06 | 南京大学 | 基于手指轮廓和决策树的静态手势识别方法 |
CN104102347A (zh) * | 2014-07-09 | 2014-10-15 | 东莞万士达液晶显示器有限公司 | 指尖定位方法及指尖定位终端 |
CN104899591A (zh) * | 2015-06-17 | 2015-09-09 | 吉林纪元时空动漫游戏科技股份有限公司 | 基于深度相机的手腕点和手臂点的提取方法 |
CN104899600A (zh) * | 2015-05-28 | 2015-09-09 | 北京工业大学 | 一种基于深度图的手部特征点检测方法 |
CN104978012A (zh) * | 2014-04-03 | 2015-10-14 | 华为技术有限公司 | 一种指向交互方法、装置及系统 |
CN105117685A (zh) * | 2015-07-27 | 2015-12-02 | 华南理工大学 | 基于图像模板匹配的手指手腕关节自动定位方法 |
CN105137973A (zh) * | 2015-08-21 | 2015-12-09 | 华南理工大学 | 一种人机协作场景下的机器人智能躲避人类方法 |
CN105643590A (zh) * | 2016-03-31 | 2016-06-08 | 河北工业大学 | 一种手势控制的轮式移动机器人及其操作方法 |
CN105739702A (zh) * | 2016-01-29 | 2016-07-06 | 电子科技大学 | 用于自然人机交互的多姿态指尖跟踪方法 |
CN105945947A (zh) * | 2016-05-20 | 2016-09-21 | 西华大学 | 基于手势控制的机器人写字系统及其控制方法 |
CN106055106A (zh) * | 2016-06-04 | 2016-10-26 | 北京联合大学 | 一种基于Leap Motion的优势点检测识别方法 |
CN106537261A (zh) * | 2014-07-15 | 2017-03-22 | 微软技术许可有限责任公司 | 全息键盘显示 |
CN106993112A (zh) * | 2017-03-09 | 2017-07-28 | 广东欧珀移动通信有限公司 | 基于景深的背景虚化方法及装置和电子装置 |
CN107256083A (zh) * | 2017-05-18 | 2017-10-17 | 河海大学常州校区 | 基于kinect的多手指实时跟踪方法 |
CN107678551A (zh) * | 2017-10-19 | 2018-02-09 | 京东方科技集团股份有限公司 | 手势识别方法和装置、电子设备 |
CN107798700A (zh) * | 2017-09-27 | 2018-03-13 | 歌尔科技有限公司 | 用户手指位置信息的确定方法及装置、投影仪、投影系统 |
CN107818584A (zh) * | 2017-09-27 | 2018-03-20 | 歌尔科技有限公司 | 用户手指位置信息的确定方法及装置、投影仪、投影系统 |
CN107885327A (zh) * | 2017-10-27 | 2018-04-06 | 长春理工大学 | 一种基于Kinect深度信息的指尖检测方法 |
CN108355347A (zh) * | 2018-03-05 | 2018-08-03 | 网易(杭州)网络有限公司 | 交互控制方法、装置、电子设备及存储介质 |
CN108496203A (zh) * | 2017-07-17 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 一种对图像的处理方法及装置、智能终端 |
CN108647597A (zh) * | 2018-04-27 | 2018-10-12 | 京东方科技集团股份有限公司 | 一种手腕识别方法、手势识别方法、装置和电子设备 |
CN109767436A (zh) * | 2019-01-07 | 2019-05-17 | 深圳市创业印章实业有限公司 | 一种印章真伪鉴别的方法及装置 |
CN110335216A (zh) * | 2019-07-09 | 2019-10-15 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端设备及可读存储介质 |
CN110874179A (zh) * | 2018-09-03 | 2020-03-10 | 京东方科技集团股份有限公司 | 指尖检测方法、指尖检测装置、指尖检测设备及介质 |
CN111144212A (zh) * | 2019-11-26 | 2020-05-12 | 北京华捷艾米科技有限公司 | 一种深度图像目标分割方法及装置 |
CN111383345A (zh) * | 2018-12-29 | 2020-07-07 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
CN111598917A (zh) * | 2020-07-15 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 数据嵌入方法、装置、设备及计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110304540A1 (en) * | 2010-06-11 | 2011-12-15 | Namco Bandai Games Inc. | Image generation system, image generation method, and information storage medium |
CN102799855A (zh) * | 2012-06-14 | 2012-11-28 | 华南理工大学 | 基于视频流的人手定位方法 |
-
2013
- 2013-04-07 CN CN201310118060.9A patent/CN103226387B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110304540A1 (en) * | 2010-06-11 | 2011-12-15 | Namco Bandai Games Inc. | Image generation system, image generation method, and information storage medium |
CN102799855A (zh) * | 2012-06-14 | 2012-11-28 | 华南理工大学 | 基于视频流的人手定位方法 |
Non-Patent Citations (2)
Title |
---|
ZIYONG FENG,SHAOJIE XU,XIN ZHANG,LIANWEN JIN,ZHICHAO YE,WEIXIN Y: "Real-time Fingertip Tracking and Detection using Kinect Depth Sensor for a New Writing-in-the Air System", 《INTERNATIONAL CONFERENCE ON INTERNET MULTIMEDIA COMPUTING AND SERVICE》 * |
晏浩: "基于Kinect的三维多手指跟踪算法及应用", 《中国优秀硕士学位论文》 * |
Cited By (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440036A (zh) * | 2013-08-23 | 2013-12-11 | Tcl集团股份有限公司 | 三维图像的显示和交互操作方法及装置 |
CN103440036B (zh) * | 2013-08-23 | 2018-04-17 | Tcl集团股份有限公司 | 三维图像的显示和交互操作方法及装置 |
CN103456012A (zh) * | 2013-09-03 | 2013-12-18 | 北京大学深圳研究生院 | 基于最大稳定曲率区域的视觉人手检测跟踪方法及系统 |
CN103500010A (zh) * | 2013-09-29 | 2014-01-08 | 华南理工大学 | 一种视频人手指尖定位方法 |
CN103500010B (zh) * | 2013-09-29 | 2016-10-05 | 华南理工大学 | 一种视频人手指尖定位方法 |
CN103616952B (zh) * | 2013-12-03 | 2017-08-08 | 北京悦动双成科技有限公司 | 确定动作的方法及三维传感器 |
CN103616952A (zh) * | 2013-12-03 | 2014-03-05 | 北京悦动双成科技有限公司 | 确定动作的方法及三维传感器 |
CN104978012A (zh) * | 2014-04-03 | 2015-10-14 | 华为技术有限公司 | 一种指向交互方法、装置及系统 |
CN104978012B (zh) * | 2014-04-03 | 2018-03-16 | 华为技术有限公司 | 一种指向交互方法、装置及系统 |
US10466797B2 (en) | 2014-04-03 | 2019-11-05 | Huawei Technologies Co., Ltd. | Pointing interaction method, apparatus, and system |
CN103971102A (zh) * | 2014-05-21 | 2014-08-06 | 南京大学 | 基于手指轮廓和决策树的静态手势识别方法 |
CN103971102B (zh) * | 2014-05-21 | 2017-02-01 | 南京大学 | 基于手指轮廓和决策树的静态手势识别方法 |
CN104102347A (zh) * | 2014-07-09 | 2014-10-15 | 东莞万士达液晶显示器有限公司 | 指尖定位方法及指尖定位终端 |
CN106537261B (zh) * | 2014-07-15 | 2019-08-27 | 微软技术许可有限责任公司 | 全息键盘显示 |
US10222981B2 (en) | 2014-07-15 | 2019-03-05 | Microsoft Technology Licensing, Llc | Holographic keyboard display |
CN106537261A (zh) * | 2014-07-15 | 2017-03-22 | 微软技术许可有限责任公司 | 全息键盘显示 |
CN104899600B (zh) * | 2015-05-28 | 2018-07-17 | 北京工业大学 | 一种基于深度图的手部特征点检测方法 |
CN104899600A (zh) * | 2015-05-28 | 2015-09-09 | 北京工业大学 | 一种基于深度图的手部特征点检测方法 |
CN104899591A (zh) * | 2015-06-17 | 2015-09-09 | 吉林纪元时空动漫游戏科技股份有限公司 | 基于深度相机的手腕点和手臂点的提取方法 |
CN104899591B (zh) * | 2015-06-17 | 2018-01-05 | 吉林纪元时空动漫游戏科技集团股份有限公司 | 基于深度相机的手腕点和手臂点的提取方法 |
CN105117685B (zh) * | 2015-07-27 | 2018-12-11 | 华南理工大学 | 基于图像模板匹配的手指手腕关节自动定位方法 |
CN105117685A (zh) * | 2015-07-27 | 2015-12-02 | 华南理工大学 | 基于图像模板匹配的手指手腕关节自动定位方法 |
CN105137973B (zh) * | 2015-08-21 | 2017-12-01 | 华南理工大学 | 一种人机协作场景下的机器人智能躲避人类方法 |
CN105137973A (zh) * | 2015-08-21 | 2015-12-09 | 华南理工大学 | 一种人机协作场景下的机器人智能躲避人类方法 |
CN105739702A (zh) * | 2016-01-29 | 2016-07-06 | 电子科技大学 | 用于自然人机交互的多姿态指尖跟踪方法 |
CN105739702B (zh) * | 2016-01-29 | 2019-01-22 | 电子科技大学 | 用于自然人机交互的多姿态指尖跟踪方法 |
CN105643590A (zh) * | 2016-03-31 | 2016-06-08 | 河北工业大学 | 一种手势控制的轮式移动机器人及其操作方法 |
CN105945947A (zh) * | 2016-05-20 | 2016-09-21 | 西华大学 | 基于手势控制的机器人写字系统及其控制方法 |
CN106055106B (zh) * | 2016-06-04 | 2018-11-13 | 北京联合大学 | 一种基于Leap Motion的优势点检测识别方法 |
CN106055106A (zh) * | 2016-06-04 | 2016-10-26 | 北京联合大学 | 一种基于Leap Motion的优势点检测识别方法 |
CN106993112A (zh) * | 2017-03-09 | 2017-07-28 | 广东欧珀移动通信有限公司 | 基于景深的背景虚化方法及装置和电子装置 |
CN107256083A (zh) * | 2017-05-18 | 2017-10-17 | 河海大学常州校区 | 基于kinect的多手指实时跟踪方法 |
CN108496203A (zh) * | 2017-07-17 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 一种对图像的处理方法及装置、智能终端 |
CN107798700A (zh) * | 2017-09-27 | 2018-03-13 | 歌尔科技有限公司 | 用户手指位置信息的确定方法及装置、投影仪、投影系统 |
CN107818584A (zh) * | 2017-09-27 | 2018-03-20 | 歌尔科技有限公司 | 用户手指位置信息的确定方法及装置、投影仪、投影系统 |
CN107798700B (zh) * | 2017-09-27 | 2019-12-13 | 歌尔科技有限公司 | 用户手指位置信息的确定方法及装置、投影仪、投影系统 |
CN107678551A (zh) * | 2017-10-19 | 2018-02-09 | 京东方科技集团股份有限公司 | 手势识别方法和装置、电子设备 |
US11402918B2 (en) | 2017-10-19 | 2022-08-02 | Boe Technology Group Co., Ltd. | Method for controlling terminal apparatus, apparatus for controlling terminal apparatus, and computer-program product |
CN107678551B (zh) * | 2017-10-19 | 2021-12-28 | 京东方科技集团股份有限公司 | 手势识别方法和装置、电子设备 |
CN107885327B (zh) * | 2017-10-27 | 2020-11-13 | 长春理工大学 | 一种基于Kinect深度信息的指尖检测方法 |
CN107885327A (zh) * | 2017-10-27 | 2018-04-06 | 长春理工大学 | 一种基于Kinect深度信息的指尖检测方法 |
CN108355347A (zh) * | 2018-03-05 | 2018-08-03 | 网易(杭州)网络有限公司 | 交互控制方法、装置、电子设备及存储介质 |
US10922535B2 (en) | 2018-04-27 | 2021-02-16 | Boe Technology Group Co., Ltd. | Method and device for identifying wrist, method for identifying gesture, electronic equipment and computer-readable storage medium |
CN108647597A (zh) * | 2018-04-27 | 2018-10-12 | 京东方科技集团股份有限公司 | 一种手腕识别方法、手势识别方法、装置和电子设备 |
CN110874179A (zh) * | 2018-09-03 | 2020-03-10 | 京东方科技集团股份有限公司 | 指尖检测方法、指尖检测装置、指尖检测设备及介质 |
US11315265B2 (en) * | 2018-09-03 | 2022-04-26 | Boe Technology Group Co., Ltd. | Fingertip detection method, fingertip detection device, and medium |
WO2020048213A1 (zh) * | 2018-09-03 | 2020-03-12 | 京东方科技集团股份有限公司 | 指尖检测方法、指尖检测装置、指尖检测设备及介质 |
CN110874179B (zh) * | 2018-09-03 | 2021-09-14 | 京东方科技集团股份有限公司 | 指尖检测方法、指尖检测装置、指尖检测设备及介质 |
CN111383345B (zh) * | 2018-12-29 | 2022-11-22 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
CN111383345A (zh) * | 2018-12-29 | 2020-07-07 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
CN109767436A (zh) * | 2019-01-07 | 2019-05-17 | 深圳市创业印章实业有限公司 | 一种印章真伪鉴别的方法及装置 |
CN110335216A (zh) * | 2019-07-09 | 2019-10-15 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端设备及可读存储介质 |
CN111144212A (zh) * | 2019-11-26 | 2020-05-12 | 北京华捷艾米科技有限公司 | 一种深度图像目标分割方法及装置 |
CN111144212B (zh) * | 2019-11-26 | 2023-06-23 | 北京华捷艾米科技有限公司 | 一种深度图像目标分割方法及装置 |
CN111598917B (zh) * | 2020-07-15 | 2020-12-04 | 腾讯科技(深圳)有限公司 | 数据嵌入方法、装置、设备及计算机可读存储介质 |
CN111598917A (zh) * | 2020-07-15 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 数据嵌入方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103226387B (zh) | 2016-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103226387B (zh) | 基于Kinect的视频人手指尖定位方法 | |
CN104636725B (zh) | 一种基于深度图像的手势识别方法与系统 | |
CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
CN103246891B (zh) | 一种基于Kinect的中国手语识别方法 | |
CN105739702B (zh) | 用于自然人机交互的多姿态指尖跟踪方法 | |
CN103971102B (zh) | 基于手指轮廓和决策树的静态手势识别方法 | |
CN110232311A (zh) | 手部图像的分割方法、装置及计算机设备 | |
CN103500010B (zh) | 一种视频人手指尖定位方法 | |
CN105005769A (zh) | 一种基于深度信息的手语识别方法 | |
CN110232308B (zh) | 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法 | |
CN103413145B (zh) | 基于深度图像的关节点定位方法 | |
CN102622225B (zh) | 一种支持用户自定义手势的多点触控应用程序开发方法 | |
CN103135755A (zh) | 交互系统及方法 | |
CN107992792A (zh) | 一种基于加速度传感器的空中手写汉字识别系统及方法 | |
CN105975934A (zh) | 一种用于增强现实辅助维修的动态手势识别方法及系统 | |
CN103530892A (zh) | 一种基于Kinect传感器的双手跟踪方法与装置 | |
CN106971130A (zh) | 一种以人脸为参照的手势识别方法 | |
CN102693025A (zh) | 一种多点触摸交互系统的触摸手识别方法 | |
CN103034851B (zh) | 自学习的基于肤色模型的手部跟踪装置及方法 | |
CN104102347A (zh) | 指尖定位方法及指尖定位终端 | |
CN105335711A (zh) | 一种复杂环境下指尖检测方法 | |
CN108628455B (zh) | 一种基于触摸屏手势识别的虚拟沙画绘制方法 | |
CN104517100A (zh) | 手势预判方法和系统 | |
CN103577792A (zh) | 用于估计人体姿势的设备和方法 | |
CN104933408A (zh) | 手势识别的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |