CN102982557A - 基于深度相机的空间手势姿态指令处理方法 - Google Patents
基于深度相机的空间手势姿态指令处理方法 Download PDFInfo
- Publication number
- CN102982557A CN102982557A CN2012104386420A CN201210438642A CN102982557A CN 102982557 A CN102982557 A CN 102982557A CN 2012104386420 A CN2012104386420 A CN 2012104386420A CN 201210438642 A CN201210438642 A CN 201210438642A CN 102982557 A CN102982557 A CN 102982557A
- Authority
- CN
- China
- Prior art keywords
- gesture
- information
- point
- depth
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
基于深度相机的空间手势姿态指令处理方法。涉及基于深度相机的空间手势姿态指令处理方法。在复杂多变的环境中,能够快速、准确识别空间手势指令信息,极大程度提高工作效率及准确度,且鲁棒性高、实用性强、抗干扰能力好。包括以下步骤:1)通过深度相机获取实时的图像;2)利用三维点云计算得到手势点云数据,得手势点云信息;3)将手势点云信息进行平面配准,提取轮廓特征点信息;4)恢复出手势姿态;5)进行手势姿态识别;6)识别相应运动轨迹定义其操作内容,最终通过TUIO协议对动态手势鼠标输出点进行数据平滑。本发明能快速、准确全方位获取目标信息;建立空间运动检测区域,提取不同深度信息,实现多点触摸,从而改善整体操作性能。
Description
技术领域
本发明涉及基于深度相机非接触式三维虚拟空间领域,尤其涉及一种基于深度相机的空间手势姿态指令处理方法。
背景技术
近几年,人机交互、机器人和虚拟现实等领域的快速发展和广泛应用,三维交互输入新技术成为人机虚拟交互领域中众多研究学者研究的热点。随着这项技术的发展和不断深入,大众对其使用需求越来越高,非接触、高速、实时定位与三维操作成为该技术发展的方向。然而,通常利用动态手势实现三维鼠标模拟装置,利用三维空间位置传感器或搭建虚拟三维场景辅助实现,且其操作方式有限。由于受复杂环境、光照条件和干扰等因素的影响较为严重,与理想环境相比,普通相机在室内环境中,采集的图像信息无法准确表达动态三维手势鼠标的操作信息,鲁棒性有更大程度的降低,所以,其实用性和定位操作精度会大大下降,使其非接触鼠标操作装置性能降低。在复杂环境下,能克服光照条件和肤色背景等条件的干扰是解决非接触鼠标操作装置最先完成的工作部分,即对空间中手势分割性能指标提出更高的要求,并准确定位出手势鼠标的位置。但是,目前在复杂背景下的分割方法有手势模板、肤色检测等方法能在一定条件下提高操作稳定性,但无法满足光照条件变化及抗干扰的要求。如果无法准确定位手势的空间位置,那么后续的动态识别操作将受到影响,如动态手势鼠标跟踪、识别等。
2010年12月在《光电工程》的第37卷第12期公开了名为《基于动态手势控制的交互式体三维显示》文献,公开了通过对二维相机水平面围绕显示空间捕获二维信息的手势图像处理,实现了人机交互。上述文献在静态手势检测部分,通过检测二维图像数据相邻帧差中特定区域,确定初始动态跟踪区域,结合手部肤色模型进行静态手型检测,其方案抗外界干扰能力差,无法适应较复杂环境;在动态手势特征提取,是通过在二维平面上对手势轨迹做Freeman八方向编码处理,提取出动态手势特征,其计算数据较大,无法精确、快速获取数据。同时,上述文献通过二维相机水平面围绕显示空间捕获二维信息,其装置结构复杂,效率较低。
发明内容
本发明针对上述问题,提供了一种在复杂多变的环境中,能够快速、准确识别空间手势指令信息,极大程度提高工作效率及准确度,且鲁棒性高、实用性强、抗干扰能力好的基于深度相机的空间手势姿态指令处理方法。
本发明的技术方案包括以下步骤:
1)、通过深度相机获取实时的图像,所述图像包括深度图像和RGB彩色图像;
利用OpenNI应用框架对两所述图像中人体进行用户定位和骨骼跟踪,根据所述骨骼跟踪获取所述人体的手部关节点坐标信息;
根据所述手部关节点坐标信息,获得所述手势的手掌中心点坐标信息,同时设定所述手势深度信息的阈值,将手势从两所述图像中分割出来,实时得到所述人体的手势深度信息和RGB彩色信息,同时有效地圈出动态手势的位置;
2)、对上述步骤1)中所述手势深度信息,利用三维点云计算得到手势点云数据,计算后的所述手势点云数据只包括所述点的三维坐标位置信息,然后对所述手势点云数据做数据滤波处理,滤除掉所述手势点云数据中的噪声干扰点;得手势点云信息;
3)、将步骤2)中所述手势点云信息,通过旋转、平移将手势点云信息三维信息进行平面配准,保存配准后手势点云信息,然后提取出手势点云信息的轮廓特征点信息,所述轮廓特征点包括指尖点、指尖凹点和手掌中心点;
4)、根据步骤3)中所述轮廓特征点信息结合深度图像的像素深度值映射出所述轮廓特征点的深度值,通过欧式距离法做距离阈值判断、筛选出关键指尖点信息,根据所述指尖点信息和对应指尖凹点信息结合所述平面配准的平面获取五个手指特征矢量,根据所述特征矢量恢复出手势姿态;
5)、根据步骤4)所述特征矢量的条件筛选进行三种手势姿态识别;所述三种手势姿态的指令及相应指令处理:”Grab”手势,定义为模拟抓取当前三维空间位置物体;”Fist”手势在空间连续运动时,定义为拖动操作,表示运动手势模拟拽拖或移动当前空间位置物体;”Kick”手势定义为点击操作,表示运动手势模拟点击当前空间位置信息,且连续输出空间坐标的信息;
6)、根据步骤5)手势姿态识别的结果,在特定手势姿态下,跟踪步骤1)中所述的动态手势的运动轨迹,自动标定一垂直于深度体感相机的虚拟参考平面,当动态手势在标定平面上有运动变化时,测出手势鼠标在标定平面上的相应运动,识别其运动轨迹做并做相应模拟手势鼠标处理操作;当动态手势出现垂直于相机的运动轨迹时,识别相应运动轨迹定义其操作内容,最终通过TUIO协议对动态手势鼠标输出点进行数据平滑。
所述手势深度信息的阈值范围为80~100mm。
步骤2)中所述三维点云计算为:
所述步骤2)的所述滤波处理设置滤波的欧氏距离阈值范围为0.02mm,最近邻搜索k-D树搜索次数设为100。
所述步骤3)中点云信息配准公式为: 式中,配准前点三维信息p0(Xc,Yc,Zc)和配准后点的三维信息q0(Xw,Yw,Zw),λ为比例因子且λ=1,其中R为正交旋转矩阵和平移矩阵T,且配准前和配准后的点三维信息的满足最小二乘法。
步骤3)中所述欧式距离法做距离阈值判断、筛选出关键指尖点信息:首先通过R=min{d3{vj,c0)},计算得出的手掌半径R值,然后通过d3(pi,c0)>2*R,进行筛选出关键指尖点信息;式中d3表示三维空间的欧氏距离计算,式中pi表示指尖的三维坐标,vj表示指尖凹点的三维坐标,c0表示手掌中心点的三维坐标。
步骤5)中所述特征矢量的条件筛选:
式F是特征量,αi表示第i个手指特征矢量,A表示阈值,所述特征矢量满足α1=-10°~45°,α2~5=-15°~90°条件。
步骤6)所述动态手势运动过程中手掌坐标运动距离须大于50mm。
所述识别其运动轨迹做并做相应模拟手势鼠标处理操作:手势运动大小通过差值特征量来衡量,所述差值特征量表达式为:
θ=tan-1(||G||)
式中,Pi表示第i帧深度图像上指尖点坐标,Pi-1表示第i-1帧深度图像上指尖点坐标,‖G‖表示点与点之间的梯度,θ表示角度。
本发明采用深度相机能够快速、准确全方位获取目标的深度图像和RGB彩色图像信息;采用基于OPENNI应用框架中骨骼定位跟踪,对校正Psi姿势的用户自动提取骨骼信息,得到用户手掌关节三维坐标点,结合手势姿态深度信息做阈值分割提取出手势姿态部分,来减少复杂环境对目标手势分割的影响,能够适应复杂多变环境;同种手势姿态在不同情况下会产生角度差异或者摄像头摆放的角度偏差,都会影响到手势的识别准确率,降低装置整体运行效率,本发明通过对目标手势姿态的三维信息恢复和角度校准能极大提高目标手势姿态识别的准确率;通过对目标手势姿态关节三维坐标点在三维空间中的手势轨迹做方向编码并提取出相应的特征向量,能够快速识别手势姿态,且数据处理量少、准确度高;本发明还采用基于深度相机的深度信息,建立在目标手势姿态空间中运动检测区域,提取出运动平面区域不同深度信息的点实现空间中手势姿态的多点触摸,且利用TUIO多点可触通信协议,从而大大改善了深度相机的空间手势姿态指令处理方法的整体操作性能,大大提高了深度相机的空间手势姿态指令处理方法的鲁棒性和实用性。
附图说明
图1是本发明的工作流程框图,
图2是本发明的Psi标准校正姿势的示意图。
具体实施方式
本发明如图1-2所示,包括以下步骤:
第一步、通过深度相机获取实时的图像,所述图像包括深度图像和RGB彩色图像;
所述深度相机是一种基于结构光编码原理,能采集RGB图像和深度图像的相机。所述深度图像包括场景的二维XY坐标信息、反映场景中距摄像头远近的像素深度值信息。所述深度值是由IR摄像头红外光测距接收反射距离表示,表现为深度图像中灰度值;所述深度值越大,对应实际场景中离相机平面距离越远,即离相机越近则深度值越大。
利用所述深度相机捕获图像时的帧频设置为30FPS,所述深度相机采集图像大小一般为640×480像素,分辨率为5mm左右。
利用OpenNI应用框架对两所述图像中人体进行用户定位和骨骼跟踪,根据所述骨骼跟踪获取所述人体的手部关节点坐标信息;根据所述手部关节点坐标信息,获得手势姿态的手掌中心点坐标信息;同时设定所述手势深度信息的阈值,将手势从两所述图像中分割出来,实时得到所述人体的手势深度信息和RGB彩色信息。
所述OpenNI(开放自然交互)是一个多语言开放框架,支持多种操作平台。该框架本身定义了包括人体骨骼等自然操作程式的API程序,利用其API应用与对应接口建立通信。
所述用户定位是启动深度相机OpenNI应用框架后,需要对用户进行Psi标准姿势(如图2所示的人体姿态示意)的校正标定,校正成功后,可获取用户人体骨骼的24个关节资料,其中双手手部关节参数分别为9和15。
所述骨骼跟踪是根据系统API程序定义,User Generator(使用者生成器)提供整个骨骼关节信息,分布包括XN_SKEL_HEAD(头部)、XN_SKEL_LEFT_SHOULDER(右肩)、XN SKEL_LEFT_ELBOW(右肘)、XN_SKEL_LEFT_HAND(右手)等关节,从而获取所述人体的关节信息,本发明中跟踪定位用户的手部关节点位置信息为XN_SKEL LEFT_HAND(右手)。
本发明中,设D(x,y)表示所述深度图像中(x,y)坐标处的深度值,根据所述手掌中心点坐标信息Pi(x0,y0,D(x0,y0)),D(x0,y0)为中心点所对应的深度值。首先,以所述手掌中心点(x0,y0)坐标为原点,划取出深度图像中所述手势姿态区域:
公式中,(x,y)坐标为点在深度图像中坐标,W(x,y)表示所述坐标对应的深度值。
由于深度值表示距离相机的远近,本发明通过设置合适的深度值的阈值将所述手势区域的手部姿态深度图像信息分割提取出来,同时,阈值界定分割之前对W(x,y)=0处的无效点置最大值处理。
从所述手势姿势区域的图像中分割出手势的深度信息的公式为:
在公式中P(x,y).z表示手部的深度值,W(x,y)表示深度图像中所述手势姿态区域与(x,y)坐标所对应的深度值,(x,y)坐标满足|x-x0|≤70(mm)且|y-y0|≤70(mm)范围,其中Tp表示手掌厚度深度阈值,范围为80~100mm。
依据分割出手势的所述深度信息从RGB图像中提取出手势部分,公式为:
公式中I(x,y).r,I(x,y).g,I(x,y).b分别表示RGB图像中对应(x,y)坐标点R,G,B三个通道的灰度值,经过以上RGB图像分割处理可以得到彩色手势图像部分,有效的圈出动态手势的位置。
第二步、对上述步骤一中所述手势深度信息,利用三维点云计算得到手势点云数据,计算后的所述手势点云数据只包括所述点的三维坐标位置信息,然后对所述手势点云数据做数据滤波处理,滤除掉所述手势点云数据中的噪声干扰点;得手势点云信息。
所述三维点云计算为:
式中,(X,Y,Z)分别表示所述目标手势点三维信息的坐标值,x0,y0分别为手掌中心点坐标的XY轴坐标值,x,y表示有效手部区域P(x,y).z≠0点的二维图像坐标值,P(x,y).z表示所述深度图像中有效手部(x,y)坐标点对应深度值,F是所述深度相机的焦距;得所述点的三维坐标位置信息;所述深度相机焦距F=570.3mm;所述三维点云计算是将二维坐标信息转换到三维坐标信息,对其进行三维空间的点云坐标变换计算线性归一化处理。
由于所述点云计算中Z值由对应坐标点的所述深度值直接得出,则所述手势点云数据在坐标轴中Z方向上的分布,会根据深度图像灰度值大小变化,即距摄像头平面越近则点云数据Z轴方向上越靠近原点。
所述滤波处理将所述手势点云数据基于欧式距离算法设置阈值和K-D树搜索最临近点数据进行滤除所述干扰点,所述阈值范围为0.02mm,所述k-D树搜索次数设为100;所述k-d树(k-维树的缩写)是在k维欧几里德空间组织点的数据结构。k-d树可以使用在多种应用场合,如多维键值搜索。k-d树是二叉树的一种特殊情况。
通常所述点云数据中不仅包含点的三维坐标位置信息,还能附带点云的其他信息,如颜色、几何关系信息等,这就使点的信息由{x,y,z}扩展到包含{l1,l2,..,lm}特征量的多维点集。由于只需要知道手势个点之间在空间中的位置关系,所以只利用{x,y,z}表示点云的结构,不附带其他特征信息量。
上述式中z是指通过点云换算公式后所得到的Z值,表示物体与摄像头所在平面的水平距离。
第三步、将步骤二中所述手势点云信息,通过旋转、平移将手势点云信息三维信息进行平面配准,保存配准后手势点云信息,然后提取出手势点云信息的轮廓特征点信息,所述轮廓特征点包括指尖点、指尖凹点和手掌中心点。
所述手势点云配准是把从不同角度采集得到的点云数据,通过空间转换把它们匹配到同一空间位置;在数学上,所述点云配准即两个点云点集P={p0,p1,p2...}和Q={q0,q1,q2...}之间的空间坐标旋转和平移变换(其中点集中每个点都包含该点的三维信息量p0(Xc,Yc,Zc)和q0(Xw,Yw,Zw),根据拟人眼成像原理,为获取目标三维信息从而需要对双目摄像机做标定。理想摄像机成像模型是小孔模型,其数学表达式如下,且满足两个点云集的应用最小二乘法目标函数最小:
式中,λ为比例因子,R为正交旋转矩阵和平移矩阵T。
最小二乘法(又称最小平方法)是一种数学优化技术,它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。
本发明根据步骤二中滤除噪声干扰点后的所述手势点云数据,计算所述手势对应手掌所在面积较大的拟合平面,将所述拟合平面的手势点云数据通过刚性变换[RT]变换到与XOY面上:首先,提取出所述手势对应手掌部分深度值最小点Pk|z=min;然后,提取所述手势点云数据最左Pk|x=min、最右Pk|x=max、最上Pk|y=max和最下Pk|y=min的四个边界点,组成所述拟合平面的点云集数据,计算拟合所述拟合平面的平面参数{A,B,C,D};然后,根据所述拟合平面和所述XOY面的平面参数,计算所述手势刚性变换正交旋转矩阵R和平移矩阵T,其中设置λ=1;即所述拟合平面的手势点云数据通过矩阵变换配准得到的所述XOY面在平面内,具有旋转的自由度;由于通过与所述XOY面刚性变换配准,得到的所述点云数据以z轴方向投影到所述XOY面的二值图像正好与该手势姿态正方向对齐,基于配准后得到二值图像具有所述手势姿态正面的特征信息,经过所述点云数据投影到二维图像上,利用轮廓凸包、k曲率计算,提取出所述手势姿态的轮廓特征点即轮廓峰值点(指尖)、谷点(指尖凹点)和手掌中心点。
第四步、根据步骤三中所述轮廓特征点信息结合深度图像的像素深度值映射出所述轮廓特征点的深度值,通过欧式距离法做距离阈值判断、筛选出关键指尖点信息,根据所述指尖信息和对应指尖凹点信息结合步骤三中配准平面获取五个手指特征矢量,根据所述特征矢量恢复出手势姿态。
首先根据步骤三中所述轮廓特征点(指尖、凹点和手掌中心点)的二维XY坐标信息,结合深度图像的像素深度值(与摄像头平面的水平距离表示)映射出所述轮廓特征点的深度值;由所述点云计算公式得出所述轮廓特征点的三维坐标(X,Y,Z),该手势轮廓特征点三维坐标信息组成一组关键特征点向量{p1,...pi,v1,...vj,c0}|i=0~5,j=0~4,式中pi表示指尖的三维坐标,vj表示指尖凹点的三维坐标,c0表示手掌中心点的三维坐标;
然后计算出手掌半径R=min{d3(vj,c0)},式中d3表示三维空间的欧氏距离计算,基于计算得出的手掌半径R值,对关键的所述特征点中的可能指尖点pi做距离阈值判断d3(pi,c0)>2*R;
通过阈值筛选出关键指尖点pi后,然后求取手势手指与手掌平面(即XOY坐标平面)间旋转特征矢量,即以配对的[vj,pi]与XOY平面之间的夹角向量作为手势姿态旋转的所述特征矢量αi|i=0~5,最后得到所述特征矢量{α1,α2,α3,α4,α5},通过所述特征矢量定义手势形状,获取手指与手掌之间几何特征矢量,若对应没有指尖pi,则对应αi=0。上述特征点运算都属三维坐标下的pi(x,y,z),vj(x,y,z),c0(x,y,z),其中x,y,z坐标均由所述三维点云计算得出。用所述特征矢量进行手势识别效率快、准确度高。
第五步,对步骤四中提取的所述特征矢量进行决策树判断,其中所述特征矢量满足α1=-10°~45°,α2~5=-15°~90°条件,通过从最大旋转角度特征量做逐级筛选。其中对”Kick”、”Grab”、”Fist”三种手势姿态分别取以定义特征量阈值,通过判断所述特征量F的值αi大于某一阈值A,是表示可能弯曲,不是表示不弯曲:
αi表示第i个手指特征矢量,i的数值对应手指顺序是:i=1是表示大手指到i=5是表示小手指。
对特征矢量不同的手势再加以区分,然后再对满足条件的特征量数手势姿态进行所述三种手势姿态识别。
所述三种手势姿态指令及相应指令处理:”Grab”手势,表示运动手势模拟抓取当前三维空间位置物体;”Fist”手势在空间连续运动时,定义为拖动操作,表示运动手势模拟拽拖或移动当前空间位置物体;”Kick”手势在z轴方向(即垂直于深度相机的方向)运动深度阈值大于Tv=50~150mm时,定义为点击操作,表示运动手势模拟点击当前空间位置信息,且连续输出空间坐标的信息。
第六步、针对步骤五的识别结果,在特定手势姿态下,跟踪步骤一中所述的动态手势的运动轨迹,自动标定一垂直于深度体感相机的虚拟参考平面(平面厚度为10mm),当动态手势在标定平面上有运动变化时,检测出手势鼠标在标定平面上的相应运动,识别其运动轨迹做并做相应模拟手势鼠标处理操作;当动态手势出现垂直于相机的运动轨迹时,识别相应运动轨迹定义其操作内容,最终通过TUIO协议对动态手势鼠标输出点进行数据平滑。
所述手势动态运动过程中手掌坐标运动距离须大于50mm。
对轨迹输出点数据进行TUIO协议平滑滤波,有效的减少运动过程中的噪声干扰。所述的TUIO协议是一个定义标准协议与应用编程接口的开放架构,主要对图像输出数据进行平滑操作和传输。对物理空间中不同方向上手势的运动轨迹,分别定义手语内容。
当所述目标手势在所述标定的平面上运动时,通过对所述目标手势运动轨迹进行所述三种模式识别,进行相应的手势指令处理;
在所述手势指令处理过程中,所述手势运动大小通过差值特征量来衡量,所述差值特征量表达式为:
θ=tan-1(||G||)
式中,Pi表示第i帧深度图像上指尖点坐标,Pi-1表示第i-1帧深度图像上指尖点坐标。前后两帧深度图像中指尖点信息相减,计算出点与点之间的梯度‖G||,以此判断运动强度及角度θ。
Claims (9)
1.基于深度相机的空间手势姿态指令处理方法,其特征在于,包括以下步骤:
1)、通过深度相机获取实时的图像,所述图像包括深度图像和RGB彩色图像;
利用OpenNI应用框架对两所述图像中人体进行用户定位和骨骼跟踪,根据所述骨骼跟踪获取所述人体的手部关节点坐标信息;
根据所述手部关节点坐标信息,获得所述手势的手掌中心点坐标信息,同时设定所述手势深度信息的阈值,将手势从两所述图像中分割出来,实时得到所述人体的手势深度信息和RGB彩色信息,同时有效地圈出动态手势的位置;
2)、对上述步骤1)中所述手势深度信息,利用三维点云计算得到手势点云数据,计算后的所述手势点云数据只包括所述点的三维坐标位置信息,然后对所述手势点云数据做数据滤波处理,滤除掉所述手势点云数据中的噪声干扰点;得手势点云信息;
3)、将步骤2)中所述手势点云信息,通过旋转、平移将手势点云信息三维信息进行平面配准,保存配准后手势点云信息,然后提取出手势点云信息的轮廓特征点信息,所述轮廓特征点包括指尖点、指尖凹点和手掌中心点;
4)、根据步骤3)中所述轮廓特征点信息结合深度图像的像素深度值映射出所述轮廓特征点的深度值,通过欧式距离法做距离阈值判断、筛选出关键指尖点信息,根据所述指尖点信息和对应指尖凹点信息结合所述平面配准的平面获取五个手指特征矢量,根据所述特征矢量恢复出手势姿态;
5)、根据步骤4)所述特征矢量的条件筛选进行三种手势姿态识别;所述三种手势姿态的指令及相应指令处理:”Grab”手势,定义为模拟抓取当前三维空间位置物体;”Fist”手势在空间连续运动时,定义为拖动操作,表示运动手势模拟拽拖或移动当前空间位置物体;”Kick”手势定义为点击操作,表示运动手势模拟点击当前空间位置信息,且连续输出空间坐标的信息;
6)、根据步骤5)手势姿态识别的结果,在特定手势姿态下,跟踪步骤1)中所述的动态手势的运动轨迹,自动标定一垂直于深度体感相机的虚拟参考平面,当动态手势在标定平面上有运动变化时,测出手势鼠标在标定平面上的相应运动,识别其运动轨迹做并做相应模拟手势鼠标处理操作;当动态手势出现垂直于相机的运动轨迹时,识别相应运动轨迹定义其操作内容,最终通过TUIO协议对动态手势鼠标输出点进行数据平滑。
2.根据权利要求1所述基于深度相机的空间手势姿态指令处理方法,其特征在于,所述手势深度信息的阈值范围为80~100mm。
3.根据权利要求1所述基于深度相机的空间手势姿态指令处理方法,其特征在于,步骤2)中所述三维点云计算为:
4.根据权利要求1所述基于深度相机的空间手势姿态指令处理方法,其特征在于,所述步骤2)的所述滤波处理设置滤波的欧氏距离阈值范围为0.02mm,最近邻搜索k-D树搜索次数设为100。
5.根据权利要求1所述基于深度相机的空间手势姿态指令处理方法,其特征在于,所述步骤3)中点云信息配准公式为: 式中,配准前点三维信息p0(Xc,Yc,Zc)和配准后点的三维信息q0(Xw,Yw,Zw),λ为比例因子且λ=1,其中R为正交旋转矩阵和平移矩阵T,且配准前和配准后的点三维信息的满足最小二乘法。
6.根据权利要求1所述基于深度相机的空间手势姿态指令处理方法,其特征在于,步骤3)中所述欧式距离法做距离阈值判断、筛选出关键指尖点信息:首先通过R=min{d3(vj,c0)},计算得出的手掌半径R值,然后通过d3(pi,c0)>2*R,进行筛选出关键指尖点信息;式中d3表示三维空间的欧氏距离计算,式中pi表示指尖的三维坐标,vj表示指尖凹点的三维坐标,c0表示手掌中心点的三维坐标。
7.根据权利要求1所述基于深度相机的空间手势姿态指令处理方法,其特征在于,步骤5)中所述特征矢量的条件筛选:
式F是特征量,αi表示第i个手指特征矢量,A表示阈值,所述特征矢量满足α1=-10°~45°,α2~5=-15°~90°条件。
8.根据权利要求1所述基于深度相机的空间手势姿态指令处理方法,其特征在于,步骤6)所述动态手势运动过程中手掌坐标运动距离须大于50mm。
9.根据权利要求1所述基于深度相机的空间手势姿态指令处理方法,其特征在于,所述识别其运动轨迹做并做相应模拟手势鼠标处理操作:手势运动大小通过差值特征量来衡量,所述差值特征量表达式为:
θ=tan-1(||G||)
式中,Pi表示第i帧深度图像上指尖点坐标,Pi-1表示第i-1帧深度图像上指尖点坐标,‖G‖表示点与点之间的梯度,θ表示角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210438642.0A CN102982557B (zh) | 2012-11-06 | 2012-11-06 | 基于深度相机的空间手势姿态指令处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210438642.0A CN102982557B (zh) | 2012-11-06 | 2012-11-06 | 基于深度相机的空间手势姿态指令处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102982557A true CN102982557A (zh) | 2013-03-20 |
CN102982557B CN102982557B (zh) | 2015-03-25 |
Family
ID=47856498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210438642.0A Expired - Fee Related CN102982557B (zh) | 2012-11-06 | 2012-11-06 | 基于深度相机的空间手势姿态指令处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102982557B (zh) |
Cited By (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103176605A (zh) * | 2013-03-27 | 2013-06-26 | 刘仁俊 | 一种手势识别控制装置及控制方法 |
CN103246351A (zh) * | 2013-05-23 | 2013-08-14 | 刘广松 | 一种用户交互系统和方法 |
CN103398702A (zh) * | 2013-08-05 | 2013-11-20 | 青岛海通机器人系统有限公司 | 一种移动机器人远程操控装置及其操控技术 |
CN103426171A (zh) * | 2013-08-07 | 2013-12-04 | Tcl集团股份有限公司 | 双目立体视觉系统中对应指尖点的匹配方法、装置 |
CN103544713A (zh) * | 2013-10-17 | 2014-01-29 | 芜湖金诺数字多媒体有限公司 | 一种基于刚体物理模拟系统的人体投影交互方法 |
CN103729647A (zh) * | 2013-12-31 | 2014-04-16 | 公安部第三研究所 | 基于深度图像实现人体骨骼提取的方法 |
CN103735268A (zh) * | 2013-09-29 | 2014-04-23 | 沈阳东软医疗系统有限公司 | 一种体位检测方法及系统 |
CN103984928A (zh) * | 2014-05-20 | 2014-08-13 | 桂林电子科技大学 | 基于景深图像的手指手势识别方法 |
CN104217192A (zh) * | 2013-06-03 | 2014-12-17 | 株式会社理光 | 基于深度图像的手定位方法和设备 |
CN104317391A (zh) * | 2014-09-24 | 2015-01-28 | 华中科技大学 | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 |
CN104463880A (zh) * | 2014-12-12 | 2015-03-25 | 中国科学院自动化研究所 | 一种rgb-d图像获取方法 |
CN104616284A (zh) * | 2014-12-09 | 2015-05-13 | 中国科学院上海技术物理研究所 | 彩色深度相机的彩色图像到深度图像的像素级对准算法 |
CN104699233A (zh) * | 2014-04-14 | 2015-06-10 | 杭州海康威视数字技术股份有限公司 | 一种对屏幕进行操作控制的方法和系统 |
CN104807460A (zh) * | 2015-05-04 | 2015-07-29 | 深圳大学 | 无人机室内定位方法及系统 |
CN105210115A (zh) * | 2013-06-10 | 2015-12-30 | 英特尔公司 | 使用2d图像数据来执行手势识别 |
CN105205786A (zh) * | 2014-06-19 | 2015-12-30 | 联想(北京)有限公司 | 一种图像深度恢复方法及电子设备 |
CN105528061A (zh) * | 2014-09-30 | 2016-04-27 | 财团法人成大研究发展基金会 | 手势辨识系统 |
CN105759967A (zh) * | 2016-02-19 | 2016-07-13 | 电子科技大学 | 一种基于深度数据的手部全局姿态检测方法 |
CN105827900A (zh) * | 2016-03-31 | 2016-08-03 | 纳恩博(北京)科技有限公司 | 一种数据处理方法及电子设备 |
CN105893944A (zh) * | 2016-03-29 | 2016-08-24 | 陕西师范大学 | 深度信息静态手势分割方法 |
CN106055091A (zh) * | 2016-05-16 | 2016-10-26 | 电子科技大学 | 一种基于深度信息和校正方式的手部姿态估计方法 |
CN106570939A (zh) * | 2016-11-09 | 2017-04-19 | 深圳奥比中光科技有限公司 | 一种3d地图的处理方法及系统 |
CN106802717A (zh) * | 2017-01-20 | 2017-06-06 | 深圳奥比中光科技有限公司 | 空间手势遥控方法及电子设备 |
CN106909872A (zh) * | 2015-12-22 | 2017-06-30 | 江苏达科智能科技有限公司 | 人手轮廓识别方法 |
US9704251B2 (en) | 2014-10-11 | 2017-07-11 | Boe Technology Group Co., Ltd. | Depth determination method, depth determination device and electronic device |
CN107111764A (zh) * | 2015-01-16 | 2017-08-29 | 高通股份有限公司 | 由对象在成像装置的视野中的深度触发的事件 |
CN107292921A (zh) * | 2017-06-19 | 2017-10-24 | 电子科技大学 | 一种基于kinect相机的快速三维重建方法 |
CN107357427A (zh) * | 2017-07-03 | 2017-11-17 | 南京江南博睿高新技术研究院有限公司 | 一种用于虚拟现实设备的手势识别控制方法 |
CN107436679A (zh) * | 2016-05-27 | 2017-12-05 | 富泰华工业(深圳)有限公司 | 手势控制系统及方法 |
CN107977071A (zh) * | 2016-10-24 | 2018-05-01 | 中国移动通信有限公司研究院 | 一种适用于空间系统的操作方法及装置 |
CN108140243A (zh) * | 2015-03-18 | 2018-06-08 | 北京市商汤科技开发有限公司 | 从双目成像系统的3d手部姿势恢复 |
CN108227923A (zh) * | 2018-01-02 | 2018-06-29 | 南京华捷艾米软件科技有限公司 | 一种基于体感技术的虚拟触控系统和方法 |
TWI635419B (zh) * | 2018-04-17 | 2018-09-11 | 宏碁股份有限公司 | 手勢輸入裝置 |
CN108564070A (zh) * | 2018-05-07 | 2018-09-21 | 京东方科技集团股份有限公司 | 用于提取手势的方法及其装置 |
CN108555908A (zh) * | 2018-04-12 | 2018-09-21 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
CN108596948A (zh) * | 2018-03-16 | 2018-09-28 | 中国科学院自动化研究所 | 基于深度相机识别人体头部姿态的方法及装置 |
CN108594997A (zh) * | 2018-04-16 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 手势骨架构建方法、装置、设备及存储介质 |
CN108700885A (zh) * | 2017-09-30 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 一种飞行控制方法、遥控装置、遥控系统 |
CN108830150A (zh) * | 2018-05-07 | 2018-11-16 | 山东师范大学 | 一种基于三维人体姿态估计方法及装置 |
CN108876862A (zh) * | 2018-07-13 | 2018-11-23 | 北京控制工程研究所 | 一种非合作目标点云位置姿态计算方法 |
CN108985213A (zh) * | 2018-07-09 | 2018-12-11 | 企鹅创新(北京)科技有限公司 | 姿态判断控制方法及系统 |
WO2019006760A1 (zh) * | 2017-07-07 | 2019-01-10 | 深圳市大疆创新科技有限公司 | 一种姿态的识别方法、设备及可移动平台 |
CN109176521A (zh) * | 2018-09-19 | 2019-01-11 | 北京因时机器人科技有限公司 | 一种机械臂及其抓取控制方法和系统 |
US10191536B2 (en) | 2014-02-07 | 2019-01-29 | Koninklijke Philips N.V. | Method of operating a control system and control system therefore |
CN109409316A (zh) * | 2018-11-07 | 2019-03-01 | 极鱼(北京)科技有限公司 | 空中签名方法及装置 |
CN109459984A (zh) * | 2018-11-02 | 2019-03-12 | 宁夏巨能机器人股份有限公司 | 一种基于三维点云的定位抓取系统及其使用方法 |
CN109670984A (zh) * | 2019-01-29 | 2019-04-23 | 张以雨 | 一种远程吊唁系统及其使用方法 |
CN109710066A (zh) * | 2018-12-19 | 2019-05-03 | 平安普惠企业管理有限公司 | 基于手势识别的交互方法、装置、存储介质和电子设备 |
CN109875501A (zh) * | 2013-09-25 | 2019-06-14 | 迈恩德玛泽控股股份有限公司 | 生理参数测量和反馈系统 |
CN109933191A (zh) * | 2019-02-13 | 2019-06-25 | 苏鹏程 | 手势识别和控制方法及其系统 |
CN109976519A (zh) * | 2019-03-14 | 2019-07-05 | 浙江工业大学 | 一种基于增强现实的交互显示装置及其交互显示方法 |
WO2019144296A1 (zh) * | 2018-01-23 | 2019-08-01 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法、装置和可移动平台 |
CN110163938A (zh) * | 2018-12-05 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 动画的控制方法、装置、存储介质和电子装置 |
CN110187771A (zh) * | 2019-05-31 | 2019-08-30 | 努比亚技术有限公司 | 凌空手势交互方法、装置、可穿戴设备及计算机存储介质 |
CN110232321A (zh) * | 2019-05-10 | 2019-09-13 | 深圳奥比中光科技有限公司 | 指尖点击位置的检测方法、装置、终端及计算机存储介质 |
CN110569817A (zh) * | 2019-09-12 | 2019-12-13 | 北京邮电大学 | 基于视觉实现手势识别的系统和方法 |
CN110597442A (zh) * | 2019-09-20 | 2019-12-20 | 北京华捷艾米科技有限公司 | 一种手机ar绘画方法及装置 |
CN110895683A (zh) * | 2019-10-15 | 2020-03-20 | 西安理工大学 | 一种基于Kinect的单视点手势姿势识别方法 |
WO2020073245A1 (zh) * | 2018-10-10 | 2020-04-16 | 深圳市道通智能航空技术有限公司 | 手势识别方法、vr视角控制方法以及vr系统 |
CN111046796A (zh) * | 2019-12-12 | 2020-04-21 | 哈尔滨拓博科技有限公司 | 一种基于双摄像头深度信息的低成本空间手势控制方法及系统 |
CN111055289A (zh) * | 2020-01-21 | 2020-04-24 | 达闼科技(北京)有限公司 | 机器人的手眼标定方法、装置、机器人及存储介质 |
CN111158489A (zh) * | 2019-12-31 | 2020-05-15 | 上海佑久健康科技有限公司 | 一种基于摄像头的手势交互方法及手势交互系统 |
CN111183331A (zh) * | 2017-10-23 | 2020-05-19 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN111344118A (zh) * | 2017-11-17 | 2020-06-26 | 奥卡多创新有限公司 | 用于定位物品和为每个物品计算适当抓取点的机器人系统的控制设备和方法 |
CN111368675A (zh) * | 2020-02-26 | 2020-07-03 | 深圳市瑞立视多媒体科技有限公司 | 手势深度信息的处理方法、装置、设备及存储介质 |
CN111462234A (zh) * | 2020-03-27 | 2020-07-28 | 北京华捷艾米科技有限公司 | 一种位置确定方法及装置 |
CN111475014A (zh) * | 2019-12-24 | 2020-07-31 | 长融(北京)信息技术有限公司 | 基于交错双维度多层光幕空间位置定位方法 |
CN111694428A (zh) * | 2020-05-25 | 2020-09-22 | 电子科技大学 | 基于Kinect的手势与轨迹远程控制机器人系统 |
CN112037295A (zh) * | 2020-09-04 | 2020-12-04 | 上海数迹智能科技有限公司 | 一种事件型ToF相机编解码方法、装置、介质及设备 |
CN112462948A (zh) * | 2020-12-18 | 2021-03-09 | 哈尔滨拓博科技有限公司 | 一种基于深度相机偏离用户手势控制的标定方法和装置 |
CN113646736A (zh) * | 2021-07-17 | 2021-11-12 | 华为技术有限公司 | 手势识别方法、装置、系统及车辆 |
CN114115536A (zh) * | 2021-11-22 | 2022-03-01 | 北京字节跳动网络技术有限公司 | 一种交互方法、装置、电子设备和存储介质 |
CN114281285A (zh) * | 2021-07-14 | 2022-04-05 | 海信视像科技股份有限公司 | 一种显示设备及深度数据稳定呈现的显示方法 |
CN116974369A (zh) * | 2023-06-21 | 2023-10-31 | 广东工业大学 | 术中医学影像操作方法、系统、设备及存储介质 |
CN118247850A (zh) * | 2024-05-27 | 2024-06-25 | 广州炫视智能科技有限公司 | 一种基于手势辨识的人机交互方法及其交互系统 |
CN113039550B (zh) * | 2018-10-10 | 2024-08-02 | 深圳市道通智能航空技术股份有限公司 | 手势识别方法、vr视角控制方法以及vr系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012036790A1 (en) * | 2010-09-17 | 2012-03-22 | Sony Corporation | Gesture recognition system for tv control |
CN102426480A (zh) * | 2011-11-03 | 2012-04-25 | 康佳集团股份有限公司 | 一种人机交互系统及其实时手势跟踪处理方法 |
US20120235903A1 (en) * | 2011-03-14 | 2012-09-20 | Soungmin Im | Apparatus and a method for gesture recognition |
-
2012
- 2012-11-06 CN CN201210438642.0A patent/CN102982557B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012036790A1 (en) * | 2010-09-17 | 2012-03-22 | Sony Corporation | Gesture recognition system for tv control |
US20120235903A1 (en) * | 2011-03-14 | 2012-09-20 | Soungmin Im | Apparatus and a method for gesture recognition |
CN102426480A (zh) * | 2011-11-03 | 2012-04-25 | 康佳集团股份有限公司 | 一种人机交互系统及其实时手势跟踪处理方法 |
Non-Patent Citations (2)
Title |
---|
YI LI: "Multi-scenario Gesture Recognition Using Kinect", 《THE 17TH INTERNATIONAL CONFERENCE ON COMPUTER GAMES》, 1 August 2012 (2012-08-01), pages 126 - 130 * |
淦创: "基于3D体感技术的动态手势识别", 《光电技术应用》, vol. 27, no. 4, 31 August 2012 (2012-08-31) * |
Cited By (122)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103176605A (zh) * | 2013-03-27 | 2013-06-26 | 刘仁俊 | 一种手势识别控制装置及控制方法 |
CN103246351A (zh) * | 2013-05-23 | 2013-08-14 | 刘广松 | 一种用户交互系统和方法 |
CN103246351B (zh) * | 2013-05-23 | 2016-08-24 | 刘广松 | 一种用户交互系统和方法 |
CN104217192A (zh) * | 2013-06-03 | 2014-12-17 | 株式会社理光 | 基于深度图像的手定位方法和设备 |
CN104217192B (zh) * | 2013-06-03 | 2018-04-17 | 株式会社理光 | 基于深度图像的手定位方法和设备 |
CN105210115A (zh) * | 2013-06-10 | 2015-12-30 | 英特尔公司 | 使用2d图像数据来执行手势识别 |
CN103398702A (zh) * | 2013-08-05 | 2013-11-20 | 青岛海通机器人系统有限公司 | 一种移动机器人远程操控装置及其操控技术 |
CN103398702B (zh) * | 2013-08-05 | 2015-08-19 | 青岛海通机器人系统有限公司 | 一种移动机器人远程操控装置及其操控技术 |
CN103426171A (zh) * | 2013-08-07 | 2013-12-04 | Tcl集团股份有限公司 | 双目立体视觉系统中对应指尖点的匹配方法、装置 |
CN109875501A (zh) * | 2013-09-25 | 2019-06-14 | 迈恩德玛泽控股股份有限公司 | 生理参数测量和反馈系统 |
CN109875501B (zh) * | 2013-09-25 | 2022-06-07 | 曼德美姿集团股份公司 | 生理参数测量和反馈系统 |
CN103735268A (zh) * | 2013-09-29 | 2014-04-23 | 沈阳东软医疗系统有限公司 | 一种体位检测方法及系统 |
CN103735268B (zh) * | 2013-09-29 | 2015-11-25 | 沈阳东软医疗系统有限公司 | 一种体位检测方法及系统 |
CN103544713A (zh) * | 2013-10-17 | 2014-01-29 | 芜湖金诺数字多媒体有限公司 | 一种基于刚体物理模拟系统的人体投影交互方法 |
CN103729647B (zh) * | 2013-12-31 | 2017-10-13 | 公安部第三研究所 | 基于深度图像实现人体骨骼提取的方法 |
CN103729647A (zh) * | 2013-12-31 | 2014-04-16 | 公安部第三研究所 | 基于深度图像实现人体骨骼提取的方法 |
US10191536B2 (en) | 2014-02-07 | 2019-01-29 | Koninklijke Philips N.V. | Method of operating a control system and control system therefore |
CN104699233A (zh) * | 2014-04-14 | 2015-06-10 | 杭州海康威视数字技术股份有限公司 | 一种对屏幕进行操作控制的方法和系统 |
CN104699233B (zh) * | 2014-04-14 | 2018-05-01 | 杭州海康威视数字技术股份有限公司 | 一种对屏幕进行操作控制的方法和系统 |
CN103984928A (zh) * | 2014-05-20 | 2014-08-13 | 桂林电子科技大学 | 基于景深图像的手指手势识别方法 |
CN103984928B (zh) * | 2014-05-20 | 2017-08-11 | 桂林电子科技大学 | 基于景深图像的手指手势识别方法 |
CN105205786A (zh) * | 2014-06-19 | 2015-12-30 | 联想(北京)有限公司 | 一种图像深度恢复方法及电子设备 |
CN105205786B (zh) * | 2014-06-19 | 2019-02-05 | 联想(北京)有限公司 | 一种图像深度恢复方法及电子设备 |
CN104317391A (zh) * | 2014-09-24 | 2015-01-28 | 华中科技大学 | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 |
CN104317391B (zh) * | 2014-09-24 | 2017-10-03 | 华中科技大学 | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 |
CN105528061A (zh) * | 2014-09-30 | 2016-04-27 | 财团法人成大研究发展基金会 | 手势辨识系统 |
US9704251B2 (en) | 2014-10-11 | 2017-07-11 | Boe Technology Group Co., Ltd. | Depth determination method, depth determination device and electronic device |
CN104616284A (zh) * | 2014-12-09 | 2015-05-13 | 中国科学院上海技术物理研究所 | 彩色深度相机的彩色图像到深度图像的像素级对准算法 |
CN104616284B (zh) * | 2014-12-09 | 2017-08-25 | 中国科学院上海技术物理研究所 | 彩色深度相机的彩色图像到深度图像的像素级对准方法 |
CN104463880B (zh) * | 2014-12-12 | 2017-06-30 | 中国科学院自动化研究所 | 一种rgb‑d图像获取方法 |
CN104463880A (zh) * | 2014-12-12 | 2015-03-25 | 中国科学院自动化研究所 | 一种rgb-d图像获取方法 |
CN107111764A (zh) * | 2015-01-16 | 2017-08-29 | 高通股份有限公司 | 由对象在成像装置的视野中的深度触发的事件 |
CN108140243B (zh) * | 2015-03-18 | 2022-01-11 | 北京市商汤科技开发有限公司 | 用于构建3d手模型的方法、设备和系统 |
CN108140243A (zh) * | 2015-03-18 | 2018-06-08 | 北京市商汤科技开发有限公司 | 从双目成像系统的3d手部姿势恢复 |
CN104807460A (zh) * | 2015-05-04 | 2015-07-29 | 深圳大学 | 无人机室内定位方法及系统 |
CN104807460B (zh) * | 2015-05-04 | 2017-10-27 | 深圳大学 | 无人机室内定位方法及系统 |
CN106909872A (zh) * | 2015-12-22 | 2017-06-30 | 江苏达科智能科技有限公司 | 人手轮廓识别方法 |
CN105759967B (zh) * | 2016-02-19 | 2019-07-09 | 电子科技大学 | 一种基于深度数据的手部全局姿态检测方法 |
CN105759967A (zh) * | 2016-02-19 | 2016-07-13 | 电子科技大学 | 一种基于深度数据的手部全局姿态检测方法 |
CN105893944A (zh) * | 2016-03-29 | 2016-08-24 | 陕西师范大学 | 深度信息静态手势分割方法 |
CN105893944B (zh) * | 2016-03-29 | 2019-05-14 | 陕西师范大学 | 深度信息静态手势分割方法 |
CN105827900A (zh) * | 2016-03-31 | 2016-08-03 | 纳恩博(北京)科技有限公司 | 一种数据处理方法及电子设备 |
CN106055091A (zh) * | 2016-05-16 | 2016-10-26 | 电子科技大学 | 一种基于深度信息和校正方式的手部姿态估计方法 |
CN106055091B (zh) * | 2016-05-16 | 2019-08-06 | 电子科技大学 | 一种基于深度信息和校正方式的手部姿态估计方法 |
CN107436679A (zh) * | 2016-05-27 | 2017-12-05 | 富泰华工业(深圳)有限公司 | 手势控制系统及方法 |
WO2018076927A1 (zh) * | 2016-10-24 | 2018-05-03 | 中国移动通信有限公司研究院 | 一种适用于空间系统的操作方法及装置、存储介质 |
CN107977071A (zh) * | 2016-10-24 | 2018-05-01 | 中国移动通信有限公司研究院 | 一种适用于空间系统的操作方法及装置 |
CN107977071B (zh) * | 2016-10-24 | 2020-02-28 | 中国移动通信有限公司研究院 | 一种适用于空间系统的操作方法及装置 |
CN106570939A (zh) * | 2016-11-09 | 2017-04-19 | 深圳奥比中光科技有限公司 | 一种3d地图的处理方法及系统 |
CN106802717A (zh) * | 2017-01-20 | 2017-06-06 | 深圳奥比中光科技有限公司 | 空间手势遥控方法及电子设备 |
CN107292921B (zh) * | 2017-06-19 | 2020-02-04 | 电子科技大学 | 一种基于kinect相机的快速三维重建方法 |
CN107292921A (zh) * | 2017-06-19 | 2017-10-24 | 电子科技大学 | 一种基于kinect相机的快速三维重建方法 |
CN107357427A (zh) * | 2017-07-03 | 2017-11-17 | 南京江南博睿高新技术研究院有限公司 | 一种用于虚拟现实设备的手势识别控制方法 |
US11302026B2 (en) * | 2017-07-07 | 2022-04-12 | SZ DJI Technology Co., Ltd. | Attitude recognition method and device, and movable platform |
WO2019006760A1 (zh) * | 2017-07-07 | 2019-01-10 | 深圳市大疆创新科技有限公司 | 一种姿态的识别方法、设备及可移动平台 |
CN109923583A (zh) * | 2017-07-07 | 2019-06-21 | 深圳市大疆创新科技有限公司 | 一种姿态的识别方法、设备及可移动平台 |
CN108700885B (zh) * | 2017-09-30 | 2022-03-01 | 深圳市大疆创新科技有限公司 | 一种飞行控制方法、遥控装置、遥控系统 |
CN108700885A (zh) * | 2017-09-30 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 一种飞行控制方法、遥控装置、遥控系统 |
US11240484B2 (en) | 2017-10-23 | 2022-02-01 | Sony Corporation | Information processing apparatus and information processing method for stereo imaging based on corrected parameters |
CN111183331A (zh) * | 2017-10-23 | 2020-05-19 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN111344118B (zh) * | 2017-11-17 | 2023-06-16 | 奥卡多创新有限公司 | 机器人系统的控制设备和方法 |
CN111344118A (zh) * | 2017-11-17 | 2020-06-26 | 奥卡多创新有限公司 | 用于定位物品和为每个物品计算适当抓取点的机器人系统的控制设备和方法 |
US11787631B2 (en) | 2017-11-17 | 2023-10-17 | Ocado Innovation Limited | Control device and method for a robot system |
CN108227923A (zh) * | 2018-01-02 | 2018-06-29 | 南京华捷艾米软件科技有限公司 | 一种基于体感技术的虚拟触控系统和方法 |
CN110651274A (zh) * | 2018-01-23 | 2020-01-03 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法、装置和可移动平台 |
WO2019144296A1 (zh) * | 2018-01-23 | 2019-08-01 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法、装置和可移动平台 |
CN108596948A (zh) * | 2018-03-16 | 2018-09-28 | 中国科学院自动化研究所 | 基于深度相机识别人体头部姿态的方法及装置 |
CN108555908A (zh) * | 2018-04-12 | 2018-09-21 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
CN108555908B (zh) * | 2018-04-12 | 2020-07-28 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
CN108594997A (zh) * | 2018-04-16 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 手势骨架构建方法、装置、设备及存储介质 |
CN108594997B (zh) * | 2018-04-16 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 手势骨架构建方法、装置、设备及存储介质 |
TWI635419B (zh) * | 2018-04-17 | 2018-09-11 | 宏碁股份有限公司 | 手勢輸入裝置 |
CN108564070A (zh) * | 2018-05-07 | 2018-09-21 | 京东方科技集团股份有限公司 | 用于提取手势的方法及其装置 |
CN108830150A (zh) * | 2018-05-07 | 2018-11-16 | 山东师范大学 | 一种基于三维人体姿态估计方法及装置 |
CN108830150B (zh) * | 2018-05-07 | 2019-05-28 | 山东师范大学 | 一种基于三维人体姿态估计方法及装置 |
CN108985213A (zh) * | 2018-07-09 | 2018-12-11 | 企鹅创新(北京)科技有限公司 | 姿态判断控制方法及系统 |
CN108876862B (zh) * | 2018-07-13 | 2021-12-07 | 北京控制工程研究所 | 一种非合作目标点云位置姿态计算方法 |
CN108876862A (zh) * | 2018-07-13 | 2018-11-23 | 北京控制工程研究所 | 一种非合作目标点云位置姿态计算方法 |
CN109176521A (zh) * | 2018-09-19 | 2019-01-11 | 北京因时机器人科技有限公司 | 一种机械臂及其抓取控制方法和系统 |
WO2020073245A1 (zh) * | 2018-10-10 | 2020-04-16 | 深圳市道通智能航空技术有限公司 | 手势识别方法、vr视角控制方法以及vr系统 |
CN113039550B (zh) * | 2018-10-10 | 2024-08-02 | 深圳市道通智能航空技术股份有限公司 | 手势识别方法、vr视角控制方法以及vr系统 |
CN113039550A (zh) * | 2018-10-10 | 2021-06-25 | 深圳市道通智能航空技术股份有限公司 | 手势识别方法、vr视角控制方法以及vr系统 |
CN109459984A (zh) * | 2018-11-02 | 2019-03-12 | 宁夏巨能机器人股份有限公司 | 一种基于三维点云的定位抓取系统及其使用方法 |
CN109409316B (zh) * | 2018-11-07 | 2022-04-01 | 极鱼(北京)科技有限公司 | 空中签名方法及装置 |
CN109409316A (zh) * | 2018-11-07 | 2019-03-01 | 极鱼(北京)科技有限公司 | 空中签名方法及装置 |
CN110163938B (zh) * | 2018-12-05 | 2023-04-25 | 腾讯科技(深圳)有限公司 | 动画的控制方法、装置、存储介质和电子装置 |
CN110163938A (zh) * | 2018-12-05 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 动画的控制方法、装置、存储介质和电子装置 |
CN109710066A (zh) * | 2018-12-19 | 2019-05-03 | 平安普惠企业管理有限公司 | 基于手势识别的交互方法、装置、存储介质和电子设备 |
CN109670984A (zh) * | 2019-01-29 | 2019-04-23 | 张以雨 | 一种远程吊唁系统及其使用方法 |
CN109933191B (zh) * | 2019-02-13 | 2022-06-03 | 苏鹏程 | 手势识别和控制方法及其系统 |
CN109933191A (zh) * | 2019-02-13 | 2019-06-25 | 苏鹏程 | 手势识别和控制方法及其系统 |
CN109976519B (zh) * | 2019-03-14 | 2022-05-03 | 浙江工业大学 | 一种基于增强现实的交互显示装置及其交互显示方法 |
CN109976519A (zh) * | 2019-03-14 | 2019-07-05 | 浙江工业大学 | 一种基于增强现实的交互显示装置及其交互显示方法 |
CN110232321A (zh) * | 2019-05-10 | 2019-09-13 | 深圳奥比中光科技有限公司 | 指尖点击位置的检测方法、装置、终端及计算机存储介质 |
CN110187771B (zh) * | 2019-05-31 | 2024-04-26 | 努比亚技术有限公司 | 凌空手势交互方法、装置、可穿戴设备及计算机存储介质 |
CN110187771A (zh) * | 2019-05-31 | 2019-08-30 | 努比亚技术有限公司 | 凌空手势交互方法、装置、可穿戴设备及计算机存储介质 |
CN110569817B (zh) * | 2019-09-12 | 2021-11-02 | 北京邮电大学 | 基于视觉实现手势识别的系统和方法 |
CN110569817A (zh) * | 2019-09-12 | 2019-12-13 | 北京邮电大学 | 基于视觉实现手势识别的系统和方法 |
CN110597442A (zh) * | 2019-09-20 | 2019-12-20 | 北京华捷艾米科技有限公司 | 一种手机ar绘画方法及装置 |
CN110597442B (zh) * | 2019-09-20 | 2021-03-16 | 北京华捷艾米科技有限公司 | 一种手机ar绘画方法及装置 |
CN110895683B (zh) * | 2019-10-15 | 2023-03-28 | 西安理工大学 | 一种基于Kinect的单视点手势姿势识别方法 |
CN110895683A (zh) * | 2019-10-15 | 2020-03-20 | 西安理工大学 | 一种基于Kinect的单视点手势姿势识别方法 |
CN111046796A (zh) * | 2019-12-12 | 2020-04-21 | 哈尔滨拓博科技有限公司 | 一种基于双摄像头深度信息的低成本空间手势控制方法及系统 |
CN111475014A (zh) * | 2019-12-24 | 2020-07-31 | 长融(北京)信息技术有限公司 | 基于交错双维度多层光幕空间位置定位方法 |
CN111158489B (zh) * | 2019-12-31 | 2023-08-08 | 上海佑久健康科技有限公司 | 一种基于摄像头的手势交互方法及手势交互系统 |
CN111158489A (zh) * | 2019-12-31 | 2020-05-15 | 上海佑久健康科技有限公司 | 一种基于摄像头的手势交互方法及手势交互系统 |
CN111055289A (zh) * | 2020-01-21 | 2020-04-24 | 达闼科技(北京)有限公司 | 机器人的手眼标定方法、装置、机器人及存储介质 |
CN111368675B (zh) * | 2020-02-26 | 2023-06-20 | 深圳市瑞立视多媒体科技有限公司 | 手势深度信息的处理方法、装置、设备及存储介质 |
CN111368675A (zh) * | 2020-02-26 | 2020-07-03 | 深圳市瑞立视多媒体科技有限公司 | 手势深度信息的处理方法、装置、设备及存储介质 |
CN111462234A (zh) * | 2020-03-27 | 2020-07-28 | 北京华捷艾米科技有限公司 | 一种位置确定方法及装置 |
CN111694428A (zh) * | 2020-05-25 | 2020-09-22 | 电子科技大学 | 基于Kinect的手势与轨迹远程控制机器人系统 |
CN111694428B (zh) * | 2020-05-25 | 2021-09-24 | 电子科技大学 | 基于Kinect的手势与轨迹远程控制机器人系统 |
CN112037295A (zh) * | 2020-09-04 | 2020-12-04 | 上海数迹智能科技有限公司 | 一种事件型ToF相机编解码方法、装置、介质及设备 |
CN112037295B (zh) * | 2020-09-04 | 2024-03-08 | 上海数迹智能科技有限公司 | 一种事件型ToF相机编解码方法、装置、介质及设备 |
CN112462948A (zh) * | 2020-12-18 | 2021-03-09 | 哈尔滨拓博科技有限公司 | 一种基于深度相机偏离用户手势控制的标定方法和装置 |
CN114281285A (zh) * | 2021-07-14 | 2022-04-05 | 海信视像科技股份有限公司 | 一种显示设备及深度数据稳定呈现的显示方法 |
CN114281285B (zh) * | 2021-07-14 | 2024-05-28 | 海信视像科技股份有限公司 | 一种显示设备及深度数据稳定呈现的显示方法 |
CN113646736A (zh) * | 2021-07-17 | 2021-11-12 | 华为技术有限公司 | 手势识别方法、装置、系统及车辆 |
CN114115536A (zh) * | 2021-11-22 | 2022-03-01 | 北京字节跳动网络技术有限公司 | 一种交互方法、装置、电子设备和存储介质 |
CN116974369A (zh) * | 2023-06-21 | 2023-10-31 | 广东工业大学 | 术中医学影像操作方法、系统、设备及存储介质 |
CN116974369B (zh) * | 2023-06-21 | 2024-05-17 | 广东工业大学 | 术中医学影像操作方法、系统、设备及存储介质 |
CN118247850A (zh) * | 2024-05-27 | 2024-06-25 | 广州炫视智能科技有限公司 | 一种基于手势辨识的人机交互方法及其交互系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102982557B (zh) | 2015-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102982557B (zh) | 基于深度相机的空间手势姿态指令处理方法 | |
KR101865655B1 (ko) | 증강현실 상호 작용 서비스 제공 장치 및 방법 | |
CN104636725B (zh) | 一种基于深度图像的手势识别方法与系统 | |
CN105739702B (zh) | 用于自然人机交互的多姿态指尖跟踪方法 | |
CN103488972B (zh) | 基于深度信息的指尖检测方法 | |
CN102880866B (zh) | 一种人脸特征提取方法 | |
CN109044651B (zh) | 未知环境中基于自然手势指令的智能轮椅控制方法及系统 | |
CN100585329C (zh) | 基于指端标记的视频手指定位系统及其定位方法 | |
CN107357427A (zh) | 一种用于虚拟现实设备的手势识别控制方法 | |
CN105759967B (zh) | 一种基于深度数据的手部全局姿态检测方法 | |
CN108181897A (zh) | 一种双足机器人自动循迹的方法 | |
CN104978012B (zh) | 一种指向交互方法、装置及系统 | |
CN106055091A (zh) | 一种基于深度信息和校正方式的手部姿态估计方法 | |
CN110097024A (zh) | 一种移乘搬运护理机器人的人体姿态视觉识别方法 | |
CN106845515A (zh) | 基于虚拟样本深度学习的机器人目标识别和位姿重构方法 | |
CN104115192A (zh) | 三维近距离交互的改进或与其有关的改进 | |
CN103279186A (zh) | 融合光学定位与惯性传感的多目标运动捕捉系统 | |
CN109186606A (zh) | 一种基于slam和图像信息的机器人构图及导航方法 | |
CN106780631A (zh) | 一种基于深度学习的机器人闭环检测方法 | |
CN102567703A (zh) | 一种基于分类特征的手部动作识别信息处理方法 | |
CN101556647A (zh) | 一种基于改进sift算法的移动机器人视觉定位方法 | |
CN111598172B (zh) | 基于异构深度网络融合的动态目标抓取姿态快速检测方法 | |
CN106326860A (zh) | 基于视觉的手势识别方法 | |
CN108919943A (zh) | 一种基于深度传感器的实时手部追踪方法 | |
CN107063229A (zh) | 基于人工路标的移动机器人定位系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150325 Termination date: 20151106 |
|
EXPY | Termination of patent right or utility model |