CN112083800A - 基于自适应手指关节规则滤波的手势识别方法及系统 - Google Patents
基于自适应手指关节规则滤波的手势识别方法及系统 Download PDFInfo
- Publication number
- CN112083800A CN112083800A CN202010724219.1A CN202010724219A CN112083800A CN 112083800 A CN112083800 A CN 112083800A CN 202010724219 A CN202010724219 A CN 202010724219A CN 112083800 A CN112083800 A CN 112083800A
- Authority
- CN
- China
- Prior art keywords
- finger
- hand
- skeleton
- rule
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 58
- 210000001145 finger joint Anatomy 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 22
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 93
- 244000060701 Kaempferia pandurata Species 0.000 claims description 20
- 235000016390 Uvaria chamae Nutrition 0.000 claims description 20
- 238000009499 grossing Methods 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 210000000707 wrist Anatomy 0.000 claims description 6
- 210000004247 hand Anatomy 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Abstract
本发明提供一种基于自适应手指关节规则滤波的手势识别方法及系统，包括：构建基于神经网络的骨骼点识别模型；采用两个相机结合双目立体成像原理拍摄手的图像；将所述图像输入骨骼点识别模型，识别出手和手上骨骼点在图像上的位置；根据识别出的骨骼点在图像上的位置结合两个相机的标定参数，获得空间中的手上骨骼点在相机坐标系下的三维位置；对手上骨骼点的三维位置进行自适应手指关节规律平滑滤波。上述手势识别方法及系统高精度，高稳定性还原手在虚拟场景中的姿态位置信息。
Description
技术领域
本发明涉及人机交互技术领域，更为具体地，涉及一种基于自适应手指关节规则滤波的手势识别方法及系统。
背景技术
众所周知，为了增强VR/AR虚实结合的沉浸感，使VR/AR用户有更好的体验，人机交互模块必不可少，特别是手的姿态在VR/AR场景中的高精度实时还原是非常影响用户在VR/AR场景中的体验沉浸感。手势识别在VR/AR领域非常关键，特别是在VR/AR游戏体验非常关键，对精度、延时和环境的兼容稳定性要求比较高。
目前的手势识别，大都停留在一些简单常规的手势操作上面，比如点击一些菜单或者按钮，或者对一些图片做一些简单的操作比如放大，缩小处理等，但是在VR/AR游戏场景下，手势识别精度和稳定性不能符合用户实际操作的要求，当用户在通过VR设备进行VR游戏体验的时候，用户一般非常希望通过自己的双手直接能和虚拟游戏的场景内容直接交互，类似在现实环镜真手操作一样。
目前解决该问题的方式有两种，一种是通过外部相机实时捕捉手的信息，通过计算机视觉算法实时还原手在虚拟场景的姿态位置信息；另外一种就是通过在用户手上佩戴传感器手套，通过传感器实时捕获用户手在虚拟场景的姿态位置信息，一般使用的传感器是9轴惯性测量单元(IMU)，但是需要用户实时佩戴这种传感器手套，用户体验不太友好，在一般的场景下，这种方式不太能接受。
目前，大都采用第一种方式实现即计算机视觉技术实现该功能，由于对用户的使用体验没有太多限制，用户体验比较友好。目前主要通过计算机视觉技术通过外部的双目摄像头通过立体匹配计算出手上骨骼点的三维坐标或者通过深度相机直接获取到手上骨骼点的三维坐标，然后通过预先对设定手本身的每一个关节自由度规则和一些限制，通过每一个关节上两个三维点坐标，计算出手指上的各个关节的旋转角度，和手掌的三维位置和旋转，还原出整只手的的位置和姿态信息，最后通过一些平滑滤波操作，过滤下计算不太准确的自由度信息，使其最大可能还原手的三维位姿信息尽量避免和现实手的真实姿态信息差异过大，但是手指的动作比较复杂的情况下，还是大概率存在还原的手三维位姿信息有扭曲，变形等现象。
发明内容
鉴于上述问题，本发明的目的是提供一种自适应手指关节规则平滑滤波，高精度，高稳定性还原手在虚拟场景中的姿态位置信息的基于自适应手指关节规则滤波的手势识别方法及系统。
根据本发明的一个方面，提供一种基于自适应手指关节规则滤波的手势识别方法，包括：
构建基于神经网络的骨骼点识别模型；
采用两个相机结合双目立体成像原理拍摄手的图像；
将所述图像输入骨骼点识别模型，识别出手和手上骨骼点在图像上的位置；
根据识别出的骨骼点在图像上的位置结合两个相机的标定参数，获得空间中的手上骨骼点在相机坐标系下的三维位置；
对手上骨骼点的三维位置进行自适应手指关节规律平滑滤波，
其中，所述对手上骨骼点的三维位置进行自适应手指关节规律平滑滤波的步骤包括：
获取手指上骨骼点三维坐标，按照从手指根到指的末端的方向构建手指上相邻骨骼点构成的向量；
通过手指的运动规则判断从手指根到指的末端的方向的指关节两侧的相邻向量之间是否在[0°,90°]范围内；
如果不在范围内，按照从手指根到指的末端的方向且向量大小不变规则调整骨骼点的位置，进行平滑滤波；
设定运动约束规则，根据运动约束规则按照从指的末端到手指根的方向且向量大小不变规则调整骨骼点的位置，进行平滑滤波。
优选地，所述设定运动约束规则的步骤包括：
设定相邻向量之间的夹角，指关节两侧的相邻向量之间夹角按照从手指根到指的末端的方向相同或减小。
优选地，还包括：设置21个骨骼点，21个骨骼点包括每一个手指的关节点以及手掌的中心点。
进一步，优选地，所述设定运动约束规则的步骤包括：
每个手指具有三个向量，按照从手指根到指的末端的方向分别为第一向量、第二向量和第三向量，所述运动约束规则包括：第一向量和第二向量的夹角为60°；第二向量和第三向量之间的夹角为30°。
优选地，还包括：使用26自由度人手骨架作为恢复对象；其中：手腕6个自由度，包括手腕的三维坐标3个自由度和手掌的3个旋转自由度；每个手指4个自由度，包括指根2个旋转自由度和两个次指节分别1个旋转自由度。
优选地，还包括：构建基于神经网络的手检测模型，输入为红外图像，输出为是否有手及手的ROI区域，所述骨骼点识别模型的输入是手的ROI区域的深度图像，输出是多个骨骼点的位置信息。
根据本发明的另一个方面，提供一种基于自适应手指关节规则滤波的手势识别系统，包括：
模型构建模块，构建基于神经网络的骨骼点识别模型；
两个相机，结合双目立体成像原理拍摄手的图像；
第一骨骼点获得模块，将所述图像输入骨骼点识别模型，识别出手和手上骨骼点在图像上的位置；
第二骨骼点获得模块，根据识别出的骨骼点在图像上的位置结合两个相机的标定参数，获得空间中的手上骨骼点在相机坐标系下的三维位置；
平滑滤波模块，对手上骨骼点的三维位置进行自适应手指关节规律平滑滤波，
其中，所述平滑滤波模块包括：
向量构建单元，获取手指上骨骼点三维坐标，按照从手指根到指的末端的方向构建手指上相邻骨骼点构成的向量；
判断单元，通过手指的运动规则判断从手指根到指的末端的方向的指关节两侧的相邻向量之间是否在[0°,90°]范围内；如果不在范围内，发送信号给第一平滑滤波单元，如果在范围内，发送信号给第二滤波单元；
第一滤波单元，按照从手指根到指的末端的方向且向量大小不变规则调整骨骼点的位置，进行平滑滤波；
第二滤波单元，设定运动约束规则，根据运动约束规则按照从指的末端到手指根的方向且向量大小不变规则调整骨骼点的位置，进行平滑滤波。
优选地，所述运动约束规则包括：相邻向量之间的夹角在设定范围内，指关节两侧的相邻向量之间的夹角的设定范围按照从手指根到指的末端的方向相同或减小。
优选地，所述模型构建模块还构建基于神经网络的手检测模型，输入为红外图像，输出为是否有手及手的ROI区域，所述骨骼点识别模型的输入是手的ROI区域的深度图像，输出是多个骨骼点的位置信息。
优选地，还包括：手还原模块，通过预先对设定手本身的每一个关节自由度规则和限制，通过每一个关节上两个三维点坐标，计算出手指上的各个关节的旋转角度和手掌的三维位置和旋转，还原出整只手的的位置和姿态信息。
本发明所述基于自适应手指关节规则滤波的手势识别方法及系统通过基于神经网络半监督学习，识别出手和手上骨骼点在图像上的位置信息，结合双目立体成像原理，通过手和手上任何一个骨骼点在两目相机成像图像上位置，结合两个相机的标定参数，计算出空间中的手上任何一个骨骼点在相机坐标系下的三维位置，然后通过自适应手指关节规则平滑滤波，解决骨骼点三维位置的平滑问题。
附图说明
图1是本发明所述基于自适应手指关节规则滤波的手势识别方法的流程图；
图2是本发明所述手的骨骼点的示意图；
图3是本发明所述手的26自由度的示意图；
图4是本发明所述识别手的骨骼点的示意图；
图5是本发明所述利用运动约束规则对手的骨骼点平滑滤波的示意图；
图6是本发明所述自适应手指关节规则滤波的手势识别系统的构成框图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下将结合附图对本发明的具体实施例进行详细描述。
图1是本发明所述基于自适应手指关节规则滤波的手势识别方法的流程图，如图1所示，所述手势识别方法包括：
步骤S1，构建基于神经网络的骨骼点识别模型；
步骤S2，采用两个相机结合双目立体成像原理拍摄手的图像；
步骤S3，将所述图像输入骨骼点识别模型，识别出手和手上骨骼点在图像上的位置；
步骤S4，根据识别出的骨骼点在图像上的位置结合两个相机的标定参数，获得空间中的手上骨骼点在相机坐标系下的三维位置；
步骤S5，对手上骨骼点的三维位置进行自适应手指关节规律平滑滤波。
在步骤S5中，所述对手上骨骼点的三维位置进行自适应手指关节规律平滑滤波的步骤包括：
步骤S51，获取手指上骨骼点三维坐标，按照从手指根到指的末端的方向构建手指上相邻骨骼点构成的向量；
步骤S52，通过手指的运动规则判断从手指根到指的末端的方向的指关节两侧的相邻向量之间是否在[0°,90°]范围内；
步骤S53，如果不在范围内，按照从手指根到指的末端的方向且向量大小不变规则调整骨骼点的位置，进行平滑滤波；
步骤S54，设定运动约束规则，根据运动约束规则按照从指的末端到手指根的方向且向量大小不变规则调整骨骼点的位置，进行平滑滤波。
在步骤S54中，所述设定运动约束规则的步骤包括：
设定相邻向量之间的夹角，指关节两侧的相邻向量之间夹角按照从手指根到指的末端的方向相同或减小，例如，如图2所示，设置21个骨骼点，21个骨骼点包括每一个手指的关节点以及手掌的中心点，根据关节点划分手指的向量，每个手指具有三个向量，按照从手指根到指的末端的方向分别为第一向量、第二向量和第三向量，优选地，所述运动约束规则包括：第一向量和第二向量的夹角为60°；第二向量和第三向量之间的夹角为30°。
在一个实施例中，如图3所示，上述手势识别方法还包括：
使用26自由度人手骨架作为恢复对象；其中：手腕6个自由度，包括手腕的三维坐标3个自由度和手掌的3个旋转自由度；每个手指4个自由度，包括指根2个旋转自由度和两个次指节分别1个旋转自由度。
在一个实施例中，如图4所示上述手势识别方法还包括：
构建基于神经网络的手检测模型，输入为红外图像，输出为是否有手及手的ROI区域，所述骨骼点识别模型的输入是手的ROI区域的深度图像，输出是多个骨骼点的位置信息。
在一个具体实施例中，所述基于自适应手指关节规则滤波的手势识别方法包括：
如图2所示，一个手指上的4个关节点(骨骼点)三维坐标，从手指根到指的末端三维坐标分别是FP1,FP2,FP3,FP4；
通过手指的运动规则包括：向量
和向量
之间的夹角范围[0°,90°],向量
和向量
之间的夹角范围[0°,90°]；
判断
和向量
之间的夹角是否小于90°，否则调整向量
为
(向量大小不变，朝向夹角减小的方向调整向量),使其
和向量
之间的夹角小于90°；
判断
和向量
之间的夹角是否小于90°，否则调整向量
为
使其
和向量
之间的夹角小于90°；
经过上述步骤调整后的关节点有四种情况，一种是四个关节点均符合运动规则，调整后的手指关节点为FP1,FP2,FP3,FP4，一种是一个关节点不符合运动规则，调整后的手指关节点为FP1,FP2,FP3’,FP4或FP1,FP2,FP3,FP4’，一种是两个关节点不符合运动规则，调整后的手指关节点为FP1,FP2,FP3’,FP4’，无论何种情况将运动规则调整后的手指关节点的集合命名为FP1,FP2,FP3’,FP4’，不同情况集合中的手指关节点的坐标不完全相同，为了使运动规则约束调整之后的手指关节点FP1,FP2,FP3’,FP4’更符合手指关节运动趋势，对手指关节点FP1,FP2,FP3’,FP4’进行进一步的运动约束平滑，设定平滑之后的手指关节点三维坐标为：FP1’,FP2’,FP3”,FP4”；先给其进行初始位置，令点矢量(FP1’)＝点矢量(FP1),点矢量(FP2’)＝点矢量(FP2),点矢量(FP3”)＝点矢量(FP3’),点矢量(FP4”)＝点矢量(FP4’)；设定平滑关节点FP1’,FP2’,FP3”,FP4”向量之间的初始角度，调整关节点FP3”,FP4”的三维空间位置，使其向量
和向量
之间的夹角为60°,向量
和向量
之间的初始角度为30°。
进一步平滑的目标使其FP4”和FP4’重合，进一步平滑FP1’,FP2’,FP3”的空间位置，如图5所示，包括；
节点FP1’和FP2’之间的距离长度为d1，依次可以获得距离长度d2和d3；
先让FP4”移动到目标位置FP4’；
在向量FP4’→FP3”方向上，取距离长度d3对应的新点FP3”；
在向量新点FP3”→FP2’方向上，取距离长度d2对应的新点FP2’；
在向量新点FP2’→FP1’方向上，取距离长度d1对应的新点；
新的空间坐标点为最终平滑之后的手指关节点。
重复上述步骤,对左右手的其他手指关节进行对应关节平滑滤波操作。
图6是本发明所述基于自适应手指关节规则滤波的手势识别系统的构成框图，如图6所示，所述手势识别系统包括：
模型构建模块1，构建基于神经网络的骨骼点识别模型；
两个相机2，结合双目立体成像原理拍摄手的图像；
第一骨骼点获得模块3，将所述图像输入骨骼点识别模型，识别出手和手上骨骼点在图像上的位置；
第二骨骼点获得模块4，根据识别出的骨骼点在图像上的位置结合两个相机的标定参数，获得空间中的手上骨骼点在相机坐标系下的三维位置；
平滑滤波模块5，对手上骨骼点的三维位置进行自适应手指关节规律平滑滤波，
其中，所述平滑滤波模块5包括：
向量构建单元51，获取手指上骨骼点三维坐标，按照从手指根到指的末端的方向构建手指上相邻骨骼点构成的向量；
判断单元52，通过手指的运动规则判断从手指根到指的末端的方向的指关节两侧的相邻向量之间是否在[0°,90°]范围内；如果不在范围内，发送信号给第一平滑滤波单元，如果在范围内，发送信号给第二滤波单元；
第一滤波单元53，按照从手指根到指的末端的方向且向量大小不变规则调整骨骼点的位置，进行平滑滤波；
第二滤波单元54，设定运动约束规则，根据运动约束规则按照从指的末端到手指根的方向且向量大小不变规则调整骨骼点的位置，进行平滑滤波。
优选地，所述运动约束规则包括：相邻向量之间的夹角在设定范围内，指关节两侧的相邻向量之间的夹角的设定范围按照从手指根到指的末端的方向相同或减小。
优选地，所述模型构建模块还构建基于神经网络的手检测模型，输入为红外图像，输出为是否有手及手的ROI区域，所述骨骼点识别模型的输入是手的ROI区域的深度图像，输出是多个骨骼点的位置信息。
优选地，上述手势识别系统还包括：
手还原模块，通过预先对设定手本身的每一个关节自由度规则和限制，通过每一个关节上两个三维点坐标，计算出手指上的各个关节的旋转角度和手掌的三维位置和旋转，还原出整只手的的位置和姿态信息。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于自适应手指关节规则滤波的手势识别方法，其特征在于，包括：
构建基于神经网络的骨骼点识别模型；
采用两个相机结合双目立体成像原理拍摄手的图像；
将所述图像输入骨骼点识别模型，识别出手和手上骨骼点在图像上的位置；
根据识别出的骨骼点在图像上的位置结合两个相机的标定参数，获得空间中的手上骨骼点在相机坐标系下的三维位置；
对手上骨骼点的三维位置进行自适应手指关节规律平滑滤波，
其中，所述对手上骨骼点的三维位置进行自适应手指关节规律平滑滤波的步骤包括：
获取手指上骨骼点三维坐标，按照从手指根到指的末端的方向构建手指上相邻骨骼点构成的向量；
通过手指的运动规则判断从手指根到指的末端的方向的指关节两侧的相邻向量之间是否在[0°,90°]范围内；
如果不在范围内，按照从手指根到指的末端的方向且向量大小不变规则调整骨骼点的位置，进行平滑滤波；
设定运动约束规则，根据运动约束规则按照从指的末端到手指根的方向且向量大小不变规则调整骨骼点的位置，进行平滑滤波。
2.根据权利要求1所述的手势识别方法，其特征在于，所述设定运动约束规则的步骤包括：
设定相邻向量之间的夹角，指关节两侧的相邻向量之间夹角按照从手指根到指的末端的方向相同或减小。
3.根据权利要求1所述的手势识别方法，其特征在于，还包括：
设置21个骨骼点，21个骨骼点包括每一个手指的关节点以及手掌的中心点。
4.根据权利要求3所述的手势识别方法，其特征在于，所述设定运动约束规则的步骤包括：
每个手指具有三个向量，按照从手指根到指的末端的方向分别为第一向量、第二向量和第三向量，所述运动约束规则包括：第一向量和第二向量的夹角为60°；第二向量和第三向量之间的夹角为30°。
5.根据权利要求1所述的手势识别方法，其特征在于，还包括：
使用26自由度人手骨架作为恢复对象；其中：手腕6个自由度，包括手腕的三维坐标3个自由度和手掌的3个旋转自由度；每个手指4个自由度，包括指根2个旋转自由度和两个次指节分别1个旋转自由度。
6.根据权利要求1所述的手势识别方法，其特征在于，还包括：
构建基于神经网络的手检测模型，输入为红外图像，输出为是否有手及手的ROI区域，所述骨骼点识别模型的输入是手的ROI区域的深度图像，输出是多个骨骼点的位置信息。
7.一种基于自适应手指关节规则滤波的手势识别系统，其特征在于，包括：
模型构建模块，构建基于神经网络的骨骼点识别模型；
两个相机，结合双目立体成像原理拍摄手的图像；
第一骨骼点获得模块，将所述图像输入骨骼点识别模型，识别出手和手上骨骼点在图像上的位置；
第二骨骼点获得模块，根据识别出的骨骼点在图像上的位置结合两个相机的标定参数，获得空间中的手上骨骼点在相机坐标系下的三维位置；
平滑滤波模块，对手上骨骼点的三维位置进行自适应手指关节规律平滑滤波，
其中，所述平滑滤波模块包括：
向量构建单元，获取手指上骨骼点三维坐标，按照从手指根到指的末端的方向构建手指上相邻骨骼点构成的向量；
判断单元，通过手指的运动规则判断从手指根到指的末端的方向的指关节两侧的相邻向量之间是否在[0°,90°]范围内；如果不在范围内，发送信号给第一平滑滤波单元，如果在范围内，发送信号给第二滤波单元；
第一滤波单元，按照从手指根到指的末端的方向且向量大小不变规则调整骨骼点的位置，进行平滑滤波；
第二滤波单元，设定运动约束规则，根据运动约束规则按照从指的末端到手指根的方向且向量大小不变规则调整骨骼点的位置，进行平滑滤波。
8.根据权利要求7所述的手势识别系统，其特征在于，所述运动约束规则包括：相邻向量之间的夹角在设定范围内，指关节两侧的相邻向量之间的夹角的设定范围按照从手指根到指的末端的方向相同或减小。
9.根据权利要求7所述的手势识别系统，其特征在于，所述模型构建模块还构建基于神经网络的手检测模型，输入为红外图像，输出为是否有手及手的ROI区域，所述骨骼点识别模型的输入是手的ROI区域的深度图像，输出是多个骨骼点的位置信息。
10.根据权利要求7所述的手势识别系统，其特征在于，还包括：
手还原模块，通过预先对设定手本身的每一个关节自由度规则和限制，通过每一个关节上两个三维点坐标，计算出手指上的各个关节的旋转角度和手掌的三维位置和旋转，还原出整只手的的位置和姿态信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010724219.1A CN112083800B (zh) | 2020-07-24 | 2020-07-24 | 基于自适应手指关节规则滤波的手势识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010724219.1A CN112083800B (zh) | 2020-07-24 | 2020-07-24 | 基于自适应手指关节规则滤波的手势识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112083800A true CN112083800A (zh) | 2020-12-15 |
| CN112083800B CN112083800B (zh) | 2024-04-30 |
Family
ID=73735606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010724219.1A Active CN112083800B (zh) | 2020-07-24 | 2020-07-24 | 基于自适应手指关节规则滤波的手势识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112083800B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749512A (zh) * | 2021-01-18 | 2021-05-04 | 杭州易现先进科技有限公司 | 手势估计优化的方法、系统和电子装置 |
| CN112927259A (zh) * | 2021-02-18 | 2021-06-08 | 青岛小鸟看看科技有限公司 | 基于多相机的裸手追踪显示方法、装置及系统 |
| CN112926423A (zh) * | 2021-02-07 | 2021-06-08 | 青岛小鸟看看科技有限公司 | 捏合手势检测识别方法、装置及系统 |
| CN112927290A (zh) * | 2021-02-18 | 2021-06-08 | 青岛小鸟看看科技有限公司 | 基于传感器的裸手数据标注方法及系统 |
| CN113238650A (zh) * | 2021-04-15 | 2021-08-10 | 青岛小鸟看看科技有限公司 | 手势识别和控制的方法、装置及虚拟现实设备 |
| CN116189308A (zh) * | 2023-03-09 | 2023-05-30 | 杰能科世智能安全科技(杭州)有限公司 | 一种无人机飞手检测方法、系统及存储介质 |
| CN116311385A (zh) * | 2023-05-18 | 2023-06-23 | 山东睿芯半导体科技有限公司 | 手势识别芯片及其手势识别方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156859A (zh) * | 2011-04-21 | 2011-08-17 | 刘津甦 | 手部姿态与空间位置的感知方法 |
| US20160171340A1 (en) * | 2014-12-11 | 2016-06-16 | Intel Corporation | Labeling component parts of objects and detecting component properties in imaging data |
| CN105807926A (zh) * | 2016-03-08 | 2016-07-27 | 中山大学 | 一种基于三维连续动态手势识别的无人机人机交互方法 |
| CN106846403A (zh) * | 2017-01-04 | 2017-06-13 | 北京未动科技有限公司 | 一种三维空间中手部定位的方法、装置及智能设备 |
| CN107885337A (zh) * | 2017-12-20 | 2018-04-06 | 陈瑞环 | 一种基于指法识别的信息输入方法及其装置 |
| CN109934065A (zh) * | 2017-12-18 | 2019-06-25 | 虹软科技股份有限公司 | 一种用于手势识别的方法和装置 |
| CN109993073A (zh) * | 2019-03-14 | 2019-07-09 | 北京工业大学 | 一种基于Leap Motion的复杂动态手势识别方法 |
| KR20200076267A (ko) * | 2018-12-19 | 2020-06-29 | 전자부품연구원 | 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템 |
| CN111401318A (zh) * | 2020-04-14 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 动作识别方法及装置 |
| CN111492367A (zh) * | 2017-12-13 | 2020-08-04 | 谷歌有限责任公司 | 从2d图像进行手势学习、抬起和消噪 |
-
2020
- 2020-07-24 CN CN202010724219.1A patent/CN112083800B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156859A (zh) * | 2011-04-21 | 2011-08-17 | 刘津甦 | 手部姿态与空间位置的感知方法 |
| US20160171340A1 (en) * | 2014-12-11 | 2016-06-16 | Intel Corporation | Labeling component parts of objects and detecting component properties in imaging data |
| CN105807926A (zh) * | 2016-03-08 | 2016-07-27 | 中山大学 | 一种基于三维连续动态手势识别的无人机人机交互方法 |
| CN106846403A (zh) * | 2017-01-04 | 2017-06-13 | 北京未动科技有限公司 | 一种三维空间中手部定位的方法、装置及智能设备 |
| CN111492367A (zh) * | 2017-12-13 | 2020-08-04 | 谷歌有限责任公司 | 从2d图像进行手势学习、抬起和消噪 |
| CN109934065A (zh) * | 2017-12-18 | 2019-06-25 | 虹软科技股份有限公司 | 一种用于手势识别的方法和装置 |
| CN107885337A (zh) * | 2017-12-20 | 2018-04-06 | 陈瑞环 | 一种基于指法识别的信息输入方法及其装置 |
| KR20200076267A (ko) * | 2018-12-19 | 2020-06-29 | 전자부품연구원 | 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템 |
| CN109993073A (zh) * | 2019-03-14 | 2019-07-09 | 北京工业大学 | 一种基于Leap Motion的复杂动态手势识别方法 |
| CN111401318A (zh) * | 2020-04-14 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 动作识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 包莹莹;王华君;徐平平;: "基于关键帧和姿态描述语言的实时手势识别方案", 湘潭大学自然科学学报, no. 03 * |
| 王西颖;张习文;戴国忠;: "一种面向实时交互的变形手势跟踪方法", 软件学报, no. 10 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749512B (zh) * | 2021-01-18 | 2024-01-26 | 杭州易现先进科技有限公司 | 手势估计优化的方法、系统和电子装置 |
| CN112749512A (zh) * | 2021-01-18 | 2021-05-04 | 杭州易现先进科技有限公司 | 手势估计优化的方法、系统和电子装置 |
| CN112926423B (zh) * | 2021-02-07 | 2023-08-25 | 青岛小鸟看看科技有限公司 | 捏合手势检测识别方法、装置及系统 |
| CN112926423A (zh) * | 2021-02-07 | 2021-06-08 | 青岛小鸟看看科技有限公司 | 捏合手势检测识别方法、装置及系统 |
| US11776322B2 (en) | 2021-02-07 | 2023-10-03 | Qingdao Pico Technology Co., Ltd. | Pinch gesture detection and recognition method, device and system |
| CN112927259A (zh) * | 2021-02-18 | 2021-06-08 | 青岛小鸟看看科技有限公司 | 基于多相机的裸手追踪显示方法、装置及系统 |
| CN112927290A (zh) * | 2021-02-18 | 2021-06-08 | 青岛小鸟看看科技有限公司 | 基于传感器的裸手数据标注方法及系统 |
| US11798177B2 (en) | 2021-02-18 | 2023-10-24 | Qingdao Pico Technology Co., Ltd. | Hand tracking method, device and system |
| CN113238650B (zh) * | 2021-04-15 | 2023-04-07 | 青岛小鸟看看科技有限公司 | 手势识别和控制的方法、装置及虚拟现实设备 |
| WO2022217828A1 (zh) * | 2021-04-15 | 2022-10-20 | 青岛小鸟看看科技有限公司 | 手势识别和控制的方法、装置及虚拟现实设备 |
| CN113238650A (zh) * | 2021-04-15 | 2021-08-10 | 青岛小鸟看看科技有限公司 | 手势识别和控制的方法、装置及虚拟现实设备 |
| US11947729B2 (en) | 2021-04-15 | 2024-04-02 | Qingdao Pico Technology Co., Ltd. | Gesture recognition method and device, gesture control method and device and virtual reality apparatus |
| CN116189308A (zh) * | 2023-03-09 | 2023-05-30 | 杰能科世智能安全科技(杭州)有限公司 | 一种无人机飞手检测方法、系统及存储介质 |
| CN116311385B (zh) * | 2023-05-18 | 2023-08-15 | 山东睿芯半导体科技有限公司 | 手势识别芯片及其手势识别方法 |
| CN116311385A (zh) * | 2023-05-18 | 2023-06-23 | 山东睿芯半导体科技有限公司 | 手势识别芯片及其手势识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112083800B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112083800B (zh) | 基于自适应手指关节规则滤波的手势识别方法及系统 | |
| CN105252532B (zh) | 动作捕捉机器人协同柔性姿态控制的方法 | |
| KR101711736B1 (ko) | 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법 | |
| CN110913751B (zh) | 具有滑动检测和校正功能的可穿戴眼睛跟踪系统 | |
| CN113706699B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN108090463B (zh) | 对象控制方法、装置、存储介质和计算机设备 | |
| KR101639161B1 (ko) | 골격 정보를 이용한 사용자 인증 방법 | |
| JP2018119833A (ja) | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 | |
| JP4765075B2 (ja) | ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム | |
| JP2020052979A (ja) | 情報処理装置およびプログラム | |
| CN113505694A (zh) | 一种基于视线追踪的人机交互方法、装置及计算机设备 | |
| EP3309713B1 (en) | Method and device for interacting with virtual objects | |
| CN109214295B (zh) | 基于Kinect v2和Leap Motion的数据融合的手势识别方法 | |
| CN114155288A (zh) | 一种通过手势控制的ar空间可视三维重建方法 | |
| CN112102451B (zh) | 一种基于普通摄像头的无穿戴虚拟直播方法及设备 | |
| CN114756130A (zh) | 一种手部虚实交互系统 | |
| Miyata et al. | Individual hand model to reconstruct behavior from motion capture data | |
| JP2018128739A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム、及び記憶媒体 | |
| CN113496168A (zh) | 手语数据采集方法、设备、存储介质 | |
| CN111201502A (zh) | 用于校准眼睛跟踪系统的系统和方法 | |
| US20230290101A1 (en) | Data processing method and apparatus, electronic device, and computer-readable storage medium | |
| CN112215928B (zh) | 基于视觉图像的动作捕捉方法及数字动画制作方法 | |
| CN115578454A (zh) | 一种基于双目视觉的人体姿态高精度识别方法 | |
| CN116079718A (zh) | 动作模仿方法、装置、计算机可读存储介质及机器人 | |
| CN114067424A (zh) | 一种人体交互行为识别方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |