CN112000219B - 一种可用于增强现实游戏的可移动式手势交互方法 - Google Patents

一种可用于增强现实游戏的可移动式手势交互方法 Download PDF

Info

Publication number
CN112000219B
CN112000219B CN202010239114.7A CN202010239114A CN112000219B CN 112000219 B CN112000219 B CN 112000219B CN 202010239114 A CN202010239114 A CN 202010239114A CN 112000219 B CN112000219 B CN 112000219B
Authority
CN
China
Prior art keywords
gesture
data
augmented reality
matrix
gesture data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010239114.7A
Other languages
English (en)
Other versions
CN112000219A (zh
Inventor
杜广龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010239114.7A priority Critical patent/CN112000219B/zh
Publication of CN112000219A publication Critical patent/CN112000219A/zh
Application granted granted Critical
Publication of CN112000219B publication Critical patent/CN112000219B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种可用于增强现实游戏的可移动式手势交互装置及方法。所述方法具体如下：首先将手势传感器和树莓派安装到增强现实眼镜上，通过树莓派将手势传感器的数据读出并发送到PC端，然后采用坐标系之间的转换关系，将手势的坐标转换到游戏世界坐标。在此基础上，PC端使用区间卡尔曼滤波器和粒子滤波对手势数据进行处理，再将数据发送到增强现实眼镜。此外，利用注册跟踪技术在虚拟游戏世界构建虚拟手模型，增强现实眼镜收到的手势数据用于驱动虚拟手模型。本发明提供了一种自然、直观的交互体验，可以让玩家在大型的场景不受位置和方向影响地使用手势交互，提高了交互的可靠性。

Description

一种可用于增强现实游戏的可移动式手势交互方法
技术领域
本发明属于人机交互领域，特别涉及一种可用于增强现实游戏的可移动式手势交互装置及方法。
背景技术
增强现实是一种将虚拟信息与真实世界巧妙融合的技术。增强现实技术因为其颠覆性和革命性而受到了大量的关注。随着硬件设备的不断完善，增强现实的应用领域扩展到多个新领域，如虚拟装配、虚拟教学、远程手术等。在游戏领域，增强现实的沉浸式技术为消费者带来沉浸感更强的3D体验。手势交互是人们日常生活中使用最广泛的交互方式，许多增强现实游戏也都使用了手势交互的方式，如电子枪、穿戴式外骨架、手势检测传感器等。然而，这些传统的增强现实游戏中所采用的手势交互，由于硬件或者软件等诸多因素，通常只能局限在一个小空间内。随着5G时代的来临，巨量的数据传输和快速的数据传输成为可能，大空间的可移动式增强现实游戏也因此逐渐受到人们关注。在这种大空间可移动式的增强现实游戏中，玩家会在一个大范围内移动，同时玩家的朝向也会不时地改变。解决在大空间可移动式的增强现实游戏中如何使用手势交互的问题对这些增强现实游戏的广泛应用有着重大意义。
到目前为止，在增强现实游戏中广泛使用的手势交互方法有三种：一是使用手持设备；二是使用穿戴式外骨架或手套；三是使用相机或者传感器设备检测人手。手持设备因为是应用于特定的场景，故其输入的手势种类是特定的，如手枪、剑柄、方向盘等电子设备(程君青,朱晓菊.教育游戏的国内外研究综述[J].现代教育技术,2007(07):74-77.)。这种手势输入方法虽然稳定，但是应用范围被限制在特定的游戏中，不能应用到其它类型的游戏。穿戴式外骨架或手套，其原理是测量设备的关节的信息，从而构建出人手的关节信息，是一种有效的手势交互方法。但是因为供电、设备重量、线路连接等因素，这种手势交互方法目前还只能小空间、短时间地使用，无法应用到大空间可移动式的增强现实游戏中(任有恒.可穿戴虚拟现实运动头盔及可穿戴虚拟动作游戏系统.CN204745623U)。不过随着硬件技术的改进升级，可穿戴设备将具有更加广阔的应用前景。
使用相机或者传感器设备检测人手是一种有效的手势交互方式。但是在传统的方法里，这些检测设备都是固定在一个地点，从远端检测人手的动作(钱鹤庆.应用Kinect与手势识别的增强现实教育辅助系统[D].上海交通大学,2011.T.Simon,H.Joo,I.Matthewsand Y.Sheikh，"Hand Keypoint Detection in Single Images Using MultiviewBootstrapping，" 2017 IEEE Conference on Computer Vision and PatternRecognition(CVPR),Honolulu, HI,2017,pp.4645-4653.)。然而，在大空间可移动式的增强现实游戏中，玩家通常需要移动到不同的地点，面向不同的方向。如果人手遭到遮挡，或者人手的距离太远，则这种检测方法就会失效。因此，如何在大空间可移动式的增强现实游戏场景下实现可靠的手势交互，是一个亟待解决的问题。
发明内容
本发明为了解决上述现有技术存在的缺陷，提出了一种新的手势交互方法及装置，用于在大空间可移动式的增强现实游戏场景下实现可靠的手势交互。首先将手势传感器(Leap Motion)和树莓派安装到增强现实眼镜(HoloLens)上，通过树莓派将手势传感器的数据读出并发送到PC端，然后采用坐标系之间的转换关系，将手势的坐标转换到游戏世界坐标。在此基础上，PC端使用区间卡尔曼滤波器和粒子滤波对手势数据进行处理，再将数据发送到增强现实眼镜(HoloLens)。此外，利用注册跟踪技术在虚拟游戏世界构建虚拟手模型，增强现实眼镜收到的手势数据用于驱动虚拟手模型。
本发明的目的至少通过如下技术方案之一实现。
一种可用于增强现实游戏的可移动式手势交互装置，包括手势传感器、树莓派和增强现实眼镜；其中，所述手势传感器和树莓派通过支撑结构安装到所述增强现实眼镜上，手势传感器的数据接口通过USB数据线与树莓派上的USB接口连接，将捕获的手势数据通过传送到树莓派；所述树莓派通过WiFi路由器的5G无线连接将手势数据发送到PC端，所述增强现实眼镜通过WiFi路由器的5G无线连接接收PC端进行处理后的手势数据，根据处理后的手势数据构建虚拟手模型与虚拟游戏世界交互；5G的快速传输的特性满足了增强现实游戏的实时性要求；由于手势的采集不受用户方位和物体遮挡的影响，因此用户可以在WiFi覆盖范围内自由移动，实现基于增强现实游戏的大空间可移动式的手势交互。
进一步地，所述手势传感器采用Leap Motion，所述增强现实眼镜采用HoloLens。
一种可用于增强现实游戏的可移动式手势交互方法，包括以下步骤：
S1、使用手势交互装置读出手势数据并通过WiFi路由器发送到PC端；
S2、利用坐标系之间的转换关系，将手势的坐标转换到游戏世界坐标；
S3、PC端使用区间卡尔曼滤波和粒子滤波对手势数据进行处理，再将手势数据通过WiFi路由器的5G无线连接发送到增强现实眼镜；
S4、采用注册跟踪技术在虚拟世界构建虚拟手模型，将虚拟手模型隐形，实现用真实手与虚拟游戏世界交互的效果。
进一步地，步骤S2中，所述坐标系包括手势传感器的坐标系以及增强现实眼镜中的坐标系即游戏世界的坐标系；所述坐标转换采用张正友标定法，包括以下步骤：
S21、选择一个m×n的棋盘格；
S22、使用增强现实眼镜捕获棋盘格m×n个角点的位置坐标集P＝{p1，p2，p3，...，pm×n}；使用指尖依次触摸这m×n个点，获得手势传感器坐标下m×n个点的位置坐标集Q＝{q1，q2，q3，...，qm×n}；
S23、使用最小二乘法拟合以下公式，计算手势传感器坐标系到增强现实眼镜中的坐标系的转换关系：
pi＝Tqi，i＝1～m×n；
其中，Pi和Qi分别是位置坐标集P和Q中的点，T是手势传感器坐标系到增强现实眼镜中的坐标系的转换矩阵。
进一步地，步骤S3中，所述区间卡尔曼滤波器用于对手势数据中的位置数据进行滤波，提高测量的精度和减小数据的抖动；所述位置数据是指手势传感器采集到的人手关节的位置坐标；所述粒子滤波用于对手势数据中的方向数据进行滤波；所述方向数据包括手掌的朝向和指尖的朝向。
进一步地，所述区间卡尔曼滤波包括以下步骤：
S31、定义如下的状态转移方程和观测方程：
Figure BDA0002431966860000031
其中，xk和zk分别是tk时刻手势数据中位置的状态向量和观测向量；Φk为状态转移矩阵； H和uk-1分别是观测矩阵和输入矩阵；Γk是控制输入矩阵；bk和vk分别是过程噪声和观测噪声，且均假设服从高斯分布bk～N(0，Qk)，vk～N(0，Rk)，其中Qk为系统噪声方差矩阵，Rk为观测噪声方程矩阵；
S32、在每个时刻tk对手势数据进行滤波。
进一步地，步骤S31中，状态向量表示为：
xk＝[Px，k，Vx，k，Ax，k，Py，k，Vy，k，Ay，k，Pz，k，Vz，k，Az，k]T；
其中：Px，k，Py，k，Pz，k表示第k个时刻手势数据的位置向量在手势传感器下的各坐标轴分量；Vx，k，Vy，k，Vz，k表示第k个时刻手势数据的速度向量在手势传感器下的各坐标轴分量； Ax，k，Ay，k，Az，k表示第k个时刻手势数据的加速度向量在手势传感器下的各坐标轴分量；状态转移矩阵具体如下：
Figure BDA0002431966860000041
其中t为两个相邻时刻间的间隔；受重力的影响，系统的输入控制表示为：
Figure BDA0002431966860000042
其中，|g|表示重力加速度的大小；手势传感器只检测手势数据的位置和加速度，观测矩阵表示为：
Figure BDA0002431966860000043
进一步地，步骤S32具体包括以下步骤：
S321、根据xk-1计算xk′，公式如下：
x′k＝Φkxk-1+Γkuk-1；
其中，x′k表示为xk的中间计算结果；
S322、计算误差估计协方差矩阵，公式如下：
Figure BDA0002431966860000044
其中，Pk是误差估计协方差矩阵，Pk′表示为Pk的中间计算结果；
S323、计算卡尔曼增益：
Gk＝P′kHT(HP′kHT+Rk)-1；
S324、根据当前时刻的手势数据的观测向量zk，更新状态向量xk和误差估计协方差矩阵Pk：
Figure BDA0002431966860000045
其中I为单位矩阵，所得的xk即第k时刻滤波后的手势数据。
进一步地，步骤S3中，粒子滤波算法中的状态样本指的是在状态空间中随机选取的若干样本；所述的手势数据的方向数据包括手势传感器坐标系下的横滚角φ、俯仰角θ和偏航角ψ；根据欧拉定理，从欧拉角到四元数的转换表示为：
Figure BDA0002431966860000051
其中，四元数分量q0,q1,q2,q3满足关系
Figure BDA0002431966860000052
因此每个时刻粒子滤波的参数表示为
Figure BDA0002431966860000053
其中
Figure BDA0002431966860000054
表示在时刻tk，粒子滤波估计的第i个粒子的状态；再根据手势传感器获取的角速度ω，计算时刻tk+1时的每个粒子的四元数分量，公式如下：
Figure BDA0002431966860000055
其中t为两个相邻时刻间的间隔，ωx,k,ωy,k,ωz,k分别表示在时刻tk时绕手势传感器各坐标轴的角速度分量。
进一步地，步骤S4中，所述注册跟踪技术是指通过对现实场景中的图像或物体进行跟踪与定位，将虚拟物体按照正确的空间透视关系叠加到真实场景当中；所述虚拟手模型是根据步骤S3中滤波后的手势数据所构建的；所构建的虚拟手模型是隐形的，但是虚拟手模型与真实手的位置是重合的，只存在很小的数据处理和信号传输的时延，达到真实手与虚拟游戏世界交互的效果。
与现有技术相比，本发明具有以下优势：
(1)玩家可以在大型的场景自由移动，其位置和方向不阻碍手势的交互的效果，提高了交互的可靠性。
(2)本发明所用的手势交互接近真实人手交互，提供了一种自然、直观的交互体验。
附图说明
图1为本发明实施例中的整体交互系统的结构示意图；
图2为本发明一种可用于增强现实游戏的可移动式手势交互方法流程图。
具体实施方式
下面结合实施例和附图对本发明的具体实施做进一步的说明，但本发明的实施方式不限于此。
实施例：
一种可用于增强现实游戏的可移动式手势交互装置，如图1所示，包括手势传感器1、树莓派2和增强现实眼镜3；其中，所述手势传感器1和树莓派2通过支撑结构安装到所述增强现实眼镜上，手势传感器1的数据接口通过USB数据线与树莓派2上的USB接口连接，将捕获的手势数据通过传送到树莓派2；所述树莓派2通过WiFi路由器5的5G无线连接将手势数据发送到PC端4，所述增强现实眼镜通过WiFi路由器5的5G无线连接接收PC端4 进行处理后的手势数据，根据处理后的手势数据构建虚拟手模型与虚拟游戏世界交互。5G的快速传输的特性满足了增强现实游戏的实时性要求。由于手势的采集不受用户方位和物体遮挡的影响，因此用户可以在WiFi覆盖范围内自由移动，实现基于增强现实游戏的大空间可移动式的手势交互。
所述手势传感器1采用Leap Motion，所述增强现实眼镜3采用HoloLens。
一种可用于增强现实游戏的可移动式手势交互方法，如图2所示，包括以下步骤：
S1、使用手势交互装置读出手势数据并通过WiFi路由器发送到PC端；
S2、利用坐标系之间的转换关系，将手势的坐标转换到游戏世界坐标；
所述坐标系包括手势传感器的坐标系以及增强现实眼镜中的坐标系即游戏世界的坐标系；所述坐标转换采用张正友标定法，包括以下步骤：
S21、选择一个m×n的棋盘格；
S22、使用增强现实眼镜捕获棋盘格m×n个角点的位置坐标集P＝{p1,p2,p3,…,pm×n}；使用指尖依次触摸这m×n个点，获得手势传感器坐标下m×n个点的位置坐标集Q＝{q1,q2,q3,…,m×n}；
S23、使用最小二乘法拟合以下公式，计算手势传感器坐标系到增强现实眼镜中的坐标系的转换关系：
pi＝Tqi,i＝1～m×n；
其中，Pi和Qi分别是位置坐标集P和Q中的点，T是手势传感器坐标系到增强现实眼镜中的坐标系的转换矩阵。
S3、PC端使用区间卡尔曼滤波和粒子滤波对手势数据进行处理，再将手势数据通过WiFi路由器的5G无线连接发送到增强现实眼镜；
所述区间卡尔曼滤波器用于对手势数据中的位置数据进行滤波，提高测量的精度和减小数据的抖动；所述位置数据是指手势传感器采集到的人手关节的位置坐标；所述粒子滤波用于对手势数据中的方向数据进行滤波；所述方向数据包括手掌的朝向和指尖的朝向。
所述区间卡尔曼滤波包括以下步骤：
S31、定义如下的状态转移方程和观测方程：
Figure BDA0002431966860000071
其中，xk和zk分别是tk时刻手势数据中位置的状态向量和观测向量；Φk为状态转移矩阵； H和uk-1分别是观测矩阵和输入矩阵；Γk是控制输入矩阵；bk和vk分别是过程噪声和观测噪声，且均假设服从高斯分布bk～N(0，Qk)，vk～N(0，Rk)，其中Qk为系统噪声方差矩阵，Rk为观测噪声方程矩阵；
状态向量表示为：
xk＝[Px，k，Vx，k，Ax，k，Py，k，Vy，k，Ay，k，Pz，k，Vz，k，Az，k]T；
其中：Px，k，Py，k，Pz，k表示第k个时刻手势数据的位置向量在手势传感器下的各坐标轴分量；Vx，k，Vy，k，Vz，k表示第k个时刻手势数据的速度向量在手势传感器下的各坐标轴分量；
Ax，k，Ay，k，Az，k表示第k个时刻手势数据的加速度向量在手势传感器下的各坐标轴分量；状态转移矩阵具体如下：
Figure BDA0002431966860000072
其中t为两个相邻时刻间的间隔；受重力的影响，系统的输入控制表示为：
Figure BDA0002431966860000073
其中，|g|表示重力加速度的大小；手势传感器只检测手势数据的位置和加速度，观测矩阵表示为：
Figure BDA0002431966860000086
S32、在每个时刻tk对手势数据进行滤波，具体包括以下步骤：
S321、根据xk-1计算xk′，公式如下：
x′k＝Φkxk-1+Γkuk-1；
其中，x′k表示为xk的中间计算结果；
S322、计算误差估计协方差矩阵，公式如下：
Figure BDA0002431966860000081
其中，Pk是误差估计协方差矩阵，Pk′表示为Pk的中间计算结果；
S323、计算卡尔曼增益：
Gk＝P′kHT(HP′kHT+Rk)-1；
S324、根据当前时刻的手势数据的观测向量zk，更新状态向量xk和误差估计协方差矩阵Pk：
Figure BDA0002431966860000087
其中I为单位矩阵，所得的xk即第k时刻滤波后的手势数据。
粒子滤波算法中的状态样本指的是在状态空间中随机选取的若干样本；所述的手势数据的方向数据包括手势传感器坐标系下的横滚角φ、俯仰角θ和偏航角ψ；根据欧拉定理，从欧拉角到四元数的转换表示为：
Figure BDA0002431966860000082
其中，四元数分量q0，q1，q2，q3满足关系
Figure BDA0002431966860000083
因此每个时刻粒子滤波的参数表示为
Figure BDA0002431966860000084
其中
Figure BDA0002431966860000085
表示在时刻tk，粒子滤波估计的第i个粒子的状态；再根据手势传感器获取的角速度ω，计算时刻tk+1时的每个粒子的四元数分量，公式如下：
Figure BDA0002431966860000091
其中t为两个相邻时刻间的间隔，ωx,k,ωy,k,ωz,k分别表示在时刻tk时绕手势传感器各坐标轴的角速度分量。
S4、采用注册跟踪技术在虚拟世界构建虚拟手模型，将虚拟手模型隐形，实现用真实手与虚拟游戏世界交互的效果；
所述注册跟踪技术是指通过对现实场景中的图像或物体进行跟踪与定位，将虚拟物体按照正确的空间透视关系叠加到真实场景当中；所述虚拟手模型是根据步骤S3中滤波后的手势数据所构建的；所构建的虚拟手模型是隐形的，但是虚拟手模型与真实手的位置是重合的，只存在很小的数据处理和信号传输的时延，达到真实手与虚拟游戏世界交互的效果。

Claims (3)

1.一种可用于增强现实游戏的可移动式手势交互方法，手势交互 装置包括手势传感器、树莓派和增强现实眼镜；其中，所述手势传感器和树莓派通过支撑结构安装到所述增强现实眼镜上，手势传感器的数据接口通过USB数据线与树莓派上的USB接口连接，将捕获的手势数据传送到树莓派；所述树莓派通过WiFi路由器的5G无线连接将手势数据发送到PC端，所述增强现实眼镜通过WiFi路由器的5G无线连接接收PC端进行处理后的手势数据，根据处理后的手势数据构建虚拟手模型与虚拟游戏世界交互；5G的快速传输的特性满足了增强现实游戏的实时性要求；由于手势的采集不受用户方位和物体遮挡的影响，因此用户可以在WiFi覆盖范围内自由移动，实现基于增强现实游戏的大空间可移动式的手势交互；所述手势传感器采用LeapMotion，所述增强现实眼镜采用HoloLens；其特征在于，所述方法包括以下步骤：
S1、使用手势交互装置读出手势数据并通过WiFi路由器发送到PC端；
S2、利用坐标系之间的转换关系，将手势的坐标转换到游戏世界坐标；所述坐标系包括手势传感器的坐标系以及增强现实眼镜中的坐标系即游戏世界的坐标系；所述坐标转换采用张正友标定法，包括以下步骤：
S21、选择一个m×n的棋盘格；
S22、使用增强现实眼镜捕获棋盘格m×n个角点的位置坐标集P＝{p1，p2，p3，...，pm×n}；使用指尖依次触摸这m×n个点，获得手势传感器坐标下m×n个点的位置坐标集Q＝{q1，q2，q3，...，qm×n}；
S23、使用最小二乘法拟合以下公式，计算手势传感器坐标系到增强现实眼镜中的坐标系的转换关系：
pi＝Tqi，i＝1～m×n；
其中，pi和qi分别是位置坐标集P和Q中的点，T是手势传感器坐标系到增强现实眼镜中的坐标系的转换矩阵；
S3、PC端使用区间卡尔曼滤波和粒子滤波对手势数据进行处理，再将手势数据通过WiFi路由器的5G无线连接发送到增强现实眼镜；所述区间卡尔曼滤波包括以下步骤：
S31、定义如下的状态转移方程和观测方程：
Figure FDA0003572395050000011
其中，sk是tk时刻手势数据中位置的状态向量，zk-1是tk-1时刻手势数据中位置的观测向量；Φk为状态转移矩阵；H和uk-1分别是观测矩阵和输入矩阵；Γk是控制输入矩阵；bk-1是过程噪声，vk是观测噪声，且均假设服从高斯分布bk～N(0，Qk)，vk～N(0，Rk)，其中Qk为系统噪声方差矩阵，Rk为观测噪声方程矩阵；状态向量表示为：
sk＝[Px，k，Vx，k，Ax，k，Py，k，Vy，k，Ay，k，Pz，k，Vz，k，Az，k]T；
其中：Px，k，Py，k，Pz，k表示第k个时刻手势数据的位置向量在手势传感器下的各坐标轴分量；Vx，k，Vy，k，Vz，k表示第k个时刻手势数据的速度向量在手势传感器下的各坐标轴分量；Ax，k，Ay，k，Az，k表示第k个时刻手势数据的加速度向量在手势传感器下的各坐标轴分量；状态转移矩阵具体如下：
Figure FDA0003572395050000021
其中t为两个相邻时刻间的间隔；受重力的影响，系统的输入控制表示为：
Figure FDA0003572395050000022
其中，|g|表示重力加速度的大小；手势传感器只检测手势数据的位置和加速度，观测矩阵表示为：
Figure FDA0003572395050000023
S32、在每个时刻tk对手势数据进行滤波；具体包括以下步骤：
S321、根据sk-1计算sk′，公式如下：
sk′＝Φksk-1+Γkuk-1；
其中，sk′表示为sk的中间计算结果；
S322、计算误差估计协方差矩阵，公式如下：
Figure FDA0003572395050000024
其中，Pk是误差估计协方差矩阵，Pk′表示为Pk的中间计算结果；
S323、计算卡尔曼增益Gk：
Gk＝Pk′HT(HPk′HT+Rk)-1；
S324、根据当前时刻的手势数据的观测向量zk，更新状态向量sk和误差估计协方差矩阵Pk：
Figure FDA0003572395050000025
其中I为单位矩阵，所得的sk即第k时刻滤波后的手势数据；
粒子滤波算法中的状态样本指的是在状态空间中随机选取的若干样本；所述的手势数据的方向数据包括手势传感器坐标系下的横滚角φ、俯仰角θ和偏航角ψ；根据欧拉定理，从欧拉角到四元数的转换表示为：
Figure FDA0003572395050000031
其中，四元数分量q0，q1，q2，q3满足关系
Figure FDA0003572395050000032
因此每个时刻粒子滤波的参数表示为
Figure FDA0003572395050000033
其中
Figure FDA0003572395050000034
表示在时刻tk，粒子滤波估计的第i个粒子的状态；再根据手势传感器获取的角速度ω，计算时刻tk+1时的每个粒子的四元数分量，公式如下：
Figure FDA0003572395050000035
其中t为两个相邻时刻间的间隔，ωx，k，ωy，k，ωz，k分别表示在时刻tk时绕手势传感器各坐标轴的角速度分量；
S4、采用注册跟踪技术在虚拟世界构建虚拟手模型，将虚拟手模型隐形，实现用真实手与虚拟游戏世界交互的效果。
2.根据权利要求1所述的一种可用于增强现实游戏的可移动式手势交互方法，其特征在于，步骤S3中，所述区间卡尔曼滤波器用于对手势数据中的位置数据进行滤波，提高测量的精度和减小数据的抖动；所述位置数据是指手势传感器采集到的人手关节的位置坐标；所述粒子滤波用于对手势数据中的方向数据进行滤波；所述方向数据包括手掌的朝向和指尖的朝向。
3.根据权利要求1所述的一种可用于增强现实游戏的可移动式手势交互方法，其特征在于，步骤S4中，所述注册跟踪技术是指通过对现实场景中的图像或物体进行跟踪与定位，将虚拟物体按照正确的空间透视关系叠加到真实场景当中；所述虚拟手模型是根据步骤S3中滤波后的手势数据所构建的；所构建的虚拟手模型是隐形的，但是虚拟手模型与真实手的位置是重合的，存在的数据处理和信号传输的时延能达到真实手与虚拟游戏世界交互的效果。
CN202010239114.7A 2020-03-30 2020-03-30 一种可用于增强现实游戏的可移动式手势交互方法 Expired - Fee Related CN112000219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010239114.7A CN112000219B (zh) 2020-03-30 2020-03-30 一种可用于增强现实游戏的可移动式手势交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010239114.7A CN112000219B (zh) 2020-03-30 2020-03-30 一种可用于增强现实游戏的可移动式手势交互方法

Publications (2)

Publication Number Publication Date
CN112000219A CN112000219A (zh) 2020-11-27
CN112000219B true CN112000219B (zh) 2022-06-14

Family

ID=73461760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010239114.7A Expired - Fee Related CN112000219B (zh) 2020-03-30 2020-03-30 一种可用于增强现实游戏的可移动式手势交互方法

Country Status (1)

Country Link
CN (1) CN112000219B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886677A (zh) * 2017-11-21 2018-04-06 哈尔滨理工大学 一种基于Kinect的老年人步态家庭监控系统
CN108334199A (zh) * 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置
CN108364302A (zh) * 2018-01-31 2018-08-03 华南理工大学 一种无标记的增强现实多目标注册跟踪方法
CN109395375A (zh) * 2018-09-18 2019-03-01 华南理工大学 一种基于增强现实与移动交互的三维游戏接口设计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120200499A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based control of applications resident on external devices with feedback

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886677A (zh) * 2017-11-21 2018-04-06 哈尔滨理工大学 一种基于Kinect的老年人步态家庭监控系统
CN108364302A (zh) * 2018-01-31 2018-08-03 华南理工大学 一种无标记的增强现实多目标注册跟踪方法
CN108334199A (zh) * 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置
CN109395375A (zh) * 2018-09-18 2019-03-01 华南理工大学 一种基于增强现实与移动交互的三维游戏接口设计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Markerless Human–Manipulator Interface Using Leap Motion With Interval Kalman Filter and Improved Particle Filter;Guanglong Du，Ping Zhang，Xin Liu;《IEEE Transactions on Industrial Informatics》;20161231;第12卷(第2期);第694-704页 *

Also Published As

Publication number Publication date
CN112000219A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN105252532B (zh) 动作捕捉机器人协同柔性姿态控制的方法
CN110570455B (zh) 一种面向房间vr的全身三维姿态跟踪方法
Qian et al. Developing a gesture based remote human-robot interaction system using kinect
US8571258B2 (en) Method of tracking the position of the head in real time in a video image stream
Rautaray et al. Real time multiple hand gesture recognition system for human computer interaction
WO2022002133A1 (zh) 手势追踪方法及装置
Fang et al. Development of a wearable device for motion capturing based on magnetic and inertial measurement units
Demirdjian et al. 3-d articulated pose tracking for untethered diectic reference
CN106200944A (zh) 一种对象的控制方法、控制装置和控制系统
CN104424650B (zh) 一种光学式人体运动捕捉中手臂信息补偿方法
JP7162079B2 (ja) 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体
CN112528957A (zh) 人体运动基础信息检测方法、系统及电子设备
Zhu et al. Real-time motion capture: An overview
Sreejith et al. Real-time hands-free immersive image navigation system using Microsoft Kinect 2.0 and Leap Motion Controller
CN112000219B (zh) 一种可用于增强现实游戏的可移动式手势交互方法
CN110717993B (zh) 一种分体式ar眼镜系统的交互方法、系统及介质
CN109214295B (zh) 基于Kinect v2和Leap Motion的数据融合的手势识别方法
CN116476074A (zh) 基于混合现实技术的远程机械臂操作系统及人机交互方法
CN108115671A (zh) 基于3d视觉传感器的双臂机器人控制方法及系统
CN107247424B (zh) 一种基于激光距离传感器的ar虚拟开关的开关方法
KR102456872B1 (ko) 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법
Vu et al. Hand pose detection in hmd environments by sensor fusion using multi-layer perceptron
CN115494938A (zh) 非接触式交互方法及装置
CN114327042B (zh) 检测手套、手势追踪方法、ar设备及按键方法
WO2022228056A1 (zh) 一种人机交互方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220614