CN105929958B - 一种手势识别方法，装置和头戴式可视设备 - Google Patents

一种手势识别方法，装置和头戴式可视设备 Download PDF

Info

Publication number
CN105929958B
CN105929958B CN201610266509.XA CN201610266509A CN105929958B CN 105929958 B CN105929958 B CN 105929958B CN 201610266509 A CN201610266509 A CN 201610266509A CN 105929958 B CN105929958 B CN 105929958B
Authority
CN
China
Prior art keywords
angle
time point
target object
information
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610266509.XA
Other languages
English (en)
Other versions
CN105929958A (zh
Inventor
冯蔚腾
刘思维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610266509.XA priority Critical patent/CN105929958B/zh
Publication of CN105929958A publication Critical patent/CN105929958A/zh
Application granted granted Critical
Publication of CN105929958B publication Critical patent/CN105929958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及虚拟现实和增强现实技术，公开了一种基于头戴式可视设备的手势识别方法，装置和一种头戴式可视设备，其中所述方法包括：获取第一时间点的目标物体坐标信息；根据所述第一时间点的目标物体坐标信息得到第一夹角；获取第一角度信息，根据所述第一角度信息得到第一姿态角；获取第二时间点的目标物体坐标信息；根据所述第二时间点的目标物体坐标信息得到第二夹角；获取第二角度信息，根据所述第二角度信息得到第二姿态角；得到所述第二时间点的目标物体角度；根据所述目标物体角度和预设的手势识别算法得到手势信息。使用本发明，可以解决因为设备转动造成的手势识别错误的问题，提高手势识别的准确度。

Description

一种手势识别方法，装置和头戴式可视设备
技术领域
本发明涉及虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)技术，具体涉及一种手势识别方法，装置和头戴式可视设备。
背景技术
虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)技术是近年来新兴的多媒体技术。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，增强现实技术是一种可以将虚拟现实和真实世界叠加并进行互动的技术。在VR或AR场景中，使用者通常佩戴一种头戴式可视设备(Head Mounted Display,HMD)，HMD设备由集成的图形系统、光学系统和姿态追踪系统组成，可以为设备的使用者提供一种可交互的沉浸式体验。HMD通常是用眼罩或头盔的形式，把显示屏贴近用户的眼睛，通过光路调整焦距以在近距离中对眼睛投射画面。头戴式显示器能以比普通显示器小的多的体积产生一个广视角的画面，通常视角都会超过90度。
在VR或AR场景中，当使用者戴上HMD设备之后，看不到真实世界中的手柄、触摸板等常见的交互物体，一般都是使用手势来操控HMD设备。
目前手势识别主要依赖于红外摄像头、深度摄像头、或双目摄像头。摄像头用于采集设备使用者的手部特征，然后将摄像头采集到的手部中心位置的轨迹变化信息，输送给识别算法软件来识别出相应的手势动作(例如：左划、右划、上划、下划、前推等)。
在HMD的应用中，为减少连接线缆，可在头盔上内置摄像头，当用户的手在HMD设备的正前方挥动时，内置摄像头即可随时获取手部的位置信息。通过不断的采集，获取完整的手部运动轨迹数据。然后HMD设备里的识别算法根据这些轨迹数据识别出具体的手势动作，再将识别结果输送给人机交互模块完成交互。
如图1所示，HMD设备内置摄像头，摄像头通过不断的采集手部位置坐标，得到连续的手势轨迹，根据手势识别算法对得到的手部位置坐标进行处理，得到手势动作信息，手势动作信息指示出一个上划的手势动作，再将此手势动作信息传送给人机交互模块，即完成了基于手势识别的人机交互。
现有技术的主要缺点是，在HMD应用中不能很准确的得到手部的真实运动轨迹。因为在HMD应用中，摄像头会随着头部的转动而转动，因此摄像获取的轨迹不仅仅是手部运动轨迹，而是手部与摄像头之间的相对运动轨迹。所以会造成以下问题：
当使用者的手部处于静止状态时，若使用者的头部转动，内置摄像头跟手部产生相对运动，如图2。因此即使手部静止，摄像头获取的数据也存在相对运动的轨迹。此时HMD设备会错误的认为手部有一个划动的动作。
另外，当使用者的手部做一个手势动作时，若使用者的头部也转动，则内置摄像头获取的相对运动轨迹与手部真实运动轨迹之间存在较大的差别，因此容易导致错误的手势识别，降低识别率。
发明内容
为解决上述问题，提供手势识别的准确率，本发明第一方面的实施例提供了一种基于头戴式可视设备的手势识别方法，所述方法包括：获取第一时间点的目标物体坐标信息，其中，所述目标物体坐标信息表示目标物体在所述头戴式可视设备的采集坐标系中的二维坐标；根据所述第一时间点的目标物体坐标信息得到第一夹角；获取所述头戴式可视设备在所述第一时间点的第一角度信息，根据所述第一角度信息得到第一姿态角；获取第二时间点的目标物体坐标信息，其中，所述第二时间点在所述第一时间点之后，所述第二时间点与所述第一时间点相差一个采样间隔；根据所述第二时间点的目标物体坐标信息得到第二夹角；获取所述头戴式可视设备在所述第二时间点的第二角度信息，根据所述第二角度信息得到第二姿态角；根据所述第一夹角，所述第二夹角，所述第一姿态角和所述第二姿态角得到所述第二时间点的目标物体角度；根据所述目标物体角度和预设的手势识别算法得到手势信息。
在本发明的实施例中，可以计算多个时刻的目标物体角度，根据多个目标物体角度得到手势信息。
在本发明的实施例中，将目标物体角度转换成目标物体位置坐标，用于预设的手势识别算法进行运算。
在本发明的实施例中，预设的手势识别算法可以采用现有技术中的算法，例如可以采用模板匹配(OpenCV采用)、隐马尔可夫模型(HMM)、深度学习等方式。本发明对此不做具体的限制。本发明并不涉及手势识别算法的改进。
在本发明的实施例中，第一时间点和第二时间点是采集设备采集目标物体坐标信息的时间点，例如，第一时间点可以是1.01秒，第二时间点可以是1.03秒，第一时间点和第二时间点相差一个采样间隔。采样间隔为采集设备采集数据帧的时间间隔。
在本发明的实施例中，目标物体坐标信息是目标物体(例如：使用者的手部)在所述头戴式可视设备的采集坐标系中的坐标，采集坐标系是三维坐标系，如图11所示，使用者的手部在XY平面挥动，得到(x,y)坐标，摄像头在Z轴上。XY平面即是摄像头的采集面，XYZ轴的交叉点为原点，即是摄像头的采集面的中心点。
在本发明的实施例中，可以由头戴式可视设备的惯性测量单元获取第一角度信息，惯性测量单元通常为3轴陀螺仪，或3轴陀螺仪加3轴加速计。
在本发明的实施例中，姿态角为头戴式可视设备在三维坐标系的角度。如图12所示，摄像头若在YZ平面转动，得到与Y轴的夹角ψY；如图12所示，摄像头若在XZ平面转动，得到与X轴的夹角ψX。实际上摄像头会同时在YZ平面和XZ平面转动，因此得到(ψX,ψY)即为设备的姿态角。
在本发明第一方面实施例的第一种可能的方式中，所述根据所述第一夹角，所述第二夹角，所述第一姿态角和所述第二姿态角得到所述第二时间点的目标物体角度，包括：根据所述第一夹角和所述第二夹角得到夹角差；根据所述第一姿态角和所述第二姿态角得到姿态角差；根据所述夹角差和所述姿态角差得到所述第二时间点的目标物体角度。
结合本发明第一方面实施例第一种可能的方式的本发明第一方面实施例的第二种可能的方式中，所述根据所述第一夹角和所述第二夹角得到夹角差，包括：所述夹角差等于所述第二夹角减所述第一夹角。
在本发明第一方面实施例的一种可能的实现方式中，所述根据所述第一姿态角和所述第二姿态角得到姿态角差，包括：所述姿态角差等于所述第二姿态角减所述第一姿态角。
本发明第二方面的实施例公开了一种基于头戴式可视设备的手势识别装置，所述装置包括：坐标信息获取模块，用于获取第一时间点的目标物体坐标信息，其中，所述目标物体坐标信息表示目标物体在所述头戴式可视设备的采集坐标系中的二维坐标；计算模块，用于根据所述第一时间点的目标物体坐标信息得到第一夹角；角度信息获取模块，用于获取所述头戴式可视设备在所述第一时间点的第一角度信息，根据所述第一角度信息得到第一姿态角；所述坐标信息获取模块还用于获取第二时间点的目标物体坐标信息，其中，所述第二时间点在所述第一时间点之后，所述第二时间点与所述第一时间点相差一个采样间隔；所述计算模块还用于根据所述第二时间点的目标物体坐标信息得到第二夹角；所述角度信息获取模块还用于获取所述头戴式可视设备在所述第二时间点的第二角度信息，根据所述第二角度信息得到第二姿态角；目标物体角度模块，用于根据所述第一夹角，所述第二夹角，所述第一姿态角和所述第二姿态角得到所述第二时间点的目标物体角度；手势识别模块，用于根据所述目标物体角度和预设的手势识别算法得到手势信息。
在本发明第二方面实施例的一种可能的方式中，所述目标物体角度模块用于：根据所述第一夹角和所述第二夹角得到夹角差；根据所述第一姿态角和所述第二姿态角得到姿态角差；根据所述夹角差和所述姿态角差得到所述第二时间点的目标物体角度。
在本发明第二方面实施例的一种可能的方式中，所述根据所述第一夹角和所述第二夹角得到夹角差，包括：所述夹角差等于所述第二夹角减所述第一夹角。
在本发明第二方面实施例的一种可能的方式中，所述根据所述第一姿态角和所述第二姿态角得到姿态角差，包括：所述姿态角差等于所述第二姿态角减所述第一姿态角。
本发明第三方面实施例公开了一种头戴式可视设备，所述设备包括：摄像头，用于获取第一时间点的目标物体坐标信息，其中，所述目标物体坐标信息表示目标物体在所述头戴式可视设备的采集坐标系中的二维坐标；处理器，用于根据所述第一时间点的目标物体坐标信息得到第一夹角；惯性测量单元，用于获取所述头戴式可视设备在所述第一时间点的第一角度信息；所述处理器还用于根据所述第一角度信息得到第一姿态角；所述摄像头还用于获取第二时间点的目标物体坐标信息，其中，所述第二时间点在所述第一时间点之后，所述第二时间点与所述第一时间点相差一个采样间隔；所述处理器还用于根据所述第二时间点的目标物体坐标信息得到第二夹角；所述惯性测量单元还用于获取所述头戴式可视设备在所述第二时间点的第二角度信息；所述处理器还用于，根据所述第二角度信息得到第二姿态角，根据所述第一夹角，所述第二夹角，所述第一姿态角和所述第二姿态角得到所述第二时间点的目标物体角度，根据所述目标物体角度和预设的手势识别算法得到手势信息。
在本发明第三方面实施例的一种可能的方式中，所述处理器用于：根据所述第一夹角和所述第二夹角得到夹角差；根据所述第一姿态角和所述第二姿态角得到姿态角差；根据所述夹角差和所述姿态角差得到所述第二时间点的目标物体角度。
在本发明第三方面实施例的一种可能的方式中，所述根据所述第一夹角和所述第二夹角得到夹角差，包括：所述夹角差等于所述第二夹角减所述第一夹角。
在本发明第三方面实施例的一种可能的方式中，所述根据所述第一姿态角和所述第二姿态角得到姿态角差，包括：所述姿态角差等于所述第二姿态角减所述第一姿态角。
从本发明实施例提供的以上技术方案可以看出，由于本发明实施例在判断手势移动角度时，同时考虑了设备转动产生的偏差，并对该偏差对手势移动角度造成的误差进行了纠正，从而使得手势移动角度的判断更加准确，提高了手势识别准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中头戴式可视设备的手势交互处理示意图。
图2为现有技术中头戴式可是设备的另一手势交互处理示意图。
图3为本发明实施例的一种头戴式可视设备的结构示意图。
图4为本发明实施例的基于头戴式可视设备的手势识别方法的流程图。
图5为本发明实施例的校正手势轨迹的流程图。
图6为本发明实施例的基于头戴式可视设备的手势识别装置的结构图。
图7为本发明实施例的一种头戴式可视设备的示意图。
图8为本发明实施例的T0时刻夹角和姿态角的示意图。
图9为本发明实施例的T1时刻夹角和姿态角的示意图。
图10为本发明实施例的校正后的手势运动轨迹的示意图。
图11为本发明实施例的目标物体在所述头戴式可视设备的采集坐标系中的二维坐标的示意图。
图12为本发明实施例的头戴式可视设备的姿态角的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的一种基于头戴式可视(Head Mounted Display,HMD)设备的手势识别方法，装置和一种头戴式可视设备。本实施例的应用场景可以与背景技术中的应用场景相同。
下面结合图3描述本发明实施例的一种HMD设备的结构。如图3所示，HMD设备30主要由惯性测量单元(Inertial Measurement Unit，IMU)31、摄像头单元32、控制单元33、主机34、显示单元35，及音频单元36组成。
惯性测量单元31通常为3轴陀螺仪，或3轴陀螺仪加3轴加速计，用于获取HMD设备的方位信息。
摄像头单元32用于采集使用者的手势信息，还可以用于采集HMD应用环境中的其它信息，例如周围物体信息，物体运动状态信息等。在本发明的一个实施例中，手势信息包括使用者手部的位置信息和深度信息。
控制单元33用于获取使用者的交互指令。
主机34是处理器的一种实现方式，包括CPU(中央处理单元)和GPU(图像处理单元)等。
在本发明的一个实施例中，主机也可以只包括CPU。主机34还可以包括内存以及各类媒体处理软件，如运动跟踪、手势识别算法、人机交互、渲染显示、音频处理等；在本发明的一个实施例中，运动跟踪、手势识别算法、人机交互、渲染显示、音频处理等在CPU上执行。
显示单元35通常包括显示屏以及配套的光学器件，用于内容显示。根据使用者不同的交互方式，显示单元35可以将相应的信息呈现给使用者。
音频单元36可以包括音频采集子单元或音频输出子单元，音频单元36用于采集或输出音频信息。音频采集子单元可以为单个麦克风或麦克风阵列，或者其它用于采集使用者语音的装置；音频输出子单元可以为扬声器或扬声器阵列，或者其它用于输出音频信号的装置。音频采集子单元可以帮助用户使用语音指令进行交互，此时用户可以在手势交互指令和语音交互指令之间切换。音频单元36也可以仅包括音频输出子单元，采用本发明实施例的手势交互指令实现使用者与HMD设备的交互。
从信息流的角度划分，HMD设备包括：
输入单元：IMU单元31，摄像头单元32，控制单元33。
主机用于处理从各个输入单元获取的信息，对这些信息进行处理后生成待输出信息，然后将待输出信息传输给输出单元。
输出单元：显示单元35，音频单元36。
如图4所示，本发明的一个实施例提供了一种基于HMD设备的手势信息获取方法。该方法可以使用图3所示例的HMD设备执行。
S41：得到第一夹角和第一姿态角；
获取第一时间点的目标物体坐标信息，其中，所述目标物体坐标信息表示目标物体在所述头戴式可视设备的采集坐标系中的二维坐标；
根据所述第一时间点的目标物体坐标信息得到第一夹角；
获取所述头戴式可视设备在所述第一时间点的第一角度信息，根据所述第一角度信息得到第一姿态角。
在一个示例中，如图8所示，T0时刻读取摄像头模块输出的手部位置的二维坐标(X0,Y0)，与摄像头的连接线与XY平面的初始夹角为(θX0,θY0)。同时读取IMU传感器输出的角度信息，转换成头盔的二维初始姿态角(ψX0,ψY0)。
S42：得到第二夹角和第二姿态角；
获取第二时间点的目标物体坐标信息，其中，所述第二时间点在所述第一时间点之后，所述第二时间点与所述第一时间点相差一个采样间隔；
根据所述第二时间点的目标物体坐标信息得到第二夹角；
获取所述头戴式可视设备在所述第二时间点的第二角度信息，根据所述第二角度信息得到第二姿态角。
在一个示例中，如图9所示，T1时刻读取摄像头模块输出的手部位置的二维坐标(X1,Y1)，转换成与摄像头的中轴线的夹角(θX1,θY1)。同时读取IMU传感器输出的角度信息，转换成头盔的二维姿态角(ψX1,ψY1)。
S43：根据所述第一夹角，所述第二夹角，所述第一姿态角和所述第二姿态角得到所述第二时间点的目标物体角度；
在一个示例中，计算T1时刻手部相对摄像头中轴线转动的纠正后角度(ωX1,ωY1)，其中ωX1＝(θX1-θX0)-(ψX1-ψX0)，ωY1＝(θY1-θY0)-(ψY1-ψY0)，并将(ωX1,ωY1)保存至队列。
在本发明的一个实施例中，可以计算多个纠正后角度，例如计算Tn时刻的手部相对摄像头中轴线转动的真实角度(ωXn,ωYn)并保存至队列，直到满足退出条件(如手部静止或者移出视线)。退出条件用于判断是否开始进行手势识别。
在本发明的一个实施例中，如图5所示，上述采集和运算重复进行，直到满足退出条件，从而得到校正后的手势轨迹(如图10所示)。
在本发明的一个实施例中，将队列里的角度数据(ωX1,ωY1)…(ωXn,ωYn)再转换成位置坐标(X1,Y1)…(Xn,Yn)，就是校正后的手势运动轨迹，如图10所示。
S44：根据所述目标物体角度和预设的手势识别算法得到手势信息。
将队列里的角度数据输送给手势识别算法，识别出正确的手势事件。
在本发明的一个实施例中，可以采用隐马尔可夫模型(HMM)等常用手势识别算法。基于HMM的手势识别算法包括几个部分，1是特征的选择与提取，2是HMM的训练，3是HMM的识别。
这里选择的特征就是角度数据。
采集大量的样本，并将所有角度数据输送给HMM进行训练，得到HMM的模型数据库。
之后每次做手势识别的过程中，将采集的角度数据输送给HMM算法，算法将根据角度数据与模型数据库的匹配度进行识别，并输出最佳的识别结果。
如图6所示，本发明的实施例公开一种基于头戴式可视设备的手势识别装置60。
装置60包括：
坐标信息获取模块61，用于获取第一时间点的目标物体坐标信息，其中，所述目标物体坐标信息表示目标物体在所述头戴式可视设备的采集坐标系中的二维坐标；
计算模块62，用于根据所述第一时间点的目标物体坐标信息得到第一夹角；
角度信息获取模块63，用于获取所述头戴式可视设备在所述第一时间点的第一角度信息，根据所述第一角度信息得到第一姿态角；
坐标信息获取模块61还用于获取第二时间点的目标物体坐标信息，其中，所述第二时间点在所述第一时间点之后，所述第二时间点与所述第一时间点相差一个采样间隔；
计算模块62还用于根据所述第二时间点的目标物体坐标信息得到第二夹角；
角度信息获取模块63还用于获取所述头戴式可视设备在所述第二时间点的第二角度信息，根据所述第二角度信息得到第二姿态角；
目标物体角度模块64，用于根据所述第一夹角，所述第二夹角，所述第一姿态角和所述第二姿态角得到所述第二时间点的目标物体角度；
手势识别模块65，用于根据所述目标物体角度和预设的手势识别算法得到手势信息。
如图7所示，本发明的实施例公开一种头戴式可视设备70。头戴式设备包括70：
摄像头71，用于获取第一时间点的目标物体坐标信息，其中，所述目标物体坐标信息表示目标物体在所述头戴式可视设备的采集坐标系中的二维坐标；处理器73，用于根据所述第一时间点的目标物体坐标信息得到第一夹角；惯性测量单元72，用于获取所述头戴式可视设备在所述第一时间点的第一角度信息；处理器73还用于根据所述第一角度信息得到第一姿态角；摄像头71还用于获取第二时间点的目标物体坐标信息，其中，所述第二时间点在所述第一时间点之后，所述第二时间点与所述第一时间点相差一个采样间隔；处理器73还用于根据所述第二时间点的目标物体坐标信息得到第二夹角；惯性测量单元72还用于获取所述头戴式可视设备在所述第二时间点的第二角度信息；处理器73还用于，根据所述第二角度信息得到第二姿态角，根据所述第一夹角，所述第二夹角，所述第一姿态角和所述第二姿态角得到所述第二时间点的目标物体角度，根据所述目标物体角度和预设的手势识别算法得到手势信息。
在本发明的一种实现方式中，处理器73用于：根据所述第一夹角和所述第二夹角得到夹角差；根据所述第一姿态角和所述第二姿态角得到姿态角差；根据所述夹角差和所述姿态角差得到所述第二时间点的目标物体角度。
在本发明的一种实现方式中，所述夹角差等于所述第二夹角减所述第一夹角。
在本发明的一种实现方式中，所述姿态角差等于所述第二姿态角减所述第一姿态角。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
上述装置和设备内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(ROM：Read-Only Memory)或随机存储记忆体(RAM：RandomAccess Memory)等。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种基于头戴式可视设备的手势识别方法，其特征在于，所述方法包括：
获取第一时间点的目标物体坐标信息，其中，所述目标物体坐标信息表示目标物体在所述头戴式可视设备的采集坐标系中的二维坐标；
根据所述第一时间点的目标物体坐标信息得到第一夹角；
获取所述头戴式可视设备在所述第一时间点的第一角度信息，根据所述第一角度信息得到第一姿态角；
获取第二时间点的目标物体坐标信息，其中，所述第二时间点在所述第一时间点之后，所述第二时间点与所述第一时间点相差一个采样间隔；
根据所述第二时间点的目标物体坐标信息得到第二夹角；
获取所述头戴式可视设备在所述第二时间点的第二角度信息，根据所述第二角度信息得到第二姿态角；
根据所述第一夹角，所述第二夹角，所述第一姿态角和所述第二姿态角得到所述第二时间点的目标物体角度；
根据所述目标物体角度和预设的手势识别算法得到手势信息。
2.根据权利要求1所述的手势识别方法，其特征在于，所述根据所述第一夹角，所述第二夹角，所述第一姿态角和所述第二姿态角得到所述第二时间点的目标物体角度，包括：
根据所述第一夹角和所述第二夹角得到夹角差；
根据所述第一姿态角和所述第二姿态角得到姿态角差；
根据所述夹角差和所述姿态角差得到所述第二时间点的目标物体角度。
3.根据权利要求2所述的手势识别方法，其特征在于，所述根据所述第一夹角和所述第二夹角得到夹角差，包括：
所述夹角差等于所述第二夹角减所述第一夹角。
4.根据权利要求2或3所述的手势识别方法，其特征在于，所述根据所述第一姿态角和所述第二姿态角得到姿态角差，包括：
所述姿态角差等于所述第二姿态角减所述第一姿态角。
5.一种基于头戴式可视设备的手势识别装置，其特征在于，所述装置包括：
坐标信息获取模块，用于获取第一时间点的目标物体坐标信息，其中，所述目标物体坐标信息表示目标物体在所述头戴式可视设备的采集坐标系中的二维坐标；
计算模块，用于根据所述第一时间点的目标物体坐标信息得到第一夹角；
角度信息获取模块，用于获取所述头戴式可视设备在所述第一时间点的第一角度信息，根据所述第一角度信息得到第一姿态角；
所述坐标信息获取模块还用于获取第二时间点的目标物体坐标信息，其中，所述第二时间点在所述第一时间点之后，所述第二时间点与所述第一时间点相差一个采样间隔；
所述计算模块还用于根据所述第二时间点的目标物体坐标信息得到第二夹角；
所述角度信息获取模块还用于获取所述头戴式可视设备在所述第二时间点的第二角度信息，根据所述第二角度信息得到第二姿态角；
目标物体角度模块，用于根据所述第一夹角，所述第二夹角，所述第一姿态角和所述第二姿态角得到所述第二时间点的目标物体角度；
手势识别模块，用于根据所述目标物体角度和预设的手势识别算法得到手势信息。
6.根据权利要求5所述的手势识别装置，其特征在于，所述目标物体角度模块用于：
根据所述第一夹角和所述第二夹角得到夹角差；
根据所述第一姿态角和所述第二姿态角得到姿态角差；
根据所述夹角差和所述姿态角差得到所述第二时间点的目标物体角度。
7.根据权利要求6所述的手势识别装置，其特征在于，所述根据所述第一夹角和所述第二夹角得到夹角差，包括：
所述夹角差等于所述第二夹角减所述第一夹角。
8.根据权利要求6或7所述的手势识别装置，其特征在于，所述根据所述第一姿态角和所述第二姿态角得到姿态角差，包括：
所述姿态角差等于所述第二姿态角减所述第一姿态角。
9.一种头戴式可视设备，其特征在于，所述设备包括：
摄像头，用于获取第一时间点的目标物体坐标信息，其中，所述目标物体坐标信息表示目标物体在所述头戴式可视设备的采集坐标系中的二维坐标；
处理器，用于根据所述第一时间点的目标物体坐标信息得到第一夹角；
惯性测量单元，用于获取所述头戴式可视设备在所述第一时间点的第一角度信息；
所述处理器还用于根据所述第一角度信息得到第一姿态角；
所述摄像头还用于获取第二时间点的目标物体坐标信息，其中，所述第二时间点在所述第一时间点之后，所述第二时间点与所述第一时间点相差一个采样间隔；
所述处理器还用于根据所述第二时间点的目标物体坐标信息得到第二夹角；
所述惯性测量单元还用于获取所述头戴式可视设备在所述第二时间点的第二角度信息；
所述处理器还用于，
根据所述第二角度信息得到第二姿态角，
根据所述第一夹角，所述第二夹角，所述第一姿态角和所述第二姿态角得到所述第二时间点的目标物体角度，
根据所述目标物体角度和预设的手势识别算法得到手势信息。
10.根据权利要求9所述的头戴式可视设备，其特征在于，所述处理器用于：
根据所述第一夹角和所述第二夹角得到夹角差；
根据所述第一姿态角和所述第二姿态角得到姿态角差；
根据所述夹角差和所述姿态角差得到所述第二时间点的目标物体角度。
11.根据权利要求10所述的头戴式可视设备，其特征在于，所述根据所述第一夹角和所述第二夹角得到夹角差，包括：
所述夹角差等于所述第二夹角减所述第一夹角。
12.根据权利要求10或11所述的头戴式可视设备，其特征在于，所述根据所述第一姿态角和所述第二姿态角得到姿态角差，包括：
所述姿态角差等于所述第二姿态角减所述第一姿态角。
CN201610266509.XA 2016-04-26 2016-04-26 一种手势识别方法，装置和头戴式可视设备 Active CN105929958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610266509.XA CN105929958B (zh) 2016-04-26 2016-04-26 一种手势识别方法，装置和头戴式可视设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610266509.XA CN105929958B (zh) 2016-04-26 2016-04-26 一种手势识别方法，装置和头戴式可视设备

Publications (2)

Publication Number Publication Date
CN105929958A CN105929958A (zh) 2016-09-07
CN105929958B true CN105929958B (zh) 2019-03-01

Family

ID=56837258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610266509.XA Active CN105929958B (zh) 2016-04-26 2016-04-26 一种手势识别方法，装置和头戴式可视设备

Country Status (1)

Country Link
CN (1) CN105929958B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933349A (zh) * 2017-02-06 2017-07-07 歌尔科技有限公司 用于虚拟现实设备的解锁方法、装置及虚拟现实设备
CN108459782A (zh) * 2017-02-17 2018-08-28 阿里巴巴集团控股有限公司 一种输入方法、装置、设备、系统和计算机存储介质
CN107065195B (zh) * 2017-06-02 2023-05-02 那家全息互动(深圳)有限公司 一种模块化mr设备成像方法
CN107346175B (zh) 2017-06-30 2020-08-25 联想(北京)有限公司 一种手势位置校正方法和增强现实显示设备
CN107463257B (zh) * 2017-08-03 2020-08-21 微景天下（北京）科技有限公司 一种虚拟现实vr系统的人机交互方法及装置
CN111316207A (zh) * 2017-11-23 2020-06-19 深圳市柔宇科技有限公司 头戴式显示设备及其触摸装置的自动校准方法
CN108595005A (zh) * 2018-04-20 2018-09-28 深圳市天轨年华文化科技有限公司 基于增强现实的交互方法、装置及计算机可读存储介质
CN111025636A (zh) * 2019-10-23 2020-04-17 芋头科技（杭州）有限公司 Ar眼镜和ar眼镜套件

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103364950A (zh) * 2012-03-31 2013-10-23 联想(北京)有限公司 显示装置和显示方法
CN104317403A (zh) * 2014-10-27 2015-01-28 黄哲军 一种用于手语识别的可穿戴设备
CN104536579A (zh) * 2015-01-20 2015-04-22 刘宛平 交互式三维实景与数字图像高速融合处理系统及处理方法
CN104750397A (zh) * 2015-04-09 2015-07-01 重庆邮电大学 一种基于体感的虚拟矿井自然交互方法
CN105183166A (zh) * 2015-09-15 2015-12-23 北京国承万通信息科技有限公司 虚拟现实系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014106823A2 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103364950A (zh) * 2012-03-31 2013-10-23 联想(北京)有限公司 显示装置和显示方法
CN104317403A (zh) * 2014-10-27 2015-01-28 黄哲军 一种用于手语识别的可穿戴设备
CN104536579A (zh) * 2015-01-20 2015-04-22 刘宛平 交互式三维实景与数字图像高速融合处理系统及处理方法
CN104750397A (zh) * 2015-04-09 2015-07-01 重庆邮电大学 一种基于体感的虚拟矿井自然交互方法
CN105183166A (zh) * 2015-09-15 2015-12-23 北京国承万通信息科技有限公司 虚拟现实系统

Also Published As

Publication number Publication date
CN105929958A (zh) 2016-09-07

Similar Documents

Publication Publication Date Title
CN105929958B (zh) 一种手势识别方法，装置和头戴式可视设备
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
CN108139815B (zh) 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
CN113238650B (zh) 手势识别和控制的方法、装置及虚拟现实设备
TW202119199A (zh) 虛擬鍵盤
WO2017134886A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US20170200313A1 (en) Apparatus and method for providing projection mapping-based augmented reality
US11562598B2 (en) Spatially consistent representation of hand motion
US20200311396A1 (en) Spatially consistent representation of hand motion
JP2018532199A (ja) 眼の特徴を用いる眼ポーズ識別
WO2021242451A1 (en) Hand gesture-based emojis
EP3942529A1 (en) Predicting three-dimensional articulated and target object pose
US10884487B2 (en) Position based energy minimizing function
CN109445598B (zh) 一种基于视觉的增强现实系统装置
Rocca et al. Head pose estimation by perspective-n-point solution based on 2d markerless face tracking
Manitsaris et al. Capture, modeling, and recognition of expert technical gestures in wheel-throwing art of pottery
Tao et al. Manufacturing assembly simulations in virtual and augmented reality
CN110211222A (zh) 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备
JP2009258884A (ja) ユーザインタフェイス
US11009963B2 (en) Sign language inputs to a vehicle user interface
CN110841266A (zh) 一种辅助训练系统及方法
US11676357B2 (en) Modification of projected structured light based on identified points within captured image
EP4394706A1 (en) Spatial positioning method and apparatus
CN115223240A (zh) 基于动态时间规整算法的运动实时计数方法和系统
WO2018170678A1 (zh) 一种头戴式显示装置及其手势动作识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant