CN106249882B - 一种应用于vr设备的手势操控方法与装置 - Google Patents

一种应用于vr设备的手势操控方法与装置 Download PDF

Info

Publication number
CN106249882B
CN106249882B CN201610595123.3A CN201610595123A CN106249882B CN 106249882 B CN106249882 B CN 106249882B CN 201610595123 A CN201610595123 A CN 201610595123A CN 106249882 B CN106249882 B CN 106249882B
Authority
CN
China
Prior art keywords
depth
preset
user
distance
operated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610595123.3A
Other languages
English (en)
Other versions
CN106249882A (zh
Inventor
刘思维
常文亮
罗洪鹍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610595123.3A priority Critical patent/CN106249882B/zh
Publication of CN106249882A publication Critical patent/CN106249882A/zh
Priority to PCT/CN2017/071387 priority patent/WO2018018857A1/zh
Priority to US16/259,240 priority patent/US11507190B2/en
Application granted granted Critical
Publication of CN106249882B publication Critical patent/CN106249882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种应用于VR设备的手势操控方法，获取VR设备用户的手势位置信息，并用深度传感器检测该深度传感器到用户手部的深度距离，并根据深度距离与预设深度阈值的比较结果将用户的手部移动区域划分为选择区域和命令区域；当检测到的深度距离不大于预设深度阈值时，用户可以在当前显示页面中选择待操作对象；之后，当检测到的深度距离大于预设深度阈值时，用户可以对该待操作对象执行命令操作。通过该方法，使得用户无需通过外部硬件输入即可实现对VR设备的操控，尤其是显示页面中呈现的对象和页面本身；简化了用户的操作方式，并且给用户带来了良好的操作体验。

Description

一种应用于VR设备的手势操控方法与装置
技术领域
本发明涉及通信技术领域，尤其涉及一种应用于VR设备的手势操控方法与装置。
背景技术
虚拟现实VR((Virtual Reality)和增强现实AR(Augmented Reality)技术是近年来新兴的多媒体技术。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，增强现实技术是一种可以将虚拟现实和真实世界叠加并进行互动的技术。
在VR或AR场景中，使用者通过集成的图形系统、光学系统、姿态追踪系统和控制系统等获得一种可交互的沉浸式体验。通常虚拟现实场景通过一个头戴显示设备(HeadMounted Display)实现；如图1所示，一个HMD包含处理器(由CPU、GPU、缓存、寄存器等组成)、显示元件、声学元件、存储器、物理硬件等。
现有HMD产品大多采用手柄、触控板等物理硬件或通过头瞄系统进行界面的控制操作，作为整个HMD设备的用户输入。
手柄通常包括上、下、左、右、点击、退出几个按键，部分手柄包括位置追踪功能，可以检测到手柄的旋转、位移；触控板通常支持上、下、左、右、点击，退出指令需另外设置一个按键实现；头部瞄准系统通过IMU传感器追踪头部姿态，以两眼正中的视点位置作为瞄准点，通过悬停在图标上一段时间实现点击命令，所有操作指令需要依靠软件设置按键实现。
现有技术的主要缺点有三方面：
1)操控功能有限、指令效率低：只有上、下、左、右、点击等指令，难以支持复杂操作，常需要多次操作实现某一内容的定位、选择；
2)操控不自然、易疲劳：通过触控板方式操控需要长时间将手举起放在触控板位置，头瞄方式需要不断转头进行操作；
3)佩戴HMD设备后，用户无法看到外界环境，因此难以寻找手柄、触控板，误触时常发生。
发明内容
有鉴于此，本发明实施例提供了一种应用于VR设备的手势操控方法与装置。利用手势操作，实现HMD设备自然的交互方式。
本申请文件中的“手势”，并非强调手掌的形状，而更强调手部本身；在描述手的位置时，手可以理解为一个质点。
第一方面，本发明实施例提供了一种应用于VR设备的手势操控方法，该方法包括：
获取VR设备用户的手势位置信息，并在VR设备的显示界面中呈现手势位置信息对应的操作图标；
检测用户的手部相对于深度传感器的深度距离；其中，该深度距离为该深度传感器到手部质心所在主平面的距离或者该深度传感器到手部质心的距离；该主平面与该显示界面平行；深度距离是实时可变的；
判断当前深度距离与预设深度阈值的大小关系；
若当前该深度距离不大于该预设深度阈值，则将该操作图标当前在显示界面中对应的对象确定为待操作对象；
在确定待操作对象后，判断新的当前深度距离与预设深度阈值的大小关系；
若新的当前深度距离大于预设深度阈值，则对当前已确定待操作对象执行预设命令操作。
通过该方法，使得用户无需通过外部硬件输入即可实现对VR设备的操控，尤其是显示页面中的应用和页面；简化了用户的操作方式，并且给用户带来了良好的操作体验。
第二方面，本发明实施例提供了一种具备手势操控功能的装置，该装置应用于含有深度传感器的虚拟现实VR设备。该装置包括：
获取模块，用于获取VR设备用户的手势位置信息，并在VR设备的显示界面中呈现该手势位置信息对应的操作图标；
检测模块，用于检测用户的手部相对于深度传感器的深度距离；其中，该深度距离为该深度传感器到手部质心所在主平面的距离或者该深度传感器到手部质心的距离；该主平面平行于该显示界面；该深度距离是实时可变的；
判断模块，用于判断检测模块检测到的深度距离与预设深度阈值的大小关系；
执行模块，用于，若该判断模块判断当前深度距离不大于该预设深度阈值时，则将该操作图标当前在显示界面中对应的对象确定为待操作对象；
在确定该待操作对象后，若该判断模块判断新的深度距离大于该预设深度阈值时，则对该待操作对象执行预设命令操作。
该装置可以使得用户无需通过外部硬件输入即可实现对VR设备的操控，尤其是显示页面中的应用和页面；简化了用户的操作方式，并且给用户带来了良好的操作体验。
根据第一方面或第二方面，在一个可能的设计中，当操作图标当前在显示界面中对应的对象为第一对象时，第一对象可以为应用(图标)、各类文件(图标)、以及各式各样的操作界面中的功能键等；如微信应用的图标、影音文件图标、或者播放界面中的进度条定位标识，将第一对象确定为当前待操作对象。在确定出待操作对象之后，检测到用户手部向前推动且手部深度距离大于预设深度阈值时，可以对第一对象触发打开、删除、拖动、激活或者弹出某一个预设的命令操作框等，这些功能可以由用户预先定义，原理类似于设置快捷键；当然，上述命令操作的整个过程中手部的深度距离都应大于预设深度阈值。
通过上述技术方案，用户通过向前推动手部超过预设深度阈值，就能对当前待操作对象执行预设操作命令，带来操作额便捷性和良好的操作体验。
根据第一方面或第二方面，在一个可能的设计中，当手势对应显示界面中的空白处时，即该操作图标当前在显示界面中对应的对象为当前页面时，则将当前页面确定为待操作对象；之后，若检测到该用户手部向前推动且手部深度距离大于预设深度阈值，就可以对当前页面激活翻页命令，如果用户继续向左侧滑动，则可以实现向左翻页；同理，如果用户继续向右滑动，则可以实现向右翻页；以此类推，还可以进行向上翻页和向下翻页；当然，翻页的整个过程中手部的深度距离都应大于预设深度阈值。
通过上述技术方案，用户通过向前推动手部超过预设深度阈值，就能对当前待操作页面执行预设操作命令，带来操作额便捷性和良好的操作体验。
根据第一方面或第二方面，在一个可能的设计中所述VR设备含一种工作状态，在所述对当前已确定待操作对象执行预设命令操作时，所述工作状态为执行预设命令操作状态。用户想退出当前的执行预设命令操作状态，可以做出预设退出动作，当传感器系统检测到预设退出动作后，便退出对该待操作对象执行预设命令操作的工作状态。常见的预设退出动作包括特定的摆手动作、退回到选择区域、握拳、特定手型或特定手指轨迹等等。此外，在本设计中，具备手势操控功能的装置中对应的功能模块为返回模块；对应的硬件可以为传感器系统与处理器。
通过上述技术方案，用户通过预设的退出动作，随时退出当前的命令操作状态，使的用户的操作灵活自如，也避免了用户手部始终停留在命令区域可能引起的误操作。
根据第一方面或第二方面，在一个可能的设计中，当在深度操作区域内检测到用户的手部的深度距离时，会在显示界面中提示用户的手部的深度距离；提示的方式可以包括但不限于：手部深度进度条、用户的实时手部操作侧视图、手部深度对应的颜色变化提示、或者手部深度对应的声音变化提示等等。深度操作区域为第一平面和该第二平面所形成的区域；第一平面和第二平面均平行于该显示界面；深度传感器到第一平面的距离大于预设深度阈值，并且深度传感器到第二平面的距离小于预设深度阈值。此外，在本设计中，具备手势操控功能的装置中对应的功能模块为提示模块；对应的硬件可以为处理器。
通过上述技术方案，用户通过界面中的深度位置提示，更加清楚当前外界环境中自身手部对应的深度位置以及操作区域，使用户清晰地感知和控制自己将要做出的手部动作，以免造成误操作。
第三方面，本发明实施例提供了一种具备手势操控功能的虚拟现实VR设备，设备至少包括：处理器、存储器、传感器系统、和总线；其中，该处理器和该存储器、该传感器系统通过该总线连接通信；
该传感器系统用于获取VR设备用户的手势位置信息，还用于检测用户的手部相对于该深度传感器的深度距离；其中，该深度距离为该深度传感器到手部质心所在主平面的距离或者该深度传感器到手部质心的距离；该主平面与该显示界面平行；该深度距离是实时可变的；
该存储器中存储有程序和指令，还存储有预设深度阈值；
该处理器调用该存储器中的程序和指令，用于在VR设备的显示界面中呈现该手势位置信息对应的操作图标；还用于判断当前深度距离与该预设深度阈值的大小关系；若该当前深度距离不大于该预设深度阈值，则将该操作图标当前在显示界面中对应的对象确定为待操作对象；在确定该待操作对象后，判断新的当前深度距离与该预设深度阈值的大小关系；若该新的当前深度距离大于该预设深度阈值，则对该待操作对象执行预设命令操作。
第四方面，本发明实施例提供了一种VR设备，该VR设备具有实现上述方法中对应的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第五方面，本发明实施例提供了一种计算机存储介质，用于储存为上述VR设备操作中所用的计算机软件指令，其包含用于执行上述方面所设计的程序。
对于上述任何一种可能的设计中的技术方案，在不违背自然规律的前提下，可以进行方案之间的组合。
通过本发明实施例提供的手势操控方法、装置与设备，用户无需通过外部硬件即可实现对VR设备的操控，尤其是显示页面中的操作对象，如应用、文件、功能键、页面等；简化了VR设备用户的操作方式，并且给用户带来了良好的操作体验。
附图说明
图1为现有技术中一种常见的HMD设备示意图；
图2为本发明实施例中一种的HMD设备示意图；
图3为本发明实施例中一种VR设备的手势操控方法流程图；
图4为本发明实施例中一种确定待操作对象的示意图；
图5为本发明实施例中一种深度距离提示的示意图；
图6为本发明实施例中一种具备手势操控功能的装置示意图。
具体实施方式
本发明实施例提供了一种应用于VR设备的手势操控方法与装置。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分优选实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应理解，申请文件中所出现的诸如“第一”、“第二”、“预设”“目标”“主”之类的限定词汇，仅仅是为描述方便而进行的区分，并非限定次序，也并非是专有词汇。
本发明所基于的一种HMD设备如图2所示，该HMD设备包括：
处理器11，用于产生相应的操作控制信号，发给设备中相应的部件，读取以及处理软件中的数据，尤其是读取和处理存储器中的数据和程序，以使设备中的各个功能模块执行相应的功能，从而控制相应的部件按指令的要求进行动作。如用于各类媒体处理算法，包括人机交互、运动跟踪/预测、渲染显示、音频处理等。
传感器系统12：用于采集、获取或发送信息，包括图像信息和距离信息，如本发明中的手部信息。本发明的传感器系统中可以包括3轴或6轴传感器，用于获取HMD设备的运动信息，如角速度，线加速度；同时对手部运动进行定位、追踪和识别，并将识别到的手部运动呈现在VR设备的显示屏中；传感器系统还获取手的静态及动态特征。静态特征信息，如指尖定点、手掌质心、手部关节等。此类特征一般采用单帧数据获取。动态特征信息，如位移向量、运动速度等。此类特征信息通常通过多针数据获取。由于是成熟的现有技术，因此本申请文件中不做详细论述。与现有技术相比，本发明的传感器系统中含有深度传感器；含有深度传感器可以有两种方式，一种是包含有专门的检测深度的传感器硬件，另一种是传感器系统中包含有检测深度的功能软件模块，以获取手的深度信息，并融合到用户和界面的交互中。作为传感器系统，其中也可以存储一些特定的程序指令。存储器13，用于存储程序和各种数据，主要存储操作系统、应用和功能指令等软件单元、或者他们的子集、或者他们的扩展集。还可以包括非易失性随机存取存储器，向处理器11提供包括管理计算处理设备中的硬件、软件及数据资源，支持控制软件和应用。还用于多媒体文件的储存，以及运行程序、应用的存储。
显示元件14：通常包括显示屏以及配套的光学器件，用于内容显示；通常显示界面呈现在显示屏中，以进行人机交互以及文件浏览。
声学元件15：如麦克风、扬声器、耳机等，用于输出声音。
物理硬件16：如开关键、音量键、机械调控键等实体功能键。
设备还可以包括一些除上述11-16之外的其他部件17，用于使设备的功能和外观更加丰富和优美。
以上硬件11-16以及部分硬件17可以通过总线10电气连接实现耦合通信。
请参阅图3，本发明一种VR设备的手势操控方法流程如下，其中该设备含有深度传感器：
步骤101：获取VR设备用户的手势位置信息，并在VR设备的显示界面中呈现手势位置信息的对应的图标。
在具体实现过程中，通过传感器系统中的双目摄像头获取用户的手部(即手部质心)信息。且通常来说用户的手部位置状态是实时可变的；将传感器系统获取的手部信息在VR设备观看视场进行映射，将手的运动轨迹映射为操作图标(如手型、箭头等光标，本申请中操作图标也可以称为光标)实时地显示到VR设备的显示界面中，使得用户清楚地感知到自己对显示界面中的操作对象的实时操作情况，其中显示界面中的二维映射主要依赖于横向信息x和纵向信息y，这里的横向纵向是相对于传感器系统而言的，对于坐标向量的正方向可以由用户预先设置；通常此步骤中还涉及图像的预处理，如降噪，轮廓增强等。
手部位置和显示界面的映射可以由处理器调用存储器中的程序指令完成。
本步骤中涉及到的现有技术包括：通过手轮廓、形状的提取和手势动作的跟踪进行手部定位。手轮廓的提取通常采用分割算法进行获取，如基于颜色信息的算法，基于深度信息的算法，基于梯度信息的算法等；相应的手部质心可以通过获取手部的轮廓形状，对轮廓形状的几何图形运用数学方法求得。手势的跟踪通过运动跟踪算法实现，如均值漂移Mean Shift、连续自适应均值漂移CAMShift、光流法等。这些现有技术的算法都可以通过处理器调用存储器中的程序指令完成。
步骤102：检测用户的手相对于深度传感器的深度距离。
具体操作过程中，用户佩戴着VR设备，因此传感器系统的位置是相对不动的，而用户的手部是在实时移动的，因此用户的手部相对于传感器单元的三维信息也是实时变化的，因此深度距离d0是实时可变的，即一个变量。传感器系统中的深度传感器能够获取用户手部三维信息中的深度信息z，也可叫做深度距离，深度距离即深度传感器到手掌质心所在主平面的距离；这个主平面与VR设备的显示界面平行，或可以理解为与VR设备中的显示屏平行，且这种平行关系允许存在一定的微小误差。
另外，如果在允许的误差范围内，深度距离也可以预先设定为深度传感器到手部质心的距离，这些预先设置的程序指令可以由预先配置在存储器中或传感器系统中。
该步骤中的检测深度距离可以由传感器系统进行距离检测完成，并由处理器进行后续的处理和运算。深度传感器一旦开启工作状态，就会在传感器的检测范围内检测手部的运动，并且检测的动作伴随用户使用VR设备的整个人机交互的过程，检测的动作或图3所示流程步骤可以由VR设备或终端的内部时钟触发，如每隔一段时间间隔做一次检测或执行所示流程步骤。该时间间隔可能是一预设值(如0.1ms),也可以随机改变(如根据测得的手部运动速度快慢而更动)。
步骤103：判断当前深度距离与预设深度阈值的大小关系。
本发明的发明点在于提出一种基于深度距离来划分不同操作功能区域的手势操控方式。本发明的理念是根据手部距离深度传感器单元的深度距离，将用户的手部操作区域划分为选择区域和命令区域。
本发明可以通过根据设定参数(如预设深度阈值或随机设定的指数等)和检测到的深度距离之间的关系，鉴定相关预设条件是否成立。此预设条件可以是基于深度距离和预设深度阈值比较的大小关系；也可以是基于深度距离和多项预设深度阈值之间的比较或运算(数学方程)关系；或其他可设定的规则。判断当前深度距离与预设深度阈值的大小关系仅仅是鉴定相关预设条件是否成立的一个例子。
一个具体设计理念可基于设定一个“虚拟屏”(即一个虚拟的平面，深度传感器到该虚拟屏的距离为预设深度阈值d，在具体实现过程中，虚拟屏的设定位置允许存在一定的误差范围，如深度传感器到该虚拟屏的距离可以为[d*(1-(1-a％)，d*(1+a％)]范围中的任意取值，其中，a通常不大于3)，在靠近用户身体一侧的选择区域中手势可以控制光标滑动并进行待操作对象的选择，在远离用户身体的命令区域中手势可以对选择好的待操作对象实现命令操作。由于手势位置信息是实时可变的，因此判断深度距离与预设深度阈值也是实时进行的。
因此，为了区分操作的功能需要判断深度距离与预设深度阈值的大小关系；若判断结果为深度距离不大于所述预设深度阈值的条件，如深度距离d0为0.5d、0.9d、或0.95d等(若考虑到上述虚拟屏的设置误差，深度距离d0应小于d*(1-a％))；则执行步骤104。d,a等皆可为设定参数的例子。
如果首次操作时判断结果满足大于预设深度阈值或其他参数这样的条件，那么这时手势可以不产生任何功能响应。
该步骤中的判断过程可以由处理器调用存储器中的程序指令完成。判断的动作可以伴随用户使用VR设备的整个人机交互的过程，只要传感器系统开始工作，且深度传感器获得到了深度距离d0，处理器就会对该距离进行后续的判断处理运算。
步骤104：若当前深度距离不大于预设深度阈值，则执行一项或多项预设的人机界面动作。如可根据手势在显示界面中的位置确定待操作对象。
选择区域中，手部的移动对应的是光标在VR设备的显示界面中移动，在手移动的过程中操作图标会在当前界面中的操作对象上移动，操作图标实时停留在的操作对象即实时的待操作对象。实时待操作对象可以是应用、也可以是具体的多媒体文件、或者应用网页中的内容、或者应用操作界面中的功能键、也或者是次级操作命令对话框、还可以是当前页面等等。用户可以通过移动手部将对应的操作图标移动到自己期待的操作对象上，且当前光标所对应的对象便是当前待操作对象。可参见图4，当前待操作对象可以比其他未被选择对象的颜色更醒目。本发明中，由于用户的手势位置实时可变，因此选择的待操作对象也实时可变的，因此本步骤中所提到的待操作对象都是针对当前手势对应的对象而言的，因此待操作对象是实时可以更新的。
该步骤中确定待操作对象的过程可以由处理器调用存储器中的程序指令完成。
步骤105：在确定完该待操作对象后，判断新的当前深度距离与预设深度阈值的大小关系。
如果新的当前深度距离依旧不大于预设深度阈值，则依旧处于确定待操作对象的状态。如果新的当前深度距离依旧大于预设深度阈值，如深度距离d0为1.05d、1.1d、或1.3d等(若考虑到上述虚拟屏的设置误差，深度距离d0应大于d*(1+a％))；则执行步骤106。d,a等皆可为设定参数的例子。
步骤106：若新的当前深度距离大于预设深度阈值，执行满足此条件下的预设人机界面动作，如对该待操作对象执行预设命令操作。
当用户选择好待操作对象时，下一步就需要对该待操作对象进行操作，用户接下来只需要将手向前方移动进入命令区域；与此同时，VR设备检测到用户手部的深度距离d0的值也在逐渐变大，当新的当前深度距离d0一旦大于预设深度阈值时，就可以对该待操作对象触发预设命令操作。
该步骤中对该待操作对象执行命令操作的过程可以由处理器调用存储器中的程序指令完成。
在一种具体实现过程中，操作图标可以对应显示界面中的应用(如微信、乐视视频、爱奇艺、新浪、facebook、淘宝等应用的图标)，如果在确定微信为当前已经选择出的待操作对象后，检测到用户手部向前移动，判断出手部的深度距离大于预设深度阈值时，可以对微信触发打开、删除、或者弹出微信的某一个预设的命令操作框等。
在一种具体实现过程中，操作图标可以对应显示界面中的功能键(如播放器中进度条上的定位标识、控制版面的功能键等)，如果在确定播放进度条定位标识为待操作对象后，检测到用户手部向前移动，判断出手部深度距离大于预设深度阈值时，可以对该定位标识激活，以便可以执行后续的拖动等操作来调整播放进度。
在一种具体实现过程中，操作图标可以对应显示界面中的文件，如果在确定影片《功夫熊猫》为待操作对象后，检测到用户手部向前移动，判断出手部深度距离大于预设深度阈值时，可以对该影片触发播放、删除、或者弹出该影片的一个命令操作框等。
在一种具体实现过程中，操作图标可以对应显示界面中的空白处，如果在确定显示界面中的当前页面为待操作对象，检测到用户手部向前移动，判断出手部深度距离大于预设深度阈值时，可以对当前页面激活翻页命令，如果用户在命令区域内继续向左侧滑动，则可以实现向左翻页；同理，如果用户在命令区域内继续向右滑动，则可以实现向右翻页；以此类推，还可以进行向上翻页和向下翻页。这种后续的拓展动作进行的过程中，手部深度距离可以大于预设深度阈值，或者也并非一定要受到深度距离的大小约束，这些由用户提前进行设置。
应理解在上述实例中，命令区域的动作指令设置类似于快捷键的设置，因此预设命令操作可由用户自由定义，由于可以定义的命令操作过于众多，故本申请文件中不予以一一列举。
此外，VR设备含一种工作状态，在所述对当前已确定待操作对象执行预设命令操作时，所述工作状态为执行预设命令操作状态。然而用户不可能无限制地在命令区域中一直执行预设命令操作，当用户对当前待操作对象在命令区域内执行完预设的操作命令之后，更多的需求是继续寻找新的待操作对象或是浏览文件内容，因此用户有必要灵活地退出对上述待操作对象进行预设命令操作的状态，此时用户可以做出预设退出动作，当传感器单元检测到预设退出动作后，便退出对上述待操作对象执行预设命令操作的工作状态。常见的预设退出动作包括但不限于：摆手动作、退回到选择区域、握拳、特定手型等。对用户实时动作的检测可以由传感器系统实现获取，预设动作对应的程序数据可以存储在存储器中。
处理器可以通过调用存储器中的程序指令，决定后续是否执行退出操作。
另外，为了在上述操作的过程中能够更好地给用户一个明确的深度感知，本发明实施例还提供了一种手部的深度距离提示方法。一种具体实现形式，如图5所示，这是一种操作的左侧视图，概念性的虚拟屏所在的平面如图中黑色长实线所示，深度传感器到虚拟屏的距离等于预设深度阈值，在虚拟屏前后可以进行有效深度操作的整个空间区域称为深度操作区域。深度操作区域为第一平面和第二平面所形成的区域；第一平面和第二平面均位于用户的前方(通常第一平面和第二平面平行于所述显示界面；在一定的误差允许范围内，允许有一定角度的倾斜)，深度传感器到第一平面的距离大于预设深度阈值，并且深度传感器到第二平面的距离小于预设深度阈值；不难理解，第一平面和虚拟屏之间形成的区域为命令操作区域，第二平面和虚拟屏之间形成的区域为选择操作区域。当在深度操作区域内检测到用户手部的深度距离时，会在显示界面中提示用户手部的实时深度位置；提示的方式可以包括但不限于：表示深度距离大小程度对应的深度进度条(如图5所示)、用户的实时操作侧视图、表示深度距离大小程度对应的颜色提示、表示深度距离大小程度对应的声音提示等等。深度操作区域的设定也是由用户根据自己的操作习惯灵活定义的位置区间。操作VR设备时，用户由于佩戴HMD通常无法看见外界发生的状况，因此无法确定自己的手部运动的深度程度；有了深度距离的提示，用户不通过外界便可以知道自己手部动作的深度状况，并根据提示信息确认当前自己的手部是在执行选择操作还是命令操作，避免误操作。例如用户在进行选择操作时，如果快误入命令区域时，显示界面中会提示用户即将进入命令区域，用户可以根据提示，回调手部的深度距离；如果用户准备执行命令操作时，需要确认自己的手部深度距离要大于预设深度阈值，此时只有当用户的手部深度距离已经超过预设深度阈值，就会得到特定的确认提示信息，进而用户才可以确认自己此时是在执行命令操作。
作为可选的，用户在选择区域和在命令区域时，对应在显示界面中的操作图标可以有颜色或者图形的差别：例如当用户的手部在选择区域运动时，显示界面中对应的操作图标可以是绿色的，当用户的手部在命令区域运动时，显示界面中对应的操作图标可以是红色的；可选的，用户手部在选择区域逐渐接近到“虚拟屏”的位置的过程中，操作图标的颜色还可以进行色调的渐变。再例如当用户的手部在选择区域运动时，显示界面中对应的操作图标可以是箭头图形，当用户的手部在命令区域运动时，显示界面中对应的操作图标可以是手掌图形。再例如，上述实施例中所描述的虚拟屏可以设定的灵活位置，[d*(1-a％)，d*(1+a％)]，为了防止误操作，可以为用户提供这样一个动作的过渡区，该过渡区即深度传感器距离虚拟屏的距离范围为[d*1-a％)，d*(1+a％)]的区域，用户的操作可以预设为暂不响应；因此需要在显示界面中能够给出过渡区的位置提示，如可以通过区别颜色、或区别图标来实现。应理解，颜色或图形的设置以及中间过程的渐变效果可以由用户预先设置。
上述提示方法中，对手部实时深度距离的检测可以由传感器系统实现获取，预设深度阈值以及其它一些预置信息对应的程序数据可以存储在传感器系统中或者存储器中；处理器可以通过调用上述程序数据比对实时深度距离和预设深度阈值，并将实时的比对结果以实时的提示状态呈现在显示界面中。
本发明实施例提供了一种应用于VR设备的手势操控方法，获取VR设备用户的手势位置信息，并用深度传感器检测用户手部与该深度传感器之间的距离，判断当前深度距离与预设深度阈值的大小关系；若当前深度距离不大于预设深度阈值，则将当前操作图标在显示界面中对应的对象确定为待操作对象；在确定所述待操作对象后，判断新的当前深度距离与预设深度阈值的大小关系；若新的当前深度距离大于预设深度阈值，则对待操作对象执行预设命令操作。这样可以将用户的手部操作区域划分为选择区域和命令区域，分别对应执行选择功能的动作指令和命令功能的动作指令。通过该方法，使得用户无需通过外部机械输入硬件即可实现对VR设备进行操控，尤其是对显示界面中的各种对象；简化了用户的操作方式，并且给用户带来了良好的操作体验。
请参阅图6，图6为本发明实施例中一种具备手势操控功能的装置，该装置应用于含有深度传感器的虚拟现实VR设备。该装置600包括：
获取模块601，用于获取VR设备用户的手势位置信息，并且可以在VR设备的显示界面中呈现所述手势位置信息对应的操作图标。该获取模块可以由传感器系统和处理器共同来实现，例如传感器系统中的双目摄像头、专用图像传感器获取的手势位置信息可以经由处理器处理对应呈现在显示界面中，成为输入信号。
检测模块602，用于检测用户的手相对于深度传感器的深度距离；其中，深度距离为深度传感器到手部质心所在主平面的距离或者深度传感器到手部质心的距离；主平面与显示界面平行；深度距离是实时可变的。该检测模块602可以通过传感器系统中特定的传感器来实现，如深度传感器或专用距离传感器实现；对于传感器的预设参数设置，可以由预先配置在存储器中或传感器系统中。
判断模块603，用于判断检测模块检测到的深度距离与预设深度阈值的大小关系。该判断模块可由处理器中实现。
执行模块604，用于，若判断模块603判断当前深度距离不大于预设深度阈值时，则将操作图标当前在显示界面中对应的对象确定为待操作对象；在确定所述待操作对象后，若判断模块603判断新的深度距离大于所述预设深度阈值时，则对待操作对象执行预设命令操作。该执行模块可以由处理器来实现。
在具体实现过程中，获取模块601具体用于执行上述步骤101中所提到的方法以及可以等同替换的方法；检测模块602具体用于执行上述步骤102中所提到的方法以及可以等同替换的方法；判断模块603具体用于执行上述步骤103、以及步骤105中所提到的方法以及可以等同替换的方法；判断模块603可根据设定预设参数和检测到的深度距离之间的关系，鉴定哪些预设条件可以成立。执行模块604则根据经鉴定成立的条件，决定或选择执行对应的人机界面功能(或动作)。如执行模块604可具体用于执行上述步骤104、以及步骤106中所提到的方法以及可以等同替换的方法。
VR设备含一种工作状态，在所述执行模块执行所述预设命令操作时，所述执行模块处于执行预设命令操作状态。在具体实例中，装置600可在确定待操作对象时或依其他指令动作，进入执行预设命令操作状态。在具体实现过程中，装置600还可以包含返回模块605，返回模块用于在执行模块604对该待操作对象执行预设命令操作之后，检测到用户做出预设退出动作时，则控制所述执行模块604退出执行预设命令操作状态。其具体实现过程和实例如同上述方法实施例中所述，此处不予以赘述。对于返回模块605，可以由传感器系统和处理器共同实现。其中，对用户实时动作的检测可以由传感器系统实现获取，预设动作对应的程序数据可以存储在存储器中；处理器可以通过调用存储器中的程序指令比对实时动作和预设动作，决定后续是否执行退出操作。
在具体实现过程中，装置600还可以包含提示模块606，提示模块用于当检测模块602在深度操作区域内检测到用户的手部的深度距离时，在显示界面中提示用户的手部的深度距离；其中，深度操作区域为第一平面和第二平面所形成的区域，第一平面和第二平面均平行于所述显示界面，深度传感器到第一平面的距离大于预设深度阈值，并且深度传感器到第二平面的距离小于预设深度阈值。其具体实现过程和实例如同上述方法实施例中所述，此处不予以赘述。对于提示模块，可以由处理器来实现。其中，对手部实时深度距离的检测是由传感器系统实现获取，预设深度阈值对应的程序数据可以存储在存储器中；处理器可以通过调用存储器中的程序指令比对实时深度距离和预设深度阈值，并将实时的比对结果以实时的提示状态呈现在显示界面中。
应理解，上述方法实施例中的方法追加、扩展表述、补充说明、举例说明等也适用于该装置中的方法执行。
本发明技术方案提供了一种具备手势操控功能的装置，该装置包括上述模块601-604；共同完成步骤101-106的实现方式以及可等同替换的实现方式；使得用户无需通过外部硬件即可实现对VR设备的操控，尤其是显示页面中的对象和页面；简化了用户的操作方式，并且给用户带来了良好的操作体验。
本领域普通技术人员可知，结合本发明公开内容所描述的方法或者算法的步骤可以用硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于用户设备中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (13)

1.一种手势操控方法，其特征在于，所述方法应用于含有深度传感器的虚拟现实VR设备，所述方法包括：
获取VR设备用户的手势位置信息，并在VR设备的显示界面中呈现所述手势位置信息对应的操作图标；
检测用户的手部相对于所述深度传感器的深度距离；其中，所述深度距离为所述深度传感器到手部质心所在主平面的距离或者所述深度传感器到手部质心的距离，所述主平面与所述显示界面平行，所述深度距离是实时可变的；
若所述深度距离不大于预设深度阈值，则将所述操作图标当前在显示界面中对应的对象确定为待操作对象；
若所述深度距离大于所述预设深度阈值，则对当前已确定待操作对象执行预设命令操作；
检测到用户手部的深度距离时，在所述显示界面中提示用户所述手部的深度距离。
2.如权利要求1所述方法，其特征在于，当所述当前已确定待操作对象为第一应用时，所述对当前已确定待操作对象执行预设命令操作包括：
打开所述第一应用、删除所述第一应用、或弹出所述第一应用的命令操作框。
3.如权利要求1所述方法，其特征在于，当所述当前已确定待操作对象为当前页面时，所述对当前已确定待操作对象执行预设命令操作包括：
对所述当前页面激活翻页命令。
4.如权利要求1所述方法，其特征在于，当所述当前已确定待操作对象为第一媒体文件时，所述对当前已确定待操作对象执行预设命令操作包括：
打开所述第一媒体文件、删除所述第一媒体文件、或弹出所述第一媒体文件的命令操作框。
5.如权利要求1所述方法，其特征在于，所述当前已确定待操作对象为第一功能键时，所述对当前已确定待操作对象执行预设命令操作包括：
激活所述第一功能键的功能。
6.如权利要求1所述方法，其特征在于，所述VR设备含一种工作状态，在所述对当前已确定待操作对象执行预设命令操作时，所述工作状态为执行预设命令操作状态，在所述对当前已确定待操作对象执行预设命令操作之后，所述方法还包括：
检测到预设退出动作；
并根据所述预设退出动作，退出所述执行预设命令操作状态。
7.一种具备手势操控功能的装置，其特征在于，所述装置应用于含有深度传感器的虚拟现实VR设备，所述装置包括：
获取模块，用于获取VR设备用户的手势位置信息，并在VR设备的显示界面中呈现所述手势位置信息对应的操作图标；
检测模块，用于检测用户的手部相对于所述深度传感器的深度距离；其中，所述深度距离为所述深度传感器到手部质心所在主平面的距离或者所述深度传感器到手部质心的距离，所述主平面与所述显示界面平行，所述深度距离是实时可变的；
执行模块，用于，若所述深度距离不大于预设深度阈值，则将所述操作图标当前在显示界面中对应的对象确定为待操作对象；
若所述深度距离大于所述预设深度阈值，则对当前已确定待操作对象执行预设命令操作；
所述装置还包括提示模块，所述提示模块用于当所述检测模块检测到用户手部的深度距离时，在所述显示界面中提示用户所述手部的深度距离。
8.如权利要求7所述装置，其特征在于，若所述深度距离大于所述预设深度阈值，且所述当前已确定待操作对象为第一应用时，所述执行模块具体用于，
打开所述第一应用、删除所述第一应用、或弹出所述第一应用的命令操作框。
9.如权利要求7所述装置，其特征在于，若所述深度距离大于所述预设深度阈值，且所述当前已确定待操作对象为当前页面时，所述执行模块具体用于，对所述当前页面激活翻页命令。
10.如权利要求7所述装置，其特征在于，若所述深度距离大于所述预设深度阈值，且所述当前已确定待操作对象为第一媒体文件时，所述执行模块具体用于，
打开所述第一媒体文件、删除所述第一媒体文件、或弹出所述第一媒体文件的命令操作框。
11.如权利要求7所述装置，其特征在于，所述执行模块具体用于，若所述深度距离大于所述预设深度阈值，且所述当前已确定待操作对象为第一功能键时，所述执行模块具体用于，
激活所述第一功能键的功能。
12.如权利要求7所述装置，其特征在于，在所述执行模块执行所述预设命令操作时，所述执行模块处于执行预设命令操作状态，所述装置还包括返回模块，所述返回模块用于，在所述执行模块对所述当前已确定待操作对象执行预设命令操作之后，如果检测到预设退出动作，则控制所述执行模块退出所述执行预设命令操作状态。
13.一种具备手势操控功能的虚拟现实VR设备，其特征在于，所述设备至少包括：处理器、存储器、传感器系统、和总线；其中，所述处理器和所述存储器、所述传感器系统通过所述总线连接通信；
所述传感器系统用于获取VR设备用户的手势位置信息，还用于检测用户的手部相对于深度传感器的深度距离；其中，所述深度距离为所述深度传感器到手部质心所在主平面的距离或者所述深度传感器到手部质心的距离，所述主平面与显示界面平行，所述深度距离是实时可变的；
所述存储器中存储有程序和指令，还存储有预设深度阈值；
所述处理器调用所述存储器中的程序和指令，用于在VR设备的显示界面中呈现所述手势位置信息对应的操作图标；还用于判断所述深度距离与所述预设深度阈值的大小关系；若所述深度距离不大于所述预设深度阈值，则将所述操作图标当前在显示界面中对应的对象确定为待操作对象；若所述深度距离大于所述预设深度阈值，则对当前已确定待操作对象执行预设命令操作；还用于检测到用户手部的深度距离时，在所述显示界面中提示用户所述手部的深度距离。
CN201610595123.3A 2016-07-26 2016-07-26 一种应用于vr设备的手势操控方法与装置 Active CN106249882B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610595123.3A CN106249882B (zh) 2016-07-26 2016-07-26 一种应用于vr设备的手势操控方法与装置
PCT/CN2017/071387 WO2018018857A1 (zh) 2016-07-26 2017-01-17 一种应用于vr设备的手势操控方法与装置
US16/259,240 US11507190B2 (en) 2016-07-26 2019-01-28 Gesture control method applied to VR device, and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610595123.3A CN106249882B (zh) 2016-07-26 2016-07-26 一种应用于vr设备的手势操控方法与装置

Publications (2)

Publication Number Publication Date
CN106249882A CN106249882A (zh) 2016-12-21
CN106249882B true CN106249882B (zh) 2022-07-12

Family

ID=57603679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610595123.3A Active CN106249882B (zh) 2016-07-26 2016-07-26 一种应用于vr设备的手势操控方法与装置

Country Status (3)

Country Link
US (1) US11507190B2 (zh)
CN (1) CN106249882B (zh)
WO (1) WO2018018857A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106249882B (zh) * 2016-07-26 2022-07-12 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
CN106707512B (zh) * 2016-12-26 2023-10-27 中科海微(北京)科技有限公司 一种低功耗智能ar系统及智能ar眼镜
JP6812803B2 (ja) * 2017-01-12 2021-01-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN106873778B (zh) * 2017-01-23 2020-04-28 深圳超多维科技有限公司 一种应用的运行控制方法、装置和虚拟现实设备
CN106873995B (zh) * 2017-02-10 2021-08-17 联想(北京)有限公司 一种显示方法以及头戴式电子设备
CN108459782A (zh) * 2017-02-17 2018-08-28 阿里巴巴集团控股有限公司 一种输入方法、装置、设备、系统和计算机存储介质
CN106873783A (zh) * 2017-03-29 2017-06-20 联想(北京)有限公司 信息处理方法、电子设备及输入装置
WO2018196552A1 (zh) 2017-04-25 2018-11-01 腾讯科技（深圳）有限公司 用于虚拟现实场景中的手型显示方法及装置
CN107132917B (zh) * 2017-04-25 2018-05-29 腾讯科技（深圳）有限公司 用于虚拟现实场景中的手型显示方法及装置
CN109144235B (zh) * 2017-06-19 2024-01-23 深圳巧牛科技有限公司 基于头手协同动作的人机交互方法与系统
CN109983424B (zh) * 2017-06-23 2022-06-24 腾讯科技（深圳）有限公司 虚拟现实场景中的对象选中方法和装置以及虚拟现实设备
CN107229342A (zh) * 2017-06-30 2017-10-03 宇龙计算机通信科技(深圳)有限公司 文件处理方法及用户设备
CN107300975A (zh) * 2017-07-13 2017-10-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN107621883B (zh) * 2017-10-18 2020-05-08 炫彩互动网络科技有限公司 一种基于手机终端的虚拟现实系统及人机交互方法
CN107908322A (zh) * 2017-10-27 2018-04-13 深圳市创凯智能股份有限公司 基于三维空间的物体删除方法、装置及计算机存储介质
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
CN108133132B (zh) * 2017-12-22 2021-01-15 联想(北京)有限公司 身份验证方法、系统和电子设备
US20190339837A1 (en) * 2018-05-04 2019-11-07 Oculus Vr, Llc Copy and Paste in a Virtual Reality Environment
CN108874126B (zh) * 2018-05-30 2021-08-31 北京致臻智造科技有限公司 基于虚拟现实设备的交互方法及系统
CN109224437A (zh) * 2018-08-28 2019-01-18 腾讯科技（深圳）有限公司 一种应用场景的交互方法和终端以及存储介质
CN109120800A (zh) * 2018-10-18 2019-01-01 维沃移动通信有限公司 一种应用程序图标调整方法及移动终端
CN112714900A (zh) * 2018-10-29 2021-04-27 深圳市欢太科技有限公司 显示屏操作方法、电子设备、可读存储介质
CN110058681A (zh) * 2019-03-08 2019-07-26 佛山市云米电器科技有限公司 一种移动式带屏设备的界面交互方法与系统
CN111198638A (zh) * 2019-12-18 2020-05-26 珠海格力电器股份有限公司 一种基于摄像头自动调节显示屏显示大小的方法和空调
CN113593314B (zh) * 2020-04-30 2023-10-20 青岛海尔空调器有限总公司 设备虚拟拆装培训系统及其培训方法
US11579747B1 (en) * 2022-03-14 2023-02-14 Snap Inc. 3D user interface depth forgiveness

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681748A (zh) * 2011-03-09 2012-09-19 联想(北京)有限公司 一种信息处理设备以及信息处理方法
CN102693063A (zh) * 2011-03-23 2012-09-26 联想(北京)有限公司 操作控制方法、装置及电子设备
CN103677240A (zh) * 2012-09-24 2014-03-26 株式会社理光 虚拟触摸交互方法和虚拟触摸交互设备
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和系统
CN205302188U (zh) * 2016-01-15 2016-06-08 广东小天才科技有限公司 一种头戴式虚拟现实设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834847B2 (en) * 2005-12-01 2010-11-16 Navisense Method and system for activating a touchless control
KR20120119440A (ko) * 2011-04-21 2012-10-31 삼성전자주식회사 전자기기에서 사용자의 제스처를 인식하는 방법
US9547438B2 (en) 2011-06-21 2017-01-17 Empire Technology Development Llc Gesture based user interface for augmented reality
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
CN109271029B (zh) * 2011-08-04 2022-08-26 视力移动技术有限公司 无触摸手势识别系统、无触摸手势识别方法和介质
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9378592B2 (en) * 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
CN103970460A (zh) * 2013-01-30 2014-08-06 三星电子（中国）研发中心 基于触摸屏的操作方法和使用该方法的终端设备
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US9389779B2 (en) 2013-03-14 2016-07-12 Intel Corporation Depth-based user interface gesture control
CN103246351B (zh) * 2013-05-23 2016-08-24 刘广松 一种用户交互系统和方法
US10019843B2 (en) 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
US10281987B1 (en) * 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
KR20150041453A (ko) 2013-10-08 2015-04-16 엘지전자 주식회사 안경형 영상표시장치 및 그것의 제어방법
US9857591B2 (en) * 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
KR102210633B1 (ko) * 2014-07-09 2021-02-02 엘지전자 주식회사 가상 오브젝트의 뎁스와 연계된 인정범위를 가진 디스플레이 디바이스 및 그 제어 방법
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
CN105578250A (zh) * 2014-10-11 2016-05-11 乐视致新电子科技（天津）有限公司 基于物理模型的人机交互方法、装置及智能电视
KR20160057898A (ko) * 2014-11-14 2016-05-24 엘지전자 주식회사 이동단말기 및 그 제어방법
JP2016139168A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
CN104793744A (zh) * 2015-04-16 2015-07-22 天脉聚源(北京)传媒科技有限公司 一种手势操作的方法及装置
EP3096303B1 (en) * 2015-05-18 2020-04-08 Nokia Technologies Oy Sensor data conveyance
CN105068649A (zh) 2015-08-12 2015-11-18 深圳市埃微信息技术有限公司 基于虚拟现实头盔的双目手势识别装置及方法
CN105302294B (zh) * 2015-09-07 2018-08-03 哈尔滨市一舍科技有限公司 一种交互式虚拟现实演示装置
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10037626B2 (en) * 2016-06-30 2018-07-31 Microsoft Technology Licensing, Llc Interaction with virtual objects based on determined restrictions
CN106249882B (zh) * 2016-07-26 2022-07-12 华为技术有限公司 一种应用于vr设备的手势操控方法与装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681748A (zh) * 2011-03-09 2012-09-19 联想(北京)有限公司 一种信息处理设备以及信息处理方法
CN102693063A (zh) * 2011-03-23 2012-09-26 联想(北京)有限公司 操作控制方法、装置及电子设备
CN103677240A (zh) * 2012-09-24 2014-03-26 株式会社理光 虚拟触摸交互方法和虚拟触摸交互设备
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和系统
CN205302188U (zh) * 2016-01-15 2016-06-08 广东小天才科技有限公司 一种头戴式虚拟现实设备

Also Published As

Publication number Publication date
US11507190B2 (en) 2022-11-22
CN106249882A (zh) 2016-12-21
WO2018018857A1 (zh) 2018-02-01
US20190155397A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
CN106249882B (zh) 一种应用于vr设备的手势操控方法与装置
US11983326B2 (en) Hand gesture input for wearable system
US10990274B2 (en) Information processing program, information processing method, and information processing device
CN107533373B (zh) 虚拟现实中经由手与对象的场境敏感碰撞的输入
KR101603680B1 (ko) 컴퓨터 비젼 애플리케이션들에서 상호작용 반경을 확대하기 위한 제스쳐-제어 기법
WO2018113740A1 (en) Combining virtual reality and augmented reality
KR101979317B1 (ko) 근접 범위 움직임 추적 시스템 및 방법
US20140375587A1 (en) Method of controlling virtual object or view point on two dimensional interactive display
US20130082978A1 (en) Omni-spatial gesture input
KR20140035358A (ko) 시선-보조 컴퓨터 인터페이스
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
KR20130133224A (ko) 터치 디스플레이용 가상 제어기
CN109725782B (zh) 一种实现虚拟现实的方法、装置及智能设备、存储介质
WO2016044807A1 (en) Systems and methods for using hover information to predict touch locations and reduce or eliminate touchdown latency
US20120268359A1 (en) Control of electronic device using nerve analysis
JP6078719B2 (ja) 移動制御装置及びプログラム
US20140038717A1 (en) Game device, game system, game control method, and information storage medium
JP6534011B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
EP4307096A1 (en) Key function execution method, apparatus and device, and storage medium
JP6519075B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
CN111273777A (zh) 虚拟内容的控制方法、装置、电子设备及存储介质
WO2016099561A1 (en) Gesture library
JP7409770B2 (ja) ゲームシステム、プログラム及び端末装置
CN117122890A (zh) 用于激活屏幕内容的选择性导航或放大的方法和系统
EP3582080A1 (en) Systems and methods for integrating haptics overlay in augmented reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant