CN107977071B - 一种适用于空间系统的操作方法及装置 - Google Patents

一种适用于空间系统的操作方法及装置 Download PDF

Info

Publication number
CN107977071B
CN107977071B CN201610939290.5A CN201610939290A CN107977071B CN 107977071 B CN107977071 B CN 107977071B CN 201610939290 A CN201610939290 A CN 201610939290A CN 107977071 B CN107977071 B CN 107977071B
Authority
CN
China
Prior art keywords
input operation
attribute information
determining
current position
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610939290.5A
Other languages
English (en)
Other versions
CN107977071A (zh
Inventor
刘阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN201610939290.5A priority Critical patent/CN107977071B/zh
Priority to EP17866241.7A priority patent/EP3470959A4/en
Priority to US16/314,425 priority patent/US20190325657A1/en
Priority to PCT/CN2017/100230 priority patent/WO2018076927A1/zh
Priority to JP2019503449A priority patent/JP2019527435A/ja
Publication of CN107977071A publication Critical patent/CN107977071A/zh
Application granted granted Critical
Publication of CN107977071B publication Critical patent/CN107977071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种适用于空间系统的操作方法及装置，所述方法还包括：通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；确定所述输入操作的属性信息；判断所述输入操作的属性信息是否满足预设条件；如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理。

Description

一种适用于空间系统的操作方法及装置
技术领域
本发明涉及电子技术，尤其涉及一种适用于空间系统的操作方法及装置。
背景技术
随着三维技术的商用化，尤其是VR(Virtual Reality，虚拟现实)和AR(AugmentedReality，增强现实)等技术的日益成熟，用户界面在向三维化进一步延伸。原有的一些在手机等二维界面中的操作，在三维操作中需要进一步扩展才能适用。在三维体系中，需要让用户自如的进行操作，同时符合用户的空间认知和使用习惯。
现有的解决方案，主要还是二维界面中常用的选择操作对象进行拖拽的方式，依赖于二维界面中手势的拖拽操作，这种单一的操控方式，让用户在界面操作过程中少了选择和操控乐趣。同时，二维界面对于用户进行操作时，在三维空间中的操控需要更加的符合用户的操控经验，例如，三维空间的三个轴x、y和z的位置都发生变动，同时伴随角速度的变化，如何让位置和角速度变化体现在三维空间中也是用户对于三维空间交互的需求之一。同时，虽然适用于三维空间的手势操作强劲的需求，但是二维界面还会在很长时间内使用，因此，如何提供一种手势操作的交互方式能够兼顾三维空间和二维界面成为亟需解决的问题。
发明内容
有鉴于此，本发明实施例为解决现有技术中存在的至少一个问题而提供一种适用于空间系统的操作方法及装置，能够提供一种同时适用于三维空间中对象操作的交互方式。
本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供一种适用于空间系统的操作方法，所述方法包括：
通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；
确定所述输入操作的属性信息；
判断所述输入操作的属性信息是否满足预设条件；
如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；
如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理。
第二方面，本发明实施例提供一种适用于空间系统的操作装置，所述装置包括检测单元、第一确定单元、判断单元、第二确定单元和处理单元，其中：
所述检测单元，用于通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；
所述第一确定单元，用于确定所述输入操作的属性信息；
所述判断单元，用于判断所述输入操作的属性信息是否满足预设条件；
所述第二确定单元，用于如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；
所述处理单元，用于如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理。
本发明实施例提供一种适用于空间系统的操作方法及装置，其中，通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；确定所述输入操作的属性信息；判断所述输入操作的属性信息是否满足预设条件；如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理；如此，能够提供一种同时适用于三维空间中对象操作的交互方式。
附图说明
图1为本发明实施例适用于空间系统中的操作方法的实现流程示意图；
图2为本发明实施例计算设备的组成结构示意图；
图3为本发明实施例适用于空间系统的操作装置的实现流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
实施例一
本发明实施例提供一种适用于空间系统的操作方法，该方法应用于计算设备，该方法所实现的功能可以通过计算设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算设备至少包括处理器和存储介质。这里，所述计算设备在具体实施例的过程中可以为各种类型的具有信息处理能力的电子设备，例如所述电子设备可以包括手机、平板电脑、台式机、个人数字助理、导航仪、数字电话、视频电话、电视机等。
图1为本发明实施例适用于空间系统的操作方法的实现流程示意图，如图1所示，该方法包括：
步骤S101，通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；
这里，所述操作对象包括手指、手、眼球。
这里，所述跟踪部件为计算设备的部件，在实现的过程中，所述跟踪部件可以为摄像头。
步骤S102，确定所述输入操作的属性信息；
步骤S103，判断所述输入操作的属性信息是否满足预设条件；
这里，所述输入操作的属性信息包括所述输入操作对应的操作对象的持续时间、所述输入操作的姿态、操作距离、操作方向、所述操作对象的加速度a和加速度的方向。步骤S103中主要利用所述输入操作对应的操作对象的持续时间、所述输入操作的姿态，对应地，所述预设条件包括预设的时间阈值或操作对象的姿态。例如，判断所述输入操作的持续时间是否大于预设的时间阈值，如果大于，则满足所述预设条件，如果小于，则不满足所述预设条件；再如预设条件为双击等手势，判断输入操作的姿态是否双击等手势，如果是，则满足预设的条件，反之，则不满足预设的条件。
步骤S104，如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；
步骤S105，如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理。
在本发明的其他实施例中，所述方法还包括：步骤S106，如果所述操作对象的当前位置未对应有采用三维的轮廓点来表示的目标对象，通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作。在实现的过程中，所述方法还包括：输出提示信息，所述提示信息用于表明当前未能确定出目标对象。
在本发明的其他实施例中，所述方法还包括：判断所述操作对象的当前位置是否对应有采用三维的轮廓点来表示的目标对象，如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理。所述判断所述操作对象的当前位置是否对应有采用三维的轮廓点来表示的目标对象，进一步包括：
步骤S111，采用三维轮廓点来表示当前场景下的交互对象；
这里，所述场景可以为计算设备上显示的任何场景，例如打游戏的场景，在每一场景下，都设置有用于与用户的输入操作进行交互的对象。
步骤S112，判断所述操作对象的当前位置是否在所述交互对象的三维轮廓点所表示的范围内；
步骤S113，如果所述操作对象的当前位置在所述交互对象的三维轮廓点所表示的范围内，将所述交互对象确定为目标对象。
步骤S114，如果所述操作对象的当前位置未在所述交互对象的三维轮廓点所表示的范围内，确定所述操作对象的当前位置未对应有采用三维的轮廓点来表示的目标对象。
在实现的过程中，所述方法还包括：确定所述操作对象的当前位置，所述确定所述操作对象的当前位置进一步包括：通过跟踪部件确定采用三维坐标来表示的操作对象的初始位置；将所述空间系统中的操作光标移动至所述初始位置；通过所述跟踪部件跟踪所述操作对象确定采用三维坐标来表示的所述操作对象的目标位置，并将所述操作光标移动至所述目标位置；将所述操作对象的初始位置或目标位置确定为所述操作对象的当前位置。
在本发明实施例中，所述根据所述输入操作的属性信息对所述目标对象进行处理，包括：
步骤S141A，通过所述跟踪部件跟踪所述操作对象确定所述操作对象的加速度a和加速度的方向；
步骤S142A，获取所述空间系统中设置的阻尼系数z；
步骤S143A，根据所述加速度a、加速度的方向和阻尼系数z在所述空间系统移动所述目标对象。
这里，如果操作对象为手，那么输入操作则为手势，先假设交互对象有一定的质量m，计算设备根据用户手的运动分析出手的加速度a，根据公式f＝k*m*a(k为某一个系数，可以为变量)，将该加速度转变为作用于模块的“力”f。另外，还可以假设定空间有一定的阻尼效果，阻尼系数为z。那么交互对象收到的力F＝f-mz＝k*m*a-mz＝m(ka-z)，一般情况下下，k可以设置为1。
本发明实施例中，所述根据所述输入操作的属性信息对所述目标对象进行处理，包括：
步骤S141B，将所述输入操作的操作面投影到所述目标对象上；
步骤S142B，确定所述输入操作的操作方向和操作距离；
步骤S143B，根据所述操作方向和操作距离移动所述目标对象。
这里，如果操作对象为手，那么输入操作则为手势，设定了交互对象有一定的质量m，用户可以通过手势在模块上有一个虚拟的作用面(这个面可以是手的投影的切面)，通过这个作用面，手可以和模块虚拟接触，分别形成推、拍、拉、拨等效果。可以在模块上显示该作用面，便于给用户提供确切的反馈。需要说明的是，如果操作对象为眼球，与操作对象为手是类似的。
本发明实施例中，通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；确定所述输入操作的属性信息；判断所述输入操作的属性信息是否满足预设条件；如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理；如此，能够提供一种同时适用于三维空间中对象操作的交互方式。
实施例二
本提案提供一种三维空间中基于自然手势和眼球跟踪的人机自然交互的方法，包括以下步骤：
步骤S201，将用户所在三维界面中的系统进行三维坐标化，即某一个空间点位有特定的x、y、z坐标数值，不重合的点的数值不一样。
这里，所数据化的方法可以以用户为中心，也可以自设定一个坐标体系。
步骤S202，数字化所有操作对象的坐标(设定重心为(x1、y1、z1)以及整个对象的轮廓数值)；
步骤S203，用户通过一些自然交互方式选择操作的对象，这些方式包括但不限于手势、眼球追踪(eye tracker，即通过眼睛的聚焦点来判断选择的对象)、手指弯曲度等。
这里，在实现的过程中，例如一，通过跟踪用户的手的动作，在三维界面中的各个交互对象中移动光标，手的左右摆动，则光标左右移动；手的前后摆动，则光标前后移动；手上下摆动，则光标上下移动。光标移动到目标对象后，通过双击等手势或停留时间来确认选中对象。例如二，实施例二：使用眼球跟踪技术通过对用户的眼球和瞳孔的跟踪，确定用户需要选中的三维空间中的交互对象，通过双击等手势或停留时间来确认对象的选中。例如三：通过手的位置来进行三维空间中的光标xy方向的选择，通过手或手指的弯曲度来判断光标前后(z轴)方向的移动；确定用户需要选中的三维空间中的交互对象，通过双击等手势或停留时间来确认交互对象的选中。
步骤S204，用户摆动手势，设定交互对象有一定的质量m(这个质量可以和交互对象的体积有关)根据用户手的运动，分析出其加速度a，将该加速度转变为作用于交互对象的“力”f＝k*m*a(k为某一个系数，可以为变量)，另外，还可以假设设定空间有一定的阻尼效果，阻尼系数为z。那么，那么交互对象收到的力F＝f-mz＝k*m*a-mz＝m(ka-z)，一般情况下下，k可以设置为1。
步骤S205，根据手势，将手的动作投影到交互对象上，根据手的运动方向，将手在交互对象上形成一个作用面(这个面可以是手的投影的切面)分别形成推、拍、拉、拨等效果。可以在交互对象上显示该作用面，便于给用户提供确切的反馈。
步骤S206，根据作用面的位置，交互对象可以被平推，也可以绕着重心进行旋转着向作用力方向前进，符合力场中(可以无重力)的效果。其移动方向、速度、加速度以及转动方向、角速度、角加速度和作用面位置、m、a、交互对象形状以及阻尼系数z相关。
步骤S207，依据这些规则，用户可以比较自如的操控界面空间中的交互对象的运动。
步骤S208，同时，这套系统和方法适合于二维界面，即减少一个维度的视野，将整个活动投影到一个平面上。
图2为本发明实施例计算设备的组成结构示意图，如图3所示，该计算设备包括：空间三维系统模块201、识别跟踪系统202、执行模块203和显示模块204，其中：
空间三维系统模块201，用于将用户和所有的界面元素进行结构化和坐标化，确定人和各个模块的空间位置和相互关系；
识别跟踪系统202，用于通过跟踪用户的各种自然交互的输出，来分析用户对于空间界面的操作意图，并将这些信息传送给执行模块。
执行模块203，用于根据识别跟踪系统生成移动命令，并将过程和结果传递给显示模块。
显示模块204，用于将这些结果显示在整个空间三维系统中。
在实现的过程中，识别跟踪系统的硬件部分可以采用跟踪部件如摄像头来实现，所述显示模块可以采用计算设备的显示屏来实现。空间三维系统模块、识别跟踪系统的软件部分和执行模块都可以组成本发明实施例三中的装置，即通过计算设备中的处理器来实现。通过以上实施例可以看出，用户可以通过手势在交互对象上有一个虚拟的作用面(这个面可以是手的投影的切面)，通过这个作用面，手可以和模块虚拟接触，分别形成推、拍、拉、拨等效果。可以在模块上显示该作用面，便于给用户提供确切的反馈。
实施例三
基于前述的实施例，本发明实施例提供一种适用于空间系统的操作装置，所述装置所包括的各单元以及各单元所包括的各模块都可以通过计算设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图3为本发明实施例适用于空间系统的操作装置的组成结构示意图，如图3所示，所述装置300包括检测单元301、第一确定单元302、判断单元303、第二确定单元304和处理单元305，其中：
所述检测单元301，用于通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作；
所述第一确定单元302，用于确定所述输入操作的属性信息；
所述判断单元303，用于判断所述输入操作的属性信息是否满足预设条件；
所述第二确定单元304，用于如果所述输入操作的属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；
所述处理单元305，用于如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的属性信息对所述目标对象进行处理。
在本发明的其他实施例中，所述输入操作的属性信息包括所述输入操作对应的操作对象的持续时间、所述输入操作的姿态、操作距离、操作方向、所述操作对象的加速度a和加速度的方向。
在本发明的其他实施例中，所述处理单元，用于如果所述操作对象的当前位置未对应有采用三维的轮廓点来表示的目标对象，触发所述检测单元通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作。
在本发明的其他实施例中，所述处理单元包括表示模块、判断模块、第一确定模块和处理模块，其中：
所述表示模块，用于采用三维轮廓点来表示当前场景下的交互对象；
所述判断模块，用于判断所述操作对象的当前位置是否在所述交互对象的三维轮廓点所表示的范围内；
所述第一确定模块，用于如果所述操作对象的当前位置在所述交互对象的三维轮廓点所表示的范围内，将所述交互对象确定为目标对象；
所述处理模块，用于根据所述输入操作的属性信息对所述目标对象进行处理。
在本发明的其他实施例中，所述装置还包括第三确定单元，用于如果所述操作对象的当前位置未在所述交互对象的三维轮廓点所表示的范围内，确定所述操作对象的当前位置未对应有采用三维的轮廓点来表示的目标对象。
在本发明的其他实施例中，所述装置还包括第四确定单元包括第二确定模块、第一移动模块、第三确定模块和第四确定模块，其中：
所述第二确定模块，用于通过跟踪部件确定采用三维坐标来表示的操作对象的初始位置；
所述第一移动模块，用于将所述空间系统中的操作光标移动至所述初始位置；
所述第三确定模块，用于通过所述跟踪部件跟踪所述操作对象确定采用三维坐标来表示的所述操作对象的目标位置，并将所述操作光标移动至所述目标位置；
所述第四确定模块，用于将所述操作对象的初始位置或目标位置确定为所述操作对象的当前位置。
在本发明的其他实施例中，所述处理单元包括第五确定模块、获取模块和第二移动模块，其中：
所述第五确定模块，用于如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，通过所述跟踪部件跟踪所述操作对象确定所述操作对象的加速度a和加速度的方向；
所述获取模块，用于获取所述空间系统中设置的阻尼系数z；
所述第二移动模块，用于根据所述加速度a、加速度的方向和阻尼系数z在所述空间系统移动所述目标对象。
在本发明的其他实施例中，所述处理单元，包括投影模块、第六确定模块和第三移动模块，其中：
所述投影模块，用于如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，将所述输入操作的操作面投影到所述目标对象上；
所述第六确定模块，用于确定所述输入操作的操作方向和操作距离；
所述第三移动模块，用于根据所述操作方向和操作距离移动所述目标对象。
在本发明的其他实施例中，所述操作对象包括手指、手、眼球。
这里需要指出的是：以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再赘述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种适用于空间系统的操作方法，其特征在于，所述方法包括：
通过跟踪部件跟踪操作对象检测所述操作对象的输入操作；
确定所述输入操作的第一属性信息和第二属性信息；其中，所述输入操作的第一属性信息包括所述输入操作对应的操作对象的持续时间和所述输入操作的姿态，所述输入操作的第二属性信息包括所述输入操作的操作距离、操作方向、所述操作对象的加速度a和加速度的方向；
判断所述输入操作的第一属性信息是否满足预设条件；
如果所述输入操作的第一属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；
如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的第二属性信息对所述目标对象进行移动。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果所述操作对象的当前位置未对应有采用三维的轮廓点来表示的目标对象，通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作。
3.根据权利要求1或2所述的方法，其特征在于，如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的第二属性信息对所述目标对象进行移动，包括：
采用三维轮廓点来表示当前场景下的交互对象；
判断所述操作对象的当前位置是否在所述交互对象的三维轮廓点所表示的范围内；
如果所述操作对象的当前位置在所述交互对象的三维轮廓点所表示的范围内，将所述交互对象确定为目标对象；
根据所述输入操作的第二属性信息对所述目标对象进行移动。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
如果所述操作对象的当前位置未在所述交互对象的三维轮廓点所表示的范围内，确定所述操作对象的当前位置未对应有采用三维的轮廓点来表示的目标对象；
通过跟踪部件跟踪所述操作对象检测所述操作对象的输入操作。
5.根据权利要求1或2所述的方法，其特征在于，确定所述操作对象的当前位置包括：
通过跟踪部件确定采用三维坐标来表示的操作对象的初始位置；
将所述空间系统中的操作光标移动至所述初始位置；
通过所述跟踪部件跟踪所述操作对象确定采用三维坐标来表示的所述操作对象的目标位置，并将所述操作光标移动至所述目标位置；
将所述操作对象的初始位置或目标位置确定为所述操作对象的当前位置。
6.根据权利要求1或2所述的方法，其特征在于，所述根据所述输入操作的第二属性信息对所述目标对象进行移动，包括：
通过所述跟踪部件跟踪所述操作对象确定所述操作对象的加速度a和加速度的方向；
获取所述空间系统中设置的阻尼系数z；
根据所述加速度a、加速度的方向和阻尼系数z在所述空间系统移动所述目标对象。
7.根据权利要求1或2所述的方法，其特征在于，所述根据所述输入操作的第二属性信息对所述目标对象进行移动，包括：
将所述输入操作的操作面投影到所述目标对象上；
确定所述输入操作的操作方向和操作距离；
根据所述操作方向和操作距离移动所述目标对象。
8.根据权利要求1或2所述的方法，其特征在于，所述操作对象包括手指、手、眼球。
9.一种适用于空间系统的操作装置，其特征在于，所述装置包括检测单元、第一确定单元、判断单元、第二确定单元和处理单元，其中：
所述检测单元，用于通过跟踪部件跟踪操作对象检测所述操作对象的输入操作；
所述第一确定单元，用于确定所述输入操作的第一属性信息和第二属性信息；其中，所述输入操作的第一属性信息包括所述输入操作对应的操作对象的持续时间和所述输入操作的姿态，所述输入操作的第二属性信息包括所述输入操作的操作距离、操作方向、所述操作对象的加速度a和加速度的方向；
所述判断单元，用于判断所述输入操作的第一属性信息是否满足预设条件；
所述第二确定单元，用于如果所述输入操作的第一属性信息满足所述预设条件，确定采用三维坐标来表示的所述操作对象的当前位置；
所述处理单元，用于如果所述操作对象的当前位置对应有采用三维的轮廓点来表示的目标对象，根据所述输入操作的第二属性信息对所述目标对象进行移动。
CN201610939290.5A 2016-10-24 2016-10-24 一种适用于空间系统的操作方法及装置 Active CN107977071B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201610939290.5A CN107977071B (zh) 2016-10-24 2016-10-24 一种适用于空间系统的操作方法及装置
EP17866241.7A EP3470959A4 (en) 2016-10-24 2017-09-01 OPERATING METHOD AND DEVICE APPLICABLE TO A SPACE SYSTEM, AND STORAGE MEDIUM
US16/314,425 US20190325657A1 (en) 2016-10-24 2017-09-01 Operating method and device applicable to space system, and storage medium
PCT/CN2017/100230 WO2018076927A1 (zh) 2016-10-24 2017-09-01 一种适用于空间系统的操作方法及装置、存储介质
JP2019503449A JP2019527435A (ja) 2016-10-24 2017-09-01 空間システムに適用できる操作方法及び装置、記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610939290.5A CN107977071B (zh) 2016-10-24 2016-10-24 一种适用于空间系统的操作方法及装置

Publications (2)

Publication Number Publication Date
CN107977071A CN107977071A (zh) 2018-05-01
CN107977071B true CN107977071B (zh) 2020-02-28

Family

ID=62004085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610939290.5A Active CN107977071B (zh) 2016-10-24 2016-10-24 一种适用于空间系统的操作方法及装置

Country Status (5)

Country Link
US (1) US20190325657A1 (zh)
EP (1) EP3470959A4 (zh)
JP (1) JP2019527435A (zh)
CN (1) CN107977071B (zh)
WO (1) WO2018076927A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637394A (zh) * 2022-02-08 2022-06-17 武汉光庭信息技术股份有限公司 Vr环境中裸手与模拟触控屏界面的交互操作系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201025527Y (zh) * 2007-03-02 2008-02-20 吴常熙 整合型输入装置
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN202854704U (zh) * 2012-08-20 2013-04-03 深圳市维尚视界立体显示技术有限公司 一种3d显示的人机交互的设备
CN104423578A (zh) * 2013-08-25 2015-03-18 何安莉 交互式输入系统和方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2558984B2 (ja) * 1991-03-12 1996-11-27 松下電器産業株式会社 ３次元情報会話システム
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US6147674A (en) * 1995-12-01 2000-11-14 Immersion Corporation Method and apparatus for designing force sensations in force feedback computer applications
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
JP2008176438A (ja) * 2007-01-17 2008-07-31 Tokai Rika Co Ltd 画像表示装置
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
US8321075B2 (en) * 2008-02-25 2012-11-27 Sri International Mitigating effects of biodynamic feedthrough on an electronic control device
US20110066406A1 (en) * 2009-09-15 2011-03-17 Chung Yuan Christian University Method for Generating Real-Time Haptic Response Information for a Haptic Simulating Device
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム
JP4900741B2 (ja) * 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
EP2372512A1 (en) * 2010-03-30 2011-10-05 Harman Becker Automotive Systems GmbH Vehicle user interface unit for a vehicle electronic device
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program
JP5597837B2 (ja) * 2010-09-08 2014-10-01 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、及び、画像生成装置
JP5360166B2 (ja) * 2010-09-22 2013-12-04 株式会社ニコン 画像表示装置
JP5738569B2 (ja) * 2010-10-15 2015-06-24 任天堂株式会社 画像処理プログラム、装置、システムおよび方法
US9201467B2 (en) * 2011-01-26 2015-12-01 Sony Corporation Portable terminal having user interface function, display method, and computer program
US9857868B2 (en) * 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
JP5840399B2 (ja) * 2011-06-24 2016-01-06 株式会社東芝 情報処理装置
JP2013069224A (ja) * 2011-09-26 2013-04-18 Sony Corp 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
US20140125678A1 (en) * 2012-07-11 2014-05-08 GeriJoy Inc. Virtual Companion
WO2014009561A2 (en) * 2012-07-13 2014-01-16 Softkinetic Software Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
US8970479B1 (en) * 2012-07-31 2015-03-03 Rawles Llc Hand gesture detection
JP2014071499A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
CN103064514A (zh) * 2012-12-13 2013-04-24 航天科工仿真技术有限责任公司 沉浸式虚拟现实系统中的空间菜单的实现方法
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
CN105308536A (zh) * 2013-01-15 2016-02-03 厉动公司 用于显示器控制和定制姿势解释的动态用户交互
US20150277699A1 (en) * 2013-04-02 2015-10-01 Cherif Atia Algreatly Interaction method for optical head-mounted display
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US9645654B2 (en) * 2013-12-04 2017-05-09 Leap Motion, Inc. Initializing predictive information for free space gesture control and communication
US9978202B2 (en) * 2014-02-14 2018-05-22 Igt Canada Solutions Ulc Wagering gaming apparatus for detecting user interaction with game components in a three-dimensional display
US10168786B2 (en) * 2014-02-18 2019-01-01 Mitsubishi Electric Corporation Gesture guidance device for moving platform, gesture guidance system for moving platform, and gesture guidance method for moving platform
JP6282188B2 (ja) * 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
US9989352B2 (en) * 2015-03-20 2018-06-05 Chuck Coleman Playing surface collision detection system
EP3332314B1 (en) * 2015-08-04 2024-04-10 Google LLC Input via context sensitive collisions of hands with objects in virtual reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201025527Y (zh) * 2007-03-02 2008-02-20 吴常熙 整合型输入装置
CN202854704U (zh) * 2012-08-20 2013-04-03 深圳市维尚视界立体显示技术有限公司 一种3d显示的人机交互的设备
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN104423578A (zh) * 2013-08-25 2015-03-18 何安莉 交互式输入系统和方法

Also Published As

Publication number Publication date
CN107977071A (zh) 2018-05-01
WO2018076927A1 (zh) 2018-05-03
EP3470959A1 (en) 2019-04-17
US20190325657A1 (en) 2019-10-24
JP2019527435A (ja) 2019-09-26
EP3470959A4 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
US11221730B2 (en) Input device for VR/AR applications
US10761612B2 (en) Gesture recognition techniques
CN107533373B (zh) 虚拟现实中经由手与对象的场境敏感碰撞的输入
CN108469899B (zh) 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
US10572017B2 (en) Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
WO2018231457A1 (en) Displacement oriented interaction in computer-mediated reality
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US20200387229A1 (en) Artificial reality system having a digit-mapped self-haptic input method
CN106445118B (zh) 虚拟现实交互方法及装置
US10990240B1 (en) Artificial reality system having movable application content items in containers
US11803233B2 (en) IMU for touch detection
WO2014194148A2 (en) Systems and methods involving gesture based user interaction, user interface and/or other features
CN111045511A (zh) 基于手势的操控方法及终端设备
US20150355717A1 (en) Switching input rails without a release command in a natural user interface
CN108803862B (zh) 用于虚拟现实场景中的账号关系建立方法及装置
JP2014085816A (ja) プログラム、情報処理装置、情報処理方法および情報処理システム
CN107977071B (zh) 一种适用于空间系统的操作方法及装置
TW201832049A (zh) 輸入方法、裝置、設備、系統和電腦儲存媒體
CN113467625A (zh) 虚拟现实的控制设备、头盔和交互方法
CN107102725B (zh) 一种基于体感手柄进行虚拟现实移动的控制方法及系统
US11782548B1 (en) Speed adapted touch detection
Matulic et al. Above-Screen Fingertip Tracking with a Phone in Virtual Reality
EP3483713A1 (en) System and method for modulation of control interface feedback
CN103793053A (zh) 一种便携式终端的手势投影方法及装置
CN116774835B (zh) 基于vr手柄的虚拟环境中交互方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant