CN107728811B - 界面操控方法、装置及系统 - Google Patents

界面操控方法、装置及系统 Download PDF

Info

Publication number
CN107728811B
CN107728811B CN201711058630.4A CN201711058630A CN107728811B CN 107728811 B CN107728811 B CN 107728811B CN 201711058630 A CN201711058630 A CN 201711058630A CN 107728811 B CN107728811 B CN 107728811B
Authority
CN
China
Prior art keywords
interface
threshold value
preset
value
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711058630.4A
Other languages
English (en)
Other versions
CN107728811A (zh
Inventor
李瑞恒
劳丰
余嘉欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201711058630.4A priority Critical patent/CN107728811B/zh
Publication of CN107728811A publication Critical patent/CN107728811A/zh
Application granted granted Critical
Publication of CN107728811B publication Critical patent/CN107728811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种界面操控方法、装置及系统,此方法包括:检测手持设备的移动操作;获取该移动操作在三维空间中对应的位移;分解上述位移至三维坐标轴上,得到位移在三个坐标轴上的数值;根据预设操作与数值的对应关系及位移在三个坐标轴上的数值,确定目标操作,该预设操作用于对仿真设备的界面进行操控,该仿真设备包括AR设备和VR设备;根据目标操作对界面进行显示操控。本发明可增强仿真设备在界面操控中的代入感。

Description

界面操控方法、装置及系统
技术领域
本发明实施例涉及操控技术领域,尤其涉及一种界面操控方法、装置及系统。
背景技术
随着科技的发展,虚拟现实(Virtual Reality,VR)和增强现实(AugmentedReality,AR)等技术应用而生。该些技术均是将真实世界信息和虚拟世界信息无缝集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息,例如,视觉信息,声音,味道,触觉等,通过电脑等科学技术,模拟仿真后再叠加,实现将虚拟的信息应用到真实世界,被用户感官所感知,从而达到超越现实的感官体验。
其中,对VR或AR的应用,可体现为具体的VR设备或AR设备。在现有的VR设备或AR设备中,通常情况下,对于界面的操控类似传统的3D游戏,例如,通过手柄的摇杆进行左选操作或右选操作,然后通过手柄的按键进行确认操作,等等。但该种界面操控方法使得VR设备或AR设备的代入感较差。
发明内容
本发明实施例提供一种界面操控方法、装置及系统,以增强VR设备或AR设备在界面操控中的代入感。
第一方面,本发明实施例提供一种界面操控方法,包括:
检测手持设备的移动操作;
获取所述移动操作在三维空间中对应的位移;
分解所述位移至三维坐标轴上,得到所述位移在三个坐标轴上的数值;
根据预设操作与数值的对应关系及所述位移在三个坐标轴上的数值,确定目标操作,所述预设操作用于对仿真设备的界面进行操控,所述仿真设备包括AR设备和VR设备;
根据所述目标操作对界面进行显示操控。
第二方面,本发明实施例提供一种界面操控装置,包括:
检测模块,用于检测手持设备的移动操作;
获取模块,用于获取所述移动操作在三维空间中对应的位移;
分解模块,用于分解所述位移至三维坐标轴上,得到所述位移在三个坐标轴上的数值;
确定模块,用于根据预设操作与数值的对应关系及所述位移在三个坐标轴上的数值,确定目标操作,所述预设操作用于对仿真设备的界面进行操控,所述仿真设备包括AR设备和VR设备;
操控模块,用于根据所述目标操作对界面进行显示操控。
第三方面,本发明实施例提供一种界面操控系统,包括:如第二方面中任一项所述的界面操控装置和仿真设备,所述仿真设备包括AR设备和VR设备。
本发明实施例提供一种界面操控方法、装置及系统,在检测到手持设备的移动操作之后,获取该移动操作在三维空间中对应的位移,并分解该位移至三维坐标轴上,得到位移在三个坐标轴上的数值,进而根据预设操作与数值的对应关系及位移在三个坐标轴上的数值,确定目标操作,对仿真设备(包括VR设备和AR设备)的界面进行显示操控,从而增强仿真设备在界面操控中的代入感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的界面操控方法的流程图;
图2A为本发明实施例提供的界面操控方法中一预设操作示意图;
图2B为本发明实施例提供的界面操控方法中一预设操作对应的界面示意图;
图3为本发明实施例提供的界面操控方法中另一预设操作示意图;
图4为本发明另一实施例提供的界面操控方法的流程图;
图5为本发明另一实施例提供的界面操控方法中预设区域的示例图;
图6为本发明一实施例提供的界面操控装置的结构示意图;
图7为本发明一实施例提供的界面操控装置的结构示意图;
图8为本发明一实施例提供的界面操控系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
针对现有界面操控方法使得VR设备或AR设备的代入感较差的问题,本发明实施例提出一种界面操控方法、装置及系统,以达到增强VR设备或AR设备在界面操控中的代入感的目的。
图1为本发明一实施例提供的界面操控方法的流程图。该方法的执行主体可以是界面操控装置,该界面操控装置可以为手持设备或内置于手持设备。其中,手持设备例如是智能手柄、数据手套、智能手机、游戏机等终端,但不以此为限。
通过在界面操控装置的处理器上执行软件应用,结合手持设备的动作,对仿真设备对应的界面进行操控,实现多级界面的显示和/或切换显示。应当理解,本发明中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
如图1所示,本实施例的方法包括:
S101、检测手持设备的移动操作。
在实际应用中,仿真设备开启后,其正前方会呈现一界面,例如用户界面(UserInterface,简称:UI),用户可通过界面操控装置操控该界面。其中,仿真设备包括但不限于AR设备和VR设备等。
由于VR是纯虚拟场景,所以VR装备更多的是用于用户与虚拟场景的互动交互,更多的使用是:位置跟踪器、数据手套、动捕系统、头显设备和数据头盔,等等。
而AR是现实场景和虚拟场景的结合,所以基本都需要摄像头,在摄像头拍摄的画面基础上,结合虚拟画面进行展示和互动,例如,谷歌眼镜等。
由于本方法的执行主体可以是界面操控装置,该界面操控装置可以为手持设备或内置于手持设备,因此,界面操控装置可以检测到手持设备的移动操作;而界面操控装置可以对仿真设备的界面进行显示操控。
操控过程中,用户控制手持设备进行移动操作,也就是说,手持设备在三维空间中的位置发生变化,例如向前、向后、向左、向右、向上或向下移动等。
S102、获取该移动操作在三维空间中对应的位移。
具体地,上述手持设备的移动操作对应的移动轨迹形成一位移,这里用于获取该位移。
S103、分解位移至三维坐标轴上,得到该位移在三个坐标轴上的数值。
其中,三维坐标轴为过空间定点O(即原点)作三条互相垂直的数轴,包括X轴、Y轴和Z轴,位于坐标轴上的点的位置由一个坐标值唯一确定,而其他的坐标在此轴上的值是零。
示例性地,该实施例可将该位移对应的起始点所处的位置定义为原点,X轴用于表示水平左右方向,Z轴用于表示水平前后方向,Y轴用于表示竖直上下方向,XOZ平面即为水平面。
具体地,将位移分解至三维坐标轴上之后,可以得到该位移对应X轴、Y轴和Z轴的数值。例如,手持设备在X轴方向上移动-Lx,或者,手持设备在Y轴方向上移动Ly,等等。
S104、根据预设操作与数值的对应关系及该位移在三个坐标轴上的数值,确定目标操作,该预设操作用于对仿真设备的界面进行操控。
其中,预设操作,即预先定义的相关操作,可至少包括左滑操作、右滑操作、上滑操作、下滑操作、推操作和拉操作。
预设操作与数值的对应关系中定义了预设操作与数值范围的对应关系。示例性地,预设操作与数值的对应关系,可以具体为以下至少之一:
当X轴上的数值小于第一阈值,预设操作为左滑操作;
当X轴上的数值大于第二阈值,预设操作为右滑操作;
当Y轴上的数值小于第三阈值,预设操作为下滑操作;
当Y轴上的数值大于第四阈值,预设操作为上滑操作;
当Z轴上的数值小于第五阈值,预设操作为拉操作;
当Z轴上的数值大于第六阈值,预设操作为推操作。
可以理解,在上述示例中,各阈值(包括第一阈值、第二阈值、第三阈值、第四阈值、第五阈值和第六阈值)的大小可根据实际需求进行设置;但明显地,第二阈值大于第一阈值,第四阈值大于第三阈值,第六阈值大于第五阈值。
需说明的是,这里所说的第一阈值和第二阈值等是相对的,仅为对不同阈值进行区分的命名方式,并不代表阈值之间的次序。另外,对于预设操作与数值的对应关系,可选地,还可以为:当Y轴上的数值小于第三阈值,预设操作为左滑操作;当Y轴上的数值大于第四阈值,预设操作为右滑操作;以此类推。也就是说,各坐标轴与各预设操作的具体对应也可根据实际需求进行设置,本发明实施例不对其进行限制。
该步骤中,界面操控装置在预设操作与数值的对应关系中,查询该位移在三个坐标轴上的数值对应的目标操作。
一种实现方式中,根据该位移在三个坐标轴上的数值得出空间坐标(x,y,z),取max{|x|,|y|,|z|},只要x,y,z中绝对值最大的值满足上述阈值(包括第一阈值、第二阈值、第三阈值、第四阈值、第五阈值和第六阈值),则判定为满足界面显示操控的条件,确定该最大值对应的目标操作。
S105、根据目标操作对界面进行显示操控。
具体地,界面操控装置根据目标操作操控界面,操控结果通过仿真设备显示给用户。
本实施例中,在检测到手持设备的移动操作之后,获取该移动操作在三维空间中对应的位移,并分解该位移至三维坐标轴上,得到位移在三个坐标轴上的数值,进而根据预设操作与数值的对应关系及位移在三个坐标轴上的数值,确定目标操作,对仿真设备(包括VR设备和AR设备)的界面进行显示操控,从而增强仿真设备在界面操控中的代入感。
在上述实施例的基础上,对于根据目标操作对界面进行显示操控,可通过多种方式实现,以下进行具体说明。
一种实现方式中,目标操作为上滑操作或下滑操作。
该实现方式中,根据目标操作对界面进行显示操控,可包括:操控当前界面进行向上滑动显示或向下滑动显示。具体可参考用户对手机界面的上下滑动显示,此处不再赘述。
另一种实现方式中,目标操作为左滑操作或右滑操作。
该实现方式中,根据目标操作对界面执行显示操控,可包括:操控界面进行同级切换显示。
其中,界面之间存在预设关系,多个界面之间可以是同级的,也可以是非同级的。例如,若界面A与界面B是相关的,界面A只是在界面B的基础上,增添或减少了信息,并没有更改界面B的信息,界面A的出现不会使得界面B被覆盖,则界面A与界面B是同级的;若界面A与界面B不相关,切换时,界面A需要把界面B覆盖,则界面A与界面B不同级。
这里,同级切换显示,可以理解为同级界面之间的切换显示。
又一种实现方式中,目标操作为推操作或拉操作。
该实现方式中,根据目标操作对界面执行显示操控,可包括:操控界面进行非同级切换显示。
参考前述,非同级切换显示,可以理解为非同级界面之间的切换显示。
可替换地,目标操作为左滑操作或右滑操作时,根据目标操作对界面执行显示操控,可包括:操控界面进行非同级切换显示;目标操作为推操作或拉操作,根据目标操作对界面执行显示操控,可包括:操控界面进行同级切换显示。
进一步地,操控界面进行非同级切换显示,可包括:当目标操作为推操作(如图2A所示)时,操控当前界面往前消失,并操控次级界面进行显示,如图2B所示;或者,当目标操作为拉操作(如图3所示)时,操控当前界面往后消失,并操控上一级界面进行显示。这里,图2A、图2B及图3中,手持设备均以智能手机为例进行说明,但本发明实施例不以此为限。
图4为本发明另一实施例提供的界面操控方法的流程图。如图4所示,在图1所示流程的基础上,该界面操控方法还可以包括:
S401、检测手持设备在预设区域内,该预设区域为仿真设备之前界面之后的区域。
首先,定义界面中心在仿真设备的正前方z距离的位置。预设区域可具体为仿真设备与界面之间的一长方体区域,具体如图5所示;或者,预设区域可具体为仿真设备与界面之间的任意一立体区域。
当手持设备,例如手柄,进入到该预设区域,确定界面为自由操作模式(即S402)。
在该自由操作模式下,当用户移动手持设备时,手持设备在当前界面上的投影也随之移动,以使用户选择当前界面上的空间或位置。
其中,S401与S402为可选步骤,并非在每次执行界面操控方法时均执行。示例性地,若之前已经确定界面为自由操作模式,则无需再执行该两个步骤。
S403、检测手持设备上的输入操作,该输入操作包括点击控件操作。
其中,控件可具体为按钮或界面上的预设位置。
自由操作模式下,实时检测手持设备上的输入操作。具体可通过手持设备内置的传感器实现对输入操作的检测。
在检测到手持设备上的输入操作时,确定界面为选中操作模式(即S404)。
在选中操作模式下,当用户移动手持设备时,检测手持设备的移动操作,并根据移动操作对仿真设备的界面进行显示操控。
也就是说,输入操作前后界面的模式是不同的:输入操作前,界面为自由操作模式;输入操作后,界面为选中操作模式。
可选地,在检测到手持设备上的输入操作时,该输入操作对应的控件被选中。
在选中操作模式下,实时检测手持设备的移动操作,即再执行如图1所示的流程。
进一步地,在选中操作模式下,当用户触发了某种操作,则界面退出选中操作模式,进入自由操作模式。其中,这里的“某种操作”可以是手持设备出厂时的默认设置,或者用户根据自身需求进行的更改设置,或者,通过其他方式进行设置的,本发明对此不进行限制。
本发明实施例提供的界面操控方法,可使得用户通过手持设备,方便易懂的与仿真设备进行交互,且在对仿真设备的界面进行显示操控时,提高了仿真设备的代入感。
下述为本发明装置实施例,可以用于执行本发明上述方法实施例。
图6为本发明一实施例提供的界面操控装置的结构示意图,如图6所示,本实施例的界面操控装置50可以包括:检测模块51、获取模块52、分解模块53、确定模块54和操控模块55。
其中,检测模块51,用于检测手持设备的移动操作。
获取模块52,用于获取移动操作在三维空间中对应的位移。
分解模块53,用于分解该位移至三维坐标轴上,得到位移在三个坐标轴上的数值。
确定模块54,用于根据预设操作与数值的对应关系及位移在三个坐标轴上的数值,确定目标操作。其中,所述预设操作用于对仿真设备的界面进行操控。仿真设备可包括AR设备和VR设备。
操控模块55,用于根据目标操作对界面进行显示操控。
本实施例的装置,可以用于执行本发明上述各方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
可选地,预设操作与数值的对应关系,可具体如以下至少之一:
当X轴上的数值小于第一阈值,预设操作为左滑操作;
当X轴上的数值大于第二阈值,预设操作为右滑操作,其中,第二阈值大于第一阈值;
当Y轴上的数值小于第三阈值,预设操作为下滑操作;
当Y轴上的数值大于第四阈值,预设操作为上滑操作,其中,第四阈值大于第三阈值;
当Z轴上的数值小于第五阈值,预设操作为拉操作;
当Z轴上的数值大于第六阈值,预设操作为推操作,其中,第六阈值大于第五阈值。
在上述基础上,第一种具体实现方式中,目标操作为上滑操作或下滑操作。此时,操控模块55可具体用于:操控当前界面进行向上滑动显示或向下滑动显示。
第二种具体实现方式中,目标操作为左滑操作或右滑操作。该实现方式中,操控模块55可具体用于:操控界面进行同级切换显示。
第三种具体实现方式中,目标操作为推操作或拉操作。该实现方式中,操控模块55可具体用于:操控界面进行非同级切换显示。
进一步地,在操控模块55用于操控界面进行非同级切换显示时,可具体为:当目标操作为推操作时,操控当前界面往前消失,并操控次级界面进行显示;或者,当目标操作为拉操作时,操控当前界面往后消失,并操控上一级界面进行显示。
可选地,检测模块51还可用于:在检测手持设备的移动操作之前,检测手持设备上的输入操作。该输入操作可以包括点击控件操作。对应地,确定模块54还可用于:确定所述界面为选中操作模式。
在选中操作模式下,当用户移动手持设备时,检测手持设备的移动操作,并根据移动操作对仿真设备的界面进行显示操控。
更进一步地,检测模块51还用于:在检测手持设备上的输入操作之前,检测手持设备在预设区域内,该预设区域为仿真设备之前界面之后的区域。对应地,确定模块54还可用于:确定界面为自由操作模式。
在自由操作模式下,当用户移动手持设备时,手持设备在当前界面上的投影也随之移动,以使用户选择当前界面上的空间或位置。
上述实施例,在检测到手持设备的移动操作之后,获取该移动操作在三维空间中对应的位移,并分解该位移至三维坐标轴上,得到位移在三个坐标轴上的数值,进而根据预设操作与数值的对应关系及位移在三个坐标轴上的数值,确定目标操作,对仿真设备(包括VR设备和AR设备)的界面进行显示操控,从而增强仿真设备在界面操控中的代入感。
图7为本发明一实施例提供的界面操控装置的结构示意图。如图7所示,本实施例的界面操控装置60包括:存储器61和处理器62。其中,存储器61和处理器62之间可通过总线连接。
存储器61,用于存储程序指令。
处理器62,用于在程序指令被执行时实现如下步骤:
检测手持设备的移动操作;
获取移动操作在三维空间中对应的位移;
分解该位移至三维坐标轴上,得到该位移在三个坐标轴上的数值;
根据预设操作与数值的对应关系及位移在三个坐标轴上的数值,确定目标操作,该预设操作用于对仿真设备的界面进行操控,仿真设备包括AR设备和VR设备;
根据目标操作对界面进行显示操控。
可选地,预设操作与数值的对应关系,可具体如以下至少之一:
当X轴上的数值小于第一阈值,预设操作为左滑操作;
当X轴上的数值大于第二阈值,预设操作为右滑操作,其中,第二阈值大于第一阈值;
当Y轴上的数值小于第三阈值,预设操作为下滑操作;
当Y轴上的数值大于第四阈值,预设操作为上滑操作,其中,第四阈值大于第三阈值;
当Z轴上的数值小于第五阈值,预设操作为拉操作;
当Z轴上的数值大于第六阈值,预设操作为推操作,其中,第六阈值大于第五阈值。
示例一,目标操作为上滑操作或下滑操作。此时,处理器62可具体用于:操控当前界面进行向上滑动显示或向下滑动显示。
示例二,目标操作为左滑操作或右滑操作。该实现方式中,处理器62可具体用于:操控界面进行同级切换显示。
示例三,目标操作为推操作或拉操作。该实现方式中,处理器62可具体用于:操控界面进行非同级切换显示。
进一步地,在处理器62用于操控界面进行非同级切换显示时,可具体为:当目标操作为推操作时,操控当前界面往前消失,并操控次级界面进行显示;或者,当目标操作为拉操作时,操控当前界面往后消失,并操控上一级界面进行显示。
可选地,处理器62还可用于:在检测手持设备的移动操作之前,检测手持设备上的输入操作,该输入操作可以包括点击控件操作;以及,确定所述界面为选中操作模式。
更进一步地,处理器62还用于:在检测手持设备上的输入操作之前,检测手持设备在预设区域内,该预设区域为仿真设备之前界面之后的区域;及,确定界面为自由操作模式。
需说明的是,在选中操作模式下,当用户移动手持设备时,检测手持设备的移动操作,并根据移动操作对仿真设备的界面进行显示操控;在自由操作模式下,当用户移动手持设备时,手持设备在当前界面上的投影也随之移动,以使用户选择当前界面上的空间或位置。
图8为本发明一实施例提供的界面操控系统的结构示意图。如图8所示,本实施例的界面操控系统80包括:界面操控装置81和仿真设备82。二者的连接方式可以为有线电连接或无线通信连接。
其中,界面操控装置81具体结构可如图6或图7所示,其实现原理和技术效果类似,此处不再赘述。另外,仿真设备82可以具体为AR设备和/或VR设备。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (17)

1.一种界面操控方法,其特征在于,包括:
检测手持设备的移动操作;
获取所述移动操作在三维空间中对应的位移;
分解所述位移至三维坐标轴上,得到所述位移在三个坐标轴上的数值;所述位移对应的起始点所处的位置为所述三维坐标轴的原点;
根据预设操作与数值的对应关系及所述位移在三个坐标轴上的数值,确定目标操作,所述预设操作用于对仿真设备的界面进行操控,所述仿真设备包括增强现实AR设备和虚拟现实VR设备;所述目标操作为所述位移在三个坐标轴上的数值中绝对值最大的数值对应的操作;所述目标操作包括左滑操作或右滑操作、推操作或拉操作;所述左滑操作或右滑操作用于对所述界面进行同级切换显示,所述推操作或拉操作用于对所述界面进行非同级切换显示;所述同级切换是指界面A的出现不会使得界面B被覆盖;所述非同级切换是指界面A的出现会使得界面B被覆盖;
根据所述目标操作对界面进行显示操控。
2.根据权利要求1所述的方法,其特征在于,所述预设操作与数值的对应关系,具体为以下至少之一:
当X轴上的数值小于第一阈值,所述预设操作为左滑操作;
当X轴上的数值大于第二阈值,所述预设操作为右滑操作,所述第二阈值大于所述第一阈值;
当Y轴上的数值小于第三阈值,所述预设操作为下滑操作;
当Y轴上的数值大于第四阈值,所述预设操作为上滑操作,所述第四阈值大于所述第三阈值;
当Z轴上的数值小于第五阈值,所述预设操作为拉操作;
当Z轴上的数值大于第六阈值,所述预设操作为推操作,所述第六阈值大于所述第五阈值。
3.根据权利要求1所述的方法,其特征在于,所述目标操作还包括上滑操作或下滑操作,所述根据所述目标操作对界面进行显示操控,包括:
操控当前界面进行向上滑动显示或向下滑动显示。
4.根据权利要求1所述的方法,其特征在于,所述目标操作为左滑操作或右滑操作,所述根据所述目标操作对界面执行显示操控,包括:
操控界面进行同级切换显示。
5.根据权利要求1所述的方法,其特征在于,所述目标操作为推操作或拉操作,所述根据所述目标操作对界面执行显示操控,包括:
操控界面进行非同级切换显示。
6.根据权利要求5所述的方法,其特征在于,所述操控界面进行非同级切换显示,包括:
当所述目标操作为推操作时,操控当前界面往前消失,并操控次级界面进行显示;
或者,当所述目标操作为拉操作时,操控当前界面往后消失,并操控上一级界面进行显示。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述检测手持设备的移动操作之前,所述方法还包括:
检测所述手持设备上的输入操作,所述输入操作包括点击控件操作;
确定所述界面为选中操作模式;
在所述选中操作模式下,当用户移动所述手持设备时,检测所述手持设备的移动操作,并根据所述移动操作对仿真设备的界面进行显示操控。
8.根据权利要求7所述的方法,其特征在于,所述检测所述手持设备上的输入操作之前,所述方法还包括:
检测所述手持设备在预设区域内,所述预设区域为所述仿真设备之前所述界面之后的区域;
确定所述界面为自由操作模式;
在所述自由操作模式下,当用户移动所述手持设备时,所述手持设备在当前界面上的投影也随之移动,以使用户选择当前界面上的空间或位置。
9.一种界面操控装置,其特征在于,包括:
检测模块,用于检测手持设备的移动操作;
获取模块,用于获取所述移动操作在三维空间中对应的位移;
分解模块,用于分解所述位移至三维坐标轴上,得到所述位移在三个坐标轴上的数值;所述位移对应的起始点所处的位置为所述三维坐标轴的原点;
确定模块,用于根据预设操作与数值的对应关系及所述位移在三个坐标轴上的数值,确定目标操作,所述预设操作用于对仿真设备的界面进行操控,所述仿真设备包括增强现实AR设备和虚拟现实VR设备;所述目标操作为所述位移在三个坐标轴上的数值中绝对值最大的数值对应的操作;所述目标操作包括左滑操作或右滑操作、推操作或拉操作;所述左滑操作或右滑操作用于对所述界面进行同级切换显示,所述推操作或拉操作用于对所述界面进行非同级切换显示;所述同级切换是指界面A的出现不会使得界面B被覆盖;所述非同级切换是指界面A的出现会使得界面B被覆盖;
操控模块,用于根据所述目标操作对界面进行显示操控。
10.根据权利要求9所述的装置,其特征在于,所述预设操作与数值的对应关系,具体为以下至少之一:
当X轴上的数值小于第一阈值,所述预设操作为左滑操作;
当X轴上的数值大于第二阈值,所述预设操作为右滑操作,所述第二阈值大于所述第一阈值;
当Y轴上的数值小于第三阈值,所述预设操作为下滑操作;
当Y轴上的数值大于第四阈值,所述预设操作为上滑操作,所述第四阈值大于所述第三阈值;
当Z轴上的数值小于第五阈值,所述预设操作为拉操作;
当Z轴上的数值大于第六阈值,所述预设操作为推操作,所述第六阈值大于所述第五阈值。
11.根据权利要求9所述的装置,其特征在于,所述目标操作还包括上滑操作或下滑操作,所述操控模块具体用于:
操控当前界面进行向上滑动显示或向下滑动显示。
12.根据权利要求9所述的装置,其特征在于,所述目标操作为左滑操作或右滑操作,所述操控模块具体用于:
操控界面进行同级切换显示。
13.根据权利要求9所述的装置,其特征在于,所述目标操作为推操作或拉操作,所述操控模块具体用于:
操控界面进行非同级切换显示。
14.根据权利要求13所述的装置,其特征在于,所述操控模块用于操控界面进行非同级切换显示时,具体为:
当所述目标操作为推操作时,操控当前界面往前消失,并操控次级界面进行显示;或者,当所述目标操作为拉操作时,操控当前界面往后消失,并操控上一级界面进行显示。
15.根据权利要求9至14中任一项所述的装置,其特征在于,
所述检测模块还用于:在检测手持设备的移动操作之前,检测所述手持设备上的输入操作,所述输入操作包括点击控件操作;
所述确定模块还用于:确定所述界面为选中操作模式;
在所述选中操作模式下,当用户移动所述手持设备时,检测所述手持设备的移动操作,并根据所述移动操作对仿真设备的界面进行显示操控。
16.根据权利要求15所述的装置,其特征在于,
所述检测模块还用于:在检测所述手持设备上的输入操作之前,检测所述手持设备在预设区域内,所述预设区域为所述仿真设备之前所述界面之后的区域;
所述确定模块还用于:确定所述界面为自由操作模式;
在所述自由操作模式下,当用户移动所述手持设备时,所述手持设备在当前界面上的投影也随之移动,以使用户选择当前界面上的空间或位置。
17.一种界面操控系统,其特征在于,包括:如权利要求9至16中任一项所述的界面操控装置和仿真设备,所述仿真设备包括增强现实AR设备和虚拟现实VR设备。
CN201711058630.4A 2017-11-01 2017-11-01 界面操控方法、装置及系统 Active CN107728811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711058630.4A CN107728811B (zh) 2017-11-01 2017-11-01 界面操控方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711058630.4A CN107728811B (zh) 2017-11-01 2017-11-01 界面操控方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107728811A CN107728811A (zh) 2018-02-23
CN107728811B true CN107728811B (zh) 2022-02-18

Family

ID=61221438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711058630.4A Active CN107728811B (zh) 2017-11-01 2017-11-01 界面操控方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107728811B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196629A (zh) * 2018-02-27 2019-09-03 优酷网络技术(北京)有限公司 虚拟现实界面展示控制方法及装置
CN113687717A (zh) * 2021-08-10 2021-11-23 青岛小鸟看看科技有限公司 基于位置变化的vr交互方法、系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034346A (zh) * 2012-12-24 2013-04-10 华为软件技术有限公司 终端、遥控器及三维播放模式下显示器的调整方法
CN103077170A (zh) * 2011-10-26 2013-05-01 腾讯科技(深圳)有限公司 一种基于物理运动的网页浏览的方法和装置
CN103823548A (zh) * 2012-11-19 2014-05-28 联想(北京)有限公司 电子设备、穿戴式设备、控制系统和方法
CN105446468A (zh) * 2014-08-25 2016-03-30 乐视致新电子科技(天津)有限公司 操控模式的切换方法及装置
CN205982821U (zh) * 2016-06-08 2017-02-22 北京永利范思科技有限公司 一种适用于iPhone手机的外置运动跟踪传感器VR眼镜
CN106648031A (zh) * 2016-12-29 2017-05-10 北京奇艺世纪科技有限公司 一种控制vr设备工作的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160035246A1 (en) * 2014-07-31 2016-02-04 Peter M. Curtis Facility operations management using augmented reality
US20170235462A1 (en) * 2016-02-16 2017-08-17 Le Holdings (Beijing) Co., Ltd. Interaction control method and electronic device for virtual reality
US10048751B2 (en) * 2016-03-31 2018-08-14 Verizon Patent And Licensing Inc. Methods and systems for gaze-based control of virtual reality media content
CN106843498B (zh) * 2017-02-24 2020-05-22 网易(杭州)网络有限公司 基于虚拟现实的动态界面交互方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077170A (zh) * 2011-10-26 2013-05-01 腾讯科技(深圳)有限公司 一种基于物理运动的网页浏览的方法和装置
CN103823548A (zh) * 2012-11-19 2014-05-28 联想(北京)有限公司 电子设备、穿戴式设备、控制系统和方法
CN103034346A (zh) * 2012-12-24 2013-04-10 华为软件技术有限公司 终端、遥控器及三维播放模式下显示器的调整方法
CN105446468A (zh) * 2014-08-25 2016-03-30 乐视致新电子科技(天津)有限公司 操控模式的切换方法及装置
CN205982821U (zh) * 2016-06-08 2017-02-22 北京永利范思科技有限公司 一种适用于iPhone手机的外置运动跟踪传感器VR眼镜
CN106648031A (zh) * 2016-12-29 2017-05-10 北京奇艺世纪科技有限公司 一种控制vr设备工作的方法和装置

Also Published As

Publication number Publication date
CN107728811A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
JP6702489B2 (ja) ヘッドマウントディスプレイ、情報処理方法、及びプログラム
KR101151962B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
EP2895911B1 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
KR101381928B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
CN106873767B (zh) 一种虚拟现实应用的运行控制方法和装置
CN106873886B (zh) 一种立体显示的控制方法、装置和电子设备
JP7150108B2 (ja) ゲームプログラム、情報処理装置、情報処理システム、および、ゲーム処理方法
JP6165485B2 (ja) 携帯端末向けarジェスチャユーザインタフェースシステム
CN109542222B (zh) 三维视角控制方法、装置、设备以及可读存储介质
CN106445118B (zh) 虚拟现实交互方法及装置
CN111784844B (zh) 观察虚拟对象的方法、装置、存储介质及电子设备
US20190294314A1 (en) Image display device, image display method, and computer readable recording device
CN107728811B (zh) 界面操控方法、装置及系统
CN112068757B (zh) 一种用于虚拟现实的目标选择方法及系统
CN111161396B (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
KR101321274B1 (ko) 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
KR101338958B1 (ko) 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
CN109155081B (zh) 三维数据显示装置、三维数据显示方法以及程序
CN112965773A (zh) 用于信息显示的方法、装置、设备和存储介质
CN105988686A (zh) 播放界面的显示方法、装置及终端
CN109643182B (zh) 信息处理方法、装置、云处理设备及计算机程序产品
US20230267667A1 (en) Immersive analysis environment for human motion data
US10845888B2 (en) Techniques for integrating different forms of input with different forms of output when interacting with an application
KR101272458B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant