CN106970697A - 界面交互装置及方法 - Google Patents

界面交互装置及方法 Download PDF

Info

Publication number
CN106970697A
CN106970697A CN201610021040.3A CN201610021040A CN106970697A CN 106970697 A CN106970697 A CN 106970697A CN 201610021040 A CN201610021040 A CN 201610021040A CN 106970697 A CN106970697 A CN 106970697A
Authority
CN
China
Prior art keywords
interface
user
head
instruction
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610021040.3A
Other languages
English (en)
Other versions
CN106970697B (zh
Inventor
董建明
郑维希
孙喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610021040.3A priority Critical patent/CN106970697B/zh
Priority to US15/405,404 priority patent/US10860092B2/en
Priority to EP19189264.5A priority patent/EP3629133B1/en
Priority to EP17151336.9A priority patent/EP3193240B1/en
Priority to ES17151336T priority patent/ES2757587T3/es
Publication of CN106970697A publication Critical patent/CN106970697A/zh
Application granted granted Critical
Publication of CN106970697B publication Critical patent/CN106970697B/zh
Priority to US17/096,143 priority patent/US11460916B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

本发明公开了一种界面交互方法，属于增强现实技术领域。所述方法包括：获取用户头部的转动参数，所述转动参数包括：转动方向、转动角度以及转动角加速度；根据获取到的所述转动参数以及预先设置的指令确定规则确定交互指令；执行确定的所述交互指令，以实现对显示组件显示的界面的交互控制；通过获取用户头部的转动方向、转动角度以及转动角加速度等转动参数，结合该转动参数以及预先设置的指令确定规则确定交互指令，执行确定的交互指令，以实现对显示的界面的交互控制，提供了一种仅通过用户头部转动操作即可以实现与虚拟界面进行主动交互的方法，扩展了虚拟界面的交互方式，从而提高用户的使用体验。

Description

界面交互装置及方法
技术领域
本发明涉及增强现实技术领域，特别涉及一种界面交互装置及方法。
背景技术
随着电子以及显示技术的不断发展，人们对信息获取的便捷性的要求也越来越高，而增强现实技术则是能够满足这一要求的前沿技术之一。
现有的增强现实技术能够自动分析图像采集设备采集到的实时图像中的物体，查询识别出的物体相关的信息，如文字、图片、视频以及声音等，并将查询到的信息融合在实时图像中进行显示。比如，以某智能眼镜为例，该智能眼镜包含一个或多个拍摄视界与佩戴者视界相同的摄像头，当摄像头拍摄到某一物体，比如一栋高楼时，智能眼镜将对该高楼进行识别，并根据识别结果查询该大楼的名称、高度以及建造日期等信息，并通过智能眼镜的镜片显示查询到的信息。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
现有的增强现实技术中，实时图像中物体信息的显示方式较为固定，且用户只能被动接受显示的信息，而无法与显示的信息进行交互，导致用户的使用体验较低。
发明内容
为了解决现有技术中用户只能被动接受显示的信息，而无法与显示的信息进行交互，导致用户的使用体验较低的问题，本发明实施例提供了一种界面交互装置及方法。所述技术方案如下：
第一方面，提供了一种界面交互方法，该方法包括：获取用户头部的转动参数，该转动参数包括：转动方向、转动角度以及转动角加速度；根据获取到的该转动参数以及预先设置的指令确定规则确定交互指令；执行确定的所述交互指令，以实现对显示组件显示的界面的交互控制。
本发明实施例提供的界面交互方法，通过获取用户头部的转动方向、转动角度以及转动角加速度等转动参数，结合该转动参数以及预先设置的指令确定规则确定交互指令，执行确定的交互指令，以实现对显示组件显示的界面的交互控制，提供了一种仅通过用户头部转动操作即可以实现与虚拟界面进行主动交互的方法，扩展了虚拟界面的交互方式，从而提高用户的使用体验。
在第一方面的第一种可能实现方式中，该显示的界面包括至少两个界面，该至少两个界面分属于不同的界面组，其中，每个界面组包含至少一个界面，且每个该界面组在同一时刻仅有一个界面被显示。提供一种可用的界面展示方式，以便用户可以通过简单的头部动作切换显示不同的信息，实现海量信息的有序布局，提高了信息获取的便利性。
结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，该至少两个界面按照从左到右的顺序排列，且该用户正视时视线正对的第一界面处于激活状态；该根据获取到的该转动参数以及预先设置的指令确定规则确定交互指令，包括：判断r＞t是否成立，r为该用户头部在垂直方向上的转动角度，t为该用户头部在水平方向上的转动角度；若判断结果为r＞t成立，则根据r和该用户头部在垂直方向上的转动角加速度a生成第一类型交互指令；若判断结果为r＞t不成立，则根据t和用户头部在水平方向上的转动角加速度a’生成第二类型交互指令。从垂直和水平两个维度确定不同的交互指令，扩展了虚拟界面的使用方式。
结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，该根据r和该用户头部在垂直方向上的转动角加速度a生成第一类型交互指令，包括：当该用户头部向上转动，|r|∈[A1，B1]，且|a|＜a1时，生成第一交互指令，该第一交互指令用于指示显示组件将该第一界面替换为第二界面，该第二界面为该第一界面所属的界面组中处于该第一界面之后的一个界面，A1、B1、a1为预设值，0＜A1＜B1，0＜a1。提供一种在单个界面组内，通过用户头部转动的操作进行虚拟界面交互的方法，扩展了虚拟界面的使用方式。
结合第一方面的第二种可能实现方式，在第一方面的第四种可能实现方式中，该根据r和该用户头部在垂直方向上的转动角加速度a生成第一类型交互指令，包括：当该用户头部向下转动，|r|∈[A2，B2]，且|a|＜a2时，生成第二交互指令，该第二交互指令用于指示显示组件显示该第一界面的至少一个控制界面；A2、B2、a2为预设值，0＜A2＜B2，0＜a2。提供一种用户头部转动的操作呼出控制界面的方法，扩展了虚拟界面的使用方式。
结合第一方面的第四种可能实现方式，在第一方面的第五种可能实现方式中，每个该控制界面对应一项控制操作，该方法还包括确定目标控制界面，该目标控制界面是该用户正视时视线正对的控制界面，控制该目标控制界面进入激活状态，检测该目标控制界面持续处于激活状态的时长是否大于预定时长，若检测结果为该目标控制界面持续处于激活状态的时长大于该预定时长，则生成第三交互指令，该第三交互指令用于指示该显示组件显示对该第一界面执行该目标控制界面对应的控制操作后的执行结果。提供了一种通过用户头部转动的操作对界面进行功能控制的方法，扩展了虚拟界面的使用方式。
结合第一方面的第二种可能实现方式，在第一方面的第六种可能实现方式中，该根据r和该用户头部在垂直方向上的转动角加速度a生成第一类型交互指令，包括：当该用户头部向上转动，且|a|≥a3，或者，当该用户头部向下转动，且|a|≥a4时，生成第四交互指令，该第四交互指令用于指示显示组件控制该至少一个界面以该用户头部为中心，按照该用户头部的转动参数进行转动。提供一种控制界面跟随用户头部转动的方法，扩展了虚拟界面的使用方式。
结合第一方面的第二种可能实现方式，在第一方面的第七种可能实现方式中，该根据t和该用户头部在水平方向上的转动角加速度a’生成第二类型交互指令，包括：当|a’|＜a5时，确定该用户正视时视线正对的第三界面，该第三界面是该至少两个界面中，处于该第一界面左侧或右侧的界面，并生成第五交互指令，该第五交互指令用于指示显示组件将处于激活状态的界面由该第一界面切换为该第三界面，a5为预设值，且0＜a5。提供一种在多个界面组之间，通过用户头部转动的操作进行激活界面切换的方法，扩展了虚拟界面的使用方式。
结合第一方面的第二种可能实现方式，在第一方面的第八种可能实现方式中，该根据t和该用户头部在水平方向上的转动角加速度a’生成第二类型交互指令，包括：当|a’|＜a6，所述用户正视时视线未正对任何界面，且位于所述用户头部水平转动方向的一侧不存在所述至少两个界面中的其它界面时，生成第六交互指令，所述第六交互指令用于指示显示组件显示所述至少两个界面之外的功能界面，a6为预设值，且0＜a6。提供一种通过用户头部转动的操作呼出额外的功能界面的方法，扩展了虚拟界面的使用方式。
结合第一方面的第二种可能实现方式，在第一方面的第九种可能实现方式中，该根据t和该用户头部在水平方向上的转动角加速度a’生成第二类型交互指令，包括：当|a’|≥a7时，生成第七交互指令，该第七交互指令用于指示显示组件控制该至少一个界面以该用户头部为中心，按照该用户头部的转动参数进行转动。提供一种控制界面跟随用户头部转动的方法，扩展了虚拟界面的使用方式。
结合第一方面或者第一方面的第一至九种可能实现方式中的任意一种，在第一方面的第十种可能实现方式中，所述显示的界面为基于增强现实技术或者虚拟现实技术的界面。
第二方面，本发明实施例提供了一种电子设备，该电子设备包括：显示组件、处理器和存储器；处理器被配置为执行存储器中存储的指令；处理器通过执行指令来实现上述第一方面或第一方面中任意一种可能的实现方式所提供的界面交互方法。
第三方面，本发明实施例提供了一种界面交互装置，该界面交互装置包括至少一个单元，该至少一个单元用于实现上述第一方面或第一方面中任意一种可能的实现方式所提供的界面交互方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明示例性实施例所示出的电子设备的结构框图；
图2A是本发明一示例性实施例示出的界面交互方法的方法流程图；
图2B是图2A所示实施例涉及的一种界面布局示意图；
图2C是图2A所示实施例涉及的一种交互指令确定方法的方法流程图；
图2D至2G是图2A所示实施例涉及的一种界面替换示意图；
图2H是图2A所示实施例涉及的一种控制界面显示示意图；
图2I是图2A所示实施例涉及的一种界面转动示意图；
图2J是图2A所示实施例涉及的一种第一类型交互指令生成方法的流程图；
图2K是图2A所示实施例涉及的一种激活界面切换示意图；
图2L是图2A所示实施例涉及的一种第二类型交互指令生成方法的流程图；
图3是本发明一个示例性实施例提供的界面交互装置的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明一示例性实施例所示出的电子设备的结构框图。该电子设备100可以包括：处理器110、显示组件120、存储器150以及总线170。显示组件120和存储器150通过总线170与处理器110相连。
其中，处理器110包括运算逻辑部件、寄存器部件以及控制部件等，其可以是独立的中央处理器，或者也可以是嵌入式处理器，比如微处理器(英文：Micro Processor Unit，缩写：MPU)、微控制器(英文：Microcontroller Unit，缩写：MCU)或者数字信号处理器(英文：Embedded Digital Signal Processor，缩写：EDSP)等。
显示组件120可以包括各类固定式、手持式或者可穿戴式设备或所采用的显示屏装置，如液晶显示屏、触摸液晶显示屏、基于光学原理的穿透式投影显示屏等，或者，显示组件120也可以是基于视频合成技术的透射式显示装置。
存储器150由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(英文：Static Random Access Memory，简称：SRAM)，电可擦除可编程只读存储器(英文：Electrically Erasable Programmable Read-OnlyMemory，简称：EEPROM)，可擦除可编程只读存储器(英文：ErasableProgrammable Read Only Memory，简称：EPROM)，可编程只读存储器(英文：Programmable Read-Only Memory，简称：PROM)，只读存储器(英文：Read OnlyMemory，简称：ROM)，磁存储器，快闪存储器，磁盘或光盘。存储器130可用于存储软件程序以及模块等可执行的指令。
处理器110被配置为执行存储器150中存储的指令；处理器110通过执行该指令来实现下述方法：获取用户头部的转动参数，所述转动参数包括：转动方向、转动角度以及转动角加速度；根据获取到的所述转动参数以及预先设置的指令确定规则确定交互指令；执行确定的所述交互指令，以实现对显示组件显示的界面的交互控制。
可选的，如图1所示，电子设备100还可以包括传感器组件130、通信组件140以及高速缓存器160等组件。其中：传感器组件130、通信组件140和高速缓存器160分别通过总线170与处理器110相连。
传感器组件130可以由陀螺仪和加速计组成，通过陀螺仪能够测量沿一个轴或几个轴转动的角度和角速度，通过加速度计能够测量转动的角加速度，结合使用这两种传感器，能准确跟踪并捕捉三维空间内的完整运动。在本发明中，传感器组件130可以设置为佩戴在用户头部，以测量用户头部的转动参数。
通信组件140用于对外通信，其可以包括多种类型接口，比如以太网络接口或者无线收发器等。
高速缓存器160用于缓存处理器110计算过程中的一些中间数据。
可选的，存储器150可存储操作系统152以及至少一个功能所需的应用程序模块154。操作系统152可以是实时操作系统(Real Time eXecutive，RTX)、LINUX、UNIX、WINDOWS或OS X之类的操作系统。应用程序模块154可以包括：传感参数获取模块154a、指令确定模块154b以及执行模块154c；
传感参数获取模块154a用于获取用户头部的转动参数，该转动参数包括：转动方向、转动角度以及转动角加速度。
指令确定模块154b用于根据获取到的转动参数以及预先设置的指令确定规则确定交互指令。
执行模块154c用于执行确定的交互指令，以实现对显示组件显示的界面的交互控制。
可选的，在本发明中，电子设备100还可以包括：摄像头(图中未示出)。
本发明上述实施例以各个组件设置在单独的一个部件中为例进行说明，比如，上述电子设备100可以实现为一个智能可穿戴设备(比如智能眼镜或者头戴式虚拟现实设备)，该智能可穿戴设备包含上述所有组件。
可选的，在另一种可能的实现方式中，上述各个组件也可以分别设置在不同的部件中。比如，上述电子设备100也可以由智能可穿戴设备和辅助运算设备(比如一个便携式移动终端或者云端服务器)组成，其中，智能可穿戴设备中设置有上述显示组件120、传感器组件130以及通信组件140，辅助运算设备中设置有上述处理器110、存储器150、高速缓存器160、总线170等。
图2A是本发明一示例性实施例示出的界面交互方法的方法流程图，该方法可以用于如图1所示的电子设备中。如图2A所示，该界面交互方法可以包括：
步骤201，控制显示组件显示至少两个界面，该至少两个界面分属于不同的界面组。
其中，每个界面组包含至少一个界面，且每个界面组在同一时刻仅有一个界面被显示。
在本发明实施例中，电子设备的显示组件显示的界面可以为基于增强现实技术或者虚拟现实技术的界面，比如，该至少两个界面可以是在穿透式投影显示屏上，或者，在基于视频合成技术的透射式显示装置上显示的虚拟界面。该至少两个界面可以按照线性排列，比如，该至少两个界面可以按照从左到右的顺序排列，或者，该至少两个界面也可以按照从上到下的顺序排列，显示的每个界面都属于不同的界面组，也就是说，一个界面组中只有处于最前方的一个界面处于完全可视的状态，其它界面被最前方的界面完全或者部分阻挡。在初次显示上述至少两个界面时，电子设备默认将第一界面显示在用户正视时视线正对的方向上，且该用户正视时视线正对的第一界面处于激活状态。处于激活状态的界面可以具有特殊的显示效果，比如形体放大、高亮描边、外发光以及投影等。在实际应用中，受限于显示屏或者显示装置的尺寸等因素，用户可能只看到其前方一定视界范围内的界面。在本公开实施例中，用户正视时视线正对的界面可以是与用户正视时的视线相交的界面。本发明实施例中的正视，以用户头部为参照，与用户其它身体部位无关，即上述正视方向是用户脸部的正前方。
在实际应用中，在上述至少两个界面中，靠近中心位置的界面对应的界面组可以显示较为重要的内容，靠近边缘位置的界面对应的界面组可以显示较为次要的内容。类似的，在同一个界面组中，最前方的界面可以显示较为重要的内容，后方的界面可以显示较为次要的内容，且位置越靠前的界面，显示的内容的重要级越高。
以该至少两个界面按照从左到右的顺序排列显示为例，请参考图2B，其示出了本发明实施例提供的一种界面布局示意图。如图2B所示，以用户头部中心为原点建立空间坐标系，用户右方为x轴正方向，上方为y轴正方向，前方为z轴正方向。图2B中示出的5个界面按照从左到右的顺序，以环绕方式显示在用户头部周围的指定位置，该5个界面分别为界面A01、界面B01、界面C01、界面D01以及界面E01，可选的，该界面布局中还可以包含一个特定功能界面(图中未示出)，比如退出界面，该特定功能界面可以显示在用户头部的后方。
在图2B中，界面C01属于界面组C，该界面组C中还包含界面C02～界面C06，且界面C02～界面C06按照y轴正方向依次排列在界面C01的后方。相应的，界面A01属于界面组A，界面B01属于界面组B，界面D01属于界面组D，界面E01属于界面组E，且界面组A、B、D以及E中包含的其它界面未示出。
在图2B中，用户正视时视线正对的界面C01处于激活状态，界面C01的下方为该界面C01的控制界面，分别为界面C01-1、界面C01-2、界面C01-3、界面C01-4以及界面C01-5，每一个控制界面对应一个控制功能，比如确认、取消、添加、删除、编辑、存储以及收藏等。在初始状态下，界面C01的控制界面(界面C01-1、界面C01-2、界面C01-3、界面C01-4以及界面C01-5)处于隐藏状态，并不直接显示。
在图2B中，用户正视时视线正对界面C01，用户正视时的视线为s，界面C01的中心坐标为(x1，y1，z1)，此时，C01处于激活状态。
该步骤201可以由电子设备100中的处理器110通过执行模块154c来实现。
步骤202，获取用户头部的转动参数，该转动参数包括：转动方向、转动角度以及转动角加速度。
其中，电子设备可以通过佩戴在用户头部的传感器组件来获取用户头部的转动参数。
该步骤202可以由电子设备100中的处理器110执行传感参数获取模块154a来实现。
步骤203，根据获取到的该转动参数以及预先设置的指令确定规则确定交互指令。
在本发明实施例中，电子设备可以根据用户头部转动方向的不同以及转动角加速度的不同，结合预先设置的指令确定规则，分别确定出不同的交互指令，比如，请参考图2C，其示出了本发明实施例涉及的一种交互指令确定方法的方法流程图。如图2C所示，该交互指令确定方法可以包括如下几个步骤：
步骤203a，获取用户头部在垂直方向上的转动角度r以及用户头部在水平方向上的转动角度t。
其中，电子设备获取用户头部的转动参数后，可以将转动参数按照垂直方向和水平方向分解为两组，分别为垂直方向上的转动角度和角加速度以及水平方向上的转动角度和角加速度。
比如，以图2B所示的界面布局为例，电子设备可以将用户头部的转动参数分解为yz平面内(即垂直方向)的转动角度和角加速度以及xz平面内(即水平方向)的转动角度和角加速度。
步骤203b，判断判断r＞t是否成立；若是，进入步骤203c，否则，进入步骤203d。
若用户头部在垂直方向上的转动角度r大于用户头部在水平方向上的转动角度t，即表示用户在垂直方向上转动角度较大，此时可以按照用户头部在垂直方向的转动角度和角加速度生成交互指令；若用户头部在垂直方向上的转动角度r不大于用户头部在水平方向上的转动角度t，即表示用户在水平方向上转动角度较大，此时可以按照用户头部在水平方向的转动角度和角加速度生成交互指令；按照不同方向上的转动角度和角加速度生成的交互指令，其交互效果也不一样。
步骤203c，根据r和该用户头部在垂直方向上的转动角加速度a生成第一类型交互指令。
其中，根据r和该用户头部在垂直方向上的转动角加速度a生成第一类型交互指令的方式可以包括如下几种：
1)当该用户头部向上转动，|r|∈[A1，B1]，且|a|＜a1时，生成第一交互指令，该第一交互指令用于指示显示组件将该第一界面替换为第二界面，该第二界面为该第一界面所属的界面组中处于该第一界面之后的一个界面，A1、B1、a1为预设值，0＜A1＜B1，0＜a1。
具体的，以图2B所示的界面布局为例，请参考图2D～至2G，其示出了一种界面替换示意图，其中，当电子设备检测出用户头部向上转动，转动角度介于A1，B1之间，且转动的角加速度低于某一个阈值，则认为用户通过头部转动进行替换当前激活的界面的操作，此时，电子设备生成第一交互指令，电子设备执行该指令时，界面C01首先取消激活状态，并移动至界面C06之后，同时，界面C02沿着z轴负方向移动，直至界面C02的中心坐标变化为(x1，y1，z1)为止，之后，界面C02进入激活状态。
2)当该用户头部向下转动，|r|∈[A2，B2]，且|a|＜a2时，生成第二交互指令，该第二交互指令用于指示显示组件显示该第一界面的至少一个控制界面；A2、B2、a2为预设值，0＜A2＜B2，0＜a2。
可选的，每个控制界面对应一项控制操作，在生成第二交互指令并之后，电子设备还可以确定目标控制界面，该目标控制界面是用户正视时视线正对的控制界面，控制目标控制界面进入激活状态，检测目标控制界面持续处于激活状态的时长是否大于预定时长，若检测结果为目标控制界面持续处于激活状态的时长大于预定时长，则生成第三交互指令，该第三交互指令用于指示显示组件显示对该第一界面执行目标控制界面对应的控制操作后的执行结果。
其中，电子设备可以根据头部转动前用户正视时的视线以及用户头部的转动参数，计算获得头部转动后用户正视时的视线。
以图2B所示的界面布局为例，请参考图2H，其示出了一种控制界面显示示意图，其中，当电子设备检测出用户头部向下转动，转动角度介于A2，B2之间，且转动的角加速度低于某一个阈值，则认为用户通过头部转动呼出控制界面的操作，此时，电子设备生成第二交互指令，电子设备执行该指令时，界面C01下方显示控制界面(界面C01-1、界面C01-2、界面C01-3、界面C01-4以及界面C01-5)，界面C01取消激活状态，同时，电子设备确定用户正视时视线正对的界面C01-2(目标控制界面)进入激活状态，用户还可以通过水平或者垂直转动头部切换正视时视线正对的控制界面。进一步的，当电子设备检测出界面C01-2持续处于激活状态的时长大于某一预设时长(比如2s)时，生成与控制界面C01-2对应的第三交互指令，电子设备执行第三交互指令后，显示组件显示对界面C01执行该界面C01-2对应的控制操作之后的效果。
在另一种可能的实现方式中，上述第一交互指令和第二交互指令对应的转动方向也可以相反，比如，当用户头部转动方向向下，|r|∈[A1，B1]，且|a|＜a1时，生成第一交互指令，将界面C01切换为界面C02；当用户头部转动方向向上，|r|∈[A2，B2]，且|a|＜a2时，生成第二交互指令，在界面C01的上方显示至少一个控制界面。
实际应用中，在生成第一交互指令和第二交互指令时，电子设备也可以不检测用户头部垂直转动的角度，只检测用户头部垂直转动的角加速度。比如，当用户头部向上转动，且|a|＜a1时，生成第一交互指令，或者，当用户头部向下转动，且|a|＜a2时，生成第二交互指令。
3)当该用户头部向上转动，且|a|≥a3，或者，当该用户头部向下转动，且|a|≥a4时，生成第四交互指令，该第四交互指令用于指示显示组件控制该至少一个界面以该用户头部为中心，按照该用户头部的转动参数进行转动。
需要说明的是，当电子设备同时支持生成上述第一交互指令、第二交互指令以及第四交互指令时，a3需要大于或者等于a1，a4需要大于或者等于a2，同时，a1和a2的数值可以相同，也可以不同。
以图2B所示的界面布局为例，请参考图2I，其示出了一种界面转动示意图，其中，当用户头部向上转动，且转动的角加速度达到或超过某一个阈值时，电子设备生成第四交互指令，电子设备执行该指令时，该至少一个界面(图2I中只示出C01界面)整体以用户头部为中心，跟随用户头部向上转动，且该至少一个界面的转动参数与用户头部的转动参数一致，以保持用户正视时的视线落在界面C01的中心。或者，在另一种可能的实现方式中，该至少一个界面的转动参数也可以只与用户头部在垂直方向上的转动参数一致。
同样的，当用户头部向下转动，且转动的角加速度达到或超过某一个阈值时，该至少一个界面同样以用户头部为中心，跟随用户头部进行转动，此处不再赘述。
在另一种可能的实现方式中，当该用户头部向上转动，|r|＞B1，且|a|＜a1时，或者，当用户头部向下转动，|r|＞B2，且|a|＜a2时，生成第四交互指令。即当用户头部向上或者向下转动超过某一个预设阈值时，即便角加速度较慢，也可以控制至少一个界面以用户头部为中心，跟随用户头部进行转动。
具体的，以图2D至图2I为例，请参考图2J，其示出了一种第一类型交互指令生成方法的流程图，其示出了步骤203c的一种可能的实现流程，以a1、a2、a3和a4的数值相同为例，如图2J所示，该第一类型交互指令生成方法可以包括如下几个步骤：
步骤203c1，判断|a|＜a1是否成立；若是，进入步骤203c2，否则，进入步骤203c8。
步骤203c2，判断用户头部是否向上转动；若是，进入步骤203c3，否则，进入步骤203c5。
步骤203c3，检测|r|、A1和B1三者之间的大小关系。
步骤203c4，当0＜|r|＜A1时，保持当前界面不变；当A1≤|r|≤B1时，生成第一交互指令；当|r|＞B1时，生成第四交互指令。
步骤203c5，检测|r|、A2和B2三者之间的大小关系。
步骤203c6，当0＜|r|＜A2时，保持当前界面不变；当A2≤|r|≤B2时，生成第二交互指令；当|r|＞B2时，生成第四交互指令。
步骤203c7，在生成第二交互指令后，在检测到目标控制界面持续处于激活状态的时长大于预定时长时，生成第三交互指令。
步骤203c8，生成第四交互指令。
步骤203d，根据t和该用户头部在水平方向上的转动角加速度a’生成第二类型交互指令。
与步骤203c类似的，根据t和该用户头部在水平方向上的转动角加速度a’生成第二类型交互指令的方式可以包括如下几种：
1)当|a’|＜a5时，确定该用户正视时视线正对的第三界面，该第三界面是该至少两个界面中，处于该第一界面左侧或右侧的界面，并生成第五交互指令，该第五交互指令用于指示显示组件将处于激活状态的界面由该第一界面切换为该第三界面，a5为预设值，且0＜a5。
以图2B所示的界面布局为例，请参考图2K，其示出了一种激活界面切换示意图，其中，当电子设备检测出用户向右转动，且转动角加速度低于某一阈值，则认为用户想要将当前激活的界面切换为当前界面右侧的其他界面。当用户头部转过角度C之前，认为用户正视时视线正对的界面依然为界面C01，此时，保持界面C01为激活状态，当用户头部转过角度C，达到角度D时，认为用户正视时视线正对的界面变化为界面D01，此时，生成第五交互指令，当电子设备执行该指令时，界面C01取消激活状态，同时，界面D01进入激活状态。此时，界面D01具有与上述步骤203c类似的操作逻辑，此处不再赘述。当用户保持较低的角加速度较低，继续向右转动头部，且用户正视时视线正对的界面变化为界面E01时，界面D01取消激活状态，同时界面E01进入激活状态。类似的，当电子设备检测出用户向左转动，且转动角加速度低于某一阈值时，则认为用户想要将当前激活的界面切换为当前界面左侧的其他界面。
2)当|a’|＜a6，该用户正视时视线未正对任何界面，且位于该用户头部水平转动方向的一侧不存在该至少两个界面中的其它界面时，生成第六交互指令，该第六交互指令用于指示显示组件显示该至少两个界面之外的功能界面。
还是以图2J所示的激活界面切换示意图为例，在图2J的基础上，当界面E01进入激活状态后，如果用户保持较低的角加速度较低，继续向右转动头部，且用户正视时视线正对的方向上没有其它界面后，电子设备将生成第六交互指令，电子设备执行该第六交互指令后，将原本处于用户头部后方的特定功能界面显示在用户正视时视线正对的方向上，同时，将界面A01至界面E01移动到用户头部后方。用户保持头部静止一段时间后，电子设备执行该特定功能界面对应的功能，比如退出界面显示的状态。
可选的，用户也可以通过转动头部再次进入界面显示状态，即再次触发执行步骤201，比如，电子设备通过用户头部的转动参数检测出用户水平或者垂直来回转动头部两次以上时，触发执行步骤201。
3)当|a’|≥a7时，生成第七交互指令，该第七交互指令用于指示将该至少一个界面以该用户头部为中心，按照该用户头部的转动参数进行转动。
比如，当用户头部向左或者向右转动，且转动的角加速度达到或超过某一个阈值时，电子设备生成第七交互指令，电子设备执行该指令时，该至少一个界面整体以用户头部为中心，跟随用户头部向上转动，且该至少一个界面的转动参数与用户头部的转动参数一致，以保持用户正视时的视线落在界面C01的中心。或者，在另一种可能的实现方式中，该至少一个界面的转动参数也可以只与用户头部在水平方向上的转动参数一致。
需要说明的是，当电子设备同时支持生成上述第五、第六以及第七交互指令时，上述a5、a6以及a7的数值可以相同。
具体的，以图2K为例，请参考图2L，其示出了一种第二类型交互指令生成方法的流程图，其示出了步骤203d的一种可能的实现流程，以上述a5、a6以及a7的数值相同为例，如图2L所示，该第二类型交互指令生成方法可以包括如下几个步骤：
步骤203d1，判断|a’|＜a5是否成立；若是，进入步骤203d2，否则，进入步骤203d7。
步骤203d2，判断用户正视时视线是否正对有界面；若是，进入步骤203d3，否则，进入步骤203d5。
步骤203d3，检测当前用户正视时视线正对的界面是否为第一界面左侧或右侧的第三界面。
步骤203d4，若当前用户正视时视线正对的界面是第三界面，则生成第五交互指令。
若当前用户正视时视线正对的界面还是第一界面，则保持现有界面不变。
步骤203d5，检测用户头部水平转动方向的一侧是否不存在该至少两个界面中的其它界面。
步骤203d6，若用户头部水平转动方向的一侧不存在其它界面，则生成第六交互指令。
步骤203d7，生成第七交互指令。
该步骤203可以由电子设备100中的处理器110执行指令确定模块154b来实现。
步骤204，执行确定的交互指令，以实现对显示组件显示的界面的交互控制。
以图2B所示的界面布局为例，电子设备执行上述步骤203生成的交互指令后，可以实现上述步骤203c或者步骤203d下描述的交互效果，此处不再赘述。
该步骤204可以由电子设备100中的处理器110通过执行模块154c来实现。
综上所述，本发明实施例所示的方法，通过获取用户头部的转动方向、转动角度以及转动角加速度等转动参数，结合该转动参数以及预先设置的指令确定规则确定交互指令，执行确定的交互指令，以实现对显示组件显示的界面的交互控制，提供了一种仅通过用户头部转动操作即可以实现与虚拟界面进行主动交互的方法，扩展了虚拟界面的交互方式，从而提高用户的使用体验。
此外，本发明实施例所示的方法，用户只需要控制头部转动的角度和角加速度即可以完成与界面之间的交互操作，可以通过最自然的交互方式对信息进行浏览，且不需要借助于其它专用设备或者手部动作，可以达到简化用户操作复杂度的效果。
另外，本发明实施例所示的方法，在用户头部前方以环绕方式显示分属于多个界面组的不同界面，且每个界面都可以在对应的界面组内进行切换，实现海量信息的有序布局，用户可以通过简单的头部动作切换显示不同的信息，提高了信息获取的便利性。
上述图2对应的实施例以至少一个界面按照从左到右的顺序排列为例进行说明，在实际应用中，上述至少一个界面也可以按照从上到下的顺序进行排列，其操作逻辑可以与上述图2对应的实施例中的操作逻辑类似，比如，用户头部水平转动角度较大时，生成第一交互指令、第二交互指令或者第四交互指令；当用户头部水平转动角度较大时，生成第五交互指令、第六交互指令或者第七交互指令。
请参考图3，其示出了本发明一个示例性实施例提供的界面交互装置的框图。该界面交互装置可以通过软件、硬件或者两者的结合实现成为上述图1所示电子设备110的全部或者一部分。该界面交互装置可以包括：传感参数获取单元301、指令确定单元302以及执行单元303。
传感参数获取单元301，具有与传感参数获取模块154a相同或相似的功能。
指令确定单元302，具有与指令确定模块154b相同或相似的功能。
执行单元303，具有与执行模块154c相同或相似的功能。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (23)

1.一种界面交互装置，其特征在于，所述装置包括：指令确定单元、执行单元以及传感参数获取单元；
所述传感参数获取单元，用于获取用户头部的转动参数，所述转动参数包括：转动方向、转动角度以及转动角加速度；
所述指令确定单元，用于根据所述传感参数获取单元获取到的所述转动参数以及预先设置的指令确定规则确定交互指令；
所述执行单元，用于执行所述指令确定单元确定的所述交互指令，以实现对显示组件显示的界面的交互控制。
2.根据权利要求1所述的装置，其特征在于，所述显示的界面包括至少两个界面，所述至少两个界面分属于不同的界面组，其中，每个界面组包含至少一个界面，且每个所述界面组在同一时刻仅有一个界面被显示。
3.根据权利要求2所述的装置，其特征在于，所述至少两个界面按照从左到右的顺序排列，且所述用户正视时视线正对的第一界面处于激活状态；
所述指令确定单元，具体用于判断r＞t是否成立，r为所述用户头部在垂直方向上的转动角度，t为所述用户头部在水平方向上的转动角度；若r＞t成立，则所述指令确定单元，用于根据r和所述用户头部在垂直方向上的转动角加速度a生成第一类型交互指令；若r＞t不成立，则所述指令确定单元，用于根据t和所述用户头部在水平方向上的转动角加速度a’生成第二类型交互指令。
4.根据权利要求3所述的装置，其特征在于，
所述指令确定单元，具体用于当所述用户头部向上转动，|r|∈[A1，B1]，且|a|＜a1时，生成第一交互指令，所述第一交互指令用于指示所述显示组件将所述第一界面替换为第二界面，所述第二界面为所述第一界面所属的界面组中处于所述第一界面之后的一个界面，A1、B1、a1为预设值，0＜A1＜B1，0＜a1。
5.根据权利要求3所述的装置，其特征在于，
所述指令确定单元，具体用于当所述用户头部向下转动，|r|∈[A2，B2]，且|a|＜a2时，生成第二交互指令，所述第二交互指令用于指示所述显示组件显示所述第一界面的至少一个控制界面；A2、B2、a2为预设值，0＜A2＜B2，0＜a2。
6.根据权利要求5所述的装置，其特征在于，每个所述控制界面对应一项控制操作，
所述指令确定单元，还用于确定目标控制界面，所述目标控制界面是所述用户正视时视线正对的控制界面，控制所述目标控制界面进入激活状态，检测所述目标控制界面持续处于激活状态的时长是否大于预定时长，若检测结果为所述目标控制界面持续处于激活状态的时长大于所述预定时长，则生成第三交互指令，所述第三交互指令用于指示所述显示组件显示对所述第一界面执行所述目标控制界面对应的控制操作后的执行结果。
7.根据权利要求3所述的装置，其特征在于，
所述指令确定单元，具体用于当所述用户头部向上转动，且|a|≥a3，或者，当所述用户头部向下转动，且|a|≥a4时，生成第四交互指令，所述第四交互指令用于指示所述显示组件控制所述至少一个界面以所述用户头部为中心，按照所述用户头部的转动参数进行转动，a3、a4为预设值，0＜a3，0＜a4。
8.根据权利要求3所述的装置，其特征在于，
所述指令确定单元，具体用于当|a’|＜a5时，确定所述用户正视时视线正对的第三界面，所述第三界面是所述至少两个界面中，处于所述第一界面左侧或右侧的界面，并生成第五交互指令，所述第五交互指令用于指示所述显示组件将处于激活状态的界面由所述第一界面切换为所述第三界面，a5为预设值，且0＜a5。
9.根据权利要求3所述的装置，其特征在于，
所述指令确定单元，具体用于当|a’|＜a6，所述用户正视时视线未正对任何界面，且位于所述用户头部水平转动方向的一侧不存在所述至少两个界面中的其它界面时，生成第六交互指令，所述第六交互指令用于指示所述显示组件显示所述至少两个界面之外的功能界面，a6为预设值，且0＜a6。
10.根据权利要求3所述的装置，其特征在于，
所述指令确定单元，具体用于当|a’|≥a7时，生成第七交互指令，所述第七交互指令用于指示所述显示组件控制所述至少一个界面以所述用户头部为中心，按照所述用户头部的转动参数进行转动，a7为预设值，且0＜a7。
11.根据权利要求1至10任一所述的装置，其特征在于，所述显示的界面为基于增强现实技术或者虚拟现实技术的界面。
12.一种界面交互方法，其特征在于，所述方法包括：
获取用户头部的转动参数，所述转动参数包括：转动方向、转动角度以及转动角加速度；
根据获取到的所述转动参数以及预先设置的指令确定规则确定交互指令；
执行确定的所述交互指令，以实现对显示组件显示的界面的交互控制。
13.根据权利要求12所述的方法，其特征在于，所述显示的界面包括至少两个界面，所述至少两个界面分属于不同的界面组，其中，每个界面组包含至少一个界面，且每个所述界面组在同一时刻仅有一个界面被显示。
14.根据权利要求13所述的方法，其特征在于，所述至少两个界面按照从左到右的顺序排列，且所述用户正视时视线正对的第一界面处于激活状态；所述根据获取到的所述转动参数以及预先设置的指令确定规则确定交互指令，包括：
判断r＞t是否成立，r为所述用户头部在垂直方向上的转动角度，t为所述用户头部在水平方向上的转动角度；
若判断结果为r＞t成立，则根据r和所述用户头部在垂直方向上的转动角加速度a生成第一类型交互指令；
若判断结果为r＞t不成立，则根据t和所述用户头部在水平方向上的转动角加速度a’生成第二类型交互指令。
15.根据权利要求14所述的方法，其特征在于，所述根据r和所述用户头部在垂直方向上的转动角加速度a生成第一类型交互指令，包括：
当所述用户头部向上转动，|r|∈[A1，B1]，且|a|＜a1时，生成第一交互指令，所述第一交互指令用于指示所述显示组件将所述第一界面替换为第二界面，所述第二界面为所述第一界面所属的界面组中处于所述第一界面之后的一个界面，A1、B1、a1为预设值，0＜A1＜B1，0＜a1。
16.根据权利要求14所述的方法，其特征在于，所述根据r和所述用户头部在垂直方向上的转动角加速度a生成第一类型交互指令，包括：
当所述用户头部向下转动，|r|∈[A2，B2]，且|a|＜a2时，生成第二交互指令，所述第二交互指令用于指示所述显示组件显示所述第一界面的至少一个控制界面；A2、B2、a2为预设值，0＜A2＜B2，0＜a2。
17.根据权利要求16所述的方法，其特征在于，每个所述控制界面对应一项控制操作，所述方法还包括：
确定目标控制界面，所述目标控制界面是所述用户正视时视线正对的控制界面；
控制所述目标控制界面进入激活状态；
检测所述目标控制界面持续处于激活状态的时长是否大于预定时长；
若检测结果为所述目标控制界面持续处于激活状态的时长大于所述预定时长，则生成第三交互指令，所述第三交互指令用于指示所述显示组件显示对所述第一界面执行所述目标控制界面对应的控制操作后的执行结果。
18.根据权利要求14所述的方法，其特征在于，所述根据r和所述用户头部在垂直方向上的转动角加速度a生成第一类型交互指令，包括：
当所述用户头部向上转动，且|a|≥a3，或者，当所述用户头部向下转动，且|a|≥a4时，生成第四交互指令，所述第四交互指令用于指示所述显示组件控制所述至少一个界面以所述用户头部为中心，按照所述用户头部的转动参数进行转动，a3、a4为预设值，0＜a3，0＜a4。
19.根据权利要求14所述的方法，其特征在于，所述根据t和所述用户头部在水平方向上的转动角加速度a’生成第二类型交互指令，包括：
当|a’|＜a3时，确定所述用户正视时视线正对的第三界面，所述第三界面是所述至少两个界面中，处于所述第一界面左侧或右侧的界面，a5为预设值，且0＜a5；
生成第五交互指令，所述第五交互指令用于指示所述显示组件将处于激活状态的界面由所述第一界面切换为所述第三界面。
20.根据权利要求14所述的方法，其特征在于，所述根据t和所述用户头部在水平方向上的转动角加速度a’生成第二类型交互指令，包括：
当|a’|＜a6，所述用户正视时视线未正对任何界面，且位于所述用户头部水平转动方向的一侧不存在所述至少两个界面中的其它界面时，生成第六交互指令，所述第六交互指令用于指示所述显示组件显示所述至少两个界面之外的功能界面，a6为预设值，且0＜a6。
21.根据权利要求14所述的方法，其特征在于，所述根据t和所述用户头部在水平方向上的转动角加速度a’生成第二类型交互指令，包括：
当|a’|≥a7时，生成第七交互指令，所述第七交互指令用于指示所述显示组件控制所述至少一个界面以所述用户头部为中心，按照所述用户头部的转动参数进行转动，a7为预设值，且0＜a7。
22.根据权利要求12至21任一所述的方法，其特征在于，所述显示的界面为基于增强现实技术或者虚拟现实技术的界面。
23.一种电子设备，其特征在于，所述电子设备包括：显示组件、处理器、存储器以及总线；所述显示组件和所述存储器通过所述总线连接所述处理器；
所述处理器被配置为执行所述存储器中存储的指令；所述处理器通过执行所述指令来实现上述权利要求12至22任一所述的界面交互方法。
CN201610021040.3A 2016-01-13 2016-01-13 界面交互装置及方法 Active CN106970697B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201610021040.3A CN106970697B (zh) 2016-01-13 2016-01-13 界面交互装置及方法
US15/405,404 US10860092B2 (en) 2016-01-13 2017-01-13 Interface interaction apparatus and method
EP19189264.5A EP3629133B1 (en) 2016-01-13 2017-01-13 Interface interaction apparatus and method
EP17151336.9A EP3193240B1 (en) 2016-01-13 2017-01-13 Interface interaction apparatus and method
ES17151336T ES2757587T3 (es) 2016-01-13 2017-01-13 Aparato y método de interacción de interfaz
US17/096,143 US11460916B2 (en) 2016-01-13 2020-11-12 Interface interaction apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610021040.3A CN106970697B (zh) 2016-01-13 2016-01-13 界面交互装置及方法

Publications (2)

Publication Number Publication Date
CN106970697A true CN106970697A (zh) 2017-07-21
CN106970697B CN106970697B (zh) 2020-09-08

Family

ID=57860660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610021040.3A Active CN106970697B (zh) 2016-01-13 2016-01-13 界面交互装置及方法

Country Status (4)

Country Link
US (2) US10860092B2 (zh)
EP (2) EP3629133B1 (zh)
CN (1) CN106970697B (zh)
ES (1) ES2757587T3 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295409A (zh) * 2017-08-08 2017-10-24 广东小天才科技有限公司 一种控制视频播放的方法、装置、终端设备和存储介质
CN111886564A (zh) * 2018-03-28 2020-11-03 索尼公司 信息处理装置、信息处理方法和程序
CN112148120A (zh) * 2020-08-18 2020-12-29 华为技术有限公司 一种显示虚拟界面的方法、设备以及存储介质
CN112416115A (zh) * 2019-08-23 2021-02-26 亮风台（上海）信息科技有限公司 一种用于控件交互界面中进行人机交互的方法与设备
CN115737143A (zh) * 2022-11-07 2023-03-07 张博彦 手术成像系统和成像手术的显示方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710431A (zh) * 2018-03-30 2018-10-26 歌尔科技有限公司 头戴式设备的控制方法、装置、存储介质及头戴式设备
US11595637B2 (en) * 2018-05-14 2023-02-28 Dell Products, L.P. Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
JP7300287B2 (ja) * 2019-03-20 2023-06-29 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
CN114077302A (zh) * 2020-08-21 2022-02-22 华为技术有限公司 一种智能眼镜及其交互方法和交互装置
US11889012B2 (en) * 2021-04-15 2024-01-30 Verizon Patent And Licensing Inc. Systems and methods for utilizing augmented reality to identify an optimal location for providing a wireless network device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
CN103959135A (zh) * 2011-11-28 2014-07-30 谷歌公司 基于头部角度触发的动作
CN104267833A (zh) * 2014-09-13 2015-01-07 周祥宇 一种人机接口系统
CN104866105A (zh) * 2015-06-03 2015-08-26 深圳市智帽科技开发有限公司 头显设备的眼动和头动交互方法
CN105243362A (zh) * 2015-09-23 2016-01-13 努比亚技术有限公司 一种控制摄像头的装置及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4325449B2 (ja) 2004-03-19 2009-09-02 ソニー株式会社 表示制御装置，表示制御方法，記録媒体
US20110032274A1 (en) * 2008-04-10 2011-02-10 Pioneer Corporation Screen display system and screen display program
US20100058248A1 (en) * 2008-08-29 2010-03-04 Johnson Controls Technology Company Graphical user interfaces for building management systems
KR102063767B1 (ko) * 2013-09-24 2020-01-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US20150346813A1 (en) * 2014-06-03 2015-12-03 Aaron Michael Vargas Hands free image viewing on head mounted display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959135A (zh) * 2011-11-28 2014-07-30 谷歌公司 基于头部角度触发的动作
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
CN104267833A (zh) * 2014-09-13 2015-01-07 周祥宇 一种人机接口系统
CN104866105A (zh) * 2015-06-03 2015-08-26 深圳市智帽科技开发有限公司 头显设备的眼动和头动交互方法
CN105243362A (zh) * 2015-09-23 2016-01-13 努比亚技术有限公司 一种控制摄像头的装置及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295409A (zh) * 2017-08-08 2017-10-24 广东小天才科技有限公司 一种控制视频播放的方法、装置、终端设备和存储介质
CN107295409B (zh) * 2017-08-08 2019-09-13 广东小天才科技有限公司 一种控制视频播放的方法、装置、终端设备和存储介质
CN111886564A (zh) * 2018-03-28 2020-11-03 索尼公司 信息处理装置、信息处理方法和程序
CN112416115A (zh) * 2019-08-23 2021-02-26 亮风台（上海）信息科技有限公司 一种用于控件交互界面中进行人机交互的方法与设备
CN112416115B (zh) * 2019-08-23 2023-12-15 亮风台（上海）信息科技有限公司 一种用于控件交互界面中进行人机交互的方法与设备
CN112148120A (zh) * 2020-08-18 2020-12-29 华为技术有限公司 一种显示虚拟界面的方法、设备以及存储介质
CN115737143A (zh) * 2022-11-07 2023-03-07 张博彦 手术成像系统和成像手术的显示方法

Also Published As

Publication number Publication date
EP3629133B1 (en) 2022-03-09
CN106970697B (zh) 2020-09-08
US20210064126A1 (en) 2021-03-04
EP3193240A1 (en) 2017-07-19
US20170199565A1 (en) 2017-07-13
ES2757587T3 (es) 2020-04-29
EP3629133A1 (en) 2020-04-01
US11460916B2 (en) 2022-10-04
US10860092B2 (en) 2020-12-08
EP3193240B1 (en) 2019-09-04

Similar Documents

Publication Publication Date Title
CN106970697A (zh) 界面交互装置及方法
CN104662587B (zh) 三维用户界面装置以及三维操作方法
CN104508600B (zh) 三维用户界面装置及三维操作方法
US7952594B2 (en) Information processing method, information processing apparatus, and image sensing apparatus
CN108603749A (zh) 信息处理装置、信息处理方法和记录介质
US10607403B2 (en) Shadows for inserted content
US20160163063A1 (en) Mixed-reality visualization and method
CN108027652A (zh) 信息处理设备、信息处理方法以及程序
CN105979360A (zh) 一种渲染图像的处理方法及装置
US20220237818A1 (en) Image Processing Method and Apparatus for Electronic Dvice, and Electronic Device
CN106233188A (zh) 头戴式显示器及其控制方法
CN109782901A (zh) 增强现实交互方法、装置、计算机设备及存储介质
CN109564703B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
CN105683868B (zh) 用于空间交互中的额外模态的面部跟踪
CN108139801A (zh) 用于经由保留光场渲染来执行电子显示稳定的系统和方法
US11430192B2 (en) Placement and manipulation of objects in augmented reality environment
EP4172733A1 (en) Augmented reality eyewear 3d painting
WO2020264149A1 (en) Fast hand meshing for dynamic occlusion
WO2022005715A1 (en) Augmented reality eyewear with 3d costumes
CN113504830B (zh) 用于头戴式显示设备的显示方法及装置
CN205880817U (zh) 一种ar和vr数据处理设备
US9646576B2 (en) Terminal device, control method for terminal device, program, and information storage medium
CN117043722A (zh) 用于地图的设备、方法和图形用户界面
WO2022037355A1 (zh) 一种智能眼镜及其交互方法和交互装置
CN106095088A (zh) 一种电子设备及其图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant