CN110291576B - 基于触摸的操作系统的免提导航 - Google Patents

基于触摸的操作系统的免提导航 Download PDF

Info

Publication number
CN110291576B
CN110291576B CN201780086276.8A CN201780086276A CN110291576B CN 110291576 B CN110291576 B CN 110291576B CN 201780086276 A CN201780086276 A CN 201780086276A CN 110291576 B CN110291576 B CN 110291576B
Authority
CN
China
Prior art keywords
touch
hands
computing device
head
free
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780086276.8A
Other languages
English (en)
Other versions
CN110291576A (zh
Inventor
C.I.帕金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Riowell Co ltd
Original Assignee
Riowell Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Riowell Co ltd filed Critical Riowell Co ltd
Publication of CN110291576A publication Critical patent/CN110291576A/zh
Application granted granted Critical
Publication of CN110291576B publication Critical patent/CN110291576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明的各方面允许基于触摸的操作系统的免提导航。系统可以自动与基于触摸的操作系统接合，并生成与基于触摸的命令相关联的免提命令。实施例可以利用运动和/或音频输入来有助于与基于触摸的操作系统的免提交互。

Description

基于触摸的操作系统的免提导航
技术领域
本发明总体涉及用于用于头戴式计算设备的免提导航的计算机实现的方法、非暂时性计算机储存介质，以及用于头戴式计算设备的免提导航的系统。
背景技术
基于触摸的设备(诸如智能手机、平板计算机和膝上型计算机)已经成为日常生活中无处不在的方面。例如，一个人通常会通过智能手机或平板计算机上的应用组织和进行社交交互。此外，企业经常依赖于基于触摸的设备与员工进行通信、监控工作和审查项目数据，以及进行其它任何用途。基于触摸的设备通常运行基于触摸的操作系统(诸如Android或iOS)，其本质上依赖于基于触摸的输入来控制与操作系统的交互。尽管这些设备有用且有价值，但它们都具有相同的限制；在初始级别，他们需要用户手动地直接与设备交互。
例如，基于触摸的操作系统现在主要依赖虚拟键盘来接收文本输入。虚拟键盘经常具有相对小的按钮，其中文字必须一次拼写一个字母，这对于输入甚至中等长度的消息而言是耗时且不切实际的。一些基于触摸的操作系统提供语音辨识以将文本翻译成文字，然而，这种语音辨识经常需要因特网连接，这可能并不总是可用的。此外，即使语音辨识可用，它通常限制于文本输入，并且基于触摸的操作系统提供限制机制，该限制机制针对在应用内导航用户界面和在多个应用之间导航。例如，在基于触摸的操作系统中导航多页文档通常需要用户触摸滚动条处的屏幕以水平导航，或“滑动”屏幕以滚动。
然而，在基于手动触摸的交互不可行、困难或不可能的时段期间，用户可能期望(或需要)使用这些设备。例如，许多个体可能没有能力与基于触摸的设备物理交互，但需要或期望这样做。另外，即使当用户可以与基于触摸的设备物理交互时，环境限制也可能限制以安全或舒适的方式与设备的手动交互。此外，可能期望在用户参与需要用户的手的任务时访问基于触摸的设备的功能。
先前解决这些问题的尝试经常依赖于高度专门的、特制的设备或处理，这些设备或处理提供了繁琐且不灵活的用户体验。此外，先前的解决方案需要修改来自现有应用的源代码，该现有应用为基于触摸的操作系统而设计，使得应用与免提输入源兼容。修改每个基于触摸的应用以有助于免提解决方案也是不切实际的。因此，现有解决方案仅与少数基于选择触摸的应用兼容。另外，在先的解决方案无法使得能够与基于触摸的操作系统本身进行交互，而是依赖于他们自己的操作系统。结果，在先的解决方案通常需要用户必须学习全新的操作环境，而不是使得能够与现有的和大量采用基于触摸的操作系统进行交互。
发明内容
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。本发明内容不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
为了解决这些问题，本发明通常涉及用于提供基于触摸的操作系统的免提导航的系统和方法。此外，本文描述的方面有助于与基于触摸的操作系统和应用的免提交互，而无需修改源代码。也就是说，除了实现本文描述的系统和/或方法之外，用户不需要改变到不同的应用或放弃熟悉的基于触摸的操作系统以享受免提交互的优点。另外，虽然不是必需的，但是在实施例中，用户可以定制免提导航以基于他们的需要和期望提供定制功能。
因此，本文描述的技术的各方面提供了有助于基于触摸的操作系统的免提导航的系统和方法。在一个方面，免提导航系统分析基于触摸的操作系统的基于触摸的用户界面以识别基于触摸的滚动特征，将滚动特征与免提命令相关联，并在显示器上向用户呈现基于触摸的用户界面。然后，当系统在3D空间中旋转、平移或以其它方式移动时，系统可以检测那些移动并将它们转换为基于触摸的操作系统的基于触摸的用户界面中的基于触摸的命令。换言之，系统可以将基于触摸的滚动特征转换为基于运动的命令、检测运动，并将运动转换为滚动命令。这样，可以将基于触摸的操作系统转换为可以利用基于运动的用户命令的免提操作系统。
在另一个方面，免提系统分析基于触摸的操作系统的基于触摸的用户界面以识别控制对话(诸如与命令相关联的图标)，将控制对话与关键词提示相关联，并在显示器上向用户呈现基于触摸的用户界面。然后，系统可以处理音频输入、识别音频输入内的关键词提示，并且将关键词提示转换为基于触摸的操作系统的基于触摸的用户界面中的相关联的基于触摸的命令。换言之，系统将基于触摸的命令转换为关键词提示，当用户说出关键词提示时，可以使期望的命令在基于触摸的环境中被执行。这样，可以将基于触摸的操作系统转换为可以利用基于话音的用户命令的免提操作系统。为了便于用户交互，在另一个方面，系统可以呈现叠加在基于触摸的用户界面上的关键词提示重叠。这些重叠可以提供有用的视觉提示词，以帮助用户发出关键词提示，从而有助于选择期望的控制对话。
在一个方面，本文公开的各种免提输入类型可以同时使用或彼此结合使用。例如，系统可以同时响应基于运动的用户命令和基于话音的用户命令。此外，提供了一些方法，其可以使用基于运动的用户命令、基于话音的用户命令以及基于运动加话音的用户命令来有助于免提导航。
附图说明
下面参考附图详细描述本发明，其中：
图1描绘了适用于实现本公开的实施例的示例性计算环境；
图2根据本发明的方面描绘了示例性免提导航系统；
图3根据本发明的另外方面描绘了图2中描绘的示例性免提导航系统；
图4A根据本发明的方面描绘了示例性基于运动的免提交互方法；
图4B根据本发明的方面描绘了示例性基于音频的免提交互方法；
图4C根据本发明的方面描绘了示例性基于运动和音频的免提交互方法；
图5根据本发明的方面描绘了用于确定基于多轴运动的交互的示例性方法；
图6A根据本发明的方面描绘了示例性用户交互；
图6B根据本发明的方面描绘了示例性用户交互；
图7A根据本发明的方面描绘了用于确定基于音频的输入的示例性方法；
图7B根据本发明的方面描绘了图7A的方法的放大部分，其图示了用于确定基于音频的输入的示例性方法；
图8A根据本发明的方面描绘了用于识别示例性基于触摸的用户界面中的控制对话的示例性方法；
图8B根据本发明的方面描绘了示例性关键词提示重叠，该示例性关键词提示重叠与示例性基于触摸的用户界面中的基于触摸的控制对话相关联；
图9根据本发明的方面描绘了具有示例性参考坐标系的示例性头戴式计算设备；和
图10根据本发明的方面描绘了示例性计算设备。
具体实施方式
本文中具体描述了本公开的主题以满足法定要求。然而，描述本身并不旨在限制本专利的范围。相反，发明人已经预期所要求保护的主题还可以结合其它现有或未来技术以其它方式实施，以包含不同的步骤或与本文档中描述的步骤类似的步骤的组合。此外，尽管本文可以使用术语“步骤”和/或“框”来表示所采用的方法的不同元素，但是这些术语不应被解释为暗示本文公开的各个步骤之中或之间的任何特定顺序，除非和除了各个步骤的顺序被明确描述。本文描述的每个方法可以包括计算处理，该计算处理可以使用硬件、固件和/或软件的任何组合来进行。例如，各种功能可以由执行储存在存储器中的指令的处理器来实施。该方法还可以实施为储存在计算机储存介质上的计算机可用指令。仅举几个例子，这些方法可以由独立应用、服务或托管服务(独立或与另一托管服务组合)或另一产品的插件提供。
在高级别，本文的方面涉及使得能够与基于触摸的操作系统进行免提交互的机制。可以理解，基于触摸的操作系统(诸如Android、iOS等)经常依赖于经由运行基于触摸的操作系统的移动设备的触摸屏接收的输入。然而，取决于用户的能力和使用移动设备的情况，可能不可能或不期望与触摸屏的交互。例如，当用户使用他们的手来进行另一个任务时，停止任务并与基于触摸的操作系统交互经常是不方便且耗时的。因此，这方面涉及有助于与基于触摸的操作系统的免提交互的设备、方法和系统。
本文的一个方面涉及一种头戴式计算设备(诸如耳机)，其实现用于与基于触摸的操作系统的免提交互的方法。在非限制性示例中，耳机可以包含显示器(诸如平视显示器、目镜显示器等)、传感器(诸如相机、麦克风、加速度计、陀螺仪、磁力计等)、一个或多个处理器，以及存储器。耳机可以与运行基于触摸的操作系统的移动设备通信地耦接。耳机还可以被配置为显示基于触摸的操作系统的用户界面的实例，例如，在耳机的目镜显示器上。此外，耳机可以使用经由传感器接收的免提输入来提供免提交互模式，该模式有助于与基于触摸的操作系统的用户界面的交互。例如，一个示例性方面使用由耳机检测到的移动来确定用于导航的指令或命令，所述指令或命令用于执行基于触摸的操作系统的操作。
另一示例性方面使用由耳机检测到的话音命令来确定用于执行基于触摸的操作系统的操作的指令或命令。因此，耳机还可以被配置为监控所包含的传感器(诸如麦克风等)、分析由传感器接收的输入、确定与输入相关联的基于触摸的操作系统的指令或命令，并执行用于在基于触摸的操作系统的用户界面内导航的指令或命令。此外，耳机可以被配置为使用耳机组件或软件模块实时分析基于触摸的操作系统的用户界面和与基于触摸的操作系统相关联的代码，以有助于免提交互模式。
另一个示例性方面使用由耳机检测到的话音命令和移动来确定用于导航基于触摸的操作系统的用户界面和执行基于触摸的操作系统的操作的指令或命令。此外，耳机可以包含定制数据库或者与定制数据库通信，该定制数据库包括上下文具体数据(诸如用户具体设置，免提界面具体设置，关键词提示库，基于触摸的界面具体设置，位置具体设置等)，以增强免提交互模式的可用性。耳机可以包含无线通信系统(诸如蓝牙、NFC、RFID、WIFI等)以增强免提交互模式的可用性。作为示例，无线通信系统可以通过向耳机提供位置信息来增强免提交互模式的可用性，该位置信息可以与储存在定制数据库中的上下文具体数据相关联。耳机可以与配备有无线通信系统的移动设备通信地耦接，以增强免提交互模式的可用性。另外，耳机可以被配置为利用包括上下文具体数据的基于网络的定制数据库。
现在转向图1，提供了示出示例操作环境100的框图，其中可以采用本公开的一些实施例。应理解，本文描述的这个和其它布置仅作为示例阐述。除了所示的那些之外或代替所示的那些，可以使用其它布置和元件(例如，机器、界面、功能、顺序和功能分组等)，并且为了清楚起见，可以完全省略一些元件。此外，本文描述的许多元件是功能实体，其可以实现为离散或分布式组件或者与其它组件结合实现，并且可以以任何合适的组合和位置实现。本文描述的由一个或多个实体进行的各种功能可以由硬件、固件和/或软件实施。例如，一些功能可以由执行储存在存储器中的指令的处理器来实施。
在未示出的其它组件中，示例性操作环境100包含若干用户设备，诸如用户设备102a-102n；若干数据源，诸如数据源104a和104b至104n；服务器106；传感器103a-103n；以及网络110。应理解，图1中所示的环境100是一个合适的操作环境的示例。图1中所示的每个组件可以经由任何类型的计算设备来实现，例如诸如结合图10描述的计算设备1000。这些组件可以经由网络110彼此通信，网络110可以包含但不限于一个或多个局域网(LAN)和/或广域网(WAN)。在示例性实现方式中，网络110包括因特网和/或蜂窝网络，在各种可能的公共和/或私人网络中的任何一个。
应理解，在本公开的范围内，可以在操作环境100内采用任何数量的用户设备、服务器和数据源。每个可以包括在分布式环境中协作的单个设备或多个设备。例如，服务器106可以经由布置在分布式环境中的多个设备来提供，该多个设备共同提供本文描述的功能。另外，未示出的其它组件也可以包含在分布式环境中。
用户设备102a-102n可以包括能够由用户使用的任何类型的计算设备。例如，在一个实施例中，用户设备102a-102n可以是关于本文图10描述的计算设备的类型。作为示例而非限制，用户设备可以实施为个人计算机(PC)、膝上型计算机、移动电话或移动设备、智能手机，平板计算机、智能手表、可穿戴计算机、个人数字助手(PDA)、MP3播放器、全球定位系统(GPS)或设备、视频播放器、手持通信设备、游戏设备或系统、娱乐系统、车载计算机系统、嵌入式系统控制器、相机、遥控器、条形码扫描仪、计算机化测量设备、器具、消费电子设备、工作站、头戴式计算设备或这些描述的设备的任何组合或任何其它合适的设备。
用户设备102a-102n可以是在操作环境100的客户端侧上的客户端设备，而服务器106可以在操作环境100的服务器侧上。服务器106可以包括服务器侧软件，其被设计为结合用户设备102a-102n上的客户端侧软件而工作，以便实现本公开中讨论的特征和功能的任何组合。提供操作环境100的这种划分以图示合适环境的一个示例，并且对于每个实现方式不需要服务器106和用户设备102a-102n的任何组合保持为分开的实体。
数据源104a和104b至104n可以包括数据源和/或数据系统，其被配置为使数据可用于操作环境100的各种组成部分，或者结合图2描述的免提交互系统200。例如，在一个实施例中，一个或多个数据源104a至104n提供(或可用于访问)图2的储存270。数据源104a和104b至104n可以与用户设备102a-102n和服务器106分离，或者可以与其合并和/或集成。在一个实施例中，数据源104a至104n中的一个或多个包括一个或多个传感器，其可以集成到用户设备102a-102n或服务器106中的一个或多个中或与之相关联。操作环境100可以用于实现图2和图3中描述的免提交互系统200的一个或多个组件，包括用于运动处理、声音处理的组件，以及诸如关键词定制库、用户数据和上下文具体数据的数据储存。
现在转向图2，提供了图示可以采用本公开的一些实施例的免提交互系统200的示例性实施例的框图。免提交互系统200通常操作以有助于与基于触摸的操作系统202的应用和特征的免提交互。应理解，图2中所示的免提交互系统200是可以采用本公开的实施例的一个系统的示例。所示的每个组件可以包含与参考图1描述的操作环境100类似的一个或多个计算设备。免提交互系统200不应被解释为具有与其中所示的任何单个模块/组件或模块/组件的组合有关的任何依赖性或要求。例如，免提交互系统200可以包括布置在分布式环境中的多个设备，该多个设备共同提供本文描述的功能。应理解，根据本公开的各种实施例，免提交互系统200和/或其各种组件可以位于任何地方。
头戴式计算设备220(参考图9更详细地描述)通常有助于与基于触摸的操作系统202的基于触摸的用户界面206的免提交互。头戴式计算设备220可以包括各种耳机设备输入和输出组件，诸如运动和音频传感器、显示器和输入控件等。另外，头戴式计算设备220可以包括储存在计算机储存介质(诸如储存270)上的计算机可用指令。因此，头戴式计算设备220可以被配置为执行可以使用硬件、固件和/或软件的任何组合来进行的计算处理。例如，各种功能可以由执行储存在存储器中的指令的处理器(例如，耳机处理器280)来实施。仅举几个例子，这些方法可以由独立应用、服务或托管服务(独立或与另一托管服务组合)或另一产品的插件提供。
由免提交互系统200执行的功能和处理可以与应用、服务或例程(诸如耳机应用276)相关联。特别地，这样的应用、服务或例程可以在头戴式计算设备220上操作，或者可以分布在多个设备上。例如，本文描述的功能和处理可以在基于触摸的用户设备(诸如用户设备102a)、服务器(诸如服务器106)上执行，或者在云中实现。此外，在一些实施例中，免提交互系统200的组件可以分布在网络110上。另外，这些组件、由这些组件进行的功能，或由这些组件实施的服务可以在适当的(一个或多个)抽象层——诸如(一个或多个)计算系统的操作系统层、应用层、硬件层等——上实现。替代地或另外地，本文描述的发明的这些组件和/或实施例的功能可以至少部分地由一个或多个硬件逻辑组件来进行。例如但不限于，可以使用的说明性类型的硬件逻辑组件包含现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)，系统级芯片系统(SOC)、复杂可编程逻辑设备(CPLD)等。另外，尽管本文关于示例免提交互系统200中示出的具体组件描述了功能，但是在一些实施例中预期这些组件的功能可以在其它组件之间共享或分布。
因此，头戴式计算设备220可以包含执行指令(该指令可以由耳机应用276储存)的一个或多个耳机处理器280，以用于提供免提交互模式。免提交互模式可以有助于经由头戴式计算设备220与基于触摸的操作系统202的程序、应用和特征的交互。在一个方面，耳机应用276包括用于有助于与在基于触摸的操作系统202中操作的现有二进制应用(诸如应用208)的免提交互的指令。例如，免提交互系统200可以被配置为经由本地或现有二进制与任何数量的应用一起使用，诸如可从Playstore、Appstore和基于触摸的应用的任何其它源获得的应用。此外，耳机引擎210可以询问在基于触摸的操作系统202上运行的应用208，以确定包含在基于触摸的用户界面206中的屏幕组件/特征，诸如这样的输入控件、表单元素和导航命令等。例如，耳机引擎210可以分析基于触摸的操作系统202的用户界面层以确定何时提供各种屏幕组件/特征以用于显示。以这样的方式，当正在执行基于触摸的应用时，可以确定应用的各种显示的UI组件。然后可以提取或识别屏幕组件/特征，并将其提供给免提交互系统200的其它组件以进行处理，如下所述。结果，实际上可以在运行时启用任何可使用基于触摸的操作系统202操作的应用以用于免提交互。另外，免提交互系统200可以包括XML文件，该XML文件用于与标准免提交互模式指令不兼容的应用。XML文件可以覆盖标准免提交互模式指令，并提供定制的指令。另外，XML文件可以在运行时与应用208的现有二进制合并，以使得不需要修改现有二进制文件。
此外，头戴式计算设备220可以包括各种耳机设备I/O 222、组件，其可以例如感测或检测经由头戴式计算设备220接收的免提输入。例如，可以由免提输入确定器240处理所接收的输入，以生成一个或多个免提命令。此外，免提交互系统200可以被配置为确定和/或生成与所接收的免提输入相关联的命令。生成的免提命令可以(例如，由通信组件232)传送到基于触摸的操作系统202以用于执行。所确定的命令可以以编程方式指示基于触摸的操作系统202执行命令，就像它正在执行对应的基于触摸的输入一样。
耳机引擎210通常负责有助于基于触摸的操作系统202、基于触摸的用户界面206、运动处理系统242、声音处理系统250、界面分析器212、储存270、耳机设备输入/输出(I/O)222及其相应的子组件之间的通信。在一些方面，耳机引擎210响应于从耳机设备I/O 222接收信号而初始化免提交互模式。例如，(一个或多个)物理输入控件238(诸如按钮、开关等)可以接收初始化免提交互模式的输入。在一些方面，耳机引擎210还初始化基于触摸的用户界面206和/或基于触摸的操作系统202的分析，使得确定了基于触摸的滚动特征和基于触摸的控制对话。在一些方面，耳机引擎210接收运动数据(例如，来自传感器226a-226n)并将该信息发送到免提输入确定器240。在一些方面，耳机引擎210从耳机设备I/O 222接收音频输入224，并将该信息发送到免提输入确定器240。
基于触摸的用户界面206通常有助于用户与免提交互系统200中的基于触摸的操作系统202的交互。在一些方面，基于触摸的用户界面206可以包括基于触摸的滚动特征(诸如“滑动”特征、水平滚动条、垂直滚动条等)。在一些方面，基于触摸的用户界面206包括基于触摸的控制对话(诸如文本框或字段，例如，复选框、应用图标、文档工具、单选按钮等)。
在各方面，储存270可以包含关键词定制库272。关键词定制库272可以包括数据库，该数据库含有基于触摸的控制对话关联的关键词提示。在各方面，储存270还可以包括用户具体设置、偏好、阈值、许可或与个体或个体的组相关联的任何数据。在各方面，储存270可以是耳机应用276。储存270可以与免提交互系统200的任何组件和子组件通信地耦接。
音频输入224通常指代用于捕获音频的组件，诸如麦克风等(例如，定向和全向麦克风)。在实施例中，音频输入224可以包括位于头戴式计算设备220的各个点处的多个麦克风，其被配置为使得可以捕获环境噪声并最终将其用于帮助处理和分析用户音频输入。应理解，在不脱离本公开的范围的情况下，音频输入224可以是能够感知音频输入并将音频输入转换为音频馈送的传感器或传感器系统。音频输出230通常有助于向用户输出声音。应理解，在不脱离本公开的范围的情况下，可以在实施例中使用能够响应于电输入而产生声音的任何(一个或多个)音频输出组件(诸如扬声器)。在实施例中，音频输出230可以被配置为至少与耳机设备I/O 222通信。通信组件232通常通过任何合适的通信协议有助于头戴式计算设备220与其它设备之间的通信。在实施例中，通信组件可以包括上面或下面参考图10讨论的无线通信系统。
显示器234通常有助于向用户视觉呈现数据。应理解，在不脱离本公开的范围的情况下，可以在各种实施例中使用任何显示器。传感器226a-226n可以包括相机、麦克风、GPS、RFID传感器、红外传感器、光传感器、磁力计、陀螺仪、电容换能器、电位计、电阻换能器、同步器、加速度计和微陀螺仪等。
现在转到图3，提供了示出免提交互系统200的附加方面的框图，其中示例性头戴式计算设备220可以采用本公开的一些实施例。头戴式计算设备220可以包括：用于运动捕获、运动分析、音频输入、音频分析、音频输出、图像捕获、位置检测、取向确定、上下文确定、界面显示、位置检测和网络连接的系统，其中可以采用本公开的一些实施例；用户设备102a-102n，其可以与头戴式计算设备220通信地耦接并且可以与网络110通信地耦接；网络110，其结合图1进行描述；服务器106；以及数据源104a。免提交互系统200的组件可以实施为编译的计算机指令或功能的集合、程序模块、计算机软件服务、或在一个或多个计算机系统上实施的处理的布置，例如结合图10描述的计算设备1000。
在一个实施例中，由免提交互系统200的组件执行的功能与将位移转换为基于触摸的操作系统内的基于触摸的指令、命令或输入相关联。在实施例中，免提交互系统200包括头戴式计算设备耳机输入/输出(I/O)222、耳机引擎210和免提输入确定器240，其可以负责检测、处理、分发、监控和/或激活免提交互系统200内的其它系统或子系统。例如，响应于接收到激活命令，耳机引擎210可以在头戴式计算设备上初始化免提交互模式，其中免提交互模式使得能够与基于触摸的操作系统(OS)的用户界面进行交互。作为免提交互模式的初始化的一部分，耳机引擎210可以激活界面分析器212、运动处理系统242、声音处理系统250和上下文分析器214。
运动处理系统242通常有助于处理由耳机设备I/O 222检测到的基于运动的输入数据。运动处理系统242可以驻留在头戴式计算设备220、用户设备102a-102n、服务器106或能够(例如经由网络110)与免提交互系统200通信地连接的任何位置。在实施例中，运动处理系统242可以是耳机引擎的子系统。在实施例中，运动处理系统242可以是通过通信组件232与头戴式计算设备220通信地耦接的一个或多个用户设备102a-102n的子系统。在其它实施例中，运动处理系统242可以是通过通信组件232与头戴式计算设备220通信地耦接的一个或多个网络设备的子系统。
这样，来自传感器226a-226n的数据可以被发送到运动处理系统242以进行分析。在一些实施例中，运动处理系统242可以含有子组件，该子组件包含运动检测组件244、校准控制组件246和运动转换组件248(下面更详细地描述)。在各方面，运动处理系统242可以通过通信组件232与免提交互系统200通信地连接。耳机的横向、平移和旋转运动可以由传感器226a-226n检测并由运动处理系统242处理以确定中性位置和取向。例如，传感器数据可以由运动处理系统242处理，以检测耳机相对于三个轴和九个自由度中的位置和取向。在实施例中，运动处理系统242可以通过在免提交互模式初始化时检测耳机的取向来在免提交互模式的初始化期间校准中性位置。
在一些方面，阈值位移可以是距中性位置的预定位移值，诸如耳机在任何轴上从中性位置旋转+/-10度。另外，阈值位移可以是头戴式计算设备220的角位移、平移运动、旋转或任何其它移动。可以理解，尽管在本说明书中通常被称为单数，但是可以确定任何数量的阈值位移。阈值位移可以对应于用于与基于触摸的操作系统202交互的任何数量的基于触摸的输入。例如，基于向上滚动的输入可以具有头戴式计算设备220向上的旋转的对应免提输入。因此，免提旋转输入可以具有从中性位置向上预定度数的对应阈值。结果，可以减少或消除无意的免提输入。
在其它方面，阈值位移可以例如由运动处理系统242和/或耳机引擎210自动且迭代地调整。作为示例而非限制，免提交互系统200可以包括监控免提输入(该免提输入可以储存在用户数据274中)的计算机学习或机器学习指令，以基于在先的耳机运动数据来调整阈值位移。在其它方面，可以基于与任何数量的位置(其可以例如由位置确定器216确定)相关联的使用数据来自动调整阈值位移，该任何数量的位置与头戴式计算设备220相关联。在其它方面，位移阈值可以是定制值，其可以由用户确定。例如，用户可以经由免提交互应用的用户界面调整阈值位移设置，该免提交互应用可以储存在免提交互系统200内并由本文所述的任何设备执行。因此，运动处理系统242可以将检测到的位移或耳机的平移与阈值位移进行比较，这将在下文中更详细地描述。
运动检测组件244可以监控运动处理系统242以检测头戴式计算设备220的位移。例如，运动检测组件244可以将由校准控制组件246储存的初始参考图像与由运动处理系统242捕获的后续图像进行比较，以检测头戴式计算设备220相对于头戴式计算设备220的初始位置的位移。应理解，可以使用任何数量的图像分析算法，以通过比较初始参考图像与后续图像，来检测头戴式计算设备220相对于头戴式计算设备220的初始位置的位移。此外，阈值和/或检测到的位移可以包含确定位移的持续时间。例如，阈值位移可能要求将位移维持五秒的持续时间，以便被辨识为免提输入。另外，应理解，来自运动检测传感器(诸如传感器226a-226n，其可以包含如本文所讨论的加速计、陀螺仪等)的任何类型的数据可以用于确定或检测位移。
当运动检测组件244检测到头戴式计算设备220的位移高于阈值位移时，运动转换组件248可以将角位移转换为与一个或多个基于触摸的输入相对应的指令。运动转换组件248可以基于位移的类型确定适当的指令。在实施例中，运动转换组件248可以使用修饰语来扩充指令。例如，可以使用若干页面的修饰语(诸如滚动10页)来增强页面滚动指令。修饰语可以基于与检测到的免提输入相关联的特征，诸如检测到的位移的持续时间。
声音处理系统250通常有助于处理由耳机设备I/O 222检测到的基于音频的输入数据。这样，来自传感器226a-226n的数据可以被发送到声音处理系统250以进行分析。在一些方面，来自音频输入224的数据可以被发送到声音处理系统250以进行分析。在一些实施例中，声音处理系统250可以含有子组件，该子组件包含音频检测组件252、音频处理组件254和音频转换组件256，该音频检测组件252包含界面分析器212。在一些方面，声音处理系统250可以将检测到的音频输入与关联于基于触摸的控制对话的关键词提示进行比较。在各方面，声音处理系统250可以通过通信组件232与免提交互系统200通信地连接。这样，声音处理系统250可以位于用户设备、网络、服务器或能够与免提交互系统200通信地连接的任何位置。
在实施例中，因为基于触摸的操作系统被配置为仅允许音频输入到一个应用，所以声音处理系统可以进一步包括音频共享组件(未示出)。音频共享组件可以允许多个处理、应用、组件等同时接收音频输入。换言之，音频共享组件可以允许音频馈送在无需进一步处理或分析的情况下继续到基于触摸的操作系统，并且继续到音频检测组件252。换言之，音频共享组件有助于向基于触摸的应用提供音频馈送而不损害声音处理系统的功能。
例如，用户可以在基于触摸的操作系统和免提导航系统内同时运行电话会议应用，并且音频共享组件可以允许音频馈送继续到电话会议应用。另外，音频共享组件可以向音频检测组件252提供音频馈送。这样，在实施例中，音频共享组件可以复制音频馈送。
音频检测组件252通常有助于监控音频输入224和/或传感器226a-226n以检测音频馈送。例如，音频检测组件252可以收听头戴式计算设备220的麦克风，以便检测麦克风正在接收信号。继续该示例，音频检测组件252可以负责确定由麦克风接收的信号高于预定音量，这可以指示应该进一步处理信号以确定免提可听输入。在实施例中，音频检测组件252将检测到的音频馈送提供给音频处理组件254。
音频处理组件254通常有助于音频馈送的处理，以识别、隔离和分析用户的语音。在实施例中，音频处理组件254可以使用话音辨识算法、降噪算法、语音到文本算法、机器学习算法等来处理音频馈送。在一些方面，音频处理组件254可以从音频检测组件252接收多个音频馈送。在这些实施例中，音频处理组件254可以处理多个音频馈送，以至少部分地将用户的语音与背景噪声隔离。应理解，可以使用任何降噪算法、话音隔离算法或任何合适的算法或技术来至少部分地将用户的语音与背景隔离。在实施例中，音频处理组件254可以从音频检测组件252接收音频馈送，并且由界面分析器212识别与基于触摸的控制对话相关联的第一可听输入。在实施例中，音频处理组件254可以分析音频馈送并将音频馈送与关键词提示进行比较，以确定经处理的音频馈送是否与关键词提示匹配。
音频转换组件256通常有助于将音频馈送关键词提示匹配转换为相关联的控制对话。这样，音频转换组件256可以从音频处理组件254接收匹配关键词提示，并确定与关键词提示相关联的控制对话。
界面分析器212通常有助于检测基于触摸的用户界面206、基于触摸的操作系统202内的基于触摸的用户交互特征、基于触摸的用户界面206内的应用208，以及基于触摸的用户界面206内的文档204。如本文所使用的，基于触摸的用户交互特征包括基于触摸的滚动特征(诸如“滑动”特征、水平滚动条、垂直滚动条等)，基于触摸的控制对话(诸如文本框或字段，例如复选框、应用图标、文档工具、单选按钮等)，以及更通常地，包括有助于基于触摸的用户界面、操作系统、应用和/或文档内的任何元素、特征、图标、命令、代码、扩展、宏等。在各方面，界面分析器212可以通过扫描基于触摸的用户界面206的源代码、基于触摸的操作系统202和/或基于触摸的用户界面206内的应用208来检测和/或识别基于触摸的用户交互特征。在各方面，界面分析器212可以参考关键词定制库272和/或用户数据274以有助于上下文具体特征。
在一些实施例中，上下文分析器214通常有助于分析免提交互系统200的上下文数据和上下文具体特征。上下文数据可以是与耳机引擎210或其子组件的操作相关的任何数据。作为非限制性示例，上下文数据可以是用户数据(诸如用户数据274)、应用数据(诸如与应用208相关联)或从通信组件232或位置确定器216接收的数据。在实施例中，上下文分析器214附加地监控界面分析器212并确定任何定制数据是否与基于触摸的用户界面的当前实例相关。在实施例中，上下文分析器可以响应于分析，更改免提输入确定器240、耳机引擎210或它们相应的子组件的功能。例如，响应于界面分析器212分析基于触摸的用户界面的具体实例，上下文分析器214可以定位与基于触摸的用户界面的具体实例相关联的定制关键词提示库(诸如定制关键词库272)。然后，上下文分析器214可以将定制关键词提示库传送到声音处理系统250。
在实施例中，上下文分析器214可以使用位置信息来更改免提输入确定器240的功能。例如，上下文分析器214可以分析与具体定制关键词库相关联的位置数据(诸如由位置确定器216检测的蓝牙信标信息)。在实施例中，上下文分析器214可以确定具体的基于运动的阈值被指示为上下文数据的结果。
在实施例中，界面分析器212可以检测兼容的基于触摸的用户界面(例如GoogleAndroid或Apple iOS)并分析基于触摸的OS，以检测与用户界面的第一实例相关联的基于触摸的命令。例如，界面分析器可以检测用户界面的第一实例包括基于触摸的滚动特征。例如，基于触摸的滚动特征可以包括与基于触摸的操作系统相关联的基于触摸的滚动特征，以用于导航到基于触摸的操作系统的不同菜单屏幕；与应用相关联的基于触摸的滚动特征，以用于导航到应用的不同菜单屏幕；和/或与文档相关联的基于触摸的滚动特征，以用于导航到文档的不同部分。
在实施例中，当界面分析器212检测到基于触摸的滚动特征时，耳机引擎210可以激活运动处理系统242，其校准运动捕获系统、监控位移，并将位移转换为相关联的基于触摸的滚动特征。一旦被激活，运动处理系统242可以激活校准控制组件246。校准控制组件246检测头戴式计算设备的初始位置，初始位置包含头戴式计算设备220相对于一个或多个轴的取向。在实施例中，校准控制组件246可以通过激活运动检测组件244来确定头戴式计算设备的初始位置，运动检测组件244可以采用相机(例如，传感器226a-226n中的一个)来捕获图像。校准控制组件246可以至少临时地储存图像作为初始参考图像，以用于与后续图像进行比较，从而确定头戴式计算设备220的相对移动。
此外，在实施例中，界面分析器212将检测到的基于触摸的滚动特征与头戴式计算设备220在对应方向上的位移相关联。例如，如果界面分析器212检测到与基于触摸的OS相关联的基于触摸的滚动特征，其中该基于触摸的滚动特征对应于在用户界面的第一实例中从左向右“滑动”；界面分析器212可以将相对于头戴式计算设备220的初始位置向右的位移与从左向右的基于触摸的滑动相关联。对于另一个示例，如果界面分析器212检测到在用户界面的第一实例内的垂直滚动条；界面分析器212可以将相对于头戴式计算设备220的初始位置的“向上”角位移与将垂直滚动条向上移动预定数量的滚动单元相关联。如果界面分析器212检测到在用户界面的第一实例内的水平滚动条；界面分析器212可以将相对于头戴式计算设备220的初始位置向右的角位移与将水平滚动条向右移动预定数量的滚动单元相关联。
此外，耳机引擎210可以激活显示组件234以在头戴式计算设备220的显示器上显示触摸基本操作系统的用户界面的第一实例(参考图2更详细地描述，并且由附图标记234指示)。在实施例中，耳机引擎210然后可以激活运动检测组件244，其检测头戴式计算设备的第一角位移，第一角位移高于第一阈值角位移，其中第一阈值角位移是相对于初始位置的角位移。
另外，如果界面分析器212检测到基于触摸的滚动特征对应于从左向右的滑动并且将相对于头戴式计算设备的初始位置向右的角位移与从左向右的基于触摸的滑动相关联，并且运动检测组件244检测到头戴式计算设备从初始位置向右的角位移高于阈值，则运动转换组件248可以确定需要从左向右滑动的指令。然后，运动转换组件248可以将角位移转换为与从左向右滑动相对应的指令，并将该指令传递至命令生成器213。命令生成器213生成与由运动转换组件248指示的指令相对应的基于触摸的输入，并在基于触摸的用户界面内执行指令。应理解，系统可以检测、分析和转换任何位移，并且前述示例旨在作为示例，而不是作为限制。
在实施例中，界面分析器212可以检测兼容的基于触摸的操作系统并分析基于触摸的用户界面以检测与用户界面的第一实例相关联的至少一个基于触摸的控制对话。例如，基于触摸的控制对话可以包括与基于触摸的操作系统相关联的基于触摸的命令，以用于启用音频输出或改变音频输出音量；和/或与应用相关联的基于触摸的控制对话，以用于例如启动应用或选择应用元素、文本字段或“发送”元素。应理解，前述示例仅是潜在的基于触摸的控制对话的一小部分，并不旨在作为限制。
在实施例中，当界面分析器212检测到基于触摸的控制对话时，耳机引擎210可以激活声音处理系统250，其监控并处理音频输入、分析音频输入，以及将音频输入转换为相关联的基于触摸的控制对话。一旦被激活，声音处理系统250就可以激活界面分析器212，界面分析器212检测、识别控制对话选项，并将控制对话选项与关键词提示相关联。在实施例中，界面分析器212通过在运行时扫描与用户界面的第一实例相关联的源代码并提取特征来检测基于触摸的控制对话。例如，如果界面分析器212检测到嵌入用户界面的第一实例中的“按钮”，则界面分析器212将按钮文本与关键词提示相关联。在实施例中，界面分析器212可以检测与储存在免提计算设备的存储器(诸如储存270)中的用户界面的第一实例相关联的定制关键词提示库。在实施例中，界面分析器212可以检测储存在通信地耦接的用户设备(诸如用户设备102a)中的定制关键词提示库。在实施例中，界面分析器212可以检测储存在通信地耦接的数据源(诸如数据源104a)中的定制关键词提示库。
耳机引擎210激活显示组件234以在头戴式计算机设备的显示器上显示基于触摸的操作系统的用户界面的第一实例。在实施例中，耳机引擎210然后激活音频检测组件252以检测例如经由传感器226a-226n或音频输入224接收的音频，该音频检测组件252将音频输入传递到音频处理组件254。如本文所使用的，对音频馈送的参考可以指代由音频输入设备捕获的声学信号或由音频输入元件产生的电信号中任一个。
响应于命令生成器213在基于触摸的用户界面内执行指令，耳机引擎210然后指导显示组件234在头戴式计算设备的显示器上显示基于触摸的操作系统的用户界面的第二实例。
现在转向图4A，提供了图示示例性的基于运动的免提交互模式400的框图，其可以至少部分地由参考图3描述的耳机实现。在实施例中，耳机引擎初始化与运动处理系统242相关联的免提交互模式402。免提交互模式402可以包含激活界面分析器以检测用户界面的第一实例内的基于触摸的滚动特征，并将基于触摸的滚动特征与第一角位移相关联。在框404处，检测免提计算设备的初始位置并确定初始参考取向。在实施例中，这可以由校准控制组件246完成，如参考图3所讨论的。在实施例中，校准控制组件246可以由用户在任何点重新激活以重置参考取向。例如，用户可以在确定初始参考取向时将他们的头部置于古怪或不舒服的位置，使得在免提导航期间维持该位置是不期望的；用户可以重新激活校准控制组件246以使得可以重新确定参考取向。在实施例中，头戴式计算设备220可以具有与重新激活校准控制组件246相关联的按钮(诸如物理输入元件238)。另外和/或替代地，在实施例中，预定的音频命令与重新激活校准控制组件相关联。
在框406处，显示器呈现用户界面的第一实例。在实施例中，这由耳机引擎210完成，如参考图3所讨论的。在框408处，由运动检测组件244检测头戴式计算机设备的移动，如参考图3所述。在框410处，运动检测组件244确定检测到的移动已超过与基于触摸的滚动特征相关联的角度阈值，如参考图3所述。在框412处，运动转换组件248将检测到的位移转换为与基于触摸的滚动特征相关联的基于触摸的滚动指令。此外，在基于触摸的界面的第一实例内生成并执行命令。在框414处，响应于执行基于触摸的滚动命令，显示用户界面的第二实例。应理解，方法400可以如预期地以重复的方式执行多次。
在实施例中，基于运动的免提交互模式的一些处理可以至少部分地由用户设备(诸如用户设备102a)完成，该用户设备与头戴式计算设备220通信地连接，如参考图3所述。
现在转向图4B，提供了图示示例性的基于音频的免提交互模式416的框图，其可以至少部分地由图3所示的耳机实现。在实施例中，耳机引擎初始化与声音处理系统250相关联的免提交互模式418。初始化免提交互模式418可以包含激活界面分析器，以检测用户界面的第一实例内的至少一个基于触摸的控制对话。在框420处，识别至少一个基于触摸的控制对话并将其与关键词提示相关联。在实施例中，界面分析器可以分析在基于触摸的用户界面内运行的应用的源代码，并识别与应用源代码中的基于触摸的控制对话相关联的名称。然后，界面分析器可以生成与来自应用源代码的名称基本上类似的关键词提示，并将生成的关键词提示与基于触摸的控制对话相关联。例如，如果基于触摸的用户界面在应用中显示构建蓝图并且应用具有基于触摸的控制对话，该控制对话在应用内打开缩放特征，则界面分析器可以实时：访问应用的源代码；识别编码缩放特征的代码的一部分；检测到该特征被命名为“缩放”；生成关键词提示“缩放”；并且将所生成的关键词提示“缩放”与打开缩放特征的基于触摸的控制对话相关联。在实施例中，当将基于触摸的控制对话与关键词提示相关联时，界面分析器可以参考预定义或定制关键词提示库，如参考图7B详细讨论的。
在框422处，显示器呈现用户界面的第一实例。在实施例中，耳机引擎210编排用户界面的呈现，如参考图3所讨论的。在实施例中，在框424处，可以在第一用户界面上同时显示图形重叠，包括界面分析器使用第一用户界面识别的关键词提示的至少一个视觉指示符。在进一步的实施例中，视觉指示符可以基本上靠近基于触摸的控制对话的位置定位，如参考图8B所示和讨论的。
在框426处，耳机检测到可听输入。在实施例中，可听输入可以最初由音频输入224检测，例如用户说出的短语“缩放”。然后，音频输入224可以将说出的短语“缩放”转换为音频馈送，并将音频馈送传递至音频检测组件252。然后，音频检测组件252可以激活音频处理组件254。
在框428处，处理和分析音频馈送以确定可听输入是否匹配关键词提示并因此匹配基于触摸的控制对话。在实施例中，音频处理组件254可以使用话音辨识算法、降噪算法、语音到文本算法、机器学习算法等来处理音频馈送。例如，可以处理音频馈送以将用户说出的短语“缩放”与任何环境、偶然或背景噪声隔离。然后，音频处理组件254可以分析经处理的音频馈送并将经处理的音频馈送与关键词提示进行比较以确定经处理的音频馈送是否与关键词提示匹配。
在框430处，基于触摸的命令被生成，该命令对应于与检测到的关键词提示相关联的基于触摸的控制对话，并且该命令在基于触摸的用户界面的第一实例内执行。换言之，当音频处理组件确定音频馈送与关键词提示匹配时，音频转换组件将匹配的关键词提示转换为相关联的控制对话。然后，音频转换组件将控制对话传递至命令生成器，命令生成器生成等效于基于触摸的控制对话的命令。然后，由基于触摸的用户界面内的耳机引擎执行所生成的命令。例如，一旦音频处理组件将短语“缩放”与关键词提示“缩放”匹配，则音频转换组件将关键词提示“缩放”转换为等效于选择缩放控制对话的指令。然后将该指令传递至命令生成器，该命令生成器生成等效于基于缩放触摸的控制对话的基于触摸的用户选择的命令。然后，由基于触摸的用户界面内的耳机引擎执行该命令，这导致缩放特征激活。应理解，方法416可以如预期地以重复的方式执行多次。
现在转向图4C，提供了图示示例性的基于运动和音频的免提交互模式的框图，其可以至少部分地由图3所示的耳机实现。在框434处，启动免提交互模式。在实施例中，如参考图3所讨论的，界面分析器分析基于触摸的OS以检测与用户界面的第一实例相关联的至少一个基于触摸的命令。例如，界面分析器可以检测到用户界面的第一实例包括基于触摸的滚动特征，例如以用于导航到基于触摸的操作系统的不同菜单屏幕，并且界面分析器212还可以检测到用户界面的第一实例包括基于触摸的控制对话，以用于打开例如安装在基于触摸的操作系统中的应用。
然后，耳机引擎210可以初始化免提移动协议436并初始化免提音频协议438。在实施例中，免提移动协议436可以包括基于运动的免提交互模式400的一些、部分或全部处理。例如，耳机引擎210可以激活校准控制组件246以确定头戴式计算设备的初始位置，初始位置包含头戴式计算设备相对于一个或多个轴的取向。在实施例中，免提音频协议438可以包括基于音频的免提交互模式416的一些、部分、全部或替代处理。例如，耳机引擎可以激活控制对话检测模块以启用基于音频的免提导航。将理解，耳机引擎可以以任何顺序或同时初始化免提移动协议436和免提音频协议438。
一旦确定了耳机的初始参考取向并且(一个或多个)基于触摸的控制对话与关键词提示相关联，则显示基于触摸的用户界面的第一实例，如框440所示。在框442处，运动检测组件和音频检测组件监控、检测和分析来自耳机I/O系统的输入数据，分别如参考图4A和图4B所述。
在框444处，当检测到移动时，运动检测组件确定移动是否超过相关阈值，如参考框410所讨论的。如果超过相关阈值，则在框446处调整显示，如参考框412和414所讨论的。如果未超过相关阈值，则系统返回到框442。
在框448处，当检测到音频输入时，音频处理组件确定音频输入是否与关键词提示匹配，如参考框428所讨论的。如果音频输入与关键词提示匹配，则在框450处执行等效于相关联的控制对话的基于触摸的命令，如参考框430所讨论的。应理解，方法432可以如预期地以重复的方式执行多次。
现在转向图5，提供了示出示例性基于多轴运动的方法500的框图，该方法500有助于与基于触摸的操作系统的免提交互。换言之，当与兼容耳机一起利用时，方法500有助于与基于触摸的操作系统的简单和复杂的基于运动的免提交互。作为说明性示例，在框510处，穿戴兼容耳机的用户初始化免提导航界面。如先前所述，确定耳机的初始参考取向等效于在中性位置面向前方。在框512处，耳机检测到移动。例如，用户将他们的头部从中性向右并且同时向上转动。在框514处，系统确定移动是否在第一轴上。例如，在第一轴上的移动可以是围绕z轴从初始参考位置朝向x轴(向用户的右侧)的旋转。换言之，系统可以检测到用户将其头部从面向前方转动(旋转)到向右。在框516处，系统确定移动是否也发生在第二轴上。例如，在第二轴上的移动可以是围绕x轴从初始参考位置朝向z轴(从穿戴者的视角向上)的旋转。换言之，系统可以检测到用户还将其头部从基本平行于y轴的位置转动(旋转)朝向z轴。
在框518处，系统确定在第一轴上的移动是否超过第一轴阈值。第一轴阈值可以例如预定为距初始参考位置+/-10度。如果系统检测到在第一轴上的位移超过+/-10度，则系统确定超过阈值。如果系统检测到在第一轴上的位移低于+/-10度，则系统确定未超过阈值。例如，如果用户将其头部向右转动20度，则系统将确定超过第一轴阈值。
在框520处，系统确定在第二轴上的移动是否超过第二轴阈值。第二轴阈值可以例如预定为距初始参考位置+/-10度。如果系统检测到在第二轴上的位移超过+/-10度，则系统确定超过阈值。如果系统检测到在第二轴上的位移低于+/-10度，则系统确定未超过阈值。例如，如果用户将其头部向上转动20度，则系统将确定超过第二轴阈值。
在框522处，系统执行与多轴输入相关联的基于触摸的滚动特征，并显示基于触摸的用户界面的第二实例。在实施例中，多轴输入可以表示两个独立的基于触摸的滚动特征。继续先前的示例，多轴输入(向右且向上)可以对应于将水平滚动条向右移动预定数量的滚动单元，并将垂直滚动条向上移动预定数量的滚动单元。在实施例中，多轴输入可以表示单个基于触摸的滚动特征。例如，多轴输入(向右且向上)可以对应于移动垂直滚动条等效于所显示文档的整页的若干滚动单元。
返回到框516，如果仅在第一轴上检测到移动，则在框524处，系统确定移动是否超过第一轴阈值。如果移动没有超过第一轴阈值，则系统返回到框512。如果移动确实超过第一轴阈值，则系统执行与第一轴输入相关联的基于触摸的滚动特征，并在框526处，显示基于触摸的用户界面的第二实例。
返回到框518，如果检测到的移动没有超过第一轴的阈值，则系统继续进行到框528。在框528处，系统确定移动是否超过第二轴的阈值。如果移动没有超过第二轴阈值，则系统返回到框512。如果移动确实超过第二轴阈值，则系统执行与第二轴输入相关联的基于触摸的滚动特征，并在框530处，显示基于触摸的用户界面的第二实例。
应理解，参考示例性方法500提供的示例仅表示在本公开的范围内的可能的多轴输入和相关联的基于触摸的滚动命令的子集。因此，实施例仅仅是说明性的，并不意味着被解释为限制性的。
现在转向图6A，提供了与所公开发明的实施例一致的图示可能的使用情况的示例性附图。应理解，图6A仅包含实施例的系统和组件的子集，以确保图清楚。在初始化免提导航界面之后，通过显示器向穿戴兼容耳机的用户呈现与用户正在构建的建筑物相关联的蓝图602的第一部分。在检查与蓝图602的第一部分相关联的建筑物600的区域之后，用户可以将其头部转动到向左。在604处，系统检测在第一轴(在这种情况下为x轴)上的移动，并确定在第一轴上的移动超过第一轴阈值。然后，系统将移动转换为与等效于滚动到向左的基于触摸的滚动特征相关联的命令。然后，系统在基于触摸的用户界面内执行命令。然后，系统显示基于触摸的用户界面的第二个实例。在本文中，该命令导致在显示的蓝图内向左滚动预定距离，并且显示器示出蓝图606的第二部分。
现在转向图6B，提供了与所公开发明的实施例一致的图示另一个可能的使用情况的示例性附图。应理解，图6B仅包含实施例的系统和组件的子集，以确保附图的清楚性。在初始化免提导航界面并检测滚动条位置616a处的垂直滚动条和滚动条位置614a处的水平滚动条之后，可以通过显示器向穿戴兼容耳机的用户呈现与用户正在构建的建筑物相关联的费用报告的第一页612。在查看费用报告的第一页612之后，用户可以向下旋转其头部。在618处，耳机可以检测围绕x轴的角位移，并确定在第一轴上的运动超过第一轴阈值。然后，系统将移动转换为与将垂直滚动条从滚动条位置616a向下移动预定距离到滚动条位置616b相关联的命令。然后，系统在基于触摸的用户界面内执行命令。然后，系统显示基于触摸的用户界面的第二个实例。在本文中，显示器现在示出费用报告的第二页620。
现在转到图7A，提供了图示方法700的流程图，该方法700通常有助于将话音输入准确地转换为基于触摸的操作系统的基于触摸的用户界面内的执行命令。初始，如框701所示，该方法包含从耳机传感器接收输入数据。此外，在框702处，该方法可以包含确定所接收的输入数据是否是音频馈送。例如，可以检测与基于触摸的控制对话相关联的音频输入。在一些方面，在框704处，该方法包括分析音频输入。在实施例中，使用基于计算机的语音辨识技术处理音频馈送以识别音频输入。在框706处，该方法可以确定所分析的音频输入是否与关键词提示匹配。在实施例中，控制对话检测器将分析的音频输入与生成的关键词提示进行比较，该生成的关键词提示与基于触摸的控制对话相关联。应理解，可以使用任何一个或多个话音到文本匹配算法来确定音频输入是否与关键词提示匹配。在实施例中，基于触摸的控制对话可以与在基于触摸的操作系统中执行的移动应用相关联。在实施例中，在框708处，该方法包括确定与音频输入匹配的关键词提示是否对应于延缓免提交互模式的指令。例如，该方法可以确定关键词提示是否对应于将音频输入组件设置为被动模式的指令。在此上下文中，被动模式指代(至少暂时地)在免提交互模式内暂停对耳机传感器和/或音频输入系统的分析。然而，在实施例中，耳机传感器和/或音频输入系统保持活跃以与其它处理一起使用。换言之，耳机传感器和/或音频输入系统可以继续向基于触摸的操作系统内运行的应用发送数据。例如，在使用免提交互模式来回应来自视频聊天应用的视频聊天请求之后，用户可以通过说出与被动模式相关联的关键词提示将免提交互模式置于被动模式，而继续在视频聊天应用中使用耳机麦克风和相机。
在该方法的实施例中，在框710处，响应于确定关键词提示与将音频输入设置为被动模式的指令相关联，将音频输入设置为被动模式。在一些实施例中，在框712处，接收命令以去激活被动模式，并且该方法返回到框702。在实施例中，去激活被动模式的命令可以与位于耳机上的物理输入元件(诸如按钮)相关联。返回到框708，在实施例中，当关键词提示是除被动模式指令之外的任何内容时，在基于触摸的用户界面内生成并执行基于触摸的控制对话命令。
现在转到图7B，提供了图7A中描绘的流程图的一部分，其图示了用于将音频输入与关键词提示进行比较的示例性方法716。示例性方法716通常有助于将音频输入与生成的关键词提示、定制关键词提示和辅助关键词提示进行比较。如参考图7A所讨论的，在框704处，该方法包括分析音频输入。在框718处，可以将分析的音频输入与由界面分析器生成的关键词提示进行比较。如先前所述，关键词提示可以由界面分析器通过分析与用户界面的第一实例相关联的源代码来识别和生成。
在一些实施例中，在框720处，可以将分析的音频输入与定制关键词提示库722进行比较。这样，用户可以创建定制关键词提示并将定制关键词提示与基于触摸的控制对话相关联。在实施例中，该定制关键词库可以至少部分地取代由界面分析器生成的关键词提示。在实施例中，关键词提示可以是与用户界面的具体第一实例相关联的定制或预定关键词提示——控制对话组合。
在实施例中，在框724处，可以将分析的音频输入与辅助关键词提示库728进行比较。在实施例中，辅助关键词提示库可以包括表格，该表格包括与基于触摸的控制对话相关联的多个关键词提示。例如，如果界面分析器识别出不可发声的基于触摸的控制对话，则界面分析器可以自动替换来自与不可发声控制对话相关联的辅助关键词提示库的至少一个辅助关键词提示。另外和/或替代地，如果基于触摸的用户界面的第一实例含有导致基本上类似的生成的关键词提示的多个基于触摸的控制对话，则辅助关键词提示库可以以相同的方式提供替代的关键词提示。
现在转到图8A，提供了示例性的基于触摸的用户界面，其示出了检测到的控制对话的示例性实例。换言之，1-28指示可以被识别为基于触摸的控制对话的界面特征。在实施例中，界面分析器212可以通过分析与用户界面相关联的源代码来检测界面特征1-28。在所描绘的示例中，界面分析器212可以分析与在基于触摸的用户界面当前呈现的基于触摸的操作系统内运行的应用相关联的源代码。然而，界面分析器212还可以分析与基于触摸的操作系统本身相关联的源代码或任何其它存在的代码。
在实施例中，一旦界面分析器212将界面特征(诸如界面特征1-28)识别为基于触摸的控制对话，界面分析器212可以分析控制对话，生成关键词提示，并将关键词提示与控制对话相关联。在实施例中，界面分析器212可以重新分析相关的源代码。在实施例中，界面分析器212可以向界面分析器212提供相关源代码的至少部分分析。
现在转向图8B，描绘了具有关键词提示重叠的示例性基于触摸的用户界面。换言之，30-38指示可以呈现给用户的显示重叠，以帮助使用本公开的实施例的基于音频的免提导航。在实施例中，可以由耳机引擎210基于界面分析器212对基于触摸的用户界面的分析来自动显示重叠。在实施例中，重叠可以由耳机引擎210的多个子组件自动生成。例如，界面分析器212可以检测界面特征(诸如来自图8A的界面特征1-28)，将界面特征识别为控制对话，并激活音频检测组件252；音频检测组件252可以分析控制对话，生成关键词提示，并将关键词提示与控制对话相关联；耳机引擎210可以检测该关联，生成含有关键词提示的重叠，并使重叠叠加在基于触摸的用户界面的显示器上(诸如重叠30-38)。应理解，前述内容仅仅用作用于创建与本公开一致的重叠的示例方法，并不意味着限制。
然而，重叠的自动创建可能导致比在基于触摸的用户界面的给定实例中的重叠中需要、有用或期望呈现的控制对话更多的控制对话。换言之，纯粹自动生成关键词提示重叠可能无意中阻碍基于触摸的用户界面的免提导航。因此，在实施例中，可以由耳机引擎210基于定制的偏好自动显示重叠。在这样的实施例中，耳机引擎210可以识别与定制库中的基于触摸的用户界面的实例相关联的预定重叠模板。
在实施例中，控制对话的功能可以由耳机引擎210和/或其子组件确定，并且可以仅针对被确定为与用户相关的那些相关联的关键词提示生成重叠。在实施例中，该确定可以由上下文分析器214基于上下文数据来完成。在实施例中，该确定可以至少部分地基于用户偏好(例如，储存在用户数据274中的用户偏好)来完成。
现在转到图9，描绘了与本公开的一些实施例一致的示例性头戴式计算设备900。头戴式计算设备900通常有助于与基于触摸的操作系统的基于触摸的用户界面的免提交互。应理解，虽然描绘了具有各种传感器的示例性头戴式计算设备900，但是在不脱离本公开的范围的情况下，传感器的位置和数量可以变化。在实施例中，头戴式计算设备900可以包括用于感测运动和音频的多个传感器，以及用于向用户显示基于触摸的用户界面的组件。例如，示例性显示902通常有助于向用户显示基于触摸的用户界面。在实施例中，显示器902可以配置有头戴式计算设备900，使得显示器902可以呈现用于显示基于触摸的用户界面。在实施例中，显示器902可以另外被配置为显示关键词提示重叠，如上所述。在实施例中，显示器902可以是至少部分半透明的，使得用户可以通过显示器902查看并感知所显示的基于触摸的用户界面和环境两者。在实施例中，显示器902可以是单眼显示器。在实施例中，显示器902可以是双眼显示器。然而，应理解，在不脱离本公开的范围的情况下，可以在所公开的发明的实施例中使用任何显示器。在实施例中，显示器902可以被配置为至少与耳机设备I/O 222通信。
示例性传感器904通常有助于捕获音频输入。在实施例中，传感器904可以是定向麦克风。在实施例中，传感器904可以是全向麦克风。在未描绘的实施例中，传感器904可以进一步包括位于头戴式计算设备900的各个点处的多个麦克风，其被配置为使得可以捕获环境噪声并最终将其用于帮助处理和分析用户音频输入。应理解，在不脱离本公开的范围的情况下，传感器904可以是能够感知音频输入并将音频输入转换为音频馈送的传感器或传感器系统。在实施例中，示例性传感器904可以被配置为与免提输入确定器240及其子系统通信。
示例性物理输入传感器906通常提供输入组件，其通常有助于各种免提导航特征的重新激活。在实施例中，物理输入传感器906可以被配置为在已经发出被动命令之后用信号通知免提输入确定器240以重新激活基于音频的命令，如关于图7A所讨论的。在实施例中，物理输入906可以被配置为用信号通知免提输入确定器240以重新校准耳机的参考取向，如上所述。在实施例中，物理输入传感器906可以包括多个物理输入传感器，使得第一传感器可以被配置为用信号通知免提输入确定器240以重新激活基于音频的命令，并且第二传感器可以被配置为用信号通知免提输入确定器240以重新校准参考取向。应理解，在不脱离本公开的范围的情况下，物理输入传感器906可以是能够检测物理交互的任何传感器。
示例性音频输出908通常将来自头戴式计算设备900的音频输出提供给用户。应理解，在不脱离本公开的范围的情况下，可以在实施例中使用能够响应于电输入而产生声音的任何(一个或多个)音频输出组件(诸如扬声器)。在实施例中，音频输出902可以被配置为至少与耳机设备I/O 222通信。
示例性运动传感器910通常有助于上述运动处理系统的运动检测。如本文所使用的，运动传感器可包括至少一个加速计、多轴加速计、磁力计、陀螺仪、电容换能器、电位计、电阻换能器、同步器或能够检测在至少一个轴上的运动的任何类似传感器。在实施例中，运动传感器910可包括至少一个运动传感器。在实施例中，运动传感器910可包括多个运动传感器。在实施例中，运动传感器910可以被配置为与免提输入确定器240及其子系统通信。
在实施例中，示例性传感器912通常有助于运动确定。在实施例中，传感器912可以是对配置成周期性地(诸如以60帧/秒或以任何预定速率)捕获图像的光敏感的数字传感器。在实施例中，图像捕获组件912可以是对被配置为连续捕获图像的光敏感的数字传感器。在实施例中，传感器912可以被配置为与免提输入确定器240及其子系统通信。应理解，示例性传感器912可以包含能够捕获数字图像的任何传感器(诸如相机、摄像机等)，该任何传感器可以在不脱离本公开的范围的情况下在实施例中使用。
如本文所提到的，位移可以指代耳机(诸如头戴式计算设备900)相对于三个轴和九个自由度的位置的任何改变。这可以包含但不限于在三个轴中的任何一个上的平移或围绕三个轴中的任何一个的旋转。注意到，与三维空间中的位移有关的术语因领域(例如航空、生物力学和计算机科学)而有很大的变化，并且在通常使用中可能有很大的变化。为此，已经进行了各种尝试以清楚和简化描述移动、位移、旋转和/或角位移的该描述的部分；然而，除非明确地相反说明，否则每个示例旨在提供上下文而不意味着限制本公开。
例如，在x轴上的平移可以称为向右移动或向左移动。然而，应理解，这也可以被认为等效于在横轴上从原点向正(向右)或向负(向左)移动。围绕x轴的旋转(角位移)可以称为向上或向下旋转。然而，应理解，这也可以被认为等效于向上或向下倾斜。因此，例如，在向上旋转的同时向右移动将被理解为在向上倾斜的同时在横轴上从原点向正值移动。
在y轴上的平移可以称为向前或向后移动。然而，应理解，这也可以被认为等效于在纵轴上从原点向正(向前)或向负(向后)移动。围绕y轴的旋转(角位移)可以称为向左或向右倾侧。然而，应理解，这也可以被认为等效于向左(逆时针)或向右(顺时针方向)滚卷。因此，例如，在向左倾侧的同时向前移动将被理解为在向左滚卷的同时在纵轴上从原点向正值移动。
在z轴上的平移可以称为向上或向下移动。然而，这也可以被认为等效于在垂直轴上从原点向正(向上)或向负(向下)移动。围绕z轴的旋转(角位移)可以称为向左或向右转动。然而，应理解，这也可以被认为等效于向左或向右偏航。因此，例如，在向左转动的同时向上移动将被理解为在向左偏航的同时在垂直轴上从原点向正值移动。
已经描述了本公开的各种实施例，现在描述适合于实现本公开的实施例的示例性计算环境。参考图10，提供了示例性计算设备，并且通常称为计算设备1000。计算设备1000仅是合适的计算环境的一个示例，并且不旨在对本公开的使用范围或功能提出任何限制。也不应将计算设备1000解释为对所示组件中的任何一个或组合具有任何依赖性或要求。
可以在计算机代码或机器可用指令的一般上下文中描述本公开的实施例，包含计算机可用或计算机可执行指令，诸如程序模块，其由计算机或其它机器(诸如个人数据助理、智能手机、平板PC或其它手持设备)执行。通常，程序模块(包含例程、程序、对象、组件、数据结构等)指代执行特定任务或实现特定抽象数据类型的代码。本公开的实施例可以在各种系统配置中实践，包含手持设备、消费电子产品、通用计算机、更专业的计算设备等。本公开的实施例还可以在分布式计算环境中实践，其中任务是由通过通信网络链接的远程处理设备进行。在分布式计算环境中，程序模块可以位于包含存储器储存设备的本地和远程计算机储存介质两者中。
参考图10，计算设备1000包含直接或间接耦接以下设备的总线1010：存储器1012、一个或多个处理器1014、一个或多个呈现组件1016、一个或多个输入/输出(I/O)端口1018、一个或多个I/O组件1020，以及说明性电源1022。总线1010表示可以是一个或多个总线(诸如地址总线、数据总线或其组合)。尽管为了清楚起见，图10的各个方框用线示出，但实际上，这些方框表示逻辑的不一定是实际的组件。例如，可以将诸如显示设备的呈现组件视为I/O组件。而且，处理器具有存储器，因此存储器1012和一个或多个处理器1014可以包括或可以不包括分开的或不同的组件。发明人在此认识到这是本领域的本质并且重申图10的图仅仅是可以结合本公开的一个或多个实施例使用的示例性计算设备的说明。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持设备”等类别之间没有区别，因为所有这些都在图10的范围内并且指代“计算设备”。
计算设备1000通常包含各种计算机可读介质。计算机可读介质可以是可由计算设备1000访问的任何可用介质，并且包含易失性和非易失性介质、可移除和不可移除介质。作为示例而非限制，计算机可读介质可以包括计算机储存介质和通信介质。计算机储存介质包含以用于储存诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。计算机储存介质包含但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘(DVD)或其它光盘储存、磁带盒、磁带、磁盘储存或其它磁储存设备，或可用于储存期望的信息并且可由计算设备1000访问的任何其它介质。计算机储存介质本身不包括信号。通信介质通常以诸如载波或其它传输机制的已调制数据信号来实施计算机可读指令、数据结构、程序模块或其它数据，并且包含任何信息传递介质。术语“已调制数据信号”意味着以对信号中的信息进行编码的方式设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质包含有线介质(诸如有线网络或直接有线连接)，以及无线介质(诸如声学、RF、红外和其它无线介质)。上述任何组合也应包含在计算机可读介质的范围内。
存储器1012包含易失性和/或非易失性存储器形式的计算机储存介质。存储器可以是可移除的、不可移除的或其组合。示例性硬件设备包含固态存储器、硬盘驱动器、光盘驱动器等。计算设备1000包含一个或多个处理器1014，其从诸如存储器1012或I/O组件1020的各种实体读取数据。(一个或多个)呈现组件1016向用户或其它设备呈现数据指示。示例性呈现组件包含显示设备、扬声器、打印组件、振动组件等。
I/O端口1018允许计算设备1000在逻辑上耦接到其它设备，包含I/O组件1020，其中一些可以内置。说明性组件包含麦克风、操纵杆、游戏手柄、卫星天线、扫描仪、打印机、无线设备等。I/O组件1020可以提供处理由用户生成的空中手势、话音或其它生理输入的自然用户界面(NUI)。在一些情况下，可以将输入发送到适当的网络元件以进行进一步处理。NUI可以实现以下与计算设备1000上的显示器相关联的任何组合：语音辨识，触摸和手写笔辨识，面部辨识，生物辨识，屏幕上和屏幕附近的手势辨识，空中手势、头部和眼睛跟踪，以及触摸辨识。计算设备1000可以配备有深度相机，诸如立体相机系统、红外相机系统、RGB相机系统以及它们的组合，以用于手势检测和辨识。另外，计算设备600可以配备有能够检测运动的加速计或陀螺仪。可以将加速度计或陀螺仪的输出提供给计算设备1000的显示器以渲染沉浸式增强现实或虚拟现实。
计算设备1000的一些实施例可以包含一个或多个无线电1024(或类似的无线通信组件)。无线电1024发送和接收无线电或无线通信。计算设备1000可以是适于通过各种无线网络接收通信和媒体的无线终端。计算设备1000可以经由无线协议——诸如码分多址(“CDMA”)、全球移动系统(“GSM”)或时分多址(“TDMA”)以及其它协议——通信以与其它设备通信。无线电通信可以是短程连接、远程连接、或短程和远程无线电信连接的组合。当我们提到“短”和“远”类型的连接时，我们并不是指两个设备之间的空间关系。代替地，我们通常将短程和远程指代为连接的不同类别或类型(即，主要连接和次要连接)。作为示例而非限制，短程连接可以包含到设备(例如，移动热点)的Wi-Fi连接，Wi-Fi连接提供对无线通信网络的访问，诸如使用802.11协议的WLAN连接；到另一个计算设备的蓝牙连接是短程连接或近场通信连接的第二示例。作为示例而非限制，远程连接可以包含使用CDMA、GPRS、GSM、TDMA和802.16协议中的一个或多个的连接。
在不脱离下面的权利要求的范围的情况下，所描绘的各种组件以及未示出的组件的许多不同布置都是可能的。已经描述了本公开的实施例，其旨在是说明性的而不是限制性的。在阅读本公开之后并且因为本公开，替代实施例对于本公开的读者将变得显而易见。在不脱离以下权利要求的范围的情况下，可以完成实现上述内容的替代手段。某些特征和子组合具有实用性，可以在不参考其它特征和子组合的情况下采用，并且预期在权利要求的范围内。

Claims (13)

1.一种用于头戴式计算设备的免提导航的计算机实现的方法，所述方法包括：
在所述头戴式计算设备上初始化免提交互模式，其中所述免提交互模式使得能够与基于触摸的操作系统的用户界面进行交互；
检测所述头戴式计算设备的初始位置，所述初始位置包含所述头戴式计算设备相对于一个或多个轴的位置；
在所述头戴式计算设备的显示器上显示所述基于触摸的操作系统的用户界面的第一实例；
由所述头戴式计算设备确定所述头戴式计算设备的第一位移高于相对于所述初始位置的第一阈值位移；
基于所述第一位移高于所述第一阈值位移的确定，由所述头戴式计算设备将所述第一位移转换为基于触摸的输入的对应集合，以用于与所述基于触摸的操作系统进行的通信。
2.如权利要求1所述的计算机实现的方法，进一步包括：接收与所述基于触摸的操作系统的用户界面相关联的第一可听输入，以及基于所述第一可听输入确定第二指令。
3.如权利要求1所述的计算机实现的方法，其中所述用户界面与所述基于触摸的操作系统中的电子文档相关联。
4.如权利要求2所述的计算机实现的方法，其中所述基于触摸的输入的对应集合包括具有固定数量的滚动单元的滚动指令。
5.如权利要求1所述的计算机实现的方法，其中所述第一阈值位移对应于所述头戴式计算设备相对于所述一个或多个轴的最小角位移。
6.如权利要求1所述的计算机实现的方法，其中所述第一位移由所述头戴式计算设备的一个或多个传感器检测。
7.如权利要求1所述的计算机实现的方法，其中检测所述第一位移包括确定所述第一位移的持续时间。
8.如权利要求1所述的计算机实现的方法，进一步包括在所述头戴式计算设备的显示器上显示所述基于触摸的操作系统的用户界面的第二实例。
9.如权利要求8所述的计算机实现的方法，进一步包括：检测所述头戴式计算设备的第二位移，所述第二位移高于第二阈值位移；基于所述第二位移确定第二指令，其中所述第二指令对应于所述一个或多个基于触摸的输入；并且在所述头戴式计算设备的显示器上显示所述基于触摸的操作系统的用户界面的第三实例。
10.一种用于头戴式计算设备的免提导航的系统，所述系统包括：
一个或多个处理器；以及
储存计算机可用指令的一个或多个计算机储存介质，当由所述一个或多个处理器执行所述计算机可用指令时，实现包括以下的方法：
在所述头戴式计算设备上初始化免提交互模式，其中所述免提交互模式使得能够与基于触摸的操作系统的用户界面进行交互；
在所述头戴式计算设备的显示器上显示所述基于触摸的操作系统的用户界面的第一实例；
检测第一免提输入，包括以下中的一个或多个：
确定所述头戴式计算设备的第一位移高于阈值位移；以及
检测与包含在所述用户界面的第一实例中的基于触摸的控制对话相对应的第一可听输入；
基于所述第一位移高于所述阈值位移的确定，将所述第一免提输入转换为基于触摸的输入的对应集合，以用于与所述基于触摸的操作系统进行的通信。
11.如权利要求10所述的系统，其中所述第一免提输入包括所述第一位移和所述第一可听输入。
12.如权利要求10所述的系统，其中所实现的方法进一步包括：检测第二免提输入；基于所述第二免提输入确定第二指令，其中所述第二指令对应于所述一个或多个基于触摸的输入；并且在所述头戴式计算设备的显示器上显示所述基于触摸的操作系统的用户界面的第三实例。
13.如权利要求10所述的系统，其中所实现的方法进一步包括检测免提初始化输入，并生成用于在所述头戴式计算设备上初始化所述免提交互模式的指令。
CN201780086276.8A 2016-12-23 2017-12-06 基于触摸的操作系统的免提导航 Active CN110291576B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/390,191 US10620910B2 (en) 2016-12-23 2016-12-23 Hands-free navigation of touch-based operating systems
US15/390,191 2016-12-23
PCT/US2017/064905 WO2018118435A1 (en) 2016-12-23 2017-12-06 Hands-free navigation of touch-based operating systems

Publications (2)

Publication Number Publication Date
CN110291576A CN110291576A (zh) 2019-09-27
CN110291576B true CN110291576B (zh) 2022-11-29

Family

ID=62627148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780086276.8A Active CN110291576B (zh) 2016-12-23 2017-12-06 基于触摸的操作系统的免提导航

Country Status (5)

Country Link
US (2) US10620910B2 (zh)
EP (1) EP3559935B1 (zh)
JP (1) JP7334120B2 (zh)
CN (1) CN110291576B (zh)
WO (1) WO2018118435A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
KR102579086B1 (ko) 2013-02-07 2023-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
CN108027664B (zh) 2015-09-28 2021-05-28 微软技术许可有限责任公司 统一的虚拟现实平台
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US11086593B2 (en) 2016-08-26 2021-08-10 Bragi GmbH Voice assistant for wireless earpieces
US10437343B2 (en) * 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
DK201770427A1 (en) * 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11029834B2 (en) * 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10643592B1 (en) * 2018-10-30 2020-05-05 Perspective VR Virtual / augmented reality display and control of digital audio workstation parameters
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11317156B2 (en) 2019-09-27 2022-04-26 Honeywell International Inc. Video analytics for modifying training videos for use with head-mounted displays
US11875823B2 (en) 2020-04-06 2024-01-16 Honeywell International Inc. Hypermedia enabled procedures for industrial workflows on a voice driven platform
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11792364B2 (en) 2021-05-28 2023-10-17 Microsoft Technology Licensing, Llc Headset virtual presence
US11669294B2 (en) * 2021-05-28 2023-06-06 Microsoft Technology Licensing, Llc Computing device headset input
KR102521821B1 (ko) * 2022-08-26 2023-04-13 백남칠 시각장애인용 무인단말기 제어장치

Family Cites Families (315)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE8703414L (sv) 1987-09-02 1989-03-03 Kompositprodukter Sk Fm Ab Hoerselskydd
US5046192A (en) 1989-09-26 1991-09-10 Ryder International Corporation Headset sun visor
US5185807A (en) 1991-05-08 1993-02-09 David Clark Company Incorporated Headset with multi-position stirrup assemblies
JP3163701B2 (ja) 1991-12-27 2001-05-08 ソニー株式会社 眼鏡型映像表示装置
WO1995005620A1 (fr) * 1993-08-12 1995-02-23 Seiko Epson Corporation Dispositif de visualisation du type lunettes et processeur de donnees d'images equipe d'un tel dispositif
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US5815126A (en) 1993-10-22 1998-09-29 Kopin Corporation Monocular portable communication and display system
US5806079A (en) 1993-11-19 1998-09-08 Smartpatents, Inc. System, method, and computer program product for using intelligent notes to organize, link, and manipulate disparate data objects
US6587700B1 (en) 1994-06-23 2003-07-01 At&T Wireless Services, Inc. Personal communicator with flip element display
US6198462B1 (en) * 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
US5694562A (en) 1995-01-17 1997-12-02 Fisher; Thomas A. Closely integrated key icons in a graphical interface
US5767820A (en) 1995-05-09 1998-06-16 Virtual Research Systems Head-mounted visual display apparatus
US7453451B1 (en) * 1999-03-16 2008-11-18 Maguire Francis J Jr Moveable headrest for viewing images from different directions
JPH09130705A (ja) 1995-10-31 1997-05-16 Olympus Optical Co Ltd 頭部装着式映像表示装置
US5796374A (en) 1996-03-08 1998-08-18 Virtual Vision, Inc. Support for a head mounted display system
DE19625351C1 (de) 1996-06-25 1997-11-20 Lemfoerder Metallwaren Ag Verfahren zur Herstellung eines reibungsarmen Kugelgelenkes, sowie reibungsarmes Kugelgelenk
US5850211A (en) * 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
US5796404A (en) 1996-07-01 1998-08-18 Sun Microsystems, Inc. Computer system having alphanumeric keyboard access to objects in graphical user interface
US6222583B1 (en) 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
US6754361B1 (en) 1997-04-17 2004-06-22 3M Innovative Properties Company Ergonomic headset assembly
US6600480B2 (en) 1998-12-31 2003-07-29 Anthony James Francis Natoli Virtual reality keyboard system and method
US6388657B1 (en) 1997-12-31 2002-05-14 Anthony James Francis Natoli Virtual reality keyboard system and method
US6114978A (en) 1998-01-14 2000-09-05 Lucent Technologies Inc. Method and apparatus for assignment of shortcut key combinations in a computer software application
US6911969B1 (en) 1998-05-01 2005-06-28 Honeywell International Inc. Handheld computer apparatus
US7121946B2 (en) * 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
DE19839461C1 (de) 1998-08-29 1999-11-04 Flm Gmbh Foto Licht Und Mestec Stativkopf
US6867752B1 (en) * 1998-08-31 2005-03-15 Semiconductor Energy Laboratory Co., Ltd. Portable information processing system
US6489976B1 (en) 1998-12-15 2002-12-03 International Business Machines Corporation System and method for displaying pop-up symbols for indicating accelerator keys for implementing computer software options
US7107539B2 (en) 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US6434250B1 (en) 1999-03-05 2002-08-13 Parker I. Tsuhako Stereo headset with angled speakers
US7124425B1 (en) 1999-03-08 2006-10-17 Immersion Entertainment, L.L.C. Audio/video system and method utilizing a head mounted apparatus with noise attenuation
AU3761200A (en) 1999-03-17 2000-10-04 Colorado Microdisplay, Inc. Headset boom for image display module
US6496842B1 (en) 1999-05-28 2002-12-17 Survol Interactive Technologies Navigating heirarchically organized information
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
WO2002005081A1 (en) 2000-05-11 2002-01-17 Nes Stewart Irvine Zeroclick
AU2000242834A1 (en) * 2000-05-16 2001-11-26 Swisscom Mobile Ag Method and terminal for inputting instructions
JP2002032212A (ja) 2000-07-14 2002-01-31 Toshiba Corp コンピュータシステムおよびヘッドセット型表示装置
US6747611B1 (en) 2000-07-27 2004-06-08 International Business Machines Corporation Compact optical system and packaging for head mounted display
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US6774869B2 (en) 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US8065620B2 (en) 2001-01-31 2011-11-22 Computer Associates Think, Inc. System and method for defining and presenting a composite web page
FI20010958A0 (fi) * 2001-05-08 2001-05-08 Nokia Corp Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US6882974B2 (en) * 2002-02-15 2005-04-19 Sap Aktiengesellschaft Voice-control for a user interface
US7246063B2 (en) * 2002-02-15 2007-07-17 Sap Aktiengesellschaft Adapting a user interface for voice control
AR035939A1 (es) 2002-03-04 2004-07-28 Rolla Jose Maria Mejoras en auriculares plegables
KR100833229B1 (ko) 2002-03-16 2008-05-28 삼성전자주식회사 다층구조 포커싱 방법 및 그 장치
US6941521B2 (en) 2002-03-29 2005-09-06 Intel Corporation Method for dynamically generating a user interface from XML-based documents
US7353464B1 (en) 2002-04-01 2008-04-01 Microsoft Corporation Hierarchical data navigation tool populated by a web service
TW594658B (en) 2002-07-01 2004-06-21 Leadtek Research Inc Helmet-mounted display
WO2004015543A2 (en) 2002-08-09 2004-02-19 Recare, Inc. Method and system for context-sensitive recognition of human input
US7243309B2 (en) 2002-12-03 2007-07-10 Intel Corporation Interface accelerator
JP3843951B2 (ja) 2003-02-13 2006-11-08 株式会社ニコン 画像表示装置
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
ITMI20030121A1 (it) 2003-01-27 2004-07-28 Giuseppe Donato Sistema modulare di sorveglianza per il monitoraggio di ambienti critici.
US7290220B2 (en) 2003-04-03 2007-10-30 International Business Machines Corporation Method and apparatus for non-sequential access of form fields
US6708339B1 (en) 2003-04-22 2004-03-23 James Smith, Jr. Sport helmet face guard
US7283641B2 (en) 2003-05-02 2007-10-16 Rolla Jose Maria Extensive mobility helmet headset and helmet which includes said headset
US8046705B2 (en) 2003-05-08 2011-10-25 Hillcrest Laboratories, Inc. Systems and methods for resolution consistent semantic zooming
JP2004363718A (ja) 2003-06-02 2004-12-24 Sanyo Electric Co Ltd アンテナ装置
US20050015730A1 (en) 2003-07-14 2005-01-20 Srimanth Gunturi Systems, methods and computer program products for identifying tab order sequence of graphically represented elements
US7389236B2 (en) * 2003-09-29 2008-06-17 Sap Aktiengesellschaft Navigation and data entry for open interaction elements
US7389235B2 (en) 2003-09-30 2008-06-17 Motorola, Inc. Method and system for unified speech and graphic user interfaces
EP1688014A4 (en) 2003-11-13 2009-07-22 Logitech Europ Sa PERSONAL AUDIO DEVICE APPLIED BEHIND THE HEAD
US7315988B2 (en) 2004-02-02 2008-01-01 International Business Machines Corporation System and method for using short captions to map user interfaces
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
JPWO2005098698A1 (ja) * 2004-04-08 2008-02-28 株式会社ジャストシステム 文書処理装置
KR100800859B1 (ko) * 2004-08-27 2008-02-04 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법
US20060074980A1 (en) 2004-09-29 2006-04-06 Sarkar Pte. Ltd. System for semantically disambiguating text information
US7519923B2 (en) 2004-10-20 2009-04-14 International Business Machines Corporation Method for generating a tree view of elements in a graphical user interface (GUI)
US8788271B2 (en) 2004-12-22 2014-07-22 Sap Aktiengesellschaft Controlling user interfaces with contextual voice commands
US7134094B2 (en) 2005-01-14 2006-11-07 Microsoft Corporation Automatic assigning of shortcut keys
CN101156104A (zh) 2005-02-11 2008-04-02 奥克利有限公司 具有可拆卸的可调电子模块的眼镜
US7409344B2 (en) * 2005-03-08 2008-08-05 Sap Aktiengesellschaft XML based architecture for controlling user interfaces with contextual voice commands
JP4572737B2 (ja) 2005-05-10 2010-11-04 株式会社島津製作所 ヘッドマウントディスプレイ
US20060256090A1 (en) * 2005-05-12 2006-11-16 Apple Computer, Inc. Mechanical overlay
CN1293446C (zh) * 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作系统和方法
US7661074B2 (en) 2005-07-01 2010-02-09 Microsoft Corporation Keyboard accelerator
JP4828181B2 (ja) 2005-08-29 2011-11-30 三菱電機株式会社 頭部搭載型画像表示装置
US20070052672A1 (en) * 2005-09-08 2007-03-08 Swisscom Mobile Ag Communication device, system and method
US7933900B2 (en) 2005-10-23 2011-04-26 Google Inc. Search over structured data
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
JP4957177B2 (ja) 2006-01-20 2012-06-20 株式会社デンソー 表示装置
US7773767B2 (en) 2006-02-06 2010-08-10 Vocollect, Inc. Headset terminal with rear stability strap
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8334841B2 (en) * 2006-03-13 2012-12-18 Navisense Virtual user interface method and system thereof
US20070220108A1 (en) * 2006-03-15 2007-09-20 Whitaker Jerry M Mobile global virtual browser with heads-up display for browsing and interacting with the World Wide Web
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7613292B2 (en) 2006-09-29 2009-11-03 Sony Ericsson Mobile Communications Ab Adjustable earpiece
US20170017464A1 (en) * 2006-11-03 2017-01-19 Philippe Roy Layered contextual configuration management system and method and minimized input speech recognition user interface interactions experience
US9471333B2 (en) * 2006-11-03 2016-10-18 Conceptual Speech, Llc Contextual speech-recognition user-interface driven system and method
US8051105B1 (en) 2007-01-10 2011-11-01 The Mathworks, Inc. Directing searches on tree data structures
DE112008000168T5 (de) 2007-01-12 2009-12-03 Kopin Corporation, Taunton Am Kopf angebrachte monokulare Anzeigevorrichtung
US7849397B1 (en) 2007-04-12 2010-12-07 Intuit Inc. System and method for providing electronic data entry forms with trainable data field sequencing
US8549415B2 (en) 2007-05-04 2013-10-01 Apple Inc. Automatically adjusting media display in a personal display system
US8855719B2 (en) 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
US8620652B2 (en) * 2007-05-17 2013-12-31 Microsoft Corporation Speech recognition macro runtime
US7722358B2 (en) 2007-06-15 2010-05-25 Microsoft Corporation Electrical connection between devices
US7962344B2 (en) 2007-06-29 2011-06-14 Microsoft Corporation Depicting a speech user interface via graphical elements
JP2009033308A (ja) 2007-07-25 2009-02-12 Nikon Corp ヘッドマウントディスプレイ
US8825468B2 (en) 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
FR2921991B1 (fr) 2007-10-09 2011-05-06 Skf Aerospace France Rotule legere d'articulation et procede de fabrication d'une telle rotule
US20090100732A1 (en) 2007-10-19 2009-04-23 Concept Workshop Worldwide, Llc Magnetic display device
US8072393B2 (en) * 2007-11-15 2011-12-06 Symbol Technologies, Inc. User interface for a head mounted display
US20100259471A1 (en) * 2007-11-16 2010-10-14 Nikon Corporation Control device, head-mount display device, program, and control method
JP2009122476A (ja) * 2007-11-16 2009-06-04 Nikon Corp 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法
US9268580B2 (en) 2007-12-12 2016-02-23 International Business Machines Corporation Overlaying help, training, documentation, or translation over an existing application
US20090182562A1 (en) * 2008-01-14 2009-07-16 Garmin Ltd. Dynamic user interface for automated speech recognition
IL189251A0 (en) * 2008-02-05 2008-11-03 Ehud Gal A manned mobile platforms interactive virtual window vision system
US8726164B2 (en) 2008-05-30 2014-05-13 Microsoft Corporation Mark-up extensions for semantically more relevant thumbnails of content
US8645831B2 (en) 2008-07-03 2014-02-04 Cyberlink Corp. Translating user input in a user interface
US8321226B2 (en) 2008-08-08 2012-11-27 Hewlett-Packard Development Company, L.P. Generating speech-enabled user interfaces
US8577156B2 (en) * 2008-10-03 2013-11-05 3M Innovative Properties Company Systems and methods for multi-perspective scene analysis
AU2009298416B8 (en) 2008-10-03 2013-08-29 3M Innovative Properties Company Systems and methods for evaluating robustness
US8706685B1 (en) 2008-10-29 2014-04-22 Amazon Technologies, Inc. Organizing collaborative annotations
US8432400B1 (en) 2008-12-02 2013-04-30 Adobe Systems Incorporated Transitional animation for generating tree maps
US8594467B2 (en) * 2008-12-19 2013-11-26 Microsoft Corporation Interactive virtual display system for ubiquitous devices
CN102460349A (zh) * 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US20100315329A1 (en) * 2009-06-12 2010-12-16 Southwest Research Institute Wearable workspace
US8773330B2 (en) * 2009-06-25 2014-07-08 The Boeing Company Method and apparatus for a virtual mission control station
US20130169514A1 (en) * 2009-06-25 2013-07-04 The Boeing Company Method and apparatus for a virtual mission control station
JP5263049B2 (ja) * 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2011038486A1 (en) 2009-10-02 2011-04-07 Willborn Investments Incorporated Multiposition visor adaptor system
US9292084B2 (en) * 2009-10-13 2016-03-22 Intel Corporation Control systems and methods for head-mounted information systems
CN101673161B (zh) * 2009-10-15 2011-12-07 复旦大学 一种可视可操作无实体的触摸屏系统
US20110090135A1 (en) 2009-10-21 2011-04-21 Symbol Technologies, Inc. Interchangeable display device for a head-mounted display system
US20110096036A1 (en) * 2009-10-23 2011-04-28 Mcintosh Jason Method and device for an acoustic sensor switch
WO2011097226A1 (en) 2010-02-02 2011-08-11 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
JP2011169449A (ja) 2010-02-22 2011-09-01 Jtekt Corp ボールジョイント
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8908043B2 (en) 2010-04-12 2014-12-09 Symbol Technologies, Inc. System and method for location-based operation of a head mounted display
US20120002046A1 (en) 2010-06-30 2012-01-05 Raytheon Company Flip-Up Hands-Free Display Mount
US9916006B2 (en) * 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
US8531355B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US9977496B2 (en) * 2010-07-23 2018-05-22 Telepatheye Inc. Eye-wearable device user interface and augmented reality method
US8667421B2 (en) 2010-08-03 2014-03-04 Aaron Grunberger Method and system for revisiting prior navigated pages and prior edits
US9111498B2 (en) * 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
US8619005B2 (en) * 2010-09-09 2013-12-31 Eastman Kodak Company Switchable head-mounted display transition
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
US8736516B2 (en) * 2010-09-20 2014-05-27 Kopin Corporation Bluetooth or other wireless interface with power management for head mounted display
US8706170B2 (en) 2010-09-20 2014-04-22 Kopin Corporation Miniature communications gateway for head mounted display
US9316827B2 (en) * 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US10036891B2 (en) 2010-10-12 2018-07-31 DISH Technologies L.L.C. Variable transparency heads up displays
JP5801545B2 (ja) 2010-10-15 2015-10-28 キヤノン株式会社 情報処理装置、その情報処理方法及びプログラム
US8994610B2 (en) 2010-11-08 2015-03-31 Symbol Technologies, Inc. User configurable headset
KR20120063982A (ko) 2010-12-08 2012-06-18 한국전자통신연구원 시각장애 사용자를 위한 인터페이스 장치 및 방법
US10365819B2 (en) 2011-01-24 2019-07-30 Apple Inc. Device, method, and graphical user interface for displaying a character input user interface
US9081550B2 (en) 2011-02-18 2015-07-14 Nuance Communications, Inc. Adding speech capabilities to existing computer applications with complex graphical user interfaces
WO2012154938A1 (en) * 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US20130007672A1 (en) * 2011-06-28 2013-01-03 Google Inc. Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface
US8631371B2 (en) 2011-06-29 2014-01-14 International Business Machines Corporation Method, system and program storage device for modeling the capacitance associated with a diffusion region of a silicon-on-insulator device
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US20130018659A1 (en) * 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
US20130021269A1 (en) * 2011-07-20 2013-01-24 Google Inc. Dynamic Control of an Active Input Region of a User Interface
WO2013014709A1 (ja) * 2011-07-27 2013-01-31 三菱電機株式会社 ユーザインタフェース装置、車載用情報装置、情報処理方法および情報処理プログラム
US8996510B2 (en) 2011-08-23 2015-03-31 Buckyball Mobile, Inc. Identifying digital content using bioresponse data
US9168176B2 (en) 2011-08-24 2015-10-27 Donald Scott Peebles Combination ear and eye protection system and related method
KR20190133080A (ko) 2011-09-19 2019-11-29 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9377852B1 (en) * 2013-08-29 2016-06-28 Rockwell Collins, Inc. Eye tracking as a method to improve the user interface
US20130117111A1 (en) 2011-09-30 2013-05-09 Matthew G. Dyor Commercialization opportunities for informational searching in a gesture-based user interface
US20130117105A1 (en) * 2011-09-30 2013-05-09 Matthew G. Dyor Analyzing and distributing browsing futures in a gesture based user interface
US9135914B1 (en) 2011-09-30 2015-09-15 Google Inc. Layered mobile application user interfaces
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US8848940B2 (en) 2011-10-06 2014-09-30 Symbol Technologies, Inc. Modular headset computer
US8977205B2 (en) 2011-10-06 2015-03-10 Symbol Technologies, Inc. Head-mounted computer with peripheral expansion port
JP5829097B2 (ja) * 2011-10-25 2015-12-09 オリンパス株式会社 頭部装着型表示装置、プログラム及び画像処理システム
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US10025381B2 (en) * 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US9705605B2 (en) 2012-02-09 2017-07-11 N2 Imaging Systems, LLC Intrapersonal data communication system
JP5880115B2 (ja) * 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US9075249B2 (en) * 2012-03-07 2015-07-07 Google Inc. Eyeglass frame with input and output functionality
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US8643951B1 (en) * 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US8922481B1 (en) 2012-03-16 2014-12-30 Google Inc. Content annotation
US20130246920A1 (en) 2012-03-19 2013-09-19 Research In Motion Limited Method of enabling voice input for a visually based interface
US10229222B2 (en) 2012-03-26 2019-03-12 Greyheller, Llc Dynamically optimized content display
US8929954B2 (en) * 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9417660B2 (en) 2012-04-25 2016-08-16 Kopin Corporation Collapsible head set computer
US10082863B2 (en) * 2012-05-11 2018-09-25 Umoove Services Ltd. Gaze-based automatic scrolling
JP5942586B2 (ja) * 2012-05-18 2016-06-29 富士通株式会社 タブレット端末および操作受付プログラム
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9378028B2 (en) 2012-05-31 2016-06-28 Kopin Corporation Headset computer (HSC) with docking station and dual personality
US9583032B2 (en) 2012-06-05 2017-02-28 Microsoft Technology Licensing, Llc Navigating content using a physical object
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US20140002357A1 (en) 2012-06-28 2014-01-02 Kopin Corporation Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis
US8917238B2 (en) * 2012-06-28 2014-12-23 Microsoft Corporation Eye-typing term recognition
JP5358725B1 (ja) 2012-07-02 2013-12-04 株式会社アライヘルメット マイクロフォンの保持装置及びオープンフェースヘルメット
TWI498771B (zh) * 2012-07-06 2015-09-01 Pixart Imaging Inc 可辨識手勢動作的眼鏡
US9602760B2 (en) 2012-07-25 2017-03-21 Dell Products, Lp Modular display monitor
US20140035819A1 (en) 2012-08-03 2014-02-06 Research In Motion Limited Method and Apparatus Pertaining to an Augmented-Reality Keyboard
KR101321157B1 (ko) 2012-08-07 2013-10-23 한양대학교 산학협력단 슬라이딩 구조를 가지는 착용형 디스플레이 장치
WO2014024009A1 (en) * 2012-08-10 2014-02-13 Nokia Corporation Spatial audio user interface apparatus
US8868426B2 (en) 2012-08-23 2014-10-21 Freedom Scientific, Inc. Screen reader with focus-based speech verbosity
US20140092018A1 (en) * 2012-09-28 2014-04-03 Ralf Wolfgang Geithner Non-mouse cursor control including modified keyboard input
US9111383B2 (en) 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
KR20140052294A (ko) 2012-10-24 2014-05-07 삼성전자주식회사 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
US10146316B2 (en) 2012-10-31 2018-12-04 Nokia Technologies Oy Method and apparatus for disambiguating a plurality of targets
US9658695B2 (en) * 2012-11-08 2017-05-23 Cuesta Technology Holdings, Llc Systems and methods for alternative control of touch-based devices
US9671874B2 (en) * 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
US9298970B2 (en) 2012-11-27 2016-03-29 Nokia Technologies Oy Method and apparatus for facilitating interaction with an object viewable via a display
US9134793B2 (en) * 2013-01-04 2015-09-15 Kopin Corporation Headset computer with head tracking input used for inertial control
US9620144B2 (en) 2013-01-04 2017-04-11 Kopin Corporation Confirmation of speech commands for control of headset computers
US9164588B1 (en) * 2013-02-05 2015-10-20 Google Inc. Wearable computing device with gesture recognition
CN203233453U (zh) * 2013-02-06 2013-10-09 周永业 头戴式无线免提音频、显示设备及基于云端的通信系统
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US9301085B2 (en) * 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US9395816B2 (en) * 2013-02-28 2016-07-19 Lg Electronics Inc. Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same
US9864498B2 (en) * 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US20140253605A1 (en) 2013-03-05 2014-09-11 John N. Border Controlling brightness of a displayed image
KR101872426B1 (ko) * 2013-03-14 2018-06-28 인텔 코포레이션 깊이 기반 사용자 인터페이스 제스처 제어
US20140282118A1 (en) 2013-03-15 2014-09-18 Konica Minolta Laboratory U.S.A., Inc. Graphical user interface displaying multi-branched browsing history tree for web navigation
US9239661B2 (en) 2013-03-15 2016-01-19 Qualcomm Incorporated Methods and apparatus for displaying images on a head mounted display
US9779517B2 (en) 2013-03-15 2017-10-03 Upskill, Inc. Method and system for representing and interacting with augmented reality content
US20140289641A1 (en) 2013-03-20 2014-09-25 Jerome Eymard Whitcroft Adaptive User Interface
JP5900393B2 (ja) 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
KR102081930B1 (ko) * 2013-03-21 2020-02-26 엘지전자 주식회사 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법
US10514767B2 (en) 2013-04-02 2019-12-24 Sony Corporation Information processing apparatus and information processing method
US9530410B1 (en) * 2013-04-09 2016-12-27 Google Inc. Multi-mode guard for voice commands
US9615067B1 (en) 2013-04-24 2017-04-04 Rockwell Collins, Inc. Head mounted digital viewing system
CN205691887U (zh) 2013-06-12 2016-11-16 奥克利有限公司 模块化通信系统和眼镜通信系统
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US8988344B2 (en) 2013-06-25 2015-03-24 Microsoft Technology Licensing, Llc User interface navigation
US9563331B2 (en) 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
KR20150020918A (ko) 2013-08-19 2015-02-27 엘지전자 주식회사 디스플레이 장치 및 그것의 제어 방법
WO2015030099A1 (ja) 2013-08-30 2015-03-05 ブラザー工業株式会社 画像表示装置及びヘッドマウントディスプレイ
CN103605208B (zh) * 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
JP6209906B2 (ja) * 2013-09-05 2017-10-11 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
KR102083596B1 (ko) 2013-09-05 2020-03-02 엘지전자 주식회사 디스플레이장치 및 디스플레이장치의 동작방법
US9158115B1 (en) * 2013-09-16 2015-10-13 Amazon Technologies, Inc. Touch control for immersion in a tablet goggles accessory
EP3063602B1 (en) * 2013-11-01 2019-10-23 Intel Corporation Gaze-assisted touchscreen inputs
US10209955B2 (en) 2013-11-15 2019-02-19 Kopin Corporation Automatic speech recognition (ASR) feedback for head mounted displays (HMD)
US9500867B2 (en) * 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
US20150138089A1 (en) 2013-11-15 2015-05-21 TabiTop, LLC Input devices and methods
US9690854B2 (en) 2013-11-27 2017-06-27 Nuance Communications, Inc. Voice-enabled dialog interaction with web pages
US10466858B2 (en) * 2013-12-01 2019-11-05 Upskill, Inc. Systems and methods for interacting with a virtual menu
US9285872B1 (en) * 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device
US9690763B1 (en) 2013-12-17 2017-06-27 Bryant Christopher Lee Display of webpage elements on a connected computer
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
WO2015108854A1 (en) 2014-01-14 2015-07-23 Artisent, Llc Pivot-arm assembly for a helmet mounted headset
US9311718B2 (en) 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
US9437159B2 (en) * 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9442631B1 (en) * 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US20150220142A1 (en) * 2014-01-31 2015-08-06 Kopin Corporation Head-Tracking Based Technique for Moving On-Screen Objects on Head Mounted Displays (HMD)
WO2015117138A1 (en) * 2014-02-03 2015-08-06 Kopin Corporation Smart bluetooth headset for speech command
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9836192B2 (en) * 2014-02-25 2017-12-05 Evan Glenn Katsuranis Identifying and displaying overlay markers for voice command user interface
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9477888B1 (en) 2014-03-27 2016-10-25 Amazon Technologies, Inc. Providing computer-based instructions without displays
WO2015154093A2 (en) 2014-04-05 2015-10-08 Wearable Intelligence Systems and methods for digital workflow and communication
WO2015171887A1 (en) 2014-05-07 2015-11-12 Tyco Electronics Corporation Hands-free asset identification, location and management system
KR102209511B1 (ko) 2014-05-12 2021-01-29 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
KR102209512B1 (ko) 2014-06-30 2021-01-29 엘지전자 주식회사 글래스 타입 단말기
CA2970035C (en) * 2014-09-02 2021-04-20 Tobii Ab Gaze based text input systems and methods
EP3193498A4 (en) 2014-09-12 2018-10-03 Brother Kogyo Kabushiki Kaisha Head-mounted display, image display unit, and mounting fixture
JP6206366B2 (ja) 2014-09-12 2017-10-04 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP6281456B2 (ja) 2014-09-12 2018-02-21 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9547365B2 (en) * 2014-09-15 2017-01-17 Google Inc. Managing information display
US10691299B2 (en) * 2014-09-25 2020-06-23 Oracle International Corporation Display of hierarchical datasets using high-water mark scrolling
US9984505B2 (en) 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
US9746913B2 (en) 2014-10-31 2017-08-29 The United States Of America As Represented By The Secretary Of The Navy Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
WO2016073185A1 (en) 2014-11-07 2016-05-12 Pcms Holdings, Inc. System and method for augmented reality annotations
US10248192B2 (en) 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
US10255101B2 (en) * 2014-12-11 2019-04-09 Sap Se Device emulator
JP5767386B1 (ja) * 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US20160179855A1 (en) 2014-12-23 2016-06-23 Yahoo! Inc. Ubiquitous content access and management
JP6380091B2 (ja) 2014-12-26 2018-08-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9674178B2 (en) * 2015-02-05 2017-06-06 Ca, Inc. Secure user input mode using randomized mapping between ordered sets of symbols
US9697296B2 (en) 2015-03-03 2017-07-04 Apollo Education Group, Inc. System generated context-based tagging of content items
US9715111B2 (en) 2015-03-27 2017-07-25 Ca, Inc. Secure user input mode for electronic devices using randomized locations of selection indicia
JP6115585B2 (ja) 2015-03-31 2017-04-19 ブラザー工業株式会社 ヘッドマウントディスプレイ及び画像表示装置
JP6439935B2 (ja) * 2015-05-07 2018-12-19 パナソニックＩｐマネジメント株式会社 表示制御方法、ヘッドマウントディスプレイ、およびプログラム
US9442575B1 (en) * 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
US20160342782A1 (en) 2015-05-18 2016-11-24 Daqri, Llc Biometric authentication in a head mounted device
US9977493B2 (en) 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
US10416835B2 (en) 2015-06-22 2019-09-17 Samsung Electronics Co., Ltd. Three-dimensional user interface for head-mountable display
US9588593B2 (en) * 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Virtual reality system with control command gestures
US9240069B1 (en) * 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US9679497B2 (en) * 2015-10-09 2017-06-13 Microsoft Technology Licensing, Llc Proxies for speech generating devices
KR102400900B1 (ko) * 2015-10-26 2022-05-23 엘지전자 주식회사 시스템
US20180321493A1 (en) * 2015-11-11 2018-11-08 Lg Electronics Inc. Hmd and method for controlling same
KR20170067058A (ko) * 2015-12-07 2017-06-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20170067260A (ko) * 2015-12-08 2017-06-16 삼성전자주식회사 웹 페이지 운용 방법 및 이를 지원하는 전자 장치
KR102524641B1 (ko) * 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10275023B2 (en) * 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
KR20170129509A (ko) * 2016-05-17 2017-11-27 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US11599709B2 (en) 2016-05-19 2023-03-07 Palo Alto Research Center Incorporated Natural language web browser
US20170351778A1 (en) 2016-06-02 2017-12-07 vFLYER INC. Methods and systems for managing bookmarks
US10089000B2 (en) * 2016-06-03 2018-10-02 Microsoft Technology Licensing, Llc Auto targeting assistance for input devices
CN105848040A (zh) 2016-06-08 2016-08-10 安徽理工大学 一种智能头戴式防噪音耳机
US10489978B2 (en) 2016-07-26 2019-11-26 Rouslan Lyubomirov DIMITROV System and method for displaying computer-based content in a virtual or augmented environment
US9922254B1 (en) 2016-09-13 2018-03-20 Chi Fai Ho Apparatus and method to determine a distance of a visual object using a label
US10725720B2 (en) 2016-09-26 2020-07-28 Microsoft Technology Licensing, Llc Navigation in augmented reality via a transient user interface control
US10089159B2 (en) 2016-11-03 2018-10-02 Microsoft Technology Licensing, Llc Processing non-spatial input by multiple program elements of a computer program executed on a computer
US10735691B2 (en) 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
US10540064B1 (en) 2016-12-21 2020-01-21 Juniper Networks, Inc. Framework for creating hierarchical navigation trees using user interface plugins
US10140773B2 (en) 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
CN108509824B (zh) 2017-02-24 2020-08-18 亮风台（上海）信息科技有限公司 基于ar设备的物品特征标识方法以及检查物品的系统
US10621271B2 (en) 2017-05-25 2020-04-14 Microsoft Technology Licensing, Llc Reordering a multi-level layout using a hierarchical tree
US20180373325A1 (en) * 2017-06-22 2018-12-27 Immersion Corporation Haptic dimensions in a variable gaze orientation virtual environment
US10861242B2 (en) 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system

Also Published As

Publication number Publication date
US10620910B2 (en) 2020-04-14
US11409497B2 (en) 2022-08-09
CN110291576A (zh) 2019-09-27
JP2020502719A (ja) 2020-01-23
EP3559935B1 (en) 2023-05-24
US20200225910A1 (en) 2020-07-16
EP3559935A4 (en) 2020-08-05
EP3559935A1 (en) 2019-10-30
WO2018118435A1 (en) 2018-06-28
US20180181370A1 (en) 2018-06-28
JP7334120B2 (ja) 2023-08-28

Similar Documents

Publication Publication Date Title
CN110291576B (zh) 基于触摸的操作系统的免提导航
US11947752B2 (en) Customizing user interfaces of binary applications
EP3488321B1 (en) Detecting user range of motion for virtual reality user interfaces
KR102245245B1 (ko) 증강된 그리고/또는 가상의 현실 환경에서 6 자유도 제어기들을 이용한 가상 객체들의 조작
EP3120344B1 (en) Visual indication of a recognized voice-initiated action
US9294607B2 (en) Headset computer (HSC) as auxiliary display with ASR and HT input
EP2778865B1 (en) Input control method and electronic device supporting the same
JP2018530797A (ja) 仮想現実においてハンドヘルド電子装置を追跡するためのシステム
KR20150129386A (ko) 폴더블 디스플레이 디바이스 및 그 제어 방법
US11599333B2 (en) Input and edit functions utilizing accelerometer based earpiece movement system and method
US9772815B1 (en) Personalized operation of a mobile device using acoustic and non-acoustic information
KR20210055066A (ko) 음향 주밍
CN105190469A (zh) 使对象的指定位置被提供给设备
US11935530B2 (en) Multimodal responses
WO2016206646A1 (zh) 使机器装置产生动作的方法及系统
KR20190134975A (ko) 인공지능 시스템의 앱들 또는 스킬들의 리스트를 표시하는 증강 현실 장치 및 동작 방법
JP7395513B2 (ja) バイナリアプリケーションのユーザインターフェースのカスタマイズ
US20230401798A1 (en) Accessible mixed reality applications
US20240134505A1 (en) System and method for multi modal input and editing on a human machine interface
KR20140045865A (ko) 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치 및 그 장치를 이용한 방법
JP2014052695A (ja) 電子機器、電子機器を制御するための方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant