CN116324679A - 上下文相关的眼戴器遥控器 - Google Patents

上下文相关的眼戴器遥控器 Download PDF

Info

Publication number
CN116324679A
CN116324679A CN202180065955.3A CN202180065955A CN116324679A CN 116324679 A CN116324679 A CN 116324679A CN 202180065955 A CN202180065955 A CN 202180065955A CN 116324679 A CN116324679 A CN 116324679A
Authority
CN
China
Prior art keywords
remote control
display
controller
configuration
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180065955.3A
Other languages
English (en)
Inventor
西蒙·尼尔森
乔纳森·M·罗德里格斯二世
谭宇江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snape Co
Original Assignee
Snape Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snape Co filed Critical Snape Co
Publication of CN116324679A publication Critical patent/CN116324679A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/34—Context aware guidance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • G08C2201/51—Remote controlling of devices based on replies, status thereof
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了用于与电子设备(例如，眼戴设备)一起使用的上下文相关的遥控器。该电子设备被配置为执行活动(例如，电子邮件、绘画、导航、游戏)。该上下文相关的遥控器包括具有显示区域的显示器、耦接到该显示器的显示驱动器以及收发器。该遥控器另外包括存储器，该存储器存储用于由该显示驱动器在该显示器的该显示区域中显示的控制器布局配置。该上下文相关的遥控器中的处理器被配置为：经由该收发器建立与电子设备的通信；检测当前由该电子设备执行的活动；响应于所检测到的活动来选择这些控制器布局配置中的一个控制器布局配置，以及经由该显示驱动器在该显示器的该显示区域中呈现所选择的控制器布局配置。

Description

上下文相关的眼戴器遥控器
相关申请的交叉引用
本申请要求于2020年9月28日提交的美国专利申请号17/034,700的优先权，该专利申请的内容全文以引用方式并入本文。
技术领域
本公开涉及用于眼戴器的遥控器。更具体地，本公开涉及一种适于发生在眼戴器上活动的可配置遥控器(即，上下文相关的遥控器)。
背景技术
当今可用的许多类型的移动电子设备，诸如智能电话、平板电脑、笔记本电脑、手持式设备和可穿戴设备(例如，智能眼戴器、数字眼戴器、头饰、头戴器和头戴式显示器)，包括各种相机、传感器、无线收发器、输入系统(例如，触敏表面、指示器)、外围设备、显示器和图形用户界面(GUI)，用户可通过这些部件与显示内容进行交互。
遥控器使得用户能够与电子设备交互。遥控器可经由有线或无线连接而连接到电子设备。
附图说明
从以下参考附图的具体实施方式中，将容易理解所描述的各种示例的特征。在说明书中和附图的几个视图中，每个元件使用了一个附图标记。当存在多个相似的元件时，可以给相似的元件指定单个附图标记，通过添加小写字母来指代特定的元件。当共同提及此类元件或提及一个或多个非特定元件时，小写字母可以省略。
除非另外指出，否则附图中所示的各种元件并非按比例绘制的。为了清楚起见，可放大或缩小各个元件的尺寸。若干附图描绘了一个或多个具体实施，这些具体实施仅作为示例呈现，而不应被解释为限制。附图中包括以下图形：
图1A是适用于上下文相关的遥控系统的眼戴设备的示例性硬件配置的侧视图(右)；
图1B是图1A的眼戴设备的右角部的局部横截面透视图，其描绘了右可见光相机和电路板；
图1C是图1A的眼戴设备的示例性硬件配置的侧视图(左)，其示出了左可见光相机；
图1D是图1C的眼戴设备的左角部的局部横截面透视图，其描绘了左可见光相机和电路板；
图2A和图2B是具有显示器的眼戴设备的示例性硬件配置的后视图；
图3是三维场景、由左可见光相机捕获的左原始图像和由右可见光相机捕获的右原始图像的图形描绘；
图4是示例性的上下文相关的遥控系统的功能框图，该系统包括经由各种网络连接的可穿戴设备(例如，眼戴设备)、移动设备(例如，充当上下文相关的遥控器)和服务器系统；
图5是用于图4的上下文相关的遥控系统的移动设备的示例性硬件配置的图形表示；
图6是眼戴设备、上下文相关的遥控器和网络设备的示意图；
图7A是具有控制器布局配置的上下文相关的遥控器的图示；
图7B、图7C和图7D是用于配置上下文相关的遥控器的控制器布局组件的图示；
图8A和图8B分别是具有垂直定向和水平定向的触摸板布局配置的上下文相关的遥控器的图示；
图9A和图9B分别是具有垂直定向和水平定向的键盘布局配置的上下文相关的遥控器的图示；并且
图10A、图10B、图10C、图10D、图10E、图10F和图10G是包括用于实现上下文相关的遥控器的步骤的流程图。
具体实施方式
本公开参考包括用于电子设备(诸如眼戴设备)的上下文相关的遥控系统的示例来描述各种具体实施和细节。上下文相关的遥控器适于电子设备的活动。例如，如果电子设备被用于撰写电子邮件消息，则键盘存在于上下文相关的遥控器上；如果电子设备被用于玩游戏，则游戏控制器存在于上下文相关的遥控器上；如果电子设备被用于显示用户界面(例如，GUI)，则与用户界面相对应的导航屏幕呈现在上下文相关的遥控器上；并且如果电子设备被用于绘画，则触摸板存在于上下文相关的遥控器上。
以下具体描述包括说明本公开中阐述的示例的系统、方法、技术、指令序列和计算机器程序产品。出于提供对所公开的主题及其相关教导内容的透彻理解的目的而包括许多细节和示例。然而，相关领域的技术人员能够理解如何在没有此类细节的情况下应用相关教导内容。所公开的主题的各方面不限于所描述的特定设备、系统和方法，因为相关教导内容可以以各种方式来应用或实践。本文中所使用的术语和命名仅仅是为了描述特定方面并非旨在进行限制。通常，公知的指令实例、协议、结构和技术不一定被详细示出。
本文中所使用的术语“耦接”或“连接”指的是任何逻辑、光学、物理或电连接，包括链路等，由一个系统元件产生或提供的电或磁信号通过这些连接传递到另一耦接或连接的系统元件。除非另外描述，否则耦接或连接的元件或设备不一定直接彼此连接，并且可以由中间组件、元件或通信介质隔开，中间组件、元件或通信介质中的一者或多者可修改、操纵或承载电信号。术语“上”是指由元件直接支撑或通过另一元件由元件间接支撑，该另一元件集成到元件中或由元件支撑。
术语“近侧”用于描述位于对象或人附近、左近或旁边的物品或物品的一部分；或者相对于该物品的其他部分更近，其他部分可以被描述为“远侧”。例如，物品最靠近对象的端部可以被称为近侧端部，而大致相对的端部可以被称为远侧端部。
眼镜设备、其他移动设备(例如上下文相关的遥控器)、相关组件和任何附图中所示的包含相机、惯性测量单元或两者的任何其他设备的朝向，仅以示例的方式给出，以供说明和讨论之用。在操作中，眼戴设备可朝向适合于眼戴设备的特定应用的任何其他方向，例如，向上、向下、侧向或任何其他定向。此外，就本文所用的范围而言，任何方向性术语，诸如前、后、内、外、向、左、右、侧向、纵向、上、下、高、低、顶部、底部、侧面、水平、垂直和对角，仅以示例的方式使用，并且不限制如本文所构造或另外描述的任何相机或惯性测量单元的方向或定向。
示例的其他目的、优点和新颖特征将部分地在以下描述中阐述，并且部分地在本领域技术人员检查以下内容和附图后将变得显而易见，或者可通过生产或操作示例来了解。本主题的目的和优点可通过所附权利要求书中特别指出的方法、手段和组合来实现和达成。
现在详细参考附图所示和下文所讨论的示例。
图1A是包括触敏输入设备或触摸板181的眼戴设备100的示例性硬件配置的侧视图(右)。如图所示，触摸板181可具有细微且不易看到的边界；另选地，边界可清楚可见或包括向用户提供关于触摸板181的位置和边界的反馈的凸起或以其他方式可触知的边缘。在其他实施方式中，眼戴设备100可附加地或另选地包括在左侧的触摸板。
触摸板181的表面被配置为检测手指触摸、轻击和手势(例如，移动触摸)，以便与眼戴设备在图像显示器上显示的图形用户界面(GUI)一起使用，从而允许用户以直观的方式浏览并选择菜单选项，这改善并简化了用户体验。
对触摸板181上的手指输入的检测可实现若干功能。例如，触摸触摸板181上的任何地方都可使GUI进行显示或在图像显示器上突出显示项目，该项目可被投影到光学组件180A、180B中的至少一者上。在触摸板181上双击可选择项目或图标。在特定方向上(例如，从前到后、从后到前、从上到下或从下到上)滑动或轻扫手指可使项目或图标在特定方向上滑动或滚动；例如，以移动到下一项目、图标、视频、图像、页面或幻灯片。在另一方向上滑动手指可以在相反方向上滑动或滚动；例如，以移动到前一项目、图标、视频、图像、页面或幻灯片。触摸板181实际上可以在眼戴设备100上的任何地方。
在一个示例中，在触摸板181上单击的所识别的手指手势发起对呈现在光学组件180A、180B的图像显示器上的图像中的图形用户界面元素的选择或按压。基于所识别的手指手势对呈现在光学组件180A、180B的图像显示器上的图像的调整，可以是在光学组件180A、180B的图像显示器上选择或提交图形用户界面元素以用于进一步显示或执行的主要动作。
如图所示，眼戴设备100包括右可见光相机114B。如本文进一步描述，两个相机114A、114B从两个不同视点捕获场景的图像信息。两个所捕获的图像可用于将三维显示投影到图像显示器上以利用3D眼镜进行观看。
眼戴设备100包括右光学组件180B，其具有图像显示器以呈现图像，诸如深度图像。如图1A和图1B所示，眼戴设备100包括右可见光相机114B。眼戴设备100可包括多个可见光相机114A、114B，其形成被动式三维相机，诸如立体相机，其中右可见光相机114B位于右角部110B。如图1C至图1D所示，眼戴设备100还包括左可见光相机114A。
左和右可见光相机114A、114B对可见光范围波长敏感。每个可见光相机114A、114B具有不同的前向视场，这些视场重叠以使得能够生成三维深度图像，例如，右可见光相机114B描绘右视场111B。通常，“视场”是空间中的部分场景，这一场景是对于处于特定位置和方向的相机来说是可见的。视场111A和111B具有重叠视场304(图3)。当可见光相机捕获图像时，视场111A、111B之外的对象或对象特征未被记录在原始图像(例如，照片或图片)中。视场描述了可见光相机114A、114B的图像传感器在给定场景的所捕获的图像中拾取给定场景的电磁辐射的角度范围或幅度。视场可以被表示为视锥的角度大小；即视角。视角可以水平、垂直或对角地测量。
在示例中，可见光相机114A、114B具有视角在15°至110°之间(例如，24°)的视场，并且具有480×480像素(或更大)的分辨率。“覆盖角度”描述了可有效成像的可见光相机114A、114B或红外相机410(见图2A)的镜头的角度范围。通常，相机镜头产生大到足以完全覆盖相机的胶片或传感器的成像圈，可能包括某种渐晕(例如，与中心相比，图像朝向边缘变暗)。如果相机镜头的覆盖角度未遍及传感器，则成像圈将是可见的，通常具有朝向边缘的强渐晕，并且有效视角将限于覆盖角度。
此类可见光相机114A、114B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和能够具有640p(例如，640×480像素，总共0.3兆像素)、720p、1080p(或更大)的分辨率的数字VGA相机(视频图形阵列)。可见光相机114A、114B的其他示例，其可捕获高清晰度(HD)静态图像且以1642×1642像素(或更大)的分辨率存储这些图像；或者以高帧速率(例如，每秒三十至六十帧或更多)记录高清晰度视频且以1216×1216像素(或更大)的分辨率存储该记录。
眼戴设备100可捕获来自可见光相机114A、114B的图像传感器数据以及由图像处理器数字化的地理定位数据，以存储在存储器中。可见光相机114A、114B在二维空间域中捕获相应的左原始图像和右原始图像，这些原始图像包括二维坐标系上的像素矩阵，该二维坐标系包括用于水平定位的X轴和用于垂直定位的Y轴。每个像素包括颜色属性值(例如，红色像素光值、绿色像素光值或蓝色像素光值)；和定位属性(例如，X轴坐标和Y轴坐标)。
为了捕获立体图像以用于稍后显示为三维投影，图像处理器412(在图4中示出)可耦接到可见光相机114A、114B以接收并存储视觉图像信息。图像处理器412或另一处理器控制可见光相机114A、114B的操作以充当模拟人类双眼视觉的立体相机，并且可将时间戳添加到每个图像。每对图像上的时间戳允许将图像一起显示为三维投影的一部分。三维投影产生沉浸式逼真体验，这在包括虚拟现实(VR)和视频游戏的各种场景中是期望的。
图1B是图1A的眼戴设备100的右角部110B的横截面透视图，其描绘了相机系统的右可见光相机114B和电路板。图1C是图1A的眼戴设备100的示例性硬件配置的侧视图(左)，其示出了相机系统的左可见光相机114A。图1D是图1C的眼戴设备的左角部110A的横截面透视图，其描绘了三维相机的左可见光相机114A和电路板。
除了连接和耦接位于左侧面170A上之外，左可见光相机114A的结构和布置基本上类似于右可见光相机114B。如图1B的示例所示，眼戴设备100包括右可见光相机114B和电路板140B，该电路板可以是柔性印刷电路板(PCB)。右铰链126B将右角部110B连接到眼戴设备100的右镜腿125B上。在一些示例中，右可见光相机114B、柔性PCB 140B或其他电连接器或触点的部件可位于右镜腿125B或右铰链126B上。
右角部110B包括角部体190和角部盖，在图1B的横截面中省略了角部盖。设置在右角部110B内部的是各种互连的电路板，诸如PCB或柔性PCB，其包括用于右可见光相机114B的控制器电路、麦克风、低功率无线电路(例如，用于经由BluetoothTM的无线短距离网络通信)、高速无线电路(例如，用于经由Wi-Fi的无线局域网通信)。
右可见光相机114B耦接到或设置在柔性PCB 140B上且由可见光相机覆盖镜头覆盖，该镜头通过形成在框架105中的开口瞄准。例如，框架105的右边缘107B，如图2A所示，连接到右角部110B并且包括用于可见光相机覆盖镜头的开口。框架105包括被配置为面向外且远离用户的眼睛的前侧。用于可见光相机覆盖镜头的开口形成在框架105的前向或外向侧面上并穿过该前向或外向侧面。在示例中，右可见光相机114B具有面向外的视场111B(图3所示)，其视线或视角与眼戴设备100的用户的右眼相关。可见光相机覆盖镜头也可粘附到右角部110B的前侧或面向外的表面，其中开口形成有面向外的覆盖角度，但在不同的向外方向上。耦接也可经由居间部件间接实现。
如图1B所示，柔性PCB 140B设置在右角部110B内，并且耦接到容纳在右角部110B中的一个或多个其他部件。尽管示出为形成在右角部110B的电路板上，但是右可见光相机114B可形成在左角部110A、镜腿125A、125B或框架105的电路板上。
图2A和图2B是包括两种不同类型的图像显示器的眼戴设备100的示例性硬件配置的后透视图。眼戴设备100的尺寸和形状被设计成被配置为供用户佩戴的形式；在该示例中为眼镜的形式。眼戴设备100可采取其他形式并且可结合其他类型的框架，例如，头戴器、头戴式耳机或头盔。
在眼镜的示例中，眼戴设备100包括框架105，其包括经由适于由用户的鼻部支撑的鼻梁架106连接到右边缘107B的左边缘107A。左和右边缘107A、107B包括相应的孔口175A、175B，这些孔口保持相应的光学元件180A、180B，诸如镜头和显示设备。如本文所用，术语“镜头”旨在包括透明或半透明玻璃或塑料片，其具有弯曲或平坦表面，使光会聚/发散或几乎或完全不引起会聚或发散。
虽然被示出为具有两个光学元件180A、180B，但是眼戴设备100可包括其他布置，诸如单个光学元件(或者其可不包括任何光学元件180A、180B)，这取决于眼戴设备100的应用或预期用户。如图进一步所示，眼戴设备100包括与框架105的左侧面170A相邻的左角部110A以及与框架105的右侧面170B相邻的右角部110B。角部110A、110B可集成到框架105相应的侧面170A、170B上(如图所示)或实施为附接到框架105相应侧面170A、170B上的单独部件。另选地，角部110A、110B可集成到附接到框架105的镜腿(未示出)中。
在一个示例中，光学组件180A、180B的图像显示器包括集成的图像显示器。如图2A所示，每个光学组件180A、180B包括合适的显示矩阵177，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器或任何其他此类显示器。每个光学组件180A、180B还包括一个或多个光学层176，其可以包括镜头、光学涂层、棱镜、反射镜、波导、光学条带和其他光学部件的任何组合。光学层176A、176B、…、176N(在图2A中示出为176A-N)可包括棱镜，该棱镜具有合适的尺寸和构造并包括用于接收来自显示矩阵的光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176A-N的棱镜在形成在左和右边缘107A、107B中的相应的孔口175A、175B的全部或至少一部分上方延伸，以在用户的眼睛透过对应的左和右边缘107A、107B观看时允许用户看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从框架105面向向上，并且显示矩阵177覆盖在棱镜上，使得由显示矩阵177发射的光子和光线照射在第一表面上。棱镜的尺寸和形状被设计成使得光在棱镜内被折射并且被光学层176A-N的棱镜的第二表面导向用户的眼睛。在这一点而言，光学层176A-N的棱镜的第二表面可以是凸形的以将光导向眼睛的中心。棱镜的尺寸和形状可任选地被设计成放大由显示矩阵177投影的图像，并且光行进穿过棱镜，使得从第二表面观察的图像在一个或多个维度上大于从显示矩阵177发射的图像。
在一个示例中，光学层176A-N可包括透明的LCD层(保持镜头打开)，除非且直到施加使该层不透明(关闭或遮挡镜头)的电压。眼戴设备100上的图像处理器412可执行程序以将电压施加到LCD层，以便产生主动式快门系统，从而使得眼戴设备100适于观看被显示为三维投影的视觉内容。除了LCD之外的技术可用于主动式快门模式，包括响应于电压或另一类型的输入的其他类型的反应层。
在另一示例中，光学组件180A、180B的图像显示设备包括如图2B所示的投影图像显示器。每个光学组件180A、180B包括激光投影仪150，其是使用扫描镜或检流计的三色激光投影仪。在操作期间，光源诸如激光投影仪150设置在眼戴设备100的镜腿125A、125B中的一个镜腿之中或之上。在该示例中，光学组件180B包括一个或多个光学条带155A、155B、…155N(在图2B中示出为155A-N)，其在每个光学组件180A、180B的镜头的宽度上，或者在镜头的前表面和后表面之间的镜头的深度上间隔开。
当由激光投影仪150投射的光子行进穿过每个光学组件180A、180B的镜头时，光子遇到光学条带155A-N。当特定光子遇到特定光学条带时，光子要么朝向用户的眼睛重定向，要么传递到下一光学条带。激光投影仪150的调制和光学条带的调制的组合可控制特定的光子或光束。在示例中，处理器通过发出机械、声学或电磁信号来控制光学条带155A-N。虽然被示出为具有两个光学组件180A、180B，但是眼戴设备100可包括其他布置，诸如单个或三个光学组件，或者每个光学组件180A、180B可被布置有不同的布置，这取决于眼戴设备100的应用或预期用户。
如图2A和图2B进一步所示，眼戴设备100包括与框架105的左侧面170A相邻的左角部110A以及与框架105的右侧面170B相邻的右角部110B。角部110A、110B可集成到框架105的相应的侧面170A、170B上中(如图所示)或实施为附接到框架105的相应侧面170A、170B上的单独部件。另选地，角部110A、110B可集成到与框架105附接的镜腿125A、125B中。
在另一示例中，图2B中示出的眼戴设备100可包括两个投影仪，左投影仪150A(未示出)和右投影仪150B(示出为投影仪150)。左光学组件180A可包括左显示矩阵177A(未示出)或左光学条带155'A、155'B、…、155'N(155'，A至N，未示出)，其被配置为与来自左投影仪150A的光交互。类似地，右光学组件180B可包括右显示矩阵177B(未示出)或右光学条155”A、155”B、…、155”N(155”，A至N，未示出)，其被配置为与来自右投影仪150B的光交互。在该示例中，眼戴设备100包括左显示器和右显示器。
图3是三维场景306、由左可见光相机114A捕获的左原始图像302A和由右可见光相机114B捕获的右原始图像302B的图形描绘。如图所示，左视场111A可与右视场111B重叠。重叠视场304表示由图像中两个相机114A、114B捕获的部分。术语“重叠”在涉及视场时意味着所生成的原始图像中的像素矩阵重叠百分之三十(30％)或更多。“基本上重叠”意味着所生成的原始图像中的像素矩阵或场景的红外图像中的像素矩阵重叠百分之五十(50％)或更多。如本文所述，两个原始图像302A、302B可被处理为包括时间戳，该时间戳允许将图像一起显示为三维投影的一部分。
为了捕获立体图像，如图3所示，在给定时刻捕获真实场景306的一对原始红绿蓝(RGB)图像-由左相机114A捕获的左原始图像302A和由右相机114B捕获的右原始图像302B。当(例如，由图像处理器412)处理该对原始图像302A、302B时，生成深度图像。所生成的深度图像可在眼戴设备的光学组件180A、180B上、在另一显示器(例如，移动设备401上的图像显示器580)上、或在屏幕上被查看。
所生成的深度图像在三维空间域中，并且可包括三维位置坐标系上的顶点矩阵，该三维位置坐标系包括用于水平定位(例如，长度)的X轴、用于垂直定位(例如，高度)的Y轴和用于深度(例如，距离)的Z轴。每个顶点可包括颜色属性(例如，红色像素光值、绿色像素光值或蓝色像素光值)；定位属性(例如，X位置坐标、Y位置坐标和Z位置坐标)；纹理属性；反射率属性；或它们的组合。纹理属性量化深度图像的感知纹理，诸如深度图像的顶点区域中的颜色或强度的空间布置。
在一个示例中，上下文相关的遥控系统400(图4)包括眼戴设备100，其包括框架105、从框架105的左侧面170A延伸的左镜腿110A，以及从框架105的右侧面170B延伸的右镜腿125B。眼戴设备100还可包括具有重叠的视场的至少两个可见光相机114A、114B。在一个示例中，眼戴设备100包括具有左视场111A的左可见光相机114A，如图3所示。左相机114A连接到框架105或左镜腿110A以从场景306的左侧捕获左原始图像302A。眼戴设备100还包括具有右视场111B的右可见光相机114B。右相机114B连接到框架105或右镜腿125B以从场景306的右侧捕获右原始图像302B。
图4是示例性上下文相关的遥控系统400的功能框图，该系统包括经由各种网络495(诸如因特网)连接的可穿戴设备(例如，眼戴设备100)、移动设备401和服务器系统498。上下文相关的遥控系统400包括眼戴设备100与移动设备401之间的低功率无线连接425和高速无线连接437。
如图4所示，如本文所述，眼戴设备100包括一个或多个可见光相机114A、114B，它们捕获静态图像、视频图像或静态图像和视频图像两者。相机114A、114B可具有对高速电路430的直接存储器访问(DMA)并且用作立体相机。相机114A、114B可用于捕获初始深度图像，这些初始深度图像可被渲染成三维(3D)模型，这些三维模型是红绿蓝(RGB)成像场景的纹理映射图像。设备100还可包括深度传感器213，其使用红外信号来估计对象相对于设备100的定位。在一些示例中，深度传感器213包括一个或多个红外发射器215和红外相机410。
眼戴设备100还包括每个光学组件180A、180B的两个图像显示器(一个与左侧面170A相关联，一个与右侧面170B相关联)。眼戴设备100还包括图像显示驱动器442、图像处理器412、低功率电路420和高速电路430。每个光学组件180A、180B的图像显示器用于呈现图像，包括静态图像、视频图像或静态图像和视频图像两者。图像显示驱动器442耦接到每个光学组件180A、180B的图像显示器，以便控制图像的显示。
眼戴设备100还包括一个或多个扬声器440(例如，一个与眼戴设备的左侧相关联，另一个与眼戴设备的右侧相关联)。扬声器440可嵌入到眼戴设备100的框架105、镜腿125或角部110中。一个或多个扬声器440由音频处理器443在低功率电路420、高速电路430或两者的控制下被驱动。扬声器440用于呈现音频信号，包括例如节拍音轨。音频处理器443耦接到扬声器440以便控制声音的呈现。
图4所示的用于眼戴设备100的部件位于一个或多个电路板上，例如，位于边缘或镜腿中的印刷电路板(PCB)或柔性印刷电路(FPC)。另选地或附加地，所描绘的部件可位于眼戴设备100的角部、框架、铰链或鼻梁架中。左和右可见光相机114A、114B可包括数字相机元件，诸如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、镜头、或可用于捕获数据的任何其他相应的可见或光捕获元件，该数据包括具有未知对象的场景的静态图像或视频。
如图4所示，高速电路430包括高速处理器432、存储器434和高速无线电路436。在该示例中，图像显示驱动器442耦接到高速电路430并且由高速处理器432操作，以便驱动每个光学组件180A、180B的左和右图像显示器。高速处理器432可以是能够管理眼戴设备100所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器432包括使用高速无线电路436来将高速数据从高速无线连接437传输到无线局域网(WLAN)所需的处理资源。
在一些示例中，高速处理器432执行操作系统，诸如LINUX操作系统或眼戴设备100的其他此类操作系统，并且操作系统被存储在存储器434中以供执行。除了任何其他职责之外，执行眼戴设备100的软件架构的高速处理器432还用于管理利用高速无线电路436的数据传输。在一些示例中，高速无线电路436被配置为实施电气和电子工程师协会(IEEE)802.11通信标准，本文中也称为Wi-Fi。在其他示例中，高速无线电路436可实施其他高速通信标准。
低功率电路420包括低功率处理器422和低功率无线电路424。眼戴设备100的低功率无线电路424和高速无线电路436可包括短距离收发器(BluetoothTM或蓝牙低功耗(BLE))和无线广域网、局域网或广域网收发器(例如，蜂窝或Wi-Fi)。移动设备401，包括经由低功率无线连接425和高速无线连接437通信的收发器，可像网络495的其他元件一样，可使用眼戴设备100的架构的细节来实施。
存储器434包括能够存储各种数据和应用的任何存储设备，所述数据和应用，除其他外，包括由左和右可见光相机114A、114B、红外相机410、图像处理器412生成的相机数据、以及由图像显示驱动器442生成以在每个光学组件180A、180B的图像显示器上显示的图像。虽然存储器434被示出为与高速电路430集成，但在其他示例中，存储器434可以是眼戴设备100的单独的独立元件。在某些此类示例中，电气布线线路可通过包括高速处理器432的芯片提供从图像处理器412或低功率处理器422到存储器434的连接。在其他示例中，高速处理器432可管理存储器434的寻址，使得低功率处理器422将在需要涉及存储器434的读或写操作的任何时间启动高速处理器432。
如图4所示，眼戴设备100的高速处理器432可耦接到相机系统(可见光相机114A、114B)、图像显示驱动器442、用户输入设备491和存储器434。如图5所示，移动设备401的CPU530可耦接到相机系统570、图像显示驱动器582、用户输入层591和存储器540A。
服务器系统498可以是作为服务或网络计算系统的一部分的一个或多个计算设备，例如包括处理器、存储器和网络通信接口以通过网络495与眼戴设备100和移动设备401进行通信。
眼戴设备100的输出部件包括视觉元件，诸如与每个镜头或光学组件180A、180B相关联的左和右图像显示器，如图2A和图2B所述(例如，显示器，诸如液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导)。眼戴设备100可包括面向用户的指示器(例如，LED、扬声器或振动致动器)，或面向外的信号(例如，LED、扬声器)。每个光学组件180A、180B的图像显示器由图像显示驱动器442驱动。在一些示例性配置中，眼戴设备100的输出部件还包括附加指示器，诸如可听元件(例如，扬声器)、触觉部件(例如，致动器，诸如用于生成触觉反馈的振动马达)和其他信号生成器。例如，设备100可包括面向用户的一组指示器和面向外的一组信号。面向用户的一组指示器被配置为由设备100的用户看到或以其他方式感知到。例如，设备100可包括被定位成使得用户可以看见它的LED显示器、被定位成生成用户可以听到的声音的一个或多个扬声器、或者提供用户可以感觉到的触觉反馈的致动器。面向外的一组信号被配置为由设备100附近的观察者看到或以其他方式感知到。类似地，设备100可包括被配置和定位成由观察者感知到的LED、扬声器或致动器。
眼戴设备100的输入部件可包括字母数字输入部件(例如，被配置为接收字母数字输入的触摸屏或触摸板、摄影光学键盘或其他字母数字配置的元件)、基于点的输部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指点仪器)、触觉输入部件(例如，按钮开关、感测触摸或触摸手势的位置、力或位置和力的触摸屏或触摸板，或其他触觉配置的元件)和音频输入部件(例如，麦克风)等。移动设备401和服务器系统498可包括字母数字、基于点、触觉、音频和其他输入部件。
在一些示例中，眼戴设备100包括被称为惯性测量单元472的运动感测部件的集合。运动感测部件可以是具有微观移动部件的微机电系统(MEMS)，这些微观移动部件通常足够小以成为微芯片的一部分。在一些示例性配置中，惯性测量单元(IMU)472包括加速度计、陀螺仪和磁力计。加速度计可感测设备100相对于三个正交轴(x、y、z)的线性加速度(包括由于重力而引起的加速度)。陀螺仪可感测设备100绕三个旋转轴(俯仰、滚转、偏航)的角速度。加速度计和陀螺仪可一起提供关于设备相对于六个轴(x、y、z、俯仰、滚转、偏航)的定位、定向和运动数据。如果存在磁力计，则磁力计可感测设备100相对于磁北极的航向。设备100的定位可以由位置传感器诸如GPS单元473、用于生成相对定位坐标的一个或多个收发器、高度传感器或气压计和其他定向传感器来确定。还可经由低功率无线电路424或高速无线电路436从移动设备401通过无线连接425和437接收此类定位系统坐标。
IMU 472可包括数字运动处理器或程序，或者与数字运动处理器或程序协作，该数字运动处理器或程序从部件采集原始数据，并且计算关于设备100的定位、定向和运动的多个有用值。例如，从加速度计采集的加速度数据可被积分以获得相对于每个轴(x、y、z)的速度；并再次被积分以获得设备100的定位(以线性坐标x、y和z表示)。来自陀螺仪的角速度数据可被积分以获得设备100的定位(以球面坐标表示)。用于计算这些有效值的程序可存储在存储器434中并且由眼戴设备100的高速处理器432执行。
眼戴设备100可以可选地包括附加的外围传感器，诸如与眼戴设备100集成的生物计量传感器、特性传感器或显示元件。例如，外围设备元件可包括任何I/O部件，包括输出部件、运动部件、定位部件或本文所述的任何其他此类元件。例如，生物计量传感器可包括检测表情(例如，手势、面部表情、声音表达、身体姿势或眼睛追踪)、测量生物信号(例如，血压、心率、体温、出汗或脑电波)或识别人(例如，基于语音、视网膜、面部特征、指纹或电生物信号诸如脑电图数据的识别)等的部件。
移动设备401可以是智能电话、平板电脑、笔记本电脑、接入点或能够使用低功率无线连接425和高速无线连接437两者与眼戴设备100连接的任何其他此类设备。移动设备401连接到服务器系统498和网络495。网络495可包括有线和无线连接的任何组合。
如图4所示，上下文相关的遥控系统400包括通过网络耦接到眼戴设备100的计算设备，诸如移动设备401。上下文相关的遥控系统400包括用于存储指令的存储器和用于执行指令的处理器。由处理器432执行上下文相关的遥控系统400的指令将眼戴设备100配置为与移动设备401协作。上下文相关的遥控系统400可利用眼戴设备100的存储器434或移动设备401的存储器元件540A、540B、540C(图5)。此外，上下文相关的遥控系统400可利用眼戴设备100的处理器元件432、422或移动设备401的中央处理单元(CPU)530(图5)。另外，上下文相关的遥控系统400还可利用服务器系统498的存储器和处理器元件。在这个方面，上下文相关的遥控系统400的存储器和处理功能可跨眼戴设备100、移动设备401和服务器系统498共享或分布。
存储器434包括由处理器432执行的活动检测实用程序462、远程通信实用程序464、网络确定实用程序466和调试实用程序468。活动检测实用程序462监视高速电路430和低功率电路420，以确定用户正在与之交互的眼戴设备100当前正在执行的活动(例如，电子邮件、绘画、用户界面导航、游戏等)。在一个示例中，活动检测实用程序462识别在图像显示器180的前台中呈现控件或图形用户界面(GUI)的活动。远程通信实用程序464识别上下文相关的遥控器(例如，移动设备401)并与之建立通信。网络确定实用程序466监视可用的通信方法(例如，蓝牙LE和WiFi)和对电子设备与上下文相关的遥控器之间的数据流的带宽要求，并且选择利用能够以最低能量消耗水平提供适当通信的通信方法。调试实用程序468检测电子设备何时处于调试模式，并将调试信息发送到上下文相关的遥控器以供显示。
图5是示例性移动设备401的大致功能框图。移动设备401包括闪存存储器540A，其存储要由CPU 530执行以执行本文所述的所有功能或功能子集的程序。
移动设备401可包括相机570，其包括至少两个可见光相机(具有重叠的视场的第一和第二可见光相机)或具有基本上重叠的视场的至少一个可见光相机和深度传感器。闪存存储器540A还可包括经由相机570生成的多个图像或视频。
如图所示，移动设备401包括图像显示器580、用于控制图像显示器580的图像显示驱动器582以及显示控制器584。在图5的示例中，图像显示器580包括用户输入层591(例如，触摸屏)，其层叠在由图像显示器580使用的屏幕的顶部上或以其他方式集成到该屏幕中。图像显示驱动器582耦接到CPU 530以便驱动显示器580。
可使用的触摸屏式的移动设备的示例包括(但不限于)智能电话、个人数字助理(PDA)、平板计算机、笔记本电脑或其他便携式设备。然而，触摸屏式的设备的结构和操作是以示例的方式提供的；如本文所述的主题技术并不旨在局限于此。为了便于讨论，图5因此提供了具有用户界面的示例性移动设备401的框图图示，该用户界面包括用于接收输入(通过手、触笔或其他工具的触摸、多点触摸或手势等)的触摸屏输入层891和用于显示内容的图像显示器580。
如图5所示，移动设备401包括用于经由广域无线移动通信网络进行数字无线通信的至少一个数字收发器(XCVR)510，示出为WWAN XCVR。移动设备401还包括附加的数字或模拟收发器，诸如用于诸如经由NFC、VLC、DECT、ZigBee、BluetoothTM或Wi-Fi进行短距离网络通信的短距离收发器(XCVR)520。例如，短距离XCVR 520可采取与在无线局域网中实施的一个或多个标准通信协议诸如符合IEEE 802.11的Wi-Fi标准中的一者兼容的类型的任何可用双向无线局域网(WLAN)收发器的形式。
为了生成用于定位移动设备401的位置坐标，移动设备401可包括全球定位系统(GPS)接收器。另选地或附加地，移动设备401可利用短距离XCVR 520和WWAN XCVR 510中的任一者或两者来生成用于定位的位置坐标。例如，基于蜂窝网络、Wi-Fi或BluetoothTM的定位系统可生成非常准确的位置坐标，尤其是当它们组合使用时。此类位置坐标可经由XCVR510、520通过一个或多个网络连接传输到眼戴设备。
收发器510、520(即，网络通信接口)符合现代移动网络所利用的各种数字无线通信标准中的一个或多个标准。WWAN收发器510的示例包括(但不限于)被配置为根据码分多址(CDMA)和第3代合作伙伴计划(3GPP)网络技术操作的收发器，所述技术包括例如但不限于3GPP类型2(或3GPP2)和LTE，有时被称为“4G”。例如，收发器510、520提供信息的双向无线通信，所述信息包括数字化音频信号、静态图像和视频信号、用于显示的网页信息以及web相关输入，以及去往/来自移动设备401的各种类型的移动消息通信。
移动设备401还包括用作中央处理单元(CPU)的微处理器；如图5中的CPU 530所示。处理器是具有被构造并布置成执行一个或多个处理功能，通常是各种数据处理功能，的元件的电路。尽管可使用分立的逻辑部件，但是这些示例利用形成可编程CPU的部件。微处理器例如包括一个或多个集成电路(IC)芯片，其结合了执行CPU的功能的电子元件。例如，CPU 530可基于任何已知或可用的微处理器架构，诸如使用ARM架构的精简指令集计算(RISC)，正如现今在移动设备和其他便携式电子设备中通常使用的。当然，处理器电路的其他布置可用于形成智能电话、笔记本电脑和平板电脑中的CPU 530或处理器硬件。
通过将移动设备401配置为用于执行各种操作，例如根据CPU 530可执行的指令或程序，CPU 530用作移动设备401的可编程主机控制器。示例性操作包括移动设备的各种一般操作，以及与用于移动设备上的应用程序相关的操作。
移动设备401包括用于存储程序和数据的存储器或存储系统。在示例中，存储器系统可根据需要包括闪存存储器540A、随机存取存储器(RAM)540B和其他存储器部件540C。RAM 540B用作由CPU 530处理的指令和数据的短期存储装置，例如，用作工作数据处理存储器。闪存存储器540A通常提供长期存储。
在移动设备401的示例中，闪存存储器540A用于存储由CPU 530执行的程序或指令。根据设备的类型，移动设备401存储并运行移动操作系统，特定应用通过该移动操作系统执行。移动操作系统的示例包括Google Android、Apple iOS(用于iPhone或iPad设备)、Windows Mobile、Amazon Fire OS、RIM BlackBerry OS等。
存储器540A包括布局配置560(例如，参见图7A、图8A和图9A中描绘的布局配置)，用于在上下文相关的遥控器上显示以控制电子设备(例如，眼戴设备100)上的活动。在一个示例中，用于布局配置和对应布局配置存储器位置的标识符被存储在闪存存储器540A中的表中。
另外，存储器540A包括由处理器530执行的活动检测实用程序562、远程通信实用程序564、网络确定实用程序566、定向检测实用程序568和触摸检测实用程序569。
活动检测实用程序562监视来自电子设备的通信，并根据所监视的通信检测当前正在电子设备上执行的活动。远程通信实用程序564例如与远程通信实用程序464结合，识别并建立与电子设备的通信。网络确定实用程序566例如结合网络确定实用程序466监视可用的通信方法(例如，蓝牙LE和WiFi)以及移动设备与上下文相关的遥控器之间的数据流的必要带宽，并且选择利用能够以最低能量消耗水平提供适当通信的通信方法。定向检测实用程序568检测上下文相关的遥控设备是处于水平定向还是垂直定向(例如，基于来自IMU572的输入)。触摸检测实用程序(例如，基于来自用户输入层591的信号)监视显示器580上的手指按压(例如，位置和持续时间)。
图6描绘了电子设备(眼戴设备100)、上下文相关的遥控器(移动设备401)和网络设备601。眼戴设备100可与移动设备401直接通信(例如，经由蓝牙TM连接)或经由无线网络设备601间接通信。在一个示例中，眼戴设备100和移动设备401最初建立直接的蓝牙连接。如果眼戴设备100或移动设备401确定WiFi连接可用但带宽需求超过经由蓝牙可用的带宽需求，则眼戴设备100和移动设备401可以转换为经由WiFi进行通信。否则，眼戴设备100和移动设备401可以继续使用直接的蓝牙连接，其具有比WiFi更低的功耗和更少的带宽。
图7A是具有控制器布局配置的上下文相关的遥控器的图示。所示的控制器布局配置包括第一边界框703A中的第一操纵杆类型702A(图7B)、第二边界框703B中的第二操纵杆类型702(图7C)、第一可配置按钮704A和第二可配置按钮704B。操纵杆类型可包括附加的操纵杆类型，诸如第三操纵杆类型702C(FIC7D)。
所示的控制器布局配置(和其他配置布局)也包括控制器布局快捷方式按钮706A、键盘布局快捷方式按钮706B和触摸板布局快捷方式按钮706C。在一个示例中，快捷方式按钮可以在上下文相关的遥控器的设置期间显示，并且此后被省略。在另一示例中，快捷方式按钮保持可用以使得用户能够重写特定布局配置。在另一示例中，快捷方式按钮在一个方向上可用(例如，水平方向；见图9B)，但在另一方向上不可用(例如，垂直方向；见图9A)
图8A和图8B分别是具有垂直定向(图8A)和水平定向(图8B)的触摸板布局配置的上下文相关的遥控器的图示。所示的垂直触摸板布局配置包括覆盖至少基本上全部(即，大于90％)移动设备显示区域的垂直触摸板输入区域。所示的水平触摸板布局配置包括也覆盖至少基本上全部(即，大于90％)移动设备显示区域的水平触摸板输入区域。
图9A和图9B分别是具有垂直定向(图9A)和水平定向(图9B)的键盘布局配置的上下文相关的遥控器的图示。所示的垂直控制器布局配置包括覆盖大约一半(即，40％到60％)移动设备显示区域的小键盘902A和覆盖移动设备显示区域的剩余部分(即，60％到40％)的触摸板输入区域904。所示的水平控制器布局配置包括比垂直控制器布局中的小键盘902A更大的小键盘902B，但不包括触摸板。
图10A至图10G是流程图1000、1010、1012-1、1012-2、1014、1016和1030，这些流程图列出了用于实施上下文相关的遥控器的示例性方法中的步骤。尽管参考作为被控制的电子设备的眼戴设备100和作为控制电子设备的上下文相关的遥控器的移动设备401来描述这些步骤，但是对于其他类型的电子设备，本领域技术人员将从本文的描述中理解所述步骤的其他实施。另外，可以设想，在图10A至图10G中示出的以及在本文中描述的一个或多个步骤可以省略、同时或依序执行、以不同于所示和所述的次序执行、或结合附加步骤执行。
图10A描绘了用于配置上下文相关的遥控器(例如，移动设备401)的流程图1000。在框1010处，上下文相关的遥控器建立与电子设备(例如，眼戴设备100)的通信。上下文相关的遥控器经由相应的收发器424/520建立与电子设备的通信。
在一个示例中，处理器432执行远程通信实用程序464，并且处理器530执行远程通信实用程序564以交换用于发起它们之间的通信的信息(框1010A；图10B)。上下文相关的遥控器和电子设备可以使用直接通信链路(例如，蓝牙LE)发起通信。此后，上下文相关的遥控器和电子设备各自监视可用的无线网络(例如，通过周期性地从它们相应的WiFi收发器请求信号强度信息来监视WiFi)，并且共享它们能够访问的可用无线网络的标识信息(框1010B)。上下文相关的遥控器和电子设备还监视启用上下文相关的遥控器的所有特征的通信要求(例如，带宽)(框1010C)。例如，使上下文相关的遥控器能够在电子设备上输入文本的控制信息需要相对低的带宽量，该带宽量可经由蓝牙LE充分地传输。来自电子设备的用于在上下文相关的遥控器上显示的视频流(例如，用于调试电子设备上的应用)可能需要更大量的带宽(诸如通过WiFi连接可用)以获得可接受的性能。
上下文相关的遥控器选择对上下文相关的遥控器和电子设备可用的无线网络和对通信要求(框1010D)响应的通信方法。例如，如果上下文相关的遥控器确定特定WiFi连接对于上下文相关的遥控器和电子设备都可用(例如，基于从其WiFi收发器收集的信息和由电子设备共享的WiFi标识信息；框1010B)，并且带宽要求超过经由蓝牙可用的带宽要求，则上下文相关的遥控器可以转变到经由WiFi与电子设备通信(例如，通过向电子设备发送请求并在接收到肯定响应后切换通信方法)。否则，上下文相关的遥控器和电子设备可以继续使用直接的蓝牙连接，其具有比WiFi更低的功耗和更少的带宽。一旦选择了通信方法，处理器432和处理器530就通过所选通信方法(框1010E)的收发器路由通信。
再次参考图10A，在框1012处，上下文相关的遥控器检测电子设备正在执行的活动(例如，电子邮件、绘画、用户界面导航、游戏等)。在示例中，处理器432执行活动检测实用程序462，并且处理器530执行活动检测实用程序562，以使上下文相关的遥控器能够检测在电子设备上执行的活动。
电子设备执行流程图1012-1的步骤以检测电子设备的活动，并且上下文相关的遥控器执行流程图1012-2的步骤以检测电子设备的活动。在框1012A处，电子设备检测到电子设备正在执行的当前活动。在示例中，眼戴设备的处理器432，执行活动检测实用程序462，监视其当前正在执行的线程。每个活动可具有多个执行线程，并且每个线程可创建窗口。创建用户当前正在使用的窗口的线程称为前台线程，相关联的窗口称为前台窗口。处理器将与前台窗口相关联的活动(通过检测当前前台线程并识别相关联的活动)识别为当前活动。
在框1012B处，处理器432选择与所选择的活动相关联的活动指示符。例如，处理器可以选择“1”用于游戏，“2”用于触摸板输入，“3”用于用户界面导航，以及“4”用于文本/键盘输入。处理器432将所选择的指示符存储在存储器434中。
在框1012C处，电子设备的处理器432将指示符发送到上下文相关的遥控器。处理器432从存储器434中检索指示符，并经由所建立的通信信道(例如，经由收发器424或收发器436)将包括指示符的通信发送到上下文相关的遥控器(框1010)。
在框1012D处，上下文相关的遥控器的处理器530接收指示符。处理器530经由所建立的通信信道，例如经由收发器520或收发器510，从上下文相关的遥控器接收指示符。处理器530将接收到的指示符存储在存储器540中。
在框1012E处，上下文相关的遥控器的处理器530确定响应于接收到指示符的电子设备正在执行的活动。处理器530可通过从存储器540中的查找表中检索与接收到的指示符相关联的活动来确定活动(框1012D)。查找表可包括指示符和相关联活动的列表。例如，查找表可包括与游戏相关联的“1”、与触摸板输入相关联的“2”、与用户界面导航相关联的“3”、以及与文本/键盘输入相关联的“4”。
再次参考图10A，在框1014处，上下文相关的遥控器响应于在电子设备上执行的活动来选择控制器布局配置。在一个示例中，处理器530通过实现流程图1014(图10E)中的步骤来选择控制器布局。
在框1014A处，处理器530确定控制器布局配置(例如，控制器、键盘、触摸板等)。在一个示例中，处理器530通过从存储器540中的查找表中检索与所确定的活动相关联的控制器布局配置(例如，其基于接收到的指示符)来确定控制器布局配置。查找表可包括活动和相关联控制器布局配置的列表。
另外，在框1014B处，处理器530可检测控制器定向(水平或垂直)。在一个示例中，处理器530通过查询IMU 572来检测定向。在决策框1014C处，如果控制器被确定为水平的，则处理在框1014D处继续，选择所确定的控制器布局配置的第一布局(例如，如图7A、图8B和图9B所示)。否则，处理在框1014E处继续，选择所确定的控制器布局配置的第二布局(例如，如图8A和图9A所示)。
再次参考图10A，在框1016处，上下文相关的遥控器调整控制器布局。例如，上下文相关的遥控器可通过调整操纵杆来调整控制器布局。根据该示例，在框1016A处，处理器530通过检测显示器580上第一边界框703A中的第一触摸来调整控制器布局(例如，经由用户输入层591)。在框1016B处，处理器530将第一操纵杆702A在第一边界框703A内的第一触摸上居中(例如，经由驱动器582)。在框1016C处，处理器530通过检测显示器580上第二边界框703B中的第二触摸来调整控制器布局(例如，经由用户输入层591)。在框1016D处，处理器530将第二操纵杆702B在第二边界框703B内的第二触摸上居中(例如，经由驱动器582)。
再次参考图10A，在框1018处，上下文相关的遥控器呈现控制器布局配置。处理器530可从存储器540中检索控制器布局配置并且经由驱动器582将其呈现在显示器580上。
图10G描绘了用于重写控制器布局配置的步骤的流程图1030。在框1032处，上下文相关的遥控器检测对布局配置的用户选择。在示例中，针对与显示器580上的重新配置按钮相对应的触摸，处理器530监视显示器580的用户输入层591上的屏幕按压。每个按钮对应于存储在存储器540A中的控制器布局配置
在框1034处，上下文相关的遥控器基于用户选择来识别控制器布局配置。在一个示例中，处理器530响应于用户选择来识别控制器布局配置。处理器530可例如通过从存储器540中存储的表中检索来识别与用户选择的特定重新配置按钮相对应的控制器布局配置。
在框1036处，上下文相关的遥控器用基于用户选择的控制器布局配置来替换基于活动的控制器布局配置。在一个示例中，处理器530将基于框1032中的用户选择的控制器配置替换为根据图10A的过程选择的控制器布局。处理器530可从存储器540中检索基于用户选择的控制器布局配置并且经由驱动器582将其呈现在显示器580上。
本文中描述的用于电子设备(例如，眼戴设备100)、上下文相关的遥控器(例如，移动设备401)和服务器系统498的任何功能都可体现在一个或多个计算机软件应用或编程指令集中，如本文所述。根据一些示例，“功能”、“应用”、“指令”或“程序”是执行在程序中定义的功能的程序。可采用各种程序设计语言来开发以各种方式结构化的应用中的一个或多个应用，诸如面向对象的程序设计语言(例如，Objective-C、Java或C++)或面向过程程序设计语言(例如，C语言或汇编语言)。在特定示例中，第三方应用(例如，由除特定平台的供应商之外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可包括在移动操作系统诸如IOSTM、ANDROIDTM、
Figure BDA0004145904480000201
电话或另一移动操作系统上运行的移动软件。在该示例中，第三方应用可调用由操作系统提供的API调用，以促进本文所述的功能。
因此，机器可读介质可采取许多形式的有形存储介质。非易失性存储介质包括例如光盘或磁盘，诸如任何计算机设备等中的任何存储设备，诸如可用于实施附图中所示的客户端设备、媒体网关、代码转换器等。易失性存储介质包括动态存储器，诸如此类计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括构成计算机系统内的总线的导线。载波传输介质可采取电信号或电磁信号、或声波或光波的形式，诸如在射频(RF)和红外(IR)数据通信期间生成的那些。因此，计算机可读介质的常见形式包括例如：软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡片纸带、任何其他具有孔图案的物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或盒、传输数据或指令的载波、传输此类载波的电缆或链路、或计算机可以从其中读取程序代码或数据的任何其他介质。许多这些形式的计算机可读介质可参与将一个或多个指令的一个或多个序列承载到处理器以供执行。
除了上文刚刚陈述的，无论是否在权利要求书中陈述，已陈述或说明的内容都不旨在或不应解释为导致任何部件、步骤、特征、对象、益处、优点或等效物献给公众。
应当理解，除非本文另外阐述了特定的含义，否则本文所用的术语和表达具有与关于它们对应的相应调查和研究领域的此类术语和表达一致的通常含义。诸如“第一”和“第二”等的关系术语仅可用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这些实体或动作之间的任何实际的此类关系或顺序。术语“包括”、“包含”、“含有”、“具有”或其任何其他变型形式旨在涵盖非排他性的包括，使得包括或包含一系列元素或步骤的过程、方法、制品或装置不仅包括那些元素或步骤，而是还可以包括未明确列出的或对于此类过程、方法、制品或装置固有的其他元素或步骤。在没有进一步限制的情况下，前缀为“一”或“一个”的元素并不排除在包括该元素的过程、方法、制品或装置中另外的相同元素的存在。
除非另有说明，否则本说明书中，包括所附权利要求书中阐述的任何和所有测量、值、额定值、定位、量值、尺寸和其他规格是近似的，而不是精确的。此类量旨在具有与它们涉及的功能和它们所属的领域中的惯例一致的合理范围。例如，除非另外明确说明，否则参数值等可以从所述量或范围变化多达正负百分之十。
此外，在前述具体实施方式中可看出，出于使本公开简化的目的，各种特征在各种示例中被组合在一起。公开的本方法不应被解释为反映所要求保护的示例需要比每个权利要求中明确记载的特征更多的特征的意图。相反，如以下权利要求所反映的，要求保护的本主题在于少于任何单个公开的示例的所有特征。因此，将以下权利要求据此并入到具体实施方式中，其中每个权利要求作为独立要求保护的主题而独立存在。
虽然前文已描述了被认为是最佳模式的示例和其他示例，但应当理解，可在其中作出各种修改且本文所公开的主题可以各种形式和示例来实施，并且其可应用于许多应用中，本文仅描述了其中的一些应用。所附权利要求书旨在要求保护落入本发明构思的真实范围内的任何和所有修改和变型。

Claims (20)

1.一种用于与电子设备一起使用的上下文相关的遥控器，所述电子设备被配置为执行多个活动，所述上下文相关的遥控器包括：
具有显示区域的显示器；
耦接到所述显示器的显示驱动器；
至少一个收发器；
存储用于在所述显示区域中呈现的多个控制器布局配置的存储器，
耦接到所述至少一个收发器、所述显示驱动器和所述存储器的处理器；以及
所述存储器中的程序，其中由所述处理器执行所述程序将所述上下文相关的遥控器配置为执行功能，包括用于以下的功能：
经由所述至少一个收发器建立与所述电子设备的通信；
检测所述电子设备当前正在执行的所述多个活动中的一个活动；
响应于所述电子设备当前正在执行的所述多个活动中所检测到的一个活动，选择所述多个控制器布局配置中的一个控制器布局配置；以及
经由所述显示驱动器在所述显示器的所述显示区域中呈现所述多个控制器布局配置中所选择的一个控制器布局配置。
2.根据权利要求1所述的上下文相关的遥控器，其中所述多个控制器布局配置包括游戏控制器配置、键盘配置和触摸板配置。
3.根据权利要求2所述的上下文相关的遥控器，其中所述多个控制器布局配置还包括调试配置。
4.根据权利要求1所述的上下文相关的遥控器，其中所述多个控制器布局配置包括游戏控制器配置、键盘配置或触摸板配置中的至少一者，所述游戏控制器配置、所述键盘配置或所述触摸板配置包括用于所述显示器的所述显示区域的第一布局和用于所述显示器的所述显示区域的第二布局，并且其中所述上下文相关的遥控器还包括：
耦接到所述处理器的惯性测量单元(IMU)，所述IMU被配置为检测所述上下文相关的遥控器的定向或移动中的至少一者；
其中由所述处理器执行所述程序将所述上下文相关的遥控器配置为执行附加功能，包括用于以下的功能：
使用所述IMU检测所述上下文相关的遥控器是处于第一定向还是第二定向；
其中所述选择功能被配置为：
当所述上下文相关的遥控器处于所述第一定向时选择所述第一布局；以及
当所述上下文相关的遥控器处于所述第二定向时选择所述第二布局。
5.根据权利要求4所述的上下文相关的遥控器，其中所述第一定向是水平方向，所述第二定向是垂直方向，所述键盘配置的所述第一布局包括覆盖所述显示区域的至少90％的第一键盘，所述键盘配置的所述第二布局包括覆盖所述显示区域的第一部分的第二键盘和覆盖所述显示区域的第二部分的触摸板输入区域。
6.根据权利要求1所述的上下文相关的遥控器，其中所述显示区域是触摸敏感的，所述多个控制器布局配置包括游戏控制器配置，所述游戏控制器配置包括操纵杆，并且所述处理器对所述程序的所述执行将所述上下文相关的遥控器配置为执行附加功能，包括用于以下的功能；
检测所述显示区域内的初始位置处的初始触摸；以及
配置所述游戏控制器配置，其中所述操纵杆在所述显示区域内的所述初始位置处居中。
7.根据权利要求1所述的上下文相关的遥控器，其中所述显示区域是触摸敏感的并且包括第一边界框和第二边界框，所述多个控制器布局配置包括游戏控制器配置，所述游戏控制器配置包括第一操纵杆和第二操纵杆，并且所述处理器对所述程序的所述执行将所述上下文相关的遥控器配置为执行附加功能，包括用于以下的功能；
检测所述第一边界框内的第一初始位置处的第一初始触摸；
检测所述第二边界框内的第二初始位置处的第二初始触摸；以及
配置所述游戏控制器配置，其中所述第一操纵杆在所述第一边界框内的所述第一初始位置处居中，所述第二操纵杆在所述第二边界框内的所述第二初始位置处居中。
8.根据权利要求1所述的上下文相关的遥控器，其中所述显示区域是触摸敏感的，所述多个控制器布局配置中的每个控制器布局配置包括多个控制器重新配置按钮，每个控制器重新配置按钮与所述多个控制器布局配置中的相应一个控制器布局配置相关联，并且所述处理器对所述程序的所述执行将所述上下文相关的遥控器配置为执行附加功能，包括用于以下的功能；
检测对所述显示区域中的所述多个控制器重新配置按钮中的一个控制器重新配置按钮的用户选择；以及
经由所述显示驱动器，用与所检测到的所述显示器的所述显示区域中的用户选择相关联的所述多个控制器布局配置中的相应一个控制器布局配置来替换所述多个控制器布局配置中的所选择的一个控制器布局配置。
9.根据权利要求1所述的上下文相关的遥控器，其中所述至少一个收发器包括；
第一收发器；和
第二收发器；
其中由所述处理器执行所述程序将所述上下文相关的遥控器配置为执行附加功能，包括用于以下的功能：
监视无线网络的可用性；
监视所述上下文相关的遥控器与所述电子设备之间的通信要求；以及
响应于所述无线网络的所述可用性和所述通信要求，选择所述第一收发器或所述第二收发器以用于所述上下文相关的遥控器与所述电子设备之间的通信。
10.一种用于与电子设备一起使用的上下文相关的遥控方法，所述电子设备被配置为执行多个活动，所述方法包括：
通过上下文相关的遥控器建立与所述电子设备的通信，所述上下文相关的遥控器包括至少一个收发器、具有显示区域的显示器以及耦接到所述显示器的显示驱动器；
检测所述电子设备当前正在执行的所述多个活动中的一个活动；
响应于所述电子设备当前正在执行的所述多个活动中所检测到的一个活动，选择多个控制器布局配置中的一个控制器布局配置；以及
经由所述显示驱动器在所述显示器的所述显示区域中呈现所述多个控制器布局配置中所选择的一个控制器布局配置。
11.根据权利要求10所述的方法，其中所述多个控制器布局配置包括游戏控制器配置、键盘配置和触摸板配置。
12.根据权利要求11所述的方法，其中所述多个控制器布局配置还包括调试配置。
13.根据权利要求10所述的方法，其中所述多个控制器布局配置包括游戏控制器配置、键盘配置或触摸板配置中的至少一者，所述游戏控制器配置、所述键盘配置或所述触摸板配置包括用于所述显示器的所述显示区域的第一布局和用于所述显示器的所述显示区域的第二布局，并且其中所述方法还包括：
使用惯性测量单元(IMU)检测所述上下文相关的遥控器是处于第一定向还是第二定向；
其中所述选择包括：
当所述上下文相关的遥控器处于所述第一定向时选择所述第一布局；以及
当所述上下文相关的遥控器处于所述第二定向时选择所述第二布局。
14.根据权利要求13所述的方法，其中所述第一定向是水平定向，所述第二定向是垂直定向，所述键盘配置的所述第一布局包括覆盖所述显示区域的至少90％的第一键盘，所述键盘配置的所述第二布局包括覆盖所述显示区域的第一部分的第二键盘和覆盖所述显示区域的第二部分的触摸板输入区域。
15.根据权利要求10所述的方法，其中所述显示区域是触摸敏感的，所述多个控制器布局配置包括游戏控制器配置，所述游戏控制器配置包括操纵杆，并且所述方法还包括：
检测所述显示区域内的初始位置处的初始触摸；以及
配置所述游戏控制器配置，其中所述操纵杆在所述显示区域内的所述初始位置处居中。
16.根据权利要求10所述的方法，其中所述显示区域是触摸敏感的并且包括第一边界框和第二边界框，所述多个控制器布局配置包括游戏控制器配置，所述游戏控制器配置包括第一操纵杆和第二操纵杆，并且所述方法还包括：
检测所述第一边界框内的第一初始位置处的第一初始触摸；
检测所述第二边界框内的第二初始位置处的第二初始触摸；以及
配置所述游戏控制器配置，其中所述第一操纵杆在所述第一边界框内的所述第一初始位置处居中，所述第二操纵杆在所述第二边界框内的所述第二初始位置处居中。
17.根据权利要求10所述的方法，其中所述显示区域是触摸敏感的，所述多个控制器布局配置中的每个控制器布局配置包括多个控制器重新配置按钮，每个控制器重新配置按钮与所述多个控制器布局配置中的相应一个控制器布局配置相关联，并且所述方法还包括：
检测对所述显示区域中的所述多个控制器重新配置按钮中的一个控制器重新配置按钮的用户选择；以及
经由所述显示驱动器，用与所检测到的所述显示器的所述显示区域中的用户选择相关联的所述多个控制器布局配置中的相应一个控制器布局配置来替换所述多个控制器布局配置中的所选择的一个控制器布局配置。
18.根据权利要求10所述的方法，其中所述至少一个收发器包括第一收发器和第二收发器，所述方法还包括；
监视无线网络的可用性；
监视所述上下文相关的遥控器与所述电子设备之间的通信要求；以及
响应于所述无线网络的所述可用性和所述通信要求，选择所述第一收发器或所述第二收发器以用于所述上下文相关的遥控器与所述电子设备之间的通信。
19.一种存储程序代码的非暂态计算机可读介质，所述程序代码在被执行时运行以使电子处理器执行以下步骤：
由上下文相关的遥控器建立与被配置为执行多个活动的电子设备的通信，所述上下文相关的遥控器包括至少一个收发器、具有显示区域的显示器以及耦接到所述显示器的显示驱动器；
检测所述电子设备当前正在执行的所述多个活动中的一个活动；
响应于所述电子设备当前正在执行的所述多个活动中所检测到的一个活动，选择多个控制器布局配置中的一个控制器布局配置；以及
经由所述显示驱动器在所述显示器的所述显示区域中呈现所述多个控制器布局配置中所选择的一个控制器布局配置。
20.根据权利要求19所述的存储程序代码的非暂态计算机可读介质，其中所述多个控制器布局配置包括游戏控制器配置、键盘配置或触摸板配置中的至少一者，所述游戏控制器配置、所述键盘配置或所述触摸板配置包括用于所述显示器的所述显示区域的第一布局和用于所述显示器的所述显示区域的第二布局，并且其中所述程序代码在被执行时运行以使所述电子处理器执行以下步骤：
使用惯性测量单元(IMU)检测所述上下文相关的遥控器是处于第一定向还是第二定向；
其中所述选择包括：
当所述上下文相关的遥控器处于所述第一定向时选择所述第一布局；以及
当所述上下文相关的遥控器处于所述第二定向时选择所述第二布局。
CN202180065955.3A 2020-09-28 2021-09-23 上下文相关的眼戴器遥控器 Pending CN116324679A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/034,700 2020-09-28
US17/034,700 US11541305B2 (en) 2020-09-28 2020-09-28 Context-sensitive remote eyewear controller
PCT/US2021/051674 WO2022066853A1 (en) 2020-09-28 2021-09-23 Context-sensitive remote eyewear controller

Publications (1)

Publication Number Publication Date
CN116324679A true CN116324679A (zh) 2023-06-23

Family

ID=78179534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180065955.3A Pending CN116324679A (zh) 2020-09-28 2021-09-23 上下文相关的眼戴器遥控器

Country Status (5)

Country Link
US (3) US11541305B2 (zh)
EP (1) EP4217986A1 (zh)
KR (1) KR20230079125A (zh)
CN (1) CN116324679A (zh)
WO (1) WO2022066853A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11541305B2 (en) * 2020-09-28 2023-01-03 Snap Inc. Context-sensitive remote eyewear controller

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298261B2 (en) * 2008-01-04 2016-03-29 Tactus Technology, Inc. Method for actuating a tactile interface layer
US8619043B2 (en) * 2009-02-27 2013-12-31 Blackberry Limited System and method of calibration of a touch screen display
GB2479756B (en) * 2010-04-21 2013-06-05 Realvnc Ltd Virtual interface devices
US9262073B2 (en) * 2010-05-20 2016-02-16 John W. Howard Touch screen with virtual joystick and methods for use therewith
JP5620287B2 (ja) 2010-12-16 2014-11-05 株式会社オプティム ユーザインターフェースを変更する携帯端末、方法及びプログラム
US20130162411A1 (en) 2011-12-22 2013-06-27 Qualcomm Incorporated Method and apparatus to adapt a remote control user interface
US9348430B2 (en) * 2012-02-06 2016-05-24 Steelseries Aps Method and apparatus for transitioning in-process applications to remote devices
EP2667583A3 (en) 2012-05-22 2014-01-22 Nagravision S.A. Hand-held remote control device with context-driven dynamic display
US9152304B2 (en) * 2012-12-31 2015-10-06 General Electric Company Systems and methods for virtual control of a non-destructive testing system
JP2014147511A (ja) * 2013-01-31 2014-08-21 Gree Inc プログラム、表示システム及びサーバ装置
US20140315636A1 (en) * 2013-04-18 2014-10-23 Screenovate Technologies Ltd. Method for enabling usage of a computerized mobile device as a game graphical user interface for an application game
US9454251B1 (en) 2013-06-26 2016-09-27 Google Inc. Methods, systems, and media for controlling a remote device using a touch screen of a mobile device in a display inhibited state
JP6241675B2 (ja) 2013-09-25 2017-12-06 パナソニックＩｐマネジメント株式会社 リモコンおよびリモコンの通信方法
US20140132514A1 (en) * 2013-12-17 2014-05-15 Byron S. Kuzara Portable Electronic Device With Dual Opposing Displays
US9937415B1 (en) * 2013-12-17 2018-04-10 Amazon Technologies, Inc. Virtual controller for touchscreen
JP5711409B1 (ja) * 2014-06-26 2015-04-30 ガンホー・オンライン・エンターテイメント株式会社 端末装置
CN109564539B (zh) * 2016-08-03 2024-03-15 英特尔公司 远程调试与管理
US11638868B2 (en) * 2020-02-14 2023-05-02 Valve Corporation Controller having display with selectable icons
US11541305B2 (en) * 2020-09-28 2023-01-03 Snap Inc. Context-sensitive remote eyewear controller

Also Published As

Publication number Publication date
US11826635B2 (en) 2023-11-28
US11541305B2 (en) 2023-01-03
KR20230079125A (ko) 2023-06-05
US20230126025A1 (en) 2023-04-27
EP4217986A1 (en) 2023-08-02
WO2022066853A1 (en) 2022-03-31
US20240082697A1 (en) 2024-03-14
US20220096921A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
KR20230025914A (ko) 음성 및 텍스트 캡션들을 사용한 증강 현실 경험들
KR20230026505A (ko) 객체 조작을 사용한 증강 현실 경험들
KR20230017849A (ko) 증강 현실 안내
CN115735183A (zh) 增强现实眼戴器3d绘画
US11422380B2 (en) Eyewear including virtual scene with 3D frames
CN115735178A (zh) 具有对话气泡和翻译的增强现实眼戴器
EP4172681A1 (en) Augmented reality eyewear with 3d costumes
CN117321537A (zh) 眼睛佩戴设备动态功率配置
CN115836269A (zh) 增强现实环境增强
US20240082697A1 (en) Context-sensitive remote eyewear controller
CN115735179A (zh) 增强现实眼戴器与情绪共享
CN115735175A (zh) 可共享注视响应观看的眼戴器
CN117859120A (zh) 具有同时usb通信的片上系统
KR20230124077A (ko) 증강 현실 정밀 추적 및 디스플레이
CN116324579A (zh) 使用虚拟眼戴器光束的增强现实游戏
KR20230025911A (ko) 시각적 관성 오도메트리 시스템들에 대한 동적 센서 선택
CN117940877A (zh) 增强现实道具交互
CN118103794A (zh) 双片上系统眼镜
CN116685934A (zh) 增强现实精确追踪和显示
CN116325711A (zh) 具有基于环境确定收件人以自动发送图像的图像捕获眼戴器
CN118119911A (zh) 双片上系统眼镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination