CN112585564A - 用于为头戴式图像显示设备提供输入的方法和装置 - Google Patents

用于为头戴式图像显示设备提供输入的方法和装置 Download PDF

Info

Publication number
CN112585564A
CN112585564A CN201980054294.7A CN201980054294A CN112585564A CN 112585564 A CN112585564 A CN 112585564A CN 201980054294 A CN201980054294 A CN 201980054294A CN 112585564 A CN112585564 A CN 112585564A
Authority
CN
China
Prior art keywords
user
image display
content
display device
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980054294.7A
Other languages
English (en)
Inventor
L·帕斯米尼奥
A·I·蒙托亚
S·奈尔斯
A·罗查
M·A·布拉格
P·戈埃尔
J·S·萨默斯
D·C·伦德马克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN112585564A publication Critical patent/CN112585564A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

一种用于与被配置为由用户头戴的图像显示设备一起使用的装置，其包括：屏幕；以及处理单元，其被配置为指定屏幕中的第一区域以感测用户的手指动作，其中，处理单元被配置为基于由装置的屏幕的所指定的第一区域感测到的用户的手指动作，生成电子信号以引起由图像显示设备显示的内容的变化。

Description

用于为头戴式图像显示设备提供输入的方法和装置
技术领域
本公开涉及头戴式图像显示设备，以及用于为这样的头戴式图像显示设备提供输入的方法和装置。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”(VR)或“增强现实”(AR)体验的“混合现实”(MR)系统的发展，其中，数字再现的图像或其部分以他们看起来是真实的或可被感知为真实的方式呈现给用户。VR场景通常涉及以对实际的真实世界视觉输入不透明的方式来呈现数字或虚拟图像信息。AR场景通常涉及将数字或虚拟图像信息的呈现作为对用户周围的真实世界(即，对真实世界视觉输入的透明度)的可视化的增强。因此，AR场景涉及以对真实世界视觉输入透明的方式来呈现数字或虚拟图像信息。
MR系统可以生成并显示颜色数据，这增加了MR场景的真实性。这些MR系统中的许多系统通过快速连续地按顺序投射与彩色图像对应的不同(例如，原色)颜色或“场”(例如，红色、绿色和蓝色)的子图像来显示颜色数据。以足够高的速率(例如，60Hz、120Hz等)投射彩色子图像可以在用户的头脑中传递平滑的彩色MR场景。
各种光学系统在用于显示MR(VR和AR)场景的各种深度处生成包括彩色图像的图像。一些这样的光学系统在2014年11月27日提交的美国实用专利申请No.14/555,585(代理案号ML.20011.00)中描述，其内容通过引用整体被明确地并完整地并入本文中，如同完全阐述一样。
MR系统可以采用可穿戴显示设备(例如，头戴式显示器、头盔式显示器或智能眼镜)，其至少松散地耦接到用户的头部，并由此在用户的头部移动时移动。如果显示系统检测到用户的头部运动，则可以更新(例如，“改变(warp)”)正在显示的数据以考虑头部姿势(即，用户头部的取向和/或位置)的变化。
作为示例，如果佩戴头戴式显示设备的用户观看显示器上的虚拟对象的虚拟表示并且在虚拟对象出现的区域周围行走，则可以针对每个观看点渲染虚拟对象，从而给予用户他们在占据真实空间的对象周围行走的感知。如果头戴式显示设备用于呈现多个虚拟对象，则可以使用头部姿态的测量来渲染场景以匹配用户的动态变化的头部姿态并且提供增加的沉浸感。
能够实现AR的头戴式显示设备提供对真实对象和虚拟对象两者的同时观看。通过“光学透视”显示器，用户可以透视显示系统中的透明(或半透明的)元件以直接观看来自环境中的真实对象的光。透明元件(通常称为“组合器”)将来自显示器的光叠加在用户对真实世界的视图上，其中来自显示器的光将虚拟内容的图像投射在环境中的真实对象的透视图上。相机可以被安装到头戴式显示设备上以捕获由用户观看到的场景的图像或视频。
当前光学系统，诸如MR系统中的那些光学系统，光学地渲染虚拟内容。内容是“虚拟的”，因为其不对应于位于空间中的相应位置的真实物理对象。相反，当用户被指向其的眼睛的光束刺激时，虚拟内容仅存在于头戴式显示设备的用户的大脑(例如，光学中心)中。
本文公开了提供用于头戴式图像显示设备(例如，MR设备、AR设备、VR设备等)的输入的方法和装置。
发明内容
一种用于与被配置为由用户头戴的图像显示设备一起使用的装置，包括：屏幕；以及处理单元，其被配置为指定屏幕中的第一区域以感测用户的手指动作；其中，处理单元被配置为基于由装置的屏幕的所指定的第一区域感测到的用户的手指动作，生成电子信号以引起由图像显示设备显示的内容的变化。如在本说明书中所使用的，术语“手指动作”可以包括由一个或多个手指执行的动作，并且可以包括诸如滑动、收缩(pinch)、扩张(un-pinch)、轻击、按压、保持、扭转、转动等的动作。
可选地，屏幕具有触敏区域，并且其中所指定的第一区域小于触敏区域的总面积。
可选地，所指定的第一区域具有与图像显示设备的屏幕的形状相对应的形状。
可选地，所指定的第一区域具有基于装置的品牌和/或型号的尺寸。
可选地，所指定的第一区域具有基于装置的特征和图像显示设备的特征的尺寸。
可选地，处理单元被配置为忽略由用户使用并非所指定的第一区域的一部分并且并非所指定的按钮的一部分的触敏区域中的一部分生成的输入。
可选地，处理单元还被配置为响应于用户的手指动作而操作反馈组件。
可选地，第一区域具有边界，并且其中用户的手指动作包括用户的手指越过、到达或移动到在距边界的规定距离内的位置。
可选地，第一区域具有至少部分地围绕参考位置的一个或多个边界，并且其中，处理单元被配置为响应于用户50的手指到达距参考位置的规定距离而操作反馈组件。
可选地，处理单元被配置为基于用户的一个或多个手指相对于第一区域之间的不同的相应空间关系来操作反馈组件以生成不同类型的反馈。
可选地，不同类型的反馈包括具有第一幅度的第一触觉脉冲，以及具有不同于第一幅度的第二幅度的第二触觉脉冲。
可选地，不同类型的反馈包括第一数量的触觉脉冲，以及不同于第一数量的第二数量的触觉脉冲。
可选地，不同类型的反馈包括具有第一频率的第一系列触觉脉冲，以及具有不同于第一频率的第二频率的第二系列触觉脉冲。
可选地，不同的相应空间关系包括(1)用户的一个或多个手指中的一个手指、或两个手指之间的点与(2)所指定的第一区域内的参考位置之间的不同距离。
可选地，参考位置包括所指定的第一区域的中心。
可选地，不同的距离超过阈值。
可选地，不同的相应空间关系包括一个或多个手指中的一个手指、或者两个手指之间的点到达距所指定的第一区域的边界的不同的相应距离。
可选地，所指定的第一区域具有第一边界和第二边界；其中，不同类型的反馈至少包括第一类型的反馈和第二类型的反馈；其中，处理单元被配置为当用户的一个或多个手指越过、到达或移动到在距第一边界的规定距离内的位置时，操作反馈组件以生成第一类型的反馈；以及其中处理单元被配置为当用户的一个或多个手指越过、到达或移动到在距第二边界的规定距离内的位置时，操作反馈组件以生成第二类型的反馈。
可选地，第一边界包括所指定的第一区域的左边界或右边界，以及第二边界包括所指定的第一区域的顶边界或底边界。
可选地，处理单元被配置为基于滑动方向来操作反馈组件。
可选地，处理单元被配置为获得与在屏幕的所指定的第一区域上执行的收缩或扩张动作相关联的输入信号。
可选地，处理单元被配置为基于与收缩或扩张动作相关联的输入信号来生成电子信号，以使由图像显示设备显示的内容的尺寸改变。
可选地，装置进一步包括用于感测装置的取向的取向传感器，其中处理单元还被配置为基于与收缩或扩张动作相关联的输入信号和装置的所感测的取向来生成电子信号，以使由图像显示设备显示的内容改变。
可选地，处理单元被配置为在装置处于第一取向时，如果由装置感测到收缩或扩张动作，则生成电子信号，以使内容在第一平面中缩小和扩展；以及其中，处理单元被配置为在装置处于与第一取向不同的第二取向时，如果由装置感测到收缩或扩张动作，则生成电子信号，以使内容在第二平面中缩小和扩展，第二平面不同于第一平面。
可选地，当装置的主轴与水平平面形成小于45°的角度时，装置具有第一取向。
可选地，当装置的主轴与垂直平面形成小于45°的角度时，装置具有第二取向。
可选地，第一平面包括虚拟三维环境中的Y-Z平面，以及第二平面包括虚拟三维环境中的X-Y平面。
可选地，第一平面和第二平面是相对于虚拟三维环境的。
可选地，第一平面垂直于第二平面。
可选地，处理单元被配置为获得与在屏幕的所指定的第一区域上执行的滑动动作相关联的输入信号。
可选地，处理单元被配置为响应于与滑动动作相关联的输入信号来生成电子信号，以通过移动内容而使内容改变。
可选地，装置进一步包括用于感测装置的取向的取向传感器，其中处理单元被配置为基于与滑动动作相关联的输入信号和装置的所感测的取向来生成电子信号，以使由图像显示设备显示的内容改变。
可选地，处理单元被配置为在装置处于第一取向时，如果由装置感测到滑动动作，则生成电子信号，以使内容在第一平面中移动；以及其中，处理单元被配置为在装置处于与第一取向不同的第二取向时，如果由装置感测到滑动动作，则生成电子信号，以使内容在第二平面中移动，第二平面不同于第一平面。
可选地，当装置的主轴与水平平面形成小于45°的角度时，装置具有第一取向。
可选地，当装置的主轴与垂直平面形成小于45°的角度时，装置具有第二取向。
可选地，第一平面包括虚拟三维环境中的Y-Z平面，以及第二平面包括虚拟三维环境中的X-Y平面。
可选地，第一平面和第二平面是相对于虚拟三维环境的。
可选地，第一平面垂直于第二平面。
可选地，内容处于虚拟三维环境中，并且其中处理单元被配置为当装置的取向大致平行于水平平面时，当由装置感测到滑动动作时，生成电子信号，以通过将内容移动得更靠近或远离用户来使由图像显示设备显示的内容改变。
可选地，内容处于虚拟三维环境中，并且其中处理单元被配置为当装置的取向大致垂直于水平平面时，当由装置感测到滑动动作时，生成电子信号，以使由图像显示设备显示的内容在三维环境中的垂直平面中移动。
可选地，装置进一步包括用于感测装置的取向的取向传感器，其中处理单元被配置为基于装置的所感测的取向来生成电子信号。
可选地，处理单元被配置为基于装置的所感测的取向来生成电子信号，以使内容在一个或多个方向上扩展。
可选地，处理单元被配置为基于装置的所感测的取向来生成电子信号，以使内容旋转。
可选地，处理单元被配置为基于装置的所感测的取向来生成电子信号，以使内容移动。
可选地，装置还包括用于感测装置的移动的移动传感器，其中处理单元被配置为基于装置的所感测的移动来生成电子信号，以使由图像显示设备显示的内容改变。
可选地，处理单元被配置为基于装置的所感测的移动来生成电子信号，以通过使内容移动来使内容改变。
可选地，装置是手持装置。
可选地，手持装置包括蜂窝电话、智能电话、个人数字助理(PDA)或平板电脑。
可选地，当屏幕的所指定的第一区域正在感测用户的手指动作时，屏幕的所指定的第一区域没有显示的对象。
可选地，处理单元被配置为操作屏幕以在屏幕的所指定的第一区域中显示点的网格。
可选地，处理单元还被配置为响应于用户触摸屏幕的所指定的第一区域中显示点中的一个或多个点的一部分来改变点中的一个或多个点的特征。
可选地，处理单元还被配置为将屏幕的第二区域指定为第一按钮。
可选地，第一按钮是“主页”按钮。
可选地，处理单元还被配置为将屏幕的第三区域指定为第二按钮。
可选地，第二按钮是“切换”按钮。
可选地，处理单元还被配置为将屏幕的第四区域指定为第三按钮。
可选地，第三按钮是“缓冲”按钮。
可选地，处理单元还被配置为将屏幕的第二区域指定为键盘激活按钮，并且处理单元被配置为响应于用户触摸屏幕的所指定的第二区域，来操作屏幕以显示键盘。
可选地，装置还包括与图像显示设备通信的无线接收器。
可选地，装置还包括用于经由电缆与图像显示设备通信的连接器。
可选地，装置还包括存储一组指令的非暂时性介质，对该组指令的执行将导致处理单元指定屏幕的第一区域以用于感测用户的手指动作的动作。
可选地，内容的变化包括内容的尺寸的变化、内容的位置的变化、内容的形状的变化、内容的颜色的变化、内容中的信息的替换、内容中的信息量的增加或减少、或前述的任何组合。
一种方法包括：指定装置的屏幕中的第一区域以用于感测图像显示设备的用户的手指动作，其中图像显示设备被配置为由用户头戴，并且其中装置不同于图像显示设备；基于由装置的屏幕的所指定的第一区域感测到的用户的手指动作来生成电子信号，以引起由图像显示设备显示的内容的变化。
可选地，屏幕具有触敏区域，并且其中所指定的第一区域小于触敏区域的总面积。
可选地，所指定的第一区域具有与图像显示设备的屏幕的形状相对应的形状。
可选地，所指定的第一区域具有基于装置的品牌和/或型号的尺寸。
可选地，所指定的第一区域具有基于装置的特征和图像显示设备的特征的尺寸。
可选地，方法还可以包括：忽略由用户使用并非所指定的第一区域的一部分并且并非所指定的按钮的一部分的触敏区域中的一部分生成的输入。
可选地，方法还可以包括响应于用户的手指动作来生成控制信号以操作反馈组件。
可选地，第一区域具有边界，并且其中用户的手指动作包括用户的手指越过、到达或移动到在距边界的规定距离内的位置。
可选地，第一区域具有至少部分地围绕参考位置的一个或多个边界，并且其中，控制信号用于响应于用户的手指到达距参考位置的规定距离而操作反馈组件。
可选地，方法还包括基于用户的一个或多个手指相对于第一区域之间的不同的相应空间关系来生成不同的控制信号以操作反馈组件以生成不同的相应类型的反馈。
可选地，不同类型的反馈包括具有第一幅度的第一触觉脉冲，以及具有不同于第一幅度的第二幅度的第二触觉脉冲。
可选地，不同类型的反馈包括第一数量的触觉脉冲，以及不同于第一数量的第二数量的触觉脉冲。
可选地，不同类型的反馈包括具有第一频率的第一系列触觉脉冲，以及具有不同于第一频率的第二频率的第二系列触觉脉冲。
可选地，不同的相应空间关系包括(1)用户的一个或多个手指中的一个手指、或两个手指之间的点与(2)所指定的第一区域内的参考位置之间的不同距离。
可选地，参考位置包括所指定的第一区域的中心。
可选地，不同的距离超过阈值。
可选地，不同的相应空间关系包括一个或多个手指中的一个手指、或者两个手指之间的点到达距所指定的第一区域的边界的不同的相应距离。
可选地，所指定的第一区域具有第一边界和第二边界；其中，不同类型的反馈至少包括第一类型的反馈和第二类型的反馈；其中，当用户的一个或多个手指越过、到达或移动到在距第一边界的规定距离内的位置时，操作反馈组件以生成第一类型的反馈；以及其中当用户的一个或多个手指越过、到达或移动到在距第二边界的规定距离内的位置时，操作反馈组件以生成第二类型的反馈。
可选地，第一边界包括所指定的第一区域的左边界或右边界，以及第二边界包括所指定的第一区域的顶边界或底边界。
可选地，用于操作反馈组件的控制信号基于滑动方向。
可选地，方法还包括接收与用户在屏幕的所指定的第一区域210上执行的收缩或扩张动作相关联的输入信号。
可选地，电子信号用于响应于与收缩或扩张动作相关联的输入信号，以使由图像显示设备显示的内容的尺寸改变。
可选地，方法还包括从取向传感器获得装置的取向，其中电子信号用于基于与收缩或扩张动作相关联的输入信号和装置的取向来使由图像显示设备显示的内容改变。
可选地，在装置处于第一取向时，如果由所指定的第一区域感测到收缩或扩张动作，则通过在第一平面中缩小和扩展内容来使内容改变；以及其中，在装置处于第二取向时，如果由所指定的第一区域感测到收缩或扩张动作，则通过在第二平面中缩小和扩展内容来使内容改变，第二平面不同于第一平面。
可选地，当装置的主轴与水平平面形成小于45°的角度时，装置具有第一取向。
可选地，当装置的主轴与垂直平面形成小于45°的角度时，装置具有第二取向。
可选地，第一平面包括虚拟三维环境中的Y-Z平面，以及第二平面包括虚拟三维环境中的X-Y平面。
可选地，第一平面和第二平面是相对于虚拟三维环境的。
可选地，第一平面垂直于第二平面。
可选地，方法还包括接收与用户在屏幕中的所指定的第一区域上执行的滑动动作相关联的输入信号。
可选地，电子信号用于响应于所感测的滑动动作来移动由图像显示设备显示的内容。
可选地，方法还包括从取向传感器获得装置的取向，其中电子信号用于基于与滑动动作相关联的输入信号和装置的取向来使由图像显示设备显示的内容改变。
可选地，当装置处于第一取向时，如果由所指定的第一区域感测到滑动动作，则通过在第一平面中移动内容来使内容改变；以及其中，当装置处于与第一取向不同的第二取向时，如果由所指定的第一区域感测到滑动动作，则通过在第二平面中移动内容来使内容改变，第二平面不同于第一平面。
可选地，当装置的主轴与水平平面形成小于45°的角度时，装置具有第一取向。
可选地，当装置的主轴与垂直平面形成小于45°的角度时，装置具有第二取向。
可选地，第一平面包括虚拟三维环境中的Y-Z平面，以及第二平面包括虚拟三维环境中的X-Y平面。
可选地，第一平面和第二平面是相对于虚拟三维环境的。
可选地，第一平面垂直于第二平面。
可选地，内容处于虚拟三维环境中，并且其中电子信号用于当装置的取向大致平行于水平平面时，当由所指定的第一区域感测到滑动动作时，使图像显示设备显示的内容移动得更靠近或远离用户。
可选地，内容处于虚拟三维环境中，并且其中电子信号用于当装置的取向大致垂直于水平平面时，当由所指定的第一区域感测到滑动动作时，使由图像显示设备显示的内容在三维环境中的垂直平面中移动。
可选地，方法还包括获得指示装置的所感测的取向的传感器输入，其中电子信号用于基于指示装置的所感测的取向的传感器输入来使由图像显示设备显示的内容改变。
可选地，电子信号用于基于指示装置的所感测的取向的传感器输入，通过使内容在一个或多个方向上扩展来使内容改变。
可选地，电子信号用于基于指示装置的所感测的取向的传感器输入，通过使内容旋转来使内容改变。
可选地，电子信号用于基于指示装置的所感测的取向的传感器输入，通过使内容移动来使内容改变。
可选地，方法还包括获得指示装置的所感测的移动的传感器输入，其中电子信号用于基于指示装置的所感测的移动的传感器输入来使由图像显示设备显示的内容改变。
可选地，电子信号用于基于指示装置的所感测的移动的传感器输入，通过使内容移动来使内容改变。
可选地，装置是手持装置。
可选地，手持装置包括蜂窝电话、智能电话、个人数字助理(PDA)或平板电脑。
可选地，当屏幕的所指定的第一区域正在感测用户的手指动作时，屏幕的所指定的第一区域没有显示的对象。
可选地，方法还包括操作屏幕以在屏幕的所指定的第一区域中显示点的网格。
可选地，方法还包括响应于用户触摸屏幕的所指定的第一区域中显示点中的一个或多个点的一部分来改变点中的一个或多个点的特征。
可选地，方法还包括将屏幕的第二区域指定为第一按钮。
可选地，第一按钮是“主页”按钮。
可选地，方法还包括将屏幕的第三区域指定为第二按钮。
可选地，第二按钮是“切换”按钮。
可选地，方法还包括将屏幕的第四区域指定为第三按钮。
可选地，第三按钮是“缓冲”按钮。
可选地，方法还包括：将屏幕的第二区域指定为键盘激活按钮，并且响应于用户触摸屏幕的所指定的第二区域，来操作屏幕以显示键盘。
可选地，方法还包括与图像显示设备无线地通信。
可选地，方法还包括经由电缆与图像显示设备通信。
可选地，装置包括存储指令的非暂时性介质，并且其中，基于该指令来执行指定屏幕的第一区域以用于感测用户的手指动作的动作。
可选地，内容的变化包括内容的尺寸的变化、内容的位置的变化、内容的形状的变化、内容的颜色的变化、内容中的信息的替换、内容中的信息量的增加或减少、或前述的任何组合。
一种产品，其包括存储一组指令的非暂时性介质，对该组指令的执行将导致方法将被执行，该方法包括：指定装置的屏幕中的第一区域以用于感测图像显示设备的用户的手指动作，其中图像显示设备被配置为由用户头戴，并且其中装置不同于图像显示设备；基于由装置的屏幕的所指定的第一区域感测到的用户的手指动作来生成电子信号，以引起由图像显示设备显示的内容的变化。
可选地，屏幕具有触敏区域，并且其中所指定的第一区域小于触敏区域的总面积。
可选地，所指定的第一区域具有与图像显示设备的屏幕的形状相对应的形状。
可选地，所指定的第一区域具有基于装置的品牌和/或型号的尺寸。
可选地，所指定的第一区域具有基于装置的特征和图像显示设备的特征的尺寸。
可选地，方法还可以包括：忽略由用户使用并非所指定的第一区域的一部分并且并非所指定的按钮的一部分的触敏区域中的一部分生成的输入。
可选地，方法还可以包括响应于用户的手指动作来生成控制信号以操作反馈组件。
可选地，第一区域具有边界，并且其中用户的手指动作包括用户的手指越过、到达或移动到在距边界的规定距离内的位置。
可选地，第一区域具有至少部分地围绕参考位置的一个或多个边界，并且其中，控制信号用于响应于用户的手指到达距参考位置的规定距离而操作反馈组件。
可选地，方法还包括基于用户的一个或多个手指相对于第一区域之间的不同的相应空间关系来生成不同的控制信号以操作反馈组件以生成不同的相应类型的反馈。
可选地，不同类型的反馈包括具有第一幅度的第一触觉脉冲，以及具有不同于第一幅度的第二幅度的第二触觉脉冲。
可选地，不同类型的反馈包括第一数量的触觉脉冲，以及不同于第一数量的第二数量的触觉脉冲。
可选地，不同类型的反馈包括具有第一频率的第一系列触觉脉冲，以及具有不同于第一频率的第二频率的第二系列触觉脉冲。
可选地，不同的相应空间关系包括(1)用户的一个或多个手指中的一个手指、或两个手指之间的点与(2)所指定的第一区域内的参考位置之间的不同距离。
可选地，参考位置包括所指定的第一区域的中心。
可选地，不同的距离超过阈值。
可选地，不同的相应空间关系包括一个或多个手指中的一个手指、或者两个手指之间的点到达距所指定的第一区域的边界的不同的相应距离。
可选地，所指定的第一区域具有第一边界和第二边界；其中，不同类型的反馈至少包括第一类型的反馈和第二类型的反馈；其中，当用户的一个或多个手指越过、到达或移动到在距第一边界的规定距离内的位置时，操作反馈组件以生成第一类型的反馈；以及其中当用户的一个或多个手指越过、到达或移动到在距第二边界的规定距离内的位置时，操作反馈组件以生成第二类型的反馈。
可选地，第一边界包括所指定的第一区域的左边界或右边界，以及第二边界包括所指定的第一区域的顶边界或底边界。
可选地，用于操作反馈组件的控制信号基于滑动方向。
可选地，方法还包括接收与用户在屏幕的所指定的第一区域210上执行的收缩或扩张动作相关联的输入信号。
可选地，电子信号用于响应于与收缩或扩张动作相关联的输入信号，以使由图像显示设备显示的内容的尺寸改变。
可选地，方法还包括从取向传感器获得装置的取向，其中电子信号用于基于与收缩或扩张动作相关联的输入信号和装置的取向来使由图像显示设备显示的内容改变。
可选地，在装置处于第一取向时，如果由所指定的第一区域感测到收缩或扩张动作，则通过在第一平面中缩小和扩展内容来使内容改变；以及其中，在装置处于第二取向时，如果由所指定的第一区域感测到收缩或扩张动作，则通过在第二平面中缩小和扩展内容来使内容改变，第二平面不同于第一平面。
可选地，当装置的主轴与水平平面形成小于45°的角度时，装置具有第一取向。
可选地，当装置的主轴与垂直平面形成小于45°的角度时，装置具有第二取向。
可选地，第一平面包括虚拟三维环境中的Y-Z平面，以及第二平面包括虚拟三维环境中的X-Y平面。
可选地，第一平面和第二平面是相对于虚拟三维环境的。
可选地，第一平面垂直于第二平面。
可选地，方法还包括接收与用户在屏幕中的所指定的第一区域上执行的滑动动作相关联的输入信号。
可选地，电子信号用于响应于所感测的滑动动作来移动由图像显示设备显示的内容。
可选地，方法还包括从取向传感器获得装置的取向，其中电子信号用于基于与滑动动作相关联的输入信号和装置的取向来使由图像显示设备显示的内容改变。
可选地，当装置处于第一取向时，如果由所指定的第一区域感测到滑动动作，则通过在第一平面中移动内容来使内容改变；以及其中，当装置处于与第一取向不同的第二取向时，如果由所指定的第一区域感测到滑动动作，则通过在第二平面中移动内容来使内容改变，第二平面不同于第一平面。
可选地，当装置的主轴与水平平面形成小于45°的角度时，装置具有第一取向。
可选地，当装置的主轴与垂直平面形成小于45°的角度时，装置具有第二取向。
可选地，第一平面包括虚拟三维环境中的Y-Z平面，以及第二平面包括虚拟三维环境中的X-Y平面。
可选地，第一平面和第二平面是相对于虚拟三维环境的。
可选地，第一平面垂直于第二平面。
可选地，内容处于虚拟三维环境中，并且其中电子信号用于当装置的取向大致平行于水平平面时，当由所指定的第一区域感测到滑动动作时，使图像显示设备显示的内容移动得更靠近或远离用户。
可选地，内容处于虚拟三维环境中，并且其中电子信号用于当装置的取向大致垂直于水平平面时，当由所指定的第一区域感测到滑动动作时，使由图像显示设备显示的内容在三维环境中的垂直平面中移动。
可选地，方法还包括获得指示装置的所感测的取向的传感器输入，其中电子信号用于基于指示装置的所感测的取向的传感器输入来使由图像显示设备显示的内容改变。
可选地，电子信号用于基于指示装置的所感测的取向的传感器输入，通过使内容在一个或多个方向上扩展来使内容改变。
可选地，电子信号用于基于指示装置的所感测的取向的传感器输入，通过使内容旋转来使内容改变。
可选地，电子信号用于基于指示装置的所感测的取向的传感器输入，通过使内容移动来使内容改变。
可选地，方法还包括获得指示装置的所感测的移动的传感器输入，其中电子信号用于基于指示装置的所感测的移动的传感器输入来使由图像显示设备显示的内容改变。
可选地，电子信号用于基于指示装置的所感测的移动的传感器输入，通过使内容移动来使内容改变。
可选地，装置是手持装置。
可选地，手持装置包括蜂窝电话、智能电话、个人数字助理(PDA)或平板电脑。
可选地，当屏幕的所指定的第一区域正在感测用户的手指动作时，屏幕的所指定的第一区域没有显示的对象。
可选地，方法还包括操作屏幕以在屏幕的所指定的第一区域中显示点的网格。
可选地，方法还包括响应于用户触摸屏幕的所指定的第一区域中显示点中的一个或多个点的一部分来改变点中的一个或多个点的特征。
可选地，方法还包括将屏幕的第二区域指定为第一按钮。
可选地，第一按钮是“主页”按钮。
可选地，方法还包括将屏幕的第三区域指定为第二按钮。
可选地，第二按钮是“切换”按钮。
可选地，方法还包括将屏幕的第四区域指定为第三按钮。
可选地，第三按钮是“缓冲”按钮。
可选地，方法还包括：将屏幕的第二区域指定为键盘激活按钮，并且响应于用户触摸屏幕的所指定的第二区域，来操作屏幕以显示键盘。
可选地，方法还包括与图像显示设备无线地通信。
可选地，方法还包括经由电缆与图像显示设备通信。
可选地，产品包括指令，以用于指定屏幕的第一区域以用于感测用户的手指动作的动作。
可选地，内容的变化包括内容的尺寸的变化、内容的位置的变化、内容的形状的变化、内容的颜色的变化、内容中的信息的替换、内容中的信息量的增加或减少、或前述的任何组合。
一种计算设备包括：接近敏感显示器；以及一个或多个处理器，其被可操作地耦合到接近敏感显示器并且通信地耦合到可穿戴计算系统，一个或多个处理器被配置为：从可穿戴计算系统接收指示接近敏感显示器是否对可穿戴计算系统的用户可见的数据；监视从可穿戴计算系统接收的数据，以用于用户对接近敏感显示器的可见性的变化；响应于检测到用户对接近敏感显示器的可见性的变化，在以下各项之间切换：(i)第一呈现模式，其中一个或多个处理器被配置为操作接近敏感显示器以使得第一负载被放置在计算设备的电源上，以及(ii)第二呈现模式，其中一个或多个处理器被配置为操作接近敏感显示器以使得第二负载被放置在计算设备的电源上，第二负载小于第一负载。
可选地，第一呈现模式是其中一个或多个处理器被配置为在接近敏感显示器上呈现图形用户界面的一种模式。
可选地，第二呈现模式是其中一个或多个处理器被配置为在接近敏感显示器上呈现图形用户界面的有限版本的一种模式。
可选地，第一呈现模式是其中一个或多个处理器被配置为操作接近敏感显示器，以使得以第一亮度水平呈现内容的一种模式，以及第二呈现模式是其中一个或多个处理器被配置为操作接近敏感显示器，以使得以低于第一亮度水平的第二亮度水平呈现内容的一种模式。
可选地，计算设备被配置为以与本文描述的计算设备和/或装置中的一个或多个相同或类似的方式操作。
可选地，计算设备被配置为执行在紧接在下面描述的方法中的一个或多个方法中描述的操作中的一个或多个操作。
一种计算机实现的方法包括：从可穿戴计算系统接收第一组数据，该第一组数据指示接近敏感显示器在第一时间点是否对可穿戴计算系统的用户可见；从可穿戴计算系统接收第二组数据，该第二组数据指示接近敏感显示器在第二稍后时间点是否对可穿戴计算系统的用户可见；基于从可穿戴计算系统接收第一组数据和第二组数据来确定用户对接近敏感显示器的可见性的变化已经发生；以及响应于确定用户对接近敏感显示器的可见性的变化已经发生，在以下各项之间切换：(i)第一呈现模式，其中图形用户界面被呈现在接近敏感显示器上，以及(ii)第二呈现模式，其中接近敏感显示器比在第一呈现模式中消耗更少的电力。
可选地，基于从可穿戴计算系统接收第一组数据和第二组数据，确定用户对接近敏感显示器的可见性的变化包括：基于从可穿戴计算系统接收第一组数据和第二组数据，确定用户已经失去对接近敏感显示器的可见性。
可选地，响应于确定用户已经失去对接近敏感显示器的可见性，该方法包括从第一呈现模式切换到第二呈现模式。
可选地，基于从可穿戴计算系统接收第一组数据和第二组数据，确定用户对接近敏感显示器的可见性的变化包括：基于从可穿戴计算系统接收第一组数据和第二组数据，确定用户已经重新获得对接近敏感显示器的可见性。
可选地，响应于确定用户已经失去对接近敏感显示器的可见性，该方法包括从第二呈现模式切换到第一呈现模式。
可选地，该方法可以由紧接在上面描述的计算设备和/或紧接在下面描述的计算设备来执行。
一种计算设备包括：接近敏感显示器；反馈组件；以及一个或多个处理器，其被可操作地耦合到接近敏感显示器和反馈组件并且通信地耦合到可穿戴计算系统，一个或多个处理器被配置为：从可穿戴计算系统接收指示接近敏感显示器是否对可穿戴计算系统的用户可见的数据；监视从可穿戴计算系统接收的数据，以用于用户对接近敏感显示器的可见性的变化；响应于检测到用户对接近敏感显示器的可见性的变化，在以下各项之间切换：(i)第一模式，其中一个或多个处理器被配置为在接近敏感显示器上呈现用户界面，以及(ii)第二模式，其中一个或多个处理器被配置为通过使用反馈组件将用户界面的一个或多个部分传达给用户。
可选地，反馈组件是触觉致动器。
可选地，反馈组件是扬声器。
可选地，用户界面是用于控制可穿戴计算系统的一个或多个功能的图形用户界面。
可选地，图形用户界面包括多个图形控制元件。
可选地，第二模式是其中一个或多个处理器被配置为抑制在接近敏感显示器上呈现多个图形控制元件中的一个或多个的一种模式。
可选地，第二模式是其中一个或多个处理器被配置为在接近敏感显示器上呈现图形用户界面的有限版本的一种模式。
可选地，接近敏感显示器上的图形用户界面的有限版本是其中多个图形控制元件中的一个或多个元件未被示出的一种版本、其中多个图形控制元件中的一个或多个元件的亮度水平降低的一种版本、或其组合。
可选地，第二模式是其中一个或多个处理器被配置为传达接近敏感显示器上的一个或多个位置的一种模式，其中在第一模式中，在该一个或多个位置处，呈现了多个图形控制元件中的一个或多个元件。
可选地，在第二模式中传送的接近敏感显示器上的一个或多个位置对应于在第一模式中呈现了的多个图形控制元件的一个或多个外部边界。
可选地，多个图形控制元件对应于与可穿戴计算系统相关联的专用输入控制器中的多个物理用户输入组件。
可选地，计算设备被配置为以与本文描述的计算设备和/或装置中的一个或多个相同或类似的方式操作。
可选地，计算设备被配置为执行紧接在上面描述的方法和/或紧接在下面描述的方法中的操作中的一个或多个操作。
一种计算机实现的方法包括：从可穿戴计算系统接收第一组数据，该第一组数据指示接近敏感显示器在第一时间点是否对可穿戴计算系统的用户可见；从可穿戴计算系统接收第二组数据，该第二组数据指示接近敏感显示器在第二稍后时间点是否对可穿戴计算系统的用户可见；基于从可穿戴计算系统接收第一组数据和第二组数据来确定用户对接近敏感显示器的可见性的变化已经发生；以及响应于确定用户对接近敏感显示器的可见性的变化已经发生，在以下各项之间切换：(i)第一模式，其中在接近敏感显示器上呈现用户界面，以及(ii)第二模式，其中通过使用反馈组件将用户界面的一个或多个部分传达给可穿戴计算系统的用户。
可选地，基于从可穿戴计算系统接收第一组数据和第二组数据，确定用户对接近敏感显示器的可见性的变化包括：基于从可穿戴计算系统接收第一组数据和第二组数据，确定用户已经失去对接近敏感显示器的可见性。
可选地，响应于确定用户已经失去对接近敏感显示器的可见性，该方法包括从第一模式切换到第二模式。
可选地，基于从可穿戴计算系统接收第一组数据和第二组数据，确定用户对接近敏感显示器的可见性的变化包括：基于从可穿戴计算系统接收第一组数据和第二组数据，确定用户已经重新获得对接近敏感显示器的可见性。
可选地，响应于确定用户已经失去对接近敏感显示器的可见性，该方法包括从第二模式切换到第一模式。
可选地，该方法可以由紧接在上面描述的计算设备中的一个或多个计算设备来执行。
一种可穿戴计算系统包括：被配置为佩戴在用户的头部上的头戴式显示器；一个或多个感测设备，其被配置为监视头戴式显示器的环境；以及一个或多个处理器，其被可操作地耦合到头戴式显示器和一个或多个感测设备并且通信地耦合到计算设备，一个或多个处理器被配置为：使用从一个或多个感测设备获得的数据来确定计算设备的显示器是否对可穿戴计算系统的用户可见；至少部分地基于计算设备的显示器是否被确定为对可穿戴计算系统的用户可见，来生成一个或多个消息；以及向计算设备发送该一个或多个消息。
可选地，一个或多个感测设备包括一个或多个相机。
可选地，一个或多个相机包括被配置为捕获可穿戴计算系统的用户的环境的图像的一个或多个面向前的相机。
可选地，一个或多个相机包括被配置为捕获用户的眼睛、用户的头部或面部的一个或多个部分或其组合中的一个或多个的图像的一个或多个面向内的相机。
可选地，一个或多个感测设备包括一个或多个接近传感器。
可选地，可穿戴计算系统被配置为以与本文描述的可穿戴计算系统、可穿戴显示系统和/或图像显示设备中的一个或多个相同或类似的方式操作。
可选地，可穿戴计算系统被配置为在紧接在下面描述的方法中执行一个或多个操作。
一种计算机实现的方法包括：从可穿戴计算系统的一个或多个感测设备获得数据；基于从可穿戴计算系统的一个或多个感测设备接收数据来确定计算设备的显示器是否对可穿戴计算系统的用户可见；基于计算设备的显示器是否被确定为对可穿戴计算系统的用户可见，来生成一个或多个消息；以及向计算设备发送该一个或多个消息。
可选地，从可穿戴计算系统的一个或多个感测设备获得数据包括：从被配置为捕获可穿戴计算系统的用户的环境的图像的一个或多个面向前的相机获得数据。
可选地，基于从可穿戴计算系统的一个或多个感测设备接收数据，确定计算设备的显示器是否对可穿戴计算系统的用户可见包括：确定计算设备的显示器是否在由一个或多个面向前的相机捕获的一个或多个图像中示出。
可选地，从可穿戴计算系统的一个或多个感测设备获得数据包括：从被配置为捕获用户的眼睛、用户的头部或面部的一个或多个部分、或其组合中的一个或多个的图像的一个或多个面向内的相机来获得数据。
可选地，基于从可穿戴计算系统的一个或多个感测设备接收数据，确定计算设备的显示器是否对可穿戴计算系统的用户可见包括：基于由一个或多个面向内的相机捕获的一个或多个图像，确定可穿戴计算系统是否正被用户穿戴在用户的头部上。
可选地，基于由一个或多个面向内的相机捕获的一个或多个图像，确定可穿戴计算系统是否正被用户穿戴在用户的头部上包括：确定用户是否在由一个或多个面向内的相机捕获的一个或多个图像中示出。
可选地，从可穿戴计算系统的一个或多个感测设备获得数据包括：从一个或多个接近传感器获得数据。
可选地，基于从可穿戴计算系统的一个或多个感测设备接收数据，确定计算设备的显示器是否对可穿戴计算系统的用户可见包括：确定从一个或多个接近传感器接收的数据是否指示可穿戴计算系统正被用户穿戴在用户的头部上。
可选地，该方法可以由紧接在上面描述的可穿戴计算系统执行。
一种计算设备包括：接近敏感显示器；反馈组件；以及一个或多个处理器，其被可操作地耦合到接近敏感显示器和反馈组件，并且通信地耦合到可穿戴计算系统，一个或多个处理器被配置为：接收数据，该数据指示在接近敏感显示器上的第一位置处接收到的第一触摸输入；接收数据，该数据指示紧接在第一触摸输入之后的在接近敏感显示器上的第二位置处接收到的第二触摸输入的；确定第一位置和第二位置中的每一个是否落在接近敏感显示器的特定区域内；响应于确定第一位置和第二位置中的一个或两个落在接近敏感显示器的特定区域内：至少部分地基于第一触摸输入和第二触摸输入中的一个或两个来生成一个或多个消息；以及将至少部分地基于第一触摸输入和第二触摸输入中的一个或两个生成一个或多个消息发送到可穿戴计算系统；以及响应于(i)确定第一位置落在接近敏感显示器的特定区域内，以及(ii)确定第二位置落在接近敏感显示器的特定区域之外：使反馈组件生成反馈。
可选地，接近敏感显示器的特定区域与特定控制元件相关联。
可选地，特定控制元件是图形控制元件，并且一个或多个处理器还被配置为在接近敏感显示器上的与特定区域重合的位置处显示特定控制元件。
可选地，反馈组件是触觉致动器。
可选地，反馈组件是扬声器。
可选地，计算设备被配置为以与本文描述的计算设备和/或装置中的一个或多个相同或类似的方式操作。
可选地，计算设备被配置为在紧接在下面描述的方法中执行一个或多个操作。
一种计算机实现的方法包括：接收数据，该数据指示在接近敏感显示器上的第一位置处接收到的第一触摸输入；接收数据，该数据指示紧接在第一触摸输入之后的在接近敏感显示器上的第二位置处接收到的第二触摸输入的；确定第一位置和第二位置中的每一个是否落在接近敏感显示器的特定区域内；响应于确定第一位置和第二位置中的一个或两个落在接近敏感显示器的特定区域内：至少部分地基于第一触摸输入和第二触摸输入中的一个或两个来生成一个或多个消息；以及将至少部分地基于第一触摸输入和第二触摸输入中的一个或两个生成一个或多个消息发送到可穿戴计算系统；以及响应于(i)确定第一位置落在接近敏感显示器的特定区域内，以及(ii)确定第二位置落在接近敏感显示器的特定区域之外：通过反馈组件提供用于输出的反馈。
可选地，该方法可以由紧接在上面描述的计算设备执行。
一种计算设备包括：接近敏感显示器；取向传感器，其被配置为感测计算设备的取向；以及一个或多个处理器，其被可操作地耦合到接近敏感显示器和取向传感器并且通信地耦合到可穿戴计算系统，一个或多个处理器被配置为：监视通过接近敏感显示器接收到的与多个不同的预定义手势中的任何一个对应的触摸输入序列；响应于检测到多个不同的预定义手势中的任一个：从与多个不同的预定义手势相关联的多个不同类型的变换中分别选择与所检测到的手势相关联的特定类型的变换；基于从取向传感器获得的数据从多个不同轴中选择特定轴；生成命令以将特定类型的变换应用于相对于特定轴的虚拟对象；以及将该命令发送到可穿戴计算系统。可选地，计算设备被配置为以与本文描述的计算设备和/或装置中的一个或多个相同或类似的方式操作。
可选地，计算设备被配置为在紧接在下面描述的方法中执行一个或多个操作。
一种计算机实现的方法包括：获得指示计算设备的取向的数据；接收数据，该数据指示通过计算设备的接近敏感显示器接收到的触摸输入序列；确定通过接近敏感显示器接收到的触摸输入序列对应于特定手势；以及响应于确定通过接近敏感显示器接收到的触摸输入序列对应于特定手势：从与多个不同的预定义手势相关联的多个不同类型的变换中分别选择与特定手势相关联的特定类型的变换；以及基于设备的取向从多个不同的轴中选择特定轴；以及生成命令以将特定类型的变换应用于相对于特定轴的虚拟对象。
可选地，多个不同类型的变换包括以下中的一个或多个：旋转、平移和重新调整尺寸。
可选地，该方法可以由紧接在上面描述的计算设备来执行。
一种计算设备包括：接近敏感显示器；以及一个或多个处理器，其被可操作地耦合到接近敏感显示器并且通信地耦合到可穿戴显示系统，一个或多个处理器被配置为：在接近敏感显示器上呈现特定内容片段；在接近敏感显示器上呈现特定内容片段期间，监视通过接近敏感显示器接收到的与多个不同的预定义手势中的任一个对应的触摸输入序列；响应于在接近敏感显示器上呈现特定内容片段期间检测到多个不同的预定义手势中的任一个：生成指示特定内容片段的呈现将被切换到可穿戴显示系统的一个或多个消息；将该一个或多个消息发送到可穿戴显示系统；以及在接近敏感显示器上停止呈现特定内容片段。
可选地，计算设备被配置为以与本文描述的计算设备和/或装置中的一个或多个相同或类似的方式操作。
可选地，计算设备被配置为在紧接在下面描述的方法中执行一个或多个操作。
一种计算机实现的方法包括：在接近敏感显示器上呈现特定内容片段；当在接近敏感显示器上呈现特定内容片段时，接收指示通过接近敏感显示器接收到的触摸输入序列的数据；确定通过接近敏感显示器接收到的触摸输入序列对应于特定手势；响应于确定通过接近敏感显示器接收到的触摸输入序列对应于特定手势：生成指示特定内容片段的呈现将被切换到可穿戴显示系统的一个或多个消息；将该一个或多个消息发送到可穿戴显示系统；以及在接近敏感显示器上停止呈现特定内容片段。
可选地，确定通过接近敏感显示器接收到的触摸输入序列对应于特定手势包括：确定通过接近敏感显示器接收到的触摸输入序列对应于手势，在该手势中，用户已将其手指中的一个或多个手指从接近敏感显示器上的与特定内容片段相关联的位置拖动到接近敏感显示器的边缘。
可选地，确定通过接近敏感显示器接收到的触摸输入的序列对应于特定手势包括：确定通过接近敏感显示器接收到的触摸输入的序列对应于手势，在该手势中，用户在接近敏感显示器上的与特定内容片段相关联的特定位置处将其手指中的两个或更多个手指收缩在一起，并且随后使其两个或更多个收缩在一起的手指远离特定位置移动。
可选地，其中用户在接近敏感显示器上的与特定内容片段相关联的特定位置处将其手指中的两个或更多个手指收缩在一起并且随后使其两个或更多个收缩在一起的手指远离特定位置移动的手势包括：一种手势，在该手势中，用户在接近敏感显示器上的与特定内容片段相关联的特定位置处将其手指中的两个或更多个手指收缩在一起，并且随后将其两个或更多个收缩在一起的手指移动到接近敏感显示器的边缘。
可选地，其中用户在接近敏感显示器上的与特定内容片段相关联的特定位置处将其手指中的两个或更多个手指收缩在一起并且随后使其两个或更多个收缩在一起的手指远离特定位置移动的手势包括：一种手势，在该手势中，用户在接近敏感显示器上的与特定内容片段相关联的特定位置处将其手指中的两个或更多个手指收缩在一起，并且随后将其的两个或更多个收缩在一起的手指抬离接近敏感显示器。
可选地，在接近敏感显示器上呈现特定内容片段包括：呈现包括接近敏感显示器上的特定内容片段的场景。
可选地，在接近敏感显示器上停止呈现特定内容片段包括：将特定内容片段移出场景。
可选地，方法还包括：在接近敏感显示器上呈现特定内容片段时，生成针对特定内容片段的标识信息，以及将特定内容片段的标识信息发送到可穿戴显示系统。
可选地，方法还包括：在接近敏感显示器上呈现特定内容片段时，生成指示特定内容片段相对于接近敏感显示器的当前位置的数据，以及将指示特定内容片段的当前位置的数据发送到可穿戴显示系统。
可选地，该方法可以由紧接在上面描述的计算设备来执行。
一种可穿戴计算系统包括：被配置为佩戴在用户的头部上的头戴式显示器；一个或多个相机，其被配置为捕获用户前方的环境的图像；以及一个或多个处理器，其被可操作地耦合到头戴式显示器和一个或多个相机并且通信地耦合到计算设备，一个或多个处理器被配置为：辨别正在计算设备的显示器上呈现的特定内容片段；从计算设备接收一个或多个消息，该一个或多个消息指示特定内容片段的呈现将从计算设备的显示器切换到头戴式显示器；响应于从计算设备接收到一个或多个消息：使用由一个或多个相机捕获的一个或多个图像来确定用户前方的环境中的位置；以及在头戴式显示器上呈现特定内容片段，以便被用户感知为位于用户前方的环境中的所确定的位置处。
可选地，可穿戴计算系统被配置为以与本文描述的可穿戴计算系统、可穿戴显示系统和/或图像显示设备中的一个或多个相同或类似的方式操作。
可选地，可穿戴计算系统被配置为在紧接在下面描述的方法中执行一个或多个操作。
一种计算机实现的方法包括：辨别正在计算设备的显示器上呈现的特定内容片段；从计算设备接收一个或多个消息，该一个或多个消息指示特定内容片段的呈现将从计算设备的显示器切换到头戴式显示器；以及响应于从计算设备接收到一个或多个消息：获得头戴式显示器的用户前方的环境的一个或多个图像；基于一个或多个所获得的图像来辨别用户前方的环境中的位置；以及在头戴式显示器上呈现特定内容片段，以便被用户感知为位于用户前方的环境中的所确定的位置处。
可选地，计算设备中的在其上呈现特定内容片段的显示器是二维屏幕。
可选地，在头戴式显示器上呈现特定内容片段以便被用户感知为位于用户前方的环境中的所确定的位置处包括：在头戴式显示器上呈现特定内容片段的三维表示，以便被用户感知为位于用户前方的环境中的所确定的位置处。
可选地，该方法还包括从计算设备接收针对特定内容片段的标识信息。
可选地，辨别正在计算设备的显示器上呈现的特定内容片段包括：基于从计算设备接收到的标识信息来辨别正在计算设备的显示器上呈现的特定内容片段。
可选地，该方法还包括从计算设备接收指示特定内容片段的当前位置的数据。
可选地，特定内容片段的当前位置对应于特定内容片段相对于计算设备的显示器的当前位置。
可选地，该方法可以由紧接在上面描述的可穿戴计算系统执行。
一种系统包括：计算设备，其被配置为针对与可穿戴计算系统相关联的专用输入控制器而独立地操作，其中计算设备包括：接近敏感显示器；以及一个或多个处理器，其被可操作地耦合到接近敏感显示器并且通信地耦合到可穿戴计算系统，一个或多个处理器被配置为：在接近敏感显示器上的多个位置处分别呈现多个图形控制元件，其中多个图形控制元件分别对应于专用输入控制器的多个物理用户输入组件；监视在接近敏感显示器上的多个位置中的任何一个位置处接收到的触摸输入；以及响应于检测到在接近敏感显示器上的多个位置中的任何一个位置处接收到触摸输入：从与接近敏感显示器上的多个位置相关联的多个图形控制元件中辨别与在接近敏感显示器上的多个位置中的接收到检测到的触摸输入的特定位置相关联的多个图形控制元件中的特定图形控制元件；基于该特定图形控制元件生成一个或多个消息；以及将该一个或多个消息发送给可穿戴计算系统。
可选地，与多个图形控制元件对应于的专用输入控制器中的多个物理用户输入组件包括以下项中的一个或多个：“主页”按钮、“触发”按钮、“缓冲”按钮和触摸板。
可选地，计算设备被配置为以与本文描述的计算设备和/或装置中的一个或多个相同或类似的方式操作。
可选地，计算设备被配置为在紧接在下面描述的方法中执行一个或多个操作。
一种计算机实现的方法包括：提供在计算设备上运行的应用的图形用户界面，以用于在计算设备的接近敏感显示器上的输出；通过图形用户界面分别呈现多个图形控制元件，该多个图形控制元件对应于与可穿戴计算系统相关联的专用输入控制器中的多个物理用户输入组件；接收指示在接近敏感显示器上的特定位置处接收到的触摸输入的数据；确定接收到触摸输入的特定位置与多个图形控制元件中的特定图形控制元件相关联；以及响应于确定接收到触摸输入的特定位置与特定图形控制元件相关联：基于特定图形控制元件生成一个或多个消息；以及将该一个或多个消息发送到可穿戴计算系统。
可选地，该方法可以由紧接在上面描述的计算设备来执行。
在详细描述、附图和权利要求中描述了本公开的附加和其他目的、特征和优点。
附图说明
附图示出了本公开的各种实施例的设计和实用性。应该注意，附图未按比例绘制，并且贯穿所有附图，具有相似结构或功能的元件由相同的参考标号表示。为了更好地理解如何获得本公开的各种实施例的上述和其他优点和目标，将通过参考本公开的具体实施例来呈现上面简要描述的本公开的更详细的说明。应理解，这些附图仅示出了本公开的典型实施例，因此不应认为是对其范围的限制，将通过使用附图，借助附加特征和细节来描述和解释本公开，其中：
图1示出了根据一些实施例的具有图像显示设备的另一图像显示系统。
图2示出了根据其他实施例的具有图像显示设备的另一图像显示系统。
图3示出了根据其他实施例的具有图像显示设备的另一图像显示系统。
图4示出了根据其他实施例的具有图像显示设备的另一图像显示系统。
图5示出了在多个深度平面显示帧的图像显示设备。
图6示出了具有触敏屏幕的装置，该触敏屏幕具有用于允许用户为图像显示设备提供输入的指定区域。
图7A-7F示出了图6中的装置的屏幕的不同的可选指定区域的示例。
图8A示出了响应于用户用一个手指触摸图6中的装置的屏幕的指定区域的一部分而生成的视觉反馈的示例。
图8B示出了响应于用户用两个手指触摸图6中的装置的屏幕的指定区域的一部分而生成的视觉反馈的示例。
图9A示出了可以由图6中的装置显示的键盘的示例。
图9B示出了可以由图6中的装置显示的键盘的另一示例。
图10A示出了在图6中的装置的屏幕的指定区域上执行的并且可由该装置检测作为用于图像显示设备的手指动作输入的一个手指滑动的示例。
图10B示出了在图6中的装置的屏幕的指定区域上执行的并且可由该装置检测作为用于图像显示设备的手指动作输入的一个手指滑动的另一示例。
图11A示出了在图6中的装置的屏幕的指定区域上执行的并且可由该装置检测作为用于图像显示设备的手指动作输入的一个手指触摸移动的示例。
图11B示出了在图6中的装置的屏幕的指定区域上执行的并且可由该装置检测作为用于图像显示设备的手指动作输入的两个手指触摸移动的示例。
图12A示出了在图6中的装置的屏幕的指定区域上执行并且可由该装置检测作为用于图像显示设备的手指动作输入的两个手指收缩的示例。
图12B示出了在图6中的装置的屏幕的指定区域上执行并且可由该装置检测作为用于图像显示设备的手指动作输入的两个手指扩张的示例。
图13示出了在图6中的装置的屏幕的指定区域上执行并且可由该装置检测作为用于图像显示设备的手指动作输入的两个手指径向移动的示例。
图14示出了在图6中的装置的屏幕的指定区域上执行的并且可由该装置检测作为用于图像显示设备的手指动作输入的长触摸保持的示例。
图15示出了在图6中的装置的屏幕的指定区域上执行的并且可由该装置检测作为用于图像显示设备的手指动作输入的轻击的示例。
图16A示出了在图6中的装置的屏幕的已被指定作为按钮的区域上执行的并且可由该装置检测作为用于图像显示设备的输入的手指动作的示例。
图16B示出了由图6中的装置可检测到的作为用于图像显示设备的组合输入的不同手指动作输入的组合的示例。
图17示出了图6中的装置的反馈特征。
图18示出了用于提供反馈的算法或方法。
图19A示出了当装置处于面朝上取向时在图6中的装置上执行的手指动作的示例、以及对所显示的内容的对应效果的示例。
图19B示出了当装置处于直立取向时在图6中的装置上执行的手指动作的示例、以及对所显示的内容的对应效果的示例。
图20示出了根据一些实施例的方法。
图21示出了图6中的以来自服务器的一组指令的形式下载应用的装置。
图22示出了根据一些实施例的专用处理系统。
具体实施方式
本公开的各种实施例涉及用于为头戴式视频图像设备提供输入的方法、装置和制品。在详细描述、附图和权利要求中描述了本公开的其他目的、特征和优点。
在下文中参考附图描述各种实施例。应当注意，附图不是按比例绘制的，并且在整个附图中，具有相似结构或功能的元件由相同的附图标记表示。还应注意，附图仅旨在有利于对实施例的描述。它们不旨在作为对本发明的详尽描述或作为对本发明的范围的限制。另外，所说明的实施例不需要具有所示出的所有方面或优点。结合特定实施例描述的方面或优点不一定限于该实施例，并且即使未被那样示出或者如果未被那样明确地描述，上述方面或优点也可以在任何其他实施例中实践。
以下描述涉及可以实践本文中所描述的实施例的示例性VR、AR和/或MR系统。然而，应当理解，实施例还适用于其他类型的显示系统(包括其他类型的VR、AR和/或MR系统)中的应用，并且因此实施例不限于仅在此公开的示例性示例。
问题和解决方案的概述
在一些情况下，头戴式图像显示设备可以具有专用输入控制器，用于允许头戴式图像显示设备的用户提供输入。专用输入控制器可以特定于头戴式图像显示设备的特定型号，并且可以对于图像显示设备的每个品牌和型号是唯一的。这样的专用输入控制器可以通过在头戴式图像显示设备的屏幕上显示键盘来允许头戴式图像显示设备的用户输入文本，并且用户可以通过使用专用输入控制器与在头戴式图像显示设备的屏幕上显示的键盘交互来输入文本。这种输入文本的技术可能是麻烦的并且可能不是理想的。此外，专用输入控制器可能具有有限的语音和手势控制。此外，如果用于特定头戴式图像显示设备的专用输入控制器丢失、如果专用输入控制器损坏、或者如果用户忘记带专用输入控制器，则不存在供用户使用的备份控制器。此外，头戴式图像显示设备的专用输入控制器可能不能够在用户的媒体存储设备与头戴式图像显示设备之间发送数字图像、照片和其他媒体内容。专用输入控制器还可能不能够访问应用商店和内容，并且当头戴式图像显示设备未被用户穿戴时，可能不能够从头戴式图像显示设备或从网络接收通知。
根据本文描述的一个或多个实施例，具有触摸屏的装置被提供作为用于允许头戴式图像显示设备的用户输入用于图像显示设备的输入的输入设备，该输入设备在本文中有时被称为“可穿戴计算系统”或“可穿戴显示系统”。本文中有时更简单地称为“计算设备”的装置可用作备份输入设备，使得如果头戴式图像显示设备的专用输入控制器不可用，则该装置可替代地由用户使用以输进输入。该装置也可以替代地用作图像显示设备的主要或唯一输入设备。该装置可以用作输入文本的主设备，或者替代地，可以用作用于输入文本的专用输入控制器的替代。当用户通过头戴式图像显示设备的透明部分观看装置的屏幕时，通过装置的触摸屏输入文本比在用户使用专用输入控制器输入文本时在图像显示设备的观看屏幕上显示键盘更方便和高效。而且，在使用用户的手机实现装置的实施例中，该装置还可以促进数字图像和照片以及其他媒体内容在用户的电话与图像显示设备之间的发送。另外，在一些实施例中，本文描述的装置允许头戴式图像显示设备的用户访问应用商店和内容。此外，在一些实施例中，本文描述的装置可以在头戴式图像显示设备未被用户穿戴时从头戴式图像显示设备或从网络接收通知。
图1-4示出了在各种实施例中的图像显示系统100的各种组件。图像显示系统100包括图像显示设备101和用于为图像显示设备101提供输入的装置200。下面将更详细地描述装置200。图像显示设备101可以是VR设备、AR设备、MR设备或其他类型的显示设备中的任一者。图像显示设备101包括由终端用户50佩戴的框架结构102、由框架结构102承载的显示子系统110以使得显示子系统110定位在终端用户50的眼睛前方、以及由框架结构102承载的扬声器106以使得扬声器106定位成与终端用户50的耳道相邻(可选地，另一扬声器(未示出)定位成与终端用户50的另一耳道相邻以提供立体声/可成形声音控制)。显示子系统110被设计为以高水平的图像质量和三维感知向终端用户50的眼睛呈现可以被舒适地感知为对物理现实的增强的光图案以及能够呈现二维内容。显示子系统110以提供单个相干场景的感知的高频来呈现帧序列。
在所示实施例中，显示子系统110采用“光学透视”显示器，通过该显示器，用户可以经由透明(或半透明)元件直接观看来自真实对象的光。透明元件，其通常被称为“组合器”，将来自显示器的光叠加在用户对真实世界的视图上。为此，显示子系统110包括部分透明的显示器。显示器被定位在终端用户50的眼睛与周围环境之间的终端用户的50视场中，使得来自周围环境的直接光通过显示器被发送到终端用户50的眼睛。
在所示实施例中，图像投射组件向部分透明的显示器提供光，从而与来自周围环境的直接光组合，并且被从显示器发送到用户50的眼睛。投射子系统可以是基于光纤扫描的投射设备，并且显示器可以是基于波导的显示器，其中来自投射子系统的扫描光被注入到该基于波导的显示器中以产生例如在比无限远(例如，手臂的长度)更近的单个光学观看距离处的图像、在多个离散光学观看距离或聚焦平面处的图像和/或堆叠在多个观看距离或聚焦平面处的图像层，以表示体积3D对象。光场中的这些层可以足够紧密地堆叠在一起以显得与人类视觉子系统连续(即，一个层在相邻层的混淆锥(cone of confusion)内)。附加地或替代地，即使这些层更稀疏地堆叠(即，一个层在相邻层的混淆锥之外)，图像元素也可以跨两个或更多个层混合以增加光场中的层之间的过渡的感知连续性。显示子系统110可以是单眼或双眼的。
图像显示设备101还可以包括安装到框架结构102的一个或多个传感器(未示出)，用于检测终端用户50的头部54的位置和移动和/或终端用户50的眼睛位置和眼间距离。这样的传感器可以包括图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速计、罗盘、GPS单元、无线电设备和/或陀螺仪)或前述的任何组合。这些传感器中的许多传感器基于其被固定到的框架102依次基本上被固定到用户的头部、眼睛和耳朵的假设来进行操作。
图像显示设备101还可以包括用户取向检测模块。用户取向模块检测终端用户50的头部54的瞬时位置(例如，经由耦合到框架102的传感器)，并且可以基于从传感器接收的位置数据来预测终端用户50的头部54的位置。检测终端用户50的头部54的瞬时位置有助于确定终端用户50正在看的特定实际对象，从而提供关于该实际对象要生成的特定虚拟对象的指示，并且进一步提供要显示虚拟对象的位置的指示。用户取向模块还可以基于从传感器接收的跟踪数据来跟踪终端用户50的眼睛。
图像显示设备101还可以包括可以采取多种形式中的任何形式的控制子系统。控制子系统包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其他集成电路控制器，其他集成电路控制器例如专用集成电路(ASIC)、可编程门阵列(PGA)(例如，场PGA(FPGA))和/或可编程逻辑控制器(PLU)。
图像显示设备101的控制子系统可以包括中央处理单元(CPU)、图形处理单元(GPU)、一个或多个帧缓冲器、以及用于存储三维场景数据的三维数据库。CPU可控制总体操作，而GPU可从被存储在三维数据库中的三维数据来渲染帧(即，将三维场景转换成二维图像)并将这些帧存储在帧缓冲器中。一个或多个附加集成电路可以控制对来自帧缓冲器的帧的读取和/或读出以及控制显示子系统110的图像投射组件的操作。
图像显示设备101的各种处理组件可以被物理地包含在分布式子系统中。例如，如图1-4所示，图像显示设备101包括本地处理和数据模块130，该本地处理和数据模块130可操作地耦合(例如通过有线引线或无线连接136)到显示子系统110和传感器。本地处理和数据模块130可以以各种配置安装，例如固定地附到框架结构102(图1)、固定地附到头盔或帽子56(图2)、可拆卸地附到终端用户50的躯干58(图3)或者以带耦合方式配置可拆卸地附到终端用户50的髋部60(图4)。图像显示设备101还包括可操作地耦合(例如通过有线引线或无线连接138、140)到本地处理和数据模块130的远程处理模块132和远程数据储存库134，使得这些远程模块132、134可操作地彼此耦合并且可用作本地处理和数据模块130的源。
本地处理和数据模块130可以包括功率有效的处理器或控制器以及诸如闪存的数字存储器，两者都可以用于帮助处理、缓存和存储从传感器捕捉的数据和/或使用远程处理模块132和/或远程数据储存库134获取和/或处理的数据，该数据可能在这样的处理或检索之后被传递到显示子系统110。远程处理模块132可以包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。远程数据储存库134可以包括相对大规模的数字数据存储设施，该设施通过互联网或“云”资源配置中的其他网络配置是可获得的。在一些实施例中，存储全部数据并且在本地处理和数据模块130中执行全部计算，允许从任何远程模块完全自主使用。
上述各种组件之间的耦合136、138、140可以包括用于提供线或光通信的一个或多个有线接口或端口或者诸如通过RF、微波和IR提供无线通信的一个或多个无线接口或端口。在一些实现中，全部通信可以是有线的，而在其他实现中，全部通信都可以是无线的。在更进一步的实现中，有线和无线通信的选择可以是与图1-4中所示的不同。因此，不应将有线或无线通信的特定选择视为限制。
在一些实施例中，用户取向模块被包含在本地处理和数据模块130中，而CPU和GPU被包含在远程处理模块中。在替代实施例中，CPU、GPU或其的部分可被包含在本地处理和数据模块130中。3D数据库可与远程数据储存库134相关联或被本地地设置。
一些图像显示系统(例如，VR系统、AR系统、MR系统等)使用内嵌有深度平面信息的多个体积相位全息图、表面浮雕全息图或光导光学元件来生成看起来来自各个深度平面的图像。换言之，衍射图案或衍射光学元件(“DOE”)可以被嵌入到光导光学元件(“LOE”；例如，平面波导)内或压印/雕刻(emboss)在LOE上，使得准直光(具有基本平面波前的光束)沿着LOE基本上全内反射，它在多个位置处与衍射图案相交并且朝着用户眼睛出射。DOE被配置为使得通过其从LOE出射的光发生会聚，使得它们看起来源自特定的深度平面。可以使用光学聚光透镜(“聚光器”)生成准直光。
例如，第一LOE可以被配置为将准直光传送到眼睛，该准直光看起来源自光学无限远深度平面(0屈光度)。另一LOE可以被配置为传送看起来源自2米距离(1/2屈光度)的准直光。又一LOE可以被配置为传送看起来源自1米距离(1屈光度)的准直光。通过使用堆叠的LOE组件，可以理解，可以形成多个深度平面，其中，每个LOE被配置为显示看起来源自特定深度平面的图像。应该理解，该堆叠可以包括任何数量的LOE。然而，需要至少N个堆叠的LOE来生成N个深度平面。此外，可以使用N、2N或3N个堆叠的LOE在N个深度平面上生成RGB彩色图像。
为了将3D虚拟内容呈现给用户，图像显示系统100(例如，VR系统、AR系统、MR系统等)将虚拟内容的图像投射到用户的眼睛中，使得这些图像看起来源自Z方向(即，正交地远离用户的眼睛)的各个深度平面。换言之，虚拟内容不仅可以在X和Y方向上(即，在与用户眼睛的中心视轴正交的2D平面中)改变，而且也可以看起来在Z方向上改变，使得用户可以感知到对象非常靠近或处于无限远距离或位于它们之间的任何距离处。在其他实施例中，用户可以同时感知到不同深度平面处的多个对象。例如，用户可以看到虚拟龙看起来从无限远处奔向用户。或者，用户可以同时看到距用户3米距离处的虚拟鸟和距用户一臂长(约1米)处的虚拟咖啡杯。
多平面聚焦系统通过在多个深度平面中的一些或全部上投射图像以形成可变深度感知，该多个深度平面在Z方向上距用户眼睛的各个固定距离处。现在参考图5，应当理解，多平面聚焦系统可以在固定深度平面150(例如，图5所示的六个深度平面150)处显示帧。尽管MR系统可以包括任何数量的深度平面150，但是一个示例性多平面聚焦系统在Z方向上具有六个固定深度平面150。当在六个深度平面150中的一个或多个深度平面处生成虚拟内容时，形成3D感知，使得用户感知到在距用户眼睛不同距离处的一个或多个虚拟对象。假定人眼对距离更近的对象比看起来较远的对象更敏感，因此生成更多个距眼睛更近的深度平面150，如图5所示。在其他实施例中，深度平面150可以被放置在距离彼此相等距离处。
可以以屈光度来测量深度平面位置150，屈光度是光焦度单位，其等于以米为单位测量的焦距的倒数。例如，在一些实施例中，深度平面1可以是1/3屈光度远，深度平面2可以是0.3屈光度远，深度平面3可以是0.2屈光度远，深度平面4可以是0.15屈光度远，深度平面5可以是0.1屈光度远，深度平面6可以表示无限远(即，0屈光度远)。应当理解，其他实施例可以在其他距离/屈光度处生成深度平面150。因此，在策略性放置的深度平面150处生成虚拟内容时，用户能够感知三维虚拟对象。例如，用户可以将在深度平面1中显示的第一虚拟对象感知为靠近他，而另一虚拟对象看起来在无限远处的深度平面6。或者，虚拟对象可以首先在深度平面6处显示，然后在深度平面5处显示，依此类推，直到虚拟对象看起来非常靠近用户。应该理解，出于说明的目的，上述示例被明显简化。在另一实施例中，所有六个深度平面可以被集中在远离用户的特定焦距上。例如，如果要显示的虚拟内容是距离用户半米的咖啡杯，则可以在咖啡杯的各个横截面处生成所有六个深度平面，给用户高度粒化的3D咖啡杯视图。
在一些实施例中，图像显示系统100(例如，VR系统、AR系统、MR系统等)可以用作多平面聚焦系统。换言之，可以同时照射所有六个LOE，从而快速连续地生成看起来源自六个固定深度平面的图像，其中，光源将图像信息快速传递到LOE 1，然后是LOE 2，然后是LOE3，以此类推。例如，可以在时间1处注入所需图像的一部分，该部分包括光学无限远处的天空的图像，并且可以利用保持光准直的LOE(例如，图5中的深度平面6)。然后，可以在时间2处注入更近的树枝的图像，并且可以利用被配置为形成看起来源自10米远的深度平面(例如，图5中的深度平面5)的图像的LOE；然后，可以在时间3处注入钢笔图像，并且可以利用被配置为生成看起来源自1米远的深度平面的图像的LOE。此类范例可以以极快时序(例如，以360Hz)的方式重复，使得用户的眼睛和大脑(例如，视觉皮层)将输入感知为同一图像的全部部分。
图像显示系统100可以投射图像(即，通过发散或会聚光束)，这些图像看起来源自沿Z轴的各个位置(即，深度平面)以生成用于3D体验/场景的图像。如在本申请中使用的，“光束”包括但不限于从光源辐射的光能(包括可见光和不可见光能)的取向投射。生成看起来源自各个深度平面的图像遵循用户眼睛针对该图像的聚散和适应，并最小化或消除聚散-适应冲突。
如图1-4所示，图像显示系统100包括用于为图像显示设备101提供输入的装置200。装置200允许图像显示设备101的用户50在用户50观看由图像显示设备101显示的内容时输入用户输入。在一个实施方式中，装置200可以是手持设备(例如，手机(例如，智能电话)、平板电脑、IPAD、迷你平板电脑等)，其被配置为与图像显示设备101交互。在图1-4所示的示例中，装置200通过与图像显示设备101的处理模块130进行通信来与图像显示设备101交互。装置200与图像显示设备101的处理模块130之间的通信可以经由无线连接或有线连接来实现。在其他实施例中，装置200还可以经由无线连接与远程处理模块132和/或远程数据储存库134通信。
图6示出了装置200的示例，装置200用于与图像显示设备101一起使用，图像显示设备101被配置用于由用户50头戴。具体地，装置200被配置为用于在用户50正在观看由显示设备101显示的图像时，允许用户50使用他/她的手指提供用户输入的输入设备/控制器。在一些情况下，装置200可以被认为是图像显示系统100的一部分。装置包括屏幕202和处理单元204。处理单元204被配置为指定屏幕202的第一区域206以感测用户50的手指动作。处理单元204被配置为检测在所指定的第一区域206上执行的不同的手指动作，从而允许所指定的第一区域206像触摸板那样起作用。处理单元204还被配置为基于由装置200的屏幕202的所指定的第一区域感测到的用户50的手指动作，来生成电子信号以引起由图像显示设备101显示的内容的变化。电子信号可以表示检测到的手指动作的标识、和/或可以表示由处理单元204基于检测到的手指动作生成的命令。
在所示实施例中，装置200是手持装置。通过非限制性示例，手持装置可以是蜂窝电话、智能电话、个人数字助理(PDA)或平板电脑。
如图6所示，装置200的屏幕202具有触敏区域210，并且所指定的第一区域206小于触敏区域210的总面积。因此，处理单元204被配置为忽略由用户50使用并非所指定的第一区域206的一部分的触敏区域210中的一部分生成的输入。
第一区域206的尺寸和形状可以是预定义的，或者可以由用户50选择性地配置。在其他实施例中，第一区域206可以具有其他形状，而不是图6中所示的正方形形状。图7A-7F示出了可以由处理单元204指定的不同第一区域206的示例。图7A示出了具有矩形形状的第一区域206，其中第一区域206的长边平行于装置200的短边，并且第一区域206的短边平行于装置200的长边。在其他实施例中，如图7B所示，第一区域206可以具有矩形形状，其中第一区域206的长边平行于装置200的长边，并且第一区域206的短边平行于装置200的短边。在另外的实施例中，第一区域206的尺寸可以小于(或大于)所示出的示例。例如，在其他实施例中，第一区域206可以具有仅占据屏幕的离散区域的小尺寸(图7C)。在另外的实施例中，第一区域206可以具有圆形形状(图7D)、六边形形状(图7E)或任何其他多边形形状。
在一些实施例中，第一区域206可以具有与图像显示设备101的显示屏的区域对应的形状。例如，如果图像显示设备101的屏幕具有4：3的纵横比，则由处理单元204指定的第一区域206也可以具有4：3的纵横比(图7F)。在一个实施方式中，装置200的处理单元204被配置为确定图像显示设备101的显示屏区域的形状，并且基于图像显示设备101的显示屏区域的形状来确定第一区域206的形状。例如，处理单元204可以确定第一区域206的形状与图像显示设备101的显示屏区域的形状相同。
在一些实施例中，处理单元204可以被配置为确定触敏区域210的尺寸，并且确定被指定以感测用户50的手指动作的第一区域206的尺寸和/或形状。例如，处理单元204可以确定装置200的整个触敏区域210的宽度为2.5英寸并且长度为5.5英寸。在此类情况下，然后，处理单元204可将第一区域206的宽度确定为触敏区域210的宽度的常数k1(例如，0.9)倍(在上述示例中，其将为0.9x2.5＝2.25英寸)。类似地，处理单元204可以将第一区域206的长度确定为触敏区域210的长度的常数k2(例如，0.5)倍(在上述示例中，其将是0.5x5.5＝2.75英寸)。
在其他实施例中，处理单元204可以确定装置200的品牌和型号，并且确定要被指定以感测用户50的手指动作的第一区域206的尺寸和/或形状。例如，与具有相对较小的屏幕尺寸的装置200的另一品牌和另一型号相比，具有相对较大屏幕尺寸的装置200的品牌和型号可以被指定相对较大的第一区域206。
在已指定第一区域206用于感测用户50的手指动作之后，用户50然后可以使用一个或多个手指来使用装置200的所指定的第一区域206输入用于图像显示系统100的输入。例如，用户50可以在所指定的第一区域206内移动手指，以移动由图像显示设备101显示的对象。对象可以是任何对象，诸如光标、图像、照片、窗口、帧、应用页面等。作为另一示例，用户50可以在所指定的第一区域206内在同一滑动方向上移动两个手指，以移动由图像显示设备101显示的对象。作为另一示例，用户50可以在所指定的第一区域206内执行收缩或扩张动作以改变对象的尺寸(例如，通过收缩来减小尺寸、通过扩张来增加尺寸)。作为另一示例，用户50可以在所指定的第一区域206内执行轻击动作(例如，单击、双击等)以选择对象、取消选择对象、抓取对象、取消抓取对象等。因此，装置200被配置为用于允许用户50提供用于与由图像显示设备101显示的内容进行交互的输入的输入设备/控制器。
在第一操作模式中，当用户50正在使用装置200来生成用于图像显示系统100的输入时，装置200可以不在屏幕202上提供视觉显示。当屏幕202的所指定的第一区域206正感测用户50的手指动作时，屏幕的所指定的第一区域206没有显示的对象。在这样的情况下，装置200被配置为像触摸板。然而，与触摸板不同，装置200本身可以是移动或手持设备。在一些实施方式中，当处于第一操作模式时，通过装置200在屏幕202上的内容的呈现可以至少部分地被劣化或被禁用。更具体地，当处于第一操作模式时，在这样的实施方式中，装置200可以提供较少的内容以用于屏幕202上的视觉显示、具有降低的亮度和/或对比度的内容以用于屏幕202上的视觉显示、降低屏幕202的亮度水平、或者采取一个或多个其他动作来减少显示功能以节省电力。在一些示例中，当处于第一操作模式时，装置200可以通过使用一个或多个反馈组件(例如，触觉反馈组件、扬声器等)来传达触摸板的边界和/或触摸板所属的用户界面的其他部分。在这些示例中，当处于第一操作模式时，装置200可以使用一个或多个反馈组件来传达这样的用户界面的一个或多个部分，而不是使用屏幕202来视觉地显示用户界面或者除此之外。在一些实施例中，当装置200在第一模式下操作时，可以由图像显示设备101显示这样的用户界面或其一部分的表示。在这些实施例中的至少一些实施例中，还可以通过图像显示设备101为用户在视觉上表示触摸屏202上已被提供触摸输入的相对位置。以此方式，用户可以能够在观看其他地方时有效地与屏幕202交互。在这些示例中的一些示例中，当处于第一操作模式时，代替或除了使用装置200的屏幕202来视觉地显示用户界面或其有限版本(例如，用户界面的至少部分被劣化或被禁用的版本)之外，可以使用图像显示设备101来显示这样的用户界面或其一部分的表示。
在第二操作模式中，处理单元204可以被配置为操作屏幕202以显示内容，同时允许屏幕202接收来自用户50的手指动作输入。在一些实施方式中，当处于第二操作模式时由装置200提供的用于在屏幕202上的视觉显示的内容的数量、亮度和/或对比度可以大于当处于第一操作模式时由装置200提供的用于在屏幕202上的视觉显示的内容的数量、亮度和/或对比度。类似地，在一些示例中，装置200可以在第二操作模式中以比其在第一操作模式中更高的亮度水平来操作屏幕202。例如，处理单元204可以操作屏幕202以在屏幕202的所指定的第一区域206中显示点220的网格，如图6所示的那样。点220的网格允许用户50看到所指定的第一区域206所在的位置，使得用户50可以更准确地定位他/她的手指。在一些情况下，处理单元204还可以被配置为响应于用户50触摸屏幕202的所指定的第一区域206中的显示点206中的一个或多个点的一部分，来改变点220中的一个或多个点的特征(图8A-8B)。具体地，图8A示出了响应于用户50用一个手指触摸装置200的屏幕202的指定区域206的一部分，而由处理单元204生成的视觉反馈230的示例。图8B示出了响应于用户50用两个手指触摸装置200的屏幕202的指定区域206的一部分，而由处理单元204生成的视觉反馈230的示例。这允许用户50看到他/她的手指动作生成的输入被处理单元204成功接收。在以上示例中，视觉反馈230包括圆圈和接近触摸位置的点220的间隔的变化。在其他实施例中，视觉反馈230可以仅包括圆而没有点220的间隔的变化。在另外的实施例中，代替圆形形状，视觉反馈230可以包括由处理单元204生成的被定位在屏幕202中由用户50触摸的位置处的对象(任何形状)。在另外的实施例中，视觉反馈230可以不包括与点220重叠的任何对象。在这样的情况下，视觉反馈230可以是用户50触摸屏幕202的位置处的点的颜色的变化、和/或点的形状和/或尺寸的变化。
在一些实施例中，点220的水平间隔可以与点220的垂直间隔相同。在其他实施例中，点220的水平间隔可以不同于点220的垂直间隔。例如，点202的水平间隔可以大于或小于点220的垂直间隔。
应当注意，在第二模式中，装置200的屏幕不限于显示点220，并且在其他实施例中可以显示其他内容。例如，在其他实施例中，当处于第二模式时，装置200的屏幕可以显示用于用户50使用装置200来选择的多个对象(例如，照片、视频、图标等)、用于用户50输入文本的文本框、用于允许用户50绘制事物的绘图“板”、用于用户50来选择的选项卡、用于允许用户50与之交互的应用图形等。在一些实施方式中，可以在屏幕202的所指定的第一区域206中显示多边形形状。例如，在这些实施方式中，装置可以在屏幕202的所指定的第一区域206中显示实心多边形形状、多边形形状的轮廓或两者。在一些示例中，这样的多边形形状的几何形状可以对应于所指定的第一区域206的几何形状，使得多边形形状的一个或多个边界可以分别与所指定的第一区域206的一个或多个边界一致。
在一些实施例中，装置200可以在第一模式与第二模式之间切换。例如，装置200可以基于从图像显示设备101接收的命令在第一模式与第二模式之间切换。在一些实施方式中，图像显示设备101可分析来自其感测设备中的一个或多个设备的数据输出，以确定装置200是否在用户的视场内。在一些示例中，图像显示设备101的这样的一个或多个感测设备可对应于一个或多个前向相机。例如，图像显示设备101可分析由其相机捕获的图像以确定装置200是否在图像中的任一者中显示(且因此位于用户的视场内)。如果装置200未被相机中的任何一个检测到，则作为响应，图像显示设备101然后可以指示装置200在第一模式下操作。另一方面，如果装置200由图像显示设备101的相机检测到，则作为响应，图像显示设备101然后可以指示装置200在第二模式下操作。这个特征是有利的，因为其可以有时在用户50不观看装置200的屏幕时提供省电益处。因此，如果用户50不通过图像显示设备101的屏幕观看装置200，则装置200的屏幕可以在第一模式(不显示内容或劣化的内容集合)下操作，并且如果用户50通过图像显示设备101的屏幕观看装置200，则装置200的屏幕可以在第二模式(显示整体内容)下操作。在一些示例中，图像显示设备101可以利用，除了其前向相机中的一个或多个之外，感测设备中的一个或多个来确定装置200是否在用户的视场内。例如，图像显示设备101可以基于来自一个或多个接近传感器、面向内的眼睛跟踪相机、或图像显示设备101的能够输出指示用户是否佩戴图像显示设备101的数据的其他感测设备的数据输出，来确定装置200是否在用户的视场内。在图像显示设备101是虚拟现实(VR)耳机或者在被用户穿戴时物理地遮挡用户环境的某一部分的其他可穿戴计算设备的实现方式中，图像显示设备101可以基于来自一个或多个这样的感测设备的数据输出指示装置200在第一与第二操作模式之间切换，这是特别有利的。
此外，在一些实施例中，在第一区域206处执行的水平移动输入的每单位长度Lh可导致由图像显示设备101显示的对象的对应水平移动量Mh。类似地，在第一区域206处执行的垂直移动输入的每单位长度Lv可导致由图像显示设备101显示的对象的对应垂直移动量Mv。水平移动效率可由比率Mh/Lh表示，且垂直移动效率可由比率Mv/Lv表示。如果比率Mh/Lh为1.0，这意味着在所指定的第一区域206处的一个单位的水平移动输入将导致针对由图像显示设备101显示的对象发生相同单位的水平移动。如果比率Mh/Lh大于1.0，这意味着在所指定的第一区域206处的一个单位的水平移动输入将导致针对由图像显示设备101显示的对象发生多于一个单位的水平移动。如果比率Mh/Lh小于1.0，则意味着所指定的第一区域206处的一个单位的水平移动输入将导致针对由图像显示设备101显示的对象发生小于一个单位的水平移动。类似的概念适用于垂直方向。在一些实施例中，与图像显示设备101的屏幕相比，装置200的屏幕的尺寸可以更小。在这样的情况下，可能期望配置所指定的第一区域206，使得Mh/Lh>1，并且使得Mv/Lv>1。这允许用户50在装置200上操作相对较小的第一区域206以覆盖图像显示设备101中的较大屏幕区域。在其他实施例中，与图像显示设备1011的屏幕相比，装置200的屏幕的尺寸可以更大。在这样的情况下，可能期望配置所指定的第一区域206，使得Mh/Lh<1，并且使得Mv/Lv<1。这允许用户50在装置200上操作相对较大的第一区域206以覆盖图像显示设备101中的较小屏幕区域。在其他实施例中，不管装置200和图像显示设备101的相对屏幕尺寸，所指定的第一区域206的移动效率(Mh/Lh和Mv/Lv)可以被任意地设置为任何值。
在一些实施例中，比率Mh/Lh可以等于比率Mv/Lv。这意味着针对使用所指定的第一区域206输入的输入，水平移动效率与垂直移动效率相同。在其他实施例中，比率Mh/Lh可以高于比率Mv/Lv。这意味着针对使用所指定的第一区域206输入的输入，水平移动效率高于垂直移动效率。这允许用户50通过移动穿过所指定的第一区域206中的较少水平空间(与垂直空间的相比)来覆盖图像显示设备101的显示屏幕中的更多水平空间。在另外的实施例中，比率Mh/Lh可以小于比率Mv/Lv。这意味着针对使用所指定的第一区域206输入的输入，水平移动效率低于垂直移动效率。这允许用户50通过移动穿过所指定的第一区域206中的较少垂直空间(与水平空间的相比)来覆盖图像显示设备101的显示屏幕中的更多垂直空间。
在一些实施例中，Mh/Lh可以基于图像显示设备101的屏幕的宽度，并且Mv/Lv可以基于图像显示设备101的屏幕的高度。因此，Mh/Lh和Mv/Lv可以基于图像显示设备101的屏幕的纵横比或形状。例如，如果图像显示设备101的屏幕具有4：3的纵横比(宽度与高度比)，则Mh/Lh可以是Mv/Lv的1.33倍。当对具有正方形形状的所指定的第一区域206应用这些移动效率时，例如，与一个单位的垂直移动相比，用户输入的一个单位的水平移动将导致在图像显示设备101中显示的对象移动1.33倍。因此，即使所指定的第一区域206(在该示例中具有正方形形状)可以不对应于图像显示设备101的屏幕的形状(在示例中具有4：3的纵横比)，但是可以选择或确定所指定的第一区域206的移动效率，使得用户50可以使用所指定的第一区域206来水平地和垂直地覆盖所有空间。
在另外的实施例中，所指定的第一区域206的水平移动效率和/或垂直移动效率可以是可变的。特别地，所指定的第一区域206的水平移动效率和/或垂直移动效率可以是所指定的第一区域206内的输入位置的函数，和/或图像显示设备101的屏幕中的光标/指针位置的函数。例如，当在第一区域206处生成的输入对应于视场的中心或第一区域206的中心时，水平移动效率可以具有第一值，并且当在第一区域206处生成的输入对应于在视场的外围处或在第一区域206的外围处的位置时，可以具有第二值(高于第一值)。当他/她的手指接近第一区域206的左/右边缘或视场时，这个特征可能是期望的。滚动速度可能看起来更快，因为光标“移动得更多地”穿过内容。在其他实施例中，第二值可以低于第一值。
在本文描述的一个或多个实施例中，第一区域206的水平移动效率和/或垂直移动效率可以是预定的、可以由处理单元204确定、和/或可以是由装置200的用户50可配置的。
返回到图6，在一些实施例中，处理单元204还可以可选地被配置为将屏幕202的第二区域240指定为第一按钮242。在所示示例中，第一按钮242是“主页”按钮。在其他实施例中，第一按钮242可以是用于执行其他类型的功能的其他类型的按钮。
此外，处理单元204可以可选地被配置为将屏幕的第三区域250指定为第二按钮252。在所示示例中，第二按钮252是“切换”按钮。切换按钮可以允许用户执行选择功能，和/或改变光标或指针的功能。在其他实施例中，第二按钮252可以是用于执行其他类型的功能的其他类型的按钮。
此外，处理单元204可以可选地被配置为将屏幕的第四区域260指定为第三按钮262。在所示示例中，第三按钮262是“缓冲”按钮。缓冲按钮是取决于装置200的软件/操作系统的多功能按钮。在一些情况下，缓冲按钮可以允许用户50控制音量、打开页面、改变放大率等。在其他实施例中，第三按钮262可以是用于执行其他类型的功能的其他类型的按钮。
在其他实施例中，处理单元204可将屏幕的多于三个区域指定为相应输入区域(例如，用于接收手指移动输入的板(pad)区域、按钮、控件等)。
此外，在一些实施例中，装置200的任何控制可以是可操作的用于为图像显示设备101生成输入。例如，在一些实施例中，可以利用装置200的音量控制来控制图像显示设备101的扬声器。在一个实施方式中，处理单元204被配置为检测装置200处的音量控制的致动。响应于检测到的致动，处理单元204然后提供对应的控制信号(例如，音量上升信号、音量降低信号、静音等)以发送到图像显示设备101。控制信号的发送可以无线地或通过线缆来实现。然后，图像显示设备101根据由装置200提供的控制信号操作其扬声器。
此外，如图6所示，在一些实施例中，处理单元204可以提供允许用户50捕获由图像显示设备101的屏幕呈现的图像的“图像捕获”按钮274。图像可以包括由图像显示设备101的屏幕显示的内容，和/或通过图像显示设备101的屏幕观看到的周围环境中的内容。在一种实现方式中，处理单元204被配置为检测“图像捕获”按钮274的按压，并且作为响应，生成控制信号(用于发送到图像显示设备101)以使得图像显示设备101执行截屏功能，来捕获由图像显示设备101显示的内容的截屏。替换地或附加地，处理单元204可以生成控制信号以使图像显示设备101操作其相机以拍摄由相机观看到的环境的图片。所显示的内容的图像和环境的图像可以由处理单元204和/或处理单元130组合以形成合成图像。在一些情况下，“图像捕获”按钮274还可以被按压以捕获由装置200显示的内容的图像。由装置200显示的图像可以是人工生成的图形和/或由装置200的相机捕获的相机图像。例如，处理单元204可以检测到“图像捕获”按钮274的按压，并且作为响应，执行截屏功能以捕获由装置200显示的内容的截屏。此外，在其他实施例中，“图像捕获”按钮274可以用于捕获视频。例如，可以按压“图像捕获”按钮274并保持一定的持续时间。处理单元204检测到对“图像捕获”按钮274存在长保持，并且操作装置200的相机以开始记录视频。用户50可以再次对“图像捕获”按钮274长保持以停止视频的记录。因此，只要处理单元204检测到对“图像捕获”按钮274存在第二长保持，那么处理单元204操作相机以停止视频的记录。应注意，可在其他实施例中采用用于使用装置200生成视频的其他技术，并且“图像捕获”按钮274仅为可用于生成视频的控制的示例。
在一个或多个实施例中，由装置200捕获的图像或视频可以由装置200发送到网络(例如，云网络)以用于存储。在这样的情况下，图像显示设备101可以从网络(例如，云网络)取得所存储的图像或视频以在其屏幕上显示。替代地，由装置200捕获的图像或视频可由短距离网络(例如，蓝牙网络、Wi-Fi等)发送到图像显示设备101。此外，在一些实施例中，装置200可被配置为从网络获得媒体内容(例如，照片、图片、视频等)。例如，另一用户可以将媒体内容上传到云网络，并且用户50可以通过经由与装置200和/或图像显示设备101相关联的账户访问云网络来获得这样的媒体内容。
在一些实施例中，当用户50正在使用屏幕202的所指定的第一区域206(模拟触摸板区域)时，按钮242、252、262被禁用。这可以具有防止用户50无意地触摸和激活这些按钮中的任何的益处。在其他实施例中，当用户50正在使用屏幕202的所指定的第一区域206时，按钮242、252、262中的一个或多个不被禁用，从而允许用户50使用第一指定区域206(模拟触摸板区域)和按钮242、252、262中的任何来执行同时的手指动作。
如图6所示，处理单元204还可以可选地被配置为将屏幕202的另一区域270指定为键盘激活按钮272，并且其中处理单元204被配置为响应于用户50触摸屏幕202中键盘激活按钮272所位于的所指定的第二区域270而操作屏幕202以显示键盘274(图9A)。图9B示出了可由屏幕202显示的键盘274的另一示例。所显示的键盘274允许用户50输入文本、数字、符号、表情、消息等。
返回到图6，处理单元204被配置为执行手势识别以辨别在指定区域206、240、250、260中的任何或组合上执行的手指动作。在一个实施方式中，装置200包括缓冲器，并且当用户50使用在指定区域上执行的手指动作来输进输入时，装置200生成与屏幕202上的触摸位置相对应的触摸输入数据。处理单元204被配置为将触摸输入数据添加到缓冲器，并且使用被存储在缓冲器中的输入数据来执行手势识别。在一些实施例中，输入数据可以包括表示所指定的第一区域206中的相应触摸位置的位置数据。输入数据还可以包括表示相应位置被用户50触摸的相应时间的相应定时数据。如果用户50触摸按钮242、252、262中的任何，则生成的对应输入数据可以包括按钮被触摸的标识、触摸动作的定时以及按钮被触摸的持续时间。
在所示出的实施例中，处理单元204被配置为使用输入数据执行手势识别以辨识针对所执行手势的对应命令。例如，如果处理单元204从输入数据确定用户50正在进行滑动动作，则处理单元204然后可以将“移动”辨别为与用户的手指动作相对应的命令。作为另一示例，如果处理单元204从输入数据确定用户50正在进行收缩动作，则处理单元204然后可以将“尺寸减小”辨别为与手指动作相对应的命令。
应当注意，处理单元204不限于检测上述手势或手指动作，并且处理单元204可以检测用户50的其他手指动作。通过非限制性示例，处理单元204可以被配置为检测一个手指滑动(例如、上/下滑动(图10A))、左/右滑动(图10B)、两个手指滑动、一个手指触摸移动(图11A)、两个手指触摸移动(图11B)、两个手指收缩(图12A)、两个手指扩张(图12B)、两个手指径向移动(图13)、长触摸保持(图14)、轻击(图15)、双击等。在一个实施方式中，处理单元204被配置为基于用户的手指与屏幕202接触的持续时间来区分长保持动作与轻击动作。例如，如果触摸持续时间为0.7秒或更少，则处理单元204可以确定手指动作是轻击动作。另一方面，如果触摸持续时间是1秒或更多，则处理单元204可以确定手指动作是长保持动作。此外，处理单元204可以检测使用屏幕202的其他指定区域执行的手指动作，其他指定区域诸如“主页”按钮所处的区域、“触发”按钮所处的区域、以及“缓冲”按钮所处的区域。在一些实施方式中，本文所述的“主页”、“触发”和“缓冲”按钮中的一个或多个中的每一个的功能可以对应于美国专利申请No.15/965,702中描述的“主页”、“触发”和“缓冲”按钮中的一个或多个中的每一个的功能，其中通过引用的方式将其整体并入本文。类似地，在一些示例中，本文描述的触摸板的功能可以对应于在美国专利申请No.15/965,702中描述的功能，其中通过引用的方式将其整体并入本文。如此，装置200可以用作专用输入控制器的足够的替代。图16A示出了手指动作(例如，长保持、轻敲等)的示例，该动作可在“触发”按钮上执行且可由处理单元204检测到。此外，处理单元204可被配置为检测在屏幕202的不同指定区域上执行的手指动作的组合。例如，如图16B所示，用户50可以长保持“触发”按钮，并且在这样做时，也可以使用屏幕202的第一指定区域206来执行触摸移动。处理单元204被配置为同时检测这两个手指动作，并且可以将它们视为用于图像显示设备101的组合输入。例如，处理单元204可以确定上述手指动作的组合是创建用于移动所选择的对象的命令。然后，处理单元204可将此命令信号发送到图像显示设备以移动所选择的对象。处理单元204被配置为生成针对在屏幕202中的一个或多个指定区域上执行的上述不同手指动作或手指动作组合的对应命令。
在一些实施例中，当用户50在屏幕202的指定区域上执行某个手指动作时，用户50的手指可能无意地离开屏幕2022。为了解决这种情况，处理单元204可以被配置为，在接收到超过预定阈值数量的连续样本之后确定某个手指动作(例如，滑动动作等)已经结束，该样本指示用户50未触摸屏幕202上的任何位置。例如，处理单元204可以在确定这样的滑动动作已经结束之前等待，直到它已经接收到三个(或其他数量的)连续空样本。在该示例中，处理单元204可以接收一系列的触摸输入样本，随后是两个连续的空样本(例如，由于用户的手指无意地未触摸屏幕202)，随后是一系列触摸输入样本。在这样的情况下，处理单元204仍将处理整个样本序列，就好像它是一个连续滑动动作的一部分。这允许用户50校正他/她的动作并完成手指动作，而不需要用户重新执行先前执行的动作。上述特征是有利的，因为它们有助于滤除噪声并增加对测量或感测误差的系统稳健性。
在一些实施例中，处理单元204被配置为将所识别的命令发送到图像显示设备101(例如，发送到处理模块130)。处理模块130然后基于由处理单元204确定的所接收的命令来确定要向用户50显示什么内容以供观看。在一些情况下，相同的命令可以导致对由图像显示设备101显示的内容的不同影响，这取决于用户50正在使用的特定应用和/或用户50正在观看的特定内容。例如，如果用户50正在观看允许用户50浏览不同的对象页面的页面，则“移动”命令可以导致不同的对象页面的滚动。另一方面，如果用户50处于允许对象移动的应用中，则“移动”命令可以导致对象从一个位置移动到另一位置。
如以上实施例所示，装置200是有利的，并且在若干方面改进了头戴式图像显示设备的技术领域。首先，装置200可以用作备份输入设备(用于头戴式图像显示设备)，使得如果头戴式图像显示设备的专用输入控制器不可用(例如，如果专用输入控制器丢失、损坏、耗尽电池等)，则装置200可以替代地由用户50使用以输入用于头戴式图像显示设备的输入。图像显示设备的许多用户无论何时进入都已经携带智能电话。因此实现装置200作为使用智能电话的输入控制器将增加用户具有用于图像显示设备的输入控制器的机会。该装置还可以用作图像显示设备的主要或唯一输入设备，使得图像显示设备可能不需要与专用输入控制器一起。
如所提及的，图像显示设备的许多用户无论何时进入都已经携带智能电话或其他类型的移动设备。因此实现装置200作为使用智能电话或任何其他类型的移动设备的输入控制器将改善图像显示设备的便携性和移动性，因为用户可在任何地方使用图像显示设备101(即使没有用于图像显示设备101的专用输入控制器)，只要用户具有移动设备即可。备份和补充输入支持也可以通过装置200来实现，因为大多数用户无论何时进入都已经携带移动设备。
装置200可以用作输入文本的主设备，或者替代地，可以用作用于输入文本的专用输入控制器的替代。当用户通过头戴式图像显示设备的透明部分观看装置的屏幕时，通过装置的触摸屏输入文本比在用户使用专用输入控制器输入文本时在图像显示设备的观看屏幕上显示键盘更方便和高效。虽然已经知道智能电话来实现键盘，但是在为头戴式图像显示设备提供输入的上下文中使用智能电话来实现键盘的概念被认为是新颖的和非直观的。这是因为这样的解决方案将要求头戴式图像显示设备101的用户50通过图像显示设备101的显示屏观看装置200的屏幕202(其中显示了键盘)。因此，该解决方案将要求用户将聚焦从图像显示设备101的显示屏移动到装置200的屏幕202(其通过图像显示设备101的显示屏是可见)。然而，相信尽管存在视觉聚焦的移位，但是在一些情况下，在装置200上被实现作为图像显示设备101的输入设备的触摸屏键盘对于一些用户而言可能更舒适。
此外，在其中使用用户的蜂窝电话(例如，智能电话)实现装置200的实施例中，装置200还可以促进数字图像和照片以及其他媒体内容在用户的电话与图像显示设备101之间的传送。例如，由图像显示设备101的相机拍摄的图片可以被传送到用户的装置200，并且由装置200的相机拍摄的图片可以被传送到图像显示设备101。提供内容和由用户针对头戴式图像显示设备的控制输入两者的装置被认为是唯一的。
此外，在一些实施例中，本文描述的装置200允许头戴式图像显示设备的用户通过诸如因特网、蓝牙网络等网络访问应用商店和内容。由于大多数智能电话已经具有用于多种类型的网络连接(例如，Wi-Fi连接、蓝牙连接、到蜂窝塔的连接等)的多个网络接口，使用智能电话(或其他类型的便携式网络设备)实现装置200将具有允许用户通过不同类型的连接从多个源获得媒体内容和其他信息的益处。例如，被实现为用于图像显示设备101的输入设备的装置200还可以访问用于获得可与图像显示设备101一起使用的应用的应用商店。作为另一示例，被实现为用于图像显示设备101的输入设备的装置200还可以网页(Web)、从另一移动设备(例如，通过电子邮件、发短信、空投等)获得媒体内容。在一些实施例中，装置200还可以允许用户50控制用于图像显示设备101的账户设置，并且通过在装置200的屏幕202上显示的用户界面来管理图像显示设备101。
此外，在一些实施例中，即使当头戴式图像显示设备101未被用户50穿戴时，本文描述的装置200也可以从网络(例如，因特网)接收通知(用于图像显示设备101)。例如，图像显示设备101可以向装置200推送不同的通知。通知的推送可以由图像显示设备101直接执行，或者通过另一网络设备(诸如云网络中的组件)间接地执行。通过非限制性示例，由装置200接收的通知可以是日历通知、广告通知、社交媒体通知、关于图像显示设备101的操作的操作通知(例如、电池状态、存储水平、更新通知等)、或前述的任何组合。此外，在一些实施例中，与图像显示设备101通信的第三方可向图像显示设备101提供通知。在这样的情况下，图像显示设备101可以将通知转发到装置200，使得即使用户50不佩戴图像显示设备101，用户50也可以看到通知。通知特征是有利的，因为它允许诸如日历管理的功能更加实用，并且可以由用户经由装置200接收用于图像显示设备101的及时提醒和实时更新。
感觉反馈
在一些实施例中，处理单元204可以可选地被配置为响应于用户50的手指动作而在装置200中操作反馈组件。这样的特征是有利的，因为其允许用户50知道他/她的手指正在到达或越过第一区域206的边界。具体地，当用户50正在观看由图像显示设备101显示的内容时，用户50可能未正在观看装置200。如此，用户50可能不会在视觉上注意到他/她的手指已经移出第一区域206(已经被指定以接收手指动作输入)的边界。反馈特征解决了该技术问题，并且通过经由反馈来通知图像显示系统100的用户50他/她即将越过、已到达或已越过所指定的第一区域206的边界，来提供图像显示系统100的技术改进。反馈可以是振动(触觉反馈)的形式，其可以包括一个或多个机械脉冲。替代地或附加地，反馈可以包括音频反馈。
如图17所示，在一些实施例中，第一区域206可以具有边界280，并且处理单元204可以被配置为当用户50的手指正越过、到达、或移动到在距边界280预定距离282内的位置时操作反馈组件。在一个实现方式中，第一指定区域206具有四个边界280的正方形或矩形形状。在这样的情况下，处理单元204可被配置为在用户50的手指越过、到达或移动到在距第一指定区域206的四个边界280中的任一者的规定距离内的位置时，操作反馈组件。反馈组件可包括触觉反馈组件、扬声器、能够生成反馈信号(例如，用于由图像显示设备101显示的视觉信号)的其他类型的组件中的任何或前述的任意组合。因此，如在本说明书中所使用的，术语“反馈组件”可以包括用于提供一个或多个感觉反馈的一个或多个组件。类似地，如在本说明书中所使用的，术语“反馈”可以包括一个或多个不同类型的反馈。
作为另一示例，第一区域206可以具有至少部分地围绕参考位置的一个或多个边界280。例如，第一区域206可以具有围绕参考位置(例如，中心)的正方形或矩形形状，或者可以具有围绕参考位置(例如，中心)的圆形形状。在这样的情况下，处理单元204可被配置为响应于用户50的手指到达距参考位置的规定距离而在装置200中操作反馈组件。
此外，在一些实施例中，处理单元204可以被配置为基于用户50的一个或多个手指相对于第一区域206之间的不同的相应空间关系，来在装置200中操作反馈组件以生成不同类型的反馈。这允许用户50知道他/她的手指到达所指定的第一区域206的一个或多个边界280的程度。在一个示例中，不同的相应空间关系可以是一个或多个手指中的一个手指、或两个手指之间的点到达距所指定的第一区域206的边界280不同的相应距离282。在另一示例中，不同的相应空间关系可以是(1)用户的一个或多个手指中的一个手指、或两个手指之间的点与(2)位于所指定的第一区域206内的参考位置之间的不同距离(超过阈值)。
在一个示例中，不同类型的反馈可以包括具有第一幅度的第一触觉脉冲以及具有不同于第一幅度的第二幅度的第二触觉脉冲。在这样的情况下，当用户的手指移动得更靠近所指定的第一区域206的边界280(或者移动得远离被一个或多个边界280围绕的参考位置)时，触觉脉冲的幅度将增加。
在另一示例中，不同类型的反馈包括第一数量的触觉脉冲、以及不同于第一数量的第二数量的触觉脉冲。在这样的情况下，当用户的手指移动得更靠近所指定的第一区域206的边界280(或者移动得远离被一个或多个边界280围绕的参考位置)时，触觉脉冲的数量将增加。
在另一示例中，不同类型的反馈包括具有第一频率的第一系列触觉脉冲、以及具有不同于第一频率的第二频率的第二系列触觉脉冲。在这样的情况下，当用户的手指移动得更靠近所指定的第一区域206的边界280(或者移动得远离被一个或多个边界280围绕的参考位置)时，触觉脉冲的频率将增加。
在另一示例中，不同类型的反馈可以包括具有第一音调的第一音频信号和具有第二音调的第二音频信号。
在又一示例中，不同类型的反馈可以包括第一数量的音频信号和第二数量的音频信号，其中第一数量不同于第二数量。
在另一示例中，不同类型的反馈可以包括第一音频消息和不同于第一音频消息的第二音频消息。
在其他实施例中，处理单元204可以基于用户的手指到达所指定的第一区域206的不同边界280来操作反馈组件以生成不同类型的反馈。例如，所指定的第一区域206可以具有第一边界280(例如，左边界或右边界)和第二边界280(例如，顶边界或底边界)。在这样的情况下，处理单元204可以被配置为当用户的一个或多个手指越过、到达或移动到在距第一边界的规定距离内的位置时，操作反馈组件以生成第一类型的反馈；并且可以被配置为当用户的一个或多个手指越过、到达或移动到在距第二边界的规定距离内的位置时，操作反馈组件以生成第二类型的反馈。这样的特征可能是期望的，因为它允许用户50知道他/她的手指正在接近哪个边界280而不观看装置200。
此外，在其他实施例中，处理单元204可以被配置为基于用户的手指的滑动方向来操作反馈组件。例如，假设所指定的第一区域206具有顶边界、底边界、左边界和左边界的矩形形状。如果用户50向上滑动他/她的手指，则可能到达的边界280将是顶边界。在这样的情况下，处理单元204然后可以操作反馈组件以生成反馈类型，以通知用户50用户的手指到达顶边界。
在一些实施例中，可能期望确保仅在以下情况下提供反馈：对第一区域206的边界280之外(或接近其)的位置的触摸是由用户50使用所指定的第一区域206导致的。例如，如果用户50触摸所指定的第一区域206之外的位置，并且触摸动作不是从第一区域206内开始的连续滑动动作的一部分，则处理单元204可以不操作反馈组件来提供任何反馈。另一方面，如果在所指定的第一区域206之外的位置(或者在距所指定的第一区域206的规定距离内的外置)的触摸是从所指定的第一区域206内开始的滑动动作的一部分，则处理单元204可以操作反馈组件以提供反馈。
图18示出了用于提供考虑以上两种场景的反馈的算法或方法300。首先，处理单元204确定是否存在指示接收到用户50的触摸输入的输入信号(项目302)。输入信号可以是由于用户50触摸装置200的触敏区域中的任何位置而生成。如果没有这样的输入信号，则处理单元204然后清除标记(项304)。在所示实施例中，标记用于跟踪用户50是否已经通过触摸所指定的第一区域206内的位置来发起手指动作。如果用户已经发起这样的动作，则将设置标记。如果不是，则标记将被清除。在清除标记之后，该方法循环回到项目302，使得处理单元204继续确定用户50是否已经触摸了装置200的触敏区域(例如，在所指定的第一区域206外部和内部的区域)的任何部分。
如果处理单元204确定存在指示接收到用户50的触摸输入的输入信号，则处理单元204然后确定触摸位置是否位于屏幕202的所指定的第一区域206内(项目306)。如果触摸位置位于所指定的第一区域206内，则处理单元204设置该标记以指示已经发生了涉及用户50触摸所指定的第一区域206中的位置的手指动作(项目308)。处理单元204还将触摸输入数据添加到缓冲器(项目310)，并且使用被存储在缓冲器中的输入数据来执行手势识别(项目312)。如所讨论的，缓冲器被配置为存储由用户50在所指定的第一区域206和/或其他指定的区域上执行手指动作所生成的输入数据。在一些实施例中，在项目312中，处理单元204使用输入数据执行手势识别以辨别针对所执行的手势的对应命令(手指动作)。处理单元204还生成或辨别针对在屏幕202的一个或多个指定区域上执行的所检测到的手指动作的对应命令。在一些实施例中，处理单元204被配置为将命令发送到图像显示设备101(例如，发送到处理模块130)。然后，处理模块130基于由装置200提供的所接收到的命令来确定要向用户50显示什么内容以供观看。
返回到图18，另一方面，如果处理单元204在项目306中确定被触摸的位置位于所指定的第一区域206之外，则处理单元204然后确定是否在先前设置了标记(项目316)。如果先前没有设置标记，则意味着当前被触摸的位置不是从所指定的第一区域206内的位置发起的手指动作的一部分(例如，当前被触摸的位置可能已由用户50轻敲、抓取位于所指定的第一区域206之外的位置等导致)。在这样的情况下，处理单元204不操作反馈组件，并且没有反馈被提供给用户50。然后该方法循环回到项目302，使得处理单元204可以继续确定用户50是否已经触摸了装置200的触敏区域(例如，在所指定的第一区域206外部和内部的区域)的任何部分。
另一方面，如果处理单元204在项目316中确定先前设置了标记，这意味着当前被触摸的位置(其位于所指定的第一区域206之外或者位于距所指定的第一区域206的边界280的规定距离282内)是从第一区域206内发起的手指动作的轨迹的一部分。在这样的情况下，处理单元204然后操作反馈组件以提供反馈(项目318)。只要已提供了反馈，处理单元就可以刷新缓冲器，该缓冲器存储从用户50触摸所指定的第一区域206生成的输入数据(项目314)。缓冲器的刷新意味着由于用户50触摸所指定的第一区域206而导致的先前输入数据被删除，并且由于用户的手指已到达或超过所指定的第一区域206的边界280，因此没有命令被识别和生成。
基于手指生成的输入信号和/或传感器信号的内容的变化
如上所述，屏幕202中的所指定的第一区域206(其像触摸板一样起作用)以及其他指定的区域(像区域240、250、260)允许视频显示设备101的用户50为视频显示设备101提供各种手指生成的输入。装置200的处理单元204被配置为生成电子信号(由手指生成的输入导致的)，用于引起由图像显示设备101显示的内容的变化。在一些情况下，电子信号可以表示手指动作的标识。可替换地或附加地，电子信号可以表示由处理单元204基于使用指定的区域206、240、250、260(如参照图10-16描述的那些、以及图18的项目312和314描述的那些)生成的手指动作输入的识别来确定的命令或命令的标识。在一些实施例中，装置200被配置为经由有线连接将此电子信号发送到图像显示设备101。在其他实施例中，装置200可以使用无线通信模块将电子信号转换成无线形式，用于到图像显示设备101的无线发送。视频显示设备101的处理模块130从装置200接收信号，并且基于该信号改变用于由显示子系统110显示的内容。
通过非限制性示例的方式，内容的变化可以包括内容的尺寸的变化、内容的位置的变化、内容的形状的变化、内容的颜色的变化、内容中的信息的替换、内容中的信息量的增加或减少、或前述的任何组合。在一些情况下，由手指生成的输入(使用所指定的第一区域206生成的)引起的内容的变化可以是光标或指针的移动。在其他情况下，由手指生成的输入引起的内容的变化可以是对由图像显示设备101显示的项目的选择到另一项目的另一选择的变化。在其他情况下，由手指生成的输入引起的内容的变化可以是对象(例如，照片、计算机生成的图像、卡通等)跨图像显示设备101的显示器的移动，其中移动可以发生在用户50的观看平面内(例如，在X-Y平面中)、或者沿着用户50的观看深度(例如，沿着Z轴)发生。此外，在一些情况下，内容的尺寸的变化可以是由图像显示设备101显示的对象(例如，照片、计算机生成的图像、卡通等)的尺寸的变化。
应注意，由处理单元204检测到的手指动作可由处理单元204使用以确定各种不同的命令(电子信号的示例)，并且处理单元204可以(无线地或通过有线连接)将此类命令发送到图像显示设备101，以允许图像显示设备101基于命令改变正显示的内容。通过非限制性示例，从检测到的触摸移动(如图11A中所示)确定的命令可以由图像显示设备101处理以对准元素、控制光标的移动、在图像显示设备101的观看屏幕的平面内导航等；从检测到的向上或向下滑动(如图10A中所示)确定的命令可以由图像显示设备101处理以在简单网格和列表布局中滚动内容；从检测到的左或右滑动(如图10B所示)确定的命令可由图像显示设备101处理以将下一页、不同部分等移动以到当前观看帧以供图像显示设备101显示；从两个手指触摸和滚动动作(如图11B中所示)确定的命令可以由图像显示设备101处理以提供由图像显示设备101显示的内容的惯性滚动(即，如果两手指触摸缓慢移动，则页面缓慢且精确地滚动，并且如果两手指触摸以快速轻扫移动，则页面闪烁)；从收缩动作(如图12A所示)或扩张动作(如图12B所示)确定的命令可以由图像显示设备101处理以改变由图像显示设备101显示的对象的尺寸；从在所指定的第一区域206中检测到的长保持(如图14所示)确定的命令可由图像显示设备101处理以打开菜单、打开浏览器、打开应用等，用于由图像显示设备101显示；从在所指定的第一区域206中检测到的轻击动作(如图15中所示)或从“触发”按钮上的轻击动作(如图16B所示)确定的命令可由图像显示设备101处理，以打开附加功能菜单，用于由图像显示设备101显示；等等。由处理单元204生成的命令引起的上述功能仅是示例。在其他实施例中，上文所描述的相同检测到的手指动作可用于生成用于执行与所描述的示例不同的其他功能的其他不同命令。
此外，在一些实施例中，可以将从检测到的手指动作的序列确定的命令序列从处理单元204发送到图像显示设备101，以允许用户50对由图像显示设备101显示的内容执行各种任务。例如，可以由处理单元204提供命令序列以用于对象和内容提取的3D放置。在一种实现方式中，用户50长保持“触发按钮”以抓取由图像显示设备101显示的对象，然后使用第一指定区域206执行触摸移动以移动被抓取的对象，然后释放“触发按钮”以将对象放置在期望的位置。在一些实施例中，只要按压“触发”按钮，就抓取对象，并且只要释放“触发”按钮就放下该对象。在这样的情况下，用户50可以使用一只手来按压“触发”按钮，而另一只手用于移动被抓取的对象。替代地，在抓取对象之后，用户可以释放“触发”按钮，并且对象将仍然保持被抓取。在这样的情况下，用户可以使用同一只手来移动被抓取的对象。在期望地放置被抓取的对象之后，用户然后可以轻击或长保持“触发”按钮以释放被抓取的对象。3D放置特征可以允许用户50移动由图像显示设备101显示的任何对象。例如，用户50可以使用上述特征来在用于合成幻灯片、移动网页滑块等的应用中拖放图像。在一些实施例中，当对象被抓取时，用户50可以使用所指定的第一区域206和/或头部姿势来移动被抓取的对象、可以使用所指定的第一区域206来旋转被抓取的对象(使用类似于图13中所示的两个手指径向移动)、以及可以使用所指定的第一区域206来缩放被抓取的对象(使用类似于图12A/12B中所示的收缩或扩张动作)。
作为另一示例，处理单元204可以检测用户50的某个滑动动作，并且作为响应，提供用于允许用户50输入文本(例如，英语字母、其他语言的字母或字符、数字、标点符号、特殊字符、符号、表情符号、文本图形等)的文本框。该滑动类型特征可以为用户50提供快速且方便的方式来输入文本和其他信息。
在一些实施例中，除了使用在指定区域206上执行的手指动作生成的输入信号之外，装置200的处理单元204还可以获得与装置200的取向相关联的传感器信号，并且使用输入信号和传感器信号的组合来引起由图像显示设备101显示的内容的变化。具体地，处理单元204可以基于输入信号和传感器信号的组合来确定命令，并且可以将这样的命令发送到图像显示设备101。图像显示设备101然后处理命令并且基于命令改变内容。替代地，处理单元204可以确定用于输入信号的第一命令和用于传感器信号的第二命令，并且可以将两个命令发送到图像显示设备101。图像显示设备101然后处理命令并且基于这两个命令来改变内容。
例如，在一些实施例中，装置200还包括用于感测装置200的取向的取向传感器。取向传感器可以是惯性测量单元(IMU)或其他类型的取向传感器中的任何。在此类情况下，处理单元204可被配置为基于(1)手指生成的输入信号和(2)装置的所感测的取向两者来生成电子信号，以使由图像显示设备101显示的内容改变。
在一些情况下，手指生成的输入信号可以与用户50的收缩或扩张动作相关联。在这样的情况下，装置处理单元204可以被配置为基于(1)与收缩或扩张动作相关联的输入信号和(2)装置200的所感测的取向来生成电子信号，以使由图像显示设备101显示的内容改变。例如，处理单元204可以被配置为：(1)在装置200处于第一取向时，如果由装置200感测到收缩或扩张动作，则生成电子信号，以使内容在第一平面中缩小和扩展；以及(2)在装置200处于与第一取向不同的第二取向时，如果由装置200感测到收缩或扩张动作，则生成电子信号，以使内容在第二平面中缩小和扩展，第二平面不同于第一平面。在一些实施例中，当装置200的主轴与水平平面形成小于45°、或更优选地小于30°的角度时，装置200可以被认为具有第一取向。此外，当装置200的主轴与垂直平面形成小于45°、或更优选地小于30°的角度时，装置200可以被认为具有第二取向。
此外，由于装置处于第一取向而使内容在其中缩小或扩展的第一平面可以垂直于由于装置处于第二取向而使内容在其中缩小或扩展的第二平面。例如，第一平面可以是虚拟三维环境中的Y-Z平面，并且第二平面包括虚拟三维环境中的X-Y平面。
在其他实施例中，代替用户50的收缩或扩张动作，输入信号可以由其他类型的手指生成的动作生成。例如，输入信号可以由用户50执行的滑动动作引起。在这样的情况下，处理单元204可以被配置为基于(1)与滑动动作相关联的输入信号和(2)装置200的所感测的取向来生成电子信号，以使由图像显示设备101显示的内容改变。
例如，处理单元204可以被配置为：(1)在装置200处于第一取向时，如果由装置200感测到收缩或扩张动作，则生成电子信号，以使内容在第一平面中移动；以及(2)在装置200处于与第一取向不同的第二取向时，如果由装置200感测到收缩或扩张动作，则生成电子信号，以使内容在第二平面中移动，第二平面不同于第一平面。在一些实施例中，当装置200的主轴与水平平面形成小于45°、或更优选地小于30°的角度时，装置200可以被认为具有第一取向。此外，当装置200的主轴与垂直平面形成小于45°、或更优选地小于30°的角度时，装置200可以被认为具有第二取向。
此外，由于装置处于第一取向而使内容在其中移动的第一平面可以垂直于由于装置处于第二取向而使内容在其中移动的第二平面。例如，第一平面可以是虚拟三维环境中的Y-Z平面，并且第二平面包括虚拟三维环境中的X-Y平面。
在一些实施例中，内容处于虚拟三维环境中，并且处理单元204被配置为当装置200的取向大致平行于水平平面(例如，形成从水平平面±30°的角度)时，当由装置200感测到滑动动作时，生成电子信号，以通过将由图像显示设备101显示的内容移动得更靠近或远离用户50来使内容改变。处理单元204还被配置为当装置200的取向大致垂直于水平平面(例如，形成从垂直平面±30°的角度)，当由装置200感测到滑动动作时，生成电子信号，以使由图像显示设备101显示的内容在三维环境中的垂直平面中移动。
在一些实施例中，处理单元204被配置为基于装置200的所感测的取向来生成电子信号，以使内容在一个或多个方向上扩展。例如，如果装置200处于第一取向(例如，直立取向)，则电子信号可以是在与装置200的第一取向对应的第一方向上扩展内容的命令。如果装置200处于第二取向(例如，面朝上取向)，则电子信号可以是在与装置200的第二取向对应的第二方向上扩展内容的命令。
此外，在一些实施例中，处理单元204被配置为基于装置200的所感测的取向来生成电子信号以使内容移动或旋转。
此外，在一些实施例中，装置200还包括用于感测装置200的移动的移动传感器，其中处理单元204被配置为基于装置200的所感测的移动来生成电子信号，以使由图像显示设备101显示的内容改变(例如，移动)。移动传感器可以包括加速计、或者可以检测移动和/或移动方向的任何其他组件。
图19A和19B示出了上述特征中的一些的示例。具体地，图19A示出了当装置处于面朝上取向时在图6的装置上执行的手指动作的示例，以及关于所显示的内容的对应效果的示例。图19B示出了当装置处于直立取向时在图6的装置上执行的手指动作的示例，以及关于所显示的内容的对应效果的示例。如图19A所示，当装置由用户50以面朝上取向保持时，用户50可以执行(1)在装置200的屏幕202中所指定的第一区域206上的两指径向移动400a以使由图像显示设备101显示的对象402绕Y轴旋转，(2)在装置200的屏幕202中所指定的第一区域206上的垂直滑动移动400b以使对象402沿着Z轴远离移动，以及(3)在装置200的屏幕202中所指定的第一区域206上的扩张移动400c以使对象402沿Z轴的尺寸增加。另一方面，如图19B所示，当装置由用户50以直立取向保持时，用户50可以执行(1)在装置200的屏幕202中所指定的第一区域206上的两指径向移动410a以使由图像显示设备101显示的对象402绕Z轴旋转，(2)在装置200的屏幕202中所指定的第一区域206上的垂直滑动移动410b以使对象402沿着Y轴向上(或向下)移动，以及(3)在装置200的屏幕202中所指定的第一区域206上的扩张移动410c以使对象402沿Y轴的尺寸增加。因此，取决于装置200的取向，相同的手指动作将实现对由图像显示设备101显示的内容的不同影响。
在一些实施例中，处理单元204可以被配置为检测手指动作输入和/或取向传感器信号的六个不同场景，并且生成相应的控制信号以使由图像显示设备101显示的对象分别以六个不同的自由度移动。例如，基于手指动作输入和/或取向传感器信号，由图像显示设备101显示的对象可以沿着X轴平移、沿着Y轴平移、沿着Z轴平移、围绕X轴旋转、围绕Y轴旋转、以及围绕Z轴旋转。
在一些实施例中，由装置200的处理单元204生成的电子信号还可以使图像显示设备101显示触摸提示，使得观看图像显示设备101的屏幕的用户50可以看到什么手指动作正被处理单元204检测到。例如，如果用户50正在执行屏幕202的第一指定区域206上的两手指触摸移动，以惯性移动由图像显示设备101显示的对象，则由处理单元204基于对两手指触摸移动的检测而生成的电子信号可以被发送到图像显示设备101，图像显示设备101然后显示图形(触摸提示)以通知用户50他/她正在执行两指触摸移动。相同的特征可以应用于其他类型的检测到的手指动作。因此，图像显示设备101可以显示不同的手指动作指示符，用于向用户50通知已经由装置200检测到不同的相应手指动作。
应注意，在一个或多个实施例中，本文中所描述的任何特征可由装置200的处理单元204和/或图像显示设备101的处理单元130执行。因此，在本文中被描述为由装置200的处理单元204执行的一个或多个特征可替代地由图像显示设备101的处理单元130执行、或由装置200的处理单元204与图像显示设备101的处理单元130的组合执行。类似地，在本文中被描述为由图像显示设备101的处理单元130执行的一个或多个特征可替代地由装置200的处理单元204执行、或由装置200的处理单元204与图像显示设备101的处理单元130的组合执行。
手势切换
在一些实施例中，图像显示设备101可以包括用于检测用户50的手的手势的相机，并且图像显示设备101的处理单元130可以解释检测到的手势，以生成用于操作图像显示设备101的对应控制信号。在一些实施例中，由用户50在所指定的第一区域206上执行的手势可以与由图像显示设备101的相机检测到的手势组合，以实现期望的操作。例如，在一些实施例中，装置200可以在其屏幕上显示内容，并且用户50可以在装置200的屏幕上执行收缩动作以提取所显示的内容。处理单元204检测使用装置200执行的收缩动作，并将其解释为控制信号以提取内容。然后，用户50可以在图像显示设备101的相机的视场中执行扩张动作。图像显示设备101检测扩张动作，并且将其解释为控制信号，以将内容放置在由图像显示设备101的屏幕呈现的(或通过其可观看到的)某个位置。因此，由装置200执行的手势检测可与由图像显示设备101执行的手势检测组合，以对由装置200显示的内容和/或由图像显示设备101显示的内容进行操作。
在另一示例中，图像显示设备101可以在其屏幕上显示内容，并且用户50可以在图像显示设备101的相机的前方执行收缩动作以提取所显示的内容。图像显示设备101的处理单元130检测由相机捕获的收缩动作，并将其解释为控制信号以提取内容。然后，用户50可以在装置200上执行扩张动作。装置200检测扩张动作并且将其解释为控制信号，以将内容放置在由装置200的屏幕呈现的某个位置。
此外，在一些实施例中，通过选择装置200处的内容并且将该内容移动(例如，通过触摸移动、滑动等)到装置200的显示区域的边缘，可将有装置200显示的内容移动到图像显示设备101的“环境”。当处理单元204检测到内容被移动到显示器的边缘时，处理单元204然后确定该内容将被移动到图像显示设备101的显示屏。装置200然后发送控制信号以使内容将被图像显示设备101显示。在内容已被从装置200的屏幕“移动”到图像显示设备101的屏幕之后，用户50然后可以通过使用装置200(例如，在所指定的第一区域206上操作以移动内容、重新调整内容的尺寸等)来)和/或使用手部手势来对内容执行另外的操作，用于由图像显示设备101的相机检测。
在一些实施例中，可以执行内容的从装置200的屏幕到图像显示设备101的屏幕(或反之亦然)的“移动”以提供时间连续性。例如，只要内容在装置200的屏幕上消失，图像显示设备101的处理单元130就可以立即生成并提供内容的图像以供图像显示设备101的屏幕显示。在其他实施例中，可以执行内容的从装置200的屏幕到图像显示设备101的屏幕(或反之亦然)的“移动”而不需要时间连续性。例如，内容在装置200的屏幕上消失之后，可以存在用于提供内容的图像以供图像显示设备101的屏幕显示的时间滞后。
此外，在一些实施例中，可以执行内容的从装置200的屏幕到图像显示设备101的屏幕(或反之亦然)的“移动”以提供空间连续性。例如，如果装置200的屏幕上的内容被移动到显示器的右边缘，以用于将内容移动到图像显示设备101的屏幕，则只要内容被移出装置200的屏幕，图像显示设备101就可以立即在图像显示设备101的屏幕的左边缘旁边显示内容。类似地，作为另一示例，如果图像显示设备101的屏幕上的内容被移动到显示器的右边缘，以用于将内容移动到装置200的屏幕，则只要内容被移出图像显示设备101的屏幕，装置200就可以立即在装置200的屏幕的左边缘旁边显示内容。
在其他实施例中，可以执行内容的从装置200的屏幕到图像显示设备101的屏幕(或反之亦然)的“移动”而不需要空间连续性。例如，在装置200的屏幕上的内容移出屏幕之后，内容可以总是出现在图像显示设备101的屏幕上的预定位置(例如，中心)处。
在使用的一个示例中，可以实现上述特征以允许用户50处理扑克游戏中的牌。例如，用户50可以使用装置200执行滑动动作以分派扑克牌。扑克牌可以移出装置200的屏幕，并且可以出现在图像显示设备101的屏幕上(或者在另一用户正在使用的另一图像显示设备的屏幕上，其中另一图像显示设备可以经由诸如因特网、Wi-Fi等的网络与图像显示设备101通信)。
此外，在一些实施例中，用于检测用户手势的图像显示设备101的相机可以用于在用户50正在装置200上执行手指动作输入时观看用户的手。在这样的情况下，图像显示设备101的处理单元130可以检测用户50的手指动作，并且验证由装置200检测到的手指手势的检测。
此外，在一些实施例中，图像显示设备101被配置为检测用户50是否正在使用装置200。如果用户50正在使用装置200来输进输入，则图像显示设备101可以禁用其手势检测相机。替代地，在一些示例中，如果用户50正在使用装置200来输进输入，则图像显示设备101可保持其相机启用且简单地避免对由相机捕获的图像执行一个或多个手势检测过程。只要用户50将他/她的手指抬离装置200的屏幕，图像显示设备101就可以激活姿势检测相机以允许相机接管姿势检测功能。在一个实施方式中，图像显示设备101的处理单元130被配置为，只要装置200正在接收由用户50的手指动作生成的输入，就禁用图像显示设备101的手势检测相机。处理单元130可以被配置为，只要用户50将他/她的手指抬离装置200的屏幕，就从装置200接收信号。响应于这样的信号，处理单元130然后激活图像显示设备101的手势检测相机，以允许由相机检测到的手势被用作图像显示设备101的输入。
由处理单元和/或处理单元中的应用执行的方法
图20示出了根据一些实施例的方法500。方法500可以由处理单元204和/或装置200的处理单元204中的应用来执行。方法500包括：指定装置200的屏幕202中的第一区域206以感测图像显示设备101的用户50的手指动作，其中图像显示设备101被配置为由用户头戴，并且装置200不同于图像显示设备101(项目502)。图像显示设备101可以是图1-4中所示的图像显示设备101中的任一个。方法500还包括：基于由装置101的屏幕202的所指定的第一区域206感测到的用户的手指动作来生成电子信号，以引起由图像显示设备101显示的内容的变化(项目504)。
在一些实施例中，电子信号可以是由处理单元204或由处理单元204中的应用基于手势识别来确定的命令。电子信号可由装置200发送到图像显示设备101的处理单元130，该处理单元130然后基于电子信号改变内容。替代地，如果装置200参与提供用于由图像显示设备101显示的内容，则处理单元204可基于其提供的电子信号来改变正被显示的内容。因此，电子信号可以直接或间接地引起由图像显示设备101显示的内容的变化。
可选地，在方法500中，屏幕202具有触敏区域210，并且其中所指定的第一区域206小于触敏区域210的总面积。
可选地，方法500还可以包括：忽略由用户50使用并非所指定的第一区域206的一部分并且并非所指定的按钮的一部分的触敏区域210中的一部分生成的输入。
可选地，方法500还可以包括响应于用户50的手指动作来生成控制信号以操作反馈组件。
可选地，在方法500中，第一区域具有边界，并且其中用户50的手指动作包括用户的手指越过、到达或移动到在距边界的规定距离内的位置。
可选地，在方法500中，第一区域206具有至少部分地围绕参考位置的一个或多个边界，并且其中，控制信号用于响应于用户50的手指到达距参考位置的规定距离而操作反馈组件。
可选地，方法500还包括基于用户50的一个或多个手指相对于第一区域206之间的不同的相应空间关系来生成不同的控制信号以操作反馈组件以生成不同的相应类型的反馈。
可选地，在方法500中，不同类型的反馈包括具有第一幅度的第一触觉脉冲，以及具有不同于第一幅度的第二幅度的第二触觉脉冲。
可选地，在方法500中，不同类型的反馈包括第一数量的触觉脉冲，以及不同于第一数量的第二数量的触觉脉冲。
可选地，在方法500中，不同类型的反馈包括具有第一频率的第一系列触觉脉冲，以及具有不同于第一频率的第二频率的第二系列触觉脉冲。
可选地，在方法500中，不同的相应空间关系包括(1)用户的一个或多个手指中的一个手指、或两个手指之间的点与(2)所指定的第一区域206内的参考位置之间的不同距离。
可选地，在方法500中，参考位置包括所指定的第一区域206的中心。
可选地，在方法500中，不同的距离超过阈值。
可选地，在方法500中，不同的相应空间关系包括一个或多个手指中的一个手指、或者两个手指之间的点到达距所指定的第一区域206的边界的不同的相应距离。
可选地，在方法500中，所指定的第一区域206具有第一边界和第二边界；其中，不同类型的反馈至少包括第一类型的反馈和第二类型的反馈；其中，当用户50的一个或多个手指越过、到达或移动到在距第一边界的规定距离内的位置时，操作反馈组件以生成第一类型的反馈；以及其中当用户50的一个或多个手指越过、到达或移动到在距第二边界的规定距离内的位置时，操作反馈组件以生成第二类型的反馈。
可选地，在方法500中，第一边界包括所指定的第一区域206的左边界或右边界，以及第二边界包括所指定的第一区域206的顶边界或底边界。
可选地，在方法500中，用于操作反馈组件的控制信号基于滑动方向。
可选地，方法500还包括接收与用户50在屏幕202的所指定的第一区域210上执行的收缩或扩张动作相关联的输入信号。
可选地，在方法500中，电子信号用于响应于与收缩或扩张动作相关联的输入信号，以使由图像显示设备101显示的内容的尺寸改变。
可选地，方法500还包括从取向传感器获得装置200的取向，其中电子信号用于基于与收缩或扩张动作相关联的输入信号和装置200的取向来使由图像显示设备101显示的内容改变。
可选地，在方法500中，在装置200处于第一取向时，如果由所指定的第一区域206感测到收缩或扩张动作，则通过在第一平面中缩小和扩展内容来使内容改变；以及其中，在装置200处于第二取向时，如果由所指定的第一区域206感测到收缩或扩张动作，则通过在第二平面中缩小和扩展内容来使内容改变，第二平面不同于第一平面。
可选地，在方法500中，当装置200的主轴与水平平面形成小于45°的角度时，装置200具有第一取向。
可选地，在方法500中，当装置200的主轴与垂直平面形成小于45°的角度时，装置200具有第二取向。
可选地，在方法500中，第一平面包括虚拟三维环境中的Y-Z平面，以及第二平面包括虚拟三维环境中的X-Y平面。
可选地，在方法500中，第一平面和第二平面是相对于虚拟三维环境的。
可选地，在方法500中，第一平面垂直于第二平面。
可选地，方法500还包括接收与用户50在屏幕202中的所指定的第一区域206上执行的滑动动作相关联的输入信号。
可选地，在方法500中，电子信号用于响应于所感测的滑动动作来移动由图像显示设备101显示的内容。
可选地，方法500还包括从取向传感器获得装置200的取向，其中电子信号用于基于与滑动动作相关联的输入信号和装置200的取向来使由图像显示设备101显示的内容改变。
可选地，在方法500中，当装置200处于第一取向时，如果由所指定的第一区域206感测到滑动动作，则通过在第一平面中移动内容来使内容改变；以及其中，当装置200处于与第一取向不同的第二取向时，如果由所指定的第一区域206感测到滑动动作，则通过在第二平面中移动内容来使内容改变，第二平面不同于第一平面。
可选地，在方法500中，当装置200的主轴与水平平面形成小于45°的角度时，装置200具有第一取向。
可选地，在方法500中，当装置200的主轴与垂直平面形成小于45°的角度时，装置200具有第二取向。
可选地，在方法500中，第一平面包括虚拟三维环境中的Y-Z平面，以及第二平面包括虚拟三维环境中的X-Y平面。
可选地，在方法500中，第一平面和第二平面是相对于虚拟三维环境的。
可选地，在方法500中，第一平面垂直于第二平面。
可选地，在方法500中，内容处于虚拟三维环境中，并且其中控制信号用于当装置200的取向大致平行于水平平面时，当由所指定的第一区域206感测到滑动动作时，使图像显示设备101显示的内容移动得更靠近或远离用户。
可选地，在方法500中，内容处于虚拟三维环境中，并且其中控制信号用于当装置200的取向大致垂直于水平平面时，当由所指定的第一区域206感测到滑动动作时，使由图像显示设备101显示的内容在三维环境中的垂直平面中移动。
可选地，方法500还包括获得指示装置200的所感测的取向的传感器输入，其中电子信号用于基于指示装置200的所感测的取向的传感器输入来使由图像显示设备101显示的内容改变。
可选地，在方法500中，控制信号用于基于指示装置200的所感测的取向的传感器输入，通过使内容在一个或多个方向上扩展来使内容改变。
可选地，在方法500中，控制信号用于基于指示装置200的所感测的取向的传感器输入，通过使内容旋转来使内容改变。
可选地，在方法500中，控制信号用于基于指示装置200的所感测的取向的传感器输入，通过使内容移动来使内容改变。
可选地，方法500还包括获得指示装置200的所感测的移动的传感器输入，其中控制信号用于基于指示装置200的所感测的移动的传感器输入来使由图像显示设备101显示的内容改变。
可选地，在方法500中，电子信号用于基于指示装置200的所感测的移动的传感器输入，通过使内容移动来使内容改变。
可选地，在方法500中，装置200是手持装置。
可选地，手持装置包括蜂窝电话、智能电话、个人数字助理(PDA)或平板电脑。
可选地，在方法500中，当屏幕202的所指定的第一区域206正在感测用户50的手指动作时，屏幕202的所指定的第一区域206没有显示的对象。
可选地，方法500还包括操作屏幕202以在屏幕202的所指定的第一区域206中显示点的网格。
可选地，方法500还包括响应于用户50触摸屏幕202的所指定的第一区域206中显示点中的一个或多个点的一部分来改变点中的一个或多个点的特征。
可选地，方法500还包括将屏幕202的第二区域指定为第一按钮。
可选地，在方法500中，第一按钮是“主页”按钮。
可选地，方法500还包括将屏幕202的第三区域指定为第二按钮。
可选地，在方法500中，第二按钮是“切换”按钮。
可选地，方法500还包括将屏幕202的第四区域指定为第三按钮。
可选地，在方法500中，第三按钮是“缓冲”按钮。
可选地，方法500还包括：将屏幕202的第二区域指定为键盘激活按钮，并且响应于用户50触摸屏幕的所指定的第二区域，来操作屏幕202以显示键盘。
可选地，方法500还包括与图像显示设备101无线地通信。
可选地，方法500还包括经由电缆与图像显示设备101通信。
可选地，在方法500中，装置200包括存储指令的非暂时性介质，并且其中，基于该指令来执行指定屏幕202的第一区域206以用于感测用户50的手指动作的动作。
可选地，在方法500中，内容的变化包括内容的尺寸的变化、内容的位置的变化、内容的形状的变化、内容的颜色的变化、内容中的信息的替换、内容中的信息量的增加或减少、或前述的任何组合。
在一些实施例中，方法500还可以包括：检测手势或手指动作，诸如一个手指触摸移动、两个手指触摸移动、一个手指滑动、两个手指滑动、两个手指收缩、两个手指扩张、两个手指径向移动、轻击、双击、或前述的任何组合；确定用于相应的检测到的手势或手指动作的命令；以及将命令发送到图像显示设备。
此外，方法500中的一个或多个实施例、任何特征(例如、功能、项目、步骤等)可以由装置200的处理单元204和/或图像显示设备101的处理单元130执行。
专用处理系统
在一些实施例中，本文描述的方法500可以由执行应用的处理单元204或由应用来执行。应用可以包含一组指令。在一个实现方式中，可以提供具有存储用于应用的指令组的非暂时性介质的专用处理系统。由装置200的处理单元204执行指令将使处理单元204执行本文中所描述的特征。如图21所示，在一些实施例中，专用处理系统可以包括一个或多个服务器600。存储用于应用的指令610的非暂时性介质可以在服务器600中实现，服务器600被配置为提供一组指令610以通过网络(诸如通过因特网)下载到装置200。服务器600可以被配置为从装置200获得请求以下载该组指令610、处理请求、并且基于请求和/或请求的处理来提供该组指令610。
在一些实施例中，服务器600对请求的处理可以包括：验证装置200、验证装置200的用户50、确定装置200的品牌、确定装置200的型号、或前述的任何组合。
应当注意，服务器600是专用处理系统，因为它包含由装置的处理单元执行的以在真实世界中提供独特的有形效果的指令。由服务器600提供的特征提供如本文所述的图像显示设备和系统的技术的改进。
通过非限制性示例，由服务器600提供的指令610可以包括用于以下方面的指令：指定装置200的屏幕202的第一区域206以用于感测手指动作；将装置200的屏幕202的第二区域240指定为第一按钮；将屏幕202的第三区域250指定为第二按钮；将屏幕202的第四区域260指定为第三按钮；将屏幕202的另一区域270指定为键盘激活按钮；基于由装置的屏幕中的所指定的第一区域感测到的用户的手指动作来生成电子信号以引起由图像显示设备显示的内容的变化；忽略由用户使用并非所指定的第一区域的一部分并且并非所指定的按钮的一部分的触敏区域中的一部分生成的输入；响应于用户的手指动作而生成控制信号以操作反馈组件；响应于用户的手指到达距参考位置的规定距离而操作反馈组件；基于用户的一个或多个手指相对于第一区域之间的不同的相应空间关系来生成不同的控制信号以操作反馈组件，以生成不同的相应类型的反馈；当用户的一个或多个手指越过、到达或移动到在距第一边界的规定距离内的位置时，操作反馈组件以生成第一类型的反馈；当用户的一个或多个手指越过、到达或移动到在距第二边界的规定距离内的位置时，操作反馈组件以生成第二类型的反馈；基于滑动方向来操作反馈组件；响应于与收缩或扩张动作相关联的输入信号来生成电子信号，以使由图像显示设备显示的内容的尺寸改变；从取向传感器获得装置的取向；基于与收缩或扩张动作相关联的输入信号和装置的取向来生成电子信号，以使由图像显示设备显示的内容改变；响应于所感测的滑动动作，生成电子信号，以使由图像显示设备显示的内容移动；基于与滑动动作相关联的输入信号和装置的取向来生成电子信号，以使由图像显示设备显示的内容改变；当装置处于第一取向时，如果由所指定的第一区域感测到滑动动作，则生成电子信号以在第一平面中移动内容；当装置处于与第一取向不同的第二取向时，如果由所指定的第一区域感测到滑动动作，则生成电子信号以在第二平面中移动内容，第二平面不同于第一平面；当装置的取向大致平行于水平平面时，当由所指定的第一区域感测到滑动动作时，生成电子信号，以使由图像显示设备显示的内容移动得更靠近或远离用户；当装置的取向大致垂直于水平平面时，当由所指定的第一区域感测到滑动动作时，生成电子信号，以使由图像显示设备显示的内容在三维环境中的垂直平面中移动；基于指示装置的所感测的取向的传感器输入来生成电子信号，以使由图像显示设备显示的内容改变；基于指示装置的所感测的取向的传感器输入来生成电子信号，以通过使内容在一个或多个方向上扩展来使内容改变；基于指示装置的所感测的取向的传感器输入来生成电子信号，以通过使内容旋转来使内容改变；基于指示装置的所感测的取向的传感器输入来生成电子信号，以通过使内容移动来使内容改变；获得指示装置的所感测的移动的传感器输入；基于指示装置的所感测的移动的传感器输入来生成电子信号，以使由图像显示设备显示的内容改变；基于指示装置的所感测的移动的传感器输入来生成电子信号，以通过使内容移动来使内容改变；当屏幕的所指定的第一区域正在感测用户的手指动作时，关闭屏幕的所指定的第一区域中的像素，使得所指定的第一区域没有显示的对象；操作装置的屏幕以在屏幕的所指定的第一区域中显示点的网格；响应于用户触摸屏幕的所指定的第一区域中的显示点中的一个或多个点的部分，改变点中的一个或多个点的特征、或前述中的任何的任意组合。
此外，由服务器600提供的指令610可以包括用于以下方面的指令：检测手势或手指动作，诸如一个手指触摸移动、两个手指触摸移动、一个手指滑动、两个手指滑动、两个手指收缩、两个手指扩张、两个手指径向移动、轻击、双击、或前述的任何组合；确定用于相应的检测到的手势或手指动作的命令；将命令发送到图像显示设备。
在其他实施例中，装置200还可以被认为是专用处理系统。具体地，装置200是专用处理系统，因为它包含被存储在其非暂时性介质中的指令，该指令用于由处理单元204执行以在真实世界中提供独特的有形效果。由装置200提供的特征(作为处理单元204执行指令的结果)提供图像显示设备和系统的技术的改进，如本文所描述的。
图22是示出可用于实现本文描述的各种特征的专用处理系统1600的实施例的框图。例如，在一些实施例中，处理系统1600可用于实现一个或多个服务器600。此外，在其他实施例中，处理系统1600可用于实现装置200。
处理系统1600包括用于通信信息的总线1602或其他通信机制以及与总线1602耦接以用于处理信息的处理器1604。处理器系统1600还包括耦接到总线1602以用于存储将由处理器1604执行的信息和指令的主存储器1606，诸如随机存取存储器(RAM)或其他动态储存设备。主存储器1606还可以用于在要由处理器1604执行的指令被执行的期间存储暂时变量或其他中间信息。处理器系统1600还包括耦接到总线1602以用于存储用于处理器1604的静态信息和指令的只读存储器(ROM)1608或其他静态储存设备。数据储存设备1610，诸如磁盘、固态盘或光盘，被提供并耦接到总线1602，以用于存储信息和指令。
处理器系统1600可以经由总线1602耦接到显示器1612，诸如屏幕，用于向用户显示信息。在一些情况下，如果处理系统1600是包括触摸屏的装置的一部分，则显示器1612可以是触摸屏。包括字母数字和其他键的输入设备1614耦接到总线1602，用于向处理器1604通信信息和命令选择。另一类型的用户输入设备是光标控制1616，诸如鼠标、轨迹球或光标方向键，用于向处理器1604通信方向信息和命令选择以及用于控制显示器1612上的光标移动。该输入设备通常具有两个轴上的两个自由度，第一轴(例如，x)和第二轴(例如，y)，其允许设备指定平面中的位置。在一些情况下，如果处理系统1600是包括触摸屏的装置的一部分，则输入设备1614和光标控制可以是触摸屏。
在一些实施例中，处理器系统1600可用于执行本文中所描述的各种功能。根据一些实施例，这样的使用由处理器系统1600响应于处理器1604执行被包含在主存储器1606中的一个或多个指令的一个或多个序列来提供。本领域技术人员将知道如何基于本文描述的功能和方法来准备这样的指令。这样的指令可从另一处理器可读介质(例如，储存设备1610)读取到主存储器1606中。被包含在主存储器1606中的指令序列的执行使处理器1604执行本文所述的过程步骤。还可以采用多处理布置中的一个或多个处理器来执行被包含在主存储器1606中的指令序列。在替代实施例中，可以使用硬连线电路代替软件指令或与软件指令组合来实现本文所述的各种实施例。因此，实施例不限于硬件电路和软件的任何特定组合
本文所使用的术语“处理器可读介质”是指参与向处理器1604提供指令以供执行的任何介质。这样的介质可以采取许多形式，包括但不限于非易失性介质、易失性介质和发送介质。非易失性介质包括例如光盘、固态盘或磁盘，诸如储存设备1610。非易失性介质可以被认为是非暂时性介质的示例。易失性介质包括动态存储器，诸如主存储器1606。易失性介质可以被认为是非暂时性介质的示例。发送介质包括同轴电缆、铜布线和光纤，包括包含总线1602的布线。发送介质还可以采取声波或光波的形式，诸如在无线电波和红外数据通信期间生成的那些。
处理器可读介质的常见形式包括，例如，柔性盘、硬盘、磁带或任何其他磁介质、CD-ROM、任何其他光学介质、具有孔图案的任何其他物理介质、RAM、PROM和EPROM、FLASH-EPROM、固态盘或任何其他存储器芯片或盒、如下文所述的载波、或处理器可从其读取的任何其他介质。
各种形式的处理器可读介质可以涉及将一个或多个指令的一个或多个序列携带到处理器1604以供执行。例如，指令最初可以被携带在远程计算机的磁盘或固态盘上。远程计算机可以将指令加载到其动态存储器中并且通过网络(诸如因特网)发送指令。处理系统1600可以在网络线路上接收数据。总线1602将数据携带到主存储器1606，处理器1604从主存储器1606取得并执行指令。由主存储器1606接收的指令可以可选地在由处理器1604执行之前或之后存储在储存设备1610上。
处理系统1600还包括耦接到总线1602的通信接口1618。通信接口1618提供耦接到网络链接1620的双向数据通信，该网络链接1620被连接到本地网络1622。例如，通信接口1618可以是给兼容的局域网(LAN)提供数据通信连接的局域网(LAN)卡。无线连接也可以实现。在任何这样的实现方式中，通信接口1618发送和接收携带表示各种类型的信息的数据流的电、电磁或光信号。
网络链接1620通常通过一个或多个网络向其他设备提供数据通信。例如，网络链接1620可以提供通过本地网络1622到主机计算机1624或设备1626的连接。通过网络链接1620发送的数据流可以包括电、电磁或光信号。通过各种网络的信号和网络链接1620上的信号以及通过通信接口1618(其携带去往和来自处理系统1600的数据)的信号是发送信息的载波的示例性形式。处理系统1600可以通过网络、网络链接1620和通信接口1618发送消息和接收包括程序代码的数据。
应注意，本文中所描述的装置200不限于具有所描述的功能和特征，并且装置200可被配置为提供与图像显示设备101一起使用的其他特征，如上文所提及，在一些示例中，此类功能和特征中的一些或全部可至少部分地借助于在装置200上运行的应用(在本文中也称为“应用”)来提供。通过非限制性示例，装置200可以被配置为允许用户50：注册与图像显示设备101的使用相关联的账户；使用建立在帐户上的凭证登录到应用中；检索或重新设置账户的凭证；用户资料之间的切换；在设备之间自动同步用户账户数据；管理与图像显示设备101的使用相关联的账户；管理图像显示设备101的配置和使用；获得用于图像显示设备101的补充学习和支持功能；获得对图像显示设备101和/或装置200的故障排除的帮助；访问与账户相关联的隐私、安全和数据政策；访问应用商店以获得用于图像显示设备101和/或装置200的应用；执行针对应用的搜索查询；观看应用细节页面；观看订单或购买历史；接收推送通知(例如，应用更新等)；执行从本地设备的媒体提取；打开媒体文件(例如，照片、视频等)；选择单独的媒体文件以发送到图像显示设备101、选择要从图像显示设备101发送到装置200的单独的中间文件；接收关于图像显示设备101的使用的通知(例如，来自图像显示设备101的应用的通知)；从第三方开发者接收关于图像显示设备101的使用的通知；管理用于图像显示设备101的不同应用的智能电话通知设置；找到图像显示设备101或其他图像显示设备；获取图像显示设备101的电池状态；在装置200上镜像图像显示设备101(其中，通过由图像显示设备101的屏幕观看并由图像显示设备101的相机捕获的在图像显示设备101的屏幕上显示的内容和/或用户50周围的环境可以被发送到装置200以供装置200显示)；或者上述的任意组合。装置200的处理单元204可以被配置为执行指令以使装置200提供上述特征中的一个或多个。
以上已经阐述了本公开的示例性方面以及关于材料选择和制造的细节。有关本公开的其他细节，可以结合上述专利和公开以及本领域技术人员通常公知或理解的方式理解这些细节。就通常或逻辑上采用的附加动作而言，对于本公开基于方法的方面也是如此。
另外，尽管已经参考任选地结合各种特征的若干示例描述了本公开，但是本公开不限于关于本公开的每个变型所描述或指示的那些内容。可以在不脱离本公开的精神和范围的情况下，对所描述的本公开进行各种改变，并且可以替换等同物(无论是在本文中引用还是为了简洁起见而未包括)。另外，在提供一系列值的情况下，应理解的是，该范围的上限和下限之间的每个中间值，以及所述范围内的任何其他所述值或中间值都包含在本公开内。
而且，可以构想，所描述的公开变型的任何可选特征可以独立地，或者与本文描述的任何一个或多个特征组合地进行阐述或被要求保护。对单数项的引用包括存在多个相同项的可能性。更具体地说，如本文和与此相关联的权利要求中所使用的，单数形式“一”、“一个”、“所述”和“该”包括复数个指示物，除非另有具体说明。还应注意，可以起草任何权利要求以排除任何可选元素。因此，本声明旨在作为结合权利要求元素的叙述使用诸如“单独”、“仅”之类的排他性术语或使用“否定”限制的先行基础。
本公开的广度不限于所提供的示例和/或主题说明书，而是仅由与本公开相关联的权利要求语言的范围限制。
在前述说明书中，已经参考本公开的具体实施例对其进行了描述。然而，显而易见的是，在不脱离本公开的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。例如，参考过程动作的特定顺序来描述上述过程流程。然而，可以改变许多所描述的过程动作的顺序而不影响本公开的范围或操作。因此，说明书和附图应被视为说明性的而非限制性的。

Claims (26)

1.一种用于与被配置为由用户头戴的图像显示设备一起使用的装置，所述装置包括：
屏幕；以及
处理单元，其被配置为指定所述屏幕中的第一区域以感测所述用户的手指动作；
其中，所述处理单元被配置为基于由所述装置的所述屏幕的所指定的第一区域感测到的所述用户的所述手指动作，生成电子信号以引起由所述图像显示设备显示的内容的变化。
2.根据权利要求1所述的装置，其中，所述屏幕具有触敏区域，并且其中所指定的第一区域小于所述触敏区域的总面积。
3.根据权利要求1所述的装置，其中，所述处理单元还被配置为响应于所述用户的所述手指动作而操作反馈组件。
4.根据权利要求3所述的装置，其中，所述第一区域具有边界，并且其中所述用户的所述手指动作包括所述用户的手指越过、到达或移动到在距所述边界的规定距离内的位置。
5.根据权利要求3所述的装置，其中，所述处理单元被配置为基于所述用户的一个或多个手指相对于所述第一区域之间的不同的相应空间关系来操作所述反馈组件以生成不同类型的反馈。
6.根据权利要求5所述的装置，其中，所述不同的相应空间关系包括(1)所述用户的所述一个或多个手指中的一个手指、或者两个手指之间的点与(2)所指定的第一区域内的参考位置之间的不同距离。
7.根据权利要求5所述的装置，其中，所述不同的相应空间关系包括所述一个或多个手指中的一个手指、或者两个手指之间的点到达距所指定的第一区域的边界的不同相应距离。
8.根据权利要求5所述的装置，其中，所指定的第一区域具有第一边界和第二边界；
其中，所述不同类型的反馈至少包括第一类型的反馈和第二类型的反馈；
其中，所述处理单元被配置为当所述用户的一个或多个手指越过、到达或移动到在距所述第一边界的规定距离内的位置时，操作所述反馈组件以生成所述第一类型的反馈；以及
其中，所述处理单元被配置为当所述用户的一个或多个手指越过、到达或移动到在距所述第二边界的规定距离内的位置时，操作所述反馈组件以生成所述第二类型的反馈。
9.根据权利要求1所述的装置，其中，所述处理单元被配置为获得与在所述屏幕的所指定的第一区域上执行的收缩或扩张动作相关联的输入信号；以及
其中所述处理单元被配置为基于与所述收缩或扩张动作相关联的所述输入信号来生成所述电子信号，以使由所述图像显示设备显示的所述内容的尺寸改变。
10.根据权利要求9所述的装置，进一步包括用于感测所述装置的取向的取向传感器，其中所述处理单元还被配置为基于与所述收缩或扩张动作相关联的所述输入信号和所述装置的所感测的取向来生成所述电子信号，以使由所述图像显示设备显示的所述内容改变。
11.根据权利要求10所述的装置，其中，所述处理单元被配置为在所述装置处于第一取向时，如果由所述装置感测到所述收缩或扩张动作，则生成所述电子信号，以使所述内容在第一平面中缩小和扩展；以及
其中，所述处理单元被配置为在所述装置处于与所述第一取向不同的第二取向时，如果由所述装置感测到所述收缩或扩张动作，则生成所述电子信号，以使所述内容在第二平面中缩小和扩展，所述第二平面不同于所述第一平面。
12.根据权利要求11所述的装置，其中，当所述装置的主轴与水平平面形成小于45°的角度时，所述装置具有所述第一取向；以及
其中，当所述装置的主轴与垂直平面形成小于45°的角度时，所述装置具有所述第二取向。
13.根据权利要求1所述的装置，其中，所述处理单元被配置为获得与在所述屏幕的所指定的第一区域上执行的滑动动作相关联的输入信号。
14.根据权利要求13所述的装置，其中，所述处理单元被配置为响应于与所述滑动动作相关联的所述输入信号来生成所述电子信号，以通过移动所述内容而使所述内容改变。
15.根据权利要求13所述的装置，进一步包括用于感测所述装置的取向的取向传感器，其中所述处理单元被配置为基于与所述滑动动作相关联的所述输入信号和所述装置的所感测的取向来生成所述电子信号，以使由所述图像显示设备显示的所述内容改变。
16.根据权利要求15所述的装置，其中，所述处理单元被配置为在所述装置处于第一取向时，如果由所述装置感测到所述滑动动作，则生成所述电子信号，以使所述内容在第一平面中移动；以及
其中，所述处理单元被配置为在所述装置处于与所述第一取向不同的第二取向时，如果由所述装置感测到所述滑动动作，则生成所述电子信号，以使所述内容在第二平面中移动，所述第二平面不同于所述第一平面。
17.根据权利要求16所述的装置，其中，当所述装置的主轴与水平平面形成小于45°的角度时，所述装置具有所述第一取向；以及
其中，当所述装置的主轴与垂直平面形成小于45°的角度时，所述装置具有所述第二取向。
18.根据权利要求15所述的装置，其中，所述内容处于虚拟三维环境中，并且其中所述处理单元被配置为当所述装置的所述取向大致平行于水平平面时，当由所述装置感测到所述滑动动作时，生成所述电子信号，以通过将所述内容移动得更靠近或远离所述用户来使由所述图像显示设备显示的所述内容改变。
19.根据权利要求15所述的装置，其中，所述内容处于虚拟三维环境中，并且其中所述处理单元被配置为当所述装置的所述取向大致垂直于水平平面时，当由所述装置感测到所述滑动动作时，生成所述电子信号，以使由所述图像显示设备显示的所述内容在所述三维环境中的垂直平面中移动。
20.根据权利要求1所述的装置，进一步包括用于感测所述装置的取向的取向传感器，其中所述处理单元被配置为基于所述装置的所感测的取向来生成所述电子信号，(1)以使所述内容在一个或多个方向上扩展、(2)以使所述内容旋转、或(3)以使所述内容移动。
21.根据权利要求1所述的装置，其中，所述装置是手持装置。
22.根据权利要求1所述的装置，其中，所述处理单元还被配置为将所述屏幕的第二区域指定为第一按钮。
23.根据权利要求1所述的装置，其中，所述处理单元还被配置为将所述屏幕的第二区域指定为键盘激活按钮，并且其中所述处理单元被配置为响应于所述用户触摸所述屏幕的所指定的第二区域，操作所述屏幕以显示键盘。
24.根据权利要求1所述的装置，其中，所述内容的所述变化包括所述内容的尺寸的变化、所述内容的位置的变化、所述内容的形状的变化、所述内容的颜色的变化、所述内容中的信息的替换、所述内容中的信息量的增加或减少、或前述的任何组合。
25.一种方法，包括：
指定装置的屏幕中的第一区域以用于感测图像显示设备的用户的手指动作，其中所述图像显示设备被配置为由所述用户头戴，并且其中所述装置不同于所述图像显示设备；
基于由所述装置的所述屏幕的所指定的第一区域感测到的所述用户的所述手指动作来生成电子信号，以引起由所述图像显示设备显示的内容的变化。
26.一种产品，包括存储一组指令的非暂时性介质，所述指令的执行将使得执行一种方法，所述方法包括：
指定装置的屏幕中的第一区域以用于感测图像显示设备的用户的手指动作，其中所述图像显示设备被配置为由所述用户头戴，并且其中所述装置不同于所述图像显示设备；
基于由所述装置的所述屏幕的所指定的第一区域感测到的所述用户的所述手指动作来生成电子信号，以引起由所述图像显示设备显示的内容的变化。
CN201980054294.7A 2018-06-21 2019-06-21 用于为头戴式图像显示设备提供输入的方法和装置 Pending CN112585564A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862688108P 2018-06-21 2018-06-21
US62/688,108 2018-06-21
PCT/US2019/038462 WO2019246516A1 (en) 2018-06-21 2019-06-21 Methods and apparatuses for providing input for head-worn image display devices

Publications (1)

Publication Number Publication Date
CN112585564A true CN112585564A (zh) 2021-03-30

Family

ID=68981024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054294.7A Pending CN112585564A (zh) 2018-06-21 2019-06-21 用于为头戴式图像显示设备提供输入的方法和装置

Country Status (5)

Country Link
US (2) US20190391391A1 (zh)
EP (2) EP3811183B1 (zh)
JP (2) JP7382972B2 (zh)
CN (1) CN112585564A (zh)
WO (1) WO2019246516A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD936697S1 (en) * 2017-09-21 2021-11-23 Yuri Hosokuni Display screen with a graphical interface for an electronic game
USD891460S1 (en) 2018-06-21 2020-07-28 Magic Leap, Inc. Display panel or portion thereof with a transitional graphical user interface
USD878396S1 (en) 2018-06-21 2020-03-17 Magic Leap, Inc. Display panel or portion thereof with a graphical user interface
KR20210015489A (ko) * 2019-08-02 2021-02-10 삼성전자주식회사 휠 입력을 처리하는 전자 장치 및 이의 동작 방법
US11733789B1 (en) * 2019-09-30 2023-08-22 Snap Inc. Selectively activating a handheld device to control a user interface displayed by a wearable device
CN114201030A (zh) * 2020-09-16 2022-03-18 华为技术有限公司 设备交互方法、电子设备及交互系统
CN114387151A (zh) * 2020-10-21 2022-04-22 宏碁股份有限公司 3d显示系统与3d显示方法
CN114397996A (zh) * 2021-12-29 2022-04-26 杭州灵伴科技有限公司 交互提示方法、头戴式显示设备和计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293351A1 (en) * 2016-04-07 2017-10-12 Ariadne's Thread (Usa), Inc. (Dba Immerex) Head mounted display linked to a touch sensitive input device
US20170345218A1 (en) * 2015-01-23 2017-11-30 Leap Motion, Inc. Systems and method of interacting with a virtual object

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0601216L (sv) * 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
US9395816B2 (en) * 2013-02-28 2016-07-19 Lg Electronics Inc. Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same
US20140285352A1 (en) * 2013-03-20 2014-09-25 Lg Electronics Inc. Portable device and visual sensation detecting alarm control method thereof
WO2014185146A1 (ja) * 2013-05-15 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
KR102213212B1 (ko) 2014-01-02 2021-02-08 삼성전자주식회사 멀티윈도우 제어 방법 및 이를 지원하는 전자 장치
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP6548956B2 (ja) 2015-05-28 2019-07-24 株式会社コロプラ システム、方法、およびプログラム
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
JP6174646B2 (ja) 2015-09-24 2017-08-02 株式会社コロプラ 仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラム
JP6062085B1 (ja) 2015-12-25 2017-01-18 株式会社日本デジタル研究所 入力インターフェース制御システム、方法およびプログラム
US10275023B2 (en) * 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
KR20170126295A (ko) 2016-05-09 2017-11-17 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
KR102355455B1 (ko) * 2016-06-20 2022-01-24 매직 립, 인코포레이티드 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템
JP6630654B2 (ja) 2016-11-02 2020-01-15 株式会社リコー プログラム、方法、情報処理装置および映像表示システム
JP2017045472A (ja) 2016-11-11 2017-03-02 株式会社コロプラ タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法
US10768747B2 (en) * 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170345218A1 (en) * 2015-01-23 2017-11-30 Leap Motion, Inc. Systems and method of interacting with a virtual object
US20170293351A1 (en) * 2016-04-07 2017-10-12 Ariadne's Thread (Usa), Inc. (Dba Immerex) Head mounted display linked to a touch sensitive input device

Also Published As

Publication number Publication date
US20230273431A1 (en) 2023-08-31
US20190391391A1 (en) 2019-12-26
EP3811183A4 (en) 2021-08-04
EP4325438A2 (en) 2024-02-21
EP4325438A3 (en) 2024-04-10
JP7382972B2 (ja) 2023-11-17
EP3811183A1 (en) 2021-04-28
JP2024010181A (ja) 2024-01-23
WO2019246516A1 (en) 2019-12-26
JP2021527275A (ja) 2021-10-11
EP3811183B1 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
JP7382972B2 (ja) 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置
US11875013B2 (en) Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
AU2020356572B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR102369058B1 (ko) 사용자 인터페이스 카메라 효과들
KR20230025914A (ko) 음성 및 텍스트 캡션들을 사용한 증강 현실 경험들
RU2638004C2 (ru) Устройство обработки информации, способ управления отображением и программа
US9530232B2 (en) Augmented reality surface segmentation
WO2022056036A2 (en) Methods for manipulating objects in an environment
JP2024509722A (ja) エクステンデッドリアリティにおけるユーザ相互作用
US20150205358A1 (en) Electronic Device with Touchless User Interface
US20150074573A1 (en) Information display device, information display method and information display program
US11429246B2 (en) Device, method, and graphical user interface for manipulating 3D objects on a 2D screen
US20230106627A1 (en) Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments
CN111782053B (zh) 模型编辑方法、装置、设备及存储介质
US20240103681A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240152245A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces
WO2024064373A1 (en) Devices, methods, and graphical user interfaces for interacting with window controls in three-dimensional environments
CN117897680A (zh) 基于物理动作的增强现实通信交换
JP2015158747A (ja) 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、およびウェアラブル機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination