CN102272690A - 用于移动装置的用户接口 - Google Patents

用于移动装置的用户接口 Download PDF

Info

Publication number
CN102272690A
CN102272690A CN2009801540339A CN200980154033A CN102272690A CN 102272690 A CN102272690 A CN 102272690A CN 2009801540339 A CN2009801540339 A CN 2009801540339A CN 200980154033 A CN200980154033 A CN 200980154033A CN 102272690 A CN102272690 A CN 102272690A
Authority
CN
China
Prior art keywords
computing device
mobile computing
content
demonstration
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801540339A
Other languages
English (en)
Inventor
蔡明章
张钱仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102272690A publication Critical patent/CN102272690A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

一种适用于移动计算装置的移动用户接口使用现实空间中的装置位置/定向来选择所显示的内容的一部分。假定内容(例如，文档、文件或桌面)在虚拟空间中固定，其中所述移动用户接口好似通过相机或放大镜观看一样来显示所述内容的一部分。使用来自运动、距离或位置传感器的数据来确定所述装置相对于所述内容的相对位置/定向以选择供显示的所述部分。可通过使显示以所要部分为中心来选择内容元素，从而消除了对光标和指向装置(例如，鼠标或触摸屏)的需要。可通过远离或朝向用户移动所述装置来操纵放大率。可通过感测装置定向并在3-D虚拟空间中显示在显示器上方或下方的内容来实现3-D内容观看。

Description

用于移动装置的用户接口
本申请案主张2009年1月6日申请的题目为“用于移动装置的用户接口(UserInterface for Mobile Devices)”的第61/142,806号美国临时专利申请案的优先权权益，所述美国临时专利申请案的整个内容以引用的方式并入本文。
技术领域
本发明一般涉及计算机用户接口系统，且更特定来说，涉及用于移动计算装置的用户接口。
背景技术
个人电子装置(例如，手机、PDA、膝上型计算机、游戏装置)向用户提供不断增加的功能性和数据存储。为了使用户能够与应用程序和文件交互，个人电子装置通常配置有用户接口，其类似于为个人计算机开发的图形用户接口。举例来说，一些个人电子装置使用Windows CE
Figure BPA00001394913000011
其为由微软公司出售的Windows
Figure BPA00001394913000012
系列操作系统的一版本。此些图形用户接口系统假定计算装置在空间中固定，而内容(例如，图像、对象和文件)可在虚拟空间内移动。此图形用户接口系统通常包含用于相对于装置的显示器的“窗”来操纵内容的工具(例如，滚动条)。甚至最近发布的专门为新型个人电子装置开发的用户接口(例如，在Blackberry Storm
Figure BPA00001394913000013
上实施的用户接口)也假定装置在空间中固定，而内容可在虚拟空间中移动，且通过在触摸屏显示器上拖曳手指来实现内容相对于装置显示器的移动(“拖曳”)。虽然计算机用户熟悉此些用户接口，但其源自一般不移动的个人计算机损害了移动计算装置的功能性。
发明内容
各种方面提供用于提供尤其好地适用于移动计算装置的移动用户接口的方法和系统。在一个方面中，一种用于在移动计算装置上提供移动用户接口的方法包含：感测移动计算装置在现实空间中的移动；基于所述感测的移动而确定所述移动计算装置在现实空间中的位置改变；基于所述移动计算装置的所述确定的位置改变而确定被视为在虚拟空间中固定的内容的观看视角；以及基于所述确定的观看视角而产生所述内容的至少一部分的显示。所述方法可进一步包含接收用以选择所述内容的选择的信号；确定所述内容的位于所述显示的中心附近的部分；以及选择所述内容的位于所述显示的中心附近的所述部分。也可在所述产生的显示内提供选择辅助，以指示所述显示的所述中心和/或所述显示内的所述内容的将被选择的所述部分。可基于或依据所述内容而选择所述选择辅助的形式和大小，且所述选择辅助的所述形式可包含例如十字准线、圆、椭圆、框、增强亮度区、增强清晰度区和阴影区中的任一者。可由于按钮按下而接收到所述用以选择所述内容的选择的信号。所述方法可进一步涉及：在所述产生的显示内包含选择辅助，其中所述选择辅助指示所述显示内的所述内容的可被选择的部分；接收用以选择所述内容的选择的信号；确定所述内容的位于所述选择辅助内的所述部分；以及对所述内容的位于所述选择辅助内的所述部分执行动作。感测现实空间中的移动可包含从可为加速度计、距离测量传感器、倾斜传感器、相机和罗盘中的任一者或一者以上的传感器接收信号。所述方法可进一步包含确定所述移动计算装置与用户之间的距离；以及基于所述确定的距离而将一放大率应用于所述内容的所述显示的部分。所述方法可进一步包含感测所述移动计算装置的倾斜；以及基于所述感测的倾斜而在虚拟空间中重新定位所述内容。感测现实空间中的移动可涉及：从相机接收数字图像；将所述接收的数字图像的至少一部分与先前数字图像的至少一部分进行比较以识别连续图像的改变；以及基于所述连续图像的所述识别的改变而确定移动。确定被视为在虚拟空间中固定的所述内容的所述观看视角也可基于应用于所述移动计算装置的所述确定的位置改变的虚拟移动缩放因数。所述方法可进一步包含：当在图形用户接口模式中时接收用户接口模式选择输入(可呈按钮按下的形式)；基于在所述图形用户接口模式中所述内容的显示而在虚拟空间中固定所述内容；和实施如本文所述的移动用户接口模式；以及当在移动用户接口模式中时接收用户接口模式选择输入；在移动计算装置显示器中固定所述内容；和实施所述图形用户接口模式。
在另一方面中，一种移动计算装置包含：处理器或专用图形处理芯片；显示器，其耦合到所述处理器或专用图形处理芯片；以及传感器，其耦合到所述处理器或专用图形处理芯片，其中所述传感器可为加速度计、距离测量传感器、倾斜传感器、相机和罗盘中的任一者或一者以上。所述处理器或专用图形处理芯片以软件可执行指令配置以：从所述传感器接收信号；基于所述接收的传感器信号而确定所述移动计算装置在现实空间中的位置改变；基于所述移动计算装置的所述确定的位置改变而确定被视为在虚拟空间中固定的内容的观看视角；以及基于所述确定的观看视角而产生所述内容的至少一部分的显示上的图像。所述处理器或专用图形处理芯片可进一步经配置以：接收用以选择所述内容的选择的信号；确定所述内容的位于所述显示的中心附近的部分；以及选择所述内容的位于所述显示的中心附近的所述部分。也可在所述产生的显示内提供选择辅助，以指示所述显示的所述中心和/或所述显示内的所述内容的将被选择的所述部分。可基于或依据所述内容而选择所述选择辅助的形式和大小，且所述选择辅助的所述形式可包含例如十字准线、圆、椭圆、框、增强亮度区、增强清晰度区和阴影区中的任一者。所述用以选择所述内容的选择的信号可呈按钮按下的形式。所述处理器或专用图形处理芯片可进一步经配置以：在所述产生的显示内包含选择辅助，其中所述选择辅助指示所述显示内的所述内容的可被选择的部分；接收用以选择所述内容的选择的信号；确定所述内容的位于所述选择辅助内的所述部分；以及对所述内容的位于所述选择辅助内的所述部分执行动作。所述处理器或专用图形处理芯片可进一步经配置以从可为加速度计、距离测量传感器、倾斜传感器、相机和罗盘中的任一者或一者以上的一个或一个以上传感器接收信号。所述处理器或专用图形处理芯片可进一步经配置以确定所述移动计算装置与用户之间的距离；以及基于所述确定的距离而将一放大率应用于所述内容的所述显示的部分。所述处理器或专用图形处理芯片可进一步经配置以感测所述移动计算装置的倾斜，且基于所述感测的倾斜而在虚拟空间中重新定位所述内容。所述处理器或专用图形处理芯片可进一步经配置以：从相机接收数字图像；将所述接收的数字图像的至少一部分与先前数字图像的至少一部分进行比较以识别连续图像的改变；以及基于所述连续图像的所述识别的改变而确定移动。所述处理器或专用图形处理芯片可进一步经配置以使得确定被视为在虚拟空间中固定的所述内容的所述观看视角还基于应用于所述移动计算装置的所述确定的位置改变的虚拟移动缩放因数。所述处理器或专用图形处理芯片可进一步经配置以：当在图形用户接口模式中时接收用户接口模式选择输入(其可呈按钮按下的形式)；基于在所述图形用户接口模式中所述内容的显示而在虚拟空间中固定所述内容；和实施如本文描述的移动用户接口模式；以及当在所述移动用户接口模式中时接收用户接口模式选择输入；在移动计算装置显示器中固定所述内容；以及实施所述图形用户接口模式。
在另一方面中，一种移动计算装置包含：用于感测移动计算装置在现实空间中的移动的装置；用于基于所述感测的移动而确定所述移动计算装置在现实空间中的位置改变的装置；用于基于所述移动计算装置的所述确定的位置改变而确定被视为在虚拟空间中固定的内容的观看视角的装置；以及用于基于所述确定的观看视角而产生所述内容的至少一部分的显示的装置。所述移动计算装置可进一步包含：用于接收用以选择所述内容的选择的信号的装置；用于确定所述内容的位于所述显示的中心附近的部分的装置；以及用于选择所述内容的位于所述显示的中心附近的所述部分的装置。所述移动计算装置可进一步包含：用于在所述产生的显示内包含选择辅助以指示所述显示的所述中心和/或所述显示内的所述内容的将被选择的所述部分的装置。可基于或依据所述内容而选择所述选择辅助的形式和大小，且所述选择辅助的所述形式可包含例如十字准线、圆、椭圆、框、增强亮度区、增强清晰度区和阴影区中的任一者。可由于按钮按下而接收到用以选择所述内容的选择的信号。所述移动计算装置可进一步包含：用于在所述产生的显示内包含选择辅助的装置，其中所述选择辅助指示所述显示内的所述内容的可被选择的部分；用于接收用以选择所述内容的选择的信号的装置；用于确定所述内容的位于所述选择辅助内的所述部分的装置；以及用于对所述内容的位于所述选择辅助内的所述部分执行动作的装置。用于感测现实空间中的移动的装置可包含用于从以下各项中的任一者或一者以上接收信号的装置：用于测量加速度的装置；用于测量距离的装置；用于测量倾斜的装置；用于获得图像的装置；以及罗盘。所述移动计算装置可进一步包含：用于确定所述移动计算装置与用户之间的距离的装置；以及用于基于所述确定的距离而将一放大率应用于所述内容的所述显示的部分的装置。所述移动计算装置可进一步包含：用于感测所述移动计算装置的倾斜的装置；以及用于基于所述感测的倾斜而在虚拟空间中重新定位所述内容的装置。用于感测现实空间中的移动的装置可包含：用于从相机接收数字图像的装置；用于将所接收数字图像的至少一部分与先前数字图像的至少一部分进行比较以识别连续图像的改变的装置；以及用于基于所述连续图像的所述识别的改变而确定移动的装置。用于确定被视为在虚拟空间中固定的所述内容的所述观看视角的装置还可基于应用于所述移动计算装置的所述确定的位置改变的虚拟移动缩放因数而做出所述确定。所述移动计算装置可进一步包含：用于当在图形用户接口模式中时接收用户接口模式选择输入(可呈按钮按下的形式)的装置；用于基于在所述图形用户接口模式中所述内容的显示而在虚拟空间中固定所述内容的装置；和用于实施如本文描述的移动用户接口模式的装置；以及用于当在所述移动用户接口模式中时接收用户接口模式选择输入的装置；用于在移动计算装置显示器中固定所述内容的装置；和用于实施所述图形用户接口模式的装置。
在另一方面中，一种计算机程序产品包含计算机可读媒体，其包含：用于从可为加速度计、距离测量传感器、倾斜传感器、相机和罗盘中的任一者或一者以上的传感器接收信号的至少一个指令；用于基于所述接收的传感器信号而确定移动计算装置在现实空间中的位置改变的至少一个指令；用于基于所述移动计算装置的所述确定的位置改变而确定被视为在虚拟空间中固定的内容的观看视角的至少一个指令；以及用于基于所述确定的观看视角而产生所述内容的至少一部分的显示上的图像的至少一个指令。所述计算机可读媒体可进一步包含：用于接收用以选择所述内容的选择的信号的至少一个指令；用于确定所述内容的位于所述显示的中心附近的部分的至少一个指令；以及用于选择所述内容的位于所述显示的中心附近的所述部分的至少一个指令。所述计算机可读媒体可进一步包含：用于在所述产生的显示内包含选择辅助的至少一个指令，其中所述选择辅助指示所述显示的所述中心和/或所述显示内的所述内容的将被选择的所述部分。所述计算机可读媒体可进一步包含：用于依据位于所述显示的所述中心附近的所述内容而选择所述选择辅助的形式的至少一个指令，其中所述选择辅助的所述形式可为例如十字准线、圆、椭圆、框、增强亮度区、增强清晰度区和阴影区。所述计算机可读媒体可进一步包含用于由于按钮按下而接收所述用以选择所述内容的选择的信号的至少一个指令。所述计算机可读媒体可进一步包含：用于在所述产生的显示内包含选择辅助的至少一个指令，其中所述选择辅助指示所述显示内的所述内容的可被选择的部分；用于接收用以选择所述内容的选择的信号的至少一个指令；用于确定所述内容的位于所述选择辅助内的所述部分的至少一个指令；以及用于对所述内容的位于所述选择辅助内的所述部分执行动作的至少一个指令。所述计算机可读媒体可进一步包含：用于基于从所述传感器接收的所述信号而感测移动的至少一个指令。所述计算机可读媒体可进一步包含：用于确定所述移动计算装置与用户之间的距离的至少一个指令；以及用于基于所述确定的距离而将一放大率应用于所述内容的所述显示的部分的至少一个指令。所述计算机可读媒体可进一步包含：用于基于所述感测的倾斜而在虚拟空间中重新定位所述内容的至少一个指令。所述计算机可读媒体可进一步包含：用于从所述相机接收数字图像的至少一个指令；用于将所述接收的数字图像的至少一部分与先前数字图像的至少一部分进行比较以识别连续图像的改变的至少一个指令；以及用于基于所述连续图像的所述识别的改变而确定移动的至少一个指令。所述用于确定被视为在虚拟空间中固定的内容的观看视角的至少一个指令可包含用于进一步基于应用于所述移动计算装置的所述确定的位置改变的虚拟移动缩放因数而确定所述观看视角的至少一个指令。所述计算机可读媒体可进一步包含：用于当在图形用户接口模式中时接收用户接口模式选择输入的至少一个指令；用于基于在所述图形用户接口模式中所述内容的显示而在虚拟空间中固定所述内容的至少一个指令；以及用于实施移动用户接口模式的至少一个指令。所述计算机可读媒体可进一步包含：用于当在所述移动用户接口模式中时接收用户接口模式选择输入(可呈按钮按下的形式)的至少一个指令；用于在移动计算装置显示器中固定所述内容的至少一个指令；以及用于实施所述图形用户接口模式的至少一个指令。
附图说明
并入本文且构成本说明书的部分的附图说明本发明的示范性方面。连同上文给出的一般描述和下文给出的详细描述一起，附图用以阐释本发明的特征。
图1是说明用于个人计算机和移动计算装置的现有技术图形用户接口的基本操作的过程流程图。
图2是说明根据本发明的各种方面的用于移动计算装置的移动用户接口的基本操作中的一些基本操作的过程流程图。
图3是说明在虚拟空间中相对于现实空间中的移动计算装置而定位的文档的透视图。
图4是实例性图像文档的说明。
图5A和图5B是说明用于观看图4中所说明的实例性图像文档的移动用户接口的操作的移动计算装置的正视图。
图6是说明用于基于移动计算装置相对于用户的位置而控制图像大小或放大率的移动用户接口的操作的过程流程图。
图7A和图7B是说明提供图4中所说明的实例性图像文档的不同放大率的移动用户接口的操作的移动计算装置的正视图。
图8是说明用于个人计算机和移动计算装置的现有技术用户接口中用于选择动作的操作的过程流程图。
图9是说明在根据本发明的各种方面的用于移动计算装置的移动用户接口中选择动作的操作的过程流程图。
图10A到图10F是说明移动用户接口的显示内的实例性选择辅助的移动计算装置的正视图。
图11是说明用于感测移动且基于从加速度计传感器接收的信息而确定移动计算装置的相对位置改变的操作的过程流程图。
图12是说明用于感测移动且基于从距离测量传感器接收的信息而确定移动计算装置的相对位置改变的操作的过程流程图。
图13是说明用于基于从罗盘传感器接收的信息而确定移动计算装置的定向改变的操作的过程流程图。
图14是说明用于感测移动且基于从加速度计、距离测量和罗盘传感器接收的信息而确定移动计算装置的相对位置改变的操作的过程流程图。
图15是说明用于感测移动、确定移动计算装置的相对位置改变且基于从相机接收的信息而确定文档的将观看的部分的操作的过程流程图。
图16是说明包含常规图形用户接口和移动用户接口功能性两者的用户接口的操作的过程流程图。
图17是说明用于在虚拟空间中操纵文档且基于从一个或一个以上倾斜传感器接收的信息而确定文档的将在移动计算装置上观看的部分的操作的过程流程图。
图18是说明在虚拟空间中相对于现实空间中的移动计算装置而定位的三维文档的透视图。
图18和图19是根据本发明的各种方面的替代性移动计算装置配置的功能/组件框图。
图21是适合于与本发明的各种方面一起使用的实例性移动计算装置的组件框图。
图22是适合于与本发明的各种方面一起使用的实例性笔记本便携式计算装置的组件框图。
具体实施方式
将参看附图详细描述各种方面。只要可能，将在整个图式中使用相同的参考标号来指代相同或相似的部分。对特定实例和实施方案做出的参考是出于说明性目的，且无意限制本发明或权利要求书的范围。
如本文所使用，术语“移动装置”或“移动计算装置”指代以下各项中的任一者或全部：蜂窝式电话、个人数据助理(PDA)、掌上型计算机、上网本计算机、笔记本计算机、无线电子邮件接收器和蜂窝式电话接收器(例如，Blackberry
Figure BPA00001394913000071
和Treo装置)、具有多媒体因特网功能的蜂窝式电话，和包含可编程处理器或专用图形处理芯片、存储器和显示器的类似手持式电子装置。
如本文所使用，术语“用户接口”指代在计算机装置上操作的软件进程，其呈现一系列图像和菜单给用户且提供各种接口工具以接收用户输入，以用于与计算装置或计算装置上的内容交互。各种方面提供尤其适合于移动计算装置和便携式计算机(例如，笔记本计算机)的用户接口。为便于参考，在本文中或在图式中，各种方面可称为“移动用户接口”(图式中为“MUI”)以区分此些用户接口与可称为“图形用户接口”(图式中为“GUI”)的起初为固定计算装置(例如，Windows
Figure BPA00001394913000081
和Leopard
Figure BPA00001394913000082
)开发的传统用户接口。重要的是应注意，移动用户接口的各种实施方案可包含图形特征、工具或图标。因此，对“移动用户接口”对“图形用户接口”的参考无意要求或暗示根据各种方面的移动用户接口可不包含图形元件。
在为了在固定个人计算机(例如，桌上型计算机)上使用而开发的常规图形用户接口中，假定计算装置显示器在现实空间中固定，同时假定文档、文件或桌面可相对于装置在虚拟空间中移动。固定观看窗的假定对于历史上作为较大系统的个人计算机是适当的，其中CRT显示器通常固定到桌面。通过此固定显示器，在现实空间中(例如，在墙壁上)固定的窗上模型化图形用户接口。图1中说明常规图形用户接口的示范性处理操作。在常规图形用户接口的过程100内的框2处，确定内容相对于显示器的位置且因此确定文档、文件或桌面的在显示窗内可见的部分。在过程100中的框3处，确定显示窗内的光标的位置。在框4处随后使用此信息来产生包含光标的显示。在过程100中的框5处，来自例如键盘键、计算机鼠标或触摸板等指向装置的输入将信息提供到处理器或专用图形处理芯片以在显示内重新定位光标或选择打开的内容内的对象或元素。基于通过用户对指向装置的操纵和/或小键盘按压而控制的此些光标移动，在过程100中的框6处，处理器或专用图形处理芯片可接收关于文件相对于显示窗的移动的输入，例如滚动条的操纵。在过程100中的框8处，使用此些滚动条(或类似)输入的计算机处理器或专用图形处理芯片可相对于窗重新定位文件，之后通过返回到框2而重复过程100。
当今，个人手持式计算和通信装置具有桌上型计算机的大部分处理能力；然而其显示器大小和分辨率仍是基本约束。现代桌上型计算机监视器的大小范围通常在1440X900(WXGA+)分辨率下的17″到1680X 1050(WSXGA+)分辨率下的22″之间。相比而言，笔记本计算机显示器通常在1024X 768(XGA)下的10.2″(例如IBM/Lenono X61)到1440X 900(WXGA+)下的17″(例如，戴尔D630和惠普6910p)的范围内。手持式移动计算装置具有小得多的显示器，其通常大小为几英寸。以下表1中提供当前市场上的所选手持式计算装置的显示器大小和分辨率的列表。
表1-手持式装置显示器大小和分辨率
 型号   显示器大小   显示器分辨率   类型
 MWg Atom Life   2.7″   240X 320   QVGA
 HTC S630   2.4″   240X 320   QVGA
 LG-SGH100   2.2″   240X 320   QVGA
 诺基亚N80   2.1″   352X 416
  三星P300   1.8″   176X 220   QCIF+
  诺基亚5500   1.48″   208X 208
  诺基亚N800/N810   860X 480   WVGA
为了更好地将内容(例如，图片)配合到显示器大小或显示器分辨率，一些移动计算装置准许显示器以其纵向或横向定向来呈现内容。一些手持式移动计算装置响应于用户旋转装置而检测显示器定向，且改变内容定向格式以匹配于显示器定向。最近发布的移动计算装置(例如Blackberry Storm
Figure BPA00001394913000091
)具有内建的加速度计，其可感测装置定向的改变，从而使得处理器或专用图形处理芯片能够自动调整内容定向。虽然此效用可使内容较好地匹配于显示器的尺寸，但其不增加内容窗的大小。
为了使显示器大小的限制最小，可增加移动计算装置的大小以容纳较大的显示器；然而，只有计算装置不再是“手持式”或移动时才可采用此方法。增加显示器分辨率可通过使得能够在显示器内呈现更多内容而有所帮助；然而，即使在高清晰度显示器上也存在普通人眼可分辩的像素的大小和间隔的限制。
由于移动计算装置显示器的大小和分辨率存在实际限制，因此传统方法已允许文件内容比显示器的观看窗大得多，且提供可经操纵以相对于显示器移动文件内容的垂直和水平滚动条。最近，已出售允许文件内容比观看窗(即，显示器)大得多且使得用户能够通过在触摸屏显示器上拖曳触笔或手指而在观看窗内重新定位文件的移动计算装置，例如由捷讯有限公司(Research In Motion Ltd)出售的Blackberry Storm
Figure BPA00001394913000092
这些方法是将桌上型图形用户接口解决方案几乎直接移植到手持式计算环境。因此，在移动计算装置上采用的图形用户接口经受桌上型和手持式两个领域的限制，从而导致在小屏幕上如同桌面的用户体验。
大多数用户提供桌上型计算机使用体验熟悉了在移动计算装置上实施的已知图形用户接口；然而，此些解决方案未针对手持式计算装置而优化，且因此造成许多用户体验问题。其一，此些解决方案需要两只手(一只手固持装置，且另一只手操纵图形用户接口)。其二，与在小装置内移动文件的反直观假定组合的显示器的较小大小使得难以理解整个文档，且可导致用户在大文件内“迷路”。
本发明的各种方面通过取消从桌上型计算机图形用户接口采用的假定且实施对手持式装置直观上适当的新的接口假定而解决了手持式计算装置用户接口中的这些用户体验问题。具体来说，移动用户接口假定内容在空间中在距用户某个距离处固定(这里称为在“虚拟空间”中固定)，例如墙壁上的图片或放在桌子上的文档。移动用户接口进一步假定移动计算装置显示器以类似于放大镜或相机的取景器的方式起作用，其可动来动去以观看内容的不同部分(与常规图形用户接口的固定“窗”相比)。这些假定允许用户以利用移动计算装置的手持式便携性的自然方式观看内容(例如，应用程序、文件、图像和文档)且与所述内容交互。移动用户接口使得用户能够如同其正使用放大镜在文档上扫描来观看桌子上或墙壁上的文档那样来阅读文本文档或观看图像。从左到右地移动手持式装置来阅读文本比其中必须从右到左地拖曳文档以阅读文本的常规图形用户接口的反直观操作更自然。各种方面提供了一种移动用户接口，其使手持式装置用户不受显示器大小和分辨率的限制并实现单手操作，从而消除了对例如鼠标、触摸板、触摸屏或箭头键等指向装置的需要。
为了实现各种方面的移动用户接口，使用多种运动、距离和/或定向传感器中的一者或一者以上来测量或估计移动计算装置在二维(2-D)或三维(3-D)中的移动。此些传感器可包含加速度计、距离测量传感器、倾斜传感器、罗盘传感器、成像传感器(例如，相机)等。从此些传感器接收的信息由移动计算装置中的处理器或专用图形处理芯片使用以确定装置相对于被视为在虚拟空间中固定的正显示的内容(即，文档、文件或桌面)的相对移动，以便确定内容的所显示的部分。可通过使此些部分在显示器内居中来指示内容的对象或部分以供选择，进而消除了对光标的需要以及对例如鼠标、触摸屏或触摸板等指向装置的需要。可随后例如通过按下按钮或者移动或敲击装置来选择在显示器内居中的对象。可通过将移动计算装置移动远离用户或朝向用户移动来操纵放大率或图像大小。可通过在3-D虚拟空间中感测移动计算装置的倾斜或定向且呈现位于移动计算装置下方或上方的内容而能够以3-D进行内容观看。通过此移动用户接口观看或操纵的内容可从本地存储装置(例如在视频回放的情况下)或从例如可经由(例如)空中接口递送的外部源(例如在网络浏览或视频流式传输的情况下)获得。
图2在过程200中说明在本发明的各种方面中可实施的基本操作。在过程200中的框12处，当例如文档、文件或桌面等内容在移动用户接口中打开时，内容被处理器或专用图形处理芯片视为相对于移动计算装置在虚拟空间中固定。在此操作中，当打开内容时，其可在预设定向上距移动计算装置(且因此，用户)预设距离处固定，无论移动计算装置的现实位置和定向如何。因此，每当打开文档或文件时，其可出现在相对于移动计算装置和用户的同一相对位置。
在过程200中的框14处，移动计算装置的处理器可随后确定装置在现实空间中的位置。可依据相对于固定坐标系(例如，以用户为中心)坐标的绝对坐标或相对于初始位置(例如，当激活移动用户接口时移动计算装置的位置)的移动来做出现实空间中的位置的确定。举例来说，处理器或专用图形处理芯片可接收到附近表面的距离测量值且根据此信息来界定以用户为中心或者在一房间或体积(例如，汽车)内的坐标系，可其内以三维识别装置的位置。或者，处理器或专用图形处理芯片可跟踪移动计算装置在现实空间中从开始点的移动，且依据在距所述开始点的距离来界定其在3-D空间中的位置，无论开始点相对于用户或房间在何处。在一些实施方案中，移动计算装置可使用距离测量和定向测量传感器测量其在现实空间中的位置。在其它实施方案中，在打开在虚拟空间中固定的文件(即，过程200的框12处)时可仅测量运动或加速度，且可相对于装置的开始位置来估计位置和定向。
在过程200中的框16处，移动计算装置中的处理器基于移动计算装置的所确定或假定的开始位置以及打开的内容在虚拟空间中的固定位置而确定内容的在显示器的视场内的部分。此操作可确定显示器的观看视角和将应用于内容的放大率以识别打开的内容的对应部分。此操作可使用多种已知图形或向量处理算法中的任一者来实现。在过程200中的框18处，移动计算装置中的处理器使用内容在视场内的所确定部分产生在显示器上呈现的图像。
在过程200中的框22处，可通过处理器接收位置或运动传感器数据来确定移动计算装置的观看视角的改变。通过使用此数据，在过程200中的框24处，移动计算装置可确定视场相对于在虚拟空间中固定的内容的改变。如下文参看图10到图14更详细地论述，在过程200的框22中，可使用多种位置、运动和定向传感器来确定移动计算装置的相对位置或移动。在过程200的框24中，可利用传感器信息来确定移动计算装置的位置或观看角度的改变，其随后用以确定移动计算装置在现实空间中的新位置，从而返回到过程200的框14。或者，可使用在框22中接收的传感器数据以确定装置在现实空间中的新位置，从而返回到框14。随后，在确定了移动计算装置的新位置的情况下，重复框16中的确定内容的观看部分和框18处的显示所述内容的过程。
可连续重复过程200的框14到24(确定移动计算装置移动或位置，和显示内容的适当部分)。重复速率可具有频繁周期性，以便提供很像摄像机取景器显示器起作用的无缝移动用户接口。移动计算装置在现实空间中的移动与打开的内容在虚拟空间中的观看视角改变之间的相关可为一比一或某个其它比例，以便提供较好的用户体验。为便于参考，本文将移动计算装置在现实空间中的移动与观看视角改变之间的此相关称为“虚拟移动缩放因数”。虚拟移动缩放因数是由移动计算装置应用以确定显示器针对现实空间中的给定移动表现为在虚拟空间中的打开内容上移动的距离的因数。虚拟移动缩放因数可为：一比一，因此现实空间中的一英尺移动导致所显示内容的一英尺移动；小于一比一，使得现实空间中的一英尺移动导致所显示内容的小于一英尺的移动；或大于一比一，使得现实空间中的一英尺移动导致所显示内容的大于一英尺的移动。举例来说，固持移动计算装置的用户的手的正常抖动和随机移动在此些移动曾直接实施为显示改变的情况下可导致干扰显示图像。
通过以小于移动计算装置的测得移动的速率(小于一比一相关)改变观看视角，例如使移动计算装置的3英寸水平移动与打开的内容的观看视角的2英寸改变相关，可产生较令人愉快的显示。在一个方面中，可通过类似于在数字成像系统(例如，相机和摄像机)中实施的技术来实施手抖动减少(HJR)或数字图像稳定化(DIS)技术来减轻移动计算装置移动。在一个方面中，观看视角的改变可大于移动计算装置的感测到的移动(即，大于一比一移动相关)，其可使得用户能够以移动计算装置的相对适度移动来快速地扫描大的内容(例如大的高清晰度图像)。当基于移动计算装置中的移动UI(MUI)利用TV-Out来在外部大屏幕上观看文档时，假如屏幕大小/分辨率可大于文档本身，那么使用将是类似的，。
在又一方面中，可例如响应于按钮按下或滑动致动或者装置在现实空间中的加速度率由用户来调整移动计算装置的现实世界移动与观看视角改变之间的相关。在一方面中，在过程200的框24处，基于传感器数据确定观看视角改变的操作可对照阈值测试传感器数据，使得如果传感器值低于存在的阈值，那么确定观看视角无改变。通过采用此些灵敏度阈值，可消除由于移动计算装置的无意中的小移动引起的烦人的显示改变。因此，在移动的汽车中观看显示器时，显示器可不受与交通工具行进运动相关联的震动和颠簸的影响。另一方面，为了即使在移动计算装置来回快速移动时也确保所显示图像表现为在虚拟空间中稳定且固定，移动用户接口可经配置以对装置移动非常敏感。此配置在移动计算装置正用于经历颠簸的移动交通工具(例如汽车或飞机)中时可提供较令人愉快的用户体验。在又一方面中，可采用HJR和DIS技术作为额外工具或替代方法来帮助使所显示图像稳定。
图3中说明加强移动用户接口的假定。此图说明如何假定内容40在虚拟空间中固定且通过移动计算装置230的显示器30的透视观看为如同正通过摄像机的取景器显示器观看一样。移动计算装置230中的运动、位置和/或定向传感器可由处理器或专用图形处理芯片使用而以三维确定在现实空间内的位置或运动，在图3中由向量“X+”33、“X-”34、“Y+”36、“Y-”35、“Z+”37和“Z-”38表示。移动计算装置230的位置或移动由装置处理器或专用图形处理芯片使用以确定内容40的应在显示器30上呈现的观看部分42。观看部分42取决于显示器30的大小、应用于内容40的放大率(其可基于沿着Z维度37、38在空间中的位置来确定)以及在X 33、34和Y 35、36空间中的观看角度或位置。举例来说，移动计算装置230在X-34方向上的移动可转换为内容40的观看部分42在平行方向44上的移动。如上文提到，打开的内容40内的观看部分42的移动可等于、小于或大于移动计算装置在现实空间中的移动，其中此些相关是用户可调整的和/或内容相依的。
可参考图4、图5A和图5B中说明的实例来理解移动用户接口的操作。图4说明将在移动计算装置显示器上显示的图像50，例如数字照片文件。由于图像50的尺寸大小比典型移动计算装置230上的显示器239的尺寸大小大得多，因此显示图像需要减小图像的大小以配合显示器，或呈现图像50的配合于显示器239内的一部分。为了确定将显示的图像50的比例，移动用户接口确定移动计算装置230在现实空间中的位置和/或定向，且根据此信息确定在显示器239上呈现的图像部分50a。这在图5A中说明，图5A说明移动计算装置230经定位或定向以使得呈现在显示器239上的图像部分50a以图像50的左端附近为中心。当用户横向向右移动移动计算装置230时，现实空间中的此位置改变由移动用户接口转换为如图5B中说明所观看到的改变。此图说明移动计算装置230经定位或定向以使得呈现在显示器239上的图像部分50b刚好以图像50的中心右方为中心。因此，如图5A和图5B中说明，用户能够简单地通过从左右移动移动计算装置230来扫描大图像50，如同在照片上移动放大镜或望远镜扫过遥远场景那样。
移动计算装置230的移动也可用以控制应用于在显示器239内呈现的内容的大小或放大率。图6所示的过程600说明用于实现此情况的实例操作。如上文参看图2所描述，当在过程600中的框12处初始打开内容时，假定其相对于移动计算装置230(且因此，用户)在虚拟空间中固定。在过程600的框14处，确定或假定移动计算装置230在现实空间中的初始位置。另外，在过程600的框60处，可使用多种传感器(例如，相机或距离测量传感器)来确定移动计算装置230与用户之间的距离。此距离连同先前的内容信息(例如字体大小等)一起可用作用于确定内容放大率改变的基线。在过程600的框62处，在框60中测得的从移动计算装置230到用户的距离可由移动计算装置230内的处理器或专用图形处理芯片使用以确定应当应用于内容的放大倍数。起初，当第一次打开内容时，无论移动计算装置230与用户之间的距离如何，所采用的放大率可为预设默认值，例如100％。随后，在移动计算装置230朝向用户移动或移动远离用户(即，沿着Z轴37、38)时，基于距离确定的放大倍数将从初始值变化。
在过程600的框16处，移动计算装置230可基于移动计算装置230在现实空间中的所确定的位置、移动计算装置230的定向和处理器或专用图形处理芯片所确定的放大倍数而确定内容的在观看部分42内的部分。在过程600的框18处，可使用此信息和内容数据来产生显示。在过程600的框22处，移动计算装置230内的处理器或专用图形处理芯片接收位置、运动和/或定向传感器数据，其可用来确定移动计算装置230在现实空间中的经更新位置，从而返回到框14。在框22中从位置、运动和/或定向传感器接收的信息也可用以在框60中确定从移动计算装置230到用户的经更新距离。通过以基于频繁周期性而执行的连续循环重复过程600，处理器或专用图形处理芯片可提供在显示器内无缝地呈现内容的一部分从而以应用于内容的放大率来反映移动计算装置230的向前和向后移动(即，沿着Z轴37、38)的移动用户接口。在一实施方案中，基于用户到装置距离而调整放大率的操作可选择性地例如响应于按下特定按钮或激活所显示图标而由用户激活或去活，使得用户可选择以恒定放大率显示内容。
可通过参考图7A和图7B中说明的实例来理解移动用户接口的放大操作。这些图说明移动计算装置230，其中以取决于移动计算装置230与用户之间的相对距离(即，沿着Z轴37、38)的放大率来调整图4所示的图像50的观看部分。举例来说，图7A说明其中已使移动计算装置230较靠近用户(即，沿着Z轴37、38)从而导致与图5A中所示的图像部分50a相比经放大的观看图像部分50c的情形。相比之下，图7B说明其中已将移动计算装置230推动较远离用户(即，沿着Z轴37、38)从而导致减小图像50的大小以使得其配合于显示器239的界限内的放大率的情形。
除了在显示器中呈现内容外，用户接口还应提供选择显示的对象或部分以进行操作的能力。在常规的图形用户接口中，与内容的此些交互是由例如鼠标、触摸屏或触摸板等指向装置启用，用户可操纵所述指向装置以在显示窗内定位光标。如众所周知，常规图形用户接口的用户可通过使用指向装置在所需对象上定位光标且随后点击按钮(例如，鼠标按钮)或敲击指向装置(例如，触摸屏或触摸板)来选择所显示内容的项目或部分。
图8所示的过程800中说明常规图形用户接口的操作的概述。如上文参看图1描述，在过程800的框2处，用户接口确定内容(例如，文件、文档或桌面)在显示窗内的位置。在过程800的框3处，用户接口确定光标在窗内的位置。在过程800的框4处，用户接口产生具有光标的内容和窗的显示。用户可在任一点点击鼠标按钮(例如，鼠标左按钮)或敲击触摸屏或触摸板，在此情况下按钮按下通知图形用户接口将选择显示内的在光标附近的项目。在过程800的框82处，图形用户接口确定对应于显示窗的由光标指示的部分的内容。在过程800的框3处，图形用户接口激活或以其它方式对所述特定内容采取适当动作。处理可继续到由所述内容确定的动作或图形用户接口的其余操作。因此，常规图形用户接口通常需要以指向装置操纵光标且操作选择按钮。
与常规图形用户接口相比，移动用户接口不需要操纵光标，且因此不需要来自指向装置(例如，鼠标或触摸屏)的输入。而是，用户可简单地在空间中移动移动计算装置，直到所需内容或对象在所显示场内居中为止。图9所示的过程900中说明此情况。如上文参看图2所述，在过程900的框14处，处理器或专用图形处理芯片可接收来自位置、运动和/或定向传感器的信号以确定移动计算装置在现实空间中的位置。通过使用此信息，在过程800的框16处，处理器或专用图形处理芯片确定将在视场内显示内容的所述部分。在过程800的框18处，处理器或专用图形处理芯片产生用于在显示器上呈现的适当图像。此过程继续，直到用户例如通过按下移动计算装置上的按钮而指示将做出选择为止。当此情况发生时，在过程800的框85处，移动计算装置中的处理器或专用图形处理芯片接收指示选择按钮已被按下的信号。替代于按钮按下，可由用户晃动、翻转、旋转、敲击或对移动计算装置执行某种其它可辨识的操纵来指示选择。此按钮按下或操纵实质上取代了常规图形用户接口中的鼠标按钮按下。作为响应，在过程800的框87处，处理器或专用图形处理芯片可确定位于视场中心的内容的选择(即，内容的位于显示中心或附近的部分)。视场的中心可为所观看场或显示的预定部分，例如场的中心10％。视场的内容选择部分的形状可为可调整的，例如呈圆形或正方形的形式。
显示可包含视觉提示或辅助以帮助用户使用移动用户接口来选择所观看内容的部分。举例来说，十字准线、选择框或圆或者某种其它形式的暗示光标可呈现在显示器上以帮助用户定位移动计算装置，使得场的中心对应于所要内容。当视场中心处的内容经确定时，在过程800的框89处，处理器或专用图形处理芯片可激活所述内容或基于选择的上下文或所选的项目而采取任何适当动作。举例来说，如果视场的中心包含存在经界定功能的对象，例如用于激活显示于主页中的应用程序的图标，那么处理器或专用图形处理芯片可激活所述文件，作为框89中说明的操作的部分。其它处理可随后以与所激活内容相关联的操作或以移动用户接口的操作而继续，包含返回到过程900的框14以确定移动计算装置的新位置。
在显示内提供的选择辅助或暗示光标可依据打开的内容的性质、可用用户动作的性质和显示内的任何图标或可动作的图形的性质而改变特征和大小。举例来说，暗示光标可呈以下形式：十字准线或枪瞄准器(例如，从电子游戏中熟悉的)、选择框、圆或椭圆、箭头、指向手指、对比分辨率的区域(例如，较高分辨率或较高亮度)等。此外，暗示光标或选择辅助的类型、形状和大小可由在移动计算装置上运行的应用程序或所显示内容界定，以向用户提供最适合于所显示内容和可用用户动作的选择工具。举例来说，当正在显示图像时可不呈现十字准线，除非用户已激活选择工具(例如，通过按下按钮)。作为另一实例，框选择辅助的大小和形状可改变形状以匹配于出现在显示内的文本文档中的词的大小，使得用户可通过使词或数字配合于选择辅助框内来选择词或数字(例如，用于编辑)。此外，选择辅助可改变形状(例如)以形成类似于手的图标，当动作图标出现在显示的中心附近时其具有伸出的手指以指示图标可激活。举例来说，如果URL出现在文档(例如，电子邮件或SMS消息)内，那么具有伸出手指的手的形式的暗示光标可在URL位于显示的中心时出现，以指示用户可通过按下按钮、翻转移动计算装置或执行某个其它激活动作来接入所述URL地址处的网站。以此方式，在移动用户接口的显示中提供的选择辅助可以类似于在图形用户接口中的常规光标中使用的那些选择辅助类似的方式表现。而且，当无选择可用时此些暗示光标或选择辅助可由用户关闭或不显示，以避免使用户分心和使显示杂乱。
图10A到图10F中说明可实施的选择辅助或暗示光标的一些实例。如图10A中说明，选择辅助可呈十字准线2391的形式，其识别显示器239的中心点。此形式的选择辅助可在用户能够选择显示的精确部分(例如)以拖曳显示的一部分进行复制或删除或者用于绘制线或其它图形时有用。如图10B中说明，选择辅助可呈圆、椭圆或框2392的形式，其识别显示器239的中心部分。图2392中说明的选择辅助的类型对于选择可在选择框2392内任何地方激活的对象或图标可为适当的。此类型的选择辅助也可有用于选择配合于选择框2392内的文本或数字。如图10C中说明，选择辅助可呈经增强分辨率或经增强亮度、阴影或其它图像特征2393的形式，其识别显示器239的中心体积。此些选择辅助可使得在图形特征(例如，十字准线2391或框2392)将使显示杂乱的情况下有用。
虽然前述描述内容和图10A到图10C描述且展示指示显示中心的选择辅助，但此些选择辅助可定位于显示内的任何位置，例如如图10D和图10E说明在显示的四个隅角中的一个隅角，或如图10F说明在一个边缘附近。在显示的从中心部分移位的部分中提供选择辅助可在一些应用程序或内容中是有利的，例如中心辅助将使图像杂乱的情况或当菜单图标沿着打开的内容的一侧或在隅角附近定位时。举例来说，如图10D说明定位于显示器239的隅角中的选择辅助框2394将保持显示的中心部分不会杂乱。作为另一实例，通过将选择辅助置于远离中心的位置，选择辅助框2395可包含如图10E中所说明呈现在内容的顶部(即，遮蔽了下层的内容)的菜单选项(例如，“下一个”)。此实施方案可使得能够显示适合于出现在显示的中心的内容的特定菜单或功能选项(例如，当以幻灯片呈现图片时的“下一个”)。此外，选择辅助无需限于显示的隅角，而是可基于人为因素和用户接口功能性考虑而在其它位置呈现，例如如图10F中所说明沿着显示的底部的细长选择辅助框2396，以用于选择沿着内容的底部布置的菜单或图标(例如，在苹果公司的Leopard
Figure BPA00001394913000171
操作系统中实施)。
图9中说明的移动用户接口的内容识别和选择能力可在许多情形中改善用户体验。不同于需要两只手来操作(即，一只手固持移动计算装置且第二只手操纵指向装置)的常规图形用户接口，所述图形用户接口使得用户能够单纯地通过在空间中移动移动计算装置直到所要内容在视场中居中为止来选择内容。因此，移动用户接口的操作和内容选择可用一只手来实现。由于用户可通常用固持移动计算装置的同一只手按下键，尤其是当键位于移动计算装置的侧面时，因此使得显示以所要对象为中心且激活选择按钮的过程可用一只手实现。此简化的选择和激活操作在许多用户情形中的移动计算装置中可能尤其有用。
如上文提到，可在移动计算装置内实施许多不同的运动、位置和/或定向传感器以支持移动用户接口。举例来说，图11说明过程1100，其可实施以利用加速度计来确定移动计算装置在空间上相对于某个初始开始位置的位置。作为接收位置/运动传感器数据(图2中的框22)的部分，在过程1100的框90处，移动计算装置的处理器或专用图形处理芯片可从移动计算装置内的加速度计接收加速度计数据。加速度计是感测沿着轴的加速度且输出指示测得加速度的量值的信号的已知电子组件。由于可能需要忽略移动计算装置的微小移动(例如可能由用户的手的无意中的移动引起)，因此在过程1100的决策框92处，可将所接收的加速度计数据与预定阈值进行比较，使得可忽略小于阈值的加速度。测得的加速度与阈值的此任选比较可用以防止内容响应于用户手的微小晃动或漂移而在显示内表现为改变位置，进而提供稳定的图像加装置以供眼睛专注。另一方面，此任选比较可不实施或可由用户去活，使得即使在用户的手和移动计算装置在空间中来回跳动(如在移动的交通工具中可能发生)，所显示内容也表现为固定的。去活此特征可提供即使在移动计算装置随机地动来动去时眼睛也可专注的较稳定图像。用户对任一操作模式的偏好可取决于内容和用户的环境。
如果加速度计数据超过阈值(即，决策框92＝“是”)，那么在过程1100的框94处，处理器或专用图形处理芯片可在时间间隔内整合数据。在过程1100的框96处，处理器或专用图形处理芯片可使用此计算的结果来确定现实空间中的位置改变。根据基本物理学，已知在时间间隔内的位置改变ΔX可根据以下等式确定
ΔXt＝1/2At2+V0t
其中：
ΔXt是间隔持续时间t内的位置改变；
A是由加速度计测得的加速度；且
V0是在持续时间t开始之前的速度，其可根据以下等式在先前间隔中确定：V0＝At+Vi。
为了测量三维(即，沿着X、Y和Z轴)中的移动，移动计算装置230可包含三个(或三个以上)加速度计，其经定位且配置以测量沿着三个正交方向的加速度。因此，处理器或专用图形处理芯片可在框94中整合三维中的每一维的加速度计读数以确定三维中的现实空间中的位置改变。加速度计也可用以通过测量重力来确定移动计算装置230相对于重力向量的倾斜角度。移动用户接口的处理可随后如上文参看图2和图9所描述而继续下去。
可通过使用从距离测量传感器获得的测量数据基于测得的到其它对象的距离来确定现实空间中的位置信息。图12说明过程1200，其可经实施以利用距离测量传感器来确定移动计算装置230在现实空间中的位置。作为接收位置/运动传感器数据(图2中的框22)的部分，在过程1200的框98处，移动计算装置230的处理器或专用图形处理芯片可从移动计算装置230内的距离测量传感器接收距离测量数据。移动计算装置230中可使用任何已知的距离测量传感器，例如超声测距传感器、射频测距传感器(例如，雷达)、光学传感器和红外传感器。举例来说，许多新型汽车在保险杠中包含距离传感器，其利用超声基于发射的脉冲与接收到的回声之间的时间来确定到附近的距离。此些超声距离测量传感器可经配置为足够小以配合于移动计算装置230的侧面而不会添加不必要的体积或重量。类似地，小的雷达或光学测距传感器可以可在移动计算装置上使用的大小和形状而变得可用。
另一形式的距离测量传感器利用可放置于其它对象(例如，用户的衣服或眼镜)上的标记、信标或信号发射器，移动计算装置230中的传感器可对其进行跟踪以通过时间延迟测量或三角测量法确定距离。举例来说，例如红外发光二极管(LED)等光发射器可定位在一房间或体积(例如，汽车)内的各种位置或用户身上(例如，用户衣服的肩部和衣领上)，以发射可由移动计算装置230上的光传感器检测的光。通过感测所接收入射光的角度(或其它几何测量值)，处理器或专用图形处理芯片可基于球面三角测量法计算而确定到用户的距离和定向。
类似地，超声脉冲发射器可定位于一房间或体积内的各种位置或用户身上以发射可由移动计算装置230上的超声传感器接收的超声脉冲。通过记录脉冲相位或时间延迟(或其它测量值)，处理器或专用图形处理芯片可基于球面三角测量法计算而确定到用户的距离和定向。
在一实施方案中，可提供此些外部发射器或信标作为移动计算装置230上的可拆卸项目，用户可将其从移动计算装置230拆卸且在其周围适当地定位，以使得移动计算装置230能够在给定区域内操作。已知或将开发的任何形式的紧凑距离测量传感器均可用于本文描述的目的。
在实例性实施方案中，可在移动计算装置230上实施六个或六个以上距离测量传感器以便测量所有方向上的距离，包含距前方、后方、侧面、顶部和底部的距离。如此定向后，距离测量传感器可在六个方向中的每一方向上测量从移动计算装置230到附近表面的距离。举例来说，当在汽车中使用移动计算装置时，位置感测距离测量传感器可测量从移动计算装置230到汽车的窗、顶和底板中的每一者的距离和到用户的距离。类似地，当正在建筑物内使用移动计算装置230时，距离测量传感器可测量到地板、天花板和附近墙壁的距离。
测量到附近表面的距离的目的不是确定移动计算装置230在周围空间内的绝对位置，而是使用此些测量值来确定移动计算装置230随着时间的位置改变，尤其是相对于当打开内容时移动计算装置230的位置。因此，使用从距离测量传感器接收的数据，在过程1200的框102处，移动计算装置230的处理器或专用图形处理芯片可计算在从上一组测量起的时间间隔中到外部表面的距离的改变。举例来说，如果距离测量传感器指示到移动计算装置230的左侧的附近表面的距离已减小2英寸，而到移动计算装置230的右侧的附近表面的距离已增加2英寸，那么处理器或专用图形处理芯片可确定移动计算装置230在相对空间中存在2英寸的位置改变。
为了适应其中周围环境独立地移动的情形，例如当用户正在人群中使用移动计算装置230时，处理器或专用图形处理芯片可平均化相对的距离测量传感器之间的读数以便获得平均值。而且，处理器或专用图形处理芯片可经配置以忽略在距离测量值变得不准确的预定范围外的距离测量值。举例来说，处理器或专用图形处理芯片可忽略小于几英寸的距离测量值，因为此些表面与外部表面相比更可能与用户相关联。而且，处理器或专用图形处理芯片可经配置以忽略来自传感器的不指示距离的读数，例如当移动计算装置230在室外时顶部距离传感器中的情况。
为了适应用户的手的正常无意中的移动或例如来自运动中的汽车的振动等环境移动，在过程1200的决策框104处，可将距离测量值的所计算改变与预定阈值进行比较以使得可忽略微小移动。如果所确定距离改变超过阈值(即，决策框104＝“是”)，那么在过程1200的框106处，处理器或专用图形处理芯片可使用所计算距离改变来确定计算装置230在现实空间中的位置改变。移动用户接口的处理随后可如上文参看图2和图9所描述而继续下去。
在实施移动用户接口的移动计算装置中可具有有用应用的另一传感器是电子罗盘。如众所周知，电子罗盘可测量移动计算装置230相对于地球磁场的定向，且输出作为相对于磁北极的角度的结果。此罗盘定向可有用于检测何时移动计算装置230正在水平平面中旋转。图13说明过程1300，其可实施为接收位置和运动传感器数据(框22和图2)的部分。具体来说，在过程1300的框108处，处理器或专用图形处理芯片可接收呈角度数据形式的电子罗盘数据。在过程1300的框110处，处理器或专用图形处理芯片可在框110处确定移动计算装置230相对于地球磁场的定向改变。移动用户接口的处理随后可如上文参看图2和图9所描述而继续下去。
可组合来自多种运动、位置和/或定向传感器的数据以提供较好的位置/定向信息来支持移动用户接口。举例来说，图14说明过程1400，其可经实施以组合来自加速度计、距离测量传感器和电子罗盘的数据以更好地确定移动计算装置230的位置和定向的改变。在过程1400的框90处，移动计算装置230内的处理器或专用图形处理芯片可接收加速度计数据。通过使用此数据，在过程1400的决策框92处，处理器或专用图形处理芯片可将此加速度与预定阈值进行比较。如果测得的加速度超过阈值(即，决策框92＝“是”)，那么在过程1400的框94处，处理器或专用图形处理芯片可整合加速度计数据以估计三维中的每一维的位置改变。另外，在过程1400的框98处，处理器或专用图形处理芯片可(例如)在六个方向上接收来自距离测量传感器的距离测量值。在过程1400的框112处，处理器或专用图形处理芯片可使用此些距离测量值来精细化3-D所估计位置改变。通过使用测得的距离和经整合的加速度计数据，处理器或专用图形处理芯片可能够在多种条件下更好地确定移动计算装置230的位置改变。举例来说，距离测量传感器可经历由于声音通过空气的速度和相关联处理而引起的滞后，且因此可能不响应于移动计算装置230的快速移动。相比之下，加速度计将较好地响应于移动计算装置230的快速移动，但在移动相对缓和(即，加速度较低)时将较不准确。另外，在过程1400的框108处，处理器或专用图形处理芯片可从电子罗盘接收罗盘数据。在过程1400的框114处，处理器或专用图形处理芯片可组合罗盘定向信息与在框112中确定的改变的位置信息，以确定移动计算装置230的位置和定向的总体改变。移动用户接口的处理随后可如上文参看图2和图9所描述而继续下去。
可用以估计移动计算装置230的位置和/或定向的改变的另一传感器是数码相机。数码相机是许多移动计算装置上常见的，且因此代表可用以支持移动用户接口的容易可用的传感器。图15说明过程1500，其可经实施以使用相机数据来支持移动用户接口。这些操作可作为接收位置、运动和/或定向传感器数据(参看图2中的框22)的部分来执行。在过程1500的框116处，可在每当激活移动用户接口时由相机俘获数字图像。相机的此机能可与用户通常使用的正常相机功能分离，且因此可实施与正常拍照操作中不同的分辨率(即，像素密度)和/或快门速度。当俘获相机图像时，其可经分段或分解为与图像的不同部分相关联的多个块。因此，可将所俘获图像作为4、6、8或更多子图像来分析。在过程1500的框118处，随后可将所俘获图像与先前俘获的图像进行比较以便确定两个图像之间对象的移动。这可在过程1500的框120处通过识别各个图像块中的表现为从先前图像中的一个块移动到所俘获图像中的不同块的图案来实现。通过辨识子图像块内的图案且检测何时经辨识图案从一个块移位到另一块，处理器或专用图形处理芯片可以与在整个图像上辨识和跟踪特征的情况下所需的算法相比较不复杂的算法来估计移动计算装置230或背景对象的移动。举例来说，如果暗特征存在于先前图像中的一个图像块中且类似的暗图案出现在所俘获图像中的不同块中，那么处理器或专用图形处理芯片可得出结论：暗图案从一个块到下一块的移动是由于移动计算装置230或正成像的项目的移动引起的。用于基于辨识从一个块到另一块的图案移位来确定数字图像内对象的移动的算法是图像处理部分中众所周知的，且可在本发明的各种方面中利用。
使用通过将所俘获图像与先前图像进行比较获得的信息，在过程1500的框122处，移动计算装置230的处理器或专用图形处理芯片可估计装置在现实空间中的移动。在进行此计算时，处理器或专用图形处理芯片可评估来自所俘获图像内的所有块的结果，且平均化或以其它方式考虑由图像内的各个块指示的移动计算装置230移动的差异。举例来说，图像的改变可由移动计算装置230的移动以及图像内对象的独立运动引起。因此，特定图案从一个子图像块到另一子图像块的移动可能是归因于移动计算装置230的运动、背景中的对象的移动或两者的组合。可利用各种统计方法来确定归于移动计算装置230的总体运动。
另外，如图14中所说明，可将来自分析相机图像的移动估计与其它传感器数据的分析进行组合以便获得对移动计算装置230在空间中的移动的较准确估计。一旦已估计移动计算装置230的移动，那么在过程1500的框124处，处理器或专用图形处理芯片可确定移动计算装置230在现实空间内的位置改变。使用此信息，在过程1500的框16处，处理器或专用图形处理芯片可确定文件或内容的在视场内的部分。在过程1500的框18处，处理器或专用图形处理芯片可产生适当显示，如上文参看图2更全面地描述。
应了解，本文描述的移动用户接口与常规图形用户接口不兼容。在特定实施方案中，两种类型的用户接口可在同一移动计算装置230中实施以便提供较有能力的用户接口。图16中说明此组合的用户接口中涉及的实例性过程1600。通过组合图形用户接口能力与移动用户接口能力，移动计算装置230可向用户提供在替代性用户接口之间切换以观看和操纵内容的能力。举例来说，可提供常规图形用户接口作为默认接口，用户可使用其以便选择供观看的内容，且随后切换到移动用户接口以观看所述内容。
为了使得能够在用户接口模式之间切换，可在移动计算装置230上提供按钮或菜单选项，用户可激活其以从一种用户接口模式切换到另一种。在移动计算装置230正在常规图形用户接口模式中操作时，在过程1600的框2处，移动计算装置230的处理器或专用图形处理芯片可确定内容的在现实窗内的部分。在过程1600的框4处，处理器或专用图形处理芯片可产生适当显示。在过程1600的框6处，处理器或专用图形处理芯片可接收来自用户的滚动条输入。在过程1600的框8处，处理器或专用图形处理芯片可如上文参看图1所描述在显示窗内重新定位内容。此些常规用户接口功能可继续，直到用户进行输入(例如，按下按钮)以激活移动用户接口模式为止。举例来说，用户可利用常规图形用户接口来选择特定应用程序或文件来打开。在任一点，在过程1600的决策框10处，可接收移动用户接口激活输入。这在移动计算装置230具有专用于在用户接口模式之间切换的按钮的情况下可呈从按钮按下接收到的中断的形式。
当移动计算装置230的处理器或专用图形处理芯片接收到移动用户接口激活输入(即，决策框10＝“是”)时，在过程1600的框12处，处理器或专用图形处理芯片可在虚拟空间内相对于移动计算装置230(且因此，用户)定位打开的内容(例如，文件、文档或桌面)，如上文参看图2更全面地描述。在一实施方案中，打开的内容可在虚拟空间中固定，使得当用户接口模式切换时显示不会改变。换句话说，在此实施方案中，内容在虚拟空间中在外观位置上固定，在实施模式移位的时刻内容在图形用户接口模式显示中存在于所述位置。
在过程1600的框14处，移动计算装置230的处理器或专用图形处理芯片可确定移动计算装置230在现实空间中的位置。当用户接口模式第一次切换到移动用户接口时，处理器或专用图形处理芯片可从位置、运动和定向传感器接收数据以便确定移动计算装置230相对于在虚拟空间中固定的打开内容的初始位置/定向。基于移动计算装置230的所确定位置和打开内容在虚拟空间中的固定位置，在过程1600的框16处，处理器或专用图形处理芯片确定内容的在显示的视场内的部分。
使用内容的在视场内的所确定部分，在过程1600的框18处，处理器或专用图形处理芯片产生呈现在显示器上的图像。在过程1600的框22处，可通过处理器或专用图形处理芯片接收位置或运动传感器数据来确定移动计算装置230的观看视角的改变。在过程1600的框24处，处理器或专用图形处理芯片可根据此数据确定视场相对于在虚拟空间中固定的内容的改变。框14中的确定移动计算装置230在现实或相对空间中的位置、框16中的确定内容的被观看部分以及框18中的显示所述内容的操作随后重复，直到过程1600的决策框20处为止，在该处确定接收到切换回到图形用户接口模式的输入。当接收到图形用户接口激活输入(即，决策框20＝“是”)时，处理器或专用图形处理芯片切换用户接口模式，从而返回到过程1600的框2以确定文件在显示窗内的位置。在从移动用户接口模式切换到图形用户接口模式时，打开的内容可相对于移动计算装置230显示器239固定，使得所显示图像不会由于模式切换而发生改变。而是，用户相对于显示来重新定位文件的机制改变为常规图形用户接口工具(即，指向装置，例如触摸屏和箭头键)。
如上文提到，也可以用直观方式实现对三维信息内容(例如，三维图像文件)的观看的方式来实施移动用户接口。因此，为了向下看三维图像文件，用户可如同转动相机那样翻倒移动计算装置230以向下看。类似地，为了向上看三维图像文件，用户可如同转动相机那样倾斜移动计算装置230以向上看。内容的此向上或向下观看可通过在移动计算装置230内包含一个或一个以上倾斜传感器来支持。此些倾斜传感器可检测移动计算装置230相对于重力向量的定向，且将指示倾斜角度的信号提供到处理器或专用图形处理芯片。来自倾斜传感器的信息可由移动计算装置230处理器或专用图形处理芯片利用以确定三维内容的应以极类似于上文参看图2描述的方式在显示中呈现的部分。此实施方案可有用于观看可从以各种角度拍摄的许多图像所产生的多维图像文件。此实施方案也可用以通过其它形式的信息进行分类，例如多文档文件或多页文档。举例来说，移动用户接口可经配置以使得移动计算装置230的向前倾斜提示多页文档的下一页的显示。因此，用户可简单地通过向前倾斜其计算装置230来翻过多页文档，且通过向后(即，朝向其自身)倾斜其计算装置230来将文档往回翻页。倾斜传感器的其它用途可使得用户能够以逻辑方式检查内容。
图17中所示的过程1700中说明用于在移动用户接口中检查内容的倾斜传感器的用途的另一实例。在此实施方案中，使用左右倾斜传感器(即，可感测移动计算装置230向右或向左的倾斜的传感器)以便在虚拟空间中移动打开的内容。此实施方案组合了常规图形用户接口的假定(内容相对于显示窗移动)与移动用户接口假定(装置230相对于内容移动)。因此，此组合的能力可通过使得以用户的意愿来实施内容感知来进一步改善用户体验。在此实施方案中，在过程1700的框12处，打开的内容可相对于装置230在虚拟空间中固定。在过程1700的框14处，可如上文参看图2更全面地描述来确定移动计算装置230在现实空间中的位置。在过程1700的框126处，处理器或专用图形处理芯片可从倾斜传感器接收数据，所述数据可呈指示相对于重力向量的倾斜的角度、度数或其它量度的信号的形式。在一些实施方案中，可能需要将倾斜传感器数据与预定阈值进行比较，如过程1700的决策框128中所提供，使得可忽略移动计算装置230的微小的无意中的倾斜。如果所感测的移动计算装置230的倾斜角度小于阈值(即，决策框128＝“否”)，那么在过程1700的框16处，移动用户接口过程可继续下去以确定打开内容的在视场内的部分。在过程1700的框18处，处理器或专用图形处理芯片可产生内容的所述部分的显示。在过程1700的框22处且处理器或专用图形处理芯片可接收位置、运动和/或定向传感器信息，如上文参看图2更全面地描述。
如果所感测的移动计算装置230的倾斜角度超过阈值(即，决策框128＝“是”)，那么在过程1700的框130处，移动用户接口可在倾斜角度的方向上在虚拟空间中移动打开的内容。换句话说，倾斜移动计算装置230可由移动用户接口解译为用以在虚拟空间内重新定位打开的内容(即，文件、文档或桌面)的用户输入。在打开的内容在虚拟空间中移动的情况下，在过程1700的框16处，移动计算装置230的处理器或专用图形处理芯片可确定打开内容的在视场内的部分。在过程1700的框18处，处理器或专用图形处理芯片可产生内容的所述部分的显示。在过程1700的框22处，处理器或专用图形处理芯片可接收位置、运动和/或定向传感器信息，如上文参看图2更全面地描述。图17中说明的过程1700可以频繁周期性连续执行，使得只要移动计算装置230与重力向量保持于一角度，打开的内容便在虚拟空间中继续移动，使得所产生的显示(框18)展示内容在屏幕上移动。在任一点，用户可使移动计算装置230返回到竖直定向以停止打开对象在虚拟空间中的移动，且随后以上文参看图2描述的方式使用移动用户接口功能性来检查内容。
由图17中说明的过程1700提供的能力可在用户处于移动计算装置230在特定方向上的移动例如受到墙壁或附近的人的限制的环境中时或在内容延伸到用户可操纵移动计算装置230的范围以外的情况下有用。举例来说，打开的内容可为360°全景图像(例如，大峡谷的全景图像)，用户可通过在他/她的眼睛前方固持移动计算装置230的同时枢转360°来观看所述图像。然而，如果用户是坐着的，且因此无法枢转360°，那么由图17说明的过程1700提供的能力可准许用户通过倾斜移动计算装置230以致使内容移动经过显示器来观看完整内容。
在替代实施方案中，可依据移动计算装置230定位的角度来实施多个预定角度阈值以实现不同功能性。举例来说，打开的内容可在移动计算装置230的感测到的倾斜角度超过第一阈值但小于第二阈值的情况下以第一(例如，慢)速率在虚拟空间中移动，且当感测到的倾斜角度超过第二阈值时以第二(例如，较快)速率移动。可将其它功能指派给此些倾斜角度阈值，其中功能是用户可界定的和/或内容相依的。举例来说，替代在虚拟空间中移动内容，感测到的倾斜角度可与在文档中翻页的功能相关联，其中第二阈值与翻页的速率相关联。
在又一方面中，由图17中说明的过程提供的能力可与由向前和向后倾斜传感器提供的上述过程组合以提供可实现用一只手观看3-D数据集或图形的移动用户接口。这在图18中说明，其展示如何假定3-D内容150在虚拟空间中固定且通过移动计算装置230的显示器30的透视来观看，如同通过可垂直上移和垂直下降的摄像机的取景器来观看一样。除了上文参看图3描述的X、Y和Z轴，移动计算装置230可包含倾斜传感器和定向传感器以使得处理器或专用图形处理芯片能够接收与围绕Y轴的垂直扭转152、围绕X轴的向前和向后倾斜154以及围绕Z轴的左右倾斜156相关的定向信息。关于旋转152和倾斜154、156的传感器信息可由移动计算装置230处理器或专用图形处理芯片使用以确定3-D数据集150内的视场42的位置和定向。如上所述，如果移动计算装置230围绕X轴倾斜，那么依据沿着X、Y和Z轴测得的装置在3-D空间中的相对位置，视场42可经配置以在3-D数据集150内的若干图像切片上在所述数据集内的特定位置处观看。因此，在3-D数据集150可在虚拟空间中保持固定时，视场42(即，3-D数据集150的在显示器30中呈现的部分)可向左或向右、向上或向下以及向数据集中移动。
图19说明移动计算装置230、260的一部分的组件框图，其说明与移动用户接口相关联的功能组件。运动、位置和/或定向传感器，例如加速度计160、距离传感器162和相机164可经配置以提供对3-D移动/位置计算器166的输入。3-D移动/位置计算器166可为单独的电路元件，或可实施为编程到移动计算装置230、260内的处理器或专用图形处理芯片232、261中的功能。由3-D移动/位置计算器166计算的位置和定向确定可提供到内容显示控制168，内容显示控制168可为单独的电路元件或编程到处理器或专用图形处理芯片232、261中的另一功能。内容显示控制168可从内容选择电路或功能170接收内容，例如图像、文档或视频，且根据移动计算装置230、260的所计算位置和定向确定输出到显示器239、269的部分。内容选择电路或功能170可从内部数据存储装置172或例如经由空中通道174从外部源接收内容。内容显示控制168可与显示器存储器180协同工作，显示器存储器180可存储用以在显示器239、269中产生图像的像素信息。移动计算装置230、260也可包含用户接口模式启用按钮178，其在被按下时告知处理器或专用图形处理芯片232、261应激活移动用户接口或应选择或激活在显示中居中的内容。
图19中说明的组件框图支持用于产生显示图像的两个替代方法。在第一方法中，将整个内容从内容选择170下载到内容显示控制168中，内容显示控制168随后确定内容的用以产生适当图像以在显示器239、269上呈现的部分。在此第一方法中，图像信息可直接传输到显示器239、269或可存储在显示器存储器180中，其由显示器239、269使用以产生图像。在第二方法中，将由内容选择170提供的整个内容下载到显示器存储器180，且内容显示控制168向显示器239、269告知显示器存储器180内应使用其来产生供显示的图像的数据的子集。
图20说明根据移动用户接口的替代实施方案的移动计算装置230、260的一部分的组件框图。在此替代性实施方案中，内容显示168将打开的内容的应提供以用于产生显示的部分识别到内容选择170。内容选择电路或功能170随后与板上数据存储装置172或例如空中通道174等外部源交互以获得所需内容数据，所述数据被提供到内容显示控制168。内容显示控制168随后使用所接收信息来产生提供到显示器239、269的图像。
上文描述的本发明的各种方面可实施在多种移动计算装置中的任一者上。通常，此些移动计算装置230将共同具有图22中所说明的组件。举例来说，移动计算装置230可包含处理器或专用图形处理芯片232，其耦合到内部存储器233和显示器239，例如液晶显示器(LCD)，以上全部包含在壳体或外壳231内。另外，例如蜂窝式电话等移动计算装置230可具有用于发送和接收电磁辐射的天线234，天线234连接到耦合到处理器或专用图形处理芯片232的无线数据链路和/或蜂窝式电话收发器235。在一些实施方案中，收发器235以及处理器或专用图形处理芯片232和存储器233的用于蜂窝式电话通信的部分称为空中接口，因为其经由无线数据链路提供数据接口。移动计算装置230还通常包含小键盘236或微型键盘以及菜单选择按钮或摇臂开关237，其用作用于接收用户输入以在显示器239内定位光标的指向装置。处理器或专用图形处理芯片232可进一步连接到有线网络接口238，例如通用串行总线(USB)或Fire Wire
Figure BPA00001394913000261
连接器插座，用于将处理器或专用图形处理芯片232连接到外部指向装置(例如，鼠标)或计算装置，例如个人计算机260或外部局域网。
处理器或专用图形处理芯片232可为可由软件指令(应用程序)配置以执行包含上文描述的各方面的功能的多种功能的任何可编程微处理器、微型计算机或多处理器芯片。在一些移动计算装置230中，可提供多个处理器232，例如一个处理器专用于无线通信功能且一个处理器专用于运行其它应用程序。也可包含处理器或专用图形处理芯片作为通信芯片组的部分。通常，软件应用程序在其被存取且加载到处理器或专用图形处理芯片232中之前可存储在内部存储器233中。在一些移动计算装置230中，处理器或专用图形处理芯片232可包含足以存储应用程序软件指令的内部存储器。出于此描述的目的，术语存储器指代可由处理器或专用图形处理芯片232存取的所有存储器，包含内部存储器233和处理器或专用图形处理芯片232自身内的存储器。应用程序数据文件通常存储在存储器233中。在许多移动计算装置230中，存储器233可为易失性或非易失性存储器(例如快闪存储器)，或两者的混合物。
移动计算装置230还可包含运动和/或位置传感器，其经配置以向处理器或专用图形处理芯片232提供适合用于确定适当用户接口视图的位置和定向信息。此些运动和/或位置传感器可包含一个或一个以上距离传感器240、242、244、246、248，其可耦合到控制器或距离测量电路250、电子罗盘252、一个或一个以上加速度计254、一个或一个以上倾斜传感器256和相机258。
可使用多种不同的距离传感器240、242、244、246、248，包含：例如超声变换器，其通过发射和接收不可听的超声且测量所发射的声音与接收到的回声之间的时间来测量距离；以及射频(RF)收发器，其通过发射和接收RF能量脉冲且测量所发射的脉冲与接收到的脉冲之间的时间来测量距离。与距离传感器240、242、244、246、248相关联的控制器或测量电路250可包含经配置以产生或控制由传感器发射的脉冲的脉冲形成与检测电路，以及用以将信号信息转换为提供到移动计算装置处理器或专用图形处理芯片232的处理器可解译的距离测量数据的处理电路。或者，传感器控制和测量电路可集成到每一传感器中或内(例如，基于芯片的传感器)，其经配置以将数据直接传送到移动计算装置处理器或专用图形处理芯片232。通过在三维中测量到对象(包含用户)的距离，处理器或专用图形处理芯片232可检测何时移动计算装置230相对于周围环境移动。举例来说，经定向以在Z+方向37(参看图3)上测量距离的距离传感器248可向处理器或专用图形处理芯片232告知从移动计算装置230到用户的距离。此信息可例如用以在确定文件的将显示的部分时确定所采用的放大倍数，在如上文参看图6所描述。作为另一实例，定向于移动计算装置230的每一侧上的距离传感器242、244可向处理器或专用图形处理芯片232告知移动计算装置230的横向移动，例如当用户以臂长度向左或向右摆动移动计算装置230时。作为另一实例，定向于移动计算装置230的底面上的距离传感器246可通过测量到地板或台子或桌子的距离的改变来向处理器或专用图形处理芯片232告知移动计算装置230的垂直移动。
移动计算装置230中可包含任何已知类型的电子罗盘252以感测显示器239的方向。如众所周知，电子罗盘感测地球磁场线且可输出方位，例如相对于北极的度数。在移动计算装置230相对于地球磁场旋转时，此旋转可由罗盘252感测且中继到处理器或专用图形处理芯片232以作为绝对罗盘航向或相对的航向改变。此信息可由处理器或专用图形处理芯片252使用以确定显示器相对于在虚拟空间中固定的文档所定向的方向。因此，在用户例如通过围绕手腕旋转用户的手或来回摆动用户的手臂而旋转移动计算装置230时，处理器或专用图形处理芯片252可确定显示器239相对于文档或文件的观看方向，且在显示器239内产生适当部分的视图。
移动计算装置230可装备有一个或一个以上加速度计254。可使用任何已知类型的加速度计，例如集成加速度计电路，其基于在例如微型悬臂等小结构中诱发的弯曲来感测加速度。加速度计电路可包含用于三个正交方向(即，X、Y、Z轴)中的每一者的单独加速度计以便感测三维空间中的运动。也可采用额外的加速度计来感测旋转运动以便在移动计算装置230围绕轴旋转时进行测量。通过在短时间周期内整合所感测的加速度，处理器或专用图形处理芯片232可计算移动计算装置230的位置和定向的改变。由于加速度计确定的位置可能往往由于加速度计传感器的灵敏度限制和累积的数学误差而漂移，因此加速度计254可用以提供相对运动估计。或者，加速度计254可与来自其它位置/定向传感器的信息组合，以便改善用户接口对移动计算装置230的快速移动的响应性。
移动计算装置230可装备有一个或一个以上倾斜传感器256。可使用任何已知类型的倾斜传感器，例如基于在例如微型悬臂等小结构中诱发的弯曲来感测相对于重力的定向的集成加速度计电路、基于流体的倾斜传感器，以及基于机械(例如，摆锤)的倾斜传感器。可提供两个(或两个以上)倾斜传感器以使得能够在左右(即，横摇)和前后(即，纵摇)两个方向上感测移动计算装置230的倾斜。来自此些倾斜传感器256的数据可随后由处理器或专用图形处理芯片232使用以确定移动计算装置230相对于重力向量(即，朝向地球中心的方向)的定向。因此，通过组合来自两个倾斜传感器256和来自电罗盘252的信息，处理器或专用图形处理芯片232可确定移动计算装置230在三维空间内的定向(即，显示器指向的方向)。上文参看图17描述用于使用倾斜传感器将信息提供到处理器或专用图形处理芯片232以支持移动用户接口的其它过程。
移动计算装置230还可装备有相机258，其可为任何形式的数字成像器。相机258可经配置以在移动计算装置230正在移动用户接口模式中操作时获得一系列数字图像。如数字成像器领域中众所周知，可处理数字图像以检测图像场内的运动。举例来说，可使用已知算法来处理数字图像以辨识线和边缘，其中跟踪越过所辨识线和/或边缘的图像的移动以估计移动计算装置230相对于周围结构的移动。作为另一实例，可使用已知算法来处理数字图像，其将图像分段为子图像块或元素阵列，其中使用特征的从一个子图像块或元素到另一子图像块或元素的移动来估计移动计算装置230相对于周围结构的移动。上文参看图15描述用于使用相机258将位置和定向信息提供到处理器或专用图形处理芯片232的其它过程。
移动计算装置230内可包含多种类型的运动/位置传感器以便提供多维测量值以及基于互补现象的测量值。举例来说，如上文提到，电子罗盘252可与倾斜传感器256组合以提供三维定向信息。此些传感器可与经定向以测量移动计算装置230与用户之间的距离的距离传感器248组合。作为另一实例，加速度计254可与距离传感器240到248、罗盘传感器252和倾斜传感器256组合使用以使得处理器或专用图形处理芯片232能够感测快速移动且对快速移动迅速做出反应，进而适应此些传感器中的滞后以提供更具响应性的移动用户接口。作为另一实例，相机258可与电子罗盘252和倾斜传感器256组合使用以向处理器或专用图形处理芯片232提供支持移动用户接口所需的所有信息。
上文描述的方面也可实施于多种便携式计算装置中的任一者上，例如图22中所说明的笔记本计算机260。此笔记本计算机260通常包含外壳266，外壳266容纳耦合到易失性存储器262和大容量非易失性存储器(例如磁盘驱动器263)的处理器261。计算机260还可包含耦合到处理器261的软盘驱动器264和压缩光盘(CD)驱动器265。计算机外壳266通常还包含触摸板267、键盘268和显示器269。
各种方面可通过计算机处理器232、261执行经配置以实施所描述方法中的一者或一者以上的软件指令来实施。此些软件指令可作为单独的应用程序、或作为实施一方面方法的经编译软件而存储在存储器262、263中。参考数据库可存储在内部存储器233、162内、硬盘存储器264中、有形存储媒体上或可经由网络接入的服务器(未图示)上。此外，软件指令和数据库可存储在任何形式的有形处理器可读存储器中，包含：随机存取存储器233、262、硬盘存储器263、软盘(可在软盘驱动器264中读取)、压缩光盘(可在CD驱动器265中读取)、电可擦除/可编程只读存储器(EEPROM)、只读存储器(例如快闪存储器)和/或插入计算装置231、260中的存储器模块(未图示)，例如外部存储器芯片或插入到USB网络端口中的可USB连接的外部存储器(例如，“快闪驱动器”)。
类似于移动计算装置230，笔记本计算机260也可包含运动和/或位置传感器240到258，其经配置以向处理器261提供适合在确定适当的用户接口视图时使用的位置和定向信息。此些运动和/或位置传感器可包含上文参看图22描述的距离传感器240、242、244、246、248、罗盘252、加速度计254、倾斜传感器256和相机258中的每一者，其中处理器261以类似方式利用来自此些传感器的信息。
本发明的真正手持式移动用户接口提供了若干益处。所述移动用户接口允许内容(例如，文档、文件和桌面)比观看窗(即，显示器)大得多，使得内容可实质上无边界。移动用户接口提供自然的用户体验，其避免了将眼睛移动转换为按钮点击或触摸屏操作的需要。此外，移动用户接口使得用户能够观看和导航扩展的内容而不必移动内容的精神意象(假定显示器在空间中固定的常规图形用户接口就需要移动内容的精神意象)，而是在必要时使移动计算装置动来动去以观看内容。在一方面中，移动用户接口可经配置以使得用户能够以自然方式观看3D内容。移动用户接口的这些能力还可用一只手来控制，其可在移动计算装置的使用中常见的若干情形中是有利的。另外，由移动用户接口提供的能力可能推动了包含多媒体、交互式媒体、游戏等构造块技术的进一步增强。
可借助于实例说明移动用户接口的各种方面的有用性。在使用常规图形用户接口的手持式计算装置上浏览网络的用户可在触摸屏上敲击或拖曳手指以便遍历一页、选择一选项或选择一点来输入文本。使用常规用户接口，用户可通过例如双击触摸屏来从显示于触摸屏上的内容进行放大或缩小。通过重复地在触摸屏上拖曳手指，用户可观看更多内容。
在任一时间，用户可选择切换到移动用户接口模式。通过激活“模式”按钮(例如点击触摸屏上的模式选择图标或按下装置上的物理模式选择按钮)，用户发信号通知移动计算装置起始移动用户接口模式。当启动移动用户接口时，打开的内容实质上在虚拟空间中冻结于在显示器中所示的当前位置。用户可随后通过在空间中水平和垂直移动移动计算装置如同在用放大镜阅读报纸一样来审阅打开的内容以观看内容的不同部分。用户也可通过朝向或远离用户移动移动计算机装置如同在用放大镜检查报纸的一部分一样来从打开的内容进行放大和缩小。用户可通过如下方式移动到打开的内容中的下一页：水平和/或垂直移动移动计算装置以便使“下一页”的图标或链接在显示内居中，且随后按下选择按钮或敲击触摸屏上的“下一页”图标以引出打开的内容的下一页。
在任一时间，用户可选择切换回到常规图形用户接口以用常规方式观看打开内容的其余部分，或从菜单选择另一文件或文档。举例来说，用户可能需要行走或驾驶到某个地方，且希望避免由于此些移动而使显示移位。通过激活用户接口模式图标或按钮再次激活常规图形用户接口模式，其解冻了内容在虚拟空间中的位置且将内容的位置固定到移动计算装置。一旦用户再次不动，用户便可再次激活用户接口模式图标或按钮以进入移动用户接口模式，且如本文所述继续观看内容。
移动用户接口的有用性的另一实例是其允许用户从正常视角观看图像的能力。举例来说，用户可例如在移动计算装置上通过在观看显示的同时自身转动360度来观看大峡谷的360度图片。以此方式，观看图片的体验如同是用户正站在大峡谷处通过数码相机或摄像机的预览窗观看一样。
移动用户接口的另一实例应用涉及在移动手持式装置上观看高清晰度视频。高清晰度视频包含比可在手持式装置的小屏幕上呈现的信息多得多的视觉信息。通过使用移动用户接口，用户可放大视频的特定部分，例如体育事件中的个别运动员，且通过如同用摄像机拍摄或通过望远镜观看一样跟随虚拟空间中的主题来观看视频的所述部分。以此方式，高清晰度视频将表现为大图像，好像在距用户固定距离处的大屏幕电视机，其可通过向左、向右、向上和向下移动移动计算装置来扫描所述图像。由于移动用户接口的操作是直观的(与望远镜或摄像机一样直观)，所以用户可在单个元素(例如运动员或球)在视频图像内动来动去时容易跟随所述单个元素。举例来说，如果在高清晰度视频图像上运动员正在从左向右跑动，那么用户可通过从左向右扫描移动计算装置来观看所述运动员。此直观操作非常不同于常规图形用户接口中可得到的用户体验，常规图形用户接口要求用户从左向右拖曳视频图像以观看视频图像中从左向右移动的运动员。
移动用户接口可实现许多实际且有用的应用。举例来说，包含全球定位系统(GPS)接收器的移动用户接口可使用地理位置信息来从内部或外部存储装置(例如，经由空中数据链路)选择和下载位置特定的内容，其随后可使用移动用户接口来观看。举例来说，建筑物检察员或紧急事件反应者(例如，消防员)用户可(例如，从CAD数据库)下载对应于用户位置的2-D或3-D建筑物图，且随后使用移动计算装置类似于相机来观看图。以此方式，用户可能够通过来回扫描其移动计算装置来虚拟地看穿墙壁。作为另一实例，紧急事件反应者可下载其正站立的位置的图像，且随后能够观看其前方的场景的前方图像，例如在灾难反应情形中可能有用。
预期移动用户接口还将推动通过在虚拟空间中固定内容的范例实现的用于手持式计算装置的构造块技术的进步。
所属领域的技术人员应了解，可将结合本文中所揭示的方面而描述的各种说明性逻辑块、模块、电路和算法步骤实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性，上文已大体上在其功能性方面描述了块处的各种说明性组件、模块、电路及步骤。所述功能性是实施为硬件还是软件取决于特定应用及强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但所述实施方案决策不应被解释为会导致脱离本发明的范围。
上文描述且在图中展示的方法的框的次序仅用于实例目的，因为在不脱离本发明和权利要求书的精神和范围的情况下，一些框的次序可与本文描述的次序有所改变。
结合本文揭示的方面而描述的方法或算法的框可直接以硬件、以由处理器执行的软件模块或以两者的组合来体现。软件模块可驻存在处理器可读存储器中，所述处理器可读存储器可以是RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸磁盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中的任一者。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息并向存储媒体写入信息。在替代方案中，存储媒体可与处理器成一体式。处理器及存储媒体可驻留于ASIC中。ASIC可驻留于用户终端或移动计算装置中。在替代方案中，处理器和存储媒体可作为离散组件驻留在用户终端或移动计算装置中。
另外，在一些方面中，方法或算法的步骤和/或动作可作为代码和/或指令中的一者或任何组合或代码和/或指令的集合而驻存于可并入到计算机程序产品中的机器可读媒体和/或计算机可读媒体上。
提供各种方面的以上描述以使得所属领域的任何技术人员能够制作或使用本发明。所属领域的技术人员将容易明白对这些方面的各种修改，且在不偏离本发明的精神或范围的情况下，本文中所界定的一般原理可应用于其它方面。因此，本发明无意限于本文中所示的方面，而是，应赋予权利要求书与本文中所揭示的原理和新颖特征一致的最广范围。

Claims (56)

1.一种用于在移动计算装置上提供移动用户接口的方法，其包括：
感测所述移动计算装置在现实空间中的移动；
基于所述感测的移动而确定所述移动计算装置在现实空间中的位置改变；
基于所述移动计算装置的所述确定的位置改变而确定被视为在虚拟空间中固定的内容的观看视角；以及
基于所述确定的观看视角而产生所述内容的至少一部分的显示。
2.根据权利要求1所述的方法，其进一步包括：
接收用以选择所述内容的选择的信号；
确定所述内容的位于所述显示的中心附近的部分；以及
选择所述内容的位于所述显示的中心附近的所述部分。
3.根据权利要求2所述的方法，其进一步包括在所述产生的显示内包含选择辅助，其中所述选择辅助指示所述显示的所述中心和所述显示内的所述内容的将被选择的所述部分中的一者。
4.根据权利要求3所述的方法，其进一步包括：
依据位于所述显示的所述中心附近的所述内容而选择所述选择辅助的形式，
其中所述选择辅助的所述形式选自由十字准线、圆、椭圆、框、增强亮度区、增强清晰度区和阴影区组成的群组。
5.根据权利要求2所述的方法，其中由于按钮按下而接收到所述用以选择所述内容的选择的信号。
6.根据权利要求1所述的方法，其进一步包括：
在所述产生的显示内包含选择辅助，其中所述选择辅助指示所述显示内的所述内容的可被选择的部分；
接收用以选择所述内容的选择的信号；
确定所述内容的位于所述选择辅助内的所述部分；以及
对所述内容的位于所述选择辅助内的所述部分执行动作。
7.根据权利要求1所述的方法，其中感测现实空间中的移动包括从选自由加速度计、距离测量传感器、倾斜传感器、相机和罗盘组成的群组的传感器接收信号。
8.根据权利要求1所述的方法，其进一步包括：
确定所述移动计算装置与用户之间的距离；以及
基于所述确定的距离而将一放大率应用于所述内容的所述显示的部分。
9.根据权利要求1所述的方法，其进一步包括：
感测所述移动计算装置的倾斜；以及
基于所述感测的倾斜而在虚拟空间中重新定位所述内容。
10.根据权利要求1所述的方法，其中感测现实空间中的移动包括：
从相机接收数字图像；
将所述接收的数字图像的至少一部分与先前数字图像的至少一部分进行比较以识别连续图像的改变；以及
基于所述连续图像的所述识别的改变而确定移动。
11.根据权利要求1所述的方法，其中确定被视为在虚拟空间中固定的所述内容的所述观看视角是进一步基于应用于所述移动计算装置的所述确定的位置改变的虚拟移动缩放因数。
12.根据权利要求1所述的方法，其进一步包括：
当在图形用户接口模式中时接收用户接口模式选择输入；以及
基于在所述图形用户接口模式中所述内容的显示而在虚拟空间中固定所述内容。
13.根据权利要求11所述的方法，其进一步包括：
当在移动用户接口模式中时接收用户接口模式选择输入；
在移动计算装置显示器中固定所述内容；以及
实施所述图形用户接口模式。
14.根据权利要求12所述的方法，其中由于按钮按下而接收到所述用户接口模式选择输入。
15.一种移动计算装置，其包括：
处理器；
显示器，其耦合到所述处理器；以及
传感器，其耦合到所述处理器，所述传感器选自由加速度计、距离测量传感器、倾斜传感器、相机和罗盘组成的群组，
其中所述处理器以软件可执行指令配置来执行包括以下各项的操作：
从所述传感器接收信号；
基于所述接收的传感器信号而确定所述移动计算装置在现实空间中的位置改变；
基于所述移动计算装置的所述确定的位置改变而确定被视为在虚拟空间中固定的内容的观看视角；以及
基于所述确定的观看视角而产生所述内容的至少一部分的显示上的图像。
16.根据权利要求15所述的移动计算装置，其中所述处理器以软件可执行指令配置来执行包括以下各项的操作：
接收用以选择所述内容的选择的信号；
确定所述内容的位于所述显示的中心附近的部分；以及
选择所述内容的位于所述显示的中心附近的所述部分。
17.根据权利要求16所述的移动计算装置，其中所述处理器以软件可执行指令配置来执行进一步包括以下各项的操作：在所述产生的显示内包含选择辅助，其中所述选择辅助指示所述显示的所述中心和所述显示内的所述内容的将被选择的所述部分中的一者。
18.根据权利要求17所述的移动计算装置，其中所述处理器以软件可执行指令配置来执行进一步包括以下各项的操作：
依据位于所述显示的所述中心附近的所述内容而选择所述选择辅助的形式，
其中所述选择辅助的所述形式选自由十字准线、圆、椭圆、框、增强亮度区、增强清晰度区和阴影区组成的群组。
19.根据权利要求16所述的移动计算装置，其进一步包括耦合到所述处理器的按钮，其中由于所述按钮的按下而接收到所述用以选择所述内容的选择的信号。
20.根据权利要求15所述的移动计算装置，其中所述处理器以软件可执行指令配置来执行进一步包括以下各项的操作：
在所述产生的显示内包含选择辅助，其中所述选择辅助指示所述显示内的所述内容的可被选择的部分；
接收用以选择所述内容的选择的信号；
确定所述内容的位于所述选择辅助内的所述部分；以及
对所述内容的位于所述选择辅助内的所述部分执行动作。
21.根据权利要求15所述的移动计算装置，其中所述处理器以软件可执行指令配置来执行以下操作：基于从所述传感器接收的所述信号而感测移动。
22.根据权利要求15所述的移动计算装置，其中所述处理器以软件可执行指令配置来执行进一步包括以下各项的操作：
确定所述移动计算装置与用户之间的距离；以及
基于所述确定的距离而将一放大率应用于所述内容的所述显示的部分。
23.根据权利要求15所述的移动计算装置，其进一步包括耦合到所述处理器的倾斜传感器，所述倾斜传感器经配置以感测所述移动计算装置的倾斜，
其中所述处理器以软件可执行指令配置来执行进一步包括基于所述感测的倾斜而在虚拟空间中重新定位所述内容的操作。
24.根据权利要求15所述的移动计算装置，其中：
所述传感器包括相机；且
其中所述处理器以软件可执行指令配置来执行操作以使得感测现实空间中的移动包括：
从所述相机接收数字图像；
将所述接收的数字图像的至少一部分与先前数字图像的至少一部分进行比较以识别连续图像的改变；以及
基于所述连续图像的所述识别的改变而确定移动。
25.根据权利要求15所述的移动计算装置，其中所述处理器以软件可执行指令配置来执行操作以使得确定被视为在虚拟空间中固定的所述内容的所述观看视角是进一步基于应用于所述移动计算装置的所述确定的位置改变的虚拟移动缩放因数。
26.根据权利要求15所述的移动计算装置，其中所述处理器以软件可执行指令配置来执行进一步包括以下各项的操作：
当在图形用户接口模式中时接收用户接口模式选择输入；
基于在所述图形用户接口模式中所述内容的显示而在虚拟空间中固定所述内容；以及
实施移动用户接口模式。
27.根据权利要求26所述的移动计算装置，其中所述处理器以软件可执行指令配置来执行进一步包括以下各项的操作：
当在所述移动用户接口模式中时接收用户接口模式选择输入；
在所述移动计算装置显示器中固定所述内容；以及
实施所述图形用户接口模式。
28.根据权利要求27所述的移动计算装置，其进一步包括按钮，其中由于按钮按下而接收到所述用户接口模式选择输入。
29.一种移动计算装置，其包括：
用于感测所述移动计算装置在现实空间中的移动的装置；
用于基于所述感测的移动而确定所述移动计算装置在现实空间中的位置改变的装置；
用于基于所述移动计算装置的所述确定的位置改变而确定被视为在虚拟空间中固定的内容的观看视角的装置；以及
用于基于所述确定的观看视角而产生所述内容的至少一部分的显示的装置。
30.根据权利要求29所述的移动计算装置，其进一步包括：
用于接收用以选择所述内容的选择的信号的装置；
用于确定所述内容的位于所述显示的中心附近的部分的装置；以及
用于选择所述内容的位于所述显示的中心附近的所述部分的装置。
31.根据权利要求30所述的移动计算装置，其进一步包括用于在所述产生的显示内包含选择辅助的装置，其中所述选择辅助指示所述显示的所述中心和所述显示内的所述内容的将被选择的所述部分中的一者。
32.根据权利要求31所述的移动计算装置，其进一步包括：
用于依据位于所述显示的所述中心附近的所述内容而选择所述选择辅助的形式的装置，
其中所述选择辅助的所述形式选自由十字准线、圆、椭圆、框、增强亮度区、增强清晰度区和阴影区组成的群组。
33.根据权利要求30所述的移动计算装置，其中用于接收用以选择所述内容的选择的信号的装置包括用于指示按钮按下的装置。
34.根据权利要求29所述的移动计算装置，其进一步包括：
用于在所述产生的显示内包含选择辅助的装置，其中所述选择辅助指示所述显示内的所述内容的可被选择的部分；
用于接收用以选择所述内容的选择的信号的装置；
用于确定所述内容的位于所述选择辅助内的所述部分的装置；以及
用于对所述内容的位于所述选择辅助内的所述部分执行动作的装置。
35.根据权利要求29所述的移动计算装置，其中用于感测现实空间中的移动的装置包用于从选自由以下各项组成的群组的传感器接收信号的装置：
用于感测加速度计的装置；
用于测量距离的装置；
用于测量倾斜的装置；
用于获得数字图像的装置；以及
用于测量相对于地球磁场的定向的装置。
36.根据权利要求29所述的移动计算装置，其进一步包括：
用于确定所述移动计算装置与用户之间的距离的装置；以及
用于基于所述确定的距离而将一放大率应用于所述内容的所述显示的部分的装置。
37.根据权利要求29所述的移动计算装置，其进一步包括：
用于感测所述移动计算装置的倾斜的装置；以及
用于基于所述感测的倾斜而在虚拟空间中重新定位所述内容的装置。
38.根据权利要求29所述的移动计算装置，其中感测现实空间中的移动包括：
用于获得数字图像的装置；
用于将第一数字图像的至少一部分与第二数字图像的至少一部分进行比较以识别连续图像的改变的装置；以及
用于基于所述连续图像的所述识别的改变而确定移动的装置。
39.根据权利要求29所述的移动计算装置，其中用于确定被视为在虚拟空间中固定的所述内容的所述观看视角的装置包含用于基于应用于所述移动计算装置的所述确定的位置改变的虚拟移动缩放因数而确定所述内容的所述观看视角的装置。
40.根据权利要求29所述的移动计算装置，其进一步包括：
用于当在图形用户接口模式中时接收用户接口模式选择输入的装置；
用于基于在所述图形用户接口模式中所述内容的显示而在虚拟空间中固定所述内容的装置；以及
用于实施移动用户接口模式的装置。
41.根据权利要求40所述的移动计算装置，其进一步包括：
用于当在所述移动用户接口模式中时接收用户接口模式选择输入的装置；
用于在移动计算装置显示器中固定所述内容的装置；以及
用于实施所述图形用户接口模式的装置。
42.根据权利要求41所述的移动计算装置，其中用于接收用户接口模式选择输入的装置包括用于接收按钮按下的指示的装置。
43.一种计算机程序产品，其包括：
计算机可读媒体，其包括：
用于从选自由加速度计、距离测量传感器、倾斜传感器、相机和罗盘组成的群组的传感器接收信号的至少一个指令；
用于基于所述接收的传感器信号而确定移动计算装置在现实空间中的位置改变的至少一个指令；
用于基于所述移动计算装置的所述确定的位置改变而确定被视为在虚拟空间中固定的内容的观看视角的至少一个指令；以及
用于基于所述确定的观看视角而产生所述内容的至少一部分的显示上的图像的至少一个指令。
44.根据权利要求43所述的计算机程序产品，其中所述计算机可读媒体进一步包括：
用于接收用以选择所述内容的选择的信号的至少一个指令；
用于确定所述内容的位于所述显示的中心附近的部分的至少一个指令；以及
用于选择所述内容的位于所述显示的中心附近的所述部分的至少一个指令。
45.根据权利要求44所述的计算机程序产品，所述计算机可读媒体进一步包括用于在所述产生的显示内包含选择辅助的至少一个指令，其中所述选择辅助指示所述显示的所述中心和所述显示内的所述内容的将被选择的所述部分中的一者。
46.根据权利要求45所述的计算机程序产品，所述计算机可读媒体进一步包括：
用于依据位于所述显示的所述中心附近的所述内容而选择所述选择辅助的形式的至少一个指令，
其中所述选择辅助的所述形式选自由十字准线、圆、椭圆、框、增强亮度区、增强清晰度区和阴影区组成的群组。
47.根据权利要求44所述的计算机程序产品，所述计算机可读媒体进一步包括用于由于按钮按下而接收所述用以选择所述内容的选择的信号的至少一个指令。
48.根据权利要求43所述的计算机程序产品，所述计算机可读媒体进一步包括：
用于在所述产生的显示内包含选择辅助的至少一个指令，其中所述选择辅助指示所述显示内的所述内容的可被选择的部分；
用于接收用以选择所述内容的选择的信号的至少一个指令；
用于确定所述内容的位于所述选择辅助内的所述部分的至少一个指令；以及
用于对所述内容的位于所述选择辅助内的所述部分执行动作的至少一个指令。
49.根据权利要求43所述的计算机程序产品，其中所述计算机可读媒体进一步包括用于基于从所述传感器接收的所述信号而感测移动的至少一个指令。
50.根据权利要求43所述的计算机程序产品，其中所述计算机可读媒体进一步包括：
用于确定所述移动计算装置与用户之间的距离的至少一个指令；以及
用于基于所述确定的距离而将一放大率应用于所述内容的所述显示的部分的至少一个指令。
51.根据权利要求43所述的计算机程序产品，其中所述计算机可读媒体进一步包括用于基于所述感测的倾斜而在虚拟空间中重新定位所述内容的至少一个指令。
52.根据权利要求43所述的计算机程序产品，其中所述计算机可读媒体使得感测现实空间中的移动包括：
用于从所述相机接收数字图像的至少一个指令；
用于将所述接收的数字图像的至少一部分与先前数字图像的至少一部分进行比较以识别连续图像的改变的至少一个指令；以及
用于基于所述连续图像的所述识别的改变而确定移动的至少一个指令。
53.根据权利要求43所述的计算机程序产品，其中所述用于确定被视为在虚拟空间中固定的所述内容的所述观看视角的至少一个指令包含用于进一步基于应用于所述移动计算装置的所述确定的位置改变的虚拟移动缩放因数而确定所述观看视角的至少一个指令。
54.根据权利要求43所述的计算机程序产品，其中所述计算机可读媒体进一步包括：
用于当在图形用户接口模式中时接收用户接口模式选择输入的至少一个指令；
用于基于在所述图形用户接口模式中所述内容的显示而在虚拟空间中固定所述内容的至少一个指令；以及
用于实施移动用户接口模式的至少一个指令。
55.根据权利要求54所述的计算机程序产品，其中所述计算机可读媒体进一步包括：
用于当在所述移动用户接口模式中时接收用户接口模式选择输入的至少一个指令；
用于在移动计算装置显示器中固定所述内容的至少一个指令；以及
用于实施所述图形用户接口模式的至少一个指令。
56.根据权利要求55所述的计算机程序产品，所述计算机可读媒体进一步包括用于由于按钮按下而接收所述用户接口模式选择输入的至少一个指令。
CN2009801540339A 2009-01-06 2009-03-18 用于移动装置的用户接口 Pending CN102272690A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14280609P 2009-01-06 2009-01-06
US61/142,806 2009-01-06
US12/401,758 US8441441B2 (en) 2009-01-06 2009-03-11 User interface for mobile devices
US12/401,758 2009-03-11
PCT/US2009/037501 WO2010080166A1 (en) 2009-01-06 2009-03-18 User interface for mobile devices

Publications (1)

Publication Number Publication Date
CN102272690A true CN102272690A (zh) 2011-12-07

Family

ID=42312228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801540339A Pending CN102272690A (zh) 2009-01-06 2009-03-18 用于移动装置的用户接口

Country Status (6)

Country Link
US (1) US8441441B2 (zh)
EP (1) EP2386077A1 (zh)
JP (1) JP2012514786A (zh)
KR (1) KR20110104096A (zh)
CN (1) CN102272690A (zh)
WO (1) WO2010080166A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455257A (zh) * 2013-08-30 2013-12-18 华为技术有限公司 一种电子放大镜的实现方法及用户终端
CN104040576A (zh) * 2011-12-14 2014-09-10 电子湾有限公司 物理对象的多角度成像
CN104471519A (zh) * 2014-06-16 2015-03-25 华为技术有限公司 移动终端中呈现全景照片的方法和装置、以及移动终端
CN105247454A (zh) * 2013-03-18 2016-01-13 脸谱公司 倾斜以滚动
CN103853447B (zh) * 2012-12-04 2016-08-17 纬创资通股份有限公司 游标控制方法
CN109804341A (zh) * 2017-07-31 2019-05-24 腾讯科技（深圳）有限公司 与显示在用户界面上的三维互联网内容的交互
CN110546946A (zh) * 2017-02-27 2019-12-06 斯纳普公司 基于装置移动处理媒体内容

Families Citing this family (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7466992B1 (en) * 2001-10-18 2008-12-16 Iwao Fujisaki Communication device
JP5039950B2 (ja) * 2008-03-21 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション オブジェクト移動制御システム、オブジェクト移動制御方法、サーバ及びコンピュータプログラム
JP5315891B2 (ja) * 2008-09-24 2013-10-16 富士通株式会社 距離測定装置、距離測定方法及び距離測定プログラム
EP3258468B1 (en) 2008-11-10 2019-08-21 Google LLC Multisensory speech detection
KR20110128322A (ko) * 2009-03-03 2011-11-29 디지맥 코포레이션 공공 디스플레이들로부터의 내로우캐스팅과, 관련 처리방식들
US20100251171A1 (en) * 2009-03-31 2010-09-30 Parulski Kenneth A Graphical user interface which adapts to viewing distance
US8878772B2 (en) * 2009-08-21 2014-11-04 Mitsubishi Electric Research Laboratories, Inc. Method and system for displaying images on moveable display devices
KR20110074017A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 멀티미디어 기기 및 그 동작 제어 방법
EP2357220A1 (en) * 2010-02-10 2011-08-17 The Procter & Gamble Company Cleaning composition comprising amylase variants with high stability in the presence of a chelating agent
WO2011105502A1 (ja) * 2010-02-24 2011-09-01 京セラ株式会社 携帯電子機器および投影システム
JP5428966B2 (ja) * 2010-03-15 2014-02-26 ソニー株式会社 画像表示装置、および画像表示制御方法、並びにプログラム
US9235268B2 (en) 2010-04-09 2016-01-12 Nokia Technologies Oy Method and apparatus for generating a virtual interactive workspace
US8898567B2 (en) * 2010-04-09 2014-11-25 Nokia Corporation Method and apparatus for generating a virtual interactive workspace
US20110298887A1 (en) * 2010-06-02 2011-12-08 Maglaque Chad L Apparatus Using an Accelerometer to Capture Photographic Images
US8717289B2 (en) * 2010-06-22 2014-05-06 Hsni Llc System and method for integrating an electronic pointing device into digital image data
US20120002004A1 (en) * 2010-06-30 2012-01-05 Apple Inc. Immersive Navigation and Rendering of Dynamically Reassembled Panoramas
US20120020297A1 (en) * 2010-07-23 2012-01-26 Albert Cecchini Mobile handheld for voice communication over the internet
DE102010047779A1 (de) * 2010-10-08 2012-04-12 Hicat Gmbh Computer und Verfahren zur visuellen Navigation in einem dreidimensionalen Bilddatensatz
US9111386B2 (en) 2010-11-02 2015-08-18 Covidien Lp Image viewing application and method for orientationally sensitive display devices
EP2646987A1 (en) 2010-12-03 2013-10-09 App.Lab Inc. System and method for presenting images
KR101496602B1 (ko) * 2010-12-22 2015-02-26 인텔 코오퍼레이션 가상 터치 스크린 키보드를 디스플레이하기 위한 방법, 및 그 방법을 이용한 모바일 디바이스
KR101892630B1 (ko) * 2011-01-10 2018-08-28 삼성전자주식회사 터치 디스플레이 장치 및 그 디스플레이 방법
KR101323460B1 (ko) * 2011-01-18 2013-11-04 주식회사 팬택 영상 객체와 실시간 대응하는 객체정보 표시 시스템 및 방법
US20120194692A1 (en) * 2011-01-31 2012-08-02 Hand Held Products, Inc. Terminal operative for display of electronic record
US9201185B2 (en) 2011-02-04 2015-12-01 Microsoft Technology Licensing, Llc Directional backlighting for display panels
US9285883B2 (en) * 2011-03-01 2016-03-15 Qualcomm Incorporated System and method to display content based on viewing orientation
US9035940B2 (en) 2011-03-08 2015-05-19 Nokia Corporation Apparatus and associated methods
US10373375B2 (en) 2011-04-08 2019-08-06 Koninklijke Philips N.V. Image processing system and method using device rotation
EP2701046A4 (en) * 2011-04-20 2014-10-29 Nec Casio Mobile Comm Ltd DISPLAY CONTROL DEVICE, METHOD AND PROGRAM
TW201248608A (en) * 2011-05-31 2012-12-01 Hon Hai Prec Ind Co Ltd Display adjusting system, hand-held electronic device and display adjusting method
US9183806B2 (en) * 2011-06-23 2015-11-10 Verizon Patent And Licensing Inc. Adjusting font sizes
US8194036B1 (en) 2011-06-29 2012-06-05 Google Inc. Systems and methods for controlling a cursor on a display using a trackpad input device
US8559766B2 (en) * 2011-08-16 2013-10-15 iParse, LLC Automatic image capture
US10489570B2 (en) * 2011-09-09 2019-11-26 Google Llc Preventing computing device from timing out
KR101188871B1 (ko) * 2011-09-27 2012-10-15 주식회사 에이티랩 저시력인을 위한 터치스크린 장치 및 그 디스플레이 방법
US9906927B2 (en) 2011-09-28 2018-02-27 Elwha Llc Multi-modality communication initiation
US9762524B2 (en) 2011-09-28 2017-09-12 Elwha Llc Multi-modality communication participation
US9002937B2 (en) 2011-09-28 2015-04-07 Elwha Llc Multi-party multi-modality communication
US9699632B2 (en) 2011-09-28 2017-07-04 Elwha Llc Multi-modality communication with interceptive conversion
US9477943B2 (en) 2011-09-28 2016-10-25 Elwha Llc Multi-modality communication
US9503550B2 (en) 2011-09-28 2016-11-22 Elwha Llc Multi-modality communication modification
US8768249B2 (en) * 2011-09-29 2014-07-01 Qualcomm Innovation Center, Inc. Mobile communication-device-controlled operations
US9121724B2 (en) 2011-09-30 2015-09-01 Apple Inc. 3D position tracking for panoramic imagery navigation
EP2581268B2 (en) * 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
US20130111330A1 (en) * 2011-11-01 2013-05-02 Research In Motion Limited Accelerated compositing of fixed position elements on an electronic device
US8872800B2 (en) * 2011-11-02 2014-10-28 Microsoft Corporation Optical tablet stylus and indoor navigation system
US8515496B2 (en) * 2011-12-15 2013-08-20 Amazon Technologies, Inc. Antenna deployment switching for data communication of a user device
US20130191787A1 (en) * 2012-01-06 2013-07-25 Tourwrist, Inc. Systems and Methods for Acceleration-Based Motion Control of Virtual Tour Applications
KR101975906B1 (ko) * 2012-01-09 2019-05-08 삼성전자주식회사 영상 표시 장치에서 응용 프로그램의 레이아웃을 스케일링하기 위한 장치 및 방법
US20130194314A1 (en) * 2012-01-26 2013-08-01 Nokia Corporation Desktop extension
US9052414B2 (en) 2012-02-07 2015-06-09 Microsoft Technology Licensing, Llc Virtual image device
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US8749529B2 (en) 2012-03-01 2014-06-10 Microsoft Corporation Sensor-in-pixel display system with near infrared filter
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9064654B2 (en) 2012-03-02 2015-06-23 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9706089B2 (en) 2012-03-02 2017-07-11 Microsoft Technology Licensing, Llc Shifted lens camera for mobile computing devices
US9426905B2 (en) 2012-03-02 2016-08-23 Microsoft Technology Licensing, Llc Connection device for computing devices
USRE48963E1 (en) 2012-03-02 2022-03-08 Microsoft Technology Licensing, Llc Connection device for computing devices
US9360893B2 (en) 2012-03-02 2016-06-07 Microsoft Technology Licensing, Llc Input device writing surface
US9298236B2 (en) 2012-03-02 2016-03-29 Microsoft Technology Licensing, Llc Multi-stage power adapter configured to provide a first power level upon initial connection of the power adapter to the host device and a second power level thereafter upon notification from the host device to the power adapter
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US8873227B2 (en) 2012-03-02 2014-10-28 Microsoft Corporation Flexible hinge support layer
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
CN103364757B (zh) * 2012-03-28 2017-07-21 富泰华工业（深圳）有限公司 便携式电子装置及其测距装置
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
JP5973788B2 (ja) * 2012-05-28 2016-08-23 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
US10031556B2 (en) 2012-06-08 2018-07-24 Microsoft Technology Licensing, Llc User experience adaptation
US9019615B2 (en) 2012-06-12 2015-04-28 Microsoft Technology Licensing, Llc Wide field-of-view virtual image projector
US8947353B2 (en) 2012-06-12 2015-02-03 Microsoft Corporation Photosensor array gesture detection
US9459160B2 (en) 2012-06-13 2016-10-04 Microsoft Technology Licensing, Llc Input device sensor configuration
US9073123B2 (en) 2012-06-13 2015-07-07 Microsoft Technology Licensing, Llc Housing vents
US9684382B2 (en) 2012-06-13 2017-06-20 Microsoft Technology Licensing, Llc Input device configuration having capacitive and pressure sensors
US20130339830A1 (en) 2012-06-15 2013-12-19 Microsoft Corporation Optimized document views for mobile device interfaces
US9256089B2 (en) 2012-06-15 2016-02-09 Microsoft Technology Licensing, Llc Object-detecting backlight unit
US20140089850A1 (en) * 2012-09-22 2014-03-27 Tourwrist, Inc. Systems and Methods of Using Motion Control to Navigate Panoramas and Virtual Tours
TW201403446A (zh) * 2012-07-09 2014-01-16 Hon Hai Prec Ind Co Ltd 軟體介面顯示系統及方法
US9131143B2 (en) * 2012-07-20 2015-09-08 Blackberry Limited Dynamic region of interest adaptation and image capture device providing same
US9355345B2 (en) 2012-07-23 2016-05-31 Microsoft Technology Licensing, Llc Transparent tags with encoded data
US8964379B2 (en) 2012-08-20 2015-02-24 Microsoft Corporation Switchable magnetic lock
JP2014041491A (ja) * 2012-08-22 2014-03-06 Rohm Co Ltd タッチパッドモジュールおよびそれを用いた電子機器
US9690334B2 (en) * 2012-08-22 2017-06-27 Intel Corporation Adaptive visual output based on change in distance of a mobile device to a user
CN103677259B (zh) * 2012-09-18 2018-05-29 三星电子株式会社 用于引导控制器的方法、多媒体装置及其目标跟踪装置
US9152173B2 (en) 2012-10-09 2015-10-06 Microsoft Technology Licensing, Llc Transparent display device
US8654030B1 (en) 2012-10-16 2014-02-18 Microsoft Corporation Antenna placement
CN104870123B (zh) 2012-10-17 2016-12-14 微软技术许可有限责任公司 金属合金注射成型突起
CN104903026B (zh) 2012-10-17 2017-10-24 微软技术许可有限责任公司 金属合金注射成型溢流口
WO2014059618A1 (en) 2012-10-17 2014-04-24 Microsoft Corporation Graphic formation via material ablation
US8952892B2 (en) 2012-11-01 2015-02-10 Microsoft Corporation Input location correction tables for input panels
US8786767B2 (en) 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
US9159133B2 (en) * 2012-11-05 2015-10-13 Qualcomm Incorporated Adaptive scale and/or gravity estimation
US9513748B2 (en) 2012-12-13 2016-12-06 Microsoft Technology Licensing, Llc Combined display panel circuit
US9965877B2 (en) * 2012-12-21 2018-05-08 Nokia Technologies Oy Image processing apparatus and associated methods
US9176538B2 (en) 2013-02-05 2015-11-03 Microsoft Technology Licensing, Llc Input device configurations
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
US20140232634A1 (en) * 2013-02-19 2014-08-21 Apple Inc. Touch-based gestures modified by gyroscope and accelerometer
CN104008744B (zh) * 2013-02-25 2016-08-17 联想(北京)有限公司 显示方法和电子设备
CN103150361B (zh) * 2013-02-27 2017-02-08 优视科技有限公司 一种网页显示方法及装置
US9638835B2 (en) 2013-03-05 2017-05-02 Microsoft Technology Licensing, Llc Asymmetric aberration correcting lens
US9472844B2 (en) * 2013-03-12 2016-10-18 Intel Corporation Apparatus, system and method of wireless beamformed communication
US9933921B2 (en) 2013-03-13 2018-04-03 Google Technology Holdings LLC System and method for navigating a field of view within an interactive media-content item
US10152135B2 (en) 2013-03-15 2018-12-11 Intel Corporation User interface responsive to operator position and gestures
US9304549B2 (en) 2013-03-28 2016-04-05 Microsoft Technology Licensing, Llc Hinge mechanism for rotatable component attachment
US9552777B2 (en) 2013-05-10 2017-01-24 Microsoft Technology Licensing, Llc Phase control backlight
WO2014190293A2 (en) * 2013-05-24 2014-11-27 New York University Haptic force-feedback for computing interfaces
JP6166961B2 (ja) * 2013-06-18 2017-07-19 Kddi株式会社 モバイル端末
CN104281397B (zh) * 2013-07-10 2018-08-14 华为技术有限公司 多深度区间的重聚焦方法、装置及电子设备
EP3022944A2 (en) 2013-07-19 2016-05-25 Google Technology Holdings LLC View-driven consumption of frameless media
EP3022941A1 (en) 2013-07-19 2016-05-25 Google Technology Holdings LLC Visual storytelling on a mobile media-consumption device
EP3022934A1 (en) 2013-07-19 2016-05-25 Google Technology Holdings LLC Small-screen movie-watching using a viewport
US10298898B2 (en) 2013-08-31 2019-05-21 Ml Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
US20150062178A1 (en) * 2013-09-05 2015-03-05 Facebook, Inc. Tilting to scroll
US9877080B2 (en) 2013-09-27 2018-01-23 Samsung Electronics Co., Ltd. Display apparatus and method for controlling thereof
EP3540683A1 (en) 2013-12-03 2019-09-18 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
US9134764B2 (en) 2013-12-20 2015-09-15 Sony Corporation Apparatus and method for controlling a display based on a manner of holding the apparatus
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
CN104750395B (zh) * 2013-12-31 2018-05-22 富泰华工业（深圳）有限公司 用户界面调整系统及其调整方法
EP3092790B1 (en) 2014-01-07 2020-07-29 ML Netherlands C.V. Adaptive camera control for reducing motion blur during real-time image capture
WO2015104235A1 (en) * 2014-01-07 2015-07-16 Dacuda Ag Dynamic updating of composite images
US20150199030A1 (en) * 2014-01-10 2015-07-16 Microsoft Corporation Hover-Sensitive Control Of Secondary Display
US9317072B2 (en) 2014-01-28 2016-04-19 Microsoft Technology Licensing, Llc Hinge mechanism with preset positions
US9759854B2 (en) 2014-02-17 2017-09-12 Microsoft Technology Licensing, Llc Input device outer layer and backlighting
JP6208602B2 (ja) * 2014-03-13 2017-10-04 株式会社Ｎｔｔドコモ 制御装置及びプログラム
US10120420B2 (en) 2014-03-21 2018-11-06 Microsoft Technology Licensing, Llc Lockable display and techniques enabling use of lockable displays
US10484561B2 (en) 2014-05-12 2019-11-19 Ml Netherlands C.V. Method and apparatus for scanning and printing a 3D object
CN105205386A (zh) * 2014-06-25 2015-12-30 腾讯科技（深圳）有限公司 移动终端应用程序密码保护方法和装置
US9851868B2 (en) 2014-07-23 2017-12-26 Google Llc Multi-story visual experience
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
US10341731B2 (en) 2014-08-21 2019-07-02 Google Llc View-selection feedback for a visual experience
US9424048B2 (en) 2014-09-15 2016-08-23 Microsoft Technology Licensing, Llc Inductive peripheral retention device
US9447620B2 (en) 2014-09-30 2016-09-20 Microsoft Technology Licensing, Llc Hinge mechanism with multiple preset positions
GB2532010A (en) * 2014-11-04 2016-05-11 Samsung Electronics Co Ltd Display method and device
KR101664038B1 (ko) * 2014-12-09 2016-10-10 현대자동차 주식회사 차량의 집중 조작 시스템
US10002589B2 (en) 2015-03-04 2018-06-19 Qualcomm Incorporated Retaining user selected screen area on user equipment
US9983693B2 (en) * 2015-03-13 2018-05-29 Adtile Technologies Inc. Spatial motion-based user interactivity
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US9752361B2 (en) 2015-06-18 2017-09-05 Microsoft Technology Licensing, Llc Multistage hinge
US9864415B2 (en) 2015-06-30 2018-01-09 Microsoft Technology Licensing, Llc Multistage friction hinge
US10073612B1 (en) 2015-08-17 2018-09-11 Bentley Systems, Incorporated Fixed cursor input interface for a computer aided design application executing on a touch screen device
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10344797B2 (en) 2016-04-05 2019-07-09 Microsoft Technology Licensing, Llc Hinge with multiple preset positions
US20170344217A1 (en) * 2016-05-31 2017-11-30 International Business Machines Corporation Pointer-based gui for mobile devices
US20180032536A1 (en) * 2016-08-01 2018-02-01 Barbara Carey Stachowski Method of and system for advertising real estate within a defined geo-targeted audience
US10037057B2 (en) 2016-09-22 2018-07-31 Microsoft Technology Licensing, Llc Friction hinge
US10168767B2 (en) * 2016-09-30 2019-01-01 Intel Corporation Interaction mode selection based on detected distance between user and machine interface
CN111124156B (zh) * 2018-11-01 2023-07-18 中兴通讯股份有限公司 移动终端的交互控制方法和移动终端
US11372533B2 (en) 2018-11-09 2022-06-28 Samsung Electronics Co., Ltd. Display method and display device in portable terminal
US11281289B2 (en) 2020-02-21 2022-03-22 Honda Motor Co., Ltd. Content adjustment based on vehicle motion and eye gaze
JP2023527695A (ja) 2020-05-11 2023-06-30 マジック リープ， インコーポレイテッド ３ｄ環境の合成表現を算出するための算出上効率的方法
JP2023036101A (ja) * 2021-09-02 2023-03-14 株式会社日立製作所 ソリューション管理システムおよびソリューション管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
CN1799041A (zh) * 2003-07-01 2006-07-05 多莫森株式会社 带有倾斜传感器、具有三维观察功能的手持装置以及使用该手持装置的显示系统
CN101196795A (zh) * 2006-08-02 2008-06-11 捷讯研究有限公司 调整设备上的文本、图像和运动图像的呈现的系统和方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4746770A (en) 1987-02-17 1988-05-24 Sensor Frame Incorporated Method and apparatus for isolating and manipulating graphic objects on computer video monitor
JP3089251B2 (ja) 1990-09-03 2000-09-18 株式会社電脳商会 マルチメディア情報処理方法
JPH10254614A (ja) 1997-03-06 1998-09-25 Hitachi Ltd 携帯型電子処理装置及びその操作方法
US20010052895A1 (en) 1999-03-16 2001-12-20 Dinesh Kashinath Anvekar Method and apparatus for mouse positioning device based on infrared light sources and detector
JP2002007027A (ja) 2000-06-27 2002-01-11 Masanori Idesawa 画像情報表示装置
FI117488B (fi) 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
JP4779299B2 (ja) 2004-01-27 2011-09-28 ソニー株式会社 表示装置および表示制御方法、記録媒体、並びにプログラム
JP4429047B2 (ja) 2004-03-11 2010-03-10 キヤノン株式会社 座標入力装置及びその制御方法、プログラム
EP1784787A4 (en) * 2004-08-23 2007-10-17 Gamecaster Inc APPARATUS, METHODS AND SYSTEMS FOR VISUALIZING AND HANDLING A VIRTUAL ENVIRONMENT
NO20044073D0 (no) 2004-09-27 2004-09-27 Isak Engquist Informasjonsbehandlingssystem og fremgangsmate
JP2006146440A (ja) 2004-11-17 2006-06-08 Sony Corp 電子機器及び情報表示選択方法
JP2007166474A (ja) 2005-12-16 2007-06-28 Softbank Mobile Corp 情報通信端末
EP2259163A3 (en) 2006-08-02 2011-03-16 Research In Motion Limited System and method for adjusting presentation of moving images on an electronic device according to an orientation of the device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
CN1799041A (zh) * 2003-07-01 2006-07-05 多莫森株式会社 带有倾斜传感器、具有三维观察功能的手持装置以及使用该手持装置的显示系统
CN101196795A (zh) * 2006-08-02 2008-06-11 捷讯研究有限公司 调整设备上的文本、图像和运动图像的呈现的系统和方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104040576A (zh) * 2011-12-14 2014-09-10 电子湾有限公司 物理对象的多角度成像
CN103853447B (zh) * 2012-12-04 2016-08-17 纬创资通股份有限公司 游标控制方法
US10019147B2 (en) 2013-03-18 2018-07-10 Facebook, Inc. Tilting to scroll
CN105247454A (zh) * 2013-03-18 2016-01-13 脸谱公司 倾斜以滚动
CN105247454B (zh) * 2013-03-18 2019-01-18 脸谱公司 倾斜以滚动
CN103455257A (zh) * 2013-08-30 2013-12-18 华为技术有限公司 一种电子放大镜的实现方法及用户终端
US10222877B2 (en) 2014-06-16 2019-03-05 Huawei Technologies Co., Ltd. Method and apparatus for presenting panoramic photo in mobile terminal, and mobile terminal
US9621802B2 (en) 2014-06-16 2017-04-11 Huawei Technologies Co., Ltd. Method and apparatus for presenting panoramic photo in mobile terminal, and mobile terminal
CN104471519A (zh) * 2014-06-16 2015-03-25 华为技术有限公司 移动终端中呈现全景照片的方法和装置、以及移动终端
US10649546B2 (en) 2014-06-16 2020-05-12 Huawei Technologies Co., Ltd. Method and apparatus for presenting panoramic photo in mobile terminal, and mobile terminal
US11126275B2 (en) 2014-06-16 2021-09-21 Huawei Technologies Co., Ltd. Method and apparatus for presenting panoramic photo in mobile terminal, and mobile terminal
CN110546946A (zh) * 2017-02-27 2019-12-06 斯纳普公司 基于装置移动处理媒体内容
CN110546946B (zh) * 2017-02-27 2021-05-25 斯纳普公司 基于装置移动处理媒体内容
CN113132665A (zh) * 2017-02-27 2021-07-16 斯纳普公司 基于装置移动处理媒体内容
US11106037B2 (en) 2017-02-27 2021-08-31 Snap Inc. Processing a media content based on device movement
US11668937B2 (en) 2017-02-27 2023-06-06 Snap Inc. Processing a media content based on device movement
CN113132665B (zh) * 2017-02-27 2024-06-07 斯纳普公司 基于装置移动处理媒体内容
CN109804341A (zh) * 2017-07-31 2019-05-24 腾讯科技（深圳）有限公司 与显示在用户界面上的三维互联网内容的交互
US10895953B2 (en) 2017-07-31 2021-01-19 Tencent Technology (Shenzhen) Company Limited Interaction with a three-dimensional internet content displayed on a user interface

Also Published As

Publication number Publication date
KR20110104096A (ko) 2011-09-21
US20100174421A1 (en) 2010-07-08
EP2386077A1 (en) 2011-11-16
JP2012514786A (ja) 2012-06-28
US8441441B2 (en) 2013-05-14
WO2010080166A1 (en) 2010-07-15

Similar Documents

Publication Publication Date Title
CN102272690A (zh) 用于移动装置的用户接口
CN110169056B (zh) 一种动态三维图像获取的方法和设备
US8253649B2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
US9880640B2 (en) Multi-dimensional interface
US11922588B2 (en) Cooperative augmented reality map interface
KR100790896B1 (ko) 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치
US6288704B1 (en) Motion detection and tracking system to control navigation and display of object viewers
JP6421670B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
JP5724543B2 (ja) 端末装置、オブジェクト制御方法及びプログラム
US9262867B2 (en) Mobile terminal and method of operation
US20110221664A1 (en) View navigation on mobile device
EP3835953A1 (en) Display adaptation method and apparatus for application, device, and storage medium
US11231828B2 (en) Smart globe and control method therefor
KR20150024711A (ko) 전자 장치의 화면 배율을 조정하는 방법, 전자 장치 저장 매체 및 전자 장치
US9665249B1 (en) Approaches for controlling a computing device based on head movement
KR102100667B1 (ko) 휴대 단말기에서 이미지 데이터를 생성하는 장치 및 방법
US10585485B1 (en) Controlling content zoom level based on user head movement
US10891099B2 (en) Causing movement of an interaction window with a tablet computing device
CN104580967A (zh) 一种基于便携式投影仪的地图投影方法和用于投影的装置
Holmquist et al. Total recall: in-place viewing of captured whiteboard annotations
KR101914205B1 (ko) 사용자 인터페이스 처리 장치
TW201112105A (en) Method and system of dynamic operation of interactive objects
KR20190135958A (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
KR20150057721A (ko) 모바일 단말기 및 그의 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111207