CN111522493A - 移动设备上的三维环境中的导航 - Google Patents

移动设备上的三维环境中的导航 Download PDF

Info

Publication number
CN111522493A
CN111522493A CN201911350849.0A CN201911350849A CN111522493A CN 111522493 A CN111522493 A CN 111522493A CN 201911350849 A CN201911350849 A CN 201911350849A CN 111522493 A CN111522493 A CN 111522493A
Authority
CN
China
Prior art keywords
mobile device
virtual camera
dimensional model
angle
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911350849.0A
Other languages
English (en)
Inventor
戴维·科恩曼
彼得·伯奇
迈克尔·莫顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111522493A publication Critical patent/CN111522493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及用于在移动设备上的三维环境内进行导航的方法和系统。一些实施例涉及使用移动设备的方位在三维环境中进行的导航。一些实施例涉及用于移动移动设备上的虚拟相机的用户界面手势。一些实施例涉及用于移动移动设备上的虚拟相机的用户界面手势，诸如挤压、旋转和双击放大。一些实施例涉及移动设备上的三维环境中的移位。最后，一些实施例涉及移动设备上的三维环境中的锚定导航。

Description

移动设备上的三维环境中的导航
分案说明
本申请属于申请日为2009年8月24日的中国发明专利申请201310095018.X的分案申请，而该申请进一步属于申请日为2009年8月24日的中国发明专利申请200980141356.4的分案申请。
技术领域
本发明一般地涉及三维环境中的导航。
背景技术
存在通过三维环境进行导航以显示三维数据的系统。所述三维环境包括定义显示什么三维数据的虚拟相机。所述虚拟相机具有根据其位置和方位的视角(perspective)。通过改变所述虚拟相机的视角，用户能够导航通过三维环境。
诸如移动电话、个人数字助理(PDA)、便携式导航设备(PND)和手持游戏机的移动设备被配备有改进的计算能力。许多移动设备能够访问一个或多个网络，诸如互联网。而且，诸如可从苹果公司获得的IPHONE设备的一些移动设备接受来自GPS传感器、加速计和触摸屏的输入。改进的计算能力使得可能在移动设备上运行各种各样的软件应用。尽管计算能力有所改进，但是许多手持移动设备的显示很小－通常宽度不足4英寸。小的显示使得用户难以在移动设备上导航通过三维环境。
需要对移动设备上的三维环境中的导航进行改进的方法和系统。
发明内容
这里所公开的实施例涉及用于在移动设备上的三维环境内进行导航的方法和系统。一些实施例涉及使用移动设备的方位在三维环境中进行的导航。一些实施例涉及用于移动移动设备上的虚拟相机的用户界面手势。一些实施例涉及用于移动移动设备上的虚拟相机的用户界面手势，诸如挤压(pinching)、旋转和双击放大。一些实施例涉及移动设备上的三维环境中的移位(panning)。最后，一些实施例涉及移动设备上的三维环境中的锚定导航。
以下参考附图对本发明的进一步实施例、特征和优势以及本发明各个实施例的结构和操作进行详细描述。
附图说明
结合于此形成说明书一部分的附图图示了本发明，并且连同描述一起用于进一步解释本发明的原理并且使得本领域技术人员能够制造和使用本发明。
图1是图示导航通过三维环境的移动设备的示图。
图2是图示导航通过三维环境的虚拟相机的示图。
图3是图示接受用户界面手势以导航通过三维环境的系统的示图。
图4是图示用于角度跳跃导航的方法的流程图。
图5是图示移动设备上的角度跳跃导航的示图。
图6A-B是图示根据视图上所选择的位置确定目标位置的示图。
图7是图示角度跳跃轨线的示图。
图8是图示用于锚定环视(look-around)导航的方法的流程图。
图9A-B是图示移动设备上的锚定环视导航的示图。
图10是图示用于锚定盘旋(helicopter)导航的方法的流程图。
图11A-B是图示移动设备上的锚定盘旋导航的示图。
图12是图示用于在移动设备上的三维环境中进行环视的两手指手势的示图。
图13是图示用于基于移动设备的方位对虚拟相机进行导航的方法的流程图。
图14A-C是图示基于移动设备的方位对虚拟相机进行导航的示图。
图15是图示用于使用挤压动量对虚拟相机进行导航的方法的流程图。
图16A-C是图示使用挤压动量在移动设备上导航虚拟相机通过三维环境的示图。
图17是图示用于在移动设备上进行移位的方法的流程图。
图18A-B是图示在移动设备上移位通过三维环境的示图。
图19A-C是图示可以在移动设备上的导航中使用的不同移位模式的示图。
元素在其中第一次出现的附图通常由相应附图标记中最左侧的一个或多个数字所指示。在附图中，相同的附图标记可以指示相同或功能类似的元素。
具体实施方式
本发明的实施例提供了移动设备上的三维环境中的导航。在以下被称作“一个实施例”、“实施例”、“示例性实施例”等的实施例的详细描述中，指出所描述的实施例可以包括特定特征、结构或特性，但是并非每个实施例都必然包括所述特定特征、结构或特性。而且，这样的短语不是必然指代同一实施例。此外，当结合实施例描述特定特征、结构或特性时，认为无论是否明确描述，结合其它实施例实现这样的特征、结构或特性处于本领域技术人员的知识范围之内。
这里的详细描述被划分为多个部分。第一部分提供了在移动设备上导航通过三维环境的介绍。第二部分描述了接受用户界面手势以在移动设备上的三维环境中进行导航的系统。接下来的若干部分更为详细地描述了所述用户界面手势。第三部分描述了角度放大的用户界面手势。第四部分描述了两种锚定导航手势。第五部分描述了双手指环视手势。第六部分描述了加速计导航。第七部分描述了俯仰(pitch)动量和两手指触摸以及旋转手势。最后，第八部分描述了移动设备上的三维环境中的移位。
介绍
该部分提供了移动设备上的三维环境中的导航的概述。图1是图示能够导航通过三维环境的移动设备100的示图。在实施例中，移动设备100可以是PDA、移动电话、手持游戏机或者本领域技术人员已知的其它手持移动设备。在一个示例中，移动设备100可以为能够从苹果公司获得的IPHONE设备。在另一个示例中，移动设备100可以是运行能够从Google公司获得的ANDROID平台的设备。在其它另外的实施例中，移动设备100可以为平板电脑、膝上电脑或者大于手持移动设备但是仍然便于用户携带的其它移动设备。这些示例是说明性的而并非意在对本发明进行限制。
移动设备100可以具有接受来自用户的触摸输入的触摸屏。用户可以利用其手指、笔或者本领域技术人员已知的其它手段来触摸所述屏幕。移动设备100还可以具有加速计，其检测移动设备何时加速或检测移动设备100相对于重力的方位。应当注意的是，其它设备可以是用户确定移动设备100的方位，并且本发明并非意在被限制于加速计。可以使用另外的一个或多个加速计。此外，移动设备100可以具有位置接收器，诸如GPS接收器，并且可以被连接到诸如互联网的一个或多个网络。
移动设备100具有视图102。如之前所提到的，移动设备102可以在用户触摸视图102时接受触摸输入。此外，视图102可以向用户输出图像。在一个示例中，移动设备100可以呈现三维环境并且在视图102中从虚拟相机的视角向用户显示所述三维环境。
移动设备100使得用户能够将虚拟相机导航通过三维环境。在一个示例中，所述三维环境可以包括三维模型，诸如地球的三维模型。地球的三维模型可以包括映射到三维地形的卫星成像纹理。地球的三维模型还可以包括建筑物和其它兴趣点的模型。该示例仅为说明性的而并非意在对本发明进行限制。
响应于用户输入，移动设备100可以改变虚拟相机的视角。基于虚拟相机的新视角，移动设备100可以向视图102中呈现新图像。以下详细描述改变虚拟相机的视角并且导致新图像的各种用户界面手势。
图2示出了图示三维环境中的虚拟相机的示图200。示图200包括虚拟相机202。虚拟相机202被指引以观看三维地形210。三维地形210可以是诸如地球三维模型的较大三维模型的一部分。
如之前所提到的，用户输入可以使得诸如图1中的移动设备100的移动设备将虚拟相机202移动到新的位置。此外，用户输入可以使得虚拟相机202改变方位，诸如俯仰(pitch)、偏转(yaw)或滚转(roll)。
以这种方式，移动设备上的用户界面手势使得虚拟相机在移动设备上导航通过三维环境。以下详细描述各种系统组件以及用户界面手势的细节。
系统
该部分描述响应于用户界面手势在移动设备上导航虚拟相机通过三维环境的系统。图3是图示接受用于在移动设备上的三维环境中进行导航的用户界面手势的系统300的示图。
系统300包括具有用户交互模块310和呈现器模块322的客户端302。用户交互模块310包括运动模型314。通常，客户端302如下操作。用户交互模块310接收与用户希望观看的位置相关的用户输入，并且通过运动模型314构建定义虚拟相机的视图规范。呈现器模块322使用所述视图规范来决定绘制什么数据并绘制所述数据。如果呈现器模块322需要绘制系统300所没有的数据，则系统300使用网络接口350跨诸如互联网的一个或多个网络向服务器发送对额外数据的请求。
运动模型314构建视图规范。所述视图规范定义虚拟相机在三维空间内的已知为平截头体的可视体积，以及所述平截头体在三维环境中的位置和方位。在一个实施例中，所述平截头体为斜截棱锥的形状。所述平截头体具有能够根据观看环境而变化的最小和最大观看距离。因此，改变所述视图规范改变了对虚拟相机的可视体积所挑选的地理数据。所挑选的地理数据由呈现器模块322绘制。
所述视图规范可以指定虚拟相机的三个主要参数集合：相机三角架、相机镜头和相机聚焦性能。相机三角架参数集合指定如下：虚拟相机位置(X,Y,Z坐标)，虚拟相机相对于缺省方位进行定向的方式，诸如航向角(例如，北？，南？，其间？)；俯仰(例如，水平？，下？，上？，其间？)；偏转和滚转(例如，水平？，顺时针？，逆时针？，其间？)。镜头参数集合指定如下：水平视界(例如，远摄照片？，正常人眼－大约55度？，或者广角？)；以及垂直视界(例如，远摄照片？，正常人眼－大约55度？，或者广角？)。聚焦参数集合指定如下：到近裁剪面的距离(例如，虚拟相机能够看到距“镜头”多近，比那更近的对象不被绘制)；以及到远裁剪面的距离(例如，虚拟相机能够看到距镜头多远，比那更远的对象不被绘制)。如这里所使用的，“移动虚拟相机”包括推拉(zooming)所述虚拟相机以及平移所述虚拟相机。
为了构建视图规范，用户交互模块310接收用户输入。客户端302具有各种用于接收输入的机制。例如，客户端302可以使用传感器接收输入，所述传感器包括触摸接收器340、加速计342和位置模块344。现在将依次对每种传感器进行描述。
触摸接收器340可以是接受来自触摸屏的输入的任意类型的触摸接收器。触摸接收器340可以接收诸如图1中的视图102的视图上的触摸输入。所接收的触摸数据可以包括屏幕上通过X和Y坐标所定义的用户触摸位置。用户可以利用手指、笔或其它物体触碰屏幕。例如，如果用户选择了屏幕上的多个位置，则触摸接收器340能够同时接收多个触摸。所述屏幕可以使用本领域已知的任意技术来检测触摸，包括电阻、电容、红外、表面声波、应变仪、光学成像、声音脉冲识别、受抑全内反射和弥漫激光成像技术，但是不局限于此。
加速计342可以是本领域技术人员已知的任意类型的加速计。加速计342能够在移动设备移动时进行检测。加速计342还能够检测移动设备相对于重力的方位。
位置接收器344检测移动设备的位置。位置接收器344可以例如从GPS接收器检测移动设备的位置。GPS接收器使用来自GPS卫星的信号确定移动设备的位置。在其它示例中，位置接收器344可以例如通过收集来自附近小区塔台和wi-fi热点的信息来检测移动设备的位置。位置接收器可以一起使用来自小区塔台、wi-fi热点和GPS卫星的信息来快速且准确地确定移动设备的位置。
如之前所提到的，用户交互模块310包括改变如由视图规范所定义的虚拟相机的视角的各种模块。用户交互模块310包括动量模块316、角度跳跃模块312、导航模块318、锚模块320、移位模块348和目标模块346。以下对这些模块中的每一个进行描述。
用户交互模块310中的模块可以根据目标位置改变虚拟相机的视角。目标位置可以由目标模块346来确定。在一个实施例中，目标模块346可以延伸来自虚拟相机焦点的射线。目标位置可以是所述射线与三维模型的交点，所述三维模型诸如地球的三维模型。所述射线可以根据用户在视图上所选择的位置进行延伸。可替换地，所述射线可以延伸通过虚拟相机的观看平截头体的中心。参考图6A-B更详细地描述目标模块346的操作。
使用目标模块346的一个模块是角度跳跃模块312。响应于用户在三维环境中对特征的选择，角度跳跃模块312将虚拟相机向所述特征进行移动。在一个实施例中，触摸接收器340接收指示用户已经选择了一个视图位置的用户输入。在一个示例中，用户可以在视图上选择一个位置并且通过在该位置上进行双击来发起角度跳跃。基于用户所选择的位置，目标模块346确定目标位置。使用所述目标位置，角度跳跃模块312移动虚拟相机。角度跳跃模块312可以将虚拟相机向目标位置进行移动，并且可以将虚拟相机向目标位置进行旋转。随着虚拟相机的移动，角度跳跃模块312可以改变虚拟相机的滚转以仿真飞机的横倾斜。角度跳跃模块312可以对虚拟相机进行定向以使得目标位置看上去大约处于视图的中心。为了对虚拟相机进行定向，角度跳跃模块312可以改变虚拟相机的俯仰或偏转值。以这种方式，用户能够利用一只手在屏幕上进行双击并容易地将虚拟相机向目标进行导航。此外，虚拟相机向其新的位置的平滑转移可以为用户产生舒适的效果。
锚模块320响应于其它用户界面手势移动虚拟相机。在一个实施例中，锚模块320在触摸接收器340接收到一个手指静止而另一手指移动的两手指触摸时被调用。静止和移动手指的相对初始位置可以激活两种导航模式之一－锚定环视模式或锚定盘旋模式。在一个实施例中，当第一静止手指的初始位置低于第二手指的初始位置时激活锚定环视模式。当第一静止手指的初始位置高于第二手指的初始位置时激活锚定盘旋模式。锚定环视模式可以由环视模块326来执行，而锚定盘旋模式可以由盘旋模块324来执行。
环视模块326根据第二手指的移动改变虚拟相机的方位。触摸接收器340可以接收第二手指运动的方向并且将所述方向发送到环视模块326。基于所述方向，环视模块326可以沿不同轴对虚拟相机进行旋转。环视模块326可以在手指向移动设备的左或右运动时改变虚拟相机的偏转。类似地，环视模块326可以在手指向移动设备的顶部或底部运动时改变虚拟相机的俯仰。参考图8和9A-B对环视模块326的操作进行更为详细的描述。在一个实施例中，环视模块326还可以响应于两个手指的移动来改变虚拟相机的方位。该实施例参考图12进行描述。
盘旋模块34在静止手指的位置最初低于运动手指时对虚拟相机进行移动。在一个实施例中，当触摸接收器340接收到静止手指低于运动手指的两手指触摸时，目标模块346可以确定目标位置。可以通过基于静止手指的位置延伸射线来确定所述目标位置。可替换地，可以延伸射线通过虚拟相机的观看平截头体的中心来确定所述目标位置。随后参考图6A-B更为详细地描述目标位置的确定。
触摸接收器340可以将运动手指的方向发送到盘旋模块324。基于所述运动手指的方向，盘旋模块324可以在不同方向移动虚拟相机，保持目标位置和虚拟相机位置之间的距离近似恒定。盘旋模块324可以允许距离的小的改变。例如，新的地形可能被流送到客户端，这使得距离有所改变。
盘旋模块324可以将射线从目标模块346所确定的目标位置向上延伸。当运动手指的方向朝向移动设备的顶部或底部时，盘旋模块324可以改变相对于射线的倾斜角度。改变所述倾斜角度可以将虚拟相机向上或向下移动。当运动手指的方向朝向移动设备的左侧或右侧时，盘旋模块324可以改变相对于射线的方位角度。改变方位角度可以在保持恒定高度的同时围绕目标位置移动虚拟相机。此外，当运动手指的方向在移动设备的两条轴线上都具有分量时，盘旋模块324可以改变倾斜和方位角度。以这种方式，盘旋模块324使得用户能够容易地围绕目标位置进行导航。如图16C所描述的，盘旋模块还可以在两个手指在移动设备的屏幕上旋转时移动虚拟相机。
在一个实施例中，盘旋模块324还可以改变目标位置和虚拟相机之间的距离。例如，虚拟相机可以移动到目标位置之中或者远离所述目标位置。例如，最初静止的手指的移动可以导致朝向或远离目标平移虚拟相机。
在一个实施例中，盘旋模块324可以在允许导航模块318基于移动设备相对于重力的方位改变倾斜角度的同时改变方位角度。盘旋模块324的操作参考图10和图11A-B更为详细地进行描述。
导航模块318根据从加速计342和位置接收器344所接收的方位和位置信息在三维环境中对虚拟相机进行定向和定位。导航模块318包括加速计导航模块330。在一个实施例中，加速计342接收移动设备相对于重力的方位。基于移动设备的方位，加速计导航模块330改变虚拟相机的位置或方位。基于移动设备的方位，加速计导航模块330可以改变虚拟相机的俯仰，使得虚拟相机向上或向下看。可替换地，加速计导航模块330可以改变虚拟相机相对于目标位置的倾斜，使得虚拟相机向上或向下移动。
位置接收器344可以接收移动设备的航向值。例如，位置接收器344可以接收移动设备所面对的主要方向(北、东、南、西)。基于所述航向值，导航模块318可以在移动设备的方向中对虚拟相机进行定向。而且，位置接收器344可以接收移动设备的位置值。例如，位置接收器344可以接收移动设备的纬度、经度和高度。基于移动设备的位置，导航模块318可以在三维环境中定位虚拟相机。所述三维环境可以包括地球的三维模型。以这种方式，导航模块318可以在虚拟地球中对虚拟相机进行定位和定向以对应于移动设备在真实地球中的位置和方位。导航模块318可以连续更新虚拟相机的位置和方位以追踪所述移动设备。导航模块318的操作参考图13和图14A-B更为详细地进行描述。
角度跳跃模块312、动量模块316、加速计导航模块330、环视模块326和盘旋模块324中的每一个接受用户界面手势来移动虚拟相机。那些模块中的每一个可以与动量模块316进行协同以在用户界面手势完成之后继续虚拟相机的运动。动量模块316可以在手势完成之后使得所述运动逐渐减速。以这种方式，动量模块316仿真了具有动量的虚拟相机并且仿真了受到诸如空气阻力的阻力影响的虚拟相机。
如以上所描述的，锚模块316在触摸接收器340接收到一个手指静止而另一个运动的两手指触摸时对虚拟相机进行导航。根据进一步的特征，当两个手指都运动时，动量模块316也可以对虚拟相机进行导航。两个手指都运动的两手指触摸在这里有时被描述为手指彼此分开或接近的挤压手势。动量模块316可以确定所述手指相对于彼此的速度。基于手指速度，动量模块316可以确定虚拟相机的速度并且可以以所确定的速度移动虚拟相机。彼此接近地运动手指可以使得虚拟相机前进，而彼此远离地运动手指可以使得虚拟相机后退。动量模块316可以仿真空气阻力并且由此可以逐渐降低虚拟相机的速度。
可替换地，虚拟相机可以保持静止，并且诸如地球三维模型的三维模型可以根据手指速度进行移动。动量模块316可以以根据手指速度所确定的角速度旋转地球模型。动量模块316的操作参考图15和图16A-B更为详细地进行描述。
诸如地球三维模型的三维模型也可以由移位模块348进行旋转。在一个实施例中，触摸接收器340可以接收指示用户已经触摸了移动设备的视图上的第一位置并且向所述视图上的第二位置移动其手指(触摸和拖动手势)的用户输入。基于所述第一和第二位置，目标模块346可以确定三维环境中的第一和第二点。基于所述第一和第二点，移位模块348可以相对于虚拟相机移动所述三维模型。这种移动在此可以被称作“移位”。在一个示例中，移位模块348可以通过确定三维模型上的旋转轴并且围绕所述旋转轴旋转所述三维模型来移动所述三维模型。
在一个实施例中，移位模块348的操作可以根据虚拟相机的方位而改变。如之前所提到的，虚拟相机的方位可以根据移动设备相对于重力的方位来确定。在一个示例中，当虚拟相机面向地面时，用户可以以任何方向进行移位。然而，当虚拟相机面向地平线时，用户近可以向前或向后移位。相反，手指向左侧或右侧的移动会导致虚拟相机朝向左侧或右侧。移位模块348的操作参考图17、图18A-B以及图19A-C更为详细地进行描述。
系统300的每个组件都可以以硬件、软件、固件或者其任意组合来实现。
在以下部分中，更为详细地描述了角度跳跃模块312、目标模块346、锚模块320、动量模块316、导航模块318和移位模块348的操作。
角度跳跃
该部分参考图4-5、6A-B和7描述了用于角度跳跃导航的方法。角度跳跃导航使得用户能够容易且直观地在移动设备上的三维环境中进行导航。通常，响应于用户在一个位置上的双击，所述方法将虚拟相机向一个位置进行导航并且将虚拟相机转向该位置。
图4是图示用于角度跳跃导航的方法400的流程图。方法400以在步骤402接收指示用户已经在视图的一个位置上进行了双击的用户输入作为开始。步骤402在图5中进行图示。图5示出了图示移动设备上的角度跳跃导航的示图500。示图500示出了移动设备100具有视图102。用户在位置504进行双击。如方法400的其余步骤中所描述的，角度跳跃导航沿轨线502进行导航。
基于步骤402中所接收的敲击位置的位置，在步骤404确定目标位置。确定目标位置在图6A-B中图示。图6A示出了示图600，其图示了延伸屏幕射线以确定目标位置。示图600示出了具有焦点602的虚拟相机。所述虚拟相机具有焦距606和视口604。在视口604上，点610对应于用户在移动设备的视图上所选择的点。从焦点602，射线612延伸通过点610。射线612与三维模型616相交以确定目标位置614。以这种方式，基于由用户所选择(例如，所双击)的点确定目标位置614。
虽然对于用户而言很容易，但是利用手指双击视图可能是不精确的。移动设备趋于具有小的视图(例如，手持移动设备可能具有通常不大于4英寸的视图)。结果，手指触摸会占据相当一部分视图。当用户选择接近于地平线的位置时，屏幕射线可能近似与三维模型相切。宽手指的位置的微小变化可能导致目标位置的大变化。结果，角度跳跃导航可能是不稳定的。
为了应对潜在的不稳定性，如图6B所示，用户选择可以被滞阻(damp)。图6B示出了具有虚拟相机的示图650，所述虚拟相机具有焦点602、焦距610和视口604。用户在视图上选择接近水平的点。用户所选择的点对应于视口604上的点652。射线654从焦点602延伸通过视口604上的点652。射线654在点656与凹进的虚拟表面658相交。点656可以被投影到三维模型660上以确定目标位置。通过将屏幕射线与虚拟表面相交，用户的选择被滞阻，由此提高了稳定性。示图650示出了用于滞阻用户选择的一种方法，但是也可以使用本领域技术人员所知的其它方法。
返回参见图4，一旦确定了目标位置，虚拟相机就在步骤406向所述目标位置移动。随着虚拟相机向目标位置移动，所述虚拟相机在步骤408向目标位置进行旋转。步骤406和408在图7中进行图示。
图7示出了图示角度跳跃轨线的示图700。示图700示出了处于初始位置702的虚拟相机。虚拟相机沿轨线706移动。虚拟相机可以以初始的向前速度矢量作为开始。随着虚拟相机在轨线706上继续，虚拟相机向目标708旋转。向目标708旋转可以包括改变虚拟相机的俯仰或偏转。随着虚拟相机在轨线706上继续，虚拟相机可以放慢速度，最终静止在面向目标708的位置704。当虚拟相机静止时，目标708可以近似地出现在视图的中心。由于允许距离中心的小偏移量，所以视图的近似中心可以不是确切的中心。
随着虚拟相机沿着轨线706移动，虚拟相机可以滚转。所述滚转可以仿真类似飞行器的向终点进行翻转。虚拟相机可以以不进行滚转而开始轨线706。虚拟相机的滚转可以随着其沿轨线706移动而增加，并且可以在通过轨线706中途达到最大滚转量。接着，虚拟相机的滚转可以降低，当虚拟相机到达其最终位置704时返回零滚转。
以这种方式，角度跳跃导航使得用户能够在三维环境中容易地向目标位置进行导航。此外，通过基于双触摸手势确定目标位置，用户能够仅利用一只手就向所述位置进行导航。由于用户经常用一只手保持移动设备，而仅留出一只手空闲在三维环境中导航，所以这是很有用的。
锚定导航
利用一只空闲的手导航，若干种用户界面手势可以使用两个手指。该部分描述两种使用两个手指的用户界面手势－锚定环视和锚定盘旋。每个用户界面手势使得一个手指最初静止而另一个手指则进行移动。静止手指可以先于运动手指触摸屏幕。静止和运动手指的初始相对位置可以确定用户输入了锚定环视导航模式还是锚定盘旋导航模式。
图8是图示用于锚定环视导航的方法800的流程图。方法800通过在步骤802接收用于在移动设备的视图上进行两手指触摸的用户输入作为开始。两个手指之一进行运动，并且在步骤804接收第二手指的运动方向(例如，运动矢量)。两手指触摸在图9A中图示。
图9A示出了示图900。示图900示出了具有视图102的移动设备100。用户已经利用手指902和手指904触摸了视图102。手指902最初静止而手指904最初处于运动。手指902可以在手指904之前触摸屏幕至少特定时间量。作为手指902和904的相对位置的结果，用户输入了锚定环视导航模式。在一个实施例中，在最初运动的手指(手指904)高于最初静止的手指(手指902)时用户输入锚定导航模式。
返回参见图8，一旦接收到第二手指的移动，就根据第二手指的移动改变虚拟相机的方位。图9B中图示了如何改变虚拟相机的方位。
图9B示出了示图950，其图示了在三维环境中进行环视的虚拟相机。示图950示出了三维地形210和虚拟相机202。通过改变其俯仰，相机202可以如箭头952所示的向上或向下看。通过改变其偏转，相机202可以如箭头954所示的向左或向右看。
在图9A中，如箭头906和908所示，当用户向左侧或右侧移动手指904时，虚拟相机的偏转可以相应地改变为向左或向右看。类似地，当用户向上或向下移动手指904时，如箭头906和908所示，虚拟相机的俯仰可以相应地改变为向上或向下看。如箭头920所示，当用户斜着移动其手指时，虚拟相机的俯仰和偏转都会改变。俯仰和偏转可以根据沿移动设备的轴线的运动矢量的分量进行改变。以这种方式，用户可以通过移动手指来使得虚拟相机进行环视，从不同视角观看三维环境。
在可替换实施例中，虚拟相机可以基于用户输入向左和向右看，而基于移动设备的方位向上和向下看。移动设备相对于重力的方位可以从移动设备的加速计接收。虚拟相机的俯仰可以根据移动设备的方位而改变。以这种方式，用户能够通过移动设备转向向上和向下来向上和向下看。
在一个实施例中，可以基于第一、静止手指的位置来确定虚拟相机的轴线。在一个示例中，可以基于静止手指的位置来确定目标位置。所述轴线是连接虚拟相机和目标位置的线。在该实施例中，第二手指的移动使得虚拟相机绕所述轴线进行旋转。
如之前所提到的，在静止手指低于运动手指时用户输入锚定环视模式。然而，当静止手指高于运动手指时，用户可以输入锚定盘旋模式。锚定盘旋模式参考图10和11A-B进行描述。
图10是图示用于锚定盘旋导航的方法1000的流程图。方法1000通过在步骤1002接收用于在移动设备的视图上进行两手指触摸的用户输入作为开始。两个手指之一处于运动，并且在步骤1004接收第二手指的运动方向(例如，运动矢量)。两手指触摸在图11A中图示。
图11A示出了示图1100。示图1100示出了具有视图102的移动设备100。用户已经利用手指1102和1104触摸了视图102。手指1102最初静止而手指1104最初处于运动。用户可以在利用手指1104触摸视图之前利用手指1102触摸屏幕至少特定时间量。作为手指1102和1104的相对位置的结果，用户输入了锚定盘旋模式。如以上所提到的，在最初运动的手指(手指1104)低于最初静止的手指(手指1102)时用户可以输入锚定盘旋模式。
返回参见图10，在接收用户输入之后，在步骤1004确定目标位置。在一个实施例中，目标位置可以基于第一、静止的手指的位置来确定。如图6A中所描述的，目标位置可以通过延伸屏幕射线来确定。此外，如参考图6B所描述的，屏幕射线可以被滞阻。可替换地，可以通过将射线延伸通过虚拟相机观看平截头体的中心来确定目标位置。所述射线可以在目标位置与三维模型相交。这些示例是说明性的，并且可以使用本领域技术人员所知的确定目标位置的其它方法。
一旦确定了目标位置，相对于目标位置的倾斜或方位角值就在步骤1008根据第二手指的移动而改变。步骤1008在图11B中图示。
图11B示出了图示锚定盘旋导航的示图1150。示图1150示出了指向三维地形210的虚拟相机202。如步骤1006所描述的，延伸射线1160以确定目标1158。从目标1158，确定指向上方的矢量1162。相对于矢量1162，虚拟相机202具有倾斜角度1156和方位角角度1154。改变倾斜角度1156使得虚拟相机202向上或向下移动，改变方位角角度1154使得虚拟相机202以恒定高度围绕目标1158进行盘旋。在一个实施例中，改变倾斜角度1156和方位角角度1154并不改变虚拟相机202和目标1158之间的距离。以这种方式，改变倾斜角度1156和方位角角度1154在保持与目标1158等距离的同时围绕目标1158对虚拟相机进行导航。
在图11A中，如箭头1108和1106所示，当用户向左或向右移动手指1104时，方位角角度的改变使得虚拟相机202以恒定高度围绕目标1158进行盘旋。类似地，如箭头1110和1112所示，当用户向上或向下移动手指904时，倾斜角度可以改变使得虚拟相机相对于目标1158向上和向下移动。如箭头1116所示，当用户斜着移动其手指时，倾斜和方位角角度都会改变。倾斜和方位角值可以根据沿移动设备的轴线的运动矢量的分量而改变。以这种方式，用户可以通过移动手指而使得虚拟相机围绕目标位置移动，从不同视角观看目标位置。虚拟相机的方位也可以改变使得虚拟相机持续面对目标。
在一个示例中，用户可以向下并向右移动手指1104。在该示例中，相对于目标位置的倾斜和方位角值都可以响应于所述手指移动而改变。随着倾斜值的增加，虚拟相机向着目标位置的高度向下移动。与此同时，增加的方位角值使得虚拟相机围绕目标位置进行旋转。在虚拟相机移动时，所述虚拟相机可以保持朝向目标位置。以这种方式，用户能够容易地从不同视角观看三维环境中的特征。
在一个实施例中，虚拟相机和目标位置之间的距离也可以变化。例如，虚拟相机可以通过在改变倾斜或方位角值的同时将虚拟相机移动到目标之中而俯冲到所述目标中。而且，所述虚拟相机能够在改变倾斜或方位角值的同时移动远离所述目标。
在一个实施例中，向左或向右移动手指1104可以改变方位角角度，而倾斜角度则根据移动设备的方位来确定。移动设备相对于重力的方位可以从所述移动设备的加速计接收。基于所述移动设备的方位，确定倾斜角度。以这种方式，用户可以通过向上和向下移动所述移动设备来上下移动所述虚拟相机。
例如，保持移动设备并且观看显示的用户可以将所述设备相对于地面进行移动。随着设备移动为面朝地面，虚拟相机可以移动到目标之上并且向下面对目标。随着设备移动为与地面垂直，虚拟相机可以移动到目标的高度并且从水平视图观看目标。
双手指环视导航
如之前所提到的，用户可以通过移动一个手指并保持另一个手指静止而使得虚拟相机环视。该部分描述可以使得虚拟相机环视的另一种手势。该部分中所描述的手势包括触摸显示的两个手指。通常，两个手指以近似相同的距离在近似相同的方向移动，并且虚拟相机根据手指的运动而移动。
图12示出了示图1200，其图示了在移动设备上的三维环境中进行环视的两手指手势。示图1200示出了具有视图102的移动设备100。触摸视图102的是手指1202和1204。利用用户触摸视图102，用户如矢量1206和1208所示的在视图102上移动手指1202和1204。矢量1206和1208表示用户移动手指1202和1204的方向和距离。
矢量1206和1208可以近似处于相同方向。矢量1206和1208无需精确平行。可以在阈值范围内允许方向1206和1206之间的小角度。类似地，矢量1206和1208可以具有近似相同的长度。在阈值范围内允许矢量1206和1208的小长度差异。
基于用户移动手指1202和1204的方向和距离，虚拟相机的方位发生变化。手指1202和1204已经移动了略有不同的方向和距离，接着所述方向和距离值可以被组合以确定合计矢量。在一个示例中，矢量1206和1208的方向和距离值可以被平均以确定所述合计矢量。这里描述了矢量，但是可以使用任意类型的运动数据。
响应于手指1202和1204的移动，虚拟相机可以如图9B所示改变其方位。图9B示出了具有三维地形210和虚拟相机202的示图950。示图950示出了三维地形210和虚拟相机202。当手指移动的矢量是向移动设备上的左侧或右侧时，虚拟相机的偏转可以改变。改变虚拟相机的偏转使得该相机如箭头954所示向左或向右看。类似地，当手指移动的矢量是移动设备的上方或下方时，虚拟相机的俯仰会改变。改变虚拟相机的俯仰使得该相机如箭头956所示向上或向下看。
当用户斜着移动其手指时，虚拟相机的俯仰和偏转都会变化。俯仰和偏转可以根据沿移动设备的轴线的手指移动矢量的分量而变化。以这种方式，通过移动两个手指，用户能够使得虚拟相机环视，从不同角度观看三维环境。
在可替换实施例中，所述虚拟相机可以基于用户输入向左和向右看，而基于移动设备的方位向上和向下看。移动设备相对于重力的方位可以从移动设备的加速计接收。虚拟相机的俯仰可以根据移动设备的方位而变化。以这种方式，用户可以通过将移动设备向上和向下转向来上下看。移动设备的方位可以由加速计来确定。下一部分更为详细地对加速计导航进行描述。
加速计导航
该部分更为详细地描述了利用加速计对虚拟相机进行导航。图13是图示用于基于移动设备的方位对虚拟相机进行导航的方法1300的流程图。
方法1300以在步骤1302使能加速计导航作为开始。例如，加速计导航可以在用户在对加速计导航设置了缺省设置的情况下进行设置改变以对其开机或启动时被使能。在另一个示例中，输入诸如锚定导航或环视导航的导航模式可以使能加速计导航。而且，加速计导航可以在移动设备的方位变化超出阈值时被使能。这样，方位的微小变化就不会无意中改变虚拟相机的视角。而且，加速计导航可以在移动设备相对于重力的方位超出阈值时被使能。如果移动设备相对于重力的方位低于阈值，则所述方位可以处于“盲区(dead zone)”之中。
一旦加速计导航被使能，就在步骤1304确定移动设备的方位。在一个实施例中，加速计确定重力方向以及移动设备相对于重力的方位。基于移动设备的方位，在步骤1306改变虚拟相机的位置或方位。步骤1304和1306在图14A-C中图示。此外，加速计读数可以被滞阻。
图14A-C均示出了具有不同方位的移动设备。图14A示出了面对地面的移动设备1402的概况。假设相对于与移动设备1402的屏幕平面正交的矢量来定义移动设备1402的方位。移动设备的加速计检测到重力为笔直向下。换句话说，重力与移动设备1402的方位平行。结果，虚拟相机在三维模型被定向为笔直向下，所述三维模型诸如地球的三维模型。利用面对地面的虚拟相机，所述虚拟相机可以捕捉地面的图像1404。
图14B示出了处于相对于地面的一个角度的移动设备1422的概况。该移动设备的加速计检测到重力相对于移动设备的方位成角度1426。结果，虚拟相机的俯仰可以被设置为角度1426。以角度1426对虚拟相机进行定向，虚拟相机所捕捉并且向用户显示的图像可以作为图像1424出现。
可替换地，可以基于角度1426来确定虚拟相机的俯仰。在一个实施例中，移动设备的角度范围可以平滑内插到虚拟相机的角度范围中。所述内插可以是线性内插。在一个示例中，假设移动设备的角度范围为30度至90度。该范围内插到虚拟相机0度至90度的角度范围。在该示例中，如果用户以60度保持设备，则虚拟相机的角度可以被设置为45度。该示例仅是说明性的。
图14C示出了与地面正交的移动设备1432的概况。该移动设备的加速计检测到重力相对于所述移动设备成角度1436。结果，虚拟相机的俯仰可以被设置为角度1436。以角度1436对虚拟相机进行定向，虚拟相机所捕捉并且向用户显示的图像可以作为面向水平的图像1434出现。
如图14A-C所示，随着用户改变移动设备的方位，虚拟相机的方位也发生变化。因此，随着用户将移动设备指向地平线，虚拟相机也看向地平线。随着用户将移动设备指向天空，虚拟相机也向上看向天空。最终，随着用户将移动设备指向地面，虚拟相机也看向地面。
除了改变虚拟相机的方位之外，虚拟相机的位置也可以根据移动设备的方位而变化。在一个实施例中，可以如参考图11A-B所描述的确定目标位置和倾斜角度。随着移动设备方位的变化，虚拟相机相对于目标位置的倾斜角度也可以变化。
以这种方式，用户可以通过改变移动设备的方位来导航通过三维环境。
俯仰动量
锚定导航部分讨论了一个手指最初静止而另一个手指最初处于运动的两手指手势。该部分描述两个手指最初都处于运动的两手指手势。所述两手指手势可以被称作挤压并且参考图15和图16A-B进行描述。也可以通过第一和第二手指触摸的时序来将挤压和锚定导航区别开来。例如，当第一和第二手指之间的时间高于阈值，则可以激活锚定导航模式。当第一和第二手指之间的时间高于阈值，可以利用挤压动量移动虚拟相机。在可替换实施例中，可以在所述时间低于阈值时激活锚定导航模式，而在所述时间高于阈值时利用挤压动量移动虚拟相机。
图15是图示用于使用挤压对虚拟相机进行导航的方法1500的流程图。方法1500以在1502接收用户在视图上的挤压的输入作为开始。用户挤压在图16A中图示。
图16A示出了图示移动设备上的挤压手势的示图1600。示图1600示出了具有视图102的移动设备100。用户已经利用手指1604和1602触摸了视图。两个手指都处于运动并且它们的相对运动处于在步骤1504中所确定的挤压速度。如箭头1612和1614所示将手指1604和1602移动分开会导致正挤压速度，而如箭头1624和1622所示将手指1604和1602移动到一起会导致负挤压速度。
基于步骤1504中所确定的挤压速度，在步骤1506确定虚拟相机的速度。如果挤压速度为正则虚拟相机的速度可以为正(向前)，而如果挤压速度为负则虚拟相机的速度可以为负(后退)。在一个示例中，虚拟相机的速度可以从挤压速度线性内插。这仅是说明性示例而并非意在限制本发明。
在步骤1508，虚拟相机加速至步骤1506所确定的速度。在步骤1510，虚拟相机可以逐渐减速。为了使得虚拟相机减速，可以仿真虚拟相机的动量，并且虚拟相机可以受到所仿真的空气阻力的影响。步骤1508和1510在图16B中图示。
图16B示出了图示受到挤压动量影响的虚拟相机的示图1650。示图1650示出了虚拟相机在位置1652开始并在位置1654结束。示图1650示出了若干时间点t0,t1,t2,t3,t4和t5处的虚拟相机。虚拟相机随着时间流逝而减速。
在另一个实施例中，两个手指最初都无需处于运动之中。一个或两个手指最初可以是静止的。此外，挤压可以平移虚拟相机或者推拉虚拟相机而没有任何动量。在该实施例中，虚拟相机根据挤压的距离和速度推拉或平移。当挤压手势完成时，虚拟相机可以停止推拉或平移。
在一个实施例中，虚拟相机可以直线平移。可替换地，虚拟相机可以保持静止并且三维模型可以移动。在一个示例中，三维模型可以旋转。三维模型相对于虚拟相机的这种运动可以被称作“移位”。
在另一个实施例中，虚拟相机同时进行推拉(或平移)和旋转。相机的旋转基于两个手指之间的角度，并且推拉基于两个手指之间的距离。这两个动作可以同时进行。任何一个手指都无需为了该手势而锚定，但是任何一个手指都可以锚定。该实施例在图16C中图示。
在图16C中，手指1和手指2可以同时与表面相接触。此外，手指1和手指2可以同时处于运动。如箭头1671和1673所示旋转手指1和手指2将导致相机围绕目标点进行旋转。所述目标点可以通过如针对图6A-B所描述的延伸屏幕射线来确定。在示例中，所述屏幕射线可以基于一个手指的位置来确定，所述手指诸如触摸屏幕的第一手指。可替换地，所述屏幕射线可以基于手指之间的中间点来确定。以这种方式，目标点不被用户在显示上的手指之一所覆盖。
一旦确定了目标点，相机就可以围绕所述目标点进行旋转。在一个实施例中，相机可以如针对图11B所描述的通过改变方位角值来围绕目标点进行旋转。以这种方式，所述相机可以围绕目标点盘旋，从不同视角观看目标。
在一个实施例中，可以确定连接手指1和手指2的“看不见的”线。当用户如箭头1671和1673所示旋转手指1和手指2时，所述看不见的线和移动设备的显示之间的角度也变化。当所述看不见的线和移动设备的显示之间的角度变化时，相对于目标点的方位角角度也会变化。在一个实施例中，所述方位角角度可以以与所述看不见的线和移动设备的显示之间的角度相同的量或者近似相同的量而变化。以这种方式，当用户在移动设备的显示上以360度旋转两个手指时，虚拟相机围绕目标点盘旋360度。
此外，如箭头1679所示改变手指1和手指2之间的距离，例如会通过推拉或平移虚拟相机而改变虚拟相机的范围。在一个示例中，如以上所描述的确定连接手指1和手指2的看不见的线。当所述看不见的线长度减小时，相机可以移动远离目标点。类似地，当所述看不见的线长度增加时，所述相机可以向目标点移动，反之亦然。以上参考图16A-B描述了改变范围。此外，如以上所描述的，可以应用动量来继续所述手势。旋转、推拉中任一个或者其二者的速度可以基于手势结束时的速度而在手指离开之后逐渐减小。
在一个示例性操作中，用户可以以90度逆时针旋转手指1和2，并且可以将手指1和2移动分开。在该示例中，虚拟相机可以以90度逆时针围绕目标点盘旋，并且可以平移靠近目标点。在另一个示例性操作中，用户可以以45度顺时针旋转手指1和2，并且可以移动手指1和2更加接近。在该示例中，虚拟相机可以以45度顺时针围绕目标点盘旋，并且可以平移远离目标点。
通过在单个用户界面手势中进行推拉和旋转，实施例使得用户能够容易地围绕目标点进行导航并且从不同视角观看目标。
角度移位
该部分描述在移动设备上移位虚拟相机通过三维环境。通常，用户通过利用手指在移动设备的视图上选择一个位置来进行移位。基于所选择的位置，确定目标位置。随着用户拖动其手指，三维模型相对于虚拟相机的位置进行移动以跟随所述目标位置。这可以被称作触摸拖动手势。在一个实施例中，所述三维模型响应于触摸拖动手势进行旋转以跟随用户的手指。
图17是图示用于在移动设备上进行移位的方法1700的流程图。方法1700在步骤1702开始，其中接收移动设备的用户所选择的第一和第二位置。选择所述第一和第二位置在图18A中图示。所述第一和第二位置中的每一个都可以由视图上的X和Y坐标来定义。图18A示出了图示移动设备上的移位的示图1800。示图1800示出了具有视图102的移动设备100。用户利用其手指触摸位置1802并且将其手指拖动到新的位置1804。
基于位置1802和位置1804，在步骤1704确定第一和第二目标点。所述第一和第二目标点可以利用如参考图6A-B所描述的射线来确定。如果所述射线接近与三维模型相切，则目标点可能无需如参考图6B所描述的那样进行滞阻。例如，每个目标点可以通过维度、经度和高度来定义。高度(作为这里所意指的术语)可以是从目标点到三维模型中心的距离。在一个实施例中，通过将射线与三维模型相交来确定第一目标点，并且通过将射线与虚拟球体表面相交来确定第二目标点。确定目标点在图18B中图示。
图18B示出了具有面对三维地形210的虚拟相机202的示图1800。如之前所提到的，三维地形210可以是三维模型的一部分。在一个实施例中，第一目标点(目标点1854)可以通过延伸射线1852以在三维地形210处与三维模型相交来确定。基于目标点1854，确定虚拟球体表面1862。虚拟球体表面1862可以具有在三维模型中心处并且可以作为相切目标点1854的中心。通过将第二射线1864与虚拟球体表面1862相交，确定目标点1856。可替换地，可以不使用虚拟表面，并且可以通过将射线与三维模型相交来确定第二目标点。目标点1854和目标点1856这两个目标点形成相对于所述三维模型中心的地心矢量。
返回参见图17，一旦确定了目标点，就在步骤1706确定旋转轴。为了计算旋转轴，可以确定两个目标点之间的叉积。参见图18B，可以通过两个矢量V1’和V1来定义所述两个目标点。通过取得V1’和V1之间的叉积(V1’×V1)来计算旋转轴。一旦确定了旋转轴，就在步骤1708旋转三维模型。所述三维模型通过角度α进行旋转，所述角度α通过计算两个矢量V1’和V1之间的点积所确定(α＝V1’·V1)。基于角度α和旋转轴计算旋转矩阵。最后，基于所述旋转矩阵旋转所述三维模型。
一旦完成了移位运动，就可以记录手指最后的屏幕空间位置。此外，移位运动可以在用户手势完成之后继续。这为用户提供了其在旋转地球仪的感觉。旋转的速度可以逐渐降低以仿真阻力。
以这种方式，用户利用其手指所抓住的目标跟随用户手指的运动。对于用户而言，可以感到就像他在触摸行星并控制它一样。由于视图的大小，手指的第一和第二位置不能离开过远。这限制了用户所能够移位的速度并且提高了移位手势的稳定性。
可以有若干移位模式。当加速计导航被使能并且移动设备被转向低于特定值时，触摸拖动手势可以具有不同行为。在那种情况下，虽然垂直方向的触摸拖动手势可以导致如以上参考图17所描述的移位，但是水平方向的触摸拖动手势会使得虚拟相机环视。这在图19A-C中图示。
图19A示出了图示移动设备1904的示图1900。移动设备1904具有检测其相对于重力的角度β的加速计。当移动设备的角度β超出阈值α时，用户能够如图19B中的示图1930所示的在所有方向进行移位。当移动设备的角度β低于阈值α时，向左和向右的触摸抓住手势不会移位，但是会使得虚拟相机如图19C中的示图1960所示的向左和向右看。虚拟相机可以通过改变虚拟相机的偏转值来向左和向右看。
结论
注意，在之前的描述中，为了清楚已经关于与触摸屏进行接触的手指对实施例进行了描述。然而，可以使用诸如笔的本领域技术人员所知的任意其它物体。
说明内容和摘要部分可以给出发明人所预期的本发明的一个或多个但并非全部示例性实施例，并且由此并非意在以任意方式对本发明和权利要求进行限制。
以上已经借助于图示指定功能及其关系的实施方式的功能构建模块对本发明进行了描述。这些功能构建模块的界限在这里为了便于描述进行了任意定义。只要适当执行指定功能及其关系，就能够定义替代界限。
之前对特定实施例的描述将全面揭示本发明的一般本质，并且其他人通过应用本领域技术范围之内的知识，无需过度实验就能够轻易对这些特定实施例的各种应用进行修改和/或调整，而并不背离本发明的一般概念。因此，基于这里所给出的教导和指示，这样的调整和修改意在处于所公开实施例的等同物的含义和范围之内。所要理解的是，这里的短语或术语是出于描述而非限制的目的，从而本说明书的术语或短语要由技术人员根据所述教导和指示进行解释。
本发明的宽度和范围不应当由任何以上所描述的示例性实施例来限制，而是仅依据权利要求及其等同物来确定。

Claims (43)

1.一种用于在移动设备上的三维环境中导航虚拟相机的计算机实现的方法，包括：
(a)从存储器设备访问定义环境的三维模型的数据；
(b)在所述移动设备的显示器上从虚拟相机的视角显示所述三维模型的第一视图；
(c)接收方位信息，所述方位信息包括所述移动设备相对于重力的角度；
(d)确定所述移动设备的角度是否超出所述移动设备相对于重力的阈值方位；
(e)当在(d)中确定所述移动设备的角度超出所述阈值方位时，根据所述移动设备的角度在所述三维环境中对所述虚拟相机进行定向；
(f)基于所述定向(e)在所述移动设备的所述显示器上，从所述虚拟相机的视角显示所述三维模型的第二视图，所述第二视图与所述第一视图不同，
使得(d)中的所述确定避免在所述角度没有超出所述阈值方位时所述虚拟相机的所述视角发生变化。
2.根据权利要求1所述的方法，其中，所述定向(e)包括：根据所述移动设备相对于重力的角度来改变所述虚拟相机的俯仰。
3.根据权利要求1所述的方法，其中，所述接收(c)包括：接收所述移动设备的航向；并且其中，所述定向(e)包括：根据所述移动设备的所述航向来改变所述虚拟相机的偏转。
4.根据权利要求1所述的方法，进一步包括：
(g)接收所述移动设备的位置；以及
(h)根据所述移动设备的所述位置来定位所述虚拟相机。
5.根据权利要求1所述的方法，进一步包括：
(g)重复步骤(a)至(f)以追踪所述移动设备。
6.根据权利要求5所述的方法，其中，所述三维模型包括地球的三维模型。
7.根据权利要求4所述的方法，其中，所述移动设备的位置包括所述移动设备的纬度，经度和高度。
8.根据权利要求1所述的方法，其中，所述移动设备的角度是相对于与所述移动设备的屏幕的平面正交的矢量来定义的。
9.根据权利要求8所述的方法，进一步包括：
(g)检测重力相对于所述移动设备的角度成一角度，其中，所述定向(e)包括基于所述角度来改变所述虚拟相机的俯仰。
10.根据权利要求9所述的方法，其中，所述移动设备的角度范围内插至所述虚拟相机的角度范围。
11.根据权利要求1所述的方法，进一步包括：
(g)滞阻所述方位信息，其中，所述定向(e)是基于所滞阻的方位信息。
12.根据权利要求1所述的方法，进一步包括：
(g)当在(d)中确定所述移动设备的角度没有超出所述阈值时，与所述移动设备的角度无关地对所述虚拟相机进行定向。
13.一种用于在移动设备上的三维环境中导航虚拟相机的系统，包括：
传感器，所述传感器接收所述移动设备的方位信息，所述方位信息包括所述移动设备相对于重力的角度；
导航模块，所述导航模块从存储器设备访问定义环境的三维模型的数据，确定所述移动设备的角度是否超出所述移动设备相对于重力的阈值方位，以及当所述移动设备的角度被确定超出所述阈值方位时，根据所述移动设备的角度将所述虚拟相机定向在所述三维环境中；以及
显示器，所述显示器从所述虚拟相机的视角显示所述三维模型的第一视图，并且进一步基于所述虚拟相机的方位来从所述虚拟相机的视角显示所述三维模型的第二视图，其中，所述第二视图不同于所述第一视图，使得所述导航模块避免在所述角度没有超出所述阈值方位时所述虚拟相机的所述视角发生改变。
14.根据权利要求13所述的系统，其中，所述导航模块根据所述移动设备相对于重力的角度来改变所述虚拟相机的俯仰。
15.根据权利要求13所述的系统，其中，所述传感器接收所述移动设备的航向，并且所述导航模块根据所述移动设备的所述航向来改变所述虚拟相机的偏转。
16.根据权利要求13所述的系统，进一步包括：
位置接收器，所述位置接收器接收所述移动设备的位置，以及其中，所述导航模块根据所述移动设备的所述位置来定位所述虚拟相机。
17.根据权利要求16所述的系统，其中，所述三维模型包括地球的三维模型。
18.根据权利要求17所述的系统，其中，所述导航模块在地球的三维模型内追踪所述移动设备。
19.根据权利要求13所述的系统，其中，所述移动设备的所述方位是相对于与所述移动设备的屏幕的平面正交的矢量来定义的。
20.根据权利要求19所述的系统，其中，所述传感器检测重力相对于所述移动设备的所述方位成一角度，并且所述导航模块基于所述角度来改变所述虚拟相机的俯仰。
21.一种用于在具有触摸屏的移动设备上的三维环境中导航虚拟相机的计算机实现的方法，包括：
接收用户输入，所述用户输入指示物体已经触摸了移动设备的触摸屏上的第一点，并且所述物体已被拖动到所述触摸屏上的第二点；
接收所述移动设备的方位；
当所述移动设备的所述方位低于角阈值时，针对所述移动设备上的三维环境中的虚拟相机确定第一移位模式，其中，所述三维环境包括三维模型，并且其中，所述第一移位模式对应于这样的模式：其中所述虚拟相机保持静止并且所述三维模型仅在所述用户输入为向上和向下时被平移，并且其中当所述用户输入为向左和向右时所述虚拟相机的偏转值改变；
当所述移动设备的所述方位高于所述角阈值时，针对所述移动设备上的三维环境中的所述虚拟相机确定第二移位模式，其中，所述第二移位模式对应于这样的模式：其中所述虚拟相机保持静止并且三维模型基于所述用户输入来在各个方位上被平移；
其中，指示物体已经触摸了所述移动设备的触摸屏上的第一点并且所述物体已被拖动到所述触摸屏上的第二点的所述用户输入，使得虚拟相机在确定所述第一移位模式时和在确定所述第二移位模式时具有不同的行为。
22.根据权利要求21所述的计算机实现的方法，其中，接收所述移动设备的方位包括：接收所述移动设备相对于重力的角度。
23.根据权利要求21所述的计算机实现的方法，其中：
当所述移动设备的所述方位是面向下方时，确定发生第一移位模式；以及
当所述移动设备的所述方位是面向地平线时，确定发生第二移位模式。
24.根据权利要求21所述的计算机实现的方法，进一步包括：
当确定所述第一移位模式时，移动三维模型以跟随所述物体在所述触摸屏上的向上或向下的移动；以及
当确定所述第一移位模式时，根据所述物体在所述触摸屏上的向左或向右的移动来改变所述虚拟相机的方位。
25.根据权利要求21所述的计算机实现的方法，进一步包括：
当确定所述第二移位模式时，移动三维模型以跟随所述物体在所述触摸屏上的向上或向下的移动；以及
当确定所述第二移位模式时，移动三维模型以跟随所述物体在所述触摸屏上的向左或向右的移动。
26.根据权利要求21所述的计算机实现的方法，进一步包括：
当确定所述第一移位模式时，根据所述物体在所述触摸屏上的向左或向右的移动来改变所述虚拟相机的方位；以及
当确定所述第二移位模式时，移动三维模型以跟随所述物体在所述触摸屏上的向左或向右的移动。
27.根据权利要求21所述的计算机实现的方法，其中，所述三维模型包括地球的三维模型。
28.一种用于在具有触摸屏的移动设备上的三维环境中导航虚拟相机的计算机实现的方法，包括：
(a)从存储器设备访问定义所述三维环境的三维模型的数据；
(b)接收用户输入，所述用户输入指示物体已经触摸了所述移动设备的触摸屏上的第一点并且所述物体已经被拖动到所述触摸屏上的第二点，所述第一点和所述第二点对应于定义所述三维模型的数据；
(c)基于所述触摸屏上的所述第一点来确定所述三维环境中的第一目标位置，其中，所述确定(c)包括：基于所述虚拟相机的位置和所述触摸屏上的所述第一点来延伸第一射线，并且在所述三维环境中将所述第一射线与所述三维模型相交；
(d)基于所述第一目标位置来确定虚拟表面，其中，所述确定(d)包括：构建与所述第一目标位置相切并以所述三维模型的中心为中心的球体；
(e)基于所述触摸屏上的所述第二点来确定所述三维环境中的第二目标位置，其中，所述确定(e)包括：基于所述虚拟相机的位置和所述触摸屏上的所述第二点来延伸第二射线，并将所述第二射线与所述虚拟表面相交；以及
(f)根据所述第一目标位置和所述第二目标位置，在所述三维环境中相对于所述虚拟相机移动所述三维模型。
29.根据权利要求28所述的方法，其中，所述移动(e)包括：旋转所述三维模型。
30.根据权利要求29所述的方法，进一步包括：
(g)确定所述第一目标位置和所述第二目标位置的叉积以确定旋转轴；以及
(h)确定所述第一目标位置和所述第二目标位置的点积以确定旋转角度。
31.根据权利要求30所述的方法，进一步包括：
(i)基于所述旋转轴和所述旋转角度确定旋转矩阵，其中，所述移动(e)进一步包括根据所述旋转矩阵旋转所述三维模型。
32.根据权利要求28所述的方法，其中，在所述物体已被拖动到所述触摸屏上的所述第二点之后，继续所述移动(f)。
33.根据权利要求28所述的方法，其中，所述三维模型包括地球的三维模型。
34.根据权利要求28所述的方法，其中，所述第一点和所述第二点中的每一个是由所述触摸屏上的X坐标和Y坐标定义的。
35.根据权利要求28所述的方法，其中，所述第一目标位置是由纬度、经度和高度坐标定义的。
36.根据权利要求35所述的方法，其中，所述第二目标位置是由纬度、经度和高度坐标定义的。
37.根据权利要求35所述的方法，其中，所述高度是从所述第一目标位置到所述三维模型的中心的距离。
38.根据权利要求28所述的方法，其中，所述移动(f)包括：以一速度旋转所述三维模型，并且逐渐降低所述三维模型的旋转速度以模拟阻力。
39.根据权利要求28所述的方法，其中，所述确定(d)包括：基于所述第一目标位置来确定凹进的虚拟表面。
40.一种用于在移动设备上的三维环境中导航虚拟相机的系统，包括：
触摸接收器，所述触摸接收器接收用户输入，所述用户输入指示物体已经触摸了所述移动设备的触摸屏上的第一点并且所述物体已经被拖动到所述触摸屏上的第二点，所述第一点和所述第二点对应于定义三维模型的数据；
目标模块，所述目标模块进行以下操作：
从存储器设备访问定义所述三维环境的所述三维模型的数据，
基于所述触摸屏上的所述第一点来确定所述三维环境中的第一目标位置，其中，当所述目标模块确定所述第一目标位置时，所述目标模块基于所述虚拟相机的位置和所述触摸屏上的所述第一点来延伸所述第一射线，并在所述三维环境中将所述第一射线与所述三维模型相交，
基于所述第一目标位置来确定虚拟表面，其中，当所述目标模块确定所述虚拟表面时，所述目标模块构建与所述第一目标位置相切并以所述三维模型的中心为中心的球体，以及
基于所述触摸屏上的所述第二点来确定所述三维环境中的第二目标位置，其中，当所述目标模块确定所述第二目标位置时，所述目标模块基于所述虚拟相机的位置和所述触摸屏上的所述第二点来延伸第二射线，并将所述第二射线与所述虚拟表面相交；以及
移位模块，所述移位模块根据所述第一目标位置和所述第二目标位置在所述三维环境中相对于所述虚拟相机移动所述三维模型。
41.根据权利要求40所述的系统，其中，所述移位模块旋转所述三维模型。
42.根据权利要求41所述的系统，其中，所述移位模块确定所述第一目标位置和所述第二目标位置的叉积以确定旋转轴，并且确定所述第一目标位置和所述第二目标位置的点积以确定旋转角度。
43.根据权利要求42所述的系统，其中，所述移位模块基于所述旋转轴和所述旋转角度来确定旋转矩阵，并且根据所述旋转矩阵来旋转所述三维模型。
CN201911350849.0A 2008-08-22 2009-08-24 移动设备上的三维环境中的导航 Pending CN111522493A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US9123408P 2008-08-22 2008-08-22
US61/091,234 2008-08-22
CN2009801413564A CN102187309A (zh) 2008-08-22 2009-08-24 移动设备上的三维环境中的导航

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2009801413564A Division CN102187309A (zh) 2008-08-22 2009-08-24 移动设备上的三维环境中的导航

Publications (1)

Publication Number Publication Date
CN111522493A true CN111522493A (zh) 2020-08-11

Family

ID=41695929

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201310095018XA Pending CN103324386A (zh) 2008-08-22 2009-08-24 移动设备上的三维环境中的导航
CN201911350849.0A Pending CN111522493A (zh) 2008-08-22 2009-08-24 移动设备上的三维环境中的导航
CN2009801413564A Pending CN102187309A (zh) 2008-08-22 2009-08-24 移动设备上的三维环境中的导航

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201310095018XA Pending CN103324386A (zh) 2008-08-22 2009-08-24 移动设备上的三维环境中的导航

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2009801413564A Pending CN102187309A (zh) 2008-08-22 2009-08-24 移动设备上的三维环境中的导航

Country Status (8)

Country Link
US (8) US20100045703A1 (zh)
EP (1) EP2327010A2 (zh)
JP (1) JP2012501016A (zh)
KR (1) KR101665034B1 (zh)
CN (3) CN103324386A (zh)
AU (1) AU2009282724B2 (zh)
CA (1) CA2734987A1 (zh)
WO (1) WO2010022386A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087575A (zh) * 2020-08-24 2020-12-15 广州启量信息科技有限公司 一种虚拟相机控制方法
CN112354179A (zh) * 2020-11-23 2021-02-12 浙江浙大中控信息技术有限公司 一种三维地理信息内容的显示与交互方法

Families Citing this family (206)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US8239132B2 (en) * 2008-01-22 2012-08-07 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
US8948788B2 (en) * 2008-05-28 2015-02-03 Google Inc. Motion-controlled views on mobile computing devices
CN103324386A (zh) 2008-08-22 2013-09-25 谷歌公司 移动设备上的三维环境中的导航
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
CA2674663A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited A method and handheld electronic device having dual mode touchscreen-based navigation
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US8108147B1 (en) * 2009-02-06 2012-01-31 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for automatic omni-directional visual motion-based collision avoidance
US20100223093A1 (en) * 2009-02-27 2010-09-02 Hubbard Robert B System and method for intelligently monitoring subscriber's response to multimedia content
US9007379B1 (en) * 2009-05-29 2015-04-14 Two Pic Mc Llc Methods and apparatus for interactive user control of virtual cameras
US8933925B2 (en) * 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes
US8723988B2 (en) * 2009-07-17 2014-05-13 Sony Corporation Using a touch sensitive display to control magnification and capture of digital images by an electronic device
CN101996021B (zh) * 2009-08-12 2013-02-13 幻音科技(深圳)有限公司 手持式电子设备及其控制显示内容的方法
JP5304544B2 (ja) * 2009-08-28 2013-10-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20110026066A (ko) * 2009-09-07 2011-03-15 삼성전자주식회사 휴대용 단말기에서 화면 상태를 전환시키기 위한 장치 및 방법
JP5464955B2 (ja) * 2009-09-29 2014-04-09 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置
US8913009B2 (en) 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8339364B2 (en) 2010-02-03 2012-12-25 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
EP2392389A4 (en) * 2010-02-03 2014-10-15 Nintendo Co Ltd GAME SYSTEM, OPERATING METHOD AND GAME PROCESSING METHOD
US8814686B2 (en) 2010-02-03 2014-08-26 Nintendo Co., Ltd. Display device, game system, and game method
US20110199386A1 (en) * 2010-02-12 2011-08-18 Honeywell International Inc. Overlay feature to provide user assistance in a multi-touch interactive display environment
US8570286B2 (en) * 2010-02-12 2013-10-29 Honeywell International Inc. Gestures on a touch-sensitive display
US20110199516A1 (en) * 2010-02-12 2011-08-18 Honeywell International Inc. Method of showing video on a touch-sensitive display
US8516063B2 (en) 2010-02-12 2013-08-20 Mary Anne Fletcher Mobile device streaming media application
US8638371B2 (en) * 2010-02-12 2014-01-28 Honeywell International Inc. Method of manipulating assets shown on a touch-sensitive display
EP2362302B1 (en) * 2010-02-26 2018-06-06 Alcatel Lucent Method for controlling motions of an object in a 3-dimensional virtual environment
JP2011197777A (ja) * 2010-03-17 2011-10-06 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8756522B2 (en) 2010-03-19 2014-06-17 Blackberry Limited Portable electronic device and method of controlling same
US8937592B2 (en) * 2010-05-20 2015-01-20 Samsung Electronics Co., Ltd. Rendition of 3D content on a handheld device
CN102859473B (zh) * 2010-05-21 2015-12-02 联想创新有限公司（香港) 指向位置确定设备和方法、触摸板设备、电子设备
US8378985B2 (en) * 2010-05-26 2013-02-19 Sony Mobile Communications Ab Touch interface for three-dimensional display control
US8640020B2 (en) * 2010-06-02 2014-01-28 Microsoft Corporation Adjustable and progressive mobile device street view
US20110298887A1 (en) * 2010-06-02 2011-12-08 Maglaque Chad L Apparatus Using an Accelerometer to Capture Photographic Images
US20120326975A1 (en) * 2010-06-03 2012-12-27 PixArt Imaging Incorporation, R.O.C. Input device and input method
US8977987B1 (en) 2010-06-14 2015-03-10 Google Inc. Motion-based interface control on computing device
JP2012002568A (ja) * 2010-06-15 2012-01-05 Brother Ind Ltd ナビゲーションシステム、携帯機器及び携帯機器用プログラム
US8907943B2 (en) 2010-07-07 2014-12-09 Apple Inc. Sensor based display environment
KR20120005124A (ko) * 2010-07-08 2012-01-16 삼성전자주식회사 휴대용 단말기에서 움직임에 따른 동작을 수행하기 위한 장치 및 방법
US9626786B1 (en) 2010-07-19 2017-04-18 Lucasfilm Entertainment Company Ltd. Virtual-scene control device
KR101259598B1 (ko) * 2010-07-30 2013-04-30 주식회사 팬택 로드뷰 제공 장치 및 방법
JP6243586B2 (ja) 2010-08-06 2017-12-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
US8449118B2 (en) * 2010-08-13 2013-05-28 T-Mobile Usa, Inc. Device-adjacent ambiently displayed image
US8451192B2 (en) 2010-08-13 2013-05-28 T-Mobile Usa, Inc. Utilization of interactive device-adjacent ambiently displayed images
US10150033B2 (en) 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
JP6184658B2 (ja) 2010-08-20 2017-08-23 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5840385B2 (ja) 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5840386B2 (ja) 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5664036B2 (ja) * 2010-09-07 2015-02-04 ソニー株式会社 情報処理装置、プログラム及び制御方法
JP5609508B2 (ja) * 2010-10-04 2014-10-22 富士通株式会社 オブジェクト操作装置、オブジェクト操作方法、およびオブジェクト操作プログラム
DE102010047779A1 (de) * 2010-10-08 2012-04-12 Hicat Gmbh Computer und Verfahren zur visuellen Navigation in einem dreidimensionalen Bilddatensatz
GB2487039A (en) * 2010-10-11 2012-07-11 Michele Sciolette Visualizing Illustrated Books And Comics On Digital Devices
US8780174B1 (en) 2010-10-12 2014-07-15 The Boeing Company Three-dimensional vision system for displaying images taken from a moving vehicle
US9001053B2 (en) * 2010-10-28 2015-04-07 Honeywell International Inc. Display system for controlling a selector symbol within an image
KR101364826B1 (ko) 2010-11-01 2014-02-20 닌텐도가부시키가이샤 조작 장치 및 조작 시스템
US9026359B2 (en) * 2010-11-01 2015-05-05 Nokia Corporation Visually representing a three-dimensional environment
US9342998B2 (en) 2010-11-16 2016-05-17 Microsoft Technology Licensing, Llc Techniques to annotate street view images with contextual information
US8380427B2 (en) * 2010-12-03 2013-02-19 Google Inc. Showing realistic horizons on mobile computing devices
US20120194556A1 (en) * 2011-01-28 2012-08-02 L3 Communications Avionics Systems, Inc. 3d avionics viewpoint control system
US8791911B2 (en) * 2011-02-09 2014-07-29 Robotzone, Llc Multichannel controller
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9632677B2 (en) * 2011-03-02 2017-04-25 The Boeing Company System and method for navigating a 3-D environment using a multi-input interface
US9561443B2 (en) 2011-03-08 2017-02-07 Nintendo Co., Ltd. Computer-readable storage medium, information processing system, and information processing method
EP2497547B1 (en) 2011-03-08 2018-06-27 Nintendo Co., Ltd. Information processing program, information processing apparatus, information processing system, and information processing method
EP2497543A3 (en) 2011-03-08 2012-10-03 Nintendo Co., Ltd. Information processing program, information processing system, and information processing method
JP5792971B2 (ja) 2011-03-08 2015-10-14 任天堂株式会社 情報処理システム、情報処理プログラム、および情報処理方法
EP2497546A3 (en) 2011-03-08 2012-10-03 Nintendo Co., Ltd. Information processing program, information processing system, and information processing method
US9539511B2 (en) 2011-03-08 2017-01-10 Nintendo Co., Ltd. Computer-readable storage medium, information processing system, and information processing method for operating objects in a virtual world based on orientation data related to an orientation of a device
US8836802B2 (en) 2011-03-21 2014-09-16 Honeywell International Inc. Method of defining camera scan movements using gestures
WO2016057997A1 (en) * 2014-10-10 2016-04-14 Pantomime Corporation Support based 3d navigation
GB2489685B (en) * 2011-03-31 2017-01-25 Geovs Ltd A Display System
JP5689014B2 (ja) 2011-04-07 2015-03-25 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および３次元位置算出方法
US8760275B2 (en) * 2011-04-15 2014-06-24 Avaya Inc. Obstacle warning system and method
JP5918618B2 (ja) 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP5591281B2 (ja) * 2011-06-03 2014-09-17 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および動画再生制御方法
US8675049B2 (en) * 2011-06-09 2014-03-18 Microsoft Corporation Navigation model to render centered objects using images
US9390617B2 (en) 2011-06-10 2016-07-12 Robotzone, Llc Camera motion control system with variable autonomy
US9508002B2 (en) * 2011-06-14 2016-11-29 Google Inc. Generating cinematic flyby sequences following paths and GPS tracks
US8914037B2 (en) 2011-08-11 2014-12-16 Qualcomm Incorporated Numerically stable computation of heading without a reference axis
TWI475471B (zh) * 2011-09-19 2015-03-01 Acer Inc 利用觸控螢幕輔助視訊壓縮的方法及監控系統
JP2013084029A (ja) * 2011-10-06 2013-05-09 Sony Corp 表示制御装置
JP5160680B1 (ja) * 2011-10-26 2013-03-13 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、及びプログラム
WO2013060085A1 (en) * 2011-10-27 2013-05-02 The Hong Kong University Of Science And Technology System and method for constrained manipulations of 3d objects by multitouch inputs
US9026951B2 (en) * 2011-12-21 2015-05-05 Apple Inc. Device, method, and graphical user interface for selection of views in a three-dimensional map based on gesture inputs
US9208698B2 (en) * 2011-12-27 2015-12-08 Apple Inc. Device, method, and graphical user interface for manipulating a three-dimensional map view based on a device orientation
US9335888B2 (en) 2011-12-27 2016-05-10 Intel Corporation Full 3D interaction on mobile devices
US10191641B2 (en) 2011-12-29 2019-01-29 Apple Inc. Device, method, and graphical user interface for navigation of information in a map-based interface
US9124800B2 (en) * 2012-02-13 2015-09-01 Htc Corporation Auto burst image capture method applied to a mobile device, method for tracking an object applied to a mobile device, and related mobile device
US9594487B2 (en) 2012-02-27 2017-03-14 Autodesk, Inc Systems and methods for manipulating a 3D object in a 3D model using a software widget and surface constraints
US8626434B1 (en) * 2012-03-01 2014-01-07 Google Inc. Automatic adjustment of a camera view for a three-dimensional navigation system
US8630458B2 (en) * 2012-03-21 2014-01-14 Google Inc. Using camera input to determine axis of rotation and navigation
JP5959047B2 (ja) * 2012-04-04 2016-08-02 任天堂株式会社 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置
TW201343227A (zh) * 2012-04-25 2013-11-01 Fu Li Ye Internat Corp 具有觸控面板裝置媒體的互動遊戲控制方法
US10176633B2 (en) 2012-06-05 2019-01-08 Apple Inc. Integrated mapping and navigation application
US9052197B2 (en) 2012-06-05 2015-06-09 Apple Inc. Providing navigation instructions while device is in locked mode
US9997069B2 (en) 2012-06-05 2018-06-12 Apple Inc. Context-aware voice guidance
US10156455B2 (en) 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
US9418672B2 (en) 2012-06-05 2016-08-16 Apple Inc. Navigation application with adaptive instruction text
US9311750B2 (en) * 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9886794B2 (en) 2012-06-05 2018-02-06 Apple Inc. Problem reporting in maps
US9482296B2 (en) 2012-06-05 2016-11-01 Apple Inc. Rendering road signs during navigation
US9159153B2 (en) 2012-06-05 2015-10-13 Apple Inc. Method, system and apparatus for providing visual feedback of a map view change
US9092900B2 (en) * 2012-06-05 2015-07-28 Google Inc. Terrain-based virtual camera tilting, and applications thereof
US9111380B2 (en) 2012-06-05 2015-08-18 Apple Inc. Rendering maps
US9200919B2 (en) * 2012-06-05 2015-12-01 Apple Inc. Method, system and apparatus for selectively obtaining map image data according to virtual camera velocity
US20130332890A1 (en) * 2012-06-06 2013-12-12 Google Inc. System and method for providing content for a point of interest
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
JP6031600B2 (ja) 2012-07-15 2016-11-24 アップル インコーポレイテッド ３ｄ相互作用のマルチタッチジェスチャ認識の曖昧性除去
US9021387B2 (en) 2012-07-31 2015-04-28 Hewlett-Packard Development Company, L.P. Re-sizing user interface object on touch sensitive display
US9025860B2 (en) 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents
GB2505404B (en) * 2012-08-07 2016-08-31 Samsung Electronics Co Ltd Portable apparatus with a GUI
US9507513B2 (en) 2012-08-17 2016-11-29 Google Inc. Displaced double tap gesture
US8777743B2 (en) * 2012-08-31 2014-07-15 DeNA Co., Ltd. System and method for facilitating interaction with a virtual space via a touch sensitive surface
US9886795B2 (en) * 2012-09-05 2018-02-06 Here Global B.V. Method and apparatus for transitioning from a partial map view to an augmented reality view
US20150040073A1 (en) * 2012-09-24 2015-02-05 Google Inc. Zoom, Rotate, and Translate or Pan In A Single Gesture
US10492053B2 (en) * 2012-10-01 2019-11-26 Scott R. Copeland System for a monitored and reconstructible personal rendezvous session
US10178188B2 (en) * 2012-10-01 2019-01-08 Scott R. Copeland System for a monitored and reconstructible personal rendezvous session
US20140109016A1 (en) * 2012-10-16 2014-04-17 Yu Ouyang Gesture-based cursor control
CN104769543B (zh) * 2012-10-16 2018-10-26 田载雄 用于在虚拟三维空间中控制虚拟相机的方法和系统以及计算机可读记录介质
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
CN103853471B (zh) * 2012-12-03 2017-05-10 昆达电脑科技(昆山)有限公司 基于用户触控行为的地图显示方法
US9606709B2 (en) 2012-12-27 2017-03-28 Google Inc. System and method for geographic data layer management in a geographic information system
US10140765B2 (en) 2013-02-25 2018-11-27 Google Llc Staged camera traversal for three dimensional environment
US9773346B1 (en) * 2013-03-12 2017-09-26 Amazon Technologies, Inc. Displaying three-dimensional virtual content
US20140267600A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Synth packet for interactive view navigation of a scene
US9712746B2 (en) 2013-03-14 2017-07-18 Microsoft Technology Licensing, Llc Image capture and ordering
US9007404B2 (en) * 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
GB2512628A (en) * 2013-04-04 2014-10-08 Sony Corp Method and apparatus
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9417835B2 (en) 2013-05-10 2016-08-16 Google Inc. Multiplayer game for display across multiple devices
US9786075B2 (en) * 2013-06-07 2017-10-10 Microsoft Technology Licensing, Llc Image extraction and image-based rendering for manifolds of terrestrial and aerial visualizations
US9329750B2 (en) * 2013-09-10 2016-05-03 Google Inc. Three-dimensional tilt and pan navigation using a single gesture
WO2015066560A1 (en) * 2013-11-01 2015-05-07 InvenSense, Incorporated Systems and methods for optical sensor navigation
WO2015089451A1 (en) * 2013-12-14 2015-06-18 Handscape Inc. Method for detecting user gestures from alternative touchpads of a handheld computerized device
ITCO20130068A1 (it) * 2013-12-18 2015-06-19 Nu Tech S A S Di De Michele Marco & Co Metodo per fornire comandi d'utente ad un elaboratore elettronico e relativi programma per elaborare e circuito elettronico.
TWI497188B (zh) * 2014-02-14 2015-08-21 Dayu Optoelectronics Co Ltd 立體影像產生方法及立體影像攝像裝置
CN104849953B (zh) * 2014-02-19 2017-09-12 大昱光电股份有限公司 立体影像产生方法及立体影像摄像装置
US9851880B2 (en) * 2014-03-14 2017-12-26 Adobe Systems Incorporated Image rotation based on touch gestures
JP6601392B2 (ja) * 2014-04-07 2019-11-06 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
US9332285B1 (en) 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US20170220225A1 (en) * 2014-06-02 2017-08-03 Apelab Sarl A method and system for providing interactivity within a virtual environment
EP3138080B1 (en) 2014-06-03 2021-08-11 Apple Inc. Method and system for presenting a digital information related to a real object
US10724864B2 (en) 2014-06-17 2020-07-28 Chief Architect Inc. Step detection methods and apparatus
US9589354B2 (en) 2014-06-17 2017-03-07 Chief Architect Inc. Virtual model viewing methods and apparatus
US9575564B2 (en) * 2014-06-17 2017-02-21 Chief Architect Inc. Virtual model navigation methods and apparatus
US9595130B2 (en) * 2014-06-17 2017-03-14 Chief Architect Inc. Virtual model navigation methods and apparatus
US9726463B2 (en) 2014-07-16 2017-08-08 Robtozone, LLC Multichannel controller for target shooting range
US10007419B2 (en) 2014-07-17 2018-06-26 Facebook, Inc. Touch-based gesture recognition and application navigation
US9430142B2 (en) * 2014-07-17 2016-08-30 Facebook, Inc. Touch-based gesture recognition and application navigation
FR3028330B1 (fr) * 2014-11-07 2017-12-08 Thales Sa Procede et dispositif de changement de point de vue d'une carte 3d ou d'une image d'un objet physique 3d par reconnaissance d'une gestuelle sur ecran tactile
CN104680588B (zh) * 2015-02-13 2017-11-24 上海同筑信息科技有限公司 基于bim的事件标示方法和系统
CN104965653A (zh) * 2015-06-15 2015-10-07 联想(北京)有限公司 一种控制方法及电子设备
ES2746448T3 (es) * 2015-06-16 2020-03-06 Nokia Technologies Oy Realidad mediada
US9679413B2 (en) 2015-08-13 2017-06-13 Google Inc. Systems and methods to transition between viewpoints in a three-dimensional environment
US11504623B2 (en) * 2015-08-17 2022-11-22 Lego A/S Method of creating a virtual game environment and interactive game system employing the method
CN107924690B (zh) * 2015-09-02 2021-06-25 交互数字Ce专利控股公司 用于促进扩展场景中的导航的方法、装置和系统
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
CN105915877A (zh) * 2015-12-27 2016-08-31 乐视致新电子科技（天津）有限公司 一种三维视频的自由观影方法及设备
FR3046229A1 (fr) * 2015-12-29 2017-06-30 Thales Sa Procede de representation graphique d'une vue synthetique tridimensionnelle du paysage exterieur dans un systeme de visualisation de bord pour aeronef
CN107038682B (zh) * 2016-02-03 2020-06-26 上海源胜文化传播有限公司 一种三维人体模型的缩放系统及方法
WO2017161192A1 (en) * 2016-03-16 2017-09-21 Nils Forsblom Immersive virtual experience using a mobile communication device
US10198861B2 (en) 2016-03-31 2019-02-05 Intel Corporation User interactive controls for a priori path navigation in virtual environment
US10739157B2 (en) 2016-06-12 2020-08-11 Apple Inc. Grouping maneuvers for display in a navigation presentation
JP6228267B2 (ja) * 2016-06-20 2017-11-08 株式会社スクウェア・エニックス ビデオゲーム処理装置、ビデオゲーム処理方法、及びビデオゲーム処理プログラム
US20170374276A1 (en) * 2016-06-23 2017-12-28 Intel Corporation Controlling capturing of a multimedia stream with user physical responses
US10726673B2 (en) 2016-09-20 2020-07-28 Acres Technology Automatic application of a bonus to an electronic gaming device responsive to player interaction with a mobile computing device
US10041800B2 (en) 2016-09-23 2018-08-07 Qualcomm Incorporated Pedestrian sensor assistance in a mobile device during typical device motions
WO2018067130A1 (en) * 2016-10-04 2018-04-12 Hewlett-Packard Development Company, L.P. Three-dimensional input device
US11061557B2 (en) 2016-12-22 2021-07-13 ReScan, Inc. Dynamic single touch point navigation
US10732797B1 (en) 2017-01-10 2020-08-04 Lucasfilm Entertainment Company Ltd. Virtual interfaces for manipulating objects in an immersive environment
WO2018169951A1 (en) * 2017-03-13 2018-09-20 ReScan, Inc. Navigation system
CN108984087B (zh) * 2017-06-02 2021-09-14 腾讯科技（深圳）有限公司 基于三维虚拟形象的社交互动方法及装置
AU2017204099A1 (en) * 2017-06-16 2019-01-17 Canon Kabushiki Kaisha System and method of configuring a virtual camera
CN107436745B (zh) * 2017-06-19 2021-01-08 广州励丰文化科技股份有限公司 基于数字艺术景观装置的三维模型的图片显示方法及装置
US10663298B2 (en) * 2017-06-25 2020-05-26 Invensense, Inc. Method and apparatus for characterizing platform motion
US20190007672A1 (en) 2017-06-30 2019-01-03 Bobby Gene Burrough Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections
AU2017204643B2 (en) 2017-07-07 2020-05-14 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
CN107506038B (zh) * 2017-08-28 2020-02-25 荆门程远电子科技有限公司 一种基于移动终端的三维虚拟地球交互方法
US10569172B2 (en) * 2017-09-19 2020-02-25 Canon Kabushiki Kaisha System and method of configuring a virtual camera
JP6419278B1 (ja) * 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム
CN109550246B (zh) * 2017-09-25 2022-03-25 腾讯科技（深圳）有限公司 游戏客户端的控制方法、装置、存储介质和电子装置
CN108363531A (zh) * 2018-01-17 2018-08-03 网易（杭州）网络有限公司 一种游戏中的交互方法及装置
US20210102820A1 (en) * 2018-02-23 2021-04-08 Google Llc Transitioning between map view and augmented reality view
JP7045218B2 (ja) * 2018-02-28 2022-03-31 キヤノン株式会社 情報処理装置および情報処理方法、プログラム
CN108509139B (zh) * 2018-03-30 2019-09-10 腾讯科技（深圳）有限公司 虚拟对象的移动控制方法、装置、电子装置及存储介质
CN108379844B (zh) * 2018-03-30 2020-10-23 腾讯科技（深圳）有限公司 控制虚拟对象移动的方法、装置、电子装置及存储介质
US10964110B2 (en) * 2018-05-07 2021-03-30 Vmware, Inc. Managed actions using augmented reality
JP6916150B2 (ja) * 2018-06-05 2021-08-11 任天堂株式会社 ゲームシステム、ゲームプログラム、ゲーム装置、およびゲーム処理方法
CN110610523B (zh) * 2018-06-15 2023-04-25 杭州海康威视数字技术股份有限公司 汽车环视标定方法及装置、计算机可读存储介质
JP6830473B2 (ja) * 2018-12-13 2021-02-17 株式会社スクウェア・エニックス ビデオゲーム処理装置、ビデオゲーム処理方法、及びビデオゲーム処理プログラム
CN109840043B (zh) * 2019-01-30 2021-08-10 腾讯科技（深圳）有限公司 在虚拟环境中建造建筑物的方法、装置、设备及存储介质
US11216149B2 (en) * 2019-03-15 2022-01-04 Samsung Electronics Co., Ltd. 360° video viewer control using smart device
CN112130551A (zh) * 2019-06-25 2020-12-25 北京百度网讯科技有限公司 无人驾驶车辆的行进路径和速度决策规划方法及装置
WO2021020143A1 (ja) * 2019-07-30 2021-02-04 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
CN110523085A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 虚拟对象的控制方法、装置、终端及存储介质
CN111324253B (zh) * 2020-02-12 2021-08-03 腾讯科技（深圳）有限公司 虚拟物品交互方法、装置、计算机设备及存储介质
US11625037B2 (en) 2020-02-13 2023-04-11 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles
EP3865984B1 (en) * 2020-02-13 2023-09-27 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles
JP2020113314A (ja) * 2020-03-25 2020-07-27 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
AU2021307015B2 (en) * 2020-11-13 2023-06-08 Tencent Technology (Shenzhen) Company Limited Virtual object control method and apparatus, storage medium, and electronic device
US11899204B2 (en) * 2021-06-09 2024-02-13 Snap Inc. Soft follow and pitch angle effects for VR/AR interface

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5588098A (en) * 1991-11-22 1996-12-24 Apple Computer, Inc. Method and apparatus for direct manipulation of 3-D objects on computer displays
US20020006217A1 (en) * 2000-04-28 2002-01-17 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
CN1360283A (zh) * 2002-01-15 2002-07-24 天津大学 真人头像三维模型建立系统
JP3090450U (ja) * 2002-06-04 2002-12-13 株式会社ワコー 方位表示機能をもった携帯型情報処理装置
US20040085335A1 (en) * 2002-11-05 2004-05-06 Nicolas Burlnyk System and method of integrated spatial and temporal navigation
DE10300527A1 (de) * 2003-01-09 2004-07-22 Realtime Technology Ag System und Verfahren zur Darstellung von virtuellen Szenen auf einer Bilddarstellungseinheit
CN1717573A (zh) * 2004-07-15 2006-01-04 C&N株式会社 移动终端装置
US7042449B2 (en) * 2002-06-28 2006-05-09 Autodesk Canada Co. Push-tumble three dimensional navigation system
JP2006349964A (ja) * 2005-06-15 2006-12-28 Denso Corp 携帯機用地図表示装置
CN101030982A (zh) * 2007-03-22 2007-09-05 宇龙计算机通信科技(深圳)有限公司 自动调整显示屏内容显示方向的装置及方法

Family Cites Families (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5111288A (en) * 1988-03-02 1992-05-05 Diamond Electronics, Inc. Surveillance camera system
US5276785A (en) * 1990-08-02 1994-01-04 Xerox Corporation Moving viewpoint with respect to a target in a three-dimensional workspace
JP2827612B2 (ja) * 1991-10-07 1998-11-25 富士通株式会社 タッチパネル装置およびタッチパネル装置におけるオブジェクトの表示方法。
US6597347B1 (en) * 1991-11-26 2003-07-22 Itu Research Inc. Methods and apparatus for providing touch-sensitive input in multiple degrees of freedom
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5557714A (en) * 1993-01-29 1996-09-17 Microsoft Corporation Method and system for rotating a three-dimensional model about two orthogonal axes
JPH0764754A (ja) * 1993-08-24 1995-03-10 Hitachi Ltd 小型情報処理装置
US5689628A (en) * 1994-04-14 1997-11-18 Xerox Corporation Coupling a display object to a viewpoint in a navigable workspace
GB9606791D0 (en) * 1996-03-29 1996-06-05 British Telecomm Control interface
US5808613A (en) * 1996-05-28 1998-09-15 Silicon Graphics, Inc. Network navigator with enhanced navigational abilities
GB9616184D0 (en) * 1996-08-01 1996-09-11 Philips Electronics Nv Virtual environment navigation
JPH1049290A (ja) * 1996-08-05 1998-02-20 Sony Corp 情報処理装置および方法
JP4332231B2 (ja) * 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
GB9721667D0 (en) * 1997-10-14 1997-12-10 Philips Electronics Nv Virtual environment navigation aid
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
EP1717684A3 (en) * 1998-01-26 2008-01-23 Fingerworks, Inc. Method and apparatus for integrating manual input
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6347290B1 (en) * 1998-06-24 2002-02-12 Compaq Information Technologies Group, L.P. Apparatus and method for detecting and executing positional and gesture commands corresponding to movement of handheld computing device
US6029854A (en) * 1998-09-16 2000-02-29 Wissen; William T. Portable liquid dispenser
US6400376B1 (en) * 1998-12-21 2002-06-04 Ericsson Inc. Display control for hand-held data processing device
US7119819B1 (en) * 1999-04-06 2006-10-10 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US6288704B1 (en) * 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
US6466198B1 (en) * 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US6388655B1 (en) * 1999-11-08 2002-05-14 Wing-Keung Leung Method of touch control of an input device and such a device
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US6636210B1 (en) * 2000-03-03 2003-10-21 Muse Corporation Method and system for auto-navigation in a three dimensional viewing environment
US7142205B2 (en) * 2000-03-29 2006-11-28 Autodesk, Inc. Single gesture map navigation graphical user interface for a personal digital assistant
US6326846B1 (en) * 2000-04-11 2001-12-04 National Semiconductor Corporation Low voltage fet differential amplifier and method
US6864886B1 (en) * 2000-08-10 2005-03-08 Sportvision, Inc. Enhancing video using a virtual surface
JP2004507724A (ja) * 2000-08-24 2004-03-11 シーメンス　アクチエンゲゼルシヤフト 目標情報を表示させるための方法、地図画面内でナビゲーションを行う方法、コンピュータプログラム製品及びナビゲーション装置
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
WO2002069276A1 (fr) * 2001-02-23 2002-09-06 Fujitsu Limited Dispositif de commande d'affichage, dispositif terminal d'information equipe de ce dispositif de commande d'affichage, et dispositif de commande de position de point de vue
US6987512B2 (en) * 2001-03-29 2006-01-17 Microsoft Corporation 3D navigation techniques
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
US6834249B2 (en) * 2001-03-29 2004-12-21 Arraycomm, Inc. Method and apparatus for controlling a computing system
FI117488B (fi) * 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
US6452544B1 (en) * 2001-05-24 2002-09-17 Nokia Corporation Portable map display system for presenting a 3D map image and method thereof
US6907579B2 (en) * 2001-10-30 2005-06-14 Hewlett-Packard Development Company, L.P. User interface and method for interacting with a three-dimensional graphical environment
US7159194B2 (en) * 2001-11-30 2007-01-02 Palm, Inc. Orientation dependent functionality of an electronic device
KR100433628B1 (ko) * 2001-12-27 2004-05-31 주식회사 케이티 ＦｏＩＰ에 있어서 네트워크 상태 적응형 오류 제어 방법
US6690387B2 (en) * 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
US20030132913A1 (en) * 2002-01-11 2003-07-17 Anton Issinski Touchless computer input device to control display cursor mark position by using stereovision input from two video cameras
US7411594B2 (en) * 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
US7324085B2 (en) * 2002-01-25 2008-01-29 Autodesk, Inc. Techniques for pointing to locations within a volumetric display
US7107285B2 (en) 2002-03-16 2006-09-12 Questerra Corporation Method, system, and program for an improved enterprise spatial system
GB2387519B (en) 2002-04-08 2005-06-22 Canon Europa Nv Viewing controller for three-dimensional computer graphics
JP4096622B2 (ja) * 2002-05-21 2008-06-04 株式会社セガ 画像処理方法及び装置、並びにプログラム及び記録媒体
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
DE60205756T2 (de) * 2002-10-23 2006-06-14 Siemens Ag Verfahren und Vorrichtung zur Erzeugung eines GPS Simulationsszenarios
US6975959B2 (en) * 2002-12-03 2005-12-13 Robert Bosch Gmbh Orientation and navigation for a mobile device using inertial sensors
US20040125114A1 (en) * 2002-12-31 2004-07-01 Hauke Schmidt Multiresolution image synthesis for navigation
JP4100195B2 (ja) * 2003-02-26 2008-06-11 ソニー株式会社 ３次元オブジェクトの表示処理装置、表示処理方法、およびコンピュータプログラム
US7259778B2 (en) * 2003-07-01 2007-08-21 L-3 Communications Corporation Method and apparatus for placing sensors using 3D models
WO2005010623A2 (en) * 2003-07-24 2005-02-03 Zebra Imaging, Inc. Enhanced environment visualization using holographic stereograms
JP4297804B2 (ja) 2004-02-19 2009-07-15 任天堂株式会社 ゲーム装置及びゲームプログラム
WO2006002298A2 (en) * 2004-06-22 2006-01-05 Sarnoff Corporation Method and apparatus determining camera pose
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
US7719523B2 (en) * 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
JP2006122241A (ja) * 2004-10-27 2006-05-18 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP4515221B2 (ja) * 2004-10-29 2010-07-28 任天堂株式会社 ゲームプログラム
AU2004325427B2 (en) * 2004-12-10 2011-05-26 A.V. Custom Style B.V. Quick-change and plug eject arbor for a hole saw
KR100641182B1 (ko) * 2004-12-30 2006-11-02 엘지전자 주식회사 휴대단말기에서의 가상화면 이동장치 및 방법
US20060164382A1 (en) * 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
US20080300780A1 (en) * 2005-02-07 2008-12-04 Dmitry Domnin Method for automating task with portable device
US7605804B2 (en) * 2005-04-29 2009-10-20 Microsoft Corporation System and method for fine cursor positioning using a low resolution imaging touch screen
US20060271281A1 (en) 2005-05-20 2006-11-30 Myron Ahn Geographic information knowledge systems
US7746343B1 (en) * 2005-06-27 2010-06-29 Google Inc. Streaming and interactive visualization of filled polygon data in a geographic information system
JP4783603B2 (ja) * 2005-08-26 2011-09-28 株式会社デンソー 地図表示装置、地図表示方法、地図表示プログラム、及びそのプログラムを記録した記録媒体
US20070046661A1 (en) * 2005-08-31 2007-03-01 Siemens Medical Solutions Usa, Inc. Three or four-dimensional medical imaging navigation methods and systems
JP4404830B2 (ja) * 2005-09-28 2010-01-27 シャープ株式会社 操作システム
JP4246195B2 (ja) * 2005-11-01 2009-04-02 パナソニック株式会社 カーナビゲーションシステム
US7587684B2 (en) * 2006-01-23 2009-09-08 Nokia Corporation Mobile communication terminal and method therefore
US20070206030A1 (en) * 2006-03-06 2007-09-06 The Protomold Company, Inc. Graphical user interface for three-dimensional manipulation of a part
US9070402B2 (en) * 2006-03-13 2015-06-30 Autodesk, Inc. 3D model presentation system with motion and transitions at each camera view point of interest (POI) with imageless jumps to each POI
JP2007280212A (ja) * 2006-04-10 2007-10-25 Sony Corp 表示制御装置、表示制御方法及び表示制御プログラム
US8077153B2 (en) * 2006-04-19 2011-12-13 Microsoft Corporation Precise selection techniques for multi-touch screens
EP2016479A1 (en) * 2006-05-02 2009-01-21 Koninklijke Philips Electronics N.V. 3d input/navigation device with freeze and resume function
US20070257891A1 (en) * 2006-05-03 2007-11-08 Esenther Alan W Method and system for emulating a mouse on a multi-touch sensitive surface
US7707516B2 (en) * 2006-05-26 2010-04-27 Google Inc. Embedded navigation interface
US7643673B2 (en) * 2006-06-12 2010-01-05 Google Inc. Markup language for interactive geographic information system
US20080062126A1 (en) * 2006-07-06 2008-03-13 Algreatly Cherif A 3D method and system for hand-held devices
WO2008014486A2 (en) * 2006-07-28 2008-01-31 Accelerated Pictures, Inc. Improved camera control
JP4725526B2 (ja) * 2006-08-28 2011-07-13 ソニー株式会社 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム
US8106856B2 (en) * 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US8698735B2 (en) * 2006-09-15 2014-04-15 Lucasfilm Entertainment Company Ltd. Constrained virtual camera control
US8130203B2 (en) * 2007-01-03 2012-03-06 Apple Inc. Multi-touch input discrimination
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
WO2008095139A2 (en) * 2007-01-31 2008-08-07 Perceptive Pixel, Inc. Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques
US7752555B2 (en) * 2007-01-31 2010-07-06 Microsoft Corporation Controlling multiple map application operations with a single gesture
US9037599B1 (en) * 2007-05-29 2015-05-19 Google Inc. Registering photos in a geographic information system, and applications thereof
US8681104B2 (en) * 2007-06-13 2014-03-25 Apple Inc. Pinch-throw and translation gestures
US8302033B2 (en) * 2007-06-22 2012-10-30 Apple Inc. Touch screen device, method, and graphical user interface for providing maps, directions, and location-based information
TW200907764A (en) * 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus
US20090046110A1 (en) * 2007-08-16 2009-02-19 Motorola, Inc. Method and apparatus for manipulating a displayed image
US10504285B2 (en) * 2007-09-26 2019-12-10 Autodesk, Inc. Navigation system for a 3D virtual scene
US20090083672A1 (en) * 2007-09-26 2009-03-26 Autodesk, Inc. Navigation system for a 3d virtual scene
JP5390115B2 (ja) * 2008-03-31 2014-01-15 株式会社バンダイナムコゲームス プログラム、ゲームシステム
US8089479B2 (en) * 2008-04-11 2012-01-03 Apple Inc. Directing camera behavior in 3-D imaging system
WO2009128899A1 (en) * 2008-04-14 2009-10-22 Google Inc. Swoop navigation
CN102067180B (zh) * 2008-04-14 2014-07-09 谷歌公司 使用虚拟表面摇摄
US10180714B1 (en) * 2008-04-24 2019-01-15 Pixar Two-handed multi-stroke marking menus for multi-touch devices
US8799821B1 (en) * 2008-04-24 2014-08-05 Pixar Method and apparatus for user inputs for three-dimensional animation
US8375336B2 (en) 2008-05-23 2013-02-12 Microsoft Corporation Panning content utilizing a drag operation
US20090303251A1 (en) 2008-06-10 2009-12-10 Andras Balogh Displaying, processing and storing geo-located information
US8700301B2 (en) 2008-06-19 2014-04-15 Microsoft Corporation Mobile computing devices, architecture and user interfaces based on dynamic direction information
CN103324386A (zh) * 2008-08-22 2013-09-25 谷歌公司 移动设备上的三维环境中的导航
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
KR20100050103A (ko) * 2008-11-05 2010-05-13 엘지전자 주식회사 맵 상에서의 3차원 개체 제어방법과 이를 이용한 이동 단말기
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US20100188397A1 (en) * 2009-01-28 2010-07-29 Apple Inc. Three dimensional navigation using deterministic movement of an electronic device
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US20110205229A1 (en) 2010-02-23 2011-08-25 Google Inc. Portable Globe Creation for a Geographical Information System
US8683387B2 (en) * 2010-03-03 2014-03-25 Cast Group Of Companies Inc. System and method for visualizing virtual objects on a mobile device
US8321166B2 (en) * 2010-03-17 2012-11-27 Qualcomm Incorporated Methods and systems for wireless platform attitude determination
US9134799B2 (en) * 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
US20120019522A1 (en) * 2010-07-25 2012-01-26 Raytheon Company ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5588098A (en) * 1991-11-22 1996-12-24 Apple Computer, Inc. Method and apparatus for direct manipulation of 3-D objects on computer displays
US20020006217A1 (en) * 2000-04-28 2002-01-17 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
CN1360283A (zh) * 2002-01-15 2002-07-24 天津大学 真人头像三维模型建立系统
JP3090450U (ja) * 2002-06-04 2002-12-13 株式会社ワコー 方位表示機能をもった携帯型情報処理装置
US7042449B2 (en) * 2002-06-28 2006-05-09 Autodesk Canada Co. Push-tumble three dimensional navigation system
US20040085335A1 (en) * 2002-11-05 2004-05-06 Nicolas Burlnyk System and method of integrated spatial and temporal navigation
DE10300527A1 (de) * 2003-01-09 2004-07-22 Realtime Technology Ag System und Verfahren zur Darstellung von virtuellen Szenen auf einer Bilddarstellungseinheit
CN1717573A (zh) * 2004-07-15 2006-01-04 C&N株式会社 移动终端装置
JP2006349964A (ja) * 2005-06-15 2006-12-28 Denso Corp 携帯機用地図表示装置
CN101030982A (zh) * 2007-03-22 2007-09-05 宇龙计算机通信科技(深圳)有限公司 自动调整显示屏内容显示方向的装置及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087575A (zh) * 2020-08-24 2020-12-15 广州启量信息科技有限公司 一种虚拟相机控制方法
CN112087575B (zh) * 2020-08-24 2022-03-08 广州启量信息科技有限公司 一种虚拟相机控制方法
CN112354179A (zh) * 2020-11-23 2021-02-12 浙江浙大中控信息技术有限公司 一种三维地理信息内容的显示与交互方法
CN112354179B (zh) * 2020-11-23 2023-09-05 浙江中控信息产业股份有限公司 一种三维地理信息内容的显示与交互方法

Also Published As

Publication number Publication date
AU2009282724B2 (en) 2014-12-04
US20100045666A1 (en) 2010-02-25
AU2009282724A1 (en) 2010-02-25
EP2327010A2 (en) 2011-06-01
WO2010022386A3 (en) 2010-11-04
US11054964B2 (en) 2021-07-06
US9310992B2 (en) 2016-04-12
US10942618B2 (en) 2021-03-09
US8847992B2 (en) 2014-09-30
US20100045667A1 (en) 2010-02-25
US20190196691A1 (en) 2019-06-27
JP2012501016A (ja) 2012-01-12
CN103324386A (zh) 2013-09-25
US12032802B2 (en) 2024-07-09
KR20110049873A (ko) 2011-05-12
US20220100350A1 (en) 2022-03-31
US20100053219A1 (en) 2010-03-04
US20160224204A1 (en) 2016-08-04
US10222931B2 (en) 2019-03-05
WO2010022386A2 (en) 2010-02-25
KR101665034B1 (ko) 2016-10-24
CN102187309A (zh) 2011-09-14
US20100045703A1 (en) 2010-02-25
US20190205009A1 (en) 2019-07-04
CA2734987A1 (en) 2010-02-25

Similar Documents

Publication Publication Date Title
US10942618B2 (en) Panning in a three dimensional environment on a mobile device
US20150040073A1 (en) Zoom, Rotate, and Translate or Pan In A Single Gesture
US11422694B2 (en) Disambiguation of multitouch gesture recognition for 3D interaction
US10719212B2 (en) Interface for navigation imagery
EP2602706A2 (en) User interactions
US20110163944A1 (en) Intuitive, gesture-based communications with physics metaphors
KR20110104096A (ko) 모바일 디바이스들을 위한 사용자 인터페이스
US9936168B2 (en) System and methods for controlling a surveying device
US20150169119A1 (en) Major-Axis Pinch Navigation In A Three-Dimensional Environment On A Mobile Device
WO2008094458A1 (en) Viewing images with tilt control on a hand-held device
EP2534567A2 (en) Multi-layer user interface with flexible parallel and orthogonal movement
CN110688012A (zh) 一种实现与智能终端、与vr设备交互的方法和装置
Kokaji et al. User Interface Input by Device Movement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination