CN102388406B - 使用便携式电子设备记录产生三维模型 - Google Patents

使用便携式电子设备记录产生三维模型 Download PDF

Info

Publication number
CN102388406B
CN102388406B CN200980158401.7A CN200980158401A CN102388406B CN 102388406 B CN102388406 B CN 102388406B CN 200980158401 A CN200980158401 A CN 200980158401A CN 102388406 B CN102388406 B CN 102388406B
Authority
CN
China
Prior art keywords
electronic equipment
dimensional model
user
equipment
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980158401.7A
Other languages
English (en)
Other versions
CN102388406A (zh
Inventor
R·特塞
A·朱斯特
B·哈里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN102388406A publication Critical patent/CN102388406A/zh
Application granted granted Critical
Publication of CN102388406B publication Critical patent/CN102388406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Environmental Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Emergency Management (AREA)
  • Ecology (AREA)
  • Computing Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Position Input By Displaying (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本公开提供了使用电子设备的确定性移动来导航三维模型的系统和方法。电子设备可加载和提供(例如环境或者物体的)三维模型的初始显示。当该用户移动该电子设备时，移动感测组件、定位电路和其它组件可检测设备移动并调整该三维模型的显示部分来反映设备的移动。通过在用户的真实环境中跟该设备一起行走，用户可虚拟地导航三维环境的表示。在一些实施例中，用户能使用电子设备记录物体或环境，并在记录期间用描述设备移动的移动信息标记记录的图像或视频。然后可使用移动信息处理该记录的信息以产生记录的环境或物体的三维模型。

Description

使用便携式电子设备记录产生三维模型
技术领域
本公开涉及使用电子设备的确定性移动来在三维中导航场景或围绕物体进行导航的系统和方法。本公开也涉及通过使用电子设备记录场景来为后续的三维导航生成场景或物体的三维模型的系统和方法。
背景技术
电子设备的用户可以查看通过该设备显示的各种信息。例如，用户可指令电子设备显示三维物体的表示(例如，照片)或者允许用户导航地点或者虚拟世界的表示(例如，导航通过代表城市的一系列图像，诸如在绘图应用的街道视图中的一系列图像)。用户可使用任何合适的方式，其中包括例如使用输入机制从本地存储或者远程访问的源选择信息，来指令设备显示这样的信息。一旦被选择，就可显示该信息。
由于平面电子设备显示器本质上只能是二维或平面显示器，因此在任何给定时刻，该设备只提供被显示信息的部分表示。例如，当显示三维物体时，该电子设备只能从单个视角(singleperspective)显示该物体。为了查看其它视角，可能要求该用户选择表示同一物体的不同图像，或者提供输入(例如，选择按键或者拖动鼠标)来使得该物体旋转或者自转以提供物体的其它视角。类似地，为了导航三维环境的表示，该电子设备可要求该用户使用输入机制提供连续的输入以移动穿过该环境和改变显示的图像来反映该用户穿过该环境的移动。然而，在某些情况下，用户可能不能够给输入机制提供输入(例如，用户的手正在忙碌中)。然后，可能需要另一种机制来允许用户查看显示的三维物体或者三维环境的其它部分。
此外，用户通常不会拥有用于产生三维物体的三维表示的简单机制。通常情况下，这种表示可能要求从相对于该物体的固定的和已知的位置和方向获得该物体的几个图像，并且随后处理图像以允许用户在图像间导航以查看该三维物体或事件的所有视角。特别是，可能要求该用户提供与用于每个图像的镜头的相对位置和方向相关的信息以允许随后的图像导航。在没有专门设备的情况下这可能会特别的困难，并且阻止了大多数用户产生物体或者环境的三维模型。
发明内容
本公开涉及基于电子设备的确定性移动来在电子设备显示器上导航三维环境和查看三维物体的系统和方法。本公开也涉及记录三维环境和三维物体的视频和处理该视频来产生可不按照记录的顺序导航的三维模型的系统和方法。
在一些实施例中，用户可指令电子设备显示与三维导航——诸如，例如环境或物体的三维模型——相关联的信息。例如，用户可指令用户访问提供可以从特定地点的一些或者任何方向上看到的图像的绘图应用。作为另一个例子，用户能指令电子设备显示视频游戏，其中用户可以导航虚拟世界和在任何方向上看该虚拟世界象什么样子(例如，从虚拟世界中的任何位置呈现的虚拟世界的外观的图像)。作为再一个例子，用户可指令该电子设备显示该用户能从不同角度操作或查看的三维物体(例如，要卖的物体)。
为了在不需要来自专用输入机制的输入的情况下改变该环境或物体的特定显示，该电子设备可包括移动感测组件(例如，加速度计)，该组件能够操作来检测电子设备的移动。当该设备显示与三维导航相关联的信息时，该电子设备可监视该移动感测组件以获得设备移动，并改变显示的信息以反映移动感测组件的输出。使用任何合适的方法关联通过该设备显示的该三维环境或物体的外观改变与该设备移动，包括例如使用线性近似法(例如，当用户倾斜该设备时，该电子设备显示该环境或物体，就像该用户对物体的视角与该设备以同样的方式倾斜那样)。实质上，该电子设备显示器可提供能够以三维移动到该三维环境中或者能够查看三维物体的窗口。
在一些实施例中，该用户可指令该电子设备记录三维环境或物体来产生互动的三维模型。使用该电子设备的镜头，当用户移动该设备时，该电子设备可以记录环境或物体。该记录可被同时标记以该移动感测组件的输出、定位信息，或者两者，以定义记录的视频帧之间的空间关系。然后，可使用图像和空间关系(例如在主机设备上)处理该视频来产生三维模型。任何其它的电子设备随后可加载该产生的模型并且允许其它电子设备的用户来导航该三维模型(例如，使用确定性移动)。
附图说明
考虑与附图结合的以下详细说明，本发明的以上或者其它的特征、其性质和各种优点将会更加明显，其中：
图1是根据本发明一实施例的基于设备移动来改变信息显示的说明性电子设备的示意图；
图2A-2E是根据本发明一实施例的当用户逗留在一地点的同时移动电子设备时的三维环境的显示的示意图；
图3A-3D是根据本发明一实施例的当用户移动穿过三维环境时的该三维环境的示意图；
图4A-4E是根据本发明一实施例的当用户移动设备时从不同视角查看到的三维物体的一系列示意图；
图5是根据本发明一实施例的置于虚拟球体(virtualsphere)的中心的说明性三维物体的示意图；
图6A-6H是根据本发明一实施例的说明性三维模型的示意图；
图7是根据本发明一实施例的用来设置移动相关参数的说明性显示屏幕的示意图；
图8是根据本发明一实施例的根据设备移动来改变三维模型的显示的说明性过程的流程图；
图9是根据本发明一实施例的用来处理移动感测组件输出的说明性过程的流程图；
图10是根据本发明一实施例的围绕物体移动来为三维模型产生信息的电子设备的示意图；以及
图11是根据本发明一实施例的用来从记录产生三维模型的说明性处理的流程图。
具体实施方式
本公开涉及基于检测到的电子设备的移动导航在电子设备显示器上显示的三维信息的系统和方法。
电子设备能够操作来向用户显示不同类型的信息，包括例如以三维模型的形式显示的三维信息。例如，电子设备可显示用户可通过使用输入机制提供合适的指令(例如从键盘选择箭头键，或者选择显示在屏幕上的可选择的方向选项)来导航的三维环境或虚拟世界。作为另一个例子，电子装置可显示用户可从多个或者所有的视角(例如通过改变该三维物体的用户的观察点)查看的三维物体。该用户可通过使用输入机制来提供合适的指令以改变该显示的视角。
然而，要求用户使用输入机制提供特定的输入可能不是特别直观并且对于用户来说可能是种负担。作为替代方案，或者除了响应于输入机制的输入改变三维信息的显示外，用户能使用该设备的确定性移动来指令电子设备改变信息的显示。为了检测设备移动，该电子设备可包括能够操作来监视和量化设备的移动的移动感测组件或其它合适的移动检测组件。例如，该电子设备可包括一个或多个加速度计、陀螺仪或能够操作来检测移动的任何其它组件。基于移动感测组件的输出，该电子设备可确定三维信息显示改变的数量和方向。该电子设备在确定怎么改变显示的信息时可使用移动感测组件的输出中的一些或全部，包括例如使用垂直于显示器的平面穿过三维环境行走或移动的移动信息。在一些实施例中，该电子设备可替代地或另外地使用定位电路，该定位电路能够操作来识别电子设备的当前位置以改变所显示的三维信息(例如，穿过虚拟三维世界行走，就像用户带着该设备在真实世界中行走一样)。
可使用任何合适的方式定义响应于电子设备的移动改变所显示信息的方式。在一些实施例中，该电子设备可定义描述设备移动的向量，并且以与定义的向量相关的方式改变显示的信息。实质上，由设备显示的信息可以以模拟可移动窗口(例如在三维环境中的可移动窗口)的方式改变，该可移动窗口随其在该信息周围移动时展示该三维信息的各部分。信息改变的数量可与该三维信息的相关维度、在电子设备显示器上的固定距离、或任何其它的合适关系有关。在一些实施例中，数量对于不同的维度可以改变(例如，较小移动对应于在垂直于显示器平面的方向上的图像中的较大改变)。为了减轻接下来的改变显示的负担，该电子设备可对显示变换应用滞后处理。
在一些实施例中，该电子设备可将输入机制的输入和电子设备的移动相结合以导航显示的三维模型。例如，除了确定性移动指令外，该电子设备还可使能缩放指令。在一些实施例中，该电子设备可使能输入机制的输入和设备移动的结合来执行非导航(例如缩放)或者增强的导航(例如跳转到备选的查看点)操作。例如，该电子设备可使能与专门的输入相结合的设备移动(例如当触碰触摸屏时移动该设备)。
在一些实施例中，该电子设备可被用来产生物体或者环境的三维模型。使用镜头或者照相机，该电子设备可记录物体或者环境的视频。使用该移动感测组件，当记录该视频时该电子设备可确定电子设备的路径或移动，并且将移动信息与记录的视频帧相关联。使用该移动信息，该电子设备(或电子设备耦接到的主机设备)可产生所记录环境或物体的三维模型，其中单个视频帧与模型中的绝对位置坐标或信息相关联(即，替代得自于在不确定的初始位置开始的设备路径的坐标信息)。使用该模型，用户随后可导航所记录的环境或物体的三维表示，而不需要以记录的顺序查看该环境或物体。
图1是根据本发明一实施例的基于设备移动改变信息的显示的说明性电子设备的示意图。电子设备100可包括任何合适类型的能够操作来在检测设备的移动时显示信息给用户的电子设备。例如，电子设备100可包括媒体播放器，诸如Cupertino，California的AppleInc.的iPod、蜂窝电话、个人邮件或信息设备(例如，Blackberry或Sidekick)、AppleInc.的iPhone、袖珍个人计算机、个人数字助理(PDA)、膝上电脑、音乐录音机、视频录像机、游戏设备、照相机、收音机、医疗设备和能被用户移动的任何其它便携式电子设备。
电子设备100可包括处理器或控制电路102、存储装置104、存储器106、输入/输出电路108以及通信电路112，正如通常在电子设备100类型的电子设备中所找到的那样，并且能够操作来使能来自电子设备100类型的电子设备的任何期望用途(例如连接到主机设备来获得电力或进行数据传输)。在一些实施例中，一个或多个电子设备组件100能被组合或省略(例如，组合存储装置104和存储器106)，电子设备100可包括没有组合或包括在图1中示出的那些组件中的其它组件(例如定位电路)，或者电子设备100可包括几个图1所示的组件的实例。为了简单起见，每种组件中在图1中仅示出了一个。
移动感测组件110能够操作来来检测电子设备100的移动。在一些实施例中，移动感测组件可包括一个或多个三轴加速度移动感测组件(例如加速度计)，其能够操作来在三个方向上检测线性加速度(例如x或左/右方向，y或上/下方向，z或电子设备显示器平面的外部方向)。作为另一个例子，移动感测组件可包括一个或多个二轴加速度移动感测组件，其能够操作来检测只沿着x或左/右和y或上/下每一个方向(或任何其它一对方向)上的线性加速度。在一些实施例中，移动感测组件可包括基于硅微机器MEMS(MicroElectroMechanicalsystem，微电子机械系统)技术的静电电容(电容耦合)加速度计、压电式加速度计、压阻型加速度计或任何其他合适的加速度计。
在一些实施例中，移动感测组件可间接检测旋转、旋转移动、角位移、倾斜、位置、方位、沿着非线性(例如弓形)路径的移动、或任何其他非线性移动。例如，如果移动感测组件是线性移动感测组件，附加的处理可被用来间接检测一些或者所有的非线性移动。例如，通过比较移动感测组件的线性输出和重力矢量(即，静态加速度)，移动感测组件可计算电子设备100相对于y轴的倾斜。在一些实施例中，移动感测组件可替代地或另外地包括一个或多个陀螺仪移动感测组件或陀螺仪来直接检测旋转移动。例如，移动感测组件110可包括旋转或振动组件。作为另外一个例子，移动感测组件110可包括磁强计，其能够操作来相对于北磁极来检测设备的方位。该电子设备可监视左磁强计的输出中的变化来检测设备的旋转。
在一些实施例中，电子设备100可包括定位电路，其用来确定电子设备100的当前位置，并且能够操作来以任何合适的速度更新当前位置，包括以相对高的速度提供行进速度和距离的评估。在一些实施例中，定位电路可包括全球定位系统(GPS)接收器来访问返回该设备的地理坐标(即，地理位置)的GPS应用函数调用。地理坐标可基本上、备选地或另外地根据任何合适的三拟量或者三角测量技术导出。例如，该设备可使用与该设备相关联的网络信号(例如，蜂窝电话网络信号)的各种测量(例如，信噪比(“SNR”)或信号强度)确定它的位置。例如，集成或连接到电子设备的射频(RF)三角测量检测器或传感器可确定该设备的大体位置。该设备的大体位置可基于该设备自有的网络信号的各种测量确定，诸如：例如(1)接近或者离开一个或多个蜂窝塔的信号的角度；(2)信号到达一个或多个蜂窝塔或用户设备的时间量；(3)当信号到达一个或多个塔或用户设备时的信号强度，或任何前面提到的测量的组合。无线辅助GPS(有时这里称作增强的GPS或A-GPS)的其他形式也可被用于确定电子设备100的当前位置。替代地或者另外地，该设备的定位电路可基于范围内的无线网络或接入点或者该设备当前连接到的无线网络或接入点，确定该设备的位置。例如，因为无线网络具有有限的范围，设备范围内的网络可指示该设备位于该无线网络的大概地理位置。在一些实施例中，该设备可自动连接到范围内的无线网络以便接收那个位置的有效操作模式。
在一些实施例中，电子设备100可替代地或者另外地包括照相机或镜头，其能够操作来记录该设备环境的图像或视频。例如，该电子设备可包括光学的或数字的镜头，其用来捕获从用户环境反射的光。该捕获的光可被记录为各个独一无二的图像，或者作为记录的连续视频帧(例如，几个视频帧组成主帧和后续帧指明在主帧和后续帧之间的不同)。控制电路可关联不同元数据和记录的图像，包括例如定位信息、设备移动信息、时间码、设备识别符或任何其他合适的元数据。
使用该电子设备，用户能查看环境或物体的三维表示。该三维表示可作为模型被提供到该设备，该模型带有基于在该模型周围或内部的用户位置和方位来渲染和显示的表面。当电子设备加载三维模型时，该电子设备可使能(例如，自动地或响应于使用输入机制的特定输入或通过移动感测组件检测到的特定输入)三维导航模式。使用任何合适的方法，包括例如使用音频指示和视觉指示中的一个或多个，该电子设备可向用户指示基于移动的导航模式已经被使能。图2A-2E是根据本发明一实施例的当用户逗留在一地点的同时移动或倾斜电子设备时的三维环境的显示的示意图。如图2A所示，显示200可包括三维环境的表示202和为显示的表示提供上下文的地图覆盖204。地图覆盖204可用任何合适的方法显示，包括例如作为覆盖，在显示的独特区域(例如，画中画窗口)，或在单独的窗口(例如，响应于用户指令而查看地图)。地图覆盖204可在任何合适的时间被显示，包括自动地响应于显示表示202，响应于用户指令(例如，用户触发设置)、达到预定的延迟、当表示202改变了一特定量(例如，用户的方位在2秒时间段内发生超过30度的改变)或任何其他合适的时间。
为了帮助用户在三维环境中确定自己的方位，地图覆盖204可包括对被定向为观看表示202的个体的描述205。描述205可包括任何合适的表示，其能够操作来提供朝向上下文，诸如将人体与箭头相结合的表示。在图2A-2E的例子中，描述205在环境地形的平面(例如，街道的平面)中提供对用户朝向的指示(但是没有关于用户相对于平面的倾斜的指示)。在一些实施例中，表示202可替代地或另外地包括指南针203或给用户提供定向指示的其它定向机制。指南针203可以任何合适的方式和在任何合适的时间被显示，包括例如与地图覆盖204相结合描述的任意方式或时间。在一些实施例中，指南针203可提供倾斜的指示。
当电子设备显示表示202时，设备210和坐标系统212可代表显示器210相对于固定的坐标系212的定向(例如，在用户的真实环境中)。在一些实施例中，坐标系212可被显示以替代地图覆盖204或与地图覆盖204一同显示(例如，以为用户提供参考的三维帧)。如图2A所示，显示器210垂直街道平面(例如，例如x-y平面)并且与特定的坐标轴(例如，从显示器的表面延伸的z-轴)对齐。为了查看三维环境(例如，当三维模型已被加载时，或者当基于三维移动的导航已被使能时)的其它部分，用户可移动设备显示器。图2B是当用户(如向右)旋转设备时图2A的三维环境的示意图。显示220可包括带有地图覆盖224的表示222，其可包括表示202和覆盖204的一些或者所有的特征)。通过比较描述225和描述205的相对定向可知，在显示220中的用户已经向右转。显示在表示222中的三维环境的相应部分因而可改变以反映新的朝向。另外，设备230的表示可被拉伸以指示相对于初始设备210的旋转(也示出了坐标232的朝向的改变)。
在一些实施例中，用户能替代地相对于用户环境的平面(例如x-y平面)倾斜该电子设备显示器。图2C是当用户倾斜设备(例如，向上倾斜该设备)时图2B的三维环境的示意图。显示器240可包括带有地图覆盖244的表示242，其可包括表示202和覆盖204的一些或所有的特征。因为用户可能倾斜了显示器，除了拉伸以指示相对于设备230(也示出了坐标252的定向相对于坐标232的定向的改变)的倾斜外，设备250的表示可被旋转。然而，当用户在用户环境(例如，以及在地图上)的平面中的朝向可能没有改变时，通过比较描述225和描述245在各自的地图覆盖中的相对朝向，可能检测不到倾斜上的改变。
用户可翻转倾斜的显示器来从同一角度查看该环境的不同部分。图2D是当用户进一步旋转设备时图2C的三维环境的示意图。显示260可包括带有地图覆盖264的表示262，其可包括表示202和覆盖204的一些和全部的特征。显示器相对于环境的平面(例如，x-y平面)的角度能保持不变，正如坐标272的朝向相对于坐标252的朝向的改变所示。然而，描述265的朝向相对于描述245能改变以指示沿着用户的x-y平面的新朝向。另外，设备270的表示能被倾斜与设备250的表示同样的角度，但是以不同的方式拉伸以便在没有倾斜上的任何改变的情况下指示该旋转。
用户可将该电子设备倾斜或旋转任何合适的量。在一些实施例中，设备可被旋转或倾斜的量可受到被导航的三维模型的限制或约束。例如，该模型可包括倾斜的上限和下限之一或者两者。当用户倾斜设备超过倾斜界限时，该电子设备可忽略随后的倾斜并继续显示与倾斜界限相关联的表示。在一些实施例中，电子设备可提供已经达到倾斜界限的指示(例如音频的或可视的)。备选地，用户可以任何量倾斜设备。图2E是当用户同时倾斜和旋转该设备时，图2A的三维模型的示意图。在图2E的例子中，用户可向下倾斜设备并向左旋转设备。显示器280可包括带有地图覆盖284的表示282，其可包括表示202和覆盖204的一些或所有的特征。设备290的表示可相对于设备210的表示被同时旋转和拉伸来指示设备已经被同时倾斜和旋转。另外，可通过描述285分别在地图覆盖284和坐标292中的朝向来检测设备的倾斜和旋转。
除了通过在用户的真实环境中(例如相对于固定的真实环境坐标系)改变电子设备的朝向而从固定的位置查看三维模型的不同部分外，该电子设备还可以允许用户利用确定性移动在该模型中导航。特别地，当用户在用户的环境中移动时，该移动感测组件、定位电路或两者可被用来检测设备的位置。例如，该电子设备可检测用户在用户的真实环境中沿着特定方向并以特定的步速行走，并且改变被显示的该三维模型的部分以模拟以与用户在用户的真实环境中的方向和步速相关的方向和步速虚拟走过该模型。图3A-3D是根据本发明的一个实施例的当用户移动穿过该环境时三维模型的示意图。图3A是根据本发明的一个实施例的环境的三维表示的示意图。显示器300可包括该环境的表示302，其可被呈现以表示从预定位置的用户的环境视角。地图覆盖304可提供在虚拟三维环境中的用户的位置或地点的指示，并且在地图覆盖304中的表示305可指示用户在地图覆盖304上的精确位置和朝向。地图覆盖304可替代地或另外地包括地图覆盖204(图2A)中的一些或全部的特征。
在一些实施例中，表示302可包括在三维环境中用户可以沿着来导航该模型的可用路径的指示。例如，表示302可包括路径310，其覆盖在模型图像的一部分上。路径310可沿着在该环境中的现有路径(例如马路)、该环境中任意的路线(例如穿过一区域或在一建筑物中)，或者两者。数个路径310可交叉来标识用户可沿着的备选路线(例如，三维模型可用的进入一房子或建筑物的路径)。如果用户可在所显示的整个表示302中导航，表示320可包括覆盖在显示器整个上的路径310，或替代地，可不覆盖路径310。
路径310可包括方向图标312，其用于指示用户可以沿着该路径行进的可用方向。例如，图标312可被显示来标识离开三维表示可用的路径310的区域(例如，用户可进入的建筑物)。作为另外一个例子，图标312可标识用户可以沿着的备选路径(例如，在交叉处的路径，或者在建筑物中上楼梯的或者进入一电梯的路径)。为了沿着路径310移动，或者可替换地在所显示的环境中导航，用户可使用输入机制来选择定向图标312。可替换地，该用户可在路径310上以图标312的方向移动电子设备(例如，在用户的真实环境平面中移动该设备，或者移动该设备到楼梯底部和向上倾斜来选择上楼梯的路径)。例如，当拿着电子设备时，用户可在路径310的方向上行走。如果该用户提供沿着不同层面上的路径的指示(例如，上楼梯)，当在真实的环境中保持在单个层面上时，该电子设备可允许用户来访问该不同的层面(例如，当在真实环境中保持在单个楼层上时虚拟地访问多层房子)。
当移动感测组件、定位电路、或其它电子设备组件检测到用户正在沿着路径310移动时，该电子设备可改变表示302来在三维模型中反映该用户的新位置。图3B是根据环境的一个实施例的当用户移动电子设备时图3A的三维环境的示意图。显示器320可包括表示322和地图覆盖324，其可包括表示302和地图覆盖304的一些或全部的特征。为了给用户指示出显示的视角已经改变，描述325在地图覆盖324上的位置可与描述305在地图覆盖304上的位置不同。尤其是，描述305和325的相对位置可反映在该虚拟环境中该用户沿着路径310的移动和在真实环境中的环境平面内(例如当用户行走时)的该设备的移动。
表示322可包括路径330，其可包括路径310的一些或全部的特征。路径330可包括转弯334，其可要求用户改变沿其移动该设备以继续导航该虚拟环境的方向。尤其是，当用户到达转弯334时，该电子设备可忽略在路径330的原始方向上的进一步移动，并且替代地在真实环境中要求用户转弯和在随后的路径330的方向上(例如，转弯和向右行走)移动该电子设备以继续导航该虚拟环境。如果在真实环境中用户不能在路径330要求的方向上转弯(例如，该用户的右面面对的是一堵墙)，则该用户可临时脱离该确定性移动导航模式来以允许用户在虚拟环境中沿着路径330的方式重定向该设备。例如，当到达转弯334的用户可临时暂停该确定性移动导航模式并转离墙(例如，向左)，然后重新加入该确定性移动导航模式和向右转弯(例如，再次跟该墙平行)来继续沿着路径330。可替换地，该用户可使用输入机制提供输入来经过转弯334并且在真实环境中在原始方向上沿着路径330的后续部分继续行进。
图3C是根据本发明一实施例的用户在路径中已经经过拐弯之后的图3B的三维环境的示意图。显示器340可包括表示342和地图覆盖344，其可包括表示302和地图覆盖304的一些或者全部的特征。描述345位于地图覆盖344上的方向和位置可标识该用户在虚拟环境中的位置和方向，并且指示该用户相对于描述305和325沿着路径的行进)。
除了导航该三维模型，该用户可改变该电子设备的朝向来查看从同一位置的不同视角，或就像用户在该模型中导航一样。图3D是根据本发明的一个实施例的当该用户旋转或者倾斜该电子设备时图3C的三维环境的示意图。显示器360可包括表示362和覆盖364，其可包括表示302和地图覆盖304的一些或者全部的特征。描述365在地图覆盖364上的朝向可指示用户已经相对于用户沿着的路径旋转该电子设备的方式。使用任何合适的覆盖或者通过设备显示的信息可指示设备相对于环境平面(例如，表示362代表已经被向上倾斜的设备)的倾斜，或者可替换地，可以根据该表示(例如，在设备上显示的建筑物的角度)来推导该倾斜。
在一些实施例中，用户可替代地或另外地导航物体的三维模型。图4A-4E是根据本发明的一个实施例的当用户移动该设备时从不同视角观看三维物体的一系列说明性示意图。显示400、410、420、430和440每一个可分别包括展示三维模型的不同视角的表示402、412、422、432和442。以其保持电子设备的特定朝向可分别由设备的透视图404、414、424、434和444指示。当用户移动该电子设备时，展示的三维模型的视角可改变以反映设备相对于该模型的朝向。
该电子设备可使用任何合适的方式使电子设备移动与该三维模型显示相关。在一些实施例中，该电子设备可关联该模型与用户的真实环境中的固定位置。当该用户围绕该固定位置移动该设备时，通过设备显示的三维模型的部分可改变来反映设备相对于该固定位置的视角。例如，三维模型可与在用户的真实环境中的虚拟球体的中心相关联，这样所显示的模型的视角反映了设备从其在球体表面上的位置的视角。图5是根据本发明的一个实施例的位于虚拟球体中心的说明性三维物体的示意图。表示500可包括位于虚拟球体504的中心的模型502。当用户在球体504的表面周围移动该电子设备时，模型502的所显示的视角可反映设备在球体504的表面上的当前位置。在一些实施例中，每一个模型可与几个同心球体相关联，每一个球体具有不同的直径。当用户相对于球体的中心移动该设备时，该设备可检测用户已经改变了球体(例如，在球体中心和设备之间的距离可随用户移动该设备而改变)并且显示被不同地缩放(例如，设备移动地离球体的中心越近就放得越大)的模型。
在一些实施例中，该电子设备可显示包括导航的环境和用户可围绕其移动来看物体的不同视角的物体两者。图6A-6H是根据本发明一个实施例的说明性三维模型的示意图。显示器600、610和620展示当用户围绕该模型改变视角时模型的透视图。显示器630、640、650和660展示当用户在模型中移动电子设备(例如以查看布鲁克林大桥的拱形下方)的透视图。该用户可通过在用户的真实环境的与该模型相关联的部分中移动电子设备来导航该三维模型。该电子设备可提供任何合适机制来高效地将用户的视角从整个模型的全局视图(例如图6A-6C)改变为该模型一部分的细节视图(图6D-6H)。
在一些实施例中，该三维模型可包括专门的初始位置或书签标记的位置，从其该用户可以预定义的缩放水平查看该模型。例如，该模型可包括提供整个模型的透视图(例如图6A-6C所示)的初始位置。作为另外一够子，该模型可包括在该模型的表面上的初始位置(例如，在该桥的人行道上)，从其用户可在该模型中导航(例如，行走穿过该模型和倾斜或旋转该设备来查看模型的不同部分)。初始位置的每一个可与预定义的适合于该初始位置的缩放水平相关联(例如，小的缩放用于透视图，大的缩放用于模型中的视图)。该电子设备可使用任何合适的方式给用户指示该初始位置。例如，每一位置可使用显示在模型上的可选择的图标(例如，图标626，在触摸屏实施例中通过触摸可选择)标示。作为另外一个例子，该电子设备可显示用户从中可进行选择的可用位置的列表(例如，响应于用户请求的带有所显示列表的弹出窗口)。使用书签标志的位置，用户可快速和有效地导航穿过大的三维模型而不用要求用户物理上行走穿过与该模型等同的真实环境(例如，虚拟行走1825m穿过布鲁克林大桥)。
在一些实施例中，该电子设备可替代地或者另外地提供输入机制来提供缩放指令。例如，该电子设备可显示带有缩放滑块的长条来快速改变显示的缩放(例如，缩放滑块636)。作为另外一个例子，该电子设备可关联设备的特定移动和缩放指令(例如，向左和向右摇动来放大和缩小)。响应于接收到改变缩放的请求，该电子设备可调整设备移动与改变三维模型显示相关的方式(例如，改变相关倍数(correlationmultiple)，在下面详细描述)。
电子设备可使用任何合适的方式将设备移动和电子设备的显示视角的改变相关联。特别是，电子设备可使用任何合适的处理方式处理通过各种设备组件(例如，移动检测组件，诸如移动感测组件、定位电路、或者磁强计)检测到的移动和定位信息。在一些实施例中，电子设备可根据移动感测和定位信息定义用户在三维模型中或者围绕该三维模型的在任何合适的间隔和速率下的位置和朝向。例如，电子设备可定义(例如，当用户初始使能或基于导航模式重新使能该确定性移动时)在该模型中或者周围的初始位置和朝向(例如，初始书签标示的位置和朝向)。使用移动感测组件输出，电子设备可确定相对于初始位置和朝向(例如，当该模式第一次被使能时，或当显示被最后一次刷新时)的电子设备的位置和朝向的改变。例如，该电子设备可集成有随时间变化的加速度数据来确定设备的当前的速度和位置。作为另外一个例子，电子设备可用定位电路提供的数据来确定用户的当前位置。然后，电子设备将位置和朝向中的改变应用到该模型来确定模型的新的当前视角和显示反映该新的当前视角的模型的呈现。例如，该电子设备可在该模型中将位置向量添加到初始位置来改变用户在该模型中的位置，和在该模型中将朝向向量添加到用户的初始朝向来改变用户的朝向或从该新的位置的该模型的视角。在一些实施例中，电子设备可用移动感测组件的一些或全部输出(例如，忽略沿着特定轴的移动，忽略在阈值之下的移动、或只用特定组件的输出)。
电子设备可使用任何合适的方式使处理后的移动信息和在三维模型中的视角中的改变相关。在一些实施例中，该相关性可与电子设备显示器的尺寸有关。例如，特定量的移动(例如，在给定方向上行走1米)可与使模型移位特定数量的像素相关联，例如，被定义为移动量的倍数(例如，在给定方向上的100个像素)。然后，该相关性可独立于模型被缩放的量和与模型相关联的特定维度两者。在一些实施例中，替代地，该相关性可和与模型相关联的维度有关。例如，在特定方向上的移动(例如在给定方向上行走1米)可与为上述移动的倍数的在给定方向上的移动相关联(例如在给定方向上将该模型移位1米的m倍，其中该相关倍数m可以是任何实数)。使用任何合适的方式来选择倍数，包括例如与缩放一起改变的可变数、基于模型中的位置和地点或使用任何合适的方式。
为了帮助用户导航显示的信息，相关性可被定义为当该用户将电子设备返回到相对于原点的特定空间位置(例如，相对于当基于移动的导航模式被使能时的设备的位置)时，总是显示同样的信息。在一些实施例中，一旦电子设备到达三维模型的边界或界限时，该电子设备可因此忽略设备的移动，但是只要一旦设备返回到相对于反映了模型界限的原点的位置时，就重新开始改变显示的信息。这种方式通过给用户移动提供已知的物理相关性，来提高用户使用基于移动的导航的能力。可替换地，只要识别出远离检测到的界限的移动，该设备可重新开始改变信息的显示。
所使用的特定相关性可由用户设置，或者根据模型来确定。在一些实施例中，电子设备可提供用来定义在检测到的设备移动和三维模型的导航之间的相关性的接口。图7是根据本发明的一个实施例的用于设置移动相关性参数的说明性显示屏幕的示意图。显示器700可包括若干个定义设备的移动相关性设置的选项。例如，显示器700可包括相关性选项702，用来以该模型定义的方式改变三维模型的表示。作为另外一个例子，显示器700可包括相关性选项704，用来定义全局相关性设置。例如，用户可定义相关倍数，该相关倍数定义了响应于给定设备移动，模型的表示会改变多少。除了相关信数外，用户可使用滞后选项706使能或者禁用移动的滞后或其它非线性相关。例如，在设备第一次开始移动时该模型中的最初改变可是小的且不断增大的，并且在设备停止移动时移位量在慢下来之前可快速下降。在设备移位开始和结束之一或者两者时非线性移位可允许用户的眼睛预期和较好地跟随在其发生时的信息的移位。
用户可定义通过选择参考维度来使用所提供的相关倍数的方式。例如，用户可选择模型维度选项708，对其而言，设备移动与对应的模型中的距离相关；或屏幕维度选项709，对其而言，设备移动与特定距离或在设备显示器中的像素数相关。在一些实施例中，显示器700可包括更多的选项来关联相关倍数和特定的缩放水平。
在一些实施例中，用户可替代地或另外地定义设备移动的不同组件和模型表示的改变之间的相关性。例如，响应于接收到高级选项710的用户选择，显示700可为线性轴711和旋转轴715提供相关性选项。然后，用户可为x-轴选项712、y-轴选项713、z-轴选项714和x-y角选项716、y-z角选项717和z-x角选项718定义相关倍数或设备移动与模型视角的改变之间的比率。一旦用户选定合适的相关性机制，用户可选择完成选项720，或者使用取消选项722取消选择。
接下来的流程图描述了根据本发明一实施例的使用确定性移动来导航三维模型的说明性处理过程。图8是根据本发明一实施例的基于设备移动改变三维模型的显示的说明性处理过程的流程图。过程800可开始于步骤802。在步骤804，电子设备可接收三维模型。例如，用户可加载三维模型。作为另一个例子，用户可从另一设备加载三维模型(例如，通过电子邮件接收模型)。在步骤806，电子设备可确定用户在模型中的初始位置。例如电子设备可识别该模型的书签标记的初始位置和朝向。作为另外一个例子，电子设备可识别缺省位置和朝向(例如，在坐标系统的中心，与x-轴对齐)。在步骤808，电子设备可确定电子设备移动与三维模型显示中的改变相关的方式。例如，电子设备可识别用于该模型的相关倍数以及根据其进行相关的维度(例如，屏幕维度或模型维度)。
在步骤810，电子设备可确定设备的移动是否被检测到。例如，电子设备可确定移动感测组件的输出是否超出了最低限度(floor)。作为另一个例子，电子设备可确定定位电路的输出是否指示位置的改变。如果电子设备没有检测到足够的移动，电子设备可返回到步骤810并且继续监视设备移动。如果，在步骤810，电子设备替代地确定检测到移动，则过程800可移到步骤812。在步骤812，电子设备可确定改变所显示的模型的方式。例如，电子设备可处理移动感测组件输出来定义一个或多个指示用户在该模型中或者周围的位置和朝向的改变的向量。然后，电子设备可应用向量到用户的初始位置和朝向来确定用户的最终位置和朝向。在步骤814，电子设备可重绘显示的模型来反映电子设备的已改变的位置和朝向。过程800然后可在步骤816结束。
图9是根据本发明一实施例的处理移动感测组件输出的说明性过程的流程图。过程900可作为处理800的部分来执行，例如在步骤814(图8)期间执行。过程900可在步骤902开始。在步骤904，电子设备可确定移动感测组件的输出是否包括旋转的移动分量。例如，电子设备可确定移动感测组件的输出是否包括与陀螺仪或其它旋转传感器相关联的输出。如果电子设备确定在移动感测组件输出中不包括旋转分量，则过程900可移到步骤908。
如果，在步骤904，电子设备替代地确定移动感测组件输出包括旋转分量，则过程900可移到步骤906。在步骤906，电子设备可改变显示的三维模型来反映设备的新朝向。例如，电子设备可定义与移动感测组件输出的旋转分量相关联的向量，并且应用该向量到初始显示的模型的视角来确定与移动后的设备相关联的新视角。在步骤908，电子设备可确定移动感测组件的输出是否包括线性移动分量。例如，电子设备可确定移动感测组件输出是否包括与加速度计或其它线性传感器相关联的输出。如果电子设备确定没有线性分量被包括在移动感测组件输出中，则过程900可移到步骤912并且结束。
如果，在步骤908，电子设备替代地确定线性分量被包括在移动感测组件输出中，过程900可移到步骤910。在步骤910，电子设备可在所显示的三维模型中或者周围导航用户的位置。例如，电子设备可定义与移动感测组件的线性输出相关联的向量和基于该向量改变用户在该模型中或者周围的位置。在一些实施例中，改变后的位置可在环境的平面中(例如，用户正在模型的地平面上行走)，或者可包括环境平面之外的分量(例如，用户的视角移动到地面以上，从空中俯瞰该环境)。然后，过程900可在步骤912结束。另外，过程900可包括改变提供给用户的显示的步骤。应当理解：在旋转的和线性的移动感测组件输出之间的区别仅仅是用于说明，并且两种输出的组合可与改变用户在三维模型中或者周围的朝向和位置二者相关联。另外，应当理解：其他数据(例如，定位电路输出)可被用来改变三维模型的显示。
除了导航三维模型外，一些电子设备可被用来产生能被其他电子设备查看和导航的三维模型。为此，电子设备可首先捕获模型需要的真实物体或环境。图10是根据本发明一个实施例的电子设备围绕物体移动来为三维模型产生信息的示意图。真实(即，非虚拟)环境1000可包括物体1002和电子设备1004。为了捕获物体1002的图像，电子设备1006可包括照相机或镜头1006，其能操作来检测从物体1002反射的光波。电子设备可存储通过镜头1006记录的图像作为独特的图像，或作为视频(例如，通过视频帧序列定义)。在一些实施例中，电子设备可替代地或另外地包括附加的传感器，其能操作来检测与物体1002有关的信息，诸如辐射发射器和接收器(例如，用于检测物体的不同表面相对于电子设备的曲率或距离)、无源传感器(例如，用于检测物体的较热或较冷部分)、或任何其它合适的传感器。
为收集足够的数据来产生三维模型，用户可从不同视角记录物体的图像。例如，用户可使能镜头1006(例如，激活适当的记录应用)和顺着任意的或计划的路径绕物体1002移动电子设备，并因此移动镜头1006。例如，用户可沿着路径1010移动电子设备1004，开始于点1011并结束于顶端1012。当用户顺着路径1010时，电子设备还可旋转或扭曲设备来捕获物体1002的不同角度。然而，为产生三维模型仅仅从不同视角捕获物体的图像可能是不够的。除了图像，该模型可能需要定义图像的相对位置的信息来定义图像被置于其上的三维绘图(three-dimensionalmapping)。
电子设备可使用任何合适的方式来识别空间信息以与物体的每一个图像或所记录视频的视频帧相关联。在一些实施例中，电子设备可定义相对于物体的的初始位置，用户然后可从该位置开始获取图像。可替换地，当记录开始时，用户可提供电子设备相对于物体的位置的指示(例如，离设备3英尺且离地面3英尺)。作为另一种选择，使用合适的传感器，电子设备可自动确定它相对于物体的位置(例如，使用GPS、声纳或雷达类型传感器、或磁强计)。然后，定义设备初始位置的信息可与通过镜头1006捕获的第一图像或视频帧相关联。例如，电子设备可定义位置信息作为与图像文件相关联的元数据。作为另一个例子，电子设备可参考为位置信息捕获的图像而产生独特文件。
当用户移动电子设备时，移动感测组件(或其它电子设备组件)可提供描述移动的输出。然后，在特定时刻的输出可与在同一时刻捕获的特定的图像或视频帧相关联。电子设备可使用任何合适的方式关联来自移动感测器输出的移动信息和捕获的图像，包括例如像参考特定图像或视频帧的独特文件、像与图像或视频帧相关联的元数据、或者像嵌入在图像或视频帧中的数据。如果视频被记录，则移动信息可能不与每个视频帧相关联，而是只能与位于所建立的间隔处的特定视频帧相关联。例如，如果视频被存储为一系列I、P和B帧(例如，使用视频压缩算法)，移动信息可只与I、P和B帧的子集相关联(例如移动信息可只与I帧相关联，而不与P或B帧相关联)。作为另外一个例子，如果视频被存储为一系列I、P和B片段，移动信息可只与I、P和B片段的子集(例如只与I和B片段)相关联。移动信息(例如向量)可定义电子设备相对于原点、相对于紧接在前的位置、相对于以预定间隔选择的在前位置、或相对于任何其他可辨别地点的移动。
一旦电子设备捕获了物体的视频或一系列图像，并且关联了移动信息和该图像，电子设备可处理该图像和移动信息来产生物体的三维模型。例如，电子设备可处理移动信息来将设备移动的描述从以设备为中心的坐标系统转换为基于环境的坐标系并产生描绘通过镜头记录的该环境(和物体)的三维帧。然后电子设备可关联记录的图像和帧来创建具有基于环境的坐标系的三维模型。在一些实施例中，电子设备可从不同角度，或者在设备沿着路径1010移动时的不同时间，记录物体的同一部分的图像。当处理记录的数据来形成三维模型时，电子设备可组合同一部分的数个图像来提供物体的更多具体视角。可替换地，电子设备可组合在物体的一特定部分的邻近处获得的若干个图像(例如考虑到视角上的差异)来产生图像以与该特定部分相关联(例如，如果该特定部分没有被电子设备直接记录的话)。
在一些实施例中，电子设备可组合若干个环境的记录来产生较完整的三维模型。为适当地组合该记录，电子设备可确定记录的每一个之间的关系。例如，电子设备可识别相对于物体的每一个记录的初始开始位置，并应用所记录的图像到基于为每个记录产生的三维模型帧中全部的模型(例如，其中精确GPS定位信息和磁强计定向信息是可用的)。作为另外一个例子，电子设备可从每一个记录中识别捕获物体的同一部分的图像或视频帧，并以反映记录的重叠的方式在三维模型上映射每一个记录的图像。在一些实施例中，电子设备可组合来自于每一个记录的图像以应用到模型的多个部分。
在一些实施例中，将用移动信息标记的记录视频转换为三维模型(例如，以改变与记录的图像相关联的坐标系)所需的处理电力可超过电子设备的容量。例如，如果电子设备包括手持便携式电子设备，该设备可能没有足够的处理能力或电力供应来根据记录的信息产生模型。该电子设备随后可将该记录提供到具有更大的处理能力的主机设备处。在一些实施例中，主机设备可从若干个设备接收物体或环境的记录，并且使用来自若干个记录中的每一个记录的信息产生三维模型。该主机设备然后又可将该三维模型提供给该电子设备以供导航(例如使用确定性移动)。
因为所产生的三维模型可受到限制(例如不包括模型的每一面的图像)，为导航该模型，该模型可包括可沿着的推荐路径。该路径可被覆盖到模型图像上(例如，类似于图3A-3D的路径)、或像图标一样被提供在显示器的角上(例如指示可用路径的箭头)。
任何电子设备可用于产生任何合适环境的三维模型，或在任何合适的上下文中产生该三维模型。例如通过若干个相机对一体育竞赛的记录可被组合来产生用户可导航的三维比赛模型(例如在棒球比赛中围绕击球的击球手导航、或围绕足球比赛来看带球者是否到达了特定的标记处)。作为另一个例子，记录可用来产生音乐会或其它公共事件的三维模型。电子设备可使用任何合适的记录来产生该模型，包括例如通过内容提供商创造的专业记录、用便携式设备执行的记录(例如通过歌迷的蜂窝手机进行的记录)、或任何其它记录。电子设备可使用时间戳、地理标记和内容相似性以在一个模型中组合记录。作为再一个例子，用户可记录房子或建筑物的视频来向朋友展示(例如新家)和为其他人提供空间的三维模型以便以任何想要的方式进行导航(例如，不会受到产生记录的顺序的约束)。另外，可在任何其它的合适上下文中创建记录和三维模型。
接下来的流程图描述了使用电子设备产生三维模型的说明性处理过程。图11是根据本发明一个实施例的根据记录产生三维模型的说明性处理过程的流程图。过程1100可开始于步骤1102。在步骤1104，电子设备可开始记录图像。例如，电子设备的用户可指令镜头记录用户附近的环境或物体。在一些实施例中，电子设备可在开始记录之前确定其相对于物体或环境的位置以记录。例如，电子设备可使用定位电路和磁强计确定它的绝时位置和定向。作为另一个例子，电子设备可使用适合的传感器确定其相对于物体的位置(例如提供相对于物体的定位信息的发射器和接收器，例如通过测量从物体反射的无线电波)。
在步骤1106，电子设备可检测它的移动。例如，电子设备的移动感测组件(例如陀螺仪或加速度计)可提供反映设备移动的输出。作为另一个例子，电子设备的定位电路可提供反映设备的位置变化的输出。作为再一个例子，用于提供关于设备的定向的信息的磁强计或其它组件可提供输出。在步骤1108，电子设备可基于电子设备组件的输出定义移动信息。例如，电子设备处理器可处理组件输出来定义一个或多个用于指示设备相对于初始或先前位置和朝向的移动的向量。在步骤1110，电子设备可关联在特定时间产生的移动信息和通过电子设备镜头在同一时间记录的视频帧或图像。例如，电子设备可在视频帧中嵌入与特定视频帧相关联的移动信息(例如，基于在视频帧被记录的同时提供的移动感测组件输出的信息)。作为另外一个例子，移动信息可被存储在单独的或独特的地点(例如，作为视频文件的头部或根部的部分、或作为单独的文件)并与特定的视频帧或图像链接或相关联。
在步骤1112，电子设备可处理记录的图像或视频和相关联的移动信息来在步骤1114产生记录的物体或环境的三维模型。例如，电子设备可根据电子设备的初始位置和移动确定可对其应用设备记录的图像的设备位置的三维表示(例如，改变与记录的图像相关联的坐标系统)。然后通过提供该表示给另一个电子设备，其他电子设备可以任何合适的方式导航该表示，包括例如通过以与记录设置的次序不同的次序查看图像来导航。这又可允许记录的物体或环境的真实的三维导航。
在一些实施例中，用户可使用正权上面描述的确定性移动和其他输入来导航具有除三个几何维度之外的若干个维度的环境(例如多维环境)。特别是，电子设备可导航具有听觉的、嗅觉的、触觉的维度、或其他类型的维度的环境。例如，当用户在一环境中导航时，通过音频电路提供的音频可改变以反映用户的导航(例如音量或音调变化来反映用户离音频源头的距离，或者提供的特定音频可基于用户对不同音频源的接近度而改变)。作为另一个例子，电子设备可包括能够操作来提供不同的味道的组件(例如，当用户朝着花导航时提供花香味道，并且当用户朝着汽车导航时提供汽车味道)。作为再一个例子，电子设备可包括用于提供触觉反馈的组件(例如振动元件)。使用该组件，当用户导航到环境的适当部分时电子设备可提供触觉反馈(例如，当用户到达环境的边界时振动，或当用户移动接近环境中的热源时改变温度)。其他类型的传感器也可被用来在多维环境中的其他维度中提供反馈。
为了说明而不是限制的目的，提出了上面描述的本发明的实施例，并且本发明只由以下权利要求来限定。

Claims (32)

1.一种产生物体的三维模型的方法，包括：
使用电子设备记录所述物体的第一图像；
在记录所述第一图像之前或在记录所述第一图像期间，确定所述电子设备相对于所述物体的初始位置；
使用所述电子设备关联所记录的第一图像与所确定的初始位置；
在记录所述第一图像之后，由所述电子设备检测所述电子设备的第一移动，包括：接收所述电子设备的移动检测组件的指示所述第一移动的输出；
在所述第一移动期间或在所述第一移动之后，使用所述电子设备记录所述物体的第二图像；
使用所述电子设备关联所记录的第二图像与所检测的第一移动；
根据所述初始位置和所检测的第一移动，确定所述电子设备的位置的三维表示；以及
由所述电子设备通过将所述第一图像和所述第二图像应用到所述电子设备的位置的三维模型表示来产生所述物体的三维模型的至少一部分。
2.根据权利要求1所述的方法，其中所述确定所述电子设备的位置的三维表示包括：
基于所确定的初始位置和所检测的第一移动，确定所述电子设备的位置；以及
将所确定的初始位置和所确定的位置从与所述电子设备关联的第一坐标系统转换到独立于所述电子设备的第二坐标系统。
3.根据权利要求2所述的方法，其中所述第二坐标系统相对于所述物体的环境是静态的。
4.根据权利要求1-3中任一项所述的方法，其中所述检测包括：
接收所述电子设备的移动检测组件的指示所述第一移动的输出。
5.根据权利要求4所述的方法，其中所述关联包括：
确定接收到的所述移动检测组件的输出是在记录所述第二图像期间接收的。
6.根据权利要求5所述的方法，其中所述关联进一步包括：
处理接收到的输出以确定所述电子设备相对于所确定的初始位置的位置变化。
7.根据权利要求1-3中任一项所述的方法，其中确定初始位置包括：
利用所述电子设备接收对所述初始位置的用户输入。
8.根据权利要求1-3中任一项所述的方法，其中确定初始位置进一步包括：
确定从所述电子设备到地的相对位置。
9.根据权利要求1-3中任一项所述的方法，其中确定初始位置包括：
利用所述电子设备的雷达传感器和声呐传感器中的至少一个进行确定。
10.根据权利要求1-3中任一项所述的方法，其中确定初始位置进一步包括：
感测所述电子设备的初始方向。
11.根据权利要求10所述的方法，其中所述感测包括：
利用所述电子设备的磁强计进行感测。
12.根据权利要求1-3中任一项所述的方法，进一步包括：
定义至少一个推荐路径，其中通过所述推荐路径导航所产生的三维模型。
13.一种能够操作来捕获用于物体的三维模型的物体信息的电子设备，包括：
能够操作来捕获所述物体的多个部分的记录的镜头；
能够操作来提供反映所述电子设备的所述镜头的移动的至少一个输出的移动感测组件；以及
处理器，能够操作来：
指令所述镜头在初始位置捕获所述记录；
在所述捕获期间接收由所述移动感测组件提供的指示第一移动的多个输出；
关联接收到的多个输出中的每一个输出与所述记录的在接收到所述输出的同时捕获的对应部分；
根据所述初始位置和所检测的第一移动，确定所述电子设备的位置的三维表示；
通过将所述记录应用到所述电子设备的位置的三维模型表示来产生所述物体的三维模型的至少一部分；以及
基于接收到的多个输出定义用于导航所述三维模型的至少一个推荐路径。
14.根据权利要求13所述的电子设备，其中所捕获的记录至少包括第一部分和第二部分；
其中所述处理器能够操作来通过以下来关联接收到的多个输出中的每一个输出：
关联接收到的多个输出中的第一输出与所捕获的记录的第一部分；
关联接收到的多个输出中的第二输出与所捕获的记录的第二部分；以及
所述处理器进一步能够操作来基于所述第一输出与所述第二输出定义至少一个数学量。
15.根据权利要求13所述的电子设备，其中所述处理器进一步能够操作来：
在所述捕获之前和/或在所述捕获开始时，确定所述电子设备的初始位置和所述电子设备的初始方向；
关联所确定的初始位置和所确定的初始方向与所捕获的记录的开始部分；以及
基于所确定的初始位置、所确定的初始方向和接收到的多个输出中的与在捕获所述开始部分之后捕获的一部分所捕获记录关联的对应输出，定义至少一个数学量。
16.根据权利要求13所述的电子设备，其中所述处理器能够操作来：
通过基于所述关联产生所述三维模型来产生所述三维模型。
17.根据权利要求13所述的电子设备，其中所述处理器能够操作来通过以下来产生所述三维模型：
将所捕获的记录和接收到的多个输出发送到主机设备以产生所述三维模型；以及
从所述主机设备接收所产生的三维模型。
18.根据权利要求13所述的电子设备，其中所述处理器能够操作来：
通过显示所述三维模型的至少一部分来产生所述三维模型；以及
通过将所述至少一个推荐路径重叠在所述三维模型的所显示的至少一部分中的至少一部分上来定义所述至少一个推荐路径。
19.根据权利要求13所述的电子设备，其中所述处理器能够操作来：
通过显示所述三维模型的至少一部分来产生所述三维模型；以及
通过显示指向所述至少一个推荐路径的至少一个元件来定义所述至少一个推荐路径。
20.根据权利要求19所述的电子设备，其中所述至少一个元件包括至少一个箭头。
21.一种能够操作来产生物体的三维模型的主机设备，包括：
用于从电子设备接收以下各项的装置：
所述物体的多个图像的记录，其中接收到的记录至少包括：
所述物体的第一图像；以及
所述物体的第二图像；
从所述物体到所述电子设备的初始位置，其中接收到的初始位置与所述第一图像关联；以及
所述电子设备的第一移动信息，其中所述第一移动信息是从所述电子设备的移动检测组件的输出接收的；以及
用于根据所述初始位置和所述第一移动信息，确定所述电子设备的位置的三维表示的装置；以及
用于通过将接收到的第一图像和接收到的第二图像应用到所述电子设备的位置的三维模型表示来创建所述物体的三维模型的至少一部分的装置。
22.根据权利要求21所述的主机设备，其中接收到的初始位置包括到所述电子设备的对所述初始位置的用户输入。
23.根据权利要求21-22中任一项所述的主机设备，还包括用于从所述电子设备接收从所述电子设备到地的相对位置的装置。
24.根据权利要求23所述的主机设备，还包括用于至少基于接收到的相对位置来创建所述三维模型的至少一部分的装置。
25.根据权利要求21-22中任一项所述的主机设备，还包括用于通过基于接收到的初始位置和接收到的第一移动而确定所述电子设备的位置，来创建所述三维模型的至少一部分的装置。
26.根据权利要求21-22中任一项所述的主机设备，其中接收到的记录进一步包括所述物体的第三图像，以及
其中所述主机设备还包括用于从所述电子设备接收所述电子设备的第二移动信息的装置，其中接收到的第二移动信息与所述第三图像关联。
27.根据权利要求26所述的主机设备，还包括用于至少基于所述第三图像和接收到的第二移动信息来创建所述三维模型的至少另一部分的装置。
28.一种产生物体的三维模型的方法，包括：
利用电子设备捕获所述物体的多个图像；
在所述捕获期间，利用所述电子设备从所述电子设备的移动感测组件接收多个指示第一移动的输出；
关联接收到的多个输出中的每一个输出和所捕获的多个图像中的在使用所述电子设备接收所述输出时捕获的对应图像；
根据所述电子设备的初始位置和所接收的第一移动，确定所述电子设备的位置的三维表示；
由所述电子设备通过将所述多个图像应用到所述电子设备的位置的三维模型表示来产生所述物体的三维模型的至少一部分；以及
基于接收到的多个输出利用所述电子设备定义用于导航所述三维模型的至少一个推荐路径。
29.根据权利要求28所述的方法，其中所述关联包括：
将接收到的多个输出中的每个输出作为对应图像的元数据进行关联。
30.根据权利要求28所述的方法，其中所述关联包括：
将接收到的多个输出中的每个输出链接到独特文件中的对应图像。
31.根据权利要求28所述的方法，其中：
以第一序列捕获所述多个图像；
所述三维模型包括所捕获的多个图像；以及
所述方法还包括：利用所述电子设备按照不同于所述第一序列的顺序导航所述三维模型的所捕获的多个图像中的至少一部分。
32.根据权利要求28-31中任一项所述的方法，其中所捕获的多个图像包括视频。
CN200980158401.7A 2009-01-28 2009-12-21 使用便携式电子设备记录产生三维模型 Active CN102388406B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/361,323 US8294766B2 (en) 2009-01-28 2009-01-28 Generating a three-dimensional model using a portable electronic device recording
US12/361,323 2009-01-28
PCT/US2009/069027 WO2010087920A2 (en) 2009-01-28 2009-12-21 Generating a three-dimensional model using a portable electronic device recording

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610079598.7A Division CN105761299A (zh) 2009-01-28 2009-12-21 使用便携式电子设备记录产生三维模型

Publications (2)

Publication Number Publication Date
CN102388406A CN102388406A (zh) 2012-03-21
CN102388406B true CN102388406B (zh) 2016-01-20

Family

ID=41682289

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610079598.7A Pending CN105761299A (zh) 2009-01-28 2009-12-21 使用便携式电子设备记录产生三维模型
CN200980158401.7A Active CN102388406B (zh) 2009-01-28 2009-12-21 使用便携式电子设备记录产生三维模型

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610079598.7A Pending CN105761299A (zh) 2009-01-28 2009-12-21 使用便携式电子设备记录产生三维模型

Country Status (4)

Country Link
US (5) US8294766B2 (zh)
EP (1) EP2391990A2 (zh)
CN (2) CN105761299A (zh)
WO (1) WO2010087920A2 (zh)

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7519918B2 (en) * 2002-05-30 2009-04-14 Intel Corporation Mobile virtual desktop
EP2318897B1 (en) * 2008-05-28 2018-05-16 Google LLC Motion-controlled views on mobile computing devices
AU2009282724B2 (en) 2008-08-22 2014-12-04 Google Inc. Navigation in a three dimensional environment on a mobile device
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US8935095B2 (en) * 2009-09-16 2015-01-13 Utc Fire & Security Americas Corporation, Inc. Safety system and device and methods of operating
US8913009B2 (en) * 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8493454B1 (en) * 2010-02-17 2013-07-23 Ambarella, Inc. System for camera motion compensation
US8830225B1 (en) * 2010-03-25 2014-09-09 Amazon Technologies, Inc. Three-dimensional interface for content location
US20110279446A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
US20110279445A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for presenting location-based content
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US8908928B1 (en) 2010-05-31 2014-12-09 Andrew S. Hansen Body modeling and garment fitting using an electronic device
US8655053B1 (en) 2010-05-31 2014-02-18 Andrew S Hansen Body modeling and garment fitting using an electronic device
JP2012034196A (ja) * 2010-07-30 2012-02-16 Olympus Corp 撮像端末、データ処理端末、撮像方法、及びデータ処理方法
KR101259598B1 (ko) * 2010-07-30 2013-04-30 주식회사 팬택 로드뷰 제공 장치 및 방법
US8994716B2 (en) * 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
WO2012053032A1 (ja) * 2010-10-20 2012-04-26 三菱電機株式会社 ３次元立体表示装置
US9001053B2 (en) 2010-10-28 2015-04-07 Honeywell International Inc. Display system for controlling a selector symbol within an image
US9026359B2 (en) * 2010-11-01 2015-05-05 Nokia Corporation Visually representing a three-dimensional environment
US9017163B2 (en) 2010-11-24 2015-04-28 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
US8833861B2 (en) * 2010-12-03 2014-09-16 Caterpillar Inc. Loading analysis system and method
EP2656309B1 (en) 2010-12-21 2016-10-12 metaio GmbH Method for determining a parameter set designed for determining the pose of a camera and for determining a three-dimensional structure of the at least one real object
GB2489685B (en) * 2011-03-31 2017-01-25 Geovs Ltd A Display System
EP2695142B1 (en) 2011-04-08 2023-03-01 Koninklijke Philips N.V. Image processing system and method
EP2520999A1 (en) * 2011-05-04 2012-11-07 Research In Motion Limited Methods for adjusting a presentation of graphical data displayed on a graphical user interface
US9041733B2 (en) 2011-05-04 2015-05-26 Blackberry Limited Methods for adjusting a presentation of graphical data displayed on a graphical user interface
JP5918618B2 (ja) * 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2012257021A (ja) * 2011-06-08 2012-12-27 Sony Corp 表示制御装置および方法、プログラム、並びに記録媒体
US8879828B2 (en) 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
US8825392B2 (en) * 2011-06-30 2014-09-02 Navteq B.V. Map view
US9274595B2 (en) 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US20140218360A1 (en) * 2011-09-21 2014-08-07 Dalux Aps Bim and display of 3d models on client devices
US9292963B2 (en) 2011-09-28 2016-03-22 Qualcomm Incorporated Three-dimensional object model determination using a beacon
US9639857B2 (en) 2011-09-30 2017-05-02 Nokia Technologies Oy Method and apparatus for associating commenting information with one or more objects
US9870429B2 (en) * 2011-11-30 2018-01-16 Nokia Technologies Oy Method and apparatus for web-based augmented reality application viewer
JP5845860B2 (ja) * 2011-12-01 2016-01-20 株式会社デンソー 地図表示操作装置
KR101946574B1 (ko) * 2011-12-16 2019-02-11 삼성전자주식회사 영상 재생 장치, 방법, 및 컴퓨터 판독가능 저장매체
US9965140B2 (en) * 2011-12-26 2018-05-08 TrackThings LLC Method and apparatus of a marking objects in images displayed on a portable unit
KR101899458B1 (ko) * 2012-01-11 2018-09-18 삼성전자주식회사 3ｄ 디스플레이 장치 및 그 방법
EP2807454A4 (en) * 2012-01-26 2015-08-19 Telecomm Systems Inc NAVIGATION GUIDANCE
US9269178B2 (en) * 2012-06-05 2016-02-23 Apple Inc. Virtual camera for 3D maps
US10176633B2 (en) 2012-06-05 2019-01-08 Apple Inc. Integrated mapping and navigation application
US9418672B2 (en) 2012-06-05 2016-08-16 Apple Inc. Navigation application with adaptive instruction text
US9482296B2 (en) 2012-06-05 2016-11-01 Apple Inc. Rendering road signs during navigation
US9230556B2 (en) 2012-06-05 2016-01-05 Apple Inc. Voice instructions during navigation
US9997069B2 (en) 2012-06-05 2018-06-12 Apple Inc. Context-aware voice guidance
US9886794B2 (en) 2012-06-05 2018-02-06 Apple Inc. Problem reporting in maps
US9111380B2 (en) 2012-06-05 2015-08-18 Apple Inc. Rendering maps
US9052197B2 (en) 2012-06-05 2015-06-09 Apple Inc. Providing navigation instructions while device is in locked mode
US9182243B2 (en) * 2012-06-05 2015-11-10 Apple Inc. Navigation application
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US9395875B2 (en) * 2012-06-27 2016-07-19 Ebay, Inc. Systems, methods, and computer program products for navigating through a virtual/augmented reality
EP2685341B1 (en) * 2012-07-09 2017-09-27 BlackBerry Limited System and method for determining a display orientation of a mobile device
US10410605B2 (en) 2012-07-09 2019-09-10 Blackberry Limited System and method for determining a display orientation of a mobile device
EP2708982B1 (en) * 2012-09-18 2019-09-11 Samsung Electronics Co., Ltd Method for guiding the user of a controller of a multimedia apparatus to move within recognizable range of the multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof
US9626799B2 (en) * 2012-10-02 2017-04-18 Aria Glassworks, Inc. System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display
FR3000351B1 (fr) * 2012-12-21 2015-01-02 Vincent Burgevin Procede d’utilisation d’une video immersive sur un dispositif portable de visualisation
EP2767973A1 (en) * 2013-02-15 2014-08-20 Samsung Electronics Co., Ltd. User terminal and method of displaying image thereof
US9094576B1 (en) 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US10769852B2 (en) 2013-03-14 2020-09-08 Aria Glassworks, Inc. Method for simulating natural perception in virtual and augmented reality scenes
US9761045B1 (en) * 2013-03-15 2017-09-12 Bentley Systems, Incorporated Dynamic and selective model clipping for enhanced augmented hypermodel visualization
US9607584B2 (en) * 2013-03-15 2017-03-28 Daqri, Llc Real world analytics visualization
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US20150063678A1 (en) * 2013-08-30 2015-03-05 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user using a rear-facing camera
CN103472976B (zh) * 2013-09-17 2017-04-12 百度在线网络技术（北京）有限公司 一种街景图片的显示方法及系统
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
KR101817452B1 (ko) * 2013-09-24 2018-01-11 메타이오 게엠베하 모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스
US9747680B2 (en) 2013-11-27 2017-08-29 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
US10733651B2 (en) 2014-01-01 2020-08-04 Andrew S Hansen Methods and systems for identifying physical objects
US10977864B2 (en) 2014-02-21 2021-04-13 Dropbox, Inc. Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
US9405770B2 (en) 2014-03-10 2016-08-02 Google Inc. Three dimensional navigation among photos
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
FR3020485A1 (fr) * 2014-04-25 2015-10-30 Biomerieux Sa Procede, systeme et produit-programme d'ordinateur pour afficher une image d'un objet
CN106164982B (zh) * 2014-04-25 2019-05-03 谷歌技术控股有限责任公司 基于影像的电子设备定位
US9589354B2 (en) 2014-06-17 2017-03-07 Chief Architect Inc. Virtual model viewing methods and apparatus
US9575564B2 (en) * 2014-06-17 2017-02-21 Chief Architect Inc. Virtual model navigation methods and apparatus
US9595130B2 (en) * 2014-06-17 2017-03-14 Chief Architect Inc. Virtual model navigation methods and apparatus
US10724864B2 (en) 2014-06-17 2020-07-28 Chief Architect Inc. Step detection methods and apparatus
US10048835B2 (en) * 2014-10-31 2018-08-14 Microsoft Technology Licensing, Llc User interface functionality for facilitating interaction between users and their environments
US10115149B1 (en) * 2014-12-18 2018-10-30 Amazon Technologies, Inc. Virtual world electronic commerce platform
WO2016109316A1 (en) * 2014-12-29 2016-07-07 Energous Corporation Systems and methods for wireless power transmission
US10257495B1 (en) * 2014-12-31 2019-04-09 Morphotrust Usa, Llc Three dimensional composite images of digital identifications
US10185463B2 (en) * 2015-02-13 2019-01-22 Nokia Technologies Oy Method and apparatus for providing model-centered rotation in a three-dimensional user interface
JP6693718B2 (ja) * 2015-02-27 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
WO2016136794A1 (ja) 2015-02-27 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
US9897450B2 (en) * 2015-05-20 2018-02-20 Nokia Technologies Oy Method and apparatus to obtain differential location information
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene
US10134204B2 (en) * 2015-09-23 2018-11-20 Caterpillar Inc. Method and system for collecting machine operation data using a mobile device
US11087445B2 (en) 2015-12-03 2021-08-10 Quasar Blu, LLC Systems and methods for three-dimensional environmental modeling of a particular location such as a commercial or residential property
US9965837B1 (en) * 2015-12-03 2018-05-08 Quasar Blu, LLC Systems and methods for three dimensional environmental modeling
US10607328B2 (en) 2015-12-03 2020-03-31 Quasar Blu, LLC Systems and methods for three-dimensional environmental modeling of a particular location such as a commercial or residential property
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
US10523929B2 (en) * 2016-04-27 2019-12-31 Disney Enterprises, Inc. Systems and methods for creating an immersive video content environment
KR102550469B1 (ko) * 2016-05-20 2023-07-04 삼성전자주식회사 전자 장치 및 그 제어 방법
US10607409B2 (en) * 2016-07-19 2020-03-31 The Boeing Company Synthetic geotagging for computer-generated images
US10339700B2 (en) * 2017-05-15 2019-07-02 Microsoft Technology Licensing, Llc Manipulating virtual objects on hinged multi-screen device
WO2018236499A1 (en) * 2017-06-19 2018-12-27 Apple Inc. AUGMENTED REALITY INTERFACE FOR INTERACTING WITH DISPLAYED CARDS
US10545215B2 (en) * 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10569172B2 (en) * 2017-09-19 2020-02-25 Canon Kabushiki Kaisha System and method of configuring a virtual camera
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface
US10664127B2 (en) * 2017-12-29 2020-05-26 Facebook, Inc. Connected TV 360-degree media interactions
CN108499104B (zh) * 2018-04-17 2022-04-15 腾讯科技（深圳）有限公司 虚拟场景中的方位显示方法、装置、电子装置及介质
CN108846898B (zh) * 2018-05-30 2020-08-11 贝壳找房(北京)科技有限公司 一种在3d房屋模型上呈现3d朝向的方法及装置
US10909772B2 (en) 2018-07-31 2021-02-02 Splunk Inc. Precise scaling of virtual objects in an extended reality environment
US10692299B2 (en) 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
CN111325849B (zh) * 2018-12-14 2024-03-12 广东虚拟现实科技有限公司 虚拟内容显示方法、装置、终端设备及存储介质
US11335060B2 (en) * 2019-04-04 2022-05-17 Snap Inc. Location based augmented-reality system
CN111859874B (zh) * 2019-04-17 2023-06-13 百度在线网络技术（北京）有限公司 表格生成方法及其系统、视频播放设备和计算机可读介质
CN111178191B (zh) * 2019-11-11 2022-01-11 贝壳找房(北京)科技有限公司 信息播放方法、装置、计算机可读存储介质及电子设备
US11863863B2 (en) * 2020-07-22 2024-01-02 Unity IPR ApS System and method for frustum context aware digital asset suggestions
US20230316634A1 (en) * 2022-01-19 2023-10-05 Apple Inc. Methods for displaying and repositioning objects in an environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1650712A2 (en) * 2004-10-25 2006-04-26 Sony Corporation Generation of a 3D image with controlled viewing angle for navigation
CN1963390A (zh) * 2005-11-08 2007-05-16 李啸炜 一种便捷高效的三维测量方法
CN101118159A (zh) * 2007-09-17 2008-02-06 北京航空航天大学 基于惯性技术的全自主式地下管线测量系统
CN101124456A (zh) * 2005-02-21 2008-02-13 V·A·别列尼基 产生导航参数和竖直位置的方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
US6094215A (en) * 1998-01-06 2000-07-25 Intel Corporation Method of determining relative camera orientation position to create 3-D visual images
US7263667B1 (en) * 1999-06-09 2007-08-28 Microsoft Corporation Methods, apparatus and data structures for providing a user interface which facilitates decision making
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
JP3514704B2 (ja) * 2000-06-28 2004-03-31 株式会社昭文社 地図情報配信システム、地図情報の配信方法、地図情報を配信するサーバ及びサービスを提供するサーバ
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7714880B2 (en) * 2001-11-16 2010-05-11 Honeywell International Inc. Method and apparatus for displaying images on a display
BR0308165A (pt) * 2002-03-01 2005-06-28 Networks In Motion Inc Método e aparelho para envio, recuperação e planejamento de informação relevante de localização
US6885939B2 (en) * 2002-12-31 2005-04-26 Robert Bosch Gmbh System and method for advanced 3D visualization for mobile navigation units
US20060146009A1 (en) * 2003-01-22 2006-07-06 Hanno Syrbe Image control
US7460953B2 (en) * 2004-06-30 2008-12-02 Navteq North America, Llc Method of operating a navigation system using images
JP4167263B2 (ja) * 2004-07-15 2008-10-15 株式会社シーアンドエヌ 携帯端末装置
US7138979B2 (en) 2004-08-27 2006-11-21 Motorola, Inc. Device orientation based input signal generation
US8005831B2 (en) * 2005-08-23 2011-08-23 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment with geographic location information
US9451219B2 (en) * 2004-12-31 2016-09-20 Nokia Technologies Oy Provision of target specific information
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
EP1849123A2 (en) * 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
US20060164382A1 (en) 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
US7737965B2 (en) * 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US7958135B2 (en) * 2005-09-06 2011-06-07 Ricoh Company, Ltd. Information processing apparatus, information recording system, information recording method, and computer-readable medium storing program
US20080033641A1 (en) * 2006-07-25 2008-02-07 Medalia Michael J Method of generating a three-dimensional interactive tour of a geographic location
CN1932799A (zh) * 2006-09-04 2007-03-21 罗中根 仿现实三维虚拟网络旅游系统及方法
US7750799B2 (en) * 2006-11-01 2010-07-06 International Business Machines Corporation Enabling a person in distress to covertly communicate with an emergency response center
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US8159518B2 (en) * 2007-03-23 2012-04-17 Verizon Patent And Licensing Inc. Video streaming system
US20080273109A1 (en) * 2007-05-02 2008-11-06 Drew Bamford Portable device with interactive display and geographical location capability
JP4926826B2 (ja) * 2007-05-25 2012-05-09 キヤノン株式会社 情報処理方法および情報処理装置
CN101216951A (zh) * 2007-12-27 2008-07-09 电子科技大学 虚拟场景中的智能群体运动模拟方法
US8103134B2 (en) * 2008-02-20 2012-01-24 Samsung Electronics Co., Ltd. Method and a handheld device for capturing motion
JP5264298B2 (ja) * 2008-06-04 2013-08-14 キヤノン株式会社 画像処理装置および画像処理方法
US8477139B2 (en) * 2008-06-09 2013-07-02 Apple Inc. Touch screen device, method, and graphical user interface for manipulating three-dimensional virtual objects
US8269842B2 (en) * 2008-06-11 2012-09-18 Nokia Corporation Camera gestures for user interface control
US8098894B2 (en) * 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
US20110113383A1 (en) 2008-07-14 2011-05-12 Denis Dyack Apparatus and Methods of Computer-Simulated Three-Dimensional Interactive Environments
US10230803B2 (en) * 2008-07-30 2019-03-12 Excalibur Ip, Llc System and method for improved mapping and routing
CA2725800A1 (en) * 2008-07-31 2010-02-04 Tele Atlas B.V. Method of displaying navigation data in 3d
AU2009282724B2 (en) * 2008-08-22 2014-12-04 Google Inc. Navigation in a three dimensional environment on a mobile device
US8185134B2 (en) * 2008-10-21 2012-05-22 Qualcomm Incorporated Multimode GPS-enabled camera
US20100123658A1 (en) * 2008-11-17 2010-05-20 Sony Ericsson Mobile Communications Ab Portable communication device having a touch-sensitive input device with non-linear active areas
US8538688B2 (en) * 2008-11-18 2013-09-17 Nokia Corporation User generated pedestrian and indoor shortcut routes for navigation systems
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1650712A2 (en) * 2004-10-25 2006-04-26 Sony Corporation Generation of a 3D image with controlled viewing angle for navigation
CN101124456A (zh) * 2005-02-21 2008-02-13 V·A·别列尼基 产生导航参数和竖直位置的方法
CN1963390A (zh) * 2005-11-08 2007-05-16 李啸炜 一种便捷高效的三维测量方法
CN101118159A (zh) * 2007-09-17 2008-02-06 北京航空航天大学 基于惯性技术的全自主式地下管线测量系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
摄像机自标定及三维重建算法研究;张葆成;《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》;20070228(第2期);第2.3部分 *

Also Published As

Publication number Publication date
US20130038609A1 (en) 2013-02-14
US8294766B2 (en) 2012-10-23
US8624974B2 (en) 2014-01-07
CN105761299A (zh) 2016-07-13
EP2391990A2 (en) 2011-12-07
US20180182162A1 (en) 2018-06-28
CN102388406A (zh) 2012-03-21
WO2010087920A2 (en) 2010-08-05
US10719981B2 (en) 2020-07-21
US9842429B2 (en) 2017-12-12
US20200302685A1 (en) 2020-09-24
US11989826B2 (en) 2024-05-21
US20100188503A1 (en) 2010-07-29
US20140118346A1 (en) 2014-05-01
WO2010087920A3 (en) 2011-08-18

Similar Documents

Publication Publication Date Title
CN102388406B (zh) 使用便携式电子设备记录产生三维模型
US20100188397A1 (en) Three dimensional navigation using deterministic movement of an electronic device
US11990108B2 (en) Method and apparatus for rendering items in a user interface
US11163997B2 (en) Methods and apparatus for venue based augmented reality
JP6635037B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN109146954B (zh) 用于与所显示的地图进行交互的增强现实界面
KR101433305B1 (ko) 증강 현실 환경을 위한 모바일 디바이스 기반 콘텐츠 맵핑
CN105555373B (zh) 增强现实设备、方法和程序
US9514717B2 (en) Method and apparatus for rendering items in a user interface
US20140362084A1 (en) Information processing device, authoring method, and program
US20140300775A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20110145718A1 (en) Method and apparatus for presenting a first-person world view of content
US20110319130A1 (en) Mobile terminal and method of operation
Pryss et al. The AREA framework for location-based smart mobile augmented reality applications
WO2018071136A1 (en) Shake event detection system
JP2011060254A (ja) 拡張現実システム、拡張現実装置および仮想オブジェクト表示方法
Simon et al. Towards orientation-aware location based mobile services
JP5357966B2 (ja) 情報システム、サーバ装置、端末装置、情報処理方法、およびプログラム
Liarokapis et al. Navigating within the urban environment using Location and Orientation-based Services

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant