CN103797443B - 模拟三维特征 - Google Patents

模拟三维特征 Download PDF

Info

Publication number
CN103797443B
CN103797443B CN201280044377.6A CN201280044377A CN103797443B CN 103797443 B CN103797443 B CN 103797443B CN 201280044377 A CN201280044377 A CN 201280044377A CN 103797443 B CN103797443 B CN 103797443B
Authority
CN
China
Prior art keywords
user
image
observation point
change
correlated observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280044377.6A
Other languages
English (en)
Other versions
CN103797443A (zh
Inventor
霍华德·D.·鲁克
利奥·B.·鲍尔温
肯尼斯·M.·卡拉科迪西乌斯
丹尼斯·霍奇
艾萨克·S.·诺布尔
沃洛季米尔·V.·伊万琴科
杰弗里·P.·贝索斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN103797443A publication Critical patent/CN103797443A/zh
Application granted granted Critical
Publication of CN103797443B publication Critical patent/CN103797443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

在电子装置上显示的图像信息可以至少部分基于相对于装置的用户的相关位置而修改。制图的、拓扑的或其它类型的位置数据可以用于从与所述用户当前的相关位置的观察角度一致的透视图来生成图像内容。随着所述观察角度改变，作为所述用户和/或所述装置移动的结果，可以再生成或以其他方式更新所述内容以从反映观察角度的所述改变的透视图来显示图像内容。诸如平行视差和遮挡的效果的模拟可以与透视图中的所述改变一起使用以提供一致的用户体验，这即使在二维显示器上生成所述内容时，也提供三维内容的感觉。照明、阴影和/或其它效果可以用于增强所述体验。

Description

模拟三维特征
发明背景
随着各种计算装置的能力增大，并且随着人们利用计算装置的任务种类增大，满足用户期望面临额外的挑战。例如，提供实际的或增强的真实体验的应用的数量增大，这至少试图给用户提供一定程度的三维体验。尽管一些装置利用需要特定硬件(诸如，特殊观看眼镜)的三维显示器，但是大量装置利用常规二维显示器或提供基本上在二维中创建的内容。尽管可以利用某些阴影或渲染来给予三维内容的效果，但是因为位置、定向或照明的改变一般将不会在显示器中真实地更新，所以该内容通常将不像真的三维物体或场景。因此，所显示的内容的实际本质被显著降低。
附图简述
将参考附图描述根据本发明的各种实施方案，其中：
图1图示根据各种实施方案的在其中用户能够与电子装置交互作用的环境；
图2(a)至图2(b)图示根据各种实施方案的确定用户的相关观察角度的改变的示例方法；
图3图示包括可以根据各种实施方案产生的位置图钉标志的地图信息的示例显示；
图4(a)至图4(b)图示根据各种实施方案的响应于不同的移动的图3的地图信息和图钉标志的示例显示；
图5(a)至图5(b)图示根据各种实施方案的不同定向的地形信息的示例显示；
图6(a)至图6(b)图示根据各种实施方案的可以层级移动的图形标志的层级的示例显示；
图7(a)至图7(b)图示根据各种实施方案的包括基于用于不同定向的装置的本地光源的阴影的示例显示；
图8(a)至图8(b)图示根据各种实施方案的用于不同定向的装置的书本内容的示例显示；
图9图示根据各种实施方案的用于更新信息的显示以顾及定向改变的示例流程；
图10图示用于确定可以根据各种实施方案使用的相关位置的示例流程；
图11图示可以根据各种实施方案使用的示例装置；
图12图示诸如在图11中所示的计算装置的示例部件；
图13(a)至图13(f)图示根据各种实施方案的确定可以使用的头部位置和/或注视方向的示例方法；
图14(a)至图14(b)图示根据各种实施方案的确定至用户的相关距离的改变的示例方法；
图15图示其中可以实施各种实施方案的环境。
具体实施方式
根据本发明的各种实施方案的系统和方法可克服在电子装置上显示内容的常规方法中经历的一个或多个上述和其它不足。具体而言，各种实施方案能够至少部分基于相对于装置的用户的当前相关位置或定向以及该相关位置或定向的改变而对所显示的图像内容(例如，静止的内容或视频内容)做出调整。该调整可以包括，例如，由于平行视差或遮挡的改变，在响应于用户与装置之间的相关移动将其增加到所生成的内容时，可以增强用户的体验并且增大在二维或三维显示元件上生成的内容的真实感。例如，如果用户正观察包括图钉标志的三维表示的街道地图的图形表示，那么从基于用户的观察点的视图，地图的部分可能被阻挡或遮挡。在本文所述的各种实施方案中，用户可以变更其观察点(例如，通过移动装置或相对于装置移动其自身)并且看见地图先前被遮挡的部分，如同其绕着图钉标志看。
在各种实施方案中，相对于装置的用户的相关位置可以使用电子装置的至少一个图像获取元件来确定。该位置在本文中被称为用户的观察点。例如，可以分析来自摄像机的馈送以定位在视频馈送中的用户的相关位置，这可以被分析以确定用户的相关观察点。在其它实施方案中，因为当分析来自不同位置的多个信息源时，经常可以确定除了方向以外的距离，所以一个或多个数码相机可以周期性地获取将分析用于用户位置的图像。在另外其它实施方案中，红外线成像可以用于检测用户的特征，诸如用户的头部或眼睛，用于确定和/或跟踪用户的位置。
至少部分基于用户的所确定的相关观察点，电子装置可以确定相对于在装置上生成和显示的内容(例如场景)的主要观察角度。对于内容的至少某些类型，装置可以调整生成以提供合适该观察点的该内容的二维或三维表示，即使当显示是在二维中时，也给予三维视图或显示的效果。
在至少一些实施方案中，电子装置确定在用户与装置之间的相关观察点、位置、方向和/或定向的改变，以便更新从其中生成所显示的内容的透视图。例如，装置可以继续获取和分析图像信息以确定相对于装置的用户的相关观察点的改变。此类改变可能基于用户和/或装置的移动。装置也可以利用来自装置的至少一个定向或位置确定元件的信息，诸如加速计或惯性传感器，以协助检测装置的动作并且相应地更新观察角度。尽管用户与装置之间的相关位置可能基本上没有改变，但是这些元件也可以检测装置定向的改变，诸如通过装置的转动。显示器也可以至少部分基于定向的改变而更新。通过调整从其中生成图像内容的透视图以对应用户的相关观察点的改变，可以在二维或三维显示元件上产生一致的、贯穿多个观察角度的、有实际或虚拟三维内容的三维表示。
更新所生成的内容的透视图的能力也可以提供额外的优势。例如，在所显示的图像中，物体可能至少部分掩藏或遮挡另一物体。使用常规的显示器，用户不能够观察所遮挡的内容。通过使生成的透视图能够基于用户的相关观察点改变，用户可以简单地通过改变其相对于装置的位置、改变装置本身的位置或这两者的任何组合而有效地“绕过”遮挡物以观察先前在显示器中不可见的内容。另外，基于用户的观察点的改变而变更遮挡物的量可以指示遮挡物与其它内容之间的相关高度或距离，这对于制图或其它此类应用可以是有用的。
为了进一步增强实际的、三维环境的感觉，也可以调整显示器的各种其它方面。例如，显示器中的物体可以具有与其关联的三维模型或数据，使得物体可以转动以示出与透视图中的改变一致的视图。地图上的建筑物可能示出默认的由上而下的视图，并且用户可能够通过转动装置或移动用户的头部位置而看见建筑物的侧面。类似地，可以调整影子和阴影以合适透视图。例如对于太阳下的建筑物，在阴影中的建筑物的侧面可以与太阳位置一致，而不管装置的定向。在其它实施方案中，图像内容可能根据一个或多个在装置附近的光源而照亮或加阴影，并且照明方向可以响应于装置的移动而更新以根据光源的位置而在图像中给物体加阴影。
在一些实施方案中，装置可能具有能够移动或转动的元件以提供方向性。例如，图像获取元件可能包括部件(诸如，移动摄像机、可调整的镜子或镜头、转动的常平架或其它此类元件)以增大视野和/或使图像数据能够从特定方向和/或距离被获取。任何数据输入或输出可以基于用户的当前相关位置而调整。
各种其它应用、流程和用途在下面相对于各种实施方案而呈递。
图1图示示例情形100，其中用户102正观察显示在电子装置104的显示元件上的内容。该实例中的装置104具有位于装置的边或角的至少一个成像元件106，使得成像元件将很可能获取用户102的至少一部分的图像信息，同时用户正观察显示在装置上的内容。例如，在图1中的成像元件106位于装置的正面，使得成像元件的角度获取范围108可以将用户的至少一部分成像，同时用户正观察显示在电子装置104的显示元件上的内容。如稍后将在本文中详细论述的，能够获取用户的图像信息使电子装置能够确定相对于电子装置的用户的相关位置和/或定向并且根据该位置和/或定向调整在装置上的显示内容。使用该信息，三位模型可以用于产生基于用户的观察点的观察角度合适的图像。
图2(a)至图2(b)图示根据至少一些实施方案的如何使用三维模型以产生观察角度合适的图像的实例。在图2(a)中，示例定向200具有基本上在装置的显示元件204的正面的用户202。为了解释的简便性以及在图2(a)中所示出的，这里的模型在三维中用在背景208上的盒子206表示。在当前的观察角度，用户仅能够看见盒子206的表面210，如在显示视图220中的可观察的部分240所示的。在图2(b)的定向250中，装置已经被转动(或用户已经相对于装置移动)。为了在至少一些实施方案中提供合适的用户体验，图形表示模型有效地随装置转动，使得用户能够看见盒子206的顶部表面和两个侧面，并且背景208将因此转动。基于用户202的当前观察电，在图2(b)的显示视图260种可以看见盒子可观察的表面242不仅包括盒子的顶部而且也包括盒子的至少一个侧面，如可观察的部分262所示的。通过计算该观察角度，应用可以确定显示的盒子的顶部和侧面部分以作为转动的结果。在图2(b)中也可以看到在图2(a)中被盒子的右侧遮挡的任何区域现在可以被看见了，并且在图2(b)中被盒子的左侧遮挡的区域现在更大了。
为了进一步解释，图3描绘在装置的显示元件302上显示地图内容的示例装置300。虽然示出了便携式计算装置(例如，智能电话、电子读书器或平板计算机)，应理解的是能够接收、处理和显示信息的任何装置可以根据本文所述的各种实施方案而使用。这些装置可以包括，例如，尤其是台式计算机、笔记本拿计算机、电子读书器、个人数字助理、移动电话、视频游戏机或控制器、电视机顶盒和便携式媒体播放器。在该实例中，用户已经将地址输入至制图应用，并且产生用于在显示元件302上显示的制图信息，其包括指示在地图区域上的地址的大概位置的图钉标志或标记310。定位地址或位置并且产生地图信息的方法在本领域众所周知，因此将不在本文详细论述。
如所述的，在某些实施方案中期望尽可能地增强此类情形的真实感。一种方式是给图像增加阴影，使得所显示的图钉标志和建筑物看似三维物体。在现有的系统中，影子是基于虚拟光源从固定的方向发射光并且施加到特定的视图(诸如，所示的由上而下的视图)而生成的。如果用户移动装置或相对于装置移动，但是阴影将不改变并且装置的透视图将不调整以从转动引起的合适的视图示出建筑物或图钉标志，那么这可以将用户带离体验。类似地，即使用户的观察点相对于装置改变，物品的外观也将不调整，使得用户将意识到显示的是二维生成。
根据各种实施方案的系统和方法可以利用许多元件，其可以用于确定用户与电子装置之间的相关位置和/或定向的改变，以及确定相对于装置的用户的观察点。例如，图3中的装置300包括成像元件304，其可以用于获取确定相对于装置的用户的相关观察点的图像信息，如上所提及的。定向确定元件306(诸如，加速计、电子陀螺仪或惯性传感器)可以确定装置的位置或定向的改变。其它输入元件308(诸如，麦克风或近物体传感器)也可以在其它实施方案中使用。可以分析来自这些元件的至少一些的信息以确定从用户的观点的当前观察点。例如，通过确定用户的当前观察点，装置可以生成基本上对应于从用户的观点的内容的三维视图的内容。
例如，图4(a)图示根据装置沿着装置的主轴转动的装置400的示例定向，尽管相关观察点的类似改变可能由用户的动作引起，将随后在本文中更详细地论述。如所见的，装置的转动触发在装置上显示的地图信息404的对应的改变。例如，每个建筑物的侧面对应于用户的当前观察点而显示，而不是仅看见每个建筑物的俯视图(图3)。因此，尽管显示的是二维显示，但是建筑物的所生成的视图可以为将呈递类似于如果用户从其当前观察点观察建筑物的三维形式而用户将看见的该建筑物的视图的此类显示。在该实例中，其中装置的左边缘朝向用户转动(离开图4(a)的平面)，每个建筑物左侧基于基本上正交与图4(a)的平面的用户方向而生成(沿着屋顶的部分或其它透视合适的部分)。
在图4(a)中，位置图钉标志402的生成也已经一次更新。在图3中，图钉标志以基本上由上而下的视图示出。在图4(a)中，位置图钉标志402基于相对于装置的用户的当前相关观察点而以透视的视图生成。除了改变显示图钉标志的方式，用户现在可以观察先前在俯视图中被图钉标志隐藏或遮挡的信息。例如，在图3中，“华盛顿街(Washington Street)”中的“W”被图钉标志的位置遮挡。在图4(a)中，装置的转动已经引起图钉标志的生成改变以反映用户的当前观察点，这引起“华盛顿街(Washington Street)”中的“W”现在对于用户是可见的。因此，生成不仅改变各种元件的透视图而且也可以相对于任何其它元件或所遮挡的部分而合适地生成那些元件，以便进一步提供三维世界的感觉。用户因此可以调整用户与装置之间的相关定向以观察被物体遮挡的信息，这在常规方法中不手动移动或移除在显示器中所生成的图钉标志还是不可能的。
由于用户在先前的定向(图3和图4(a))的任一个中不能够看见“华盛顿街(Washington Street)”的全名，用户可以继续调整装置的相关定向直至期望的信息是可观察的。例如，在图4(b)中，用户可以朝向用户倾斜屏幕的顶部(转动装置的顶部离开图4(b)的平面)，导致在图像中的物体的不同的生成。在该实例中，可以看见朝向装置顶部的建筑物的侧面，并且秃顶标志402的不同的生成基于新的定向而显示。在该实例中，先前被遮挡的街道的名称现在可以在所显示的图像信息中看见，因为现在“华盛顿街”在图像中是可见的。
改变装置的定向的另一优势是用户也可以观察否则对于用户可能不明显的遮挡物的不同角度。例如，在图3和图4(a)中，“华盛顿街”和“林肯大道”的显示中的区别不大，除了其各自的位置。然而，在图4(b)的生成中，定向图示“林肯大道”事实上为突起的街道452，因为街道的位置由于街道在不同的距离或平面而根据定向改变而位移。此外，可以增加影子454或其它元件(例如柱形或拱形)以进一步图示位置和透视图中的差异。使用常规的由上而下的视图，用户可能不能够辨别林肯大道实际上在其它附近的街道之上，并且不能从林肯大道下面穿过的单行街道中的任一条而直接转入。
在三维中获得信息的能力也可以在其它情形中受益。例如，图5(a)图示可能由徒步旅行者观察的(例如，使用便携式全球定位装置(GPS))地形信息500的显示实例。在图5(a)的俯视图中，徒步旅行者可以确定有小溪502流入小水塘504。基于俯视图，徒步旅行者可能够确定从小溪至水塘有急降，但不能够确定急降的程度。为了获得更好的视图，徒步旅行者转动装置(或移动徒步旅行者的头部)以获得区域的透视视图，诸如在图5(b)中所示的。在该视图中，可以看见小山506的侧面，以及从小溪502至504下面的水池的瀑布508的下降量。此类观察能力使徒步旅行者能够在向给定方向徒步旅行之前确定地势，诸如急降太大而不能攀登或向下行的地方；帮助徒步旅行者识别下到水池504的小径或其它路的另一地方。
在一些实施方案中，可以将动画或其它元素增加至显示器中以增强实际世界或三维视图的效果。这些元素也可以提供多种有用的信息。例如，小溪中的水可以是活动的，并且在一些实施方案中可以生成以随着实际小溪流动的方向旅行，以便协助徒步旅行者找到他的或她的方位，以及确定到感兴趣的位置(例如瀑布)的适当的方向。也可以增加其它的元素，诸如其中瀑布508进入水池504的湍流510的区域，这可以帮助进一步强调所显示的特征的本质，以及增强显示的实际体验。
类似地，可以增加其它图形元素，其可以增强显示的实际本质，也可以将有用的信息提供给用户。例如，可以增加诸如云、鸟、飞机的影子，其可以移动穿过所显示的区域。除了增强显示的实际世界本质，可以根据地势的类型或影子移动经过的地形而操纵影子。例如，考虑在图5(b)中的第一只鸟512的影子。由于鸟正飞过相对平坦的区域，影子从默认形状基本上没有更改。因为影子移动经过急降506，所以第二只鸟514的影子将变形，表示急降为相对陡峭的角的事实。影子变形的量可以指示急降的斜率和/或级别，这可以有助于用户试图确定在显示中的特征的尺寸。动画或移动的各种其它类型也可以在各种实施方案的范围内使用。
在诸如图4和图5所示的地图或其它地形显示中，各种特征和/或点的高度和/或海拔的信息可以使用任何合适的制图或建模方法而确定，因为许多常规的方法可以提供此类地形数据，所以这不将在本文中详细论述。在计算装置上执行的应用可以利用该图形数据，以及任何各种位置的许多类型的图像(例如街道层级或空中视图)以使用用于诸如从观察的特定点生成三维模型的二维或三维视图的目的的许多生成方法的任何来生成地图图像。然而，在一些情况下，不存在用于此类目的的有用的详细三维模型数据。此外，一些方法将优选不在诸如三维建模的流程中采用，因为此类方法可以为特别处理器密集型的，这对于小型便携式装置和其它低容量系统是不期望的。
根据各种实施方案的方法可以替代利用图形元件层，其可以相对于彼此的不同的速度移动，提供深度和三维移动的感觉。例如，图6(a)图示包括三层图形元件602、图形元件604、图形元件606(诸如，表示应用、文件夹、快捷方式或者已知的或在电子装置上用于访问各种类型的功能活信息的任何其它类型的物体的图形标记)的显示600。在该实例中，第一层元件602在第二层元件604的“上面”生成，第二层元件604在第三层元件606的上面生成。应理解的是可以有包括任何合适数量的元件的任何数量的层级，并且各层的等级可以使用许多可能的方法的任何(诸如，排序或导航各层)而调整或选择。在该实例中，每个层的元件用不同的相关尺寸生成，提供给用户各种元件的距离的感觉。为了增强该距离的感觉，以及提供空间的感觉并且使用户能够获得各种元件的不同的视图，层也可以以不同的速度相对于彼此横向地移动，其中移动的速度与该层的相关的尺寸耦合。例如，在图6(b)中，在用户与其上显示图像信息的装置之间已经有相关移动。如所见的，最接近用户的第一层元件602已经在显示上移动了最大的量。第二层元件604在显示上移动了较小的量，从而表示其各自的距离，第三层元件606在显示上移动最小，假设这真会发生的话。事实上，在实施方案中期望将信息保持在显示上的基本中间，第三层元件可能在显示上实际上向相对方向移动，如在图6(b)中所示的，尽管在每个方法中的实质相关移动保持相同。如所见的，除了提供三维空间的感觉，转动视图的能力使元件能够被看见，这可以帮助用户定位和/或导航可能被叠加在上的元件隐藏或遮挡的感兴趣的元件。例如，对于地图视图，建筑物的每个块可能被分配到不同的层，从而使用户能够做出距离决定并且更精确地从类似三维视图确定位置信息。
在一些实施方案中，在图6(b)中的图形元件可以为也可以单独转动的三维块，以便示出本文中其它地方论述的至少侧面部分。然而，在该实例中，元件基本上“平坦”或除此之外不能够单独转动，从而三维感觉主要由在横向转化中的差异而产生。虽然单个元件不能转动可以潜在地减小相对于可转动的元件的一些用户的三维体验，但是处理容量的量可以显著减小并且一些装置的生成时间减小，这可以增强整体用户体验。
如上面相对于图4(b)所述的，可以将阴影增加至显示以增强用户体验和/或提供关于各种物体的形状或相关位置的额外的信息。在一些实施方案中，装置可以分配光源的主方向并且照明该光的方向的所生成的物体的至少一部分。在一些实施方案中，装置可以利用诸如当前位置、方向和/或一天中的时间的信息以确定太阳的相关位置，并且可以利用该相关位置作为主光源用于给在显示中所生成的内容照亮和/或加阴影。如果可用，那么装置还可以访问天气情况信息以确定是否在全部或部分阳光、乌云天气、雨等情况下生成屏幕。
在其它实施方案中，装置可以利用一个或多个光确定元件以试图确定在装置附近的光源的至少主方向，或以产生用于围绕装置照明的亮度地图。确定此类信息的方法可以在例如2011年5月13日提交的标题为“Intensity Modeling for Rendering RealisticImages”的共同待决的美国专利申请号13/107，749中找到，该申请在此通过引用并入本文。一旦确定光源的相关位置和/或其它相关照明信息，装置可以利用该信息以根据相对于照明的装置的定向的改变而给所生成的图像信息合适地均匀照明和/或加阴影。例如，图7(a)在显示图示装置700的显示屏幕702上的示例显示，其中显示包括用于迷宫的信息。图像为迷宫由上而下的视图，并且迷宫的壁710的影712根据光源714的所检测的相关位置而生成，如经至少一个光确定元件704所确定的。如上所述，装置可以利用一个或多个定向确定元件706、定向确定元件708而确定装置的定向的改变。图7(b)图示示例情形750，其中装置已经相对于光源714转动。如上所述，如果迷宫实际上在三维中生成，那么显示的壁可以调整以示出与观察方向的改变一致的侧面部分752。使用光源714的已知的相关位置和定向的改变，装置也可以确定在新的定向中的向光源的适当的方向，并且因此可以至少部分基于照明方向而产生与当前用户观察角度一致的三维元件的影子。随着显示中的改变以真实的方式调整影子的能力可以帮助增强用户体验,并且也可以帮助用户更好地理解例如三维元件的二维表示的方向和/或质感。在本文的教导和建议的指引中可以使用的各种其它阴影方法也应是明显的。
其它类型的信息也可以根据各种实施方案与取决于定向的显示一起使用。例如，在图5(b)中，急降的侧面显示可能包括对用户有用的额外信息，诸如在一个或多个位置的急降的高度、下山的最近的路径的方向、关于瀑布的名称的信息等。图8(a)和图8(b)图示电子书(e-book)800或可以使用本文所述的各种方法在电子装置上显示的类似的内容的不同的视图。在图8(a)中，用户(未示出)在相对于装置的默认的位置(或在位置的默认范围之内)，诸如基本上在显示元件的正面。因此，用户可以获得在该观察角度的电子书中的文本802的常规视图。在读电子书时，用户可能想要获得某些信息，诸如用户到书的结尾还有多远或直至下一章还有多远。因此，用户可以改变其相对于装置的观察点(诸如，通过转动装置或移动用户的头部)以观察显示上的电子书的“侧面”。如图8(b)所示的，用户可以倾斜装置以看见包括当前页与书的结尾之间的书的也的边缘804的表示的视图。此类方法可以将值提供给用户，并且也潜在地使电子书体验更像读实际的书。也可以增加额外的信息。例如，书的边缘可以不仅包括书的结尾(例如封底)的指示器808，也可以包括到某些章节的其它指示器806。例如，电子书的侧面可以包括标记下一章和/或接下来的章的位置的指示器，以及各种笔记、书签、突出显示等的位置。使用此类方法，用户可以倾斜装置以看见直至章的结尾还有多远，例如以确定是否继续阅读直至章的结尾或在不同的位置结束当前所看的章节。通过使用指示器，用户可以移动至电子书的所标识的章节，使用在图13和图14种所述的眼球跟踪。
在一些实施方案中，所生成的图像也可以被操纵(例如拉伸或除此之外变形)，以便使物体的视图从用户的观点看似如同显示屏幕是一块玻璃，用户正通过其观察，而不是其中的物体随着观察角度的增大而变成更压缩的常规的显示屏幕。将图像变形以提供一致的纵横比或视图的方法可以在例如2011年3月30日提交的并且标题为“Viewer TrackingImage Display”的共同待决的美国专利申请号13/076，322中找到，其在此通过引用并入本文。
图9图示用于提供可以根据各种实施方案使用的相关基于观察点的图像显示的流程的第一部分900的实例。应理解，除非另有陈述，否则对于本文所述的任何流程，可以有以类似或替代的顺序或并行地在各种实施方案的范围之内进行的额外的、更少的或替代的步骤。在该实例中，用户的位置跟踪在装置902上启用。在一些实施方案中，用户必须手动启用该模式，而在其它模式中装置可以在附近检测到人时自动启用模式。启用的其它模式也是可能的，诸如根据用户打开装置上的指定应用。当位置跟踪是有效的时，装置可以开始围绕装置904成像，不论在所有的方向、一些方向、方向的指定范围，还是基本上朝向所确定的用户的方向。如在本文其它地方所述的，在一些实施方案中，成像将涉及环境光图像或视频获取，而在其它实施方案中，装置可以利用红外线成像、热信号检测或任何其它此类方法。装置可以利用所获取的图像信息以试图定位用户906或附近的至少一个人的特征，其中那些特征在一些实施方案中包括用户的至少眼睛、鼻子或头部。在一些实施方案中，装置将试图定位类似人类的头部的形状和包含两个类似眼睛的特征的物体。在其它实施方案中，人脸识别或任何其它此类算法可以用于试图确定在成像元件中的至少一个的视野中的人类的头部或者用户的其它部分或特征的存在性。
一旦定位用户特征，装置就可以试图确定与那些特征908相关的方面或信息。在该实例中，所确定的方面可以用于试图确定用相对于装置910的用户的相关观察点，以及在至少一些实施方案中相对于装置的那些特征的定向，这可以用于确定诸如用户的当前观察点的信息。然后，所确定的方面可以在时间912检测，诸如通过继续获取和分析图像信息以确定用户的相关观察点和/或装置的定向。在至少一些实施方案中，定向确定元件(诸如，加速计或电子陀螺仪)可以用于协助跟踪用户的相关位置和/或装置的相关定向。观察点的改变(诸如，位置或定向的改变)可以被确定914，并且装置可以确定该改变是否要求调整所显示的图像916。例如，应用可能在调整所显示的图像内容之前要求装置转动最小化的量，诸如以顾及可能不意欲作为输入的用户抖动或其它此类移动的正常量。类似地，某些实施方案可能不利用持续的转动，但是可能根据相对于装置的用户的相关观察点的改变的某些度而改变视图。如果定向改变足以需要调整，装置可以确定对图像信息的合适的调整并且进行该合适的调整918，诸如拉伸、压缩、摇动或转动图像的至少部分。
作为一个此类调整的实例，图10图示可以根据各种实施方案使用的用于响应于观察点中的所确定的改变而修改图像的流程的第二部分1000。在该实例中，图像的方面和所显示的任何其它信息可以部分基于用户的相关观察点，尽管也可以使用本文中其它地方所述的各种其它方法。在操作中，电子装置可以确定(和随时间检测)用户的相关观察点1002。用户的主观察方向或观察角度可以至少部分基于相关观察点而确定1004。在装置上(或装置的远程端)执行的应用可以利用制图、位置或其它此类数据以从与所确定的观察角度关联的透视图来生成图像内容1006。
一旦确定用户的观察点，装置就可以试图监控或检测可由用户和/或装置的位置或定向的改变引起的观察点或相关位置的改变1008。可以分析相关观察点的改变以确定该改变是够为可行的1010，诸如该改变满足最小化的移动阈值。在一些实施方案中，小移动可能引起显示中的调整，以便顾及由于用户手持装置的抖动或微小的变化，其不意欲作为改变观察点的输入。在各种实施方案中，也必须存在移动的最小化的量，以便证明再生成所显示的图像内容。例如，移动电话和便携式媒体播放器可能不具有显著的图形处理容量的量，使得持续地试图使用三维地图或其它此类信息再生成内容可以消耗大量装置资源，从而使生成和潜在的其它功能性变缓慢。此外，对于至少某些装置，持续地进行复杂的生成可以显著地汲取电池功率。因此，对于至少一些装置，期望等待从不同的透视图再生成图像直至有最小化的移动量等。
如果没有可行的移动，那么装置可以继续监控用户的相关观察点。如果有检测到的可行移动，那么装置可以试图使用本文所述的或所建议的任何方法而确定新的相关观察点、定向、和/或观察角度1012。例如，至少部分基于新的相关观察点，装置可以从与该观察点一致的或至少与该观察点关联的透视图生成图像内容1014。图像信息可以被操纵(例如转动、拉伸、压缩、转化等)以提供如本文其它地方所述的一致的类似三维视图。额外的信息也可以被增加，诸如来自附近光源的影子或提供关于显示的一部分的信息的元件。在至少一些实施方案中，应用可以试图在与三维显示一致的许多不同的观察点的任何的生成和加阴影中提供一致性，即使当用于显示图像信息的元件本质上是二维的。
图11图示可以根据各种实施方案使用的示例计算装置1100的正面和背面视图。虽然示出了便携式计算装置(例如智能电话、电子读书器或平板计算机)，应理解的是能够接收和处理输入的任何装置可以根据本文所述的各种实施方案而使用。该装置可以包括，例如，尤其是台式计算机、笔记本拿计算机、电子读书器、个人数字助理、移动电话、视频游戏机或控制器、电视机顶盒和便携式媒体播放器。
在该实例中，计算装置1100具有显示屏幕1102，其在正常操作下将显示信息给面对显示屏幕(例如与显示屏幕在计算装置相同的一侧)的用户(或观察者)。在该实例中的计算装置可以包括一个或多个图像获取元件，在该实例中包括在装置的正面的两个图像获取元件1104和在装置的背面的两个图像获取元件1106，尽管应理解的是可以使用额外的或更少的图像获取元件，并且也可以或替代地放置在装置的侧边、角或其它位置。图像获取元件也可以为类似的活不同的类型。每个图像获取元件可为例如摄像机、电荷耦合装置(CCD)、动作检测传感器或红外线传感器，或者可以利用其它图像获取技术。计算装置也可以包括至少一个麦克风或能够获取音频数据的其它音频获取元件1108，以及一个或多个定向确定元件1110，诸如加速计、陀螺仪、数字式罗盘或惯性传感器，其可以协助移动和/或定向决定。
图12图示计算装置1200的一组基本部件，诸如相对于图11所述的装置1100。在该实例中，装置包括用于执行可以存储在存储器装置或元件1204中的指令的至少一个处理器1202。如对于本领域的一个技术人员将是明显的，装置可以包括许多类型的存储器、数据存储或计算机可读的媒体(诸如，用于由处理器1202执行的的程序指令的第一数据存储)、可以用于图像或数据的相同的或单独的存储、可以用于与其它装置分享信息的移动存储器以及可以用于与其它装置分享的任何数量的通信方法。装置通常将包括至少一个类型的显示元件1206，诸如触控屏幕、电子墨水、有机发光二极管(OLED)或液晶显示器(LCD)，尽管诸如便携式媒体播放器的装置可能经诸如通过音频扬声器的其它手段传达信息。如所述的，在许多实施方案中的装置将包括至少两个图像获取元件1208，诸如定位以确定用户的相关位置的至少一个图像获取元件以及可操作以将在装置附近的用户、人或其它可观察的物体成像的至少一个图像获取元件。图像获取元件可以包括任何合适的技术(诸如，具有足够的分辨率、焦距范围和可视区域的CCD图像获取元件)以当用户操作装置时获取用户的图像。使用图像获取元件和计算装置获取图像或视频的方法在本领域众所周知，并且将不在本文中详细论述。应理解的是图像获取可以使用单个图像、多个图像、周期性的图像、持续图像获取、图像流等进行。如所述的，IR成像也可以用于定位和跟踪用户的特征。此类流程的实例可以在例如2010年5月24日提交的并且标题为“Determing Relative Motion as Input”的共同待决的美国专利申请号12/786,297中找到，该申请在此通过引用并入本文。
装置可以包括至少一个定向确定元件1210，诸如加速计、数字罗盘、电子陀螺仪或惯性传感器，其可以协助确定装置的定向的移动或其它改变。装置可以包括至少一个额外的输入装置1212，其能够接收来自用户的常规输入。该常规输入可以包括，例如，按钮、触控板、触控屏幕、方向盘、操纵杆、键盘、鼠标、跟踪球、小键盘或任何其它此类装置或元件，其中用户可以输入命令至装置。在一些实施方案中，这些装置甚至可以通过无线红外线或蓝牙或者其它链接而链路。然而，在一些实施方案中，此类装置可能不包括任何按钮并且可能仅通过视觉和听觉命令的组合而控制，使得用户可以控制装置而不需要与装置接触。
各种方法可以用于定位用户的面部的一个或多个期望的特征以确定对于确定相关定向有用的方面。例如，可以分析图像以确定用户的头部或面部的大概位置和尺寸。图13(a)图示实例，其中使用用于做出此类决定的多个图像分析算法中的一个来确定用户的头部或面部的大概位置和区域1300并且放置虚拟“盒”1302在面部周围作为位置的指示。使用一个算法，将虚拟“盒”放置在用户的面部周围，并且持续更新和监控该盒的位置和/或尺寸，以便监控相关用户位置。类似算法也可以用于确定用户的眼睛的每只(或在一些情况下，眼睛一前一后)的合适的位置和区域1304。通过也确定用户的眼睛的位置，可以获得优势如所确定的用户的头部的图像更有可能实际上包括用户的头部，以及可以确定用户正面向装置。此外，用户的眼睛的相关移动比起用户的头部的整体移动(当进行诸如点头或前后摇动头部时)更容易检测。监控盒子尺寸也有助于提供距离信息以及方向信息，这在基于相关用户位置而产生用于修改图像信息的三维模型时可以是有用的。
各种其它算法可以用于确定用户的面部上的特征的位置。例如，图13(b)图示实例，其中用户面部上的各种特征被识别并且在图像中分配了点位置1306。系统因此可以检测用户特征的各种方面并且可以确定在定向中的更微小的改变。在某些情形下，此类方法提供在图13(a)的一般方法之上的优势，因为可以确定各种其它特征，以防止用户的眼睛由于眼睛、头发等而无法看见。
一旦识别用户的面部特征的位置，用户与装置之间的相关动作就可以被检测并且用于输入。例如，图13(c)图示实例，其中用户的头部1300正相对于成像元件的可观察的区域上下移动。如所述的，这可能由用户移动他的或她的头部或者用户上下移动装置等引起。图13(d)图示类似的实例，其中用户正相对于装置左右移动，通过用户、装置或两者的移动。每个移动可以分别作为纵向或横向的移动被跟踪，并且每个可以作为修改所显示的图像的输入而不同的看待。应理解的是此类流程也可以检测对角线或其它此类移动。图13(e)进一步图示实例，其中用户倾斜装置和/或用户的头部，并且眼睛位置的相关改变检测为转动。在一些系统中，可以监控对应于眼睛的相关位置的“线”，并且位移与该线成的角度可以与角度阈值比较以确定何时转动应释作输入。图13(f)图示使用诸如相对于图13(b)所述的方法以确定在用户的面部上的各种特征的位置的另一优势。在该放大的实例中，可以看见第二用户的头部1308的特征具有不同的相关位置和分离。因此，装置也不仅可以确定用户的特征的位置，而且可以在不同的用户之间做出区分。
图14(a)和图14(b)图示示例方法，其可以根据各种实施方案使用用于确定用户与装置之间的相关距离的变化。如在图13(a)中，其中使用用于做出此类决定的多个图像分析算法中的一个来确定用户的头部或面部的大概位置和区域1400并且放置虚拟“盒”1402在面部周围的初始距离处作为距离的指示。如果用户是已知的，那么用户的头部的尺寸可能被存储，使得至用户的实际距离可以部分基于盒1402的尺寸而计算。如果用户不是已知的，那么距离可以使用诸如立体成像的其它因素而估计或确定。在一些实施方案中，当实际距离不能确定时，决定将相对于初始盒子尺寸是相关的。
随着用户与装置之间的距离改变，虚拟盒的尺寸也将改变。例如，在图14(b)中，用户与装置之间的距离已经增大，使得在所获取的图像信息中的用户的头部1420看似较小。因此，用于用户的头部的所调整的尺寸的虚拟盒1422的尺寸比起用于初始距离的原始盒1402较小。通过监控盒子的尺寸或者用户的头部和/或其它此类特征(例如盒1424)的另一测量的调整，装置可以确定大概距离和/或至用户的距离的改变。如所述的，该信息可以用于调整所显示的图像信息的方面，诸如变焦的级别或细节量。
在一些实施方案中，计算装置可以对应于在所获取的图像中的用户的眼睛或另一此类特征而确定和跟踪感兴趣的区或区域，使得计算装置的算法仅不得不分析对应于该区域的图像数据，这可以显著减少用于图像，尤其是高分辨率、全色彩图像所需的处理量。
许多其它方法也可以在各种实施方案的范围之内使用。例如，热成像或另一此类方法可以用于试图确定和跟踪人类用户的至少一些方面的位置。在许多情况中，期望用于大众营销的成像系统足够小和便宜，使得简单的或常规的成像方法和部件可以是优选的。
如所提及的，在至少一些实施方案中期望利用至少两个成像元件(即，立体成像)仪确定用户的位置，以及获取将显示的图像信息。在几乎所有情形中，图像元件的位置将从用户的眼睛偏移，使得可能需要做出一些图像转化和观察角度调整以确保所显示的图像的一致性。尤其对于诸如从用户的观察点的图像稳定的应用，补偿由摄像机从用户的眼睛偏移引起的观察角度的差异可以是重要的。
在至少一个实施方案中，获取图像信息的成像元件为相对高分辨率的摄像机，其能够在广角范围获取图像信息。用户的眼睛至成像元件的偏移可以产生平行视差效果，其在许多情形中将使窗效果小于理想状态。为了补偿偏移使得从摄像机的世界的视图匹配用户的世界的视图，周围区域的三维模型可以产生使装置能够必要地转动试图以匹配用户的观察点。没有立体摄像机，装置可以试图通过转化图像或做出其它操纵而将平行视差的效果最小化，但是将有一些由于偏移的些微差异。
如所述的，不同的方法可以根据所述的实施方案在各种环境中实施。例如，图15图示用于实施根据各种实施方案的方面的环境1500的实例。如将了解的，虽然为了解释的目的使用基于网络的环境，但是可以视情况使用不同的环境以实施各种实施方案。该系统包括电子客户端装置1502，该电子客户端装置可以包括可操作以通过合适的网络1504发送和接收请求、消息或信息并且将信息传回装置的用户的任何合适的装置。此类客户端装置的实例包括个人计算机、蜂窝电话、手持式消息接发装置、膝上型计算机、机顶盒、个人数码助理、电子读书器等。网络可以包括任何合适的网络，包括内联网、因特网、蜂窝网、局域网或任何其它此类网络或其组合。用于此类系统的部件可以至少部分取决于所选的网络和/或环境的类型。用于经此类网络通信的协议和部件众所周知并且将不在本文中详细论述。通过网络的通信可以经有线或无线连接及其组合来启用。在该实例中，网络包括因特网，如环境包括用于接收请求和响应于请求而提供内容的网络服务器1506，尽管对于其它网络可以使用提供类似目的的替代装置，对于本领域的普通技术人员中的一个将是明显的。
所示的环境包括至少一个应用服务器1508和数据存储器1510。应理解的是可以存在可被链接或以别的方式被配置、可以交互以进行任务（诸如，从合适的数据存储器获得数据）的若干应用服务器、层或其它元件、流程或部件。如本文中所使用的，术语“数据存储器”是指能够存储、访问和检索数据的任何装置或装置组合，其可以包括任何标准、分布式或群集环境中的任何组合和数量的数据服务器、数据库、数据存储装置和数据存储介质。应用服务器1508可以包括根据需要与数据存储器1510整合以执行用于客户端装置的一个或多个应用的方面并且处理应用的大多数数据访问和业务逻辑的任何合适的硬件和软件。应用服务器提供与数据存储器合作的访问控制服务，并且能够产生将传送至用户的内容，诸如文本、图形、音频和/或视频，这在该实施例中可以HTML、XML或另一合适的结构化语言的形式由网络服务器1506提供给用户。所有请求和响应的处理以及在客户端装置1502与应用服务器1508之间的内容的递送可以由网络服务器1506来处理。应理解的是因为本文所讨论的结构化代码可以在本文其它地方论述的任何合适的装置或主机机器上执行，所以网络和应用服务器并不是必需的并且仅仅是示例部件。
数据存储器1510可以包括用于存储与特定方面相关的数据的若干单独的数据表、数据库或其它数据存储机构和介质。例如，所示的数据存储器包括用于存储内容(例如生产数据)1512和用户信息1516的机构，其可以用于为生产端提供内容。数据存储器也被示出包括用于存储记录或绘画数据1514的机构。应理解的是可以存在需要存储在数据存储器中的许多其它方面（诸如，页面图像信息和访问权信息），这可以视情况存储在任何上文所列机构中或数据存储器1510中的额外机构中。数据存储器1510可通过与其关联的逻辑操作以从应用服务器1508接收指令，并且响应于指令而获得、更新或以别的方式处理数据。在一个实例中，用户可能提交某种类型的物品的搜索请求。在该情况下，数据存储器可能访问用户信息以验证用户的身份，并且可以访问目录详细信息以获得关于该类型的物品的信息。然后，信息可以返回给用户，诸如,在网页上列出结果而使用户能够经用户装置1502上的浏览器查看。可以在浏览器的专用页面或窗口中查看感兴趣的特定物品的信息。
每个服务器通常将包括为该服务器的一般管理和操作提供可执行程序指令的操作系统，并且通常将包括存储当由服务器的处理器执行时允许服务器进行其预期功能的指令的计算机可读介质。用于服务器的操作系统和一般功能性的合适的实施方式是已知的或可在市场上购得的，并且易于由本领域的普通技术人员尤其在本发明的指引下来实施。
在一个实施方案中的环境是利用使用一个或多个计算机网络或直接连接经通信链路互连的若干计算机系统和部件的分布式计算环境。然而，本领域的那些普通技术人员将了解在具有比起图15中所示的部件的数量更少或更多的系统中，这种系统可以运行地同样好。因此，在图15中的系统1500的描绘应被视作其本质是说明性的，而不是用于限制本发明的范围。
可以在广泛多样的操作环境中进一步实施各种实施方案，这在一些情况下可以包括可以用于操作许多应用的任何一个的一个或多个用户计算机或计算装置。用户或客户端装置可以包括许多通用个人计算机的任何一个，诸如运行标准操作系统的台式计算机或膝上型计算机以及运行移动软件并且能够支持许多联网和消息接发协议的蜂窝、无线和手持装置。此类系统也可以包括运行用于诸如开发和数据库管理的目的的各种可在市场上购得的操作系统和其它已知的应用中的任何一个的许多工作站。这些装置也可以包括其它电子装置，诸如能够经网络通信的虚拟终端、瘦客户端、游戏系统和其它装置。
大多数实施方案利用为本领域的技术人员所熟悉的、用于使用各种可在市场上购得的协议（诸如，TCP/IP、OSI、FTP、UPnP、NFS、CIFS和AppleTalk）的任何一个支持通信的至少一个网络。例如，网络可以为局域网、广域网、虚拟专用网络、因特网、内联网、外联网、公共交换式电话网络、红外线网络、无线网络及其任何组合。
在利用网络服务器的实施方案中，网络服务器可以运行各种服务器或中间层次应用中的任何一个，其包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器以及商业应用服务器。服务器也能够响应于来自用户装置的请求而来执行程序或脚本，诸如通过执行可被实施为用任何编程语言(诸如，Java®、C、C#或C++)或任何脚本语言(诸如，Perl、Python或TCL以及其组合)编写的一个或多个脚本或程序的一个或多个网络应用。服务器也可以包括数据库服务器，其包括（但不限于）在市场上购得的Oracle®、Microsoft®、Sybase®以及IBM®数据库服务器。
环境可以包括如上文所讨论的各种数据存储器和其它存储器以及存储介质。这些可以常驻于各种位置中，诸如在对一个或多个计算机而言是本地的（和/或常驻于一个或多个计算机中）或通过网络远离任何或所有计算机的存储介质上。在一组特定的实施方案中，信息可常驻于为那些本领域的技术人员所熟悉的存储区域网络(SAN)中。类似地，用于进行计算机、服务器或其它网络装置的功能的任何必要的文件可适当地存储在本地和/或远程存储。在系统包括计算机化装置的情况下，每个此类装置可以包括可经总线电耦合的硬件元件，该元件包括，例如，至少一个中央处理单元（CPU）、至少一个输入装置（例如鼠标、键盘、控制器、触敏显示元件或小键盘）以及至少一个输出装置（例如显示装置、打印机或扬声器）。此类系统也可以包括一个或多个存储装置，诸如磁盘驱动器、光存储装置和固态存储装置（诸如，随机访问存储器(RAM)或只读存储器(ROM)）以及可移动介质装置、存储卡、闪存卡等。
此类装置也可以包括上文所述的计算机可读存储介质阅读器、通信装置（例如调制解调器、网卡（无线或有线）、红外线通信装置）和工作存储器。计算机可读存储介质阅读器可以与计算机可读存储介质连接或被配置成接收计算机可读存储介质，其表示用于暂时和/或更永久地包含、存储、传输和检索计算机可读信息的远程、本地、固定的和/或可移动的存储装置以及存储介质。系统和各种装置通常也将包括位于至少一个工作存储装置内的许多软件应用、模块、服务或其它元素，其包括操作系统和应用程序（诸如，客户端应用或网络浏览器）。应了解的是替代的实施方案可具有上文所述的实施方案的许多变化。例如，也可使用自定义的硬件和/或可在硬件、软件（包括可移植软件，诸如小应用程序）或两者中实施的特定元件。此外，可采用至其它计算装置（诸如，网络输入/输出装置）的连接。
用于包含代码或部分代码的存储介质和计算机可读介质可以包括本领域中已知的或使用的任何合适的介质，其包括存储介质和通信介质，诸如但不限于以任何方法或技术实施的易失性的和非易失性的、可移动的和不可移动的介质，所述介质用于存储和/或传输信息(诸如，计算机可读指令、数据结构、程序模块或其它数据)、包括RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多用光盘（DVD）或其它光存储器、磁带盒、磁带、磁盘存储器或其它磁存储装置或可以用于存储期望的信息并且可以由系统装置访问的其它任何介质。基于本文提供的公开内容和教导，本领域的普通技术人员将了解实施各种实施方案的其它方式和/或方法。
因此，说明书和附图应以说明性而非限制性的意义来考虑。然而，明显的是在不脱离如权利要求书中阐述的本发明的较宽泛的精神和范围的情况下，可以对其做出各种修改和改变。
条款
1. 一种提供取决于观察点的图像显示的方法，其包括：
使用所述电子装置的至少一个成像元件获取电子装置用户的至少一个图像；
至少部分基于所述至少一个第一图像来确定相对于所述电子装置的所述用户的第一相关观察点；
获得用于产生多个物体的图形表示的信息；
生成用于在所述电子装置的显示元件上显示的所述多个物体的第一图形表示，生成所述第一图形表示以对应于所述用户的所述第一相关观察点，使得所述多个物体的第一物体以第一量来遮挡所述多个物体的第二物体；
确定相对于所述电子装置的所述用户的第二相关观察点，其中所述第二相关观察点不同于所述第一相关观察点；以及
生成用于在所述显示元件上显示的所述多个物体的第二图形表示，生成所述第二图形表示以对应于所述用户的所述第二相关观察点，使得所述多个物体的所述第一物体以第二量来遮挡所述多个物体的所述第二物体，其中所述第一量不同于所述第二量。
2. 根据条款1所述的方法，其中所述第一量和所述第二量中的一个为零。
3. 根据条款1所述的方法，其中使用至少两个成像元件来获取所述用户的所述至少一个第一图像以确定相对于所述电子装置的所述用户的三维相关位置。
4. 根据条款1所述的方法，其中确定所述第二相关观察点包括下列步骤中的至少一个：
获取所述用户的至少一个第二图像，以及
使用所述电子装置的至少一个定向确定元件来检测定向的改变。
5. 根据条款1所述的方法，其中生成用于显示的所述多个物体的所述第二图形表示包括利用三维模型以确定遮挡的所述第一量和所述第二量。
6. 根据条款1所述的方法，其中生成用于显示的所述多个物体的所述第二图形表示包括基于在透视图中的所述改变来位移至少一个物体的所显示的位置，所述位移提供了先前被在所述第一图像中的所述至少一个物体遮挡的图像内容的显示。
7. 根据条款1所述的方法，其中生成用于显示的所述多个物体的所述第二图形表示包括至少部分基于相关观察点的改变、定向的改变和至少一个光源的相关位置的改变中的至少一个而更新所述多个物体的所述图形表示的生成和加阴影中的至少一个。
8. 一种提供多个物体的图像的图形表示以在电子装置上显示的方法，其包括：
至少部分基于用户的图像数据而确定相对于所述电子装置的用户的第一相关观察点；
生成所述图像的第一图形表示以在所述电子装置的显示元件上显示，所述第一图形表示包括至少根据所述第一相关观察点生成的第一物体和第二物体，所述第一物体至少部分遮挡所述第二物体；
检测从所述第一相关观察点至所述第二相关观察点的改变；以及
至少部分基于所述第二相关观察点而生成所述图像的第二图形表示以在所述显示元件上显示，其中所述图像的所述第二图形表示根据从所述第一相关观察点至所述第二相关观察点的所检测的改变而改变。
9. 根据条款8所述的方法，其中所述用户的所述图像数据至少部分从所述电子装置的成像元件获得。
10. 根据条款8所述的方法，其中从所述第一相关观察点至所述第二相关观察点的所述检测的改变至少部分基于所述用户的移动和所述电子装置的移动中的至少一个。
11. 根据条款8所述的方法，其中至少部分基于使用所述电子装置的至少一个图像获取元件而获得的数据来确定所述第一相关观察点和所述第二相关观察点中的至少一个。
12. 根据条款8所述的方法，其中所述第一图形表示和所述第二图形表示中的至少一个包括地图数据、地形数据和三维位置数据中的至少一个。
13. 根据条款8所述的方法，其中所述第二图形表示包括在所述第一图形表示中被所述第二物体遮挡的所述第一物体的一部分。
14. 根据条款8所述的方法，其中确定在所述用户与所述电子装置之间的所述第一观察点包括使用至少两个成像元件来确定相对于所述电子装置的所述用户的三维相关位置。
15. 根据条款8所述的方法，其中确定所述第一相关观察点和从所述第一相关观察点至所述第二相关观察点的所述检测的改变中的至少一个包括用热成像、红外线辐射检测和运动检测中的至少一个来获取所述用户的图像数据。
16. 根据条款8所述的方法，其中生成所述图像的所述第一图形表示包括至少部分基于至少一个光源的所确定的相关位置而照明和加阴影中的至少一个。
17. 根据条款16所述的方法，其中所述光源为在所述电子装置附近的虚拟光源或物理光源中的至少一个。
18. 根据条款8所述的方法，其中在所述第二图形表示中的所述第二物体的位置中的改变至少部分基于所述第二物体的位置、变焦的当前级别和相关用户距离中的至少一个。
19. 根据条款8所述的方法，其还包括：
生成所述图像的所述生成的第二图形表示的至少一部分上的至少一个动画。
20. 根据条款8所述的方法，其中在所述第一图形表示或所述第二图形表示中的至少一个物体具有在三维中的关联的数据，所述至少一个物体可转动以至少部分对应于从所述第一相关观察点至所述第二相关观察点的所述检测的改变。
21. 根据条款8所述的方法，其中所述第二图形表示包含提供额外的信息的所述第二物体的转动的表示。
22. 一种计算装置，其包括：
处理器；
显示元件；
至少一个图像获取元件；以及
存储器装置，其包括由所述处理器执行的可操作的指令以进行一组行动，使所述计算装置能够：
基于从所述至少一个图像获取元件获得的用户的图像来确定所述用户和所述计算装置中的至少一个的第一相关观察点；
生成在所述显示元件上显示的所述图像的第一图形表示，从与所述第一相关观察点关联的第一透视图来生成所述第一图形表示；以及
响应于检测从所述第一相关观察点至第二相关观察点的改变而生成在所述显示元件上显示的所述图像的第二图形表示，从与所述第二相关观察点关联的第二透视图来生成所述第二图形表示，
其中从其获取所述图形表示的所述透视图根据在所述第一相关观察点与所述第二相关观察点之间的所述检测的改变而改变。
23. 根据条款22所述的计算装置，其中在所述第一相关观察点与所述第二相关观察点之间的所述检测的改变由所述用户的移动和所述计算装置的移动中的至少一个来确定。
24. 根据条款22所述的计算装置，其还包括：
至少一个定向确定元件，其可操作以确定所述计算装置的定向和位置改变中的至少一个。
25. 根据条款22所述的计算装置，其还包括：
至少一个光传感元件，其用于所显示的所述图形表示的照明和加阴影中的至少一个。

Claims (15)

1.一种提供多个物体的图像的图形表示以在电子装置上显示的方法，其包括：
至少部分基于用户的图像数据而确定相对于所述电子装置的用户的第一相关观察点；
生成所述图像的第一图形表示以在所述电子装置的显示元件上显示，所述第一图形表示包括至少根据所述第一相关观察点生成的第一物体和第二物体，所述第一物体以第一遮挡量遮挡所述第二物体；
检测从所述第一相关观察点至第二相关观察点的改变；以及
至少部分基于所述第二相关观察点而生成所述图像的第二图形表示以在所述显示元件上显示，其中所述图像的所述第二图形表示根据从所述第一相关观察点至所述第二相关观察点的所检测的改变而改变，并且
生成所述述图像的第二图形表示包括：
生成第一物体以便以第二遮挡量遮挡第二物体，所述第二遮挡量不同于所述第一遮挡量，
至少部分基于所述第二遮挡量和所述电子装置相对于外部光源的方位，确定要投在所述第二物体上的阴影，以及
在所述第二物体上生成阴影。
2.根据权利要求1所述的方法，其中所述用户的所述图像数据至少部分从所述电子装置的成像元件获得。
3.根据权利要求1所述的方法，其中从所述第一相关观察点至所述第二相关观察点的所述检测的改变至少部分基于所述用户的移动和所述电子装置的移动中的至少一个。
4.根据权利要求1所述的方法，其中至少部分基于使用所述电子装置的至少一个图像获取元件而获得的数据来确定所述第一相关观察点和所述第二相关观察点中的至少一个。
5.根据权利要求1所述的方法，其中所述第二图形表示包括在所述第一图形表示中被所述第二物体遮挡的所述第一物体的一部分。
6.根据权利要求1所述的方法，其中确定在所述用户与所述电子装置之间的所述第一相关观察点包括使用至少两个成像元件以确定相对于所述电子装置的所述用户的三维相关位置。
7.根据权利要求1所述的方法，其中确定所述第一相关观察点和从所述第一相关观察点至所述第二相关观察点的所述检测的改变中的至少一个包括用热成像、红外线辐射检测和运动检测中的至少一个来获取所述用户的图像数据。
8.根据权利要求1所述的方法，其中生成所述图像的所述第一图形表示包括至少部分基于至少一个光源的所确定的相关位置而照明和加阴影中的至少一个。
9.根据权利要求1所述的方法，其中在所述第二图形表示中的所述第二物体的位置的改变至少部分基于变焦的当前级别和相关用户距离中的至少一个。
10.根据权利要求1所述的方法，其中在所述第一图形表示或所述第二图形表示中的至少一个物体具有在三维中的关联的数据，所述至少一个物体可转动以至少部分对应于从所述第一相关观察点至所述第二相关观察点的所述检测的改变。
11.根据权利要求1所述的方法，其中所述第二图形表示包含提供额外的信息的所述第二物体的转动的表示。
12.一种计算装置，其包括：
处理器；
显示元件；
至少一个图像获取元件；以及
存储器装置，其包括由所述处理器执行的可操作的指令以进行一组行动，使所述计算装置能够：
至少部分基于用户的图像数据而确定相对于所述计算装置的用户的第一相关观察点；
生成所述图像的第一图形表示以在所述计算装置的显示元件上显示，所述第一图形表示包括至少根据所述第一相关观察点生成的第一物体和第二物体，所述第一物体以第一遮挡量遮挡所述第二物体；
检测从所述第一相关观察点至第二相关观察点的改变；以及
至少部分基于所述第二相关观察点而生成所述图像的第二图形表示以在所述显示元件上显示，其中所述图像的所述第二图形表示根据从所述第一相关观察点至所述第二相关观察点的所检测的改变而改变，并且
生成所述述图像的第二图形表示包括：
生成第一物体以便以第二遮挡量遮挡第二物体，所述第二遮挡量不同于所述第一遮挡量，
至少部分基于所述第二遮挡量和所述计算装置相对于外部光源的方位，确定要投在所述第二物体上的阴影，并且
在所述第二物体上生成阴影。
13.根据权利要求12所述的计算装置，其中在所述第一相关观察点与所述第二相关观察点之间的所述检测的改变由所述用户的移动和所述计算装置的移动中的至少一个来确定。
14.根据权利要求12所述的计算装置，其还包括：
至少一个定向确定元件，其可操作以确定所述计算装置的定向和位置改变中的至少一个。
15.根据权利要求12所述的计算装置，其还包括：
至少一个光确定元件，其用于根据外部光源实现所显示的所述图形表示的照明和加阴影中的至少一个。
CN201280044377.6A 2011-07-12 2012-07-12 模拟三维特征 Active CN103797443B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161507110P 2011-07-12 2011-07-12
US61/507,110 2011-07-12
US13/209,243 US9041734B2 (en) 2011-07-12 2011-08-12 Simulating three-dimensional features
US13/209,243 2011-08-12
PCT/US2012/046518 WO2013010011A1 (en) 2011-07-12 2012-07-12 Simulating three-dimensional features

Publications (2)

Publication Number Publication Date
CN103797443A CN103797443A (zh) 2014-05-14
CN103797443B true CN103797443B (zh) 2018-07-06

Family

ID=47506544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280044377.6A Active CN103797443B (zh) 2011-07-12 2012-07-12 模拟三维特征

Country Status (5)

Country Link
US (1) US9041734B2 (zh)
EP (1) EP2732436B1 (zh)
JP (1) JP2014525089A (zh)
CN (1) CN103797443B (zh)
WO (1) WO2013010011A1 (zh)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
US8643703B1 (en) 2011-03-30 2014-02-04 Amazon Technologies, Inc. Viewer tracking image display
JP5724544B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5922349B2 (ja) * 2011-07-27 2016-05-24 京セラ株式会社 表示機器、制御システムおよび制御プログラム
US9129400B1 (en) * 2011-09-23 2015-09-08 Amazon Technologies, Inc. Movement prediction for image capture
KR101810170B1 (ko) * 2011-10-10 2017-12-20 삼성전자 주식회사 사용자 위치 기반 이미지 표시 방법 및 장치
US20130093667A1 (en) * 2011-10-12 2013-04-18 Research In Motion Limited Methods and devices for managing views displayed on an electronic device
US9852135B1 (en) 2011-11-29 2017-12-26 Amazon Technologies, Inc. Context-aware caching
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9183807B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US9229231B2 (en) 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
KR20130068700A (ko) * 2011-12-16 2013-06-26 삼성전자주식회사 전자서적을 표시하는 방법 및 장치
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
WO2013108314A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 ３次元映像処理装置および方法
US8884928B1 (en) * 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
JP2013162487A (ja) * 2012-02-08 2013-08-19 Canon Inc 画像表示装置及び撮像装置
KR101977638B1 (ko) * 2012-02-29 2019-05-14 삼성전자주식회사 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
US9785201B2 (en) * 2012-03-01 2017-10-10 Microsoft Technology Licensing, Llc Controlling images at mobile devices using sensors
KR101945822B1 (ko) * 2012-03-02 2019-02-11 삼성전자 주식회사 단말기에서 페이지 표시 방법 및 장치
US8971928B2 (en) * 2012-04-10 2015-03-03 Here Global B.V. Method and system for changing geographic information displayed on a mobile device
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US11073959B2 (en) * 2012-06-08 2021-07-27 Apple Inc. Simulating physical materials and light interaction in a user interface of a resource-constrained device
US8922557B2 (en) 2012-06-29 2014-12-30 Embarcadero Technologies, Inc. Creating a three dimensional user interface
KR101916663B1 (ko) * 2012-12-18 2018-11-08 삼성전자주식회사 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치
EP2752730B1 (en) * 2013-01-08 2019-04-03 Volvo Car Corporation Vehicle display arrangement and vehicle comprising a vehicle display arrangement
US9773346B1 (en) * 2013-03-12 2017-09-26 Amazon Technologies, Inc. Displaying three-dimensional virtual content
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
US9110541B1 (en) * 2013-03-14 2015-08-18 Amazon Technologies, Inc. Interface selection approaches for multi-dimensional input
US9478065B2 (en) * 2013-03-14 2016-10-25 Robert Bosch Gmbh System and method for remote generation of indirect illumination sources in three-dimensional graphics
US8922587B2 (en) * 2013-03-14 2014-12-30 The United States Of America As Represented By The Secretary Of The Army Crew shared video display system and method
US9772764B2 (en) 2013-06-06 2017-09-26 Microsoft Technology Licensing, Llc Accommodating sensors and touch in a unified experience
DE202013007353U1 (de) * 2013-08-14 2014-11-18 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Mobile Einheit zur Anzeige von 3D-Bilddaten
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US10055013B2 (en) 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9591295B2 (en) 2013-09-24 2017-03-07 Amazon Technologies, Inc. Approaches for simulating three-dimensional views
EP2866182A1 (en) * 2013-10-25 2015-04-29 Nokia Technologies OY Providing contextual information
US9865033B1 (en) 2014-01-17 2018-01-09 Amazon Technologies, Inc. Motion-based image views
WO2015112857A1 (en) * 2014-01-24 2015-07-30 Amazon Technologies, Inc. Create and view lenticular photos on table and phone
US20150235408A1 (en) * 2014-02-14 2015-08-20 Apple Inc. Parallax Depth Rendering
US10282390B2 (en) * 2014-02-24 2019-05-07 Sony Corporation Method and device for reproducing a content item
US9652031B1 (en) * 2014-06-17 2017-05-16 Amazon Technologies, Inc. Trust shifting for user position detection
US9857869B1 (en) * 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
EP3189400A4 (en) * 2014-09-05 2018-07-04 Ballcraft, LLC Motion detection for portable devices
US9733790B2 (en) 2014-10-30 2017-08-15 Disney Enterprises, Inc. Haptic interface for population of a three-dimensional virtual environment
US10146303B2 (en) 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
CN104575357A (zh) * 2015-01-21 2015-04-29 昆山龙腾光电有限公司 一种稳定手持设备显示画面的方法、系统及手持装置
US9984494B2 (en) * 2015-01-26 2018-05-29 Uber Technologies, Inc. Map-like summary visualization of street-level distance data and panorama data
US10289820B2 (en) * 2015-02-24 2019-05-14 Motorola Mobility Llc Multiuse 3D IR for electronic device
KR20160106985A (ko) * 2015-03-03 2016-09-13 삼성전자주식회사 이미지 표시 방법 및 전자 장치
CN105988578B (zh) 2015-03-04 2019-06-21 华为技术有限公司 一种交互式视频显示的方法、设备及系统
US9813621B2 (en) 2015-05-26 2017-11-07 Google Llc Omnistereo capture for mobile devices
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10242474B2 (en) * 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
CN108140256B (zh) * 2015-09-30 2021-08-10 苹果公司 基于显示器的取向信息显示对象的3d表示的方法、设备和程序
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
WO2018071019A1 (en) * 2016-10-13 2018-04-19 Ford Motor Company Dual-mode augmented reality interfaces for mobile devices
CN106683152B (zh) * 2016-11-16 2019-09-20 腾讯科技（深圳）有限公司 三维视觉效果模拟方法及装置
KR20180072983A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 디스플레이 장치 및 방법
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
DE102017114450B4 (de) * 2017-06-29 2020-10-08 Grammer Aktiengesellschaft Vorrichtung und Verfahren zum Abbilden von Bereichen
EP3502837B1 (en) * 2017-12-21 2021-08-11 Nokia Technologies Oy Apparatus, method and computer program for controlling scrolling of content
US10430016B2 (en) * 2017-12-22 2019-10-01 Snap Inc. Augmented reality user interface control
EP3540697A1 (en) * 2018-03-13 2019-09-18 Thomson Licensing Method and apparatus for processing a 3d scene
US10909747B2 (en) * 2018-03-28 2021-02-02 Facebook Technologies, Llc Systems and methods for providing immersive graphical interfaces
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US10929982B2 (en) * 2019-01-25 2021-02-23 Google Llc Face pose correction based on depth information
US11087489B2 (en) * 2019-06-03 2021-08-10 Disney Enterprises, Inc. Systems and methods to facilitate interaction by one or more participants with content presented across multiple distinct physical locations
CN112529784A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 图像畸变校正方法及装置
TWI766316B (zh) * 2020-07-22 2022-06-01 財團法人工業技術研究院 可透光顯示系統及其圖像輸出方法與處理裝置
US11315291B1 (en) 2021-01-29 2022-04-26 International Business Machines Corporation Shine visualization
WO2024015051A1 (en) * 2022-07-13 2024-01-18 Google Llc Immmersive digital map navigation using one hand

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956566B2 (en) * 2002-05-23 2005-10-18 Hewlett-Packard Development Company, L.P. Streaming of images with depth for three-dimensional graphics
CN1727839A (zh) * 2004-07-28 2006-02-01 发那科株式会社 机器人系统中再校准三维视觉传感器的方法和设备
CN101663692A (zh) * 2007-03-01 2010-03-03 弗罗斯特普斯私人有限公司 创建虚拟三维图像以使其在平面基板上再现的方法

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5850211A (en) 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
JP3749369B2 (ja) 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
US6392667B1 (en) * 1997-06-09 2002-05-21 Aprisma Management Technologies, Inc. Method and apparatus for representing objects as visually discernable entities based on spatial definition and perspective
US6750848B1 (en) 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
JP3795647B2 (ja) 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6272231B1 (en) 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6766036B1 (en) 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US8686922B2 (en) 1999-12-15 2014-04-01 American Vehicular Sciences Llc Eye-location dependent vehicular heads-up display system
JP3561463B2 (ja) 2000-08-11 2004-09-02 コナミ株式会社 ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置
WO2002015560A2 (en) 2000-08-12 2002-02-21 Georgia Tech Research Corporation A system and method for capturing an image
US7688306B2 (en) * 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
JP2002164990A (ja) 2000-11-28 2002-06-07 Kyocera Corp 携帯通信端末装置
DE10122917A1 (de) 2001-05-11 2002-11-14 Byk Gardner Gmbh Vorrichtung und Verfahren zur Bestimmung der Eigenschaften von reflektierenden Körpern
JP2002351603A (ja) 2001-05-25 2002-12-06 Mitsubishi Electric Corp 携帯情報処理装置
US6959102B2 (en) 2001-05-29 2005-10-25 International Business Machines Corporation Method for increasing the signal-to-noise in IR-based eye gaze trackers
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
AU2003214595A1 (en) 2002-03-07 2003-09-16 Yechezkal Evan Spero Enhanced vision for driving
JP4001227B2 (ja) * 2002-05-16 2007-10-31 任天堂株式会社 ゲーム装置及びゲームプログラム
US7033025B2 (en) * 2002-05-17 2006-04-25 Virtocc, Inc. Interactive occlusion system
GB2392072B (en) * 2002-08-14 2005-10-19 Autodesk Canada Inc Generating Image Data
US7098896B2 (en) 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
JP2004271671A (ja) * 2003-03-06 2004-09-30 Sharp Corp 画像表示装置及びそれを備えた端末装置
JP2004287168A (ja) 2003-03-24 2004-10-14 Pioneer Electronic Corp 情報表示装置及び情報表示方法
JP3649242B2 (ja) 2003-04-04 2005-05-18 三菱電機株式会社 携帯電話装置および携帯電話装置の文字入力方法
US7217913B2 (en) 2003-12-18 2007-05-15 Micron Technology, Inc. Method and system for wavelength-dependent imaging and detection using a hybrid filter
US7301526B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Dynamic adaptation of gestures for motion controlled handheld devices
US7893920B2 (en) 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
KR100608589B1 (ko) * 2004-07-24 2006-08-03 삼성전자주식회사 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
NO20044073D0 (no) 2004-09-27 2004-09-27 Isak Engquist Informasjonsbehandlingssystem og fremgangsmate
JPWO2006038662A1 (ja) 2004-10-07 2008-05-15 株式会社ウエアビジョン 画像表示装置および電子眼鏡
JP2008516352A (ja) * 2004-10-13 2008-05-15 シーメンス アクチエンゲゼルシヤフト 強化現実システムにおける照明シミュレーションおよび影シミュレーションのための装置および方法
US20090058845A1 (en) 2004-10-20 2009-03-05 Yasuhiro Fukuda Display device
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
US20080136916A1 (en) 2005-01-26 2008-06-12 Robin Quincey Wolff Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
US8345252B2 (en) 2005-04-25 2013-01-01 X-Rite, Inc. Method and system for enhanced formulation and visualization rendering
CN1293446C (zh) 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作系统和方法
JP4977995B2 (ja) 2005-10-26 2012-07-18 日本電気株式会社 携帯表示装置
US7562312B2 (en) 2006-01-17 2009-07-14 Samsung Electronics Co., Ltd. 3-dimensional graphical user interface
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8139059B2 (en) * 2006-03-31 2012-03-20 Microsoft Corporation Object illumination in a virtual environment
US20080005418A1 (en) 2006-05-09 2008-01-03 Jorge Julian Interactive interface for electronic devices
US20080040692A1 (en) 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
KR100776801B1 (ko) 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7729531B2 (en) * 2006-09-19 2010-06-01 Microsoft Corporation Identifying repeated-structure elements in images
JP2008097220A (ja) 2006-10-10 2008-04-24 Nec Corp 文字入力装置、文字入力方法およびプログラム
JP2008129775A (ja) * 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法
US8094129B2 (en) 2006-11-27 2012-01-10 Microsoft Corporation Touch sensing using shadow and reflective modes
US20080140481A1 (en) * 2006-12-06 2008-06-12 Josh Todd Gold Method and system for generating advertisement
KR20080096134A (ko) * 2007-04-27 2008-10-30 엘지전자 주식회사 이동통신 단말기 및 그 웹페이지 제어방법
US8549415B2 (en) 2007-05-04 2013-10-01 Apple Inc. Automatically adjusting media display in a personal display system
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
WO2009042579A1 (en) 2007-09-24 2009-04-02 Gesturetek, Inc. Enhanced interface for voice and video communications
WO2009087531A1 (en) 2008-01-02 2009-07-16 Nxp B.V. Light sensor with intensity and direction detection
US20090196460A1 (en) 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
US20090184981A1 (en) * 2008-01-23 2009-07-23 De Matos Lucio D Orazio Pedro system, method and computer program product for displaying images according to user position
US9582049B2 (en) 2008-04-17 2017-02-28 Lg Electronics Inc. Method and device for controlling user interface based on user's gesture
WO2009141497A1 (en) * 2008-05-22 2009-11-26 Nokia Corporation Device and method for displaying and updating graphical objects according to movement of a device
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
US9092053B2 (en) * 2008-06-17 2015-07-28 Apple Inc. Systems and methods for adjusting a display based on the user's position
US9191238B2 (en) * 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US20110128223A1 (en) 2008-08-07 2011-06-02 Koninklijke Phillips Electronics N.V. Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system
US20100079426A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Spatial ambient light profiling
US8174504B2 (en) 2008-10-21 2012-05-08 Synaptics Incorporated Input device and method for adjusting a parameter of an electronic system
US20100103172A1 (en) * 2008-10-28 2010-04-29 Apple Inc. System and method for rendering ambient light affected appearing imagery based on sensed ambient lighting
JP2010122879A (ja) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab 端末装置、表示制御方法および表示制御プログラム
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8238026B1 (en) 2009-02-03 2012-08-07 Sandia Corporation Polarization-sensitive infrared image sensor including a plurality of optical fibers
US8199186B2 (en) * 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US8405658B2 (en) 2009-09-14 2013-03-26 Autodesk, Inc. Estimation of light color and direction for augmented reality applications
JP2011090400A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像表示装置および方法、並びにプログラム
US8543917B2 (en) * 2009-12-11 2013-09-24 Nokia Corporation Method and apparatus for presenting a first-person world view of content
KR20110101585A (ko) * 2010-03-09 2011-09-16 삼성전자주식회사 휴대용 단말기의 화면 전환 장치 및 방법
US20110293184A1 (en) 2010-05-31 2011-12-01 Silverbrook Research Pty Ltd Method of identifying page from plurality of page fragment images
KR101151962B1 (ko) 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956566B2 (en) * 2002-05-23 2005-10-18 Hewlett-Packard Development Company, L.P. Streaming of images with depth for three-dimensional graphics
CN1727839A (zh) * 2004-07-28 2006-02-01 发那科株式会社 机器人系统中再校准三维视觉传感器的方法和设备
CN101663692A (zh) * 2007-03-01 2010-03-03 弗罗斯特普斯私人有限公司 创建虚拟三维图像以使其在平面基板上再现的方法

Also Published As

Publication number Publication date
EP2732436A1 (en) 2014-05-21
CN103797443A (zh) 2014-05-14
US20130016102A1 (en) 2013-01-17
WO2013010011A1 (en) 2013-01-17
EP2732436A4 (en) 2016-03-02
US9041734B2 (en) 2015-05-26
JP2014525089A (ja) 2014-09-25
EP2732436B1 (en) 2019-09-18

Similar Documents

Publication Publication Date Title
CN103797443B (zh) 模拟三维特征
US20210120191A1 (en) System and method for acquiring virtual and augmented reality scenes by a user
US11663785B2 (en) Augmented and virtual reality
JP2014525089A5 (zh)
JP7344974B2 (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
CN104731337B (zh) 用于在真实环境中表示虚拟信息的方法
EP2887322B1 (en) Mixed reality holographic object development
US20070271301A1 (en) Method and system for presenting virtual world environment
US20100208033A1 (en) Personal Media Landscapes in Mixed Reality
CN105339987A (zh) 针对陆地、空中和/或众包可视化的流形的图像提取和基于图像的渲染
US20140049559A1 (en) Mixed reality holographic object development
CN106650723A (zh) 用于确定相机姿态以及用于识别真实环境的对象的方法
CN105027190A (zh) 用于虚拟或增强介导视觉的射出空间成像数字眼镜
FR2775814A1 (fr) Systeme de visualisation d'images tridimensionnelles realistes virtuelles en temps reel
WO2013095400A1 (en) Local sensor augmentation of stored content and ar communication
TWI797715B (zh) 用於使用從透視校正影像中所提取之特徵的特徵匹配之電腦實施方法、電腦系統及非暫時性電腦可讀記憶體
Billinghurst et al. Mobile collaborative augmented reality
Adhikarla et al. Freehand interaction with large-scale 3D map data
Bulbul et al. Social media based 3D visual popularity
US20230037750A1 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
WO2023006011A1 (zh) 壁纸生成方法、装置及电子设备
US20180108081A1 (en) Virtual system for seeing a property
Lynch A Metaverse Art Rresidency:‘Garrett Lynch Yoshikaze “Up-in-the-air” Second Life Rresidency’
Węgrzyn et al. CityGuideTour Toruń–tourist application using augmented reality
EP3923162A1 (en) Augmented reality personalized guided tour method and system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant