JP2014525089A - 3次元特徴シミュレーション - Google Patents

3次元特徴シミュレーション Download PDF

Info

Publication number
JP2014525089A
JP2014525089A JP2014520334A JP2014520334A JP2014525089A JP 2014525089 A JP2014525089 A JP 2014525089A JP 2014520334 A JP2014520334 A JP 2014520334A JP 2014520334 A JP2014520334 A JP 2014520334A JP 2014525089 A JP2014525089 A JP 2014525089A
Authority
JP
Japan
Prior art keywords
user
relative
display
image
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014520334A
Other languages
English (en)
Other versions
JP2014525089A5 (ja
Inventor
ルック、ハワード・ディ.
バルドウィン、レオ・ビー.
カラコトシオス、ケネース・エム.
ホッジ、デニス
ノブル、イサック・エス.
イバンチェンコ、ボロディミル・ブイ.
ベゾス、ジェフリー・ピー.
Original Assignee
アマゾン・テクノロジーズ、インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アマゾン・テクノロジーズ、インコーポレイテッド filed Critical アマゾン・テクノロジーズ、インコーポレイテッド
Publication of JP2014525089A publication Critical patent/JP2014525089A/ja
Publication of JP2014525089A5 publication Critical patent/JP2014525089A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

電子デバイス上に表示される画像情報は、デバイスに対するユーザの相対位置に少なくともある程度基づいて修正することができる。マッピング、位相、または他の種類の位置データを使用して、ユーザの現在の相対位置に対する視野角と一致する透視点から、画像コンテンツをレンダリングすることができる。この視野角が変化するときに、ユーザおよび/またはデバイスの動作の結果として、視野角の変化を反映する透視点からの画像コンテンツを表示するように、コンテンツを再レンダリングするか、またはさもなければ更新することができる。視差および閉塞等の効果のシミュレーションを、透視点の変化とともに使用して、一貫したユーザ体験を提供し、コンテンツが2次元表示装置にレンダリングされる場合でさえも、3次元コンテンツの感覚を提供することができる。ライティング、シェーディング、および/または他の効果を使用して、体験を向上させることができる。
【選択図】 図2

Description

種々のコンピューティングデバイスの能力が高まるにつれ、かつ人々が増加しつつある様々な作業のためにコンピューティングデバイスを使用するときに、ユーザの期待に応える際に直面するさらなる課題が存在する。例えば、ますます多くのアプリケーションは、仮想または強化現実体験を提供し、少なくともユーザにある程度のレベルの3次元体験を提供しようと試みる。特殊観賞用メガネ等、特定のハードウェアを必要とする3次元表示装置を利用するデバイスもあるが、多数のデバイスは、従来の2次元表示装置を利用するか、または実質的に2次元で作製されたコンテンツを提供する。あるシェーディング処理またはレンダリング処理を利用して、3次元コンテンツの印象を与えることができるが、コンテンツは、位置、配向、またはライティングの変化が、概して、現実的には表示装置において更新されないため、典型的には、真の3次元オブジェクトまたはシーンのようには機能しない。したがって、表示されるコンテンツの仮想性質は、著しく低下し得る。
本開示に従う種々の実施形態が、図面を参照して説明される。
図1は、種々の実施形態に従って、ユーザが電子デバイスと相互作用することができる環境を図示する。 図2(a)〜(b)は、種々の実施形態に従って、ユーザに対する相対視野角の変化を判定するアプローチの実施例を図示する。 図3は、種々の実施形態に従って生成され得る位置ピンを含む地図情報の表示例を図示する。 図4(a)〜(b)は、種々の実施形態に従って、異なる動作に応答した図3の地図情報およびピンの表示例を図示する。 図5(a)〜(b)は、種々の実施形態に従って、異なる配向に対する地理情報の表示例を図示する。 図6(a)〜(b)は、種々の実施形態に従って、レベルに応じて移動させることができる図形アイコンのレベルの表示例を図示する。 図7(a)〜(b)は、種々の実施形態に従って、デバイスの異なる配向に対する局所光源に基づいたシェーディングを含む表示例を図示する。 図8(a)〜(b)は、種々の実施形態に従って、デバイスの異なる配向に対する書籍コンテンツの表示例を図示する。 図9は、種々の実施形態に従って、配向の変化を説明するように情報の表示を更新するためのプロセス例を図示する。 図10は、種々の実施形態に従って、使用可能な相対位置を判定するためのプロセス例を図示する。 図11は、種々の実施形態に従って、使用可能なデバイス例を図示する。 図12は、図11に図示されたコンピューティングデバイス等のコンピューティングデバイスの構成要素の例を図示する。 図13(a)〜(f)は、種々の実施形態に従って、使用可能な頭部の位置および/または注視方向を判定するためのアプローチ例を図示する。 図14(a)〜(b)は、種々の実施形態に従って、ユーザまでの相対距離の変化を判定するアプローチ例を図示する。 図15は、種々の実施形態を実装することができる環境を図示する。
本開示の種々の実施形態に従うシステムおよび方法は、電子デバイスにコンテンツを表示するための従来のアプローチにおいて経験される前述および他の欠陥のうちの1つ以上に対処することができる。具体的には、種々の実施形態は、デバイスに対するユーザの現在の相対位置または配向、ならびにその相対位置または配向の変化に少なくともある程度基づいて、表示された画像コンテンツ(静止画または動画コンテンツ)に調整を加えることを可能にする。調整は、例えば、視差または閉塞に起因する変化を含み得、これは、ユーザとデバイスとの間の相対動作に応答して、レンダリングされたコンテンツに追加されると、ユーザの体験を向上させ、2次元または3次元の表示要素上にレンダリングされるコンテンツに対する写実性を増加させることができる。例えば、ユーザが3次元表示の押しピンを含む市街地図のグラフィック表示を見ている場合、地図の部分は、ユーザの視点に基づいて、表示が妨害または閉塞される場合がある。本明細書に記載される種々の実施形態において、ユーザは、視点を(例えば、デバイスを動かすか、またはデバイスに対して自身を動かすことによって)変化させて、押しピンの周囲を見回しているかのように、以前は閉塞されていた地図の部分を見ることができる。
種々の実施形態において、デバイスに対するユーザの相対位置は、電子デバイスの少なくとも1つの画像キャプチャ要素を使用して判定することができる。この位置は、本明細書においてユーザの視点と称される。例えば、ビデオカメラからの配信を分析して、ビデオ配信におけるユーザの相対位置を見つけることができ、これを分析して、ユーザの相対視点を判定することができる。他の実施形態において、1つ以上のデジタルスチルカメラは、異なる位置からの複数の情報源を分析する場合、方向に加えて、しばしば、距離を判定することができるため、ユーザ位置について分析するための画像を周期的にキャプチャすることができる。さらに他の実施形態において、赤外線(IR)撮像を使用して、ユーザの頭部または眼等、ユーザの位置の判定および/または追跡に使用するためのユーザの特徴を検出することができる。
判定されたユーザの相対視点に少なくともある程度基づいて、電子デバイスは、デバイス上にレンダリングおよび表示されるコンテンツ(例えば、シーン)に対する一次視野角を判定することができる。少なくともある種類のコンテンツの場合、デバイスは、レンダリングを調整して、その視点に適したそのコンテンツの2次元または3次元表示を提供し、表示装置が2次元である場合でさえも、3次元的視界または表示の印象を与えることができる。
少なくともいくつかの実施形態において、電子デバイスは、表示されたコンテンツがレンダリングされる透視点を更新するために、ユーザとデバイスとの間の相対視点、位置、方向、および/または配向の変化を判定する。例えば、デバイスは、画像情報のキャプチャおよび分析を継続して、デバイスに対するユーザの相対視点における変化を判定することができる。このような変化は、ユーザおよび/またはデバイスの動作に基づくものであり得る。デバイスは、加速度計または慣性センサ等、デバイスの少なくとも1つの配向または位置判定要素からの情報を利用して、デバイスの動きを検出し、それに応じて視野角を更新することを支援することもできる。これらの要素は、ユーザとデバイスとの間の相対位置が実質的に変化しない場合でも、デバイスの回転を通じたもの等、デバイスの配向における変化を検出することもできる。表示は、同様に、配向の変化に少なくともある程度基づいて更新され得る。ユーザの相対視点の変化に対応するように画像コンテンツがレンダリングされる透視点を調整することによって、3次元表示を、複数の視野角にわたって実際または仮想の3次元コンテンツと整合性のある2次元または3次元表示要素上に生成することができる。
レンダリングされるコンテンツの透視点を更新することが可能であるため、追加の利点を同様に提供することができる。例えば、あるオブジェクトは、表示された画像において別のオブジェクトを少なくともある程度遮蔽または閉塞する可能性がある。従来の表示装置を使用する場合、ユーザは、閉塞されたコンテンツを見ることができない。レンダリング透視点が、ユーザの相対視点に基づいて変化することを可能にすることによって、ユーザは、単純に、デバイスに対する彼らの位置を修正すること、デバイス自体の位置を修正すること、またはこの2つの任意の組み合わせによって、閉塞部の「周囲」を効果的に見回して、以前は表示装置において見えていなかったコンテンツを見ることができる。さらに、ユーザの視点の変化に基づいて変更される閉塞の範囲は、閉塞部と他のコンテンツとの間の相対的高さまたは距離を示すことができ、地図または他のこのような用途に有用であり得る。
仮想3次元環境の感覚をさらに向上させるために、表示装置の種々の他の態様も同様に調整することができる。例えば、表示装置のオブジェクトは、それと関連付けられた3次元モデルまたはデータを有し得、その結果、オブジェクトは、透視点の変化と整合性のある図を示すように回転することができる。地図上の建物は、デフォルトで真上から見た図で示すことができ、ユーザは、デバイスを回転させるか、またはユーザの頭部位置を移動させることによって、その建物の側面を見ることが可能であり得る。同様に、影およびシェーディングを、透視点に対して適切となるように調整することができる。日の当たっている建物の場合、例えば、日陰となっている建物の側面は、デバイスの配向にかかわらず太陽の位置と整合性を有し得る。他の実施形態において、画像コンテンツは、デバイス付近の1つ以上の光源に従ってライティングまたはシェーディングが行われてもよく、ライティングの方向は、デバイスの動作に応答して、光源の位置に従って画像内のオブジェクトにシェーディングを行うように更新され得る。
いくつかの実施形態において、デバイスは、方向性を提供するように移動または回転することができる要素を有し得る。例えば、画像キャプチャ要素は、移動カメラ、調整可能なミラーもしくはレンズ、回転ジンバル、または他のこのような要素等、視野を増加させ、かつ/または画像データを特定の方向および/もしくは距離からキャプチャすることを可能にする構成要素を含み得る。いずれのデータ入力または出力も、ユーザの現在の相対位置に基づいて調整することができる。
種々の他の適用、プロセス、および用途が、種々の実施形態に関して以下に提示される。
図1は、ユーザ102が、電子デバイス104の表示要素上に表示されたコンテンツを見ている状況例100を図示する。この例において、デバイス104は、ユーザがデバイスに表示されたコンテンツを見ている間に、撮像要素がユーザ102の少なくとも一部分の画像情報をキャプチャできることが期待できるように、デバイスの側面または角部に位置付けられる少なくとも1つの撮像要素106を有する。例えば、図1の撮像要素106は、ユーザが電子デバイス104の表示要素上に表示されたコンテンツを見ている間に、撮像要素の角度キャプチャ範囲108がユーザの少なくとも一部分を撮像することができるように、デバイスの前面に位置付けられる。本明細書で後に詳しく説明されるように、ユーザの画像情報のキャプチャが可能であることにより、電子デバイスは、電子デバイスに対するユーザの相対位置および/または配向を判定し、その位置および/または配向に従って、デバイス上のコンテンツの表示を調整することができる。この情報を使用することにより、3次元モデルを使用して、ユーザの視点に基づいて視野角が適切な画像を生成することができる。
図2(a)〜2(b)は、少なくともいくつかの実施形態に従って、3次元モデルを使用して視野角が適切な画像を生成することができる方法の例を図示する。図2(a)において、配向例200では、デバイスの表示要素204の実質的に前面にユーザ202が存在する。説明の簡略化のため、および図2(a)に示されるように、このモデルは、箱206が背景208上にある状態で3次元で表される。現在の視野角では、ユーザは、表示装置図220の可視部分240によって図示されるように、箱206の表面210のみを見ることができる。図2(b)の配向250においては、デバイスは、回転されている(または、ユーザがデバイスに対して移動している)。少なくともいくつかの実施形態において適切なユーザ体験を提供するためには、グラフィック表示モデルを、デバイスに対して効果的に回転し、その結果、ユーザは、箱206の上面および2つの側面を見ることができ、背景208がそれに応じて回転することになる。ユーザ202の現在の視点に基づいて、箱の可視表面242が、可視部分262によって図示されるように、箱の上部だけでなく、箱の少なくとも1つの側面も同様に含むことを、図2(b)の表示図260で理解することができる。この視野角を計算することによって、アプリケーションは、箱の上部および側面の部分を判定して、回転の結果として表示することができる。さらに、図2(a)において箱の右側面によって閉塞されていた全ての領域を、現在では見ることができ、箱の左側面によって閉塞されていた領域が、図2(b)において現在ではさらに大きいことも、図2(b)で理解することができる。
さらなる図示のために、図3は、デバイスの表示要素302上に地図コンテンツを表示するデバイス例300を示す。携帯型コンピューティングデバイス(例えば、スマートホン、電子ブックリーダ、またはタブレット型コンピュータ)を示すが、情報を受信、処理、および表示することが可能なあらゆるデバイスを、本明細書に記載の種々の実施形態に従って使用することができることを理解されたい。これらのデバイスには、とりわけ、例えば、デスクトップ型コンピュータ、ノート型コンピュータ、電子ブックリーダ、個人データ端末、携帯電話、ビデオゲームコンソールもしくはコントローラ、テレビジョンセットトップボックス、および携帯型メディアプレーヤが挙げられる。この例において、ユーザは、地図アプリケーションに住所を入力しており、地図情報は、地図領域上の住所のおおよその位置を示すピンまたはマーカー310を含んで、表示要素302上での表示のために生成される。住所または位置を見つけて地図情報を生成するためのアプローチは、当該技術分野で周知であり、したがって、本明細書では詳細に記載しない。
説明したように、少なくともある実施形態において、このような状況の写実性を極力高めることが望ましい場合がある。1つの方法は、表示されるピンおよび建物が3次元オブジェクトで現れるように、画像にシェーディングを追加することである。既存のシステムにおいて、影は、固定方向から光を放出する仮想光源に基づいてレンダリングされ、図示されるような真上から見た図等の特定の図に適用される。しかしながら、ユーザがデバイスを動かすか、またはデバイスに対して移動した場合は、シェーディングは変化せず、デバイスの透視点は、回転からもたらされる適切な視点から建物またはピンを示すように調整されず、これによりユーザを体験から離脱させる可能性がある。同様に、ユーザの視点がデバイスに対して変化した場合にアイテムの外観が調整されることもなく、その結果、ユーザは、表示が2次元レンダリングであることに気付くことになる。
種々の実施形態に従ったシステムおよび方法は、ユーザと電子デバイスとの間の相対位置および/または配向の変化を判定し、かつデバイスに対するユーザの視点を判定するために使用され得るいくつかの要素のいずれかを利用することができる。例えば、図3のデバイス300は、上述のように、デバイスに対するユーザの相対視点を判定するための画像情報をキャプチャするために使用可能な撮像要素304を含む。加速度計、電子ジャイロスコープ、または慣性センサ等の配向判定要素306は、デバイスの位置または配向の変化を判定することができる。マイクロホンまたは近接センサ等の他の入力要素308を、他の実施形態において同様に使用することができる。これらの要素の少なくともいくつかからの情報を分析して、ユーザの透視点から現在の視点を判定することができる。ユーザの現在の視点を判定することにより、例えば、デバイスは、ユーザの透視点からのコンテンツの3次元表示に実質的に対応するコンテンツをレンダリングすることができる。
例えば、図4(a)は、デバイス400の配向例を、デバイスがデバイスの主軸に沿って回転されている状態で図示するが、相対視点における同様の変化は、後に本明細書でより詳細に説明されるように、ユーザの動きからもたらされる場合もある。見ればわかるように、デバイスの回転が、デバイス上に表示される地図情報404において対応する変化を引き起こした。例えば、各建物の上面図だけ(図3)が見えるのではなく、種々の建物の側面が、ユーザの現在の視点に対応して表示される。したがって、表示装置が2次元表示装置であるにもかかわらず、レンダリングされる建物の図は、表示装置が、ユーザが彼らの現在の視点から建物の3次元版を見た場合に見えるであろうものに類似するその建物の図を提示するようなものであり得る。この例において、デバイスの左端をユーザに向かって回転させると(図4(a)の面から)。種々の建物の左側が、図4(a)の面に実質的に直角であるユーザの方向に基づいてレンダリングされる(屋根または他の透視点が適切な部分の一部とともに)。
図4(a)において、位置ピン402のレンダリングもそれに応じて更新されている。図3において、ピンは、実質的に真上から見た図で示された。図4(a)では、位置ピン402は、デバイスに対するユーザの現在の相対視点に基づいて、斜視図でレンダリングされている。ピンが表示される方法を変化させることに加えて、ユーザは、以前は真上から見た図においてピンによって隠されていたか、または閉塞されていた可能性のある情報を、現在では見ることができる。例えば、図3において、「ワシントンストリート」の「ワ」は、ピンの位置によって閉塞されていた。図4(a)では、デバイスの回転により、ユーザの現在の視点を反映するように変化するピンのレンダリングがもたらされ、その結果、「ワシントンストリート」の「ワ」が、現在ではユーザから見えるようになっている。したがって、レンダリングは、種々の要素の透視点のみを変化させるだけでなく、さらに3次元世界の感覚を提供するために、任意の他の要素または閉塞された部分に対しても、それらの要素を適切にレンダリングさせることも可能である。ユーザは、したがって、ユーザとデバイスとの間の相対配向を調整して、オブジェクトによって閉塞されている情報を見ることができ、これは、従来のアプローチでは、表示装置にレンダリングされたピンを手動で移動または除去することなく達成することが不可能であった。
ユーザは、以前の配向(図3および4(a))のいずれにおいても、「ワシントンストリート」の完全な名称を見ることができなかったため、ユーザは、所望の情報が見えるようになるまで、デバイスの相対配向を調整し続けることができる。例えば、図4(b)において、ユーザは、スクリーンの上部をユーザに向かって傾け(デバイスの上部を図4(b)の面から回転させる)、画像においてオブジェクトの異なるレンダリングもたらすことができる。この例において、デバイスの上部に向いた建物の側面を見ることができ、ピン402の異なるレンダリングは、新しい配向に基づいて表示される。この例において、以前は閉塞されていたストリート名が、現在では、表示された画像情報に見ることができ、「ワシントンストリート」が、画像内に見えるようになっている。
デバイスの配向を変更する別の利点は、ユーザが、さもなければユーザに明白となり得ない、閉塞部を異なる角度で見ることが可能なことである。例えば、図3および4(a)において、「ワシントンストリート」および「リンカーンアベニュー」の表示に、それらのそれぞれの位置以外には大した違いはない。図4(b)のレンダリングでは、しかしながら、この配向は、「リンカーンアベニュー」が、この通りが異なる距離または面にあるために配向が変化するとこの通りの位置が変化するため、実際には高架の通り452であることを図示する。さらに、シャドーイング454または他の要素(例えば、ポストまたはアーチ)を追加して、位置および透視点の相違を図示することができる。従来的な真上から見た図を使用することでは、ユーザは、リンカーンアベニューが、実際には他の近隣の通りよりも上にあり、リンカーンアベニューの下を通る一方通行の通りのいずれからも、直接曲がることができないことを認識することが不可能であった。
3次元情報を得る能力は、他の状況でも同様に有益であり得る。例えば、図5(a)は、ハイカーが、例えば携帯型全地球測位システム(GPS)を使用して見ることができる地理情報500の表示例を図示する。図5(a)の上面図において、ハイカーは、小さな池504に流れ込む小川502があると判断することができる。上面図に基づいて、ハイカーは、小川から池には崖があると判断することが可能であるが、崖の程度を判断することは不可能であり得る。より良好な表示を得るために、ハイカーは、デバイスを回転させ(またはハイカーの頭部を移動させ)、図5(b)に図示されるもの等、その領域の斜視図を得ることができる。この図では、丘506の側面を、滝508が小川502から下のプール504へ流れ込む量と同様に見ることができる。このような視覚能力により、ハイカーは、所定の方向にハイキングする前に、崖が高すぎて登る/降りることができない場所等、地形を判断することが可能であり、プール504へ下る通路または他の道がある別の場所を特定することを助けることができる。
いくつかの実施形態において、アニメーションまたは他の要素を表示装置に追加して、仮想世界または3次元表示の効果を高めることができる。これらの要素はまた、種々の有用な情報を提供し得る。例えば、小川の水は、アニメーション化することができ、いくつかの実施形態においては、ハイカーが彼または彼女の位置を確認すること、ならびに目的の位置(すなわち、滝)に対する適正な方向を判定することを助けるために、実際の小川の流れの方向で移動するようにレンダリングすることができる。滝508がプール504に進入する場所である乱流領域510等、他の要素を、同様に追加することができ、これにより、表示されている特徴の性質をさらに強調し、同様にその表示の仮想体験を高めることを助けることができる。
同様に、表示の仮想性を高めること、ならびにユーザに有用な情報を提供することの両方を行うことができる、他のグラフィック要素を追加してもよい。例えば、表示される領域に全体にわたり移動することができる雲、鳥、または航空機の影等の要素を追加してもよい。表示の仮想世界性を高めることに加えて、影は、影が移動している地形または地理の種類に応じて操作することができる。例えば、図5(b)において第1の鳥の影512を考察する。鳥は、比較的平坦な領域上を飛行しているため、影は、実質的にデフォルトの形状から変化していない。第2の鳥の影514は、この影が崖506を横切っているために歪曲し、崖が比較的急勾配であるという事実を表す。影の歪曲量により、崖の傾斜および/または勾配を示すことができ、これは、ユーザが表示内の特徴の寸法を判定しようと試みる際に有用であり得る。種々の他の種類のアニメーションまたは動作も同様に、種々の実施形態の範囲内で使用することができる。
地図または図4および5に図示されたもの等の他の地理表示において、種々の特徴および/または地点の高さおよび/または上昇についての情報は、任意の適切な地図作成およびモデル化のアプローチを使用して判断することができるが、多数の従来的なアプローチによりこのような地理データを提供することができるため、本明細書においては詳細に説明しない。コンピューティングデバイス上で実行するアプリケーションは、この地理データを、種々の位置の多種類の画像(例えば、地上または空中から見たもの)の任意のものとともに使用して、特定の視点からの3次元モデルの2次元または3次元表示をレンダリングする等の目的で使用される多数のレンダリングアプローチのうちの任意のものを用いて、地図画像をレンダリングすることができる。いくつかの場合においては、しかしながら、このような目的で利用可能な詳細な3次元モデルデータがない。さらに、このようなアプローチは特にプロセッサに集中的であり得、小型携帯デバイスおよび他の低容量システムには望ましくない場合があるため、いくつかのアプローチは、3次元モデル化等のプロセスに関与しないことが好ましい。
種々の実施形態に従ったアプローチは、互いに対して異なる速度で移動し得るグラフィック要素の層を代わりに利用して、奥行き感覚および3次元移動を提供することができる。例えば、図6(a)は、様々な種類の機能または情報にアクセスするためのアプリケーション、フォルダ、ショートカット、または既知もしくは電子デバイスで使用される任意の他の種類のオブジェクト等を表す、グラフィックアイコン等のグラフィック要素602、604、606を含む、表示装置600を図示する。この例において、第1の層の要素602は、第2の層の要素604よりも「上に」レンダリングされ、これは、第3の層の要素606よりも上にレンダリングされる。任意の適切な数の要素を含む、任意の数のレベルが存在し得ること、および種々の層の順序は、種々の層の分類またはナビゲート等、多数の可能性のあるアプローチのうちの任意のものを使用して調整または選択することができることを理解されたい。この例において、各層の要素は、異なる相対寸法でレンダリングされ、ユーザに種々の要素の距離感覚を与える。距離感覚を高めるため、ならびに空間感覚を提供してユーザが種々の要素の異なる表示を得ることを可能にするために、この層を、互いに対して横方向に異なる速度で移動させることもでき、移動の速度は、その層の相対寸法と連結している。例えば、図6(b)では、ユーザと、画像情報が表示されているデバイスとの間に相対移動が行われている。見ればわかるように、ユーザに「最も近い」第1の層の要素602が、表示装置上で最も大きく移動されている。第2の層の要素604は、表示装置上で小さな移動量で移動されており、それらのそれぞれの距離を表して、第3の層の要素606は、仮に移動される場合は表示装置上で最も小さく移動される。実際に、情報を表示装置上で実質的に中央に保つことが望ましい実施形態においては、第3の層の要素は、図6(b)に図示されるように、実際には表示装置上で反対方向に移動する場合があるが、正味の相対移動は、いずれのアプローチでも同じままであり得る。見れば理解できるように、3次元空間感覚を提供することに加えて、表示を回転させる能力は、異なる要素が表示されることを可能にし、これによって、ユーザが、さもなければ重なっている要素によって隠れているかまたは閉塞されている場合のある目的の要素の位置を見つけ、かつ/またはそこに進むことを支援することができる。地図表示の場合、例えば、各ブロックの建物を異なる層に割り当てることで、ユーザが距離の判断を行うこと、および準3次元表示から位置情報をより正確に判断することを可能にすることができる。
いくつかの実施形態において、図6(b)のグラフィック要素は、本明細書の他の箇所に記載されるように、少なくとも1つの側面部分を示すために、個別でも回転することができる3次元ブロックであり得る。しかしながら、この例において、要素は、本質的に「平面」であるか、またはさもなければ個別での回転が不可能であり、3次元感覚は主に横方向移動の差によって生成されている。個々の要素を回転させることができないため、あるユーザに対する回転可能要素に関する3次元体験を低減させる可能性があり得るが、少なくともいくつかのデバイスの処理容量は有意に減少し、レンダリング時間が短縮され、それによって、全体的なユーザ体験を向上させることができる。
図4(b)に関して上述のように、シェーディングを表示装置に追加して、ユーザ体験を向上させる、および/または種々のオブジェクトの形状もしくは相対位置に関する追加の情報を提供することができる。いくつかの実施形態において、デバイスは、一次光源方向を割り当て、レンダリングされるオブジェクトの少なくとも一部分にその光の方向からライティングを行うことができる。いくつかの実施形態において、デバイスは、現在の位置、方向、および/または時刻等の情報を利用して太陽の相対位置を判定することができ、そして、表示装置にレンダリングされるコンテンツのイルミネーションおよび/またはシェーディングの目的で、その相対位置を一次光源として利用することができる。入手可能な場合、デバイスはまた、気象条件情報にもアクセスして、曇り、雨等の天候について、完全または部分的な日光でスクリーンにレンダリングを行うかどうかを判断することができる。
他の実施形態において、デバイスは、1つ以上の光判定要素を利用して、デバイスの付近の少なくとも一次光源方向を判定しようと試みるか、またはデバイスの周囲のライティングの輝度分布図を生成することができる。このような情報を判定するためのアプローチは、例えば、参照により本明細書に組み込まれる、2011年5月13日に出願され、「Intensity Modeling for Rendering Realistic Images」と題される同時継続中の米国特許出願第13/107,749号で見出すことができる。光源の相対位置および/または他の相対ライティング情報が判定された時点で、デバイスは、この情報を利用して、ライティングに対するデバイスの配向が変化した場合でさえも、レンダリングされる画像情報に適切にライティングおよび/またはシェーディングを行うことができる。例えば、図7(a)は、デバイス700の表示スクリーン702での表示例を図示し、この表示は迷路についての情報を含む。この画像は、真上から見た迷路の図であり、シャドウイング712は、少なくとも1つの光源判定要素704を介して判定される光源714の検出された相対位置に基づいて、迷路の壁710にレンダリングされたものである。上述のように、デバイスは、1つ以上の配向判定要素706、708を利用して、デバイスの配向の変化を判定することができる。図7(b)は、デバイスが、光源714に対して回転されている、状況例750を図示する。上述のように、壁の表示は、迷路が実際に3次元でレンダリングされたかのように、視線方向の変化と一致して、側面部分752を示すように調整することができる。光源714の既知の相対位置および配向の変化を使用して、デバイスはまた、新しい配向において光源に対する適正な方向を判定し、このようにして、ライティング方向に少なくともある程度基づいて、ユーザの視野角に一致する「3次元」要素の影を生成することもできる。現実的な方法で表示の変化に伴ってシャドウイングを調整する能力は、ユーザ体験を向上させることに役立ち、さらに、ユーザが、例えば、3次元要素の2次元表示の方向および/またはテクスチャをより良好に理解することに役立ち得る。種々の他のシェーディングアプローチが使用可能であり、同様に、本明細書に含まれる教示および提案の範囲内で明らかなはずである。
他の種類の情報を、種々の実施形態に従って、配向依存性表示装置とともに利用することができる。例えば、図5(b)において、崖の側面の表示は、1つ以上の場所における崖の高さ、最も近い丘を下る経路への道順、滝の名称についての情報等、ユーザに有用な追加の情報を含んだ可能性がある。図8(a)および8(b)は、本明細書に記載の種々のアプローチを使用して電子デバイス上に表示することが可能な電子ブック(eブック)800、または類似のコンテンツの異なる表示を図示する。図8(a)において、ユーザ(示されない)は、デバイスに対して、実質的に表示要素の前面等、デフォルトの位置(またはデフォルトの位置範囲内)にある。したがって、ユーザは、eブックの文章802の従来的な表示を、その視野角で取得する。eブックを読んでいる間に、ユーザは、ユーザがその本の終わりからどの程度離れているか、または次の章までどの程度離れているか等、ある情報の取得を望む可能性がある。それに応じて、ユーザは、デバイスを回転させるか、またはユーザの頭部を動かすことによって等、デバイスに対する彼らの視点を変更して、表示装置上で電子ブックの「側面」を見ることができる。図8(b)に図示されるように、ユーザは、デバイスを傾けて、本の現在のページから終わりまでその本のページの縁部804の表示を含む図を見ることができる。このようなアプローチにより、ユーザに価値を提供し、さらに、eブック体験を実際の読書により近いものにすることが可能であり得る。さらなる情報を、同様に追加することができる。例えば、本の縁部は、本の終わりの指標808(すなわち、裏表紙)を含み得るだけでなく、ある部分に対する他の指標806も同様に含み得る。例えば、eブックの側面には、次の章および/またはそれに続く章の位置、ならびに、種々の注釈、ブックマーク、ハイライト等の位置を印す指標が含まれてもよい。このようなアプローチを使用することによって、ユーザは、デバイスを傾けて、章の終わりまでどの程度離れているかを見て、例えば、章の終わりまで読み続けるか、または別の位置で現在の表示セッションを終えるかを決定することができる。指標を使用することによって、ユーザは、図13および14に記載の視線追跡を使用してeブックの特定の部分に移動することができる。
いくつかの実施形態において、ユーザの透視点からのオブジェクトの表示を、表示スクリーンが、物体が視野角が上がるにつれて次第に圧縮されるようになる従来的な表示スクリーンではなく、ユーザが注視している眼鏡の一部であるかのように見えるようにするために、レンダリングされた画像を操作(例えば、拡大、またはさもなければ変形)することができる。画像を変形させて、一定のアスペクト比または表示を提供するためのアプローチは、例えば、参照により本明細書に組み込まれる、2011年3月30日出願の「Viewer Tracking Image Display」と題される、同時継続中の米国特許出願第13/076,322号で見出すことができる。
図9は、種々の実施形態に従って使用することができる相対視点に基づく画像表示を提供するためのプロセスの第1の部分900の例を図示する。本明細書に記載のいずれのプロセスについても、別段の記載がない限り、類似もしくは代替的な順序で、または並行して実行される、追加、より少ない、または代替的なステップが、種々の実施形態の範囲内で存在し得ることを理解されたい。この例においては、ユーザの位置追跡は、デバイスで起動される902。いくつかの実施形態において、ユーザは、このモードを手動で起動する必要があるが、他のモードにおいては、デバイスは、ある人物が付近に検出されたときに自動でこのモードを起動することができる。ユーザがデバイスの特定のアプリケーションを開始した際等、他の起動モードが同様に可能である。位置追跡が起動している場合、デバイスは、全方向、いくつかの方向、特定の方向範囲、または実質的に所定のユーザへの方向に関係なく、デバイスの周囲の撮像を開始することができる904。本明細書の別の箇所に記載されるように、いくつかの実施形態において、撮像は、周囲光画像または動画のキャプチャを伴うが、他の実施形態においては、デバイスは、赤外線撮像、熱署名検出、または任意の他のこのようなアプローチを利用することができる。デバイスは、キャプチャした画像情報を分析して、ユーザまたは少なくとも付近の人物の特徴を見つけようと試み906、いくつかの実施形態において、これらの特徴には、少なくともユーザの眼、鼻、または頭部が含まれる。いくつかの実施形態において、デバイスは、人間の頭部のような形をしており、かつ2つの眼のような特徴を含むオブジェクトを見つけようと試みる。他の実施形態においては、顔認識または任意の他のこのようなアルゴリズムを使用して、撮像要素のうちの少なくとも1つの視野において、人間の頭部、またはユーザの他の部分もしくは特徴の存在を判定しようと試みることができる。
ユーザの特徴の位置を特定した後、デバイスは、それらの特徴に関連する態様または情報を判定しようと試み得る908。この例において、判定された態様を使用して、デバイスに対するユーザの相対視点、ならびに少なくともいくつかの実施形態においてはデバイスに対するそれらの特徴の配向を判定しようと試み得910、これらは、ユーザの現在の視点等の情報の判定に有用であり得る。次いで、判定された態様を、画像情報のキャプチャおよび分析を継続して、ユーザの相対視点および/またはデバイスの配向を判定することによって等、継時的に監視することができる912。少なくともいくつかの実施形態において、加速度計または電子ジャイロスコープ等の配向判定要素を使用して、ユーザの相対位置および/またはデバイスの相対配向を追跡することを補助することができる。位置または配向の変化等、視点の変化を判定することができ914、デバイスは、その変化が表示される画像を調整する必要を有するかどうかを判定することができる916。例えば、あるアプリケーションは、通常量のユーザジッターまたは入力として意図されない可能性のある他のこのような移動を考慮して等、表示される画像コンテンツを調整する前に、デバイスが最小限の量で回転されることを要求する場合がある。同様に、ある実施形態は、継続的な回転を利用しない場合があるが、デバイスに対するユーザの相対視点の変化のある程度に応じて、表示を変化させることができる。配向の変化が調整を正当化するのに十分である場合、デバイスは、少なくとも画像の部分を拡大、圧縮、パン、または回転させるように等、画像情報への適切な調整を判定および実行することができる918。
このような調整の一例として、図10は、種々の実施形態に従って使用することができる判定された視点の変化に応答して画像を修正するためのプロセスの第2の部分1000を図示する。この例では、表示される画像および任意の他の情報の態様は、少なくともある程度ユーザの相対視点に基づき得るが、本明細書の他の箇所に記載のように、種々の他のアプローチを同様に使用することもできる。動作中に、電子デバイスは、ユーザの相対視点を判定することができる(そして、長時間にわたり監視することができる)1002。相対視点に少なくともある程度基づいて、ユーザの一次視線方向または視野角を判定することができる1004。デバイス上で(またはデバイスに対してリモートで)実行されるアプリケーションは、マッピング、位置、または他のこのようなデータを利用して、判定された視野角と関連する透視点から画像コンテンツをレンダリングすることができる1006。
ユーザの視点が判定された時点で、デバイスは、ユーザおよび/またはデバイスの位置または配向の変化からもたらされ得るような、視点または相対位置の変化を監視または検出しようと試み得る1008。相対視点の変化を分析して、変化が最小動作閾値に達する場合等、この変化が作動可能であるかどうかを判定することができる1010。いくつかの実施形態において、小規模な動作は、ユーザがデバイスを保持しており、例えば、視点を変化させるための入力として意図されないジッターまたはわずかな変動を考慮するため、表示の調整をもたらさない場合がある。種々の実施形態において、表示された画像コンテンツの再レンダリングを正当化するための動作の最小量もまた存在するはずである。例えば、携帯電話および携帯型メディアプレーヤは、相当量のグラフィックス処理能力を有さない場合があり、その結果、3次元マップまたは他のこのような情報を使用してコンテンツを再レンダリングしようと継続的に試みることは、デバイスの相当量のリソースを消費し、レンダリングおよび潜在的には他の機能の動きを悪くする可能性がある。さらに、複雑なレンダリングを継続的に実行することは、少なくともあるデバイスの電池残量を著しく消耗し得る。したがって、少なくともいくつかのデバイスの場合、最小量の動作が行われるまで等、異なる透視点からの画像の再レンダリングを少なくとも待機することが望ましい場合がある。
作動可能な動作が存在しない場合、デバイスは、ユーザの相対視点を監視し続けることができる。作動可能な動作が検出された場合、デバイスは、本明細書に記載または提案されるアプローチのうちの任意のものを使用して、新しい相対視点、配向、および/または視野角を判定しようと試みることができる1012。新しい相対視点にある程度基づいて、例えば、デバイスは、その視点と一致するか、または少なくともそれと関連付けられた透視点から、画像コンテンツをレンダリングすることができる1014。画像情報の操作(例えば、回転、拡大、圧縮、変換等)を行って、本明細書の他の箇所に記載のように、一貫した疑似3次元表示を提供することができる。付近の光源からのシャドウイングまたは表示の一部分についての情報を提供する要素等、追加の情報を同様に追加することができる。少なくともいくつかの実施形態において、アプリケーションは、画像情報を表示するために使用される要素が、実際には2次元である場合でさえも、3次元表示と一致する、あらゆる多数の異なる視点からのレンダリングおよびシェーディングにおける一貫性を提供しようと試みることができる。
図11は、種々の実施の形態に関して使用され得るコンピューティングデバイス例1100の前面図および背面図を図示する。携帯型コンピューティングデバイス(例えば、スマートホン、電子ブックリーダ、またはタブレット型コンピュータ)を示すが、入力を受信および処理する能力のあるいずれのデバイスも、本明細書に記載の種々の実施形態に従って使用することができることを理解されたい。このデバイスには、例えば、とりわけ、デスクトップ型コンピュータ、ノート型コンピュータ、電子ブックリーダ、個人データ端末、携帯電話、ビデオゲームコンソールまたはコントローラ、テレビジョンセットトップボックス、および携帯型メディアプレーヤが挙げられる。
この例では、コンピューティングデバイス1100は、表示スクリーン1102を有し、これは、通常動作下において、表示スクリーンに面しているユーザ(または視聴者)に情報を表示する(例えば、表示スクリーンと同一のコンピューティングデバイスの側面上に)。この例におけるコンピューティングデバイスは、1つ以上の画像キャプチャ要素を含み得、この例では、デバイスの前面に2つの画像キャプチャ要素1104とデバイスの背面に2つの画像キャプチャ要素1106とを含むが、同様に、または代替的に、デバイスの側面、角部、または他の位置に配置され得る、さらに多いまたはより少ない画像キャプチャ要素が使用され得ることも理解されたい。画像キャプチャ要素は、類似または異なる種類のものであってもよい。各画像キャプチャ要素は、例えば、カメラ、電荷結合素子(CCD)、動き検出センサ、もしくは赤外線センサであってもよく、または他の画像キャプチャ技術を利用してもよい。このコンピューティングデバイスはまた、音声データをキャプチャすることができる少なくとも1つのマイクロホンまたは他の音声キャプチャ要素1108、および加速度計、ジャイロスコープ、デジタルコンパス、または慣性センサ等、動作および/または配向の判定を支持することができる1つ以上の配向決定要素1110を含み得る。
図12は、図11に関して記載されたデバイス1100等、コンピューティングデバイス1200の一組の基本構成を図示する。この例では、デバイスは、メモリデバイスまたは要素1204に記憶され得る命令を実行するための少なくとも1つのプロセッサ1202を含む。当業者には明らかであるように、デバイスは、プロセッサ1202による実行についてのプログラム命令のための第1のデータ記憶装置等、多種類のメモリ、データ記憶装置、またはコンピュータ可読媒体を含み得、同じかまたは別個の記憶装置を画像またはデータのために使用することができ、取り外し可能なメモリが他のデバイスとの情報の共有のために利用可能であり、あらゆる数の通信アプローチが他のデバイスとの共有に利用可能であり得る。デバイスは、典型的に、タッチスクリーン、電子インク(eインク)、有機発光ダイオード(OLED)、または液晶ディスプレイ(LCD)等、少なくとも1種類の表示要素1206を含むが、携帯型メディアプレーヤ等のデバイスは、音声スピーカを通じて等、他の手段を介して情報を伝達してもよい。記載のように、多数の実施形態におけるデバイスは、ユーザの相対位置を判定するように配置される少なくとも1つの画像キャプチャ要素、およびデバイスの付近のユーザ、人物、または他の可視オブジェクトを撮像するように動作可能な少なくとも1つの画像キャプチャ要素等、少なくとも2つの画像キャプチャ要素1208を含むことになる。画像キャプチャ要素は、ユーザがデバイスを操作しているときにユーザの画像をキャプチャするために十分な解像度、焦点範囲、および可視領域を有するCCD画像キャプチャ要素等、任意の適切な技術を含み得る。コンピュータデバイスとともに画像キャプチャ要素を使用して、画像または動画をキャプチャするための方法は、当該技術分野で周知であり、本明細書では詳細に説明しない。画像のキャプチャは、単一の画像、複数の画像、周期的な撮像、連続的な画像キャプチャ、画像ストリーミング等を使用して実行することができることを理解されたい。記載のように、IR撮像もまた、ユーザの特徴の位置を特定し、追跡するために使用することができる。このようなプロセスの例は、例えば、参照により本明細書に組み込まれる、2010年5月24日に出願された「Determining Relative Motion as Input」と題される同時継続中の米国特許出願第12/786,297号に記載されている。
装置は、加速度計、デジタルコンパス、電子ジャイロスコープ、または慣性センサ等、少なくとも1つの配向判定要素1210を含み得、これらは、デバイスの動作または他の配向の変化を判定することに役立ち得る。デバイスは、ユーザからの従来的な入力を受信することが可能な少なくとも1つの追加の入力デバイス1212を含み得る。この従来的な入力は、例えば、プッシュボタン、タッチパッド、タッチスクリーン、ホイール、ジョイスティック、キーボード、マウス、トラックボール、キーパッド、またはユーザがそれによってデバイスに命令を入力することができる任意の他のそのようなデバイスもしくは要素を含み得る。これらのデバイスは、いくつかの実施形態において、無線赤外線またはブルートゥースまたは他の接続によって、接続することもできる。いくつかの実施形態では、しかしながら、このようなデバイスは、ボタンを全く含まなくてもよく、ユーザが、デバイスと接触する必要なくデバイスを制御することができるように、視覚によるコマンドと音声によるコマンドの組み合わせを介してのみ制御することができる。
ユーザの顔の1つ以上の所望される特徴の位置を特定するための種々のアプローチを利用して、相対配向を判定するのに有用な種々の態様を決定することができる。例えば、画像を分析して、ユーザの頭部または顔のおおよその位置および寸法を判定することができる。図13(a)は、ユーザの頭部または顔1300のおおよその位置および領域を判定し、このような判定を行うための複数の画像分析アルゴリズムのうちの1つを使用して、位置を指定するものとして仮想「ボックス」1302を顔の周囲に配置する、実施例を図示する。1つのアルゴリズムを使用して、仮想「ボックス」をユーザの顔の周囲に配置し、相対ユーザ位置を監視するために、このボックスの位置および/または寸法を継続的に更新および監視する。類似のアルゴリズムを使用して、ユーザの眼(または場合によっては並行した眼)のそれぞれのおおよその位置および領域1304を判定することもできる。同様にユーザの眼の位置を判定することによって、ユーザの頭部であると判定された画像が、実際にユーザの頭部を含む可能性がより高くなり得、ユーザがデバイスの方を向いていることを判定することができるため、利点が得られる。さらに、ユーザの眼の相対動作は、うなずくことまたは頭部を前後に振ること等の動きを行う際、ユーザの頭部の全体的な動作よりも、より容易に検出することができる。ボックスの寸法を監視することにより、距離情報ならびに方向情報の提供も補助することができ、これは、相対ユーザ位置に基づいて画像情報を修正するための3次元モデルを生成する際に有益であり得る。
種々の他のアルゴリズムを使用して、ユーザの顔の特徴の位置を判定することができる。例えば、図13(b)は、ユーザの顔の種々の特徴を識別し、画像に点位置1306を割り当てる例を図示する。このシステムは、したがって、ユーザの特徴の種々の態様を検出し、配向のよりわずかな変化を判定することができる。このようなアプローチは、ある状況において、ユーザの眼が眼鏡、毛髪等のせいで見えない場合に、種々の他の特徴を判定することができるため、図13(a)の一般的アプローチに優る利点を提供する。
ユーザの顔の特徴の位置が識別されると、ユーザとデバイスとの間の相対的な動きを検出し、入力として利用することができる。例えば、図13(c)は、ユーザの頭部1300が、撮像要素の可視領域に対して上下に移動する例を図示する。記載されるように、これは、ユーザが彼または彼女の頭部を移動させるか、またはユーザがデバイスを上下に移動させる等の結果であり得る。図13(d)は、ユーザ、デバイス、または両方の動作を通じて、ユーザがデバイスに対して左右に動く類似の例を図示する。各動作は、それぞれ、垂直または水平の移動として追跡することができ、それぞれを、表示された画像を修正するための入力として別々に扱うことができる。理解されるように、このようなプロセスはまた、対角または他のこのような移動を検出することができる。図13(e)は、さらに、ユーザがデバイスおよび/またはユーザの頭部を傾け、眼の位置の相対変化が回転として検出される例を図示する。いくつかのシステムにおいて、眼の相対位置に対応する「線」を監視することができ、この線の角度の変移を、角度閾値と比較して、回転が入力として解釈される必要があるときを判定することができる。図13(f)は、図13(b)に関して記載されたもの等のアプローチを使用してユーザの顔の種々の特徴の位置を判定することの別の利点を図示する。この誇張された例では、第2のユーザの頭部1308の特徴は、異なる相対位置および分離を有することが理解できる。したがって、このデバイスはまた、ユーザの特徴の位置を判定することができるだけでなく、異なるユーザ間の区別を行うこともできる。
図14(a)および14(b)は、種々の実施形態に従って使用することができる、ユーザとデバイスとの間の相対距離における変動を判定するために使用可能なアプローチ例を図示する。図13(a)にあるように、ユーザの頭部または顔1400のおおよその位置および領域を判定し、このような判定を行うための複数の画像分析アルゴリズムのうちの1つを使用して、仮想「ボックス」1402を、距離を示すものとして顔の周囲に初期距離で配置する。ユーザが既知の場合、ユーザの頭部の寸法は、ユーザの実際の距離がボックス1402の寸法に少なくともある程度基づいて計算され得るように、記憶され得る。ユーザが既知ではない場合、距離は、立体撮像等の他の因子を使用して、推定または判定され得る。いくつかの実施形態において、判定は、実際の距離を判定することができない場合、初期ボックス寸法に対して相対的なものとなる。
ユーザとデバイスとの間の距離が変化する際、仮想ボックスの寸法も同様に変化することになる。例えば、図14(b)では、ユーザとデバイスとの間の距離が増加しており、その結果、ユーザの頭部1420は、キャプチャされた画像情報においてより小さく表れる。それに応じて、調整されたユーザの頭部の寸法に対する仮想ボックス1422の寸法は、初期距離に対する元のボックス1402よりも小さくなる。ユーザの頭部および/または他のこのような特徴(例えばボックス1424)のボックスの寸法または他の測定値における調整を監視することによって、デバイスは、ユーザまでのおおよその距離および/または距離の変化を判定することができる。記載されるように、この情報を使用して、ズームのレベルまたは細部の量等、表示される画像情報の態様を調整することができる。
いくつかの実施形態において、コンピューティングデバイスは、コンピューティングデバイスのアルゴリズムが、その領域に対応する画像データの分析を行うことだけが必要であるように、キャプチャされた画像において、ユーザの眼または別のこのような特徴に対応するおおよその目的範囲または領域を判定して追跡することができ、これにより、画像、特に高解像度のフルカラー画像に必要とされる処理の量を大幅に減少させることができる。
多数の他のアプローチを、種々の実施形態の範囲内で同様に使用することができる。例えば、熱撮像または他のこのようなアプローチを使用して、人間ユーザの少なくともいくつかの態様の位置を判定し、追跡しようと試みることができる。多くの場合には、撮像システムは、マスマーケティングのために十分に小型かつ安価であることが望ましく、その結果、単純または従来の撮像アプローチおよび構成要素が好ましくあり得る。
前述のように、少なくともいくつかの実施形態においては、ユーザの位置を判定するために少なくとも2つの撮像要素を利用すること(すならち、立体撮像)、ならびに表示される画像情報をキャプチャすることが望ましくあり得る。ほぼ全ての状況において、撮像要素の位置は、ユーザの眼からのオフセットとなり、その結果、表示された画像の整合性を確保するために、いくつかの画像の変換および視野角の調節を行う必要があり得る。特にユーザの視点からの画像安定化等のアプリケーションの場合、これは、ユーザの眼からオフセットであるカメラからもたらされる視野角の差を補償するために重要であり得る。
少なくとも1つの実施形態において、画像情報をキャプチャする撮像要素は、大きな角度範囲にわたって画像情報をキャプチャすることが可能な比較的高解像度のカメラである。撮像要素に対するユーザの眼のオフセットは、多くの状況において、ウインドウの効果をあまり理想的でないようにするであろう視差効果をもたらし得る。カメラからの世界観がユーザによる世界観と一致するようにオフセットを補償するために、デバイスが必要に応じてユーザの視点に一致するように表示を回転することを可能にする、周辺領域の3次元モデルを生成することができる。ステレオカメラを用いることなく、デバイスは、画像を変換するか、または他の操作を行うことによって、視差効果を最小限に抑えようと試み得るが、オフセットのためある程度のわずかな差異が存在するであろう。
記載されるように、異なるアプローチを、記載される実施形態に従う種々の環境において実装することができる。例えば、図15は、種々の実施形態に従う態様を実装するための環境例1500を図示する。理解されるように、ウェブに基づく環境を説明目的で使用するが、異なる環境を適宜使用して種々の実施形態を実施することができる。このシステムは、電子クライアントデバイス1502を含み、これは、適切なネットワーク1504上で要求、メッセージ、または情報を送信および受信し、デバイスのユーザに情報を戻して伝達するように動作可能な任意の適切なデバイスを含み得る。このようなクライアントデバイスの例には、パーソナルコンピュータ、携帯電話、携帯型メッセージングデバイス、ラップトップ型コンピュータ、セットトップボックス、個人データ端末、電子ブックリーダ等が挙げられる。ネットワークは、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワーク、もしくは任意の他のこのようなネットワーク、またはそれらの組み合わせを含む適切なネットワークが含まれ得る。このようなシステムに使用される構成要素は、選択されたネットワークおよび/または環境の種類に少なくともある程度依存し得る。このようなネットワークを介した通信のためのプロトコルおよび構成要素は、周知であり、本明細書では詳細に説明しない。ネットワーク上の通信は、有線または無線接続、およびそれらの組み合わせを介して可能であり得る。この例において、このネットワークは、環境が要求を受信し、それに応答してコンテンツを供給するためのウェブサーバ1506を含むため、インターネットを含むが、他のネットワークの場合、当業者には明らかであるように、類似の目的を果たす代替的なデバイスを使用することもできる。
例示的な環境には、少なくとも1つのアプリケーションサーバ1508およびデータストア1510が含まれる。複数のアプリケーションサーバ、層もしくは他の要素、プロセス、または構成要素が存在し得、それらは、適切なデータストアからのデータ取得等のタスクを実行するように連結またはさもなければ構成され得、かつ対話することができることを理解されたい。本明細書に使用される際、「データストア」という用語は、データを記憶し、それにアクセスし、それを取り出すことが可能な任意のデバイスまたはデバイスの組み合わせを指し、これには、任意の標準的、分散型、またはクラスタ型環境において、あらゆる組み合わせおよびあらゆる数のデータサーバ、データベース、データ記憶デバイス、およびデータ記憶媒体が含まれ得る。アプリケーションサーバ1508は、クライアントデバイスの1つ以上のアプリケーションの態様を実行するために必要に応じてデータストア1510と統合し、アプリケーションのための多数のデータアクセスおよびビジネスロジックを処理するための、任意の適切なハードウェアおよびソフトウェアを含み得る。アプリケーションサーバは、データストアと連携してアクセス制御サービスを提供し、ユーザに転送するための文字、グラフィック、音声、および/または動画等のコンテンツを生成することができ、これが、この例では、HTML、XML、または別の適切な構造化言語の形態で、ウェブサーバ1506によってユーザに供給され得る。全ての要求および応答の処理、ならびにクライアントデバイス1502とアプリケーションサーバ1508との間のコンテンツの送達は、ウェブサーバ1506によって処理することができる。ウェブサーバおよびアプリケーションサーバは、本明細書に記載の構造化コードが、本明細書の他の箇所に記載のように、任意の適切なデバイス上またはホストマシン上で実行可能であるため、必須ではなく、単なる構成要素例であることを理解されたい。
データストア1510は、複数の別個のテーブル、データベースまたは他のデータ記憶機構、および特定の態様に関するデータを記憶するための媒体を含み得る。例えば、図示されるデータストアには、コンテンツ(例えば、生産データ)1512およびユーザ情報1516を記憶するための機構が含まれ、これを使用して、生産側にコンテンツを供給することができる。データストアには、ログまたはセッションデータ1514を記憶するための機構が含まれることも示される。ページの画像情報およびアクセス権情報等、データストアに記憶する必要があり得る多数の他の態様が存在し得、これは、必要に応じて上に列挙された機構のいずれか、またはデータストア1510内の追加の機構に記憶することができることを理解されたい。データストア1510は、それと関連付けられた論理を通じて、アプリケーションサーバ1508からの命令を受信し、それに応答してデータを取得、更新、またはさもなければ処理するように動作可能である。一例において、ユーザは、ある種類の物品に対する検索要求を提出することができる。この事例において、データストアは、ユーザ情報にアクセスして、ユーザの識別情報を検証することができ、カタログの詳細情報にアクセスして、その種類の物品についての情報を取得することができる。この情報は、次いで、ユーザがユーザデバイス1502上のブラウザを介して見ることができるウェブページ上の結果一覧等で、ユーザに返却され得る。目的とされる特定の物品についての情報は、専用のページまたはブラウザのウインドウで見ることができる。
各サーバは、典型的に、そのサーバの一般的な管理および動作のための実行可能なプログラム命令を提供するオペレーティングシステムを含み、典型的に、サーバのプロセッサによって実行されると、サーバにその意図される機能を行わせる命令を記憶する、コンピュータ可読媒体を含むことになる。サーバのオペレーティングシステムおよび一般的な機能性の好適な実装は、既知であるか、または商業的に入手可能であり、特に、本明細書の開示を踏まえて、当業者によって容易に実装可能である。
一実施形態における環境は、1つ以上のコンピュータネットワークまたは直接接続を使用し、通信リンクを介して相互接続された複数のコンピュータシステムおよび構成要素を利用する、分散型コンピューティング環境である。しかしながら、このようなシステムは、図15に図示されるものよりも少ないかまたは多い構成要素を有するシステムにおいても、同様に良好に動作し得ることが当業者には理解されるであろう。したがって、図15のシステム1500の描写は、本質的に例示するものとみなされるべきであり、本開示の範囲を制限するものではない。
種々の実施形態は、広範な種類の動作環境でさらに実装され得、これは、いくつかの場合において、任意の数のアプリケーションを操作するために使用可能な1つ以上のユーザコンピュータまたはコンピューティングデバイスを含み得る。ユーザまたはクライアントデバイスは、標準的なオペレーティングシステムを起動させるデスクトップ型またはラップトップ型コンピュータ、ならびに、モバイルソフトウェアを起動させ、多数のネットワークおよびメッセージプロトコルをサポートすることが可能な携帯電話、無線、および携帯型デバイス等、あらゆる数の汎用パーソナルコンピュータを含み得る。このようなシステムはまた、開発およびデータベース管理等の目的で様々な商業的に入手可能なオペレーティングシステムおよび他の既知のアプリケーションのいずれかを起動させる、多数のワークステーションを含み得る。これらのデバイスはまた、ダミーターミナル、シンクライアント、ゲームシステム、およびネットワークを介して通信可能な他のデバイス等、他の電子デバイスを含み得る。
大半の実施形態は、TCP/IP、OSI、FTP、UPnP、NFS、CIFS、およびAppleTalk等の様々な商業的に入手可能なプロトコルのいずれかを用いて通信をサポートするために、当業者に周知の少なくとも1つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、広域ネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、およびそれらの任意の組み合わせであり得る。
ウェブサーバを利用する実施形態においては、ウェブサーバは、HTTPサーバ、FTPサーバ、CGIサーバ、データサーバ、Java(登録商標)サーバ、およびビジネスアプリケーションサーバを含む、あらゆる種類のサーバまたは中間層アプリケーションを起動させることができる。サーバ(複数可)はまた、ユーザデバイスからの要求に応答して、Java(登録商標)、C、C#、もしくはC++等の任意のプログラミング言語、またはPerl、Python、もしくはTCL等の任意のスクリプト言語、ならびにそれらの組み合わせで書かれた1つ以上のスクリプトまたはプログラムとして実装可能な1つ以上のウェブアプリケーションを実行することによって等、プログラムまたはスクリプトを実行することが可能である。サーバ(複数可)は、Oracle(登録商標)、Microsoft(登録商標)、Sybase(登録商標)、およびIBM(登録商標)から商業的に入手可能なもの含むが、これらに限定されないデータベースサーバも含み得る。
環境は、上述の種々のデータストアならびに他のメモリおよび記憶媒体を含み得る。これらは、コンピュータのうちの1つ以上に対してローカルである(および/もしくはその中に含まれる)、またはネットワーク全体にわたってコンピュータのいずれかまたは全てからリモートである、記憶媒体上等、様々な位置に存在し得る。特定の組の実施形態において、情報は、当業者に熟知されたストレージエリアネットワーク(SAN)内に存在してもよい。同様に、コンピュータ、サーバ、または他のネットワークデバイスに属する機能を実行するために必要な任意のファイルを、必要に応じてローカルおよび/またはリモートで記憶することができる。システムがコンピュータ化デバイスを含む場合、各このようなデバイスは、バスを介して電気的に接続され得るハードウェア要素を含み得、この要素には、例えば、少なくとも1つの中央処理装置(CPU)、少なくとも1つの入力デバイス(例えば、マウス、キーボード、コントローラ、タッチセンサ式表示要素、またはキーパッド)、および少なくとも1つの出力デバイス(例えば、表示デバイス、プリンタ、またはスピーカ)が含まれる。このようなシステムはまた、ディスクドライブ、光学記憶デバイス、ならびに、ランダムアクセスメモリ(RAM)または読み出し専用メモリ(ROM)、ならびに取り外し可能記憶デバイス、メモリカード、フラッシュカード等のソリッドステート記憶デバイス等、1つ以上の記憶デバイスを含み得る。
このような装置はまた、上述のように、コンピュータ可読記憶媒体リーダ、通信デバイス(例えば、モデム、ネットワークカード(無線または有線)、赤外線通信デバイス)、および作業メモリを含み得る。コンピュータ可読記憶媒体リーダは、コンピュータ可読情報を、一時的および/または恒久的に含む、記憶する、伝達する、および取り出すための、リモート、ローカル、固定、および/または取り外し可能記憶デバイス、ならびに記憶媒体を表す、コンピュータ可読記憶媒体と接続するか、またはそれを受信するように構成することができる。このシステムおよび種々のデバイスはまた、典型的に、オペレーティングシステムおよびクライアントアプリケーションまたはウェブブラウザ等のアプリケーションプログラムを含む、少なくとも1つの作業メモリデバイス内に位置する多数のソフトウェアアプリケーション、モジュール、サービス、または他の要素を含む。代替的な実施形態は、上述のものからの多数の変化形を有し得ることを理解されたい。例えば、特製のハードウェアもまた使用可能である、および/または特定の要素をハードウェア、ソフトウェア(アプレット等のポータブルソフトウェアを含む)、もしくはその両方に実装することができる。さらに、ネットワーク入力/出力デバイス等の他のコンピューティングデバイスへの接続を採用してもよい。
コード、またはコードの部分を含むための記憶媒体およびコンピュータ可読媒体は、例えば、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータ等の情報の記憶および/または伝達のための任意の方法または技術において実装される、揮発性および不揮発性、取り外し可能および固定型媒体等であるが、これらに限定されない記憶媒体および通信媒体を含む、当該技術分野で既知または使用されている任意の適切な媒体を含み得、RAM、ROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)もしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または所望の情報を記憶するために使用可能であり、システムデバイスによってアクセス可能である任意の他の媒体を含む。本明細書に提供される開示および教示に基づいて、当業者であれば、種々の実施形態を実装するための他の手段および/または方法を理解するであろう。
本明細書および図面は、したがって、限定的な意味ではなく、例示とみなされるものである。しかしながら、種々の修正および変更が、特許請求の範囲に記載される本発明のより広範な精神と範囲から逸脱することなく、そこになされ得ることは明らかであろう。
付記
1.視点依存性画像表示を提供する方法であって、
電子デバイスのユーザの少なくとも1つの画像を、電子デバイスの少なくとも1つの撮像要素を使用してキャプチャすることと、
少なくとも1つの第1の画像に少なくともある程度基づいて、電子デバイスに対するユーザの第1の相対視点を判定することと、
複数のオブジェクトのグラフィック表示を生成するための情報を取得することと、
電子デバイスの表示要素上での表示のために複数のオブジェクトの第1のグラフィック表示をレンダリングすることであって、第1のグラフィック表示は、複数のオブジェクトのうちの第1のオブジェクトが複数のオブジェクトのうちの第2のオブジェクトによって第1の量で閉塞されるように、ユーザの第1の相対視点に対応するようにレンダリングされていることと、
電子デバイスに対するユーザの第2の相対視点を判定することであって、第2の相対視点は、第1の相対視点とは異なることと、
表示要素上での表示のために複数のオブジェクトの第2のグラフィック表示をレンダリングすることであって、第2のグラフィック表示は、複数のオブジェクトのうちの第1のオブジェクトが、複数のオブジェクトのうちの第2のオブジェクトを第2の量で閉塞するように、ユーザの第2の相対視点に対応するようにレンダリングされ、第1の量は第2の量とは異なることと、を含む、方法。
2.第1の量および第2の量のうちの1つは、ゼロである、付記1に記載の方法。
3.ユーザの少なくとも1つの第1の画像は、電子デバイスに対するユーザの3次元相対位置を判定するための少なくとも2つの撮像要素を使用してキャプチャされる、付記1に記載の方法。
4.第2の相対視点を判定することは、
ユーザの少なくとも1つの第2の画像をキャプチャすること、および
電子デバイスの少なくとも1つの配向判定要素を使用して、配向の変化を検出すること、のうちの少なくとも1つを含む、付記1に記載の方法。
5.表示のために複数のオブジェクトの第2のグラフィック表示をレンダリングすることは、3次元モデルを利用して閉塞の第1の量および第2の量を判定することを含む、付記1に記載の方法。
6.表示のために複数のオブジェクトの第2のグラフィック表示をレンダリングすることは、少なくとも1つのオブジェクトの表示された位置を、透視点の変化に基づいて変移させることを含み、変移させることによって、第1の画像において少なくとも1つのオブジェクトによって以前は閉塞されていた画像コンテンツの表示を提供する、付記1に記載の方法。
7.表示のために複数のオブジェクトの第2のグラフィック表示をレンダリングすることは、複数のオブジェクトのグラフィック表示のレンダリングおよびシェーディングのうちの少なくとも1つを、相対視点の変化、配向の変化、および少なくとも1つの光源の相対位置の変化のうちの少なくとも1つに少なくともある程度基づいて、更新することを含む、付記1に記載の方法。
8.電子デバイス上での表示のために複数のオブジェクトの画像のグラフィック表示を提供する方法であって、
ユーザの画像データに少なくともある程度基づいて、電子デバイスに対するユーザの第1の相対視点を判定することと、
画像の第1のグラフィック表示を、電子デバイスの表示要素上に表示されるようにレンダリングすることであって、第1のグラフィック表示は、第1の相対視点に少なくともある程度基づいてレンダリングされる、第1のオブジェクトと第2のオブジェクトと、を含み、第1のオブジェクトは、第2のオブジェクトを少なくとも部分的に閉塞することと、
第1の相対視点から第2の相対視点への変化を検出することと、
第2の相対視点に少なくともある程度基づいて、画像の第2のグラフィック表示を、表示要素上に表示されるようにレンダリングすることであって、画像の第2のグラフィック表示は、第1の相対視点から第2の相対視点への検出された変化に従って変化することと、を含む、方法。
9.ユーザの画像データは、電子デバイスの撮像要素から少なくともある程度取得される、付記8に記載の方法。
10.第1の相対視点から第2の相対視点への検出された変化は、ユーザの動作および電子デバイスの動作のうちの少なくとも1つに少なくともある程度基づく、付記8に記載の方法。
11.第1の相対視点および第2の相対視点のうちの少なくとも1つは、電子デバイスの少なくとも1つの画像キャプチャ要素を使用して取得されるデータに少なくともある程度基づいて判定される、付記8に記載の方法。
12.第1のグラフィック表示および第2のグラフィック表示のうちの少なくとも1つは、地図データ、地理データ、および3次元位置データのうちの少なくとも1つを含む、付記8に記載の方法。
13.第2のグラフィック表示は、第1のグラフィック表示において第2のオブジェクトによって閉塞される第1のオブジェクトの一部分を含む、付記8に記載の方法。
14.ユーザと電子デバイスとの間の第1の相対視点を判定することは、少なくとも2つの撮像要素を使用して、電子デバイスに対するユーザの3次元相対位置を判定することを含む、付記8に記載の方法。
15.第1の相対視点および第1の相対視点から第2の相対視点への検出された変化のうちの少なくとも1つを判定することは、ユーザの画像データを、熱撮像、赤外線放射検出、および動き検出のうちの少なくとも1つによってキャプチャすることを含む、付記8に記載の方法。
16.画像の第1のグラフィック表示をレンダリングすることは、少なくとも1つの光源の判定された相対位置に少なくともある程度基づいて、ライティングおよびシェーディングのうちの少なくとも1つを行うこと含む、付記8に記載の方法。
17.光源は、仮想光源または電子デバイス付近の物理光源のうちの少なくとも1つである、付記16に記載の方法。
18.第2のグラフィック表示における第2のオブジェクトの位置の変化は、第2のオブジェクトの位置、現在のズームレベル、および相対ユーザ距離のうちの少なくとも1つに少なくともある程度基づく、付記8に記載の方法。
19.画像のレンダリングされた第2のグラフィック表示の少なくとも一部分に、少なくとも1つのアニメーションをレンダリングすることをさらに含む、付記8に記載の方法。
20.第1または第2のグラフィック表示における少なくとも1つのオブジェクトは、3次元の関連データを有し、少なくとも1つのオブジェクトは、第1の相対視点から第2の相対視点への検出された変化に少なくともある程度対応するように回転可能である、付記8に記載の方法。
21.第2のグラフィック表示は、追加の情報を提供する第2のオブジェクトの回転表示を含む、付記8に記載の方法。
22.コンピューティングデバイスであって、
プロセッサと、
表示要素と、
少なくとも1つの画像キャプチャ要素と、
プロセッサによって実行されて、一組の行為を実行するように動作可能な命令を含むメモリデバイスであって、コンピューティングデバイスが、
少なくとも1つの画像キャプチャ要素から取得されるユーザの画像に基づいて、ユーザおよびコンピューティングデバイスのうちの少なくとも1つの第1の相対視点を判定することと、
画像の第1のグラフィック表示を表示要素上に表示されるようにレンダリングすることであって、第1のグラフィック表示は、第1の視点と関連付けられた第1の透視点からレンダリングされることと、
第1の相対視点から第2の相対視点への変化を検出することに応答して、画像の第2のグラフィック表示を表示要素上に表示されるようにレンダリングすることであって、第2のグラフィック表示は、第2の相対視点と関連付けられた第2の透視点からレンダリングされることと、を行うことを可能にする、メモリデバイスと、を備え、
グラフィック表示がレンダリングされる透視点は、第1の相対視点と第2の相対視点との間の検出された変化に従って変化する、コンピューティングデバイス。
23.第1の相対視点と第2の相対視点との間の検出された変化は、ユーザの動作およびコンピューティングデバイスの動作のうちの少なくとも1つを検出することによって判定される、付記22に記載のコンピューティングデバイス。
24.コンピューティングデバイスの配向および位置の変化のうちの少なくとも1つを判定するように動作可能な少なくとも1つの配向判定要素をさらに備える、付記22に記載のコンピューティングデバイス。
25.表示されるグラフィック表示のライティングおよびシェーディングのうちの少なくとも1つで用いるための少なくとも1つの光感知要素をさらに備える、付記22に記載のコンピューティングデバイス。

Claims (15)

  1. 電子デバイス上での表示のために複数のオブジェクトの画像のグラフィック表示を提供する方法であって、
    ユーザの画像データに少なくともある程度基づいて、前記電子デバイスに対するユーザの第1の相対視点を判定することと、
    前記画像の第1のグラフィック表示を、前記電子デバイスの表示要素上に表示されるようにレンダリングすることであって、前記第1のグラフィック表示は、前記第1の相対視点に少なくともある程度基づいてレンダリングされる第1のオブジェクトおよび第2のオブジェクトを含み、前記第1のオブジェクトは、前記第2のオブジェクトを少なくとも部分的に閉塞することと、
    前記第1の相対視点から第2の相対視点への変化を検出することと、
    前記第2の相対視点に少なくともある程度基づいて、前記画像の第2のグラフィック表示を、前記表示要素上に表示されるようにレンダリングすることであって、前記画像の前記第2のグラフィック表示は、前記第1の相対視点から前記第2の相対視点への検出された変化に従って変化することと、を含む、方法。
  2. 前記ユーザの前記画像データは、前記電子デバイスの撮像要素から少なくともある程度取得される、請求項1に記載の方法。
  3. 前記第1の相対視点から前記第2の相対視点への前記検出された変化は、前記ユーザの動作および前記電子デバイスの動作のうちの少なくとも1つに少なくともある程度基づく、請求項1に記載の方法。
  4. 前記第1の相対視点および前記第2の相対視点のうちの少なくとも1つは、前記電子デバイスの少なくとも1つの画像キャプチャ要素を使用して取得されるデータに少なくともある程度基づいて判定される、請求項1に記載の方法。
  5. 前記第2のグラフィック表示は、前記第1のグラフィック表示において前記第2のオブジェクトによって閉塞される前記第1のオブジェクトの一部分を含む、請求項1に記載の方法。
  6. 前記ユーザと前記電子デバイスとの間の前記第1の相対視点を判定することは、少なくとも2つの撮像要素を使用して、前記電子デバイスに対する前記ユーザの3次元相対位置を判定することを含む、請求項1に記載の方法。
  7. 前記第1の相対視点および前記第1の相対視点から前記第2の相対視点への前記検出された変化のうちの少なくとも1つを判定することは、前記ユーザの画像データを、熱撮像、赤外線放射検出、および動き検出のうちの少なくとも1つによってキャプチャすることを含む、請求項1に記載の方法。
  8. 前記画像の前記第1のグラフィック表示をレンダリングすることは、少なくとも1つの光源の判定された相対位置に少なくともある程度基づいて、ライティングおよびシェーディングのうちの少なくとも1つを行うことを含む、請求項1に記載の方法。
  9. 前記第2のグラフィック表示における前記第2のオブジェクトの位置の変化は、前記第2のオブジェクトの位置、現在のズームレベル、および相対ユーザ距離のうちの少なくとも1つに少なくともある程度基づく、請求項1に記載の方法。
  10. 前記第1または第2のグラフィック表示における少なくとも1つのオブジェクトは、3次元の関連データを有し、前記少なくとも1つのオブジェクトは、前記第1の相対視点から前記第2の相対視点への前記検出された変化に少なくともある程度対応するように回転可能である、請求項1に記載の方法。
  11. 前記第2のグラフィック表示は、追加の情報を提供する前記第2のオブジェクトの回転表示を含む、請求項1に記載の方法。
  12. コンピューティングデバイスであって、
    プロセッサと、
    表示要素と、
    少なくとも1つの画像キャプチャ要素と、
    前記プロセッサによって実行されて、一組の行為を実行するように動作可能な命令を含むメモリデバイスであって、前記コンピューティングデバイスが、
    前記少なくとも1つの画像キャプチャ要素から取得されるユーザの画像に基づいて、前記ユーザおよび前記コンピューティングデバイスのうちの少なくとも1つの第1の相対視点を判定することと、
    画像の第1のグラフィック表示を前記表示要素上に表示されるようにレンダリングすることであって、前記第1のグラフィック表示は、前記第1の相対視点と関連付けられた第1の透視点からレンダリングされることと、
    前記第1の相対視点から第2の相対視点への変化を検出することに応答して、前記画像の第2のグラフィック表示を前記表示要素上に表示されるようにレンダリングすることであって、前記第2のグラフィック表示は、前記第2の相対視点と関連付けられた第2の透視点からレンダリングされることと、を行うことを可能にする、メモリデバイスと、を備え、
    前記グラフィック表示がレンダリングされる前記透視点は、前記第1の相対視点と前記第2の相対視点との間の前記検出された変化に従って変化する、コンピューティングデバイス。
  13. 前記第1の相対視点と前記第2の相対視点との間の前記検出された変化は、前記ユーザの動作および前記コンピューティングデバイスの動作のうちの少なくとも1つを検出することによって判定される、請求項12に記載のコンピューティングデバイス。
  14. 前記コンピューティングデバイスの配向および位置の変化のうちの少なくとも1つを判定するように動作可能な少なくとも1つの配向判定要素をさらに備える、請求項12に記載のコンピューティングデバイス。
  15. 表示される前記グラフィック表示のライティングおよびシェーディングのうちの少なくとも1つで用いるための少なくとも1つの光感知要素をさらに備える、請求項12に記載のコンピューティングデバイス。
JP2014520334A 2011-07-12 2012-07-12 3次元特徴シミュレーション Pending JP2014525089A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161507110P 2011-07-12 2011-07-12
US61/507,110 2011-07-12
US13/209,243 US9041734B2 (en) 2011-07-12 2011-08-12 Simulating three-dimensional features
US13/209,243 2011-08-12
PCT/US2012/046518 WO2013010011A1 (en) 2011-07-12 2012-07-12 Simulating three-dimensional features

Publications (2)

Publication Number Publication Date
JP2014525089A true JP2014525089A (ja) 2014-09-25
JP2014525089A5 JP2014525089A5 (ja) 2015-09-10

Family

ID=47506544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014520334A Pending JP2014525089A (ja) 2011-07-12 2012-07-12 3次元特徴シミュレーション

Country Status (5)

Country Link
US (1) US9041734B2 (ja)
EP (1) EP2732436B1 (ja)
JP (1) JP2014525089A (ja)
CN (1) CN103797443B (ja)
WO (1) WO2013010011A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626939B1 (en) 2011-03-30 2017-04-18 Amazon Technologies, Inc. Viewer tracking image display

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
JP5724544B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5922349B2 (ja) * 2011-07-27 2016-05-24 京セラ株式会社 表示機器、制御システムおよび制御プログラム
US9129400B1 (en) * 2011-09-23 2015-09-08 Amazon Technologies, Inc. Movement prediction for image capture
KR101810170B1 (ko) * 2011-10-10 2017-12-20 삼성전자 주식회사 사용자 위치 기반 이미지 표시 방법 및 장치
US20130093667A1 (en) * 2011-10-12 2013-04-18 Research In Motion Limited Methods and devices for managing views displayed on an electronic device
US9852135B1 (en) 2011-11-29 2017-12-26 Amazon Technologies, Inc. Context-aware caching
US9183807B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US9229231B2 (en) 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
KR20130068700A (ko) * 2011-12-16 2013-06-26 삼성전자주식회사 전자서적을 표시하는 방법 및 장치
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
WO2013108314A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 3次元映像処理装置および方法
US8884928B1 (en) * 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
JP2013162487A (ja) * 2012-02-08 2013-08-19 Canon Inc 画像表示装置及び撮像装置
KR101977638B1 (ko) * 2012-02-29 2019-05-14 삼성전자주식회사 영상 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
US9785201B2 (en) * 2012-03-01 2017-10-10 Microsoft Technology Licensing, Llc Controlling images at mobile devices using sensors
KR101945822B1 (ko) * 2012-03-02 2019-02-11 삼성전자 주식회사 단말기에서 페이지 표시 방법 및 장치
US8971928B2 (en) * 2012-04-10 2015-03-03 Here Global B.V. Method and system for changing geographic information displayed on a mobile device
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US11073959B2 (en) * 2012-06-08 2021-07-27 Apple Inc. Simulating physical materials and light interaction in a user interface of a resource-constrained device
US8922557B2 (en) 2012-06-29 2014-12-30 Embarcadero Technologies, Inc. Creating a three dimensional user interface
KR101916663B1 (ko) * 2012-12-18 2018-11-08 삼성전자주식회사 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치
EP2752730B1 (en) * 2013-01-08 2019-04-03 Volvo Car Corporation Vehicle display arrangement and vehicle comprising a vehicle display arrangement
US9773346B1 (en) * 2013-03-12 2017-09-26 Amazon Technologies, Inc. Displaying three-dimensional virtual content
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
US8922587B2 (en) * 2013-03-14 2014-12-30 The United States Of America As Represented By The Secretary Of The Army Crew shared video display system and method
US9478065B2 (en) 2013-03-14 2016-10-25 Robert Bosch Gmbh System and method for remote generation of indirect illumination sources in three-dimensional graphics
US9110541B1 (en) * 2013-03-14 2015-08-18 Amazon Technologies, Inc. Interface selection approaches for multi-dimensional input
US9772764B2 (en) 2013-06-06 2017-09-26 Microsoft Technology Licensing, Llc Accommodating sensors and touch in a unified experience
DE202013007353U1 (de) * 2013-08-14 2014-11-18 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Mobile Einheit zur Anzeige von 3D-Bilddaten
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9591295B2 (en) * 2013-09-24 2017-03-07 Amazon Technologies, Inc. Approaches for simulating three-dimensional views
EP2866182A1 (en) * 2013-10-25 2015-04-29 Nokia Technologies OY Providing contextual information
US9865033B1 (en) 2014-01-17 2018-01-09 Amazon Technologies, Inc. Motion-based image views
WO2015112857A1 (en) * 2014-01-24 2015-07-30 Amazon Technologies, Inc. Create and view lenticular photos on table and phone
US20150235408A1 (en) * 2014-02-14 2015-08-20 Apple Inc. Parallax Depth Rendering
US10282390B2 (en) * 2014-02-24 2019-05-07 Sony Corporation Method and device for reproducing a content item
US9652031B1 (en) * 2014-06-17 2017-05-16 Amazon Technologies, Inc. Trust shifting for user position detection
US9857869B1 (en) * 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
WO2016036425A1 (en) * 2014-09-05 2016-03-10 Ballcraft, Llc Motion detection for portable devices
US9733790B2 (en) 2014-10-30 2017-08-15 Disney Enterprises, Inc. Haptic interface for population of a three-dimensional virtual environment
US10146303B2 (en) 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
CN104575357A (zh) * 2015-01-21 2015-04-29 昆山龙腾光电有限公司 一种稳定手持设备显示画面的方法、系统及手持装置
US9984494B2 (en) * 2015-01-26 2018-05-29 Uber Technologies, Inc. Map-like summary visualization of street-level distance data and panorama data
US10289820B2 (en) * 2015-02-24 2019-05-14 Motorola Mobility Llc Multiuse 3D IR for electronic device
KR20160106985A (ko) * 2015-03-03 2016-09-13 삼성전자주식회사 이미지 표시 방법 및 전자 장치
CN105988578B (zh) 2015-03-04 2019-06-21 华为技术有限公司 一种交互式视频显示的方法、设备及系统
US9813621B2 (en) 2015-05-26 2017-11-07 Google Llc Omnistereo capture for mobile devices
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) * 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
WO2017058662A1 (en) * 2015-09-30 2017-04-06 Applle Inc. Method, device and program to display 3d representations of an object based on orientation information of the display
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
DE112016007223T5 (de) * 2016-10-13 2019-07-04 Ford Motor Company Dualmodus-Schnittstellen für erweiterte Realität für mobile Vorrichtungen
CN106683152B (zh) * 2016-11-16 2019-09-20 腾讯科技(深圳)有限公司 三维视觉效果模拟方法及装置
KR20180072983A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 디스플레이 장치 및 방법
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
DE102017114450B4 (de) * 2017-06-29 2020-10-08 Grammer Aktiengesellschaft Vorrichtung und Verfahren zum Abbilden von Bereichen
EP3502837B1 (en) * 2017-12-21 2021-08-11 Nokia Technologies Oy Apparatus, method and computer program for controlling scrolling of content
US10430016B2 (en) 2017-12-22 2019-10-01 Snap Inc. Augmented reality user interface control
EP3540697A1 (en) * 2018-03-13 2019-09-18 Thomson Licensing Method and apparatus for processing a 3d scene
US10909747B2 (en) 2018-03-28 2021-02-02 Facebook Technologies, Llc Systems and methods for providing immersive graphical interfaces
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US10929982B2 (en) * 2019-01-25 2021-02-23 Google Llc Face pose correction based on depth information
US11087489B2 (en) * 2019-06-03 2021-08-10 Disney Enterprises, Inc. Systems and methods to facilitate interaction by one or more participants with content presented across multiple distinct physical locations
CN112529784B (zh) * 2019-09-18 2024-05-28 华为技术有限公司 图像畸变校正方法及装置
TWI766316B (zh) * 2020-07-22 2022-06-01 財團法人工業技術研究院 可透光顯示系統及其圖像輸出方法與處理裝置
US11315291B1 (en) 2021-01-29 2022-04-26 International Business Machines Corporation Shine visualization
WO2024015051A1 (en) * 2022-07-13 2024-01-18 Google Llc Immmersive digital map navigation using one hand

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004271671A (ja) * 2003-03-06 2004-09-30 Sharp Corp 画像表示装置及びそれを備えた端末装置
JP2008516352A (ja) * 2004-10-13 2008-05-15 シーメンス アクチエンゲゼルシヤフト 強化現実システムにおける照明シミュレーションおよび影シミュレーションのための装置および方法
JP2008129775A (ja) * 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法
JP2010122879A (ja) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab 端末装置、表示制御方法および表示制御プログラム
US20100225743A1 (en) * 2009-03-05 2010-09-09 Microsoft Corporation Three-Dimensional (3D) Imaging Based on MotionParallax

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5850211A (en) 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
JP3749369B2 (ja) 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
US6392667B1 (en) * 1997-06-09 2002-05-21 Aprisma Management Technologies, Inc. Method and apparatus for representing objects as visually discernable entities based on spatial definition and perspective
US6750848B1 (en) 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
JP3795647B2 (ja) 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6272231B1 (en) 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6766036B1 (en) 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US8686922B2 (en) 1999-12-15 2014-04-01 American Vehicular Sciences Llc Eye-location dependent vehicular heads-up display system
JP3561463B2 (ja) 2000-08-11 2004-09-02 コナミ株式会社 3dビデオゲームにおける擬似カメラ視点移動制御方法及び3dビデオゲーム装置
WO2002015560A2 (en) 2000-08-12 2002-02-21 Georgia Tech Research Corporation A system and method for capturing an image
US7688306B2 (en) * 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
JP2002164990A (ja) 2000-11-28 2002-06-07 Kyocera Corp 携帯通信端末装置
DE10122917A1 (de) 2001-05-11 2002-11-14 Byk Gardner Gmbh Vorrichtung und Verfahren zur Bestimmung der Eigenschaften von reflektierenden Körpern
JP2002351603A (ja) 2001-05-25 2002-12-06 Mitsubishi Electric Corp 携帯情報処理装置
US6959102B2 (en) 2001-05-29 2005-10-25 International Business Machines Corporation Method for increasing the signal-to-noise in IR-based eye gaze trackers
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
AU2003214595A1 (en) 2002-03-07 2003-09-16 Yechezkal Evan Spero Enhanced vision for driving
JP4001227B2 (ja) * 2002-05-16 2007-10-31 任天堂株式会社 ゲーム装置及びゲームプログラム
US7033025B2 (en) * 2002-05-17 2006-04-25 Virtocc, Inc. Interactive occlusion system
US6956566B2 (en) 2002-05-23 2005-10-18 Hewlett-Packard Development Company, L.P. Streaming of images with depth for three-dimensional graphics
GB2392072B (en) * 2002-08-14 2005-10-19 Autodesk Canada Inc Generating Image Data
US7098896B2 (en) 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
JP2004287168A (ja) 2003-03-24 2004-10-14 Pioneer Electronic Corp 情報表示装置及び情報表示方法
JP3649242B2 (ja) 2003-04-04 2005-05-18 三菱電機株式会社 携帯電話装置および携帯電話装置の文字入力方法
US7217913B2 (en) 2003-12-18 2007-05-15 Micron Technology, Inc. Method and system for wavelength-dependent imaging and detection using a hybrid filter
US7301526B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Dynamic adaptation of gestures for motion controlled handheld devices
US7893920B2 (en) 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
KR100608589B1 (ko) * 2004-07-24 2006-08-03 삼성전자주식회사 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치
JP3946716B2 (ja) * 2004-07-28 2007-07-18 ファナック株式会社 ロボットシステムにおける3次元視覚センサの再校正方法及び装置
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
NO20044073D0 (no) 2004-09-27 2004-09-27 Isak Engquist Informasjonsbehandlingssystem og fremgangsmate
JPWO2006038662A1 (ja) 2004-10-07 2008-05-15 株式会社ウエアビジョン 画像表示装置および電子眼鏡
WO2006043721A1 (ja) 2004-10-20 2006-04-27 Fujitsu Ten Limited 表示装置
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
US20080136916A1 (en) 2005-01-26 2008-06-12 Robin Quincey Wolff Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
US8345252B2 (en) 2005-04-25 2013-01-01 X-Rite, Inc. Method and system for enhanced formulation and visualization rendering
CN1293446C (zh) 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作系统和方法
JP4977995B2 (ja) 2005-10-26 2012-07-18 日本電気株式会社 携帯表示装置
US7562312B2 (en) 2006-01-17 2009-07-14 Samsung Electronics Co., Ltd. 3-dimensional graphical user interface
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8139059B2 (en) * 2006-03-31 2012-03-20 Microsoft Corporation Object illumination in a virtual environment
US20080005418A1 (en) 2006-05-09 2008-01-03 Jorge Julian Interactive interface for electronic devices
US20080040692A1 (en) 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
KR100776801B1 (ko) 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7729531B2 (en) * 2006-09-19 2010-06-01 Microsoft Corporation Identifying repeated-structure elements in images
JP2008097220A (ja) 2006-10-10 2008-04-24 Nec Corp 文字入力装置、文字入力方法およびプログラム
US8094129B2 (en) 2006-11-27 2012-01-10 Microsoft Corporation Touch sensing using shadow and reflective modes
US20080140481A1 (en) * 2006-12-06 2008-06-12 Josh Todd Gold Method and system for generating advertisement
GB2447060B (en) * 2007-03-01 2009-08-05 Magiqads Sdn Bhd Method of creation of a virtual three dimensional image to enable its reproduction on planar substrates
KR20080096134A (ko) * 2007-04-27 2008-10-30 엘지전자 주식회사 이동통신 단말기 및 그 웹페이지 제어방법
US8832557B2 (en) 2007-05-04 2014-09-09 Apple Inc. Adjusting media display in a personal display system based on perspective
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
WO2009042579A1 (en) 2007-09-24 2009-04-02 Gesturetek, Inc. Enhanced interface for voice and video communications
CN101910808A (zh) 2008-01-02 2010-12-08 Nxp股份有限公司 采用强度和方向检测的光传感器
US20090196460A1 (en) 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
US20090184981A1 (en) * 2008-01-23 2009-07-23 De Matos Lucio D Orazio Pedro system, method and computer program product for displaying images according to user position
US9582049B2 (en) 2008-04-17 2017-02-28 Lg Electronics Inc. Method and device for controlling user interface based on user's gesture
WO2009141497A1 (en) * 2008-05-22 2009-11-26 Nokia Corporation Device and method for displaying and updating graphical objects according to movement of a device
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
US9092053B2 (en) * 2008-06-17 2015-07-28 Apple Inc. Systems and methods for adjusting a display based on the user's position
US9191238B2 (en) * 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US20110128223A1 (en) 2008-08-07 2011-06-02 Koninklijke Phillips Electronics N.V. Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system
US20100079426A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Spatial ambient light profiling
US8174504B2 (en) 2008-10-21 2012-05-08 Synaptics Incorporated Input device and method for adjusting a parameter of an electronic system
US20100103172A1 (en) * 2008-10-28 2010-04-29 Apple Inc. System and method for rendering ambient light affected appearing imagery based on sensed ambient lighting
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8238026B1 (en) 2009-02-03 2012-08-07 Sandia Corporation Polarization-sensitive infrared image sensor including a plurality of optical fibers
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US8405658B2 (en) 2009-09-14 2013-03-26 Autodesk, Inc. Estimation of light color and direction for augmented reality applications
JP2011090400A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像表示装置および方法、並びにプログラム
US8543917B2 (en) * 2009-12-11 2013-09-24 Nokia Corporation Method and apparatus for presenting a first-person world view of content
KR20110101585A (ko) * 2010-03-09 2011-09-16 삼성전자주식회사 휴대용 단말기의 화면 전환 장치 및 방법
US20110293184A1 (en) 2010-05-31 2011-12-01 Silverbrook Research Pty Ltd Method of identifying page from plurality of page fragment images
KR101151962B1 (ko) 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004271671A (ja) * 2003-03-06 2004-09-30 Sharp Corp 画像表示装置及びそれを備えた端末装置
JP2008516352A (ja) * 2004-10-13 2008-05-15 シーメンス アクチエンゲゼルシヤフト 強化現実システムにおける照明シミュレーションおよび影シミュレーションのための装置および方法
JP2008129775A (ja) * 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法
JP2010122879A (ja) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab 端末装置、表示制御方法および表示制御プログラム
US20100225743A1 (en) * 2009-03-05 2010-09-09 Microsoft Corporation Three-Dimensional (3D) Imaging Based on MotionParallax

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626939B1 (en) 2011-03-30 2017-04-18 Amazon Technologies, Inc. Viewer tracking image display

Also Published As

Publication number Publication date
EP2732436A1 (en) 2014-05-21
US9041734B2 (en) 2015-05-26
EP2732436B1 (en) 2019-09-18
CN103797443B (zh) 2018-07-06
US20130016102A1 (en) 2013-01-17
EP2732436A4 (en) 2016-03-02
WO2013010011A1 (en) 2013-01-17
CN103797443A (zh) 2014-05-14

Similar Documents

Publication Publication Date Title
US9041734B2 (en) Simulating three-dimensional features
JP2014525089A5 (ja)
US9224237B2 (en) Simulating three-dimensional views using planes of content
US9591295B2 (en) Approaches for simulating three-dimensional views
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
JP6605000B2 (ja) 三次元オブジェクト表示のためのアプローチ
JP6013583B2 (ja) 有効インターフェース要素の強調のための方式
US9317962B2 (en) 3D space content visualization system
US10777010B1 (en) Dynamic environment mapping for augmented reality
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
US10049490B2 (en) Generating virtual shadows for displayable elements
US9389703B1 (en) Virtual screen bezel
TWI797715B (zh) 用於使用從透視校正影像中所提取之特徵的特徵匹配之電腦實施方法、電腦系統及非暫時性電腦可讀記憶體
US9672588B1 (en) Approaches for customizing map views
US9245366B1 (en) Label placement for complex geographic polygons
US11532138B2 (en) Augmented reality (AR) imprinting methods and systems
Bulbul et al. Social media based 3D visual popularity
US20230319426A1 (en) Traveling in time and space continuum
EP3923121A1 (en) Object recognition method and system in augmented reality enviroments
Bohez et al. Cloudlet-based large-scale 3D reconstruction using real-time data from mobile depth cameras
Blanco Pons Analysis and development of augmented reality applications for the dissemination of cultural heritage

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150603

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150703

A524 Written submission of copy of amendment under section 19 (pct)

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20150722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150825