JP2017505933A - 実在の物体上に固定された仮想画像を生成する方法及びシステム - Google Patents

Abstract

【課題】画像が実在する物体に固定された様に見える様に、仮想画像を生成し、該仮想画像を表示するシステム及び方法を提供する。【解決手段】システム及び方法は、実在する物体に固定された様に見える仮想画像を生成及び表示する。１つ以上のセンサにより取得される空間データのデータフレームは、１つ以上の検出可能な実在の物体が上記データフレーム内に位置するか否かを判定するために分析される。上記実在の物体が位置する場合には、実在の物体に関連付けられた現実世界の基準点の座標が、決定される。現実世界の表示錐体、現実世界の表示錐台、現実世界の表示画面、及び実在する物体の基準点は、上記データフレームから決定される。仮想３Ｄ空間が生成され、仮想物体の基準点を通過する基平面が生成される。１つ以上の平面状コンテンツ要素は、上記基平面上に、または、上記基平面に平行して配置される。これらの平面状コンテンツ要素は、視覚装置または表示装置により表示され、かつ、これらの平面状コンテンツ要素が、上記検出された物体の上記現実世界の基準点を通って平面内に存在する様に見える画像が生成される。【選択図】図５

Description

本願発明は、表示装置上に映像コンテンツを表示するための方法に関する。

以下の先行技術文献は、本願発明の背景技術を理解するのに役立つと考えられるものである。
・https://developer.vuforia.com/resources/dev-guide/vuforia-ar-architecture
・https://developer.vuforia.com/resources/dev-guide/distance-target
・http://docs.opencv.org/trunk/modules/tracking/doc/tracking.html
・http://docs.opencv.org/trunk/modules/imgproc/doc/feature detection.html
・http://www2.imm.dtu.dk/~aam/
・http://ils.intel-research.net/everydav-obiect-recognition
・https://software.intel.com/en-us/node/504462
・https://software.intelom/en-us/node/504442
・http://docs.opencv.org/modules/contrib/doc/facerec/facerec tutorial.html
・http://www.ri.cmu.edu/research project detail.html?project id=448&menu id=261
・http://www2.imm.dtu.dk/~aam/faces/
・http://kishordgupta.wordpress.com/2011/07/04/recognize-face-orientation-using-a-new-approach-based-on-eve-position-and-size-by-c/
・http://www.codeproiect.com/Articles/26897/TrackEye-Real-Time-Tracking-Of- Human-Eyes-Using-a
・http://www.ncbi.nlm.nih.gov/pubmed/23239074
・http://gazeparser.sourceforge.net/
・http://thume.ca/projects/2012/l1/04/simple-accurate-eye-center-tracking-in-opencv/

コンピュータ画面及び他の二次元（２Ｄ）の面は、一般的に、例えば、テキストページ、図表、またはウェブサイトページ等の２Ｄの映像コンテンツを表示するために使用される。映像コンテンツの幾つかの形式は、例えば、テキスト及び図表から成るページ、または、サイトに関する情報及び関連の無い広告を含むウェブサイトページといった２つ以上の形式のコンテンツを含む。通常、画面上に一度に表示されるのは、１つのページのみであり、該ページは、上記画面の境界線の範囲内に限定される。このため、ページ内の異なる要素は、たとえこれらが相互に関連し合うものであっても、表示スペース及び閲覧者の注意を求めて、互いに競合し合うこととなる。従って、現存するウェブサイトのページは、一般的に、広告により過密状態となっており、このことが、ウェブ広告が現在効果的でないと考えられている主な理由である。

（ブラウジングやナビゲーティングとして知られる様な）表示ページの変更は、最初に表示されたページが画面から削除され、２つ目のページが続いて表示されるという非連続的な処理である。１つのページのみを一度に閲覧する形態では、閲覧者は、ウェブサイト上での自己の位置を把握するのが困難となり、また、サイト検索が不正確なものとなる。また、各ページのサイズ変更は、個別のステップにおいて実行されるため、変更を行う度に、ブラウザに戻る必要がある。

また、仮想三次元（３Ｄ）空間において幾つかのページを配置し、３Ｄ空間の一部を２Ｄ画面上に投影することが知られている。閲覧者は、ページからページへ連続的に検索することができる。

Ｓｈｅｆｉの米国特許第８０３５６３５号明細書には、仮想３Ｄ空間において、コンテンツ（内容）要素を配置するためのシステムが開示されている。上記３Ｄ空間において、２Ｄの基平面が指定され、上記３Ｄ空間において、映像コンテンツが、上記基平面に平行な少なくとも１つのページと共に、配置される。視点及び視線は、上記基平面に対して平行でも垂直でもない視線により閲覧する上記３Ｄ空間において、選択される。その後、２Ｄ面は、該２Ｄ面が、上記視点及び上記基平面間の視線と交わる様に、上記３Ｄ空間内に配置される。その後、上記３Ｄ空間の少なくとも１部分が、上記視線により決定される透視投影により、上記２Ｄ面上に投影される。この一連の処理は、新たな視点を任意に選択する度、及び／または、新たな視線を選択する度、及び／または、１つ以上のコンテンツ要素の属性を変更する度に、必要に応じて、繰り返し実行されるものとしてもよい。上記画面上への投影画像は、例えば、コンピュータ用モニタ等の表示装置上に表示されるものとしてもよい。

米国特許第８０３５６３５号明細書

本願発明は、画像（イメージ）が実在する物体に固定された様に見える様に、仮想画像を生成し、該仮想画像を表示するシステム及び方法を提供する。１つ以上のセンサにより取得される空間データのデータフレームは、検出すべき１つ以上の実在の物体が上記データフレーム内に位置するか否かを判定するために分析される。上記実在の物体の１つの少なくとも一部が、上記データフレーム内に存在する場合、上記実在の物体に関連付けられた現実世界（実在）の基準点の座標が、上記データフレーム内のデータから、決定される。現実世界の表示錐体（ピラミッド）、現実世界の表示錐台（フラスタム）、現実世界の表示画面、及び実在する物体の基準点は、上記データフレームから決定される。

上記データフレームは、仮想表示錐体、仮想表示錐台、仮想表示画面、及び仮想物体の基準点が上記３Ｄ仮想空間内に配置される仮想３Ｄ空間を生成するために使用される。その後、基平面は、上記仮想物体の基準点を通って生成される。１つ以上の平面状コンテンツ要素は、上記基平面上に配置されるか、または、上記基平面と平行である。その後、上記３Ｄ仮想空間内に配置される上記コンテンツ要素は、上記仮想表示画面上に投影され、投影された画像を生成する。その後、最終画像は、上記投影された画像、及び、場合により上記データフレームの少なくとも一部を有して生成される。上記最終画像は、視覚装置または表示装置により表示される。上記最終画像においては、上記コンテンツ要素は、検出された物体の現実世界の基準点を通過する平面内に存在する様に見える。

上述した様に、本願発明は、その１つの側面において、映像コンテンツを生成及び表示するためのシステムを提供し、該システムは以下の構成を有する：
・３Ｄ現実世界の空間の空間データを有する１つ以上のデータフレームを取得する様に構成されたセンサセットであり、該センサセットは、上記３Ｄ現実世界の空間内の関連するセンシング領域及びセンサ視線を有する１つ以上のセンサを上記センサセット内に有し、上記センサ視線は、３Ｄ現実世界の座標系内の上記３Ｄ現実世界の空間内へ上記センサから延在するベクトルであり、上記センサセット内の少なくとも１つのセンサは、上記センサに対して固定された関連上向きベクトル（アップベクトル）を有し、 １つ以上のセンサ上向きベクトルは、データフレームの上向きベクトルを定義する；
・視覚装置または表示装置；
・プロセッサ及びメモリを有するコンピュータ処理部：
・上記メモリは、データフレーム内において検出すべき１つ以上の物体を示すデータを格納し、上記物体に対して固定された、所定の現実世界の基準点を、検出すべき物体毎に更に格納する；
・上記プロセッサは、以下の処理を実行する様に構成される：
１つ以上のデータフレームを分析し、かつ、検出すべき１つ以上の実在の物体が、現在の現実世界の表示錐台内に有るか否かを判定する処理；
上記現在の錐台内において、上記実在の物体の１つの少なくとも一部が検出された場合、上記現実世界の表示錐台に関連付けられた現実世界の座標系内において検出された実在の物体に関連付けられた現実世界の基準点の現実世界内の座標を、上記現在のデータフレームから特定する処理；
上記現実世界の表示錐台内の所定の点から生じる実在の物体ベクトルを、検出された実在の物体の上記現実世界の基準点に決定する処理；
上記現実世界の表示錐台に関する上記データフレームに関連付けられた重力ベクトルの位置を特定する処理；
３Ｄ仮想空間座標系、及び３Ｄ仮想空間内の位置を有する仮想３Ｄ空間を生成し、仮想表示錐体は、関連する仮想世界の視点を有し、関連する仮想表示錐台は、上記仮想の視点から生じる仮想視線の周囲に対称的に配置され、関連する仮想表示画面は、上記仮想上向きベクトルの仮想座標系内のｘ軸及びｙ軸が上記仮想表示画面に対して平行であり、かつ、ｚ軸が上記仮想視線に対して平行である、上記仮想表示錐台の面及び関連する仮想上向きベクトルを生成する処理；
上記仮想物体の基準点を通過する基平面を、上記３Ｄ仮想空間内に生成し、上記基平面は、関連する２Ｄ座標系（ｘ’，ｚ’）を有する処理；
上記基平面上の、または、上記基平面に平行な１つ以上の平面状コンテンツ要素を、上記基平面上の１つ以上の所定の許容位置内に配置する処理；
上記３Ｄ仮想空間内に配置された上記コンテンツ要素を、投影された画像を生成するための上記仮想表示画面上に、投影する処理；
上記投影された画像を有する最終画像を生成する処理；及び
上記最終画像を、視覚装置または表示装置に表示させる処理。

本願発明は、その他の側面において、映像コンテンツを生成及び表示するための方法を提供し、該方法は以下の工程を含む：
１つ以上のデータフレームを分析し、かつ、検出すべき１つ以上の実在の物体が、現在の現実世界の表示錐台内に有るか否かを判定する工程；
上記現在の錐台内において、上記実在の物体の１つの少なくとも一部が検出された場合、上記現実世界の表示錐台に関連付けられた現実世界の座標系内において検出された実在の物体に関連付けられた現実世界の基準点の現実世界内の座標を、上記現在のデータフレームから特定する工程；
上記現実世界の表示錐台内の所定の点から生じる実在の物体ベクトルを、検出された実在の物体の上記現実世界の基準点に決定する工程；
上記現実世界の表示錐台に関する上記データフレームに関連付けられた重力ベクトルの位置を特定する工程；
３Ｄ仮想空間座標系、及び３Ｄ仮想空間内の位置を有する仮想３Ｄ空間を生成し、仮想表示錐体は、関連する仮想世界の視点を有し、関連する仮想表示錐台は、上記仮想の視点から生じる仮想視線の周囲に対称的に配置され、関連する仮想表示画面は、上記仮想上向きベクトルの仮想座標系内のｘ軸及びｙ軸が上記仮想表示画面に対して平行であり、かつ、ｚ軸が上記仮想視線に対して平行である、上記仮想表示錐台の面及び関連する仮想上向きベクトルを生成する工程；
上記仮想物体の基準点を通過する基平面を、上記３Ｄ仮想空間内に生成し、上記基平面は、関連する２Ｄ座標系（ｘ’，ｚ’）を有する工程；
上記基平面上の、または、上記基平面に平行な１つ以上の平面状コンテンツ要素を、上記基平面上の１つ以上の所定の許容位置内に配置する工程。

ここで、本願発明を理解し、本願発明が実際にどの様に実行可能であるかを把握するための実施形態について、限定されない実施例のみを用いて、以下の添付図面を参照しながら説明する：

図１は、本願発明の一実施形態に従って映像コンテンツを表示するためのシステムを概略的に示す図である； 図２は、上記実在の物体に対して固定された位置を有する、関連する現実世界の基準点を有する実在の物体を示す図である； 図３は、本願発明の一実施形態に従ってデータフレームを分析し、画像を生成し、該画像を表示する方法を示すフローチャートである； 図４は、関連する２Ｄ座標系（ｘ’，ｚ’）を有する基平面を示す図である； 図５は、投影された画像、及び実在の物体の画像を含む最終画像を示す図である； 図６は、カメラがユーザの携帯機器に関連付けられ、かつ、上記現実世界の基準点が上記ユーザの携帯機器上に固定されている本願発明の実施形態を示す図である； 図７は、図６に示した上記実施形態におけるユーザの現実世界の表示錐体を示す図である。

図１は、本願発明の一実施形態に従って映像コンテンツを表示するためのシステム２を概略的に示す図である。システム２は、３Ｄ現実世界の空間の空間データを取得するセンサセット７を有する。センサセット７は、１つ以上のセンサ４を有する。センサ４は、例えば、２Ｄカメラ、３Ｄカメラ、ＧＰＳ位置送受信機、音波探知器、レーザ測距装置、赤外線探知器、近距離無線通信（ＮＦＣ：Near Field Communication）、及びＬＩＤＡＲ装置の何れか１つ以上であってもよい。各センサ４は、上記３Ｄ現実世界の空間内の関連するセンシング領域、及び上記センサから３Ｄ現実世界の座標系内の上記３Ｄ現実世界の空間内へ延在するベクトルであるセンサ視線を有する。上記３Ｄ現実世界の座標系は、例えば、１つ以上の上記センサに対してまたはユーザの位置及び視野角に対して、固定されるものとしてもよい。あるいは、上記３Ｄ現実世界の座標系は、例えば、ＧＰＳ（Global Positioning System）により提供される様な絶対座標系であってもよい。物体は、携帯型センサの場合には該センサの移動の結果として、または、上記３Ｄ現実世界の空間内における物体の移動の結果として、センサのセンシング領域内へ移動し、かつ、該領域から外へ移動するものとしてもよい。センサは、該センサの上記センシング領域が、周知の分析的な変換の下で着用者の視野に近似する様に、例えば、ゴーグルまたは他の頭部装着型装置内において、ユーザが身に着けられる様に構成することができる。センシングユニット（センサ部）は、指向性または無指向性の何れでもよい。無指向性のセンシングの場合には、上記センサの視線に沿ってかつ周囲に延在する該センサの視野の小区分（サブセクション）が、上記着用者の視野に対応する視野として、指定されるものとしてもよい。如何なる時点において上記センサセット７により取得される上記空間データも、本明細書では、“データフレーム”として参照される。センサセット７により取得されたデータフレームは、コンピュータ処理部（ＣＰＵ：Computer Processing Unit）６へ入力される。ＣＰＵ６は、メモリ８及びプロセッサ１０を有する。センサセット７により取得されたデータフレームは、ＣＰＵ６へ入力され、メモリ８内に格納される。

センサセット７内の少なくとも１つのセンサ４は、該センサに対して固定された関連上向きベクトルを有する。上記センサの１つ以上の上向きベクトルは、センサセット７の上向きベクトルを定義するために用いられる。センサセット７の上向きベクトルは、各データフレームの上向きベクトルを決定する。

また、メモリ８内には、データフレーム内において検出すべき１つ以上の物体を示すデータが格納される。データフレーム内において検出すべき１つ以上の物体を示す上記データは、例えば、物体の所定のリスト内の１つ以上の物体の描写であってもよいし、または、データフレーム内において検出すべき物体種別の基準を特定するデータであってもよい。また、メモリ８は、上記物体に対して固定された、所定の現実世界の基準点を、検出すべき物体または物体種別毎に、格納する。

プロセッサ１０は、現実世界の重力ベクトルを特定する様に構成される。一実施形態では、システム２は、ＣＰＵ６に入力されてメモリ８内に格納される重力場の現在の方向を示す時間依存性の信号を生成する重力センサ５を有する。重力信号は、データフレームが取得された時間から、上記データフレームの重力ベクトルを特定するために使用される。他の実施形態では、上記プロセッサは、データフレームを分析し、該データフレームの分析結果からデータフレームの上記重力ベクトルを特定するソフトウェアを実行する様に構成される。

以下に説明する様に、プロセッサ１０は、現実世界の位置に固定された様に見える異種の（データフレーム内に含まれない）映像コンテンツ要素を有する最終画像を生成するために使用される１つ以上の上記データフレームを分析する様に構成される。一連のデータフレームにおいて連続するデータフレームを分析すること、及び連続する最終の異種の映像コンテンツを生成することにより、現実世界の位置が上記ユーザの視野内において移動する際に該現実世界の位置に固定されたままであるコンテンツ要素の外観が生成される。また、上記最終画像は、上記データフレームからのデータまたは画像を有するものとしてもよい。上記最終画像は、視覚装置または表示装置１２により表示される。該表示装置は、例えば、何らかの種類の画面またはアイプロジェクタ（眼球投射機）であってもよい。

システム２は、分散システムであってもよく、該システムの１つ以上の構成要素は、例えば、有線または無線の電話回線網、あるいはインターネット等のコンピュータ通信ネットワーク等の、有線または無線のネットワークを介して、相互に通信を行うものとしてもよい。

図２は、上記実在の物体６０に対して固定された位置を有する、関連する現実世界の基準点６２を有する実在の物体６０を、一例として示す。焦点６９を有するレンズ６４を有する（図２にその全体が示されていない）カメラを有するセンサセットは、上記実在の物体６０を含む空間領域のデータフレームを取得するために使用される。上記焦点６９及び上記レンズ６４は、本明細書では、上記カメラに対して固定された上記“現実世界の表示錐体”として参照される、現実世界の表示体積を決定する。上記現実世界の表示錐体は、焦点６９から生じ、かつ、レンズ６４の端部を通過する光線により、その境界が決定される。その様な４つの光線は、図２において、幻像線６５により示される。図２において、上記現実世界の表示錐体の内、レンズ６４の左側の部分は、本明細書では、上記“現実世界の表示錐台”として参照される。上記現実世界の表示錐体は、レンズ６４に、関連する現実世界の表示画面を有すると共に、上記カメラに固定された該カメラの焦点６９に、関連する現実世界の視点を有する。また、上記カメラは、該カメラに固定された関連する現実世界の上向きベクトル７２を有する。上記カメラは、焦点６９から生じ、かつ、レンズ６４に位置する上記画面の中央を通過する現実世界の視線６８を有する。視点６９から生じ、かつ、現実世界の基準点６２を通過する幾何学的光線６８は、本明細書では、実在の物体６０の“物体ベクトル”として参照される。上記カメラは、レンズ６４における上記現実世界の表示画面上への上記現実世界の錐台の二次元（２Ｄ）投影として、上記現在のデータフレームを取得する。上記現実世界の錐台の少なくとも一部は、上記カメラの（上記レンズの形状とは異なる形状を有してもよい）２Ｄセンサアレイ（配列）６７上へ投影される。例えば、カメラ等のセンサの上向きベクトル７２は、上記データフレームの上向きベクトルを決定する。上記データフレームの上向きベクトルは、該データフレームが取得された時点では、上記カメラの上向きベクトルの方向にある。また、図２は、本実施例において上記カメラに固定された現実世界の座標系７１を示す。現実世界の座標系７１は、ｘ軸、ｙ軸、及びｚ軸を有する。上記ｘ軸及びｙ軸は、レンズ６４の画面に対して平行であり、上記ｚ軸は、視線６９に対して平行である。また、図２に示す様に、現実世界の重力ベクトル７０は、上述した様に決定される。カメラのセンサアレイ６７上に生成された上記画像、及び上記データフレームの上向きベクトルは、ＣＰＵ６へ入力され、メモリ８内に格納される。

図３は、本願発明の一実施形態に従ってデータフレームを分析し、画像を生成し、該画像を表示する方法を示すフローチャートである。ステップ１４では、現在のデータフレームは、メモリ８から検索され、プロセッサ１０へ入力される。ステップ１６では、プロセッサ１０は、上記現在のデータフレームを分析し、ステップ１８では、検出すべき１つ以上の実在の物体が上記現在のデータフレーム内に位置するか否かを判定する。検出対象の物体が上記現在のデータフレーム内に検出されない場合には、その後、上記処理は、新たな現在のデータフレームの検索を行うステップ１４に戻る。ステップ１８において、上記実在の物体（例えば、図２の実在の物体６０）の１つの少なくとも一部が、上記現在のデータフレーム内に有る場合、その後、ステップ２０において、プロセッサ１０は、上記現実世界の表示錐台に関連付けられた現実世界の座標系において、上記実在の物体（例えば、図２の現実世界の基準点６２）に関連付けられた、上記現実世界の基準点の座標を、上記現在のデータフレームから、特定する。上記実在の物体ベクトル（図２の６８）は、例えば、上記現実世界の基準点に向かう上記視点（図２の６９）等の、上記現実世界の表示錐台内の所定の点から生じる。ステップ２２では、上記プロセッサは、上記現実世界の視線及びユーザの視線間における幾つかの所定の関係を考慮に入れた所定の変換により、上記実在の物体ベクトルを任意に変換するものとしてもよい。この処理は、上記センサの現実世界の視線が、上記ユーザの視線に対して固定される様に、例えば、センサが帽子（ヘッドギア）に搭載されている場合等に、有益となるであろう。この場合、上記ユーザの視線は、上記現実世界の視線として用いることができる。

ステップ２４では、上記現実世界の表示錐台に対する上記データフレームに関連付けられた上記重力ベクトルの位置を特定する。その後、上記プロセッサは、３Ｄ仮想空間の座標系（ｘ，ｙ，ｚ）を有する仮想３Ｄ空間を生成する（ステップ２６）。ステップ２８では、上記プロセッサは、上記３Ｄ仮想空間内に仮想表示錐体を配置する。該仮想表示錐体は、関連する仮想世界の視点、上記仮想視点から生じる仮想視線の周囲に対称的に配置された関連する仮想表示錐台、該仮想表示錐台の面を生成する関連する仮想表示画面、及び、上記上向きベクトルの上記ｘ軸及びｙ軸が上記仮想表示画面に対して平行であり、かつ、上記ｚ軸が上記仮想視線に対して平行である、関連する仮想上向きベクトルを有する。上記３Ｄ仮想空間は、所定の連続写像Ｇを用いて生成される。該連続写像Ｇは、上記現実世界の表示錐体を上記仮想表示錐体内に描き、上記現実世界の視点を上記仮想世界の視点上に描き、上記現実世界の視線を上記仮想世界の視線上に描き、上記現実世界の表示錐台を上記仮想表示錐台内に描き、上記現実世界の表示画面を上記仮想表示画面上に描く。これにより、上記仮想世界の表示画面は、上記仮想世界のｘ軸及びｙ軸に対して平行となり、かつ、上記仮想世界の視線は、上記仮想世界のｚ軸、上記仮想重力ベクトルに向かう現実世界の重力ベクトル、及び上記仮想上向きベクトル上の現実世界の上向きベクトルに対して平行となる。上記写像Ｇは、好適には、上記実在の物体ベクトル及び上記現実世界の視線（図２参照）間の角度θが、上記仮想世界の物体ベクトル及び上記仮想視線間の角度と等しくなる様に、選択される。更に、上記写像Ｇは、上記現実世界の上向きベクトル及び上記現実世界の重力ベクトル（図２参照）間の角度φが、上記仮想世界の上向きベクトル及び上記仮想世界の重力ベクトル間の角度と等しくなる様に、選択される。

その後、ステップ３８では、上記プロセッサは、上記３Ｄ仮想空間内に、上記仮想物体の基準点を通過する基平面を生成する。図４に示す様に、上記基平面１０６は、関連する２Ｄ座標系（ｘ’，ｚ’）を有する。上記基平面は、上記３Ｄ仮想空間内に配置されるものとしてもよい。該３Ｄ仮想空間は、次の要件（１）〜（３）を満たす：（１）上記基平面のｘ’軸は、上記仮想空間のｘ軸に平行である。（２）上記基平面のｘ’軸及び上記仮想空間の座標系のｙ軸間の角度は、所定の角度、例えば９０度であってもよいし、または、所定の角度（好適には９０度）並びに上記ｘｙ平面上の重力ベクトルの投影及び正のｙ軸間の角度の合計値と同一であってもよい。（３）ｚ’軸及びｚ軸間の角度は、上記仮想視線及び上記仮想重力ベクトル間の角度β’から決定される。βが所定の定数閾値（例えば、２０度）であり、かつ、αがβ’の連続の狭義単調増加関数である場合には、β’≦βが成立する。β’が下方からβに接近している時にαがαの限界値と常に同一である場合には、β’≧βが成立する。

あるいは、上記基平面は、上記仮想空間内に“横向きに”配置されるものとしてもよい。これにより、（１）上記基平面のｚ’軸は、上記ｙ平面のｙ軸に平行となる。（２）上記基平面のｚ’軸及び上記仮想空間の座標系のｙ軸間の角度は、所定の角度、例えば９０度となり得る、または、所定の角度、並びに上記ｘｙ平面上の重力ベクトルの投影及び正のｙ軸間の角度の合計値と同一となり得る。（３）ｘ’軸及びｚ軸間の角度が、上記仮想視線及び上記仮想重力ベクトル間の角度β’から決定される。βが所定の定数閾値（例えば、２０度）であり、かつ、αがβ’の連続の狭義単調増加関数である場合には、β’≦βが成立する。β’が下方からβに接近している時にαがαの限界値と常に同一である場合には、β’≧βが成立する。

上記基平面は、１つ以上の平面状のコンテンツ（内容）物体が上記基平面上に配置され得る、図４の極めて細い線により示される、１つ以上の関連する許容位置を有する。上記許容位置の少なくとも１つは、上記基平面座標系のｘ’軸及びｚ’軸に平行な辺を有する矩形である。上記許容位置は、平行な行と列の格子内に配置されるものとしてもよい。コンテンツ要素が固有の上端及び下端を有する場合、例えば、上記コンテンツ要素が画像または文字を含む場合には、上記コンテンツ要素の上下方向は、上記基平面のｚ’軸に合わせられた上下方向を有する上記基平面内において、最適に配置される。その後、ステップ４０では、上記プロセッサは、何れか１つ以上の上記許容位置内において、上記基平面１０６の上に、または、上記基平面１０６に対して平行に、１つ以上の平面状コンテンツ要素１１０を配置する。また、上記プロセッサは、上記基平面の上部または近傍に、１つ以上の３Ｄコンテンツ要素を配置するものとしてもよい（ステップ４２）。該３Ｄコンテンツ要素は、回転された２Ｄコンテンツ要素、または、例えば、３Ｄモデル若しくは体積地図等の体積コンテンツ要素であってもよい。

その後、上記プロセッサは、上記３Ｄ仮想空間内に配置される上記コンテンツ要素を、上記仮想表示画面６４上に投影し、投影された画像１１４を生成する（ステップ４４）。上記３Ｄ仮想表示画面上への上記コンテンツ要素の投影は、例えば、透視投影によるものであってもよい。その後、最終画像が生成される（ステップ４６）。該最終画像は、上記投影された画像１１４、及び、場合により上記データフレームの少なくとも一部を有する。図５は、投影された画像１１４、及び実在の物体６０の画像を含む最終画像１１６を示す。該最終画像は、視覚装置または表示装置を介して表示され（ステップ４８）、上記処理は終了する。

図６は、カメラ８０がユーザの携帯機器８２に関連付けられ、かつ、上記現実世界の基準点８４が上記ユーザの携帯機器８２上に固定されている他の実施形態を示す。カメラ８０は、図６において幻像線により示される表示錐体を有する。カメラ８０は、上記ユーザの顔を含む現在のデータフレームを取得する様に操作される。ユーザ９０は、アイプロジェクタまたは表示画面であってもよい表示装置８３を有する頭部装着型装置８１を着用している。図６に示す実施形態では、携帯機器８２内または頭部装着型装置８１内に位置することのできる上記プロセッサは、カメラ８０により取得されるデータフレーム内の人の顔を特定する様に構成される。また、プロセッサ１０は、ユーザの顔がデータフレーム内に検出されると、該ユーザの現実世界の表示錐体を決定する様に構成される。図７は、境界幻像線９２の示す、ユーザの現実世界の表示錐体を示す。また、プロセッサ１０は、上記ユーザの現実世界の視点、上記ユーザの現実世界の上向きベクトル９５、上記ユーザの現実世界の表示画面、及び、上記ユーザの現実世界の視点から生じ、かつ、上記ユーザの現実世界の表示画面の中心を通る上記ユーザの現実世界の視線９４を決定する様に構成される。上記ユーザの見る現実世界の視点から生じ、かつ、上記現実世界の基準点８４を通る光線は、実在の物体８２の上記物体ベクトルである。また、図６及び図７は、本実施例では上記ユーザの頭部に固定される現実世界の座標系９１を示す。現実世界の座標系９１は、ｘ軸、ｙ軸、及びｚ軸を有する。該ｘ軸及びｙ軸は、上記ユーザの画面に平行であり、該ｚ軸は、ユーザの視線９４に平行である。また、図６及び図７に示す現実世界の重力ベクトル９３は、上述した様に決定される。

上記ユーザの現実世界の表示錐体、現実世界の表示錐台、現実世界の視点、現実世界の上向きベクトル、現実世界の表示画面、及び現実世界の視線、並びに実在の物体ベクトルは、図３を参照して上述した処理において用いられる。該処理の結果として、仮想コンテンツ要素８５は、頭部装着型装置８１の表示装置８３により、上記ユーザに提供される。上記仮想コンテンツ要素の少なくとも幾つかは、基準点８４を通って基平面上に存在する様に見える平面状コンテンツ要素である。

図７を再び参照すると、プロセッサ１０は、データフレーム内におけるユーザの手１０６及び／または１０８の空間位置を検出する様に構成されるものとしてもよい。かかる態様では、上記プロセッサは、更に、上記手の一部分が、本願発明に従って配置される上記仮想表示画面及び幾つかのコンテンツ要素間の上記仮想表示錐台内に含まれる時を決定する様に構成される。上記プロセッサは、上記手の一部分により覆い隠される領域を、投影された上記コンテンツから除外する様に構成されるものとしてもよい。このため、例えば、手１０６により覆い隠されるコンテンツ要素８５の部分は、上記コンテンツ要素から除外されることとなる。プロセッサ１０は、手１０６、１０８の一方または双方により行われる所定の手または指による身ぶり（ジェスチャ）を識別し、該識別された身ぶりに関連付けられた所定の命令（コマンド）を実行する様に構成されるものとしてもよい。例えば、上記所定の実在の物体が画面を有する電子装置である場合には、上記命令は、１つ以上のコンテンツ要素を上記画面から基平面上へ移動させるための命令であってもよい。更に別の例において、上記プロセッサが、クリック動作により相互作用的なコンテンツに触れる身ぶりを識別する場合には、該コンテンツの動作が開始され、基平面のコンテンツ内に変化を与える。

図７を再び参照すると、例えば物体１００等の検出すべき第２の実在の物体は、上記ユーザの表示錐台内に存在するものとしてもよい。物体１００は、関連付けられた現実世界の基準点１０２を有する。物体１００を含む１つ以上のデータフレームは、センサにより取得されるものとしてもよい。該センサは、携帯機器８２内に位置し、かつ、物体１０２、または、頭部装着型装置８１上に搭載されたセンサに面するものとしてもよい。物体１００を含む上記データフレームは、図３を参照して上述した様に、分析することができる。図７に示す様に、基平面上に配置されたコンテンツ要素１０４は、頭部装着型表示装置８３、または携帯機器８２の画面により、上記ユーザに提供されるものとしてもよい。ここで、上記基平面は、上記ユーザには、基準点１０２を通過する様に見える。このため、上記ユーザに対しては２つの基平面が提供され、コンテンツ要素は、必要に応じて、１つの基平面から他の基平面へ移動するものとしてもよい。また、プロセッサ１０は、一方の基平面のコンテンツの一部が１つの物体から他の物体へ移動することにより、直ちに、上記他の物体の基平面の一部分として現れる結果をもたらす、ユーザの身ぶりまたは命令を更に認識する構成であってもよい。更に加えて、上記物体が‘スマート物体’である場合、すなわち、ネットワーク通信が可能であり、コンテンツを、ユーザの装置自体の基平面から物体１００へ上述の様に移動させる物体である場合には、基平面が存続し続けるものとしてもよい。これにより、本願発明に従い、物体１００が上記ネットワーク経由でアクセスされるか、または、物体１００が類似の装置を有する新たなユーザにより視認される時に、移動させられるコンテンツは、可視状態を維持する。

２ システム
４ センサ
５ 重力センサ
６ ＣＰＵ
７ センサセット
８ メモリ
１０ プロセッサ
１２ 表示装置
６０ 実在の物体
６２ 現実世界の基準点
６４ レンズ
６５ 幻像線
６７ カメラの２Ｄセンサアレイ
６８ 現実世界の視線
６９ 焦点
７１ 現実世界の座標系
７２ 現実世界の上向きベクトル
８０ カメラ
８１ 頭部装着型装置
８２ 携帯機器
８３ 頭部装着型表示装置
８４ 現実世界の基準点
９０ ユーザ
９１ 現実世界の座標系
９２ 境界幻像線
９３ 現実世界の重力ベクトル
９４ ユーザの現実世界の視線
９５ ユーザの現実世界の上向きベクトル
１０６ 基平面
１１０ 平面状コンテンツ要素
１１４ 投影された画像
１１６ 最終画像

Claims (28)

1. 映像コンテンツを生成及び表示するためのシステムであって、
   ３Ｄ現実世界の空間の空間データを有する１つ以上のデータフレームを取得する様に構成されたセンサセットを有し、該センサセットは、前記３Ｄ現実世界の空間内の関連するセンシング領域及びセンサ視線を有する１つ以上のセンサを前記センサセット内に有し、前記センサ視線は、３Ｄ現実世界の座標系内の前記３Ｄ現実世界の空間内へ前記センサから延在するベクトルであり、前記センサセット内の少なくとも１つのセンサは、前記センサに対して固定された関連上向きベクトル（アップベクトル）を有し、 １つ以上のセンサ上向きベクトルは、データフレームの上向きベクトルを定義する、
   視覚装置または表示装置、
   プロセッサ及びメモリを有するコンピュータ処理部を有し、
   前記メモリは、データフレーム内において検出すべき１つ以上の物体を示すデータを格納し、前記物体に対して固定された、所定の現実世界の基準点を、検出すべき物体毎に更に格納し、
   前記プロセッサは、
   ａ．１つ以上のデータフレームを分析し、かつ、検出すべき１つ以上の実在の物体が、現在の現実世界の表示錐台内に有るか否かを判定する処理、
   ｂ．前記現在の錐台内において、前記実在の物体の１つの少なくとも一部が検出された場合、前記現実世界の表示錐台に関連付けられた現実世界の座標系内において検出された実在の物体に関連付けられた現実世界の基準点の現実世界内の座標を、現在のデータフレームから特定する処理、
   ｃ．前記現実世界の表示錐台内の所定の点から生じる実在の物体ベクトルを、検出された実在の物体の前記現実世界の基準点に決定する処理、
   ｄ．前記現実世界の表示錐台に関する前記データフレームに関連付けられた重力ベクトルの位置を特定する処理、
   ｅ．３Ｄ仮想空間座標系、及び３Ｄ仮想空間内の位置を有する仮想３Ｄ空間を生成し、仮想表示錐体は、関連する仮想世界の視点を有し、関連する仮想表示錐台は、前記仮想の視点から生じる仮想視線の周囲に対称的に配置され、関連する仮想表示画面は、前記仮想上向きベクトルの仮想座標系内のｘ軸及びｙ軸が前記仮想表示画面に対して平行であり、かつ、ｚ軸が前記仮想視線に対して平行である、前記仮想表示錐台の面及び関連する仮想上向きベクトルを生成する処理、
   ｆ．前記仮想物体の基準点を通過する基平面を、前記３Ｄ仮想空間内に生成し、前記基平面は、関連する２Ｄ座標系（ｘ’，ｚ’）を有する処理、
   ｇ．前記基平面上の、または、前記基平面に平行な１つ以上の平面状コンテンツ要素を、前記基平面上の１つ以上の所定の許容位置内に配置する処理、
   ｈ．前記３Ｄ仮想空間内に配置された前記コンテンツ要素を、投影された画像を生成するための前記仮想表示画面上に、投影する処理、
   ｉ．前記投影された画像を有する最終画像を生成する処理、及び
   ｊ．前記最終画像を、前記視覚装置または前記表示装置に表示させる処理
   を実行する様に構成されたシステム。
2. 前記３Ｄ仮想空間は、前記現実世界の表示錐体を前記仮想表示錐体内に描き、現実世界の視点を前記仮想世界の視点上に描き、現実世界の視線を前記仮想世界の視線上に描き、前記現実世界の表示錐台を前記仮想表示錐台内に描き、前記現実世界の重力ベクトルを前記仮想重力ベクトルに描き、現実世界の上向きベクトルを前記仮想上向きベクトル上に描き、前記実在の画面を前記仮想表示画面上に描く所定の連続写像Ｇを用いて生成される、請求項１に記載のシステム。
3. 前記写像Ｇは、前記実在の物体ベクトル及び前記現実世界の視線間の角度θが、前記仮想世界の物体ベクトル及び前記仮想視線間の角度と等しくなる様に、更には、前記現実世界の上向きベクトル及び前記現実世界の重力ベクトル間の角度φが、前記仮想世界の上向きベクトル及び前記仮想世界の重力ベクトル間の角度と等しくなる様に、選択される、請求項２に記載のシステム。
4. 前記プロセッサは、更に、前記現実世界の視線及びユーザの視線間の所定の関係を考慮に入れた所定の変換により、前記実在の物体ベクトルを変換する様に構成される、請求項１〜３の内、何れか一項に記載のシステム。
5. 前記基平面は、（１）前記基平面のｘ’軸が、前記仮想空間のｘ軸に平行であり、かつ、（２）前記基平面のｘ’軸及び前記仮想空間の座標系のｙ軸間の角度が、所定の角度であるか、または、所定の角度並びに前記ｘｙ平面上の重力ベクトルの投影及び正のｙ軸間の角度の合計値と同一であり、かつ、（３）ｚ’軸及びｚ軸間の角度が、前記仮想視線及び前記仮想重力ベクトル間の角度β’から決定される様に、前記３Ｄ仮想空間内に配置される、請求項１〜４の内、何れか一項に記載のシステム。
6. 前記基平面は、（１）前記基平面のｚ’軸が、前記ｙ平面のｙ軸に平行であり、かつ、（２）前記基平面のｚ’軸及び前記仮想空間の座標系のｙ軸間の角度が、所定の角度であるか、または、所定の角度並びに前記ｘｙ平面上の重力ベクトルの投影及び正のｙ軸間の角度の合計値と同一であり、かつ、（３）ｘ’軸及びｚ軸間の角度が、前記仮想視線及び前記仮想重力ベクトル間の角度β’から決定される様に、前記仮想空間内に配置される、請求項１〜４の内、何れか一項に記載のシステム。
7. βが所定の定数閾値であり、かつ、αがβ’の連続の狭義単調増加関数である場合には、β’≦βが成立すると共に、β’が下方からβに接近している時にαがαの限界値と常に同一である場合には、β’≧βが成立する、請求項５または６に記載のシステム。
8. 前記基平面上の許容位置は、平行な行と列の格子内に配置される、請求項１〜７の内、何れか一項に記載のシステム。
9. 前記プロセッサは、更に、前記基平面の上部または近傍に、１つ以上の３Ｄコンテンツ要素を配置する様に構成される、請求項１〜８の内、何れか一項に記載のシステム。
10. 前記３Ｄ仮想表示画面上への前記コンテンツ要素の投影は、透視投影によるものである、請求項１〜９の内、何れか一項に記載のシステム。
11. 前記最終画像は、前記現在のデータフレームの少なくとも一部を含む、請求項１〜１０の内、何れか一項に記載のシステム。
12. １つ以上の前記センサは、２Ｄカメラ、３Ｄカメラ、ＧＰＳ位置送受信機、音波探知器、レーザ測距装置、赤外線探知器、近距離無線通信（ＮＦＣ：Near Field Communication）信号、及びＬＩＤＡＲ装置を含むグループから、選択される、請求項１〜１１の内、何れか一項に記載のシステム。
13. データフレーム内において検出すべき前記１つ以上の物体を示す前記データは、物体の所定のリスト内の１つ以上の物体の描写、または、データフレーム内において検出すべき物体種別の基準を特定するデータである、請求項１〜１２の内、何れか一項に記載のシステム。
14. 前記データフレームが取得された時間から、データフレームの重力ベクトルを特定するために使用される重力場の現在の方向を示す時間依存性の信号を生成する様に構成された重力センサを更に有する、請求項１〜１３の内、何れか一項に記載のシステム。
15. 前記プロセッサは、更に、データフレームを分析し、該データフレームの分析結果からデータフレームの前記重力ベクトルを特定するソフトウェアを実行する様に構成される、請求項１〜１４の内、何れか一項に記載のシステム。
16. 前記システムは分散システムであり、かつ、前記システムの２つ以上の構成要素は、有線または無線のネットワークを介して、相互に通信を行う、請求項１〜１５の内、何れか一項に記載のシステム。
17. 少なくとも１つのセンサは、携帯型通信装置に関連付けられ、かつ、現実世界の基準点は、携帯機器上に固定されている、請求項１〜１６の内、何れか一項に記載のシステム。
18. 前記表示装置を有する、頭部に搭載可能な装置を更に有する、請求項１７に記載のシステム。
19. 前記プロセッサは、更に、前記携帯型通信装置に関連付けられた前記センサにより取得されたデータフレーム内の人の顔を特定する様に構成され、かつ、前記プロセッサは、更に、ユーザの顔がデータフレーム内に検出されると、該ユーザの現実世界の表示錐体を決定する様に構成される、請求項１８に記載のシステム。
20. 前記プロセッサは、更に、前記ユーザの現実世界の視点から生じ、かつ、前記ユーザの現実世界の表示画面の中心を通る、前記ユーザの現実世界の視点、前記ユーザの現実世界の上向きベクトル、前記ユーザの現実世界の表示画面、及び、前記ユーザの現実世界の視線、並びに、前記ユーザの現実世界の表示錐体内における所定の点から生じ、かつ、前記携帯型通信装置上に固定された前記現実世界の基準点を通る光線を決定する様に構成される、請求項１９に記載のシステム。
21. 前記ユーザの現実世界の表示錐体は、前記現実世界の表示錐体であり、
    前記ユーザの現実世界の表示錐台は、前記現実世界の表示錐台であり、
    前記ユーザの現実世界の視点は、前記現実世界の視点であり、
    前記ユーザの現実世界の上向きベクトルは、前記現実世界の上向きベクトルであり、
    前記ユーザの現実世界の表示画面は、前記現実世界の表示画面であり、
    前記ユーザの現実世界の視線は、前記現実世界の視線であり、
    前記ユーザの実在の物体ベクトルは、前記実在の物体ベクトルである、請求項２０に記載のシステム。
22. 前記プロセッサは、更に、データフレーム内における、ユーザの手及び該ユーザの手の輪郭の一方または双方の空間位置を検出する様に構成される、請求項１〜２１の内、何れか一項に記載のシステム。
23. 前記プロセッサは、更に、前記ユーザの手の一部分が、前記基平面内に配置される前記仮想表示画面及び幾つかのコンテンツ要素間の前記仮想表示錐台内に含まれる時を決定する様に構成される、請求項２２に記載のシステム。
24. 前記プロセッサは、更に、手の一部分により覆い隠される幾つかの領域を、投影されたコンテンツから除外する様に構成される、請求項２３に記載のシステム。
25. 前記プロセッサは、更に、１つ以上の手により行われる所定の手または指による身ぶりを識別し、該識別された身ぶりに関連付けられた所定の命令を実行する様に構成される、請求項２３または２４に記載のシステム。
26. 前記プロセッサは、更に、
    現在の現実世界の表示錐台内において検出すべき追加の実在の物体を検出し、
    前記追加の実在の物体の現実世界の基準点から変換された仮想の基準点を通過する仮想空間内に追加の基平面を生成し、
    前記追加の基平面上に追加のコンテンツ要素を配置し、
    前記追加のコンテンツ要素を前記画面上に投影して、追加の投影された画像を生成し、
    前記投影された画像を前記表示装置上に表示させる様に構成される、請求項１７〜２５の内、何れか一項に記載のシステム。
27. 前記プロセッサは、コンテンツ要素を第１基平面及び第２基平面から移動させる命令を受信する様に構成される、請求項２６に記載のシステム。
28. 映像コンテンツを生成及び表示するための方法であって、
    ａ．１つ以上のデータフレームを分析し、かつ、検出すべき１つ以上の実在の物体が、現在の現実世界の表示錐台内に有るか否かを判定する工程、
    ｂ．前記現在の錐台内において、前記実在の物体の１つの少なくとも一部が検出された場合、前記現実世界の表示錐台に関連付けられた現実世界の座標系内において検出された実在の物体に関連付けられた現実世界の基準点の現実世界内の座標を、前記現在のデータフレームから特定する工程、
    ｃ．前記現実世界の表示錐台内の所定の点から生じる実在の物体ベクトルを、検出された実在の物体の前記現実世界の基準点に決定する工程、
    ｄ．前記現実世界の表示錐台に関する前記データフレームに関連付けられた重力ベクトルの位置を特定する工程、
    ｅ．３Ｄ仮想空間座標系、及び３Ｄ仮想空間内の位置を有する仮想３Ｄ空間を生成し、仮想表示錐体は、関連する仮想世界の視点を有し、関連する仮想表示錐台は、前記仮想の視点から生じる仮想視線の周囲に対称的に配置され、関連する仮想表示画面は、前記仮想上向きベクトルの仮想座標系内のｘ軸及びｙ軸が前記仮想表示画面に対して平行であり、かつ、ｚ軸が前記仮想視線に対して平行である、前記仮想表示錐台の面及び関連する仮想上向きベクトルを生成する工程、
    前記仮想物体の基準点を通過する基平面を、前記３Ｄ仮想空間内に生成し、前記基平面は、関連する２Ｄ座標系（ｘ’，ｚ’）を有する工程、
    ｆ．前記基平面上の、または、前記基平面に平行な１つ以上の平面状コンテンツ要素を、前記基平面上の１つ以上の所定の許容位置内に配置する工程、
    ｇ．前記３Ｄ仮想空間内に配置された前記コンテンツ要素を、投影された画像を生成するための前記仮想表示画面上に、投影する工程、
    ｈ．前記投影された画像を有する最終画像を生成する工程、及び
    ｉ．前記最終画像を、視覚装置または表示装置に表示させる工程
    を含む方法。