JP2005531824A - ３次元グラフィック環境と対話する方法 - Google Patents

Abstract

３次元グラフィック環境と対話するユーザインタフェースおよび方法が求められる。複数の視点をユーザに与えることで、ユーザがアイレベルで環境中を見て回ったり、上から見たビューで環境を「飛び越えて」見ることができるようにする。変化するユーザの視点（７３）に合わせて、区分された領域に対応するラベル（７５）が回転し、領域の配色はユーザの視点（６９、７１）に応じて階層的に（６０〜６７）調節される。環境の前方視認能力をユーザに与え、他の領域のラベルを読み取れるようにするため、環境の隔壁および天井は、可変の半透明性／透明性を有する。インタフェースは、ユーザの移動を自然に制御しするとともに、移動を追跡し、ユーザの過去の移動経路の履歴をユーザに提供する。このインタフェースにより、インタフェース内の様々なオブジェクトに関する追加情報ビューが提供される。

Description

本発明は３次元グラフィック環境に関し、特に本開示は、３次元グラフィック環境中での発見および移動を向上させるユーザインタフェースを提供する。

インタフェースを用いて、表示画面上に情報を視覚化する手段をユーザに提供する。インタフェースの機能の中には、用途とは無関係に常に必要とされるものがある。インタフェースは、ユーザが情報中を素早く移動して閲覧できるものでなければならない。インタフェースは、ユーザが視覚表示を容易に操作できるようにするため、視覚的に説得力があり、かつ対話型のものでなければならない。最後に、インタフェースは直観的なものでなければならない。

ユーザインタフェースの種類は一般に、インタフェースがシステム画面上に表示される情報をどのように表現するかによって決まる。たとえば１つの単純で良く知られたインタフェースとしては、複数のデータオブジェクト（すなわち、ワープロ文書、画像、ビデオクリップなど）をアイコンまたはテキストラベルとして表現するものがある。その場合インタフェースは、アイコンの簡単な操作や直感的な閲覧が可能となるように設計される。たとえばこの種のインタフェースの場合、ユーザは、アイコンを表示画面上のある場所から別の場所へと切り取り／貼り付け／コピーしたり、アイコンやラベルが表示される様式（すなわち、ファイルやアイコングループの並びなど）を変更したりすることができる。この種のインタフェースは、特定のファイルを探して見つけるための「検索」オプションを有することが多い。その他、良く知られた文書処理インタフェースは、テキスト文書や画像文書を表示し、ユーザが文書や画像を編集・構成できるようにする。この種のユーザインタフェースは、表示中の文書に対して編集、表示、整形などを行なうための様々なオプションをユーザに提供するメニューを含むことが多い。

３次元グラフィックインタフェースは、情報を３次元グラフィック（すなわち仮想）環境内に表示して、情報を直観的かつ没頭的な方法で閲覧および操作できるようにする。人は現実の３次元世界で物体を物理的に移動させて見ることに慣れているので、３次元グラフィック環境は、ユーザにとって直観的で没頭的かつ自然な環境になる。多くの場合、３次元インタフェースで表現される情報は、データオブジェクトの大きなデータベースである。インタフェースは、それらのデータオブジェクトを表現画像として３次元グラフィック環境内に表示するとともに、その仮想環境内を移動し、それらの表現画像を見て対応するデータオブジェクトと対話する機能をユーザに提供する。想像できるように、３次元グラフィック環境が系統的または論理的に表示されない場合や、環境中を移動するユーザの機能に制限があったり、その機能が不便なものである場合、３次元インタフェースを使用する利点は大幅に減少する。実際、無駄な３次元インタフェースは、ユーザの役に立つどころかユーザをイライラさせる可能性のほうが高い。

本発明は、３次元グラフィック環境中における有利なユーザの移動および制御を提供する３次元グラフィックインタフェース、ならびにその環境を表示する方法である。

下記の態様を少なくとも有する３次元グラフィック環境用のユーザインタフェース、およびその使用方法について説明する。
−極めて柔軟な動きおよび環境の表示をユーザに提供する複数の視点
−知的かつ直観的な環境のラベリングおよび配色
−ユーザの前方視能力を向上させるための、環境の半透明／透明可変性
−ユーザに「自然な」動きの感覚を与える動きの制御
−動きの追跡
−追加情報ウィンドウ
−画像オブジェクトの選択
−ユーザの動作の制約
−自動移動パス
本発明の他の態様および利点は、本発明の原理を例として示す添付の図面と併せて、下記の詳細な説明から明らかになるであろう。

概して、本発明は、３次元グラフィック環境に複数の表現画像を表示するユーザインタフェースおよびその使用方法である。この説明によれば、各表現画像はデータオブジェクトに対応する。データオブジェクトは、有形または無形のオブジェクトまたは要素に対応する格納データとして広く定義される。データオブジェクトの種類の例としては、画像データ、音声データ、ワープロデータ、ビデオデータ、および３Ｄモデルなどがあるが、それらに限定はしない。オブジェクトまたは要素の種類の例としては、映画ビデオ、ＣＤ、美術品、電子ワープロ文書、電子人事記録、および商業在庫などが挙げられるが、それらに限定はしない。たとえば、オブジェクトの種類が映画ビデオである場合、その種類の特定のオブジェクトは特定の映画である。さらに、表現画像は、テキストラベル、自然画像、グラフィック画像、文書およびファイルのフォルダの画像、ビデオ画像、３次元モデル、または任意のタイプの視覚データとして実施することができる。一実施形態において、データベース内に記憶されるデータオブジェクトは、それらに関連付けられたデータオブジェクトに関して、何らかの方法で論理的に表示、分類、グループ分け、及び／又は、配置することができるように、関連付けられている。

各データオブジェクトは、メタデータと呼ばれる関連データを有する。このメタデータは、データオブジェクトそれ自体とは異なる他の任意のデータに対応し、そのデータオブジェクトを説明するか、または、データオブジェクトに関係する。各データオブジェクトは、異なる種類のメタデータを有する場合がある。例えば、オブジェクトの種類が映画ビデオである場合、メタデータの種類には、映画のタイトル、映画監督、映画の公開日、映画俳優、および映画のジャンル（例えば、コメディ、ドラマ）などに対応するデータが含まれる。一方、オブジェクトの種類が美術品である場合、メタデータの種類には、その美術品のタイトルおよび美術品の流派（例えば、モダン派、印象派）などが含まれる。メタデータは、データオブジェクトと共に記憶することもできるし、データオブジェクトと関連メタデータとの間にリンクを作るようにして個別に記憶してもよい。

本発明のユーザインタフェースは、３次元画像をレンダリングして表示するように構成されたシステムで実施することができる。図１は、グラフィック処理ユニット１０、レンダリングエンジン１１、ユーザ出力１２、ユーザ入力１３およびメモリ１４を含む、そのようなシステムの一例を示す。グラフィック処理ユニット１０は、グラフィックイメージングの分野で既知のように、データオブジェクトデータ１０Ａを受け取り、それらのデータオブジェクトの表現画像を３次元環境内に含む３次元グラフィック環境に対応する３次元画像データ１０Ｂを生成する働きをする。レンダリングエンジン１１は、画像データ１０Ｂを受け取ってレンダリングデータ１１Ａを生成し、ユーザ出力１２を作動させる。例えば、レンダリングデータ１１Ａは、モニタ（図示せず）を作動させ、表現画像を含む３次元グラフィック環境を表示する。ユーザ入力１３は、ユーザがユーザインタフェースを介して３次元環境と対話できるようにする。例えば、ユーザ入力１３によりユーザは、表示されたカーソルをキーボードまたはマウスを用いて移動させることによりユーザインタフェースを制御し、３次元環境内で移動して閲覧することが可能になる。他の種類のユーザ入力１３としては、ジョイスティックや感圧スクリーンなども含まれるが、それらに限定はしない。グラフィックス処理ユニット１０がデータオブジェクトの表現画像を生成してもよいし、表現画像データはメモリ１４内に記憶され、データオブジェクトデータベースにリンクされてもよい。

閲覧と移動
ユーザインタフェースおよびその使用方法の一実施形態によれば、環境の内側または外側からの視点をそれぞれユーザに提供する２つのモードが提供される。この実施形態によれば、ユーザが環境の外側を見ている場合、すなわち外側の視点から（天井を通して）環境の内側を見ている場合、これが「外側」モードである。同様に、ユーザが環境の内側で見ている場合、すなわち内側の視点から（天井を通して）環境の外側を見ている場合、これが「内側」モードである。いずれのモードの場合であっても、ユーザは、自由度６（すなわち、ｘ、ｙ、ｚ方向への平行移動、およびｘ、ｙ、ｚを中心とした回転）で環境を見て操作することができる。

図２は、視点が環境２０の外側からのものである「外側」モードを示す。図示のように、環境２０は、２つの領域：内側領域２１と外側領域２２を形成するように境界が定められる。図示のように、この例では、視点は外側領域２２内の環境の上方からのものであり、環境を上から見た図を提供する。この視点は、環境全体を一度に見渡して表現画像の論理的なグループ分けを識別するのに役立つ。たとえば環境が複数の領域に区分され、各領域内に、論理的にグループ分けされた表現画像が表示される場合、この外側ビューモードでは、閲覧者が環境内の論理的なグループ分けを容易に識別することができる。さらに、この「外側」モードは、環境のある領域から別の領域へ容易に素早く移動する能力をユーザに提供する。これは、移動が環境の上方で行われるため、あちこち移動するのに障害物がないからである。

図３は、視点が内側領域２１からのものである「内側」ビューモードを示す。図示のように、この視点では、環境内のすべての表現画像に対して、閲覧、対話、および移動を直接行うことができる。「内側」モードでは、ユーザが３次元グラフィック環境に完全に没頭し、表現画像をさらに詳細に閲覧し、対応するデータオブジェクトと対話することができる。

ビューモード（すなわち、「内側」モードおよび「外側」モード）は、ユーザが選択してもよいし、ユーザの動きに応じて自動的に選択されるようにしてもよいことに注意して欲しい。また、内側領域２１と外側領域２２の間の境界を明示的に表示する必要は、必ずしも無いことにも注意して欲しい。たとえば、境界は、３次元グラフィック環境の内側領域２１が終わりおよび／または外側領域２２が始まる点として、間接的なものであってもよい。

他の実施形態では、モード間を切り替えるとき、連続した視点の移動がユーザに与えられ、それによってモード間を飛ぶような感覚がユーザに与えられる。たとえば図２に示すように、ユーザは「外側」モードで開始し、パス２３に沿って「内側」モードへと自動的に移行する。同様に、ユーザは「内側」モードで開始し、パス２４（図３）に沿って「外側」モードへと自動的に移行することもできる。ユーザに対するビューは、特定時間間隔にわたる６つの動きパラメータの線形補間によって計算される。具体的には、（ｘ_０，ｙ_０，ｚ_０，φ_０，θ_０，ρ_０）が開始視点の平行移動パラメータおよび回転パラメータであり、（ｘ_ｆ，ｙ_ｆ，ｚ_ｆ，φ_ｆ，θ_ｆ，ρ_ｆ）が対応する目標パラメータであるものと仮定すると、新しい動きパラメータ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ，φ_ｉ，θ_ｉ，ρ_ｉ）は、以下の数式（式１）に従って判定される。

式中、ｉの範囲は０〜Ｔであり、Ｔはある時間間隔である。この補間は、開始視点および終了視点がどこであっても、その間に滑らかな遷移を与えることに注意して欲しい。

環境を複数の領域に区分したさらに他の実施形態では、ユーザに対し、隔壁を超えて移動することによって環境内を移動する機能を提供する。具体的には、ユーザは、隔壁の片側における「内側」モードからその隔壁上の「外側」モードへと自動的に移行し、さらにその環境内の他のどこかにおける「内側」モードへと、連続した視点移動で戻ることができる。この移動は、隔壁を飛び越すような感覚をユーザに与える。

さらに他の実施形態では、隔壁をのり越える能力ではなく、隔壁を通り抜ける機能をユーザに提供することにより、環境内の他の区分された領域への移動経路を短縮する。この実施形態によれば、図４Ａおよび図４Ｂに示すように、隔壁を透明または半透明にすることができる。ユーザは、他の領域にある画像を見る能力を有することより、隔壁を通過して移動すると次の領域内にある所望の画像までの経路が短くなるから隔壁を通過して移動しよう、という動機が与えられる。たとえば図４Ａにおいてユーザは、領域４０内にいるとき、領域４０内の画像しか見ることができない。ユーザが経路４２に沿ってドア４１を通ってて次の領域４３の中へと移動するのに従って、その閲覧者は画像４４に気付き、それに向かって移動する。しかしながら、図４Ｂに示すように隔壁を透明または半透明にした場合、閲覧者は領域４０に居ながらにして画像４４を見ることができ、経路４５に沿ってドアを通ることなく隔壁を通り抜けて画像４４まで直接移動することができ、それによって移動経路が短縮される。

領域の識別
ユーザインタフェースおよびその使用方法の他の実施形態によれば、少なくとも１つの所定の画像グループ分けに従って領域が区別される。たとえば隔壁と天井によって画定された複数の領域を含む区分された環境では、隔壁および／または天井を例えば色やパターンなどを用いて視覚的に区別できるようにし、所定の画像グループ分けに応じて環境内の各領域を明確に識別できるようにする場合がある。一実施形態において、区分された領域（すなわち、隔壁、天井、ラベル等）は所定のグループ分けに従って色付けされる。この実施形態によれば、所与の領域内の画像を、その画像の対応するデータオブジェクトメタデータに従ってグループ分けすることができる。

さらに、オブジェクトデータベース中の各画像は、データベースを階層ツリーに従って表現することにより、データオブジェクトメタデータに応じて階層的にグループ分けすることができる。図５Ａは、階層ツリーで表現されたデータベースの一例を示す。このツリーは複数のノード５０、５１Ａ、５１Ｂ、５２Ａ〜５２Ｃ、５２Ｄ〜５２Ｆ、および５３を含む。ノード５３は、データベース内のデータオブジェクトの１つにそれぞれ対応するデータオブジェクトノードである。各ノード５０〜５２は、データオブジェクトノード５３の分類およびグループ分けに使用された異なるメタデータタイプに対応する。たとえばノード５１は、製品機能タイプに対応し、計算型製品と画像処理型製品とを含む。計算型製品ノードの下には、ノートブック、ハンドヘルド、およびデスクトップを含む、機器タイプノードの第１の集合がある。画像処理型製品ノードの下には、スキャナ、プリンタ、およびカメラを含む、機器タイプノードの第２の集合がある。機器タイプノードのそれぞれの下には、データベース内のデータオブジェクトにそれぞれ対応する実際の製品がある。

図５Ｂは、図５Ａに示す階層ツリーに従って区分された３次元グラフィック環境のレイアウトに対応する３次元領域を上から見た図の一例を示す。ノード５０を含むツリーの最上位レベルは、すべてのデータオブジェクトからなるグループに対応する。したがって、この階層レベルは未分割の３次元環境に対応する。この例では、未分割の３次元環境が、頂点ＡＩＪＤ（図５Ｂ）によって画定された２次元領域５４に対応する。ノード５１を含む次のレベルは、計算型製品と画像処理型製品とを含む２つのデータオブジェクトグループに対応する。このレベルは、頂点ＡＢＣＤおよびＢＩＪＣによってそれぞれ画定された２つの領域に対応する。ノード５２を含む次のレベルは、ノートブック、ハンドヘルド、デスクトップ、スキャナ、プリンタ、およびカメラを含む６つのデータオブジェクトグループに対応する。これらのグループはそれぞれ、以下の頂点：ＡＢＦＥ、ＥＧＨＤ、ＧＦＣＨ、ＢＬＭＫ、ＬＩＮＭ、およびＫＮＪＣによってそれぞれ画定された６つの領域に対応する。

ユーザインタフェースおよびその使用方法の一実施形態では、メタデータに基づく階層ツリーに従ってグループ分けされた画像に対応する区分された領域を、たとえば色やパターンなどを用いて環境中の他の領域から視覚的に区別できるようにし、環境内の各領域を明確に識別できるようにする。一実施形態では、各区分された領域について、その領域に関連する隔壁、天井、ラベル、または他の何らかの要素のうちのいずれかまたは全てを一意の色で表示させることにより、視覚的に区別できるようにする。この識別方法は、ユーザインタフェースによって自動的に実行されてもよいし、ユーザが選択できるようにしてもよいことに注意して欲しい。さらに、識別方法が選択されると、領域を区別できるようにする方法の選択（すなわち、パターンと色のどちらが使用されるかに関わらず、どの色またはパターンを使用するか、色／パターンの濃さまたは明るさなど）が、自動的に行なわれるか、ユーザによってなされる。たとえば、ユーザは特定の色、パターン等を明示的に選択することができる。

ユーザインタフェースおよびその方法の他の実施形態によれば、区分された領域の色は、画像の階層的グループ分けに応じて様々になる。オブジェクトデータベースを表す階層ツリーに示したように（図５Ａ）、オブジェクトはツリーの各レベルで様々にグループ分けされる。最高レベル（ノード５０）では、すべてのオブジェクトが消費者電気製品として一緒にグループ化される。第２のレベル（ノード５１）では、オブジェクトが２つのグループ：計算型および画像処理型に分けられる。したがって、区分された領域は、画像が現在グループ分けされている階層レベルに従って、色付け、パターン付け等がなされる。図６Ａは、ノード５１を含む第１の階層グループ分けレベルに従って領域を区別できるようにするやり方を示す上面図である。特に、計算型製品（図５Ｂ）に対応する領域６０が第１のパターンで識別され、画像処理型製品に対応する領域６１が第２のパターンで識別されている。図６Ｂは、図６Ａに示したインタフェースの実際の外観を示す図である。図６Ｃは、ノード５２を含む第２の階層的グループ分けレベルに従って領域を区別したところを示す上面図である。図示のように、ノートブック６２、ハンドヘルド６３、デスクトップ６４、スキャナ６５、プリンタ６６、およびカメラ６７のそれぞれに対応する領域が、異なるパターンで区別され識別できるようになっている。図６Ａ〜図６Ｃは、領域の天井を様々なパターンで区別して識別することができることを示しているが、それと同じ色またはパターンで各領域の他の外観も同様に区別することができる点に注意して欲しい。たとえば、領域のグループ分けを識別するラベルは、そのグループ分けされた領域と同じ色にすることができる。

様々な階層グループ分けレベルに関する環境の領域の区別は、手動で選択してもよいし、視点の変更によって指示してもよい。たとえば、ユーザは、環境内のグループを区別するためのユーザインタフェースメニューから特定の階層グループ分けレベルを手動で選択し、そのグループ分けレベルに従って区分された領域を区別させることができる。あるいは、階層的グループ分けレベル、および区分された領域の色やパターンなどは、ユーザの視点の変化に従って変更することもできる。たとえば、図６Ｄは、「内側」領域および「外側」領域を有する３次元グラフィック環境６８を示す。環境の上にある平面６９は、環境６８から距離７０にあるビュー平面を表している。ユーザの視点は、このビュー平面内であればどこにでも置くことができ、環境６８に向けて置かれる。環境６８中の区分された領域は、ビュー平面６９から環境６８までの距離７０に応じて、第１の階層的グループ分けレベルに従って区別される。図６Ｅは、環境から距離７２のところにある、次に近い視点平面７１を有する３次元環境６８を示す。図示のようにビュー平面７１はビュー平面６９よりも近いところにあるため、この実施形態によれば、環境６８中の区分された領域は、異なる階層的グループ分けレベルに従って区別される。具体的には、環境６８中の区分された領域は、図６Ｃに示したものと同様の第２の階層グループ分けレベルに従って視覚的に区別される。一実施形態において、視点が環境の上で上昇／下降するとき、その移動は階層グループ分けツリー内における同様の上昇／下降に対応する。

区別可能な天井は、選択的または自動的に、透明、半透明または不透明に設定することができることに注意して欲しい。不透明ではない天井であれば、ユーザは、「外側」モードにいながらにして視覚的に区別された関心のある領域を素早く識別し、その領域内の表現画像を見て（同じく「外側」モードにいながらにして）、関心のある画像を素早く見つけたり、関心のある領域内の全画像を次々と閲覧したりすることができる。また、透明の天井よりも半透明の天井のほうが、ユーザが環境の中を見ることができ、なおかつ全体のグループ分けについて色を感じとることができるので、有利である。透明天井や半透明天井では、ユーザが「内側」モードからでも色／パターンのグループ分けを観察することができるようになる。

ラベル
ユーザインタフェースおよびその使用方法の他の実施形態では、領域を識別するラベルがユーザの視点に応じて回転・平行移動する。一実施形態では、区分された領域内に配置されたその区分された領域に対応するラベルが、ユーザが「内側」モードにあるか「外側」モードであるかにかかわらず、ユーザの視点に応じて回転・平行移動する。同様に、環境の外側に配置され領域に対応するラベルも、ユーザが「内側」モードにあるか「外側」モードにあるかに関わらず、ユーザの視点に応じて回転・平行移動する。この実施形態によれば、領域内にあるラベルだけが見え、視点に応じて回転するように、不透明の天井を選択することができる。

あるいは、ユーザが領域内のラベルと領域外にある他のラベルを両方見ることができるように、そして全ラベルが視点に関して可動状態になるように、透明または半透明の天井を選択することもできる。その場合、領域上方のラベルは、上で述べたような高レベル階層のグループ分けラベルに対応するものにできる。従ってその場合、ユーザは「内側」モードで環境内を移動することもできるし、透明の天井を選択することで、見ている領域の階層グループラベルを見ることもできる。

図７Ａおよび図７Ｂは、ラベルが視点に応じて回転可能・平行移動可能である様子を示す。視点７３を有するユーザは最初、領域７４（目に見えるラベル７５で識別される）の隔壁ｂを見ているが、その後ｙ軸を中心にして角度θだけ回転して隔壁ｃを見る。するとラベル７５は同じ角度θだけ回転し、図７Ｂに示すように、ユーザが隔壁ｃを見ながらラベル７５を見ることができるように、平行移動する。一実施形態において、ラベルの移動は、（ｘ_０，ｙ_０，ｚ_０，φ_０，θ_０，ρ_０）をユーザの現在の視点とし、（ｘ_ａ，ｙ_ａ，ｚ_ａ）をラベルの位置として、判定される。次いでこのラベルは、式２によって与えられる角度θ_ａだけｙ軸を中心にして回転する。

この例の場合、ラベルの平行移動位置に変化はなく、パン角度（すなわち、ｙ軸を中心とした回転）だけが変化することに注意して欲しい。しかしながら、この方法は、ラベルをユーザの方へ向けて傾けることができる（すなわち、ｘ軸を中心として回転する）ようにして実施することもできる。さらに、ラベルの位置を調節し、ユーザの視認性が最大になるようにすることもできる。

図７Ｃに示すように視点７３が環境の上にあり、下向きになっている場合、図７Ａや図７Ｂに示したような各領域の隔壁上のテキストラベルを見ることが難しいことがある。したがって、他の実施形態によれば、ラベルが上向きにユーザの方へ向くように自動的に回転させることができる。さらに、視点面に対して平行な平面内で、ユーザによるラベルの視認性を最大にするθ_ａに従ってラベルを回転させることもできる。さらに他の実施形態では、画像の高速レンダリングに役立つように、全ラベルをユーザのパン角度θに関して同じ角度だけ回転させることもできる。

オブジェクトの選択および対話
ユーザインタフェースおよびその使用方法の他の実施形態においてユーザは、ユーザの視点の照準点を関心のある画像に合わせることによって画像を選択した後、キーボード、マウス、またはジョイスティック等の入力装置を用いて、選択および／または作動を指示することができる。この実施形態によれば、照準点を画像に合わせて指示すると、ユーザは３次元グラフィック環境中のその画像に近づくように自動的に移動させられる。そのため、ユーザは、画像に対してこの「自動移動」モードを指示すれば、その画像までの残りの距離を移動する必要がない。この目に見える移動は、数１による線形ビュー補間によって実現される。だだしこの場合、（ｘ_０，ｙ_０，ｚ_０，φ_０，θ_０，ρ_０）はユーザの平行移動開始パラメータおよび回転開始パラメータであり、（ｘ_ｆ，ｙ_ｆ，ｚ_ｆ，φ_ｆ，θ_ｆ，ρ_ｆ）は対応する目標パラメータである。そして目標の視点は、関心のある画像の正面に配置され、正面がそれに対して平行になる向きに配置される。一実施形態においてインタフェースは、各領域の隔壁およびそれらの隔壁上に表示されている画像に対するユーザの視線方向および領域内の位置に応じて、照準点が合わせられた画像（すなわち、関心のある画像）を自動的に判定する。関心のある画像を識別した後、インタフェースは、ユーザをその画像に近づけるように自動的に移動させることができる。上記の「自動移動」モードは、環境中で照準が合わせられた任意の要素までユーザを自動的に移動させるのに利用できることに注意して欲しい。たとえば、隔壁の１つにある開口部（たとえば、出入口）や所与の隔壁まで、ユーザを自動的に移動させることができる。

また、表現画像は、上記の自動選択技法に従ってユーザに選択されたときに対話的なものになるようにしてもよい。たとえば、３次元モデルとして実施された表現画像は、ユーザによって回転されたときに、さらなるビューをユーザに提供することができる。さらに、表現画像を選択することで、関連するさらなるマルチメディアデータにアクセスすることもできる。たとえば、２次元表現画像を選択することで、そのデータオブジェクトに関連するオーディオクリップにアクセスしたり、対応する２次元画像の３次元モデルにアクセスしたり、ビデオシーケンスにアクセスしたり、他の外部アプリケーション（たとえばウェブページなど）にアクセスしたりすることができる。

閲覧および移動の制御
概して、ユーザの移動は、最も頻繁に使用される移動が所与の入力装置の最も簡単で最も直観的な制御シーケンスに割り当てられるようにして、入力装置制御に割り当てられる。また、一実施形態では、環境中の移動を扱いやすくするために、入力装置によってユーザに与えられる自由度の数が、制限または削減されることにもさらに注意して欲しい。換言すれば、多数の移動の自由度をユーザに与えすぎると、ユーザが混乱し、直観性が低くなる恐れがある。したがって、２つのアナログコントローラを備えたジョイスティックの場合、２つのコントローラには以下のように割り当てを行なうことができる：左のコントローラは前後の動き（ｚにおける平行移動）およびパン（ｙを中心とした回転）を操作し、右のコントローラは左右の動きおよび高さの変更（ｘおよびｙそれぞれにおける平行移動）を操作する。マウスにも同様の割り当てを行なうことができ、左ボタンのクリックおよびドラッグは前後の動き（ｚにおける平行移動）およびパン（ｙを中心とした回転）を制御し、右ボタンのクリックおよびドラッグは左右の動きおよび高さの変更（ｘおよびｙにおける平行移動）を制御する。ユーザはさらに、左右同時クリックおよびドラッグにより視点を傾ける（ｘ軸を中心として回転する）ことができる。キーボードにも、カーソルキーと、シフトキーの同時押しを用いて、同様の割り当てを行なうことができる。上記の平行移動および回転は、ユーザの現在の視点に対して局部的に定義されることに注意して欲しい。

一実施形態では、視点の傾斜角を、ｘ−ｚ平面に対する視点の高さに応じて制御する。たとえば図８を参照すると、環境８０に対するアイレベルの高さを予め決めておき、現在の視点をそれと比較する。視点の高さがアイレベルである（図８の視点１）場合、閲覧者の傾斜角は自動的に０度に設定される。視点の高さがアイレベルよりも低い（視点２）場合、傾斜角は、視点の高さがアイレベルに対してどのくらい低いかに応じて正の傾斜角に自動的に設定される。同様に、視点の高さがアイレベルよりも上である（視点３）場合、傾斜角は、視点の高さがアイレベルに対してどのくらい上にあるかに応じて負の傾斜角に自動的に設定される。傾斜角は、高さレベルの変化に応じて連続的に調整される。このように、視点の傾斜角を自動的に調節することによって、３次元グラフィック環境における表現画像の最適なビューが得られる。傾斜角自動調節機能を与えることにより、ユーザに与えられる自由度の数が少なくなり、環境中の移動が扱いやすくなる。換言すれば、多数の個別の傾斜角調節機能をユーザに与えすぎると、移動の自由度が高くなり、ユーザが混乱し、直観性が低くなる恐れがある。

一実施形態では、各区分された領域がアクティブな移動ゾーンと非アクティブな移動ゾーンとを含むことができるように、ユーザの移動は、環境の内側を移動している間、制限が加えられる。アクティブゾーンとは、ユーザがその中で移動することができる区分された領域の部分であり、非アクティブゾーンは、ユーザがその中で移動することができない区分された領域の部分である。一実施形態において、アクティブゾーンは、区分された領域の隔壁にある開口部（すなわち、ユーザがその区分された領域から他の区分された領域へ移動する場所）を除き、非アクティブゾーンによって境界が画定される。ユーザが開口部に向かって移動すると、ユーザの移動が開口部に自然に向かうように、非アクティブゾーン／アクティブゾーンがその移動を制限する。このようにユーザの移動に制限を課すことの一つの利点は、ユーザが開口部からスムーズに出るために開口部にぴったりと位置合わせする必要性を低減することにある。

追加情報ウィンドウ
ユーザインタフェースおよびその使用方法の他の実施形態では、詳細情報ウィンドウを３次元グラフィック環境とともに表示し、現在選択されている画像についての詳細をユーザに提供することができる。図９は、視点が複数の隔壁９２に複数の画像９１を分散配置した区分された領域内にあるときの、本発明の３次元グラフィックインタフェース９０を示す。画像９１は複数の映画のポスターを表していて、この実施形態では、表現画像が犯罪映画のカテゴリに属する映画のポスターに対応するものであることに注意して欲しい。インタフェースの隅に、領域内の画像（すなわち、映画）のうちの少なくとも１つを説明するテキストを含む詳細情報ウィンドウ９３が表示されている。詳細情報には、例えば映画の監督、映画の公開日、俳優などが含まれる。ウィンドウの表示は、閲覧者が開始させてもよいし、環境内の画像が選択されたときに自動的に表示させることもできる。あるいは、ウィンドウは選択なしで自動的に表示させることもできる。さらに、このウィンドウは、ユーザが環境を単にあちこち移動するのに従って更新することもできる。

ユーザインタフェースおよびその使用方法の他の実施形態では、環境の頭上からのマップ９４にその環境内のユーザの移動経路を表示し、ユーザが訪れた場所やユーザの現在位置を追跡する。移動履歴を提供するため、同様にして移動経路９５を環境自体の中にも表示する。一実施形態では、移動経路にタイムスタンプを関連付け、日時または特定の日付に応じて移動場所を判定する手段をユーザに与えることにより、はるかにわかりやすく完全な移動履歴を提供する。さらに、他のユーザオプションとしては、ユーザが移動経路の一部を選択してハイライトさせ、その場所まで自動的に移動されるようにすることの他、移動経路の経路全体を単に消去するためのオプションを有することなどがあるが、それらに限定はしない。

上記の説明では、本発明を完全に理解をしてもらうために多数の特定の詳細について述べた。しかしながら、それらの特定の詳細が本発明を実施する際に必ずしも必須のものでないことは、当業者には明らかであろう。その他、既知の技術については、本発明を不必要に曖昧にするのを避けるため、詳細には説明していない。

さらに、本発明の要素は特定の実施形態と併せて説明されているが、当然ながら、本発明は他にも様々な方法で実施することができる。したがって、例示のために図示説明した特定の実施形態に、限定の意図は全くないものと解釈しなければならない。それらの実施形態に関する詳細の参照に、本発明にとって重要だと考えられる特徴だけを列記した特許請求の範囲を限定する意図はない。

３次元グラフィック環境を生成するための従来技術によるシステムを示す図である。 本発明の３次元グラフィックインタフェースによる第１のビューモードを示す図である。 本発明の３次元グラフィックインタフェースによる第２のビューモードを示す図である。 ３次元グラフィックインタフェース従って半透明の隔壁を提供することによる移動の利点と、その３次元グラフィックインタフェースの使用方法を示す図である。 ３次元グラフィックインタフェース従って半透明の隔壁を提供することによる移動の利点と、その３次元グラフィックインタフェースの使用方法を示す図である。 階層ツリーで表現されたオブジェクトデータベースを示す図である。 図５Ａに示す階層ツリーに従って区分された３次元領域を上から見た図である。 画像の第１の階層グループ分けに従って目に見えるように区別された区分された領域を有する、図５Ｂに示した３次元領域を示す図である。 図６Ａに示した３次元領域の表現に対応するインタフェースの実際の外観の一例を示す図である。 画像の第２の階層グループ分けに従って目に見えるように区別された区分領域を有する、図５Ｂに示した３次元領域を示す図である。 ３次元グラフィック環境の上にビュー平面を示す図である。 環境までのビュー平面距離に応じた階層的グループ分けレベルに従った区分された領域の区別を示す図である。 本発明の３次元グラフィックインタフェースによる回転可能なラベルと、その３次元グラフィック環境を見る方法を示す図である。 本発明の３次元グラフィックインタフェースによる回転可能なラベルと、その３次元グラフィック環境を見る方法を示す図である。 本発明の３次元グラフィックインタフェースによる回転可能なラベルと、その３次元グラフィック環境を見る方法を示す図である。 視点の高さに応じた見る角度の調節を示す図である。 本発明の３次元グラフィックインタフェースによるユーザの移動経路、上から見たマップ、および追加情報ウィンドウ、並びに、本発明の３次元グラフィック環境を見る方法を示す図である。

Claims (15)

1. ３次元グラフィック環境の中（２０）を移動する方法であって、内側領域（２１）および外側領域（２２）を画定する境界を有する前記環境を見るための、少なくとも２つのモードを提供することからなり、前記少なくとも２つのモードが、
   前記内側領域内を見て移動し、それによって前記環境の「アイレベル」ビューを提供する第１のモードと、
   前記外側領域内を見て移動し、前記環境のオーバーヘッドビューを提供する第２のモードとを含む方法。
2. 前記内側領域（２１）が区分されていて、前記方法は、前記第１のモードと前記第２のモードとの間を遷移する（２３、２４）ことにより隔壁を乗り越えることによって移動することを更に含む、請求項１の方法。
3. ユーザの移動に応じてビューモードを自動的に切り換えることを更に含む、請求項１の方法。
4. 前記内側領域が透明な隔壁および半透明な隔壁のうちの一方を使用して区分されていて、前記方法は、前記第１のモードにあるとき、前記隔壁を通り抜ける（４５）ことにより移動することを更に含む、請求項１の方法。
5. モード間を切り換えるときに連続した視点（２３、２４）を提供し、それによって隔壁を飛び越える感じを与える、請求項１の方法。
6. 前記３次元グラフィック環境は、複数の表現画像を表示するための複数の区分された領域を有し、
   前記画像の少なくとも１つのグループ分け（５１、５２、５３）を予め決定することと、
   前記画像のグループ分けに従って、区分された領域を視覚的に区別できるように（６０、６１）表示することとを含む、請求項１の方法。
7. 隔壁、領域の天井、および該領域のそれぞれのラベルを少なくとも含む少なくとも１つの可視要素を、複数の色およびパターンのうちの１つで表示することにより、視覚的に区別できるようにすること、を更に含む請求項６の方法。
8. 階層グループ分けレベル（６０〜６７）に従って、および前記環境に対する視点（６９、７１）の位置に応じて領域を区別可能にすること、を更に含む請求項６の方法。
9. 少なくとも１つの領域を識別するための少なくとも１つのラベル（７５）を提供することと、
   前記ユーザの視点（７３）に応じてラベルを回転させることとを更に含む、請求項１の方法。
10. 前記ユーザの視点に応じてラベルを平行移動させることを更に含む、請求項９の方法。
11. 少なくとも１つの区分された領域に関連する前記外側領域に少なくとも１つのラベルを提供し、前記少なくとも１つの区分された領域に関連する前記内側に少なくとも１つのラベルを提供すること、を更に含む請求項９の方法。
12. 不透明モードでは前記内側領域および前記外側領域のうちの一方にあるラベルのみが見え、非不透明モードでは前記内側領域と前記外側領域の両方にあるラベルが見えるように、選択可能な非不透明天井を提供すること、を更に含む請求項９の方法。
13. 前記３次元グラフィック環境が複数の表現画像を表示するための複数の区分された領域を有し、前記環境が内側領域および外側領域を画定する境界を有し、
    ユーザ照準点を画像に合わせることと、
    前記画像との対話を指示することと、
    指示されたときに、前記ユーザ照準点を前記画像まで自動的に近づけることとを含む、請求項１の方法。
14. 前記３次元グラフィック環境が複数の区分された領域を有し、
    少なくとも１つの領域内でユーザの移動が許可されるアクティブゾーンを提供することと、
    前記領域内でのユーザの移動が許可されない非アクティブゾーンを提供することとを含み、前記非アクティブゾーンは、前記隔壁の開口部の領域を除き、前記非アクティブゾーンによって周囲の境界が定められる、請求項１の方法。
15. 前記環境に対する第１の視点の高さを予め決定すること、
    前記予め決定された視点の高さに対する現在の視点の高さに応じて、前記現在の視点の傾斜角を自動的に調節することとを含む、請求項１の方法。
    

Images