JP2016524262A - ３次元ユーザインタフェース - Google Patents

Abstract

３次元（３Ｄ）ユーザインタフェースを提供する方法は、３Ｄユーザインタフェースの、３Ｄシーンの表示空間と対応している入力空間内から少なくとも部分的にユーザ入力を受け取ること、３Ｄシーンを基準としてユーザ入力を評価すること、および３Ｄシーンを前記ユーザ入力に基づき変更すること、を含む。３次元（３Ｄ）ユーザインタフェースを提供するシステムは、３Ｄシーンを３Ｄ表示空間に表示するユニットと、３Ｄ入力空間における入力オブジェクトの３Ｄ座標を追跡するユニットと、コンピュータと、を備え、該コンピュータは、前記３Ｄ入力空間における前記入力オブジェクトの前記座標を受信し、３Ｄ入力空間における前記入力オブジェクトの前記座標をユーザ入力に変換し、およびユーザ入力に基づいて、前記３Ｄシーンの前記表示を変更する。【選択図】図４Ａ

Description

関連出願

本願は、２０１３年７月１０日に出願された米国特許仮出願第６１／８４４，５０３号からの優先権を主張するものであり、その内容は参照により本明細書に完全に援用される。

本発明は、そのいくつかの実施形態において、３次元ユーザインタフェースに関し、特に、限定はしないが、３次元ディスプレイと同様の空間を占有する３次元ユーザインタフェースに関する。

様々な種類の３次元ディスプレイが知られている。例えば、ステレオ方式（stereoscopic）３次元ディスプレイ等の３次元ディスプレイや、ホログラフィック３次元ディスプレイ等の真の３次元ディスプレイがある。ステレオ方式３次元ディスプレイは、目を２つ有する人間にとっては立体的に見えるが、１０００個の眼（複眼）を有するハエにとっては必ずしもそうではない。また、ホログラフィック３次元ディスプレイは、実際の対象物から生じた光線のように見える光線であって、実際のオブジェクトから生じる光線と同様の挙動を示す光線を作成することにより、空中に浮遊するオブジェクト等を表示するものである。

例えば特許文献１に教示されるような真の３次元ディスプレイは、空中に浮遊するシーンまたはオブジェクトを表示して、ユーザはその表示空間内に手またはツールを挿入することができる。

以下に、その他の背景技術を先行技術文献として示す。

各先行技術文献および本明細書の全体にわたる開示は、これらの文献中に引用される文献等の開示と同様に、参照により本明細書に援用される。

国際出願ＰＣＴ２０１０／００４５６３号明細書（米国特許第８５００２８４号号明細書） 米国特許出願公開第２０１３／０９１４４５号明細書 米国特許出願公開第２０１２／０５７８０６号明細書 米国特許第８５００２８４号号明細書 米国特許公開２０１１／０１２８５５５号明細書

「回転式血管造影法による左心房再建の位置合わせのための心腔内心エコー法：心房細動アブレーションにおける２つの手続き間３次元撮像技術を統合する２つの新規なアプローチ（Intracardiac echocardiography for registration of rotational angiography-based left atrial reconstructions: a novel approach integrating two intraprocedural three-dimensional imaging techniques in atrial fibrillation ablation）」と題する記事、Nolker G、Gutleben KJ、Asbach S、Vogt J、Heintze J、Brachmann J、Horstkotte D、Sinha AMら著、２０１１年４月Ｅｕｒｏｐａｃｅにて出版：１３（４）、４９２−８ 「左心房および肺血管の手続き内撮像：回転式血管造影法と心臓のコンピュータ断層撮影との比較考察（Intraprocedural imaging of left atrium and pulmonary veins: a comparison study between rotational angiography and cardiac computed tomography）」と題する記事、Kriatselis C、Nedios S、Akrivakis S、Tang M、Roser M、Gerds-Li JH、Fleck E、Orlov M.著、Pacing Clin Electrophysiol、２０１１年３月

本発明は、そのいくつかの実施形態において、手またはツールによるジェスチャ等を変換して、３次元ディスプレイ内に表示した内容についてのコンピュータ制御に対応させたユーザインタフェースコマンドとする方法を教示するものである。

いくつかの実施形態において、手またはツールによるジェスチャは、３次元ディスプレイの正にその空間内で行う。

本発明のいくつかの実施形態の一態様によれば、３次元（３Ｄ）ユーザインタフェースを提供する方法であって、３Ｄユーザインタフェースの入力空間であって、３Ｄシーンの表示空間と対応している入力空間内から、少なくとも部分的に、ユーザ入力を受け取ること、３Ｄシーンを基準としてユーザ入力を評価すること、および３Ｄシーンをユーザ入力に基づき変更すること、を含む方法を提供する。

本発明のいくつかの実施形態によれば、入力空間は表示空間と少なくとも部分的に重なり合う。本発明のいくつかの実施形態によれば、入力空間は表示空間内に含まれている。本発明のいくつかの実施形態によれば、入力空間は表示空間と重なり合い、かつ範囲が同等である。

本発明のいくつかの実施形態によれば、入力空間の座標は表示空間の座標とスケールが同等である。

本発明のいくつかの実施形態によれば、３Ｄシーンはホログラフィにより作成する。本発明のいくつかの実施形態によれば、３Ｄシーンはコンピュータ生成ホログラフィにより作成する。

本発明のいくつかの実施形態によれば、ユーザが入力オブジェクトを入力空間内に置くことを含む。

本発明のいくつかの実施形態によれば、入力オブジェクトはユーザの手を含む。本発明のいくつかの実施形態によれば、ユーザ入力は、ユーザが手で形成する形状を含む。本発明のいくつかの実施形態によれば、ユーザ入力はハンドジェスチャを含む。

本発明のいくつかの実施形態によれば、入力オブジェクトはツールを含む。

本発明のいくつかの実施形態によれば、ユーザ入力は、入力オブジェクトの先端を入力空間内における一の位置に置くことにより、入力空間における位置に対応する位置を表示空間において選択することを含む。

本発明のいくつかの実施形態によれば、ユーザ入力は、入力オブジェクトの先端を入力空間内の複数の位置にわたって動かすことにより、入力空間における複数の位置に対応する複数の位置を表示空間において選択することを含み、さらに、入力空間における複数の位置のそれぞれ一つずつに選択コマンドを付加することを含む。

本発明のいくつかの実施形態によれば、入力オブジェクトは複数の選択点を含み、ユーザ入力は、入力オブジェクトの複数の選択点を入力空間内の複数の位置に置くことにより、入力空間における該複数の位置に対応する複数の位置を表示空間において選択することを含む。

本発明のいくつかの実施形態によれば、表示空間における選択された複数の位置で包囲したボリューム内に含まれるオブジェクトを表示空間において選択することさらに含む。

本発明のいくつかの実施形態によれば、表示空間における位置の表示を視覚的に変更して、選択した位置を表示空間に表示することをさらに含む。

本発明のいくつかの実施形態によれば、入力空間において選択された位置に対応する位置を含む表示空間においてオブジェクトを選択することをさらに含む。

本発明のいくつかの実施形態によれば、入力オブジェクトは長尺の入力オブジェクトを含み、入力オブジェクトの長軸は、長軸を通り入力空間内に延在する線を画定すると解釈される。

本発明のいくつかの実施形態によれば、ユーザ入力は、表示空間に表示したオブジェクトの表面と線がどこで交差するかを判断することによって、表示空間における位置に対応する位置を入力空間において選択することを含む。

本発明のいくつかの実施形態によれば、表示オブジェクトの表面と線が表示空間において交差する位置の表示を表示空間において視覚的に変更して、表示空間において選択した位置を表示することをさらに含む。

本発明のいくつかの実施形態によれば、ユーザ入力は、線を用いて、回転コマンドを示すユーザ入力について回転軸を特定することを含む。

本発明のいくつかの実施形態によれば、ユーザ入力は、表示空間において２つの点の選択することを利用して表示空間における回転軸を特定することを含む。

本発明のいくつかの実施形態によれば、ユーザが入力オブジェクトを回転すること、および、入力オブジェクトの回転角に対応付けた角度で３Ｄシーンを回転することをさらに含む。

本発明のいくつかの実施形態によれば、ユーザが入力オブジェクトを回転すること、および、入力オブジェクトの回転角に対応付けた角度で３Ｄシーンにおいて選択された３Ｄオブジェクトを回転することをさらに含む。

本発明のいくつかの実施形態によれば、表示空間における表示オブジェクトの位置に対応する、入力空間における位置に入力オブジェクトが移動する場合、表示空間における表示オブジェクトを表示空間において移動する。

本発明のいくつかの実施形態によれば、入力オブジェクト上の点が、表示空間における表示オブジェクトの位置に対応する位置であって、入力空間における位置に到達すると、入力オブジェクト上の点の移動速度を測定し、点において入力オブジェクトの表面に垂直なベクトルの方向を計算する。

本発明のいくつかの実施形態によれば、入力オブジェクト上の点が、表示空間における表示オブジェクトの位置に対応する位置であって、入力空間における位置に到達すると、表示オブジェクト上の点の移動速度を測定し、点における表示オブジェクトの表面に垂直なベクトルの方向を計算する。

本発明のいくつかの実施形態によれば、表示オブジェクトは、表示オブジェクト上の点において、入力オブジェクト上の点の測定した速度で、ベクトルの方向に、入力オブジェクトによってあたかも打たれたかのように移動して表示される。

本発明のいくつかの実施形態によれば、表示空間における表示オブジェクトの表面上の複数の位置を選択することは、表示オブジェクトを把持するユーザ入力を含む。

本発明のいくつかの実施形態によれば、表示オブジェクトを表示空間において把持することにより、ユーザインタフェースによって表示空間中の表示オブジェクトを見つけ、入力オブジェクトの複数の選択点における表示オブジェクトの表面上の複数の位置を追跡する。

本発明のいくつかの実施形態によれば、３Ｄ表示空間に表示された３Ｄオブジェクトのボリュームを通って入力オブジェクトを移動させることにより、３Ｄオブジェクトの形状を変更すること、および３Ｄオブジェクトにおいてボリュームを３Ｄオブジェクトからマイナスして表示すること、をさらに含む。

本発明のいくつかの実施形態によれば、３Ｄ表示空間に表示された３Ｄオブジェクトのボリュームの少なくとも一部分を通過して入力オブジェクトを移動させること、およびボリュームの一部分を３Ｄオブジェクトからマイナスして表示すること、をさらに含む。

本発明のいくつかの実施形態によれば、３Ｄオブジェクトを表示することは、入力オブジェクトの有効領域が通ったボリュームの一部分のみを３Ｄオブジェクトからマイナスして表示することを含む。

本発明のいくつかの実施形態によれば、入力オブジェクトを入力ボリュームの少なくとも一部分に通過させること、および、入力ボリュームの一部分に対応する、表示空間に表示したオブジェクトを３Ｄシーンにプラスして表示することをさらに含む。

本発明のいくつかの実施形態によれば、３Ｄオブジェクトを表示することは、入力オブジェクトの有効領域が通過したボリュームの一部分のみを３Ｄオブジェクトにプラスして表示することを含む。

本発明のいくつかの実施形態によれば、３Ｄオブジェクトについての明細を３Ｄプリンタに送信することをさらに含む。

本発明のいくつかの実施形態によれば、ユーザ入力は、さらに、片目のまばたきおよび両目のまばたきからなる群から選択されるアイジェスチャを含む少なくとも１つの追加のユーザ入力を含む。

本発明のいくつかの実施形態によれば、ユーザ入力は、さらに、入力空間において指を追跡することにより、指を鳴らすことを検出することを含む。

本発明のいくつかの実施形態によれば、ユーザ入力は、さらに、ボイスコマンド、頭部運動、マウスクリック、キーボード入力、およびボタン押下、からなる群から選択した少なくとも１つの追加のユーザ入力を含む。

本発明のいくつかの実施形態によれば、表示空間において選択した複数の位置の間の直線からなるパスに沿った距離を測定することをさらに含む。本発明のいくつかの実施形態によれば、表示空間において選択した複数の位置を通過するパスに沿った距離を測定することをさらに含む。

本発明のいくつかの実施形態によれば、表示空間における複数の選択した位置は、表示空間における３Ｄオブジェクトの表面上にあり、表示空間において、複数の選択した点で包囲した３Ｄオブジェクトの表面上のエリアを測定することをさらに含む。

本発明のいくつかの実施形態によれば、選択したオブジェクトのボリュームを測定することをさらに含む。

本発明のいくつかの実施形態によれば、第１の画像における複数の点および第２の３Ｄ画像における複数の点を選択すること、および第１の画像および第２の３Ｄ画像を相互に位置合わせすること、をさらに含む。本発明のいくつかの実施形態によれば、第１の画像は２Ｄ画像である。本発明のいくつかの実施形態によれば、第１の画像は３Ｄ画像である。

本発明のいくつかの実施形態によれば、選択した複数の点が表示空間において実質的に一致するように、第１の画像および第２の３Ｄ画像を表示することをさらに含む。

本発明のいくつかの実施形態の一態様によれば、３Ｄ表示空間に３Ｄシーンを表示するユニットと、３Ｄ入力空間における入力オブジェクトの３Ｄ座標を追跡するユニットと、コンピュータと、を備え、該コンピュータは、３Ｄ入力空間における入力オブジェクトの座標を受信し、３Ｄ入力空間における入力オブジェクトの座標をユーザ入力に変換し、およびユーザ入力に基づいて、３Ｄシーンの表示を変更する、３次元（３Ｄ）ユーザインタフェースを提供するシステムを提供する。

本発明のいくつかの実施形態によれば、入力空間は表示空間と少なくとも部分的に重なり合う。本発明のいくつかの実施形態によれば、入力空間は表示空間内に含まれる。本発明のいくつかの実施形態によれば、入力空間は表示空間と重なり合い、かつ範囲が同等である。

本発明のいくつかの実施形態によれば、入力空間の座標は表示空間の座標とスケールが同等である。

本発明のいくつかの実施形態によれば、３Ｄシーンを表示するユニットは、３Ｄホログラム等を表示するユニットを含む。本発明のいくつかの実施形態によれば、３Ｄシーンを表示するユニットは、コンピュータ生成３Ｄホログラム等を表示するユニットを含む。

本発明のいくつかの実施形態の一態様によれば、３Ｄ（３次元）ディスプレイに入力を提供する方法であって、入力オブジェクトを、３Ｄディスプレイのボリュームを有する入力空間に挿入すること、入力空間内において入力オブジェクトの位置を追跡すること、追跡に基づいて、３Ｄディスプレイにより表示された３Ｄシーンを変更すること、を含む方法において、位置を追跡することはジェスチャを解釈することを含む、方法を提供する。

本発明のいくつかの実施形態によれば、入力オブジェクトは手であり、ジェスチャは、３Ｄディスプレイにより表示されたオブジェクトの表面上の一の位置に指を置くことを含む。

本発明のいくつかの実施形態によれば、入力オブジェクトはツールであり、ジェスチャは、３Ｄディスプレイにより表示されたオブジェクトの表面上の一の位置にツールの先端を置くことを含む。

本発明のいくつかの実施形態によれば、入力オブジェクトは手であり、ジェスチャは、３Ｄディスプレイにより表示されたオブジェクトの表面上の同じ位置に、手の複数の指をそろえて置くことを含む。

本発明のいくつかの実施形態によれば、入力オブジェクトは手であり、ジェスチャは、手の３本の指を３Ｄ入力空間における略垂直な３本の軸の形状とすること、および略垂直な３本の軸のうちの１本を中心に手を回転させることを含む。

本発明のいくつかの実施形態によれば、入力オブジェクトは手であり、ジェスチャは、３Ｄディスプレイにより表示されたオブジェクトの表面上の異なる位置に、手の複数の指を置くことを含む。

本発明のいくつかの実施形態によれば、手を動かすことをさらに含む。本発明のいくつかの実施形態によれば、手を回転させることをさらに含む。

本発明のいくつかの実施形態によれば、入力オブジェクトは手であり、ジェスチャは指を鳴らすことを含む。

本発明のいくつかの実施形態によれば、３Ｄシーンを変更することは、入力オブジェクトの位置の移動に伴って移動する位置において３Ｄシーンを変更することを含む。

本発明のいくつかの実施形態によれば、３Ｄシーンはコンピュータ化モデルを含み、３Ｄシーンを変更することは、入力オブジェクトの位置に少なくとも部分的に基づいて、モデルについてパラメータを設定すること、パラメータに少なくとも部分的に基づいて、モデルを表示すること、を含む。

他に別段定めのない限り、本明細書において使用するすべての技術的および／科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同様の意味を持つ。本明細書において説明した方法および材料と同様または等価のものを用いて本発明の各実施例を実施または検査することができるが、例示的な方法および／または材料を以下に記載する。両者が抵触する場合、定義を含め特許明細書を優先する。さらに、以下の材料、方法、実施例は、例示にすぎず、必ずしも限定を意図しない。

本発明の各実施形態の方法および／またはシステムを実施することは、手動で、自動的に、またはその組み合わせにより、選択した作業（task）を実施または完了することを含みうる。さらに、本発明の各実施形態の方法および／またはシステムの実際の器具類および機器によれば、いつかの選択した作業は、ハードウェアにより、ソフトウェアにより、またはファームウェアにより、またはその組み合わせにより、オペレーティング・システムを用いて実施しうる。

例えば、選択した作業を実施するハードウェアは、チップまたは回路として実装しうる。ソフトウェアとしては、本発明の各実施形態による選択した作業は、任意の適切なオペレーティング・システムを用いてコンピュータにより実行される複数のソフトウェア命令として実装しうる。本発明の例示的実施形態において、本明細書に記載の方法および／またはシステムの各例示的実施形態による１つ以上の作業は、複数の命令を実行するコンピューティングプラットフォーム等のデータプロセッサによって実施される。任意選択で、データプロセッサは、命令および／またはデータを記憶する揮発性メモリおよび／または、例えば、磁気ハードディスクおよび／またはリムーバブルメディア等の命令および／またはデータを記憶する揮発性記憶装置を含む。任意選択で、ネットワーク接続を設けてもよい。ディスプレイおよび／またはキーボードまたはマウス等のユーザ入力装置を任意選択で設けてもよい。

本発明の一実施形態例による、第１の入力空間に入力を行い、別の第２の表示空間における表示を閲覧しているユーザを示す簡略図である。 本発明の一実施形態例による、表示／入力空間に入力を行っているユーザを示す簡略図である。 本発明の一実施形態例において使用可能な例示的な入力装置および方法を示す簡略ブロック図である。 本発明の一実施形態例を示す簡略ブロック図である。 本発明の一実施形態例による、３次元表示システムの一部分を示す簡略図である。 本発明の一実施形態例による、３次元表示システムの等角図である。 本発明の一実施形態例による、３次元表示システムの部分等角図である。 本発明の一実施形態例による、３次元表示システムの等角図である。 親指から小指まで１〜５の番号を付した指を有する手を示す図である。 本発明の一実施形態例による、立体ディスプレイの表示／入力空間に手を挿入しているユーザを示す簡略図である。 本発明の一実施形態例による、入力空間における点を選択するためのジェスチャをしている手を示す簡略図である。 本発明の一実施形態例による、入力空間における点を選択するためのジェスチャをしている手を示す簡略図である。 本発明の一実施形態例による、立体ディスプレイの表示／入力空間にツールを挿入しているユーザを示す簡略図である。 本発明の一実施形態例による、入力空間において回転を示すジェスチャをしている手を示す簡略図である。 本発明の一実施形態例による、入力空間において指を伸ばして矩形を画定した状態の２つの手を示す簡略図である。 本発明の一実施形態例による、入力空間において指を伸ばして矩形を画定した状態の２つの手を示す簡略図である。 本発明の一実施形態例による、共通の表示／入力空間において第２の３次元オブジェクト中に第１の３次元オブジェクトを挿入しているユーザを示す簡略図である。 本発明の一実施形態例による立体ディスプレイの表示／入力空間にツールを挿入しているユーザを示す簡略図である。 本発明の一実施形態例の簡略フローチャートである。 本発明の一実施形態例の簡略フローチャートである。

ここに、添付の図面を参照して、本発明のいくつかの実施形態を例としてのみ説明する。特に図面を詳細に参照すると、各項目は例示にすぎず、本発明の実施形態の例証する目的で示すものであることをここに強調する。この点について、各図面に基づき説明を行うことにより、本発明の各実施形態をどのように実施できるかが当業者にとって明白になる

本発明は、そのいくつかの実施形態において、３次元ユーザインタフェースに関し、特に、限定はしないが、３次元ディスプレイと同じ空間を占有する３次元ユーザインタフェースに関する。

２次元ディスプレイ上にシーンを表示するものとして種々の装置および方法が知られており、２次元ディスプレイ上に表示されたシーンと相互作用するユーザインタフェースを提供するものとして種々の装置および方法が知られている。

例えば、平面上でコンピュータマウスを動かして、２次元ディスプレイ上の対応するカーソルを対応する方向に動かす。この今ではなじみのあるマウスインタフェースは、２次元ディスプレイ上の座標に変換したマウスの動きに由来するものである。

別の例としては、２次元コンピュータディスプレイ上のタッチスクリーンに触れることにより、コンピュータに位置を検知させ、場合によっては複数の位置を検知させる。この今ではなじみのあるタッチ／マルチタッチインタフェースは、２次元ディスプレイ上における１本またはそれ以上の指またはスタイラスの位置と動きに由来するものである。

本発明のいくつかの実施形態において、３次元（３Ｄ）インタフェース空間において手またはツールを動かすことにより、ユーザインタフェースを３Ｄディスプレイと相互作用可能とする。

本発明のいくつかの実施形態において、３Ｄインタフェース空間は、３Ｄ表示空間と部分的または完全に重なり合う。ユーザは、手またはツールを表示空間内で動かして、３Ｄオブジェクトまたは３Ｄスクリーンの表示内まで動かすことができる。こうすれば、ユーザの目と手が連動した自然な動作が可能となる。すなわち、目に見えるオブジェクトと同じ位置に手／ツールを到達させる。マウスを使用する場合、表示されたシーンとは別のエリアでマウスを動かすが、それとは対照的である。また、この目と手の連動は、タッチスクリーンに表示オブジェクトに触れることと同様であるが、本発明のタッチスクリーンは２Ｄではなく３Ｄである。

特許文献１に記載の３Ｄホログラフィックディスプレイによれば、ユーザは、３Ｄディスプレイを構成する装置に干渉することなく、手またはツールまたはその他のオブジェクトをその３Ｄ表示されたシーンに挿入することができる。ユーザは、また、その３Ｄシーンから、実際の手またはツールと同じ視覚的な奥行き感を得ることもできる。手またはツールが３Ｄシーン中の一の点にあるとき、ユーザは、その手と３Ｄシーン中の当該地点について、同じ視差（パララックス）を知覚し、同距離に焦点を合わせる。

いくつかの実施形態において、３Ｄシーンは３Ｄ表示ボリューム中に表示され、３Ｄユーザインタフェースに対する入力は、物質界（physical world）において、３Ｄ表示ボリューム中の３Ｄシーンと同様の実際のボリュームのすべてまたは一部を占有する入力空間内で受信する。

いくつかの実施形態において、３Ｄシーンが表示ボリューム中に表示され、３Ｄユーザインタフェースに対する入力を、物質界において、表示ボリュームと同じ実際のボリュームのすべてまたは一部を占有する入力空間内で受信する。

３Ｄユーザインタフェースに対する入力を、３Ｄシーンまたはオブジェクトが表示されるボリュームと同じボリューム内で受信する潜在的な利点は、手またはツールが表示オブジェクトと同じ位置にあるとき、任意選択で同じ座標系を用いて、任意選択で同じ拡縮（scale）で、手と目の連動が図られることである。

特許文献３に記載されたような空中浮遊ディスプレイ（floating-in-the-air display）を用いることの潜在的な利点は、表示ボリューム中のディスプレイハードウェアの位置による制約を受けずに、表示ボリューム全体を用いて入力ができることである。

しかしながら、本発明の各実施形態は、３Ｄディスプレイと同じボリュームを占有する３Ｄ入力空間に限定すべきものではない。本発明のいくつかの実施形態は、ステレオ方式３Ｄディスプレイおよび仮想現実３Ｄディスプレイと共に用いても十分良好に動作する。

いくつかの実施形態は、ナチュラルユーザインタフェースとして実装される。ナチュラルユーザインタフェースでは、ユーザは、あたかも実オブジェクトを表示空間において実際に操作するように、３Ｄシーン中に表示された３Ｄオブジェクトに対して、手またはツールを用いて、手（またはツール）を伸ばしたり、指し示したり、触れたり、把持したり、押したり、引っ張ったり、回転させたりする。３Ｄ表示システムによれば、３Ｄシーン中に表示された３Ｄオブジェクトを手またはツールと同じ方向に同じ量だけ動かすことによって、手またはツールがオブジェクトを操作しているような視覚的印象を与える。

本発明の少なくとも１つの実施形態を詳述する前に、次のことを理解されたい。すなわち、本発明の用途は、以下の説明において説明および／または各図面および／または実施例において説明する各要素および／または各方法の詳細な構成および配置に必ずしも限定されない。本発明は、他の実施形態が可能であり、様々な形で実施または実行可能である。

ここで、図１Ａを参照する。図１Ａは、本発明の一実施形態例による、第１の入力空間１１に入力を行い、別の第２の表示空間１２における表示を閲覧しているユーザ２５を示す簡略図である。

図１Ａに示すコンピュータ１５は、立体ディスプレイ１３を制御１７する。この立体ディスプレイ１３は表示空間１２内のシーンに３Ｄオブジェクト８を表示するものである。ユーザ２５は、表示空間１２内のシーンを注視し、入力空間１１に置かれた（非限定的な例として）手７を用いて、立体入力ユニット１４を介して、コンピュータ１５に入力１６を行う。

いくつかの実施形態において、立体入力ユニット１４は、例えば手７等の入力オブジェクトの３Ｄ入力空間１１における３Ｄ座標を追跡（トラック）するユニット（図示せず）を備える。

本発明のいくつかの実施形態において、３次元（３Ｄ）インタフェース空間は３Ｄ表示空間と重なり合い、手またはツールは、３Ｄディスプレイによって表示されたシーン内で、または３Ｄ表示された各オブジェクトに混じって動く。ユーザが３Ｄ表示空間内に手またはツールを置くことを可能とするディスプレイの数はそう多くない。

特許文献４に記載の３Ｄディスプレイによれば、ユーザが手またはツールを画像またはシーンが表示されている空間そのものに手またはツールを挿入することができ、当該空間における表示画像と挿入オブジェクトの奥行き感は同じである。ユーザの目は、表示画像と挿入オブジェクトについて同じ視差を知覚し、ユーザの目は、表示オブジェクトについて、挿入オブジェクトと同距離に焦点を合わせる。このように真の３Ｄを閲覧することにより、ユーザインタフェースが向上する。一般に、３Ｄ表示空間には、３Ｄディスプレイを表示するのに用いる素子等を含む。しかしながら、例えば、上記特許文献４が教示する３Ｄディスプレイでは、シーン内または３Ｄディスプレイによる表示オブジェクトに混じって手またはツールを置くことが可能である。

「入力ボリューム」という用語は、そのすべての文法的形式も含め、本発明書および請求の範囲の全体にわたって、「入力空間」という用語およびそれに対応する文法的形式と同義で用いる。「入力ボリューム」という用語は、本発明の明細書および請求の範囲の全体にわたって、例えば、入力ボリューム内での入力オブジェクトの位置および／または動きを追跡することによりユーザ入力を受信するボリュームまたは空間という意味で用いる。

「表示ボリューム」という用語は、そのすべての文法的形式も含め、本発明書および請求の範囲の全体にわたって、「表示空間」という用語およびそれに対応する文法的形式と同義で用いる。「表示ボリューム」という用語は、本発明の明細書および請求の範囲の全体にわたって、表示されたシーンおよび／またはオブジェクトを観察者（viewer）に対して出力するボリュームまたは空間という意味で用いる。

いくつかの実施形態において、表示ボリュームを用いて空中浮遊（floating-in-the-air）シーンまたはオブジェクトを表示する。この空中浮遊シーンには、任意選択で、入力オブジェクト挿入してもよい。表示されたシーンまたはオブジェクトは、ディスプレイを表示するためのハードウェアと同じボリュームを占有しているからである。

３Ｄユーザインタフェースへの入力を、３Ｄシーンまたはオブジェクトが表示されるボリュームと同じボリュームにおける３Ｄユーザインタフェースにおいて受信する潜在的な利点は、手またはツールが表示されたオブジェことと同じ位置にあるとき、任意選択で同じ座標系を用いて、任意選択で同じスケールを用いて、手と目の連動が図られることである。

いくつかの実施形態において、表示ボリュームを用いて表示するシーンまたはオブジェクトは、そのディスプレイを表示する機材が占有するボリュームと少なくとも部分的に重なり合う。そのような表示ボリュームの例としては、例えば、ステレオ方式ディスプレイが挙げられ、３Ｄシーンの一部は任意選択でこのステレオ方式ディスプレイから前方に突出し、３Ｄシーンの一部は任意選択でこのステレオ方式ディスプレイから後方に後退する。このような場合、表示ボリュームは、当該ディスプレイを表示するハードウェアを含むボリュームを含み、入力オブジェクトは、表示ボリュームの全体には任意選択で自由に挿入できない場合がある。

ここで図１Ｂを参照する。図１Ｂは、本発明の一実施形態例による、表示／入力空間２１に入力を行うユーザ２５を示す簡略図である。

図１Ｂに示すコンピュータ２４は、立体表示／入力ユニット２２を制御２３する。この立体表示／入力ユニット２２は、表示／入力空間２１内のシーンに３Ｄオブジェクト８を表示するものである。ユーザ２５は、本発明の一実施形態例による表示／入力空間２１内のシーンを見て、表示／入力空間２１に置いた（非限定的な例として）手７を用いて、立体表示／入力ユニット２２を介して、コンピュータ２４に入力２３を行う。

なお、図１Ｂに示す実施例において、表示空間と入力空間とが一致し、任意選択で同じ大きさであることに留意されたい。

また、他の実施形態において、表示空間と入力空間との大きさは異なってもよく、ことなるボリュームを占めてもよいことに留意されたい。いくつかの実施形態において、入力空間は表示空間よりも小さく、例えば、表示空間の中心に向かうにしたがってのみ小さくなり、または、一方の側、任意選択で、観察者により近い側に向かうにしたがって小さくなる。いくつかの実施形態において、入力空間は表示空間よりも大きく、任意選択で、３Ｄ表示空間よりも大きなボリュームにわたって追跡する追跡コンポーネントを有する。いくつかの実施形態において、表示空間および入力空間は部分的に重なり合い、かつ部分的に重なり合わない。例として、入力空間は表示空間の一部、例えば、表示空間の観察者に近い側と重なり合い、追跡コンポーネントは、入力空間における入力を、表示空間よりも観察者に向かってさらに追跡してもよい。

いくつかの実施形態において、立体表示／入力ユニット２２は、３Ｄ表示／入力空間２１において、例えば手７等の入力オブジェクトの３Ｄ座標を追跡するユニット（図示せず）を備える。

手および／または身体および／またはツールによる多くのジェスチャを以下に詳述するが、まず、手および／または身体および／またはツールによるジェスチャを追跡する点について説明する。

本明細書において「入力オブジェクト」という用語は、場合によって、インタフェース空間として用いる空間内にユーザ入力を提供するのに用いる手および／または別の身体部分および／またはツールという意味で用いる。

入力を捕捉すること
本発明の実施形態例においては、入力を捕捉する種々の方法を、別々におよび／または組み合わせて用いる。

いくつかの実施形態において、当技術分野において周知の方法を用いて、３Ｄにおける入力オブジェクトの位置を測定し、入力オブジェクトを用いて行われたジェスチャを測定して、入力オブジェクトを任意選択で追跡してもよい。例えば、インタフェース空間として用いる空間を、２台以上のカメラで見るようにしてもよい。

ここで図１Ｃを参照する。図１Ｃは、本発明の一実施形態例において使用可能な例示的な入力装置および方法を示す簡略ブロック図である。

図１Ｃに示す入力空間１０１において、本明細書において説明する種々の方法により、入力空間のモニタリング、オブジェクトの追跡、および任意選択である追加の入力方法を行う。追跡によって得られたデータは、任意選択でコンピュータ１１２に送られ、コンピュータ１１２は任意選択で当該データを分析し、任意選択で当該データを特定のユーザ入力に変換する。

適切なユーザ入力に応答して、コンピュータ１１２は、任意選択で、指示および／またはデータを３Ｄディスプレイ１１４に送信し、３Ｄディスプレイ１１４は、任意選択で、３Ｄシーンを３Ｄ表示空間１１６に表示する。

なお、いくつかの実施形態において、入力空間１０１は３Ｄディスプレイ１１６と一致し、ループを完成させる。また、いくつかの実施形態において、入力空間１０１は３Ｄディスプレイ１１６と一致しない。

入力空間１０１からの入力は、任意選択で、入力空間１０１内における、本明細書において入力オブジェクトと称する実オブジェクトの位置を含む。任意選択で、実オブジェクトの位置は、入力オブジェクトの１つ以上の点の座標を含む。任意選択で、入力空間１０１からの入力は、高レベルの記述、すなわち、例えば「点Ａから点Ｂの円柱」等のオブジェクト形状およびオブジェクトを記載するのに十分な位置パラメータ等を含む。任意選択で、入力空間１０１からの入力は、さらに高レベルの記述、すなわち、「座標Ｘ、Ｙ、Ｚにおける手」および「・・・の方向に沿って指し示す指」等を含む。

入力空間１０１のモニタリングに任意で用いることのできる３Ｄセンサの例として、ＰｒｉｍｅＳｅｎｓｅ社（２８ Ｈａｂａｒｚｅｌ Ｓｔ．テルアビブ、６９７１０、イスラエル）製のものがある。

コンピュータ１１２に関連した種々の任意選択の入力装置および入力方法について説明する。コンピュータ１１２は、
観察者追跡ユニット１０２；
目追跡ユニット１０３；
トラックボール等、種々のタイプのマウス入力ユニット１０４；
コンピュータ１１２に接続されたマイクロフォンまたはプロセッサを含む音認識モジュールまたは音声認識モジュール等の音入力ユニット１０５；および、
本明細書において特定しないが入力に用いられるその他の任意の入力ユニット１０９、例えば、ＧＰＳ、加速度計、光センサ、音響位置モニタ等を備える。
なお、音認識には、任意選択で、音声および／または話し言葉認識に限らず、例えば、指を鳴らす音を認識するものも含まれるが、それについては本明細書の別の箇所において説明する。

ここで図１Ｄを参照する。図１Ｄは、本発明の一実施形態例を示す簡略ブロック図である。

図１Ｄに示す演算ユニット１３０は３Ｄディスプレイ１７０を制御する。

演算ユニット１３０は、種々の入力源１２０からの入力を任意選択で受信し、また、任意選択で、種々の入力源１２０の制御を行う。入力源１２０は、任意選択で、１つ以上のカメラ１２１、１２２；音声をとらえる１つ以上のマイクロフォン１２３；コンピュータマウス１２４または同等の入力装置；および、場合によっては、チルトセンサ、ＧＰＳ等の付加的な入力等、種々のセンサを含む。

演算ユニット１３０は、入力源１２０からの入力を任意選択で用いて、本発明の本実施形態例によるユーザインタフェースに対するユーザ入力を判定する。ここで、入力源１２０は、例えば、入力空間におけるオブジェクトを測定および追跡するセンサ等であってもよい。

演算ユニット１３０における種々のコンピューティングモジュールは、任意選択で、入力源１２０からの入力を分析する。分析としては、例えば、
３Ｄディスプレイ１７０が表示する３Ｄシーンにおける点１３２を選択すること、
３Ｄディスプレイ１７０が表示する３Ｄシーンにおけるエリア１３４を選択すること、
３Ｄディスプレイ１７０が表示する３Ｄシーンにおけるボリューム１３６を選択すること、
３Ｄディスプレイ１７０が表示する３Ｄシーンにおけるオブジェクト１３８を選択すること、
表示空間において、ユーザの指またはツールが指し示す方向１４０を判定すること、
入力空間における指１４２の位置を判定すること、
表示空間において、観察者の目が見ている方向１４４を判定すること
入力空間におけるツール１４６の位置を判定すること、
入力空間において行われたジェスチャ１４８を分類すること、
表示空間におけるオブジェクトの入力空間において行われた把持１５０の状態（ステータス）を識別すること、
入力空間におけるオブジェクト１５２の位置を判定すること、
入力空間におけるオブジェクト１５４の形状を判定すること、等がある。本明細書におけるさらなる分析については、３Ｄユーザインタフェースを参照して説明する。

演算ユニット１３０における種々のコンピューティングモジュールは、また、任意選択で、追加のおよび／または外部モジュールまたはシステムと通信１５６する。

演算ユニット１３０における種々のコンピューティングモジュールは、また、任意選択で、３Ｄディスプレイ１７０によって表示１５８するための３Ｄシーンを生成する。

いくつかの実施形態において、非限定的な例として、図１Ｂに示すものと同様の一実施形態において、３Ｄ表示システムを用いて、入力オブジェクトの位置を判定する。この概念について、以下にさらに説明する。

なお、観察者の目は表示空間の外にあってもよい。

なお、特に、手／ツール追跡については、その他の追跡手法、例えば、電磁、慣性、音響、およびその他の手法等を用いてもよい。

ここで、図２Ａを参照する。図２Ａは、本発明の一実施形態例による３Ｄ表示システム２００の一部分を示す簡略図である。

図２Ａに示すようなシステムについては、先に述べた特許文献４に詳述されている。

図２Ａに示す３Ｄ画像生成ユニット２０１は、例えば、ホログラフィック生成ユニット等であり、ミラー２０２、２０３によって変更された方向に３Ｄ画像を投影して任意選択の回転ミラー２０４上に該３Ｄ画像を投影する。この任意選択の回転ミラー２０４は、任意選択で、軸２０５を中心に回転することができ、ユーザの目２０７に合わせて投影方向を変更する。

投影された３Ｄ画像は、また、任意選択で、追加のミラー２０６により向きを変えられるが、そうすることにより、３Ｄ表示システム２００のコンポーネント等が存在せず、また入力オブジェクト（図示せず）の挿入と干渉しない空間に３Ｄ画像を投影するのを潜在的に支援でき、入力空間を表示空間に重ね合わせることができ、ひいては一致させることもできる。

ここで図２Ｂを参照する。図２Ｂは本発明の一実施形態例による、３Ｄ表示システム２１０の等角図である。

図２Ｂに、図２Ａに示す３Ｄ表示システム２００と同様の３Ｄ表示システム２１０を示す。３Ｄ表示システム２１０は、円形ミラー２１１、およびユーザ２１３が３Ｄ表示システム２１０のどこへ移動しようともユーザ２１３の目を追跡して画像２１２をユーザの目２１３に投影するコンポーネントを有する。

ここで図２Ｃを参照する。図２Ｃは、本発明の一実施形態例による３Ｄ表示システム２２０の部分等角図である。

図２Ｃに、図２Ａおよび図２Ｂに示す３Ｄ表示システム２００、２１０と同様の３Ｄ表示システム２２０を示す。３Ｄ表示システム２２０は、３Ｄ表示システム２２０の一部分２２３を占有する３Ｄ画像生成ユニットのコンポーネント等と、投影された３Ｄ画像の向きを任意選択の回転ミラー２２１上へと変更する任意選択の回転ミラー２２２とを含む。回転ミラー２２２は、任意選択で、投影した３Ｄ画像をユーザの方向へ向ける。任意選択の回転ミラー２２２を用いて、ユーザから入射する光を追加のコンポーネントの方へ向けることもでき、また、ひいては３Ｄ表示システム２２０の追加の部分（図示せず）を占有するいくつかの追加のコンポーネントの方へも向けることもできる。

ここで図２Ｄを参照する。図２Ｄは、本発明の一実施形態例による３次元表示システム２３０の等角図である。

図２Ｄに、図２Ａ、図２Ｂおよび図２Ｃに示す３Ｄ表示システム２００、２１０、２２０と同様の３Ｄ表示システム２３０を示す。３Ｄ表示システム２３０は、円形ミラー２３１と、３Ｄ表示システム２３０の表示／入力空間と３Ｄ表示システム２３０の種々の各コンポーネント２３３、２３４、２３５との間で、光の方向を任意選択で変更して往復させる、任意選択の回転ミラー２３２を有する。

種々のコンポーネント２３３、２３４、２３５は、３Ｄ画像生成ユニット、目追跡ユニット、入力オブジェクト追跡ユニット、またはそれらの組み合わせを含んでもよい。

追加のコンポーネント２３３、２３４、２３５は、任意選択で、カメラを含みうる目追跡ユニット、および／または、図１Ａおよび図１Ｂを参照して説明した入力オブジェクトの３Ｄ座標を追跡するユニット等の入力オブジェクト追跡ユニットを含んでもよい。入力オブジェクト追跡ユニットもカメラを含みうる。任意選択で、目追跡ユニットおよび入力オブジェクト追跡ユニットは同じカメラを使用する。任意選択で、入力オブジェクト追跡ユニットはステレオカメラおよび／または２台以上のカメラを使用して、入力空間内の入力オブジェクトの３次元位置を判定するが、入力空間は、任意選択で、表示空間と重なり合っても、さらには一致してもよい。

いくつかの実施形態において、目追跡ユニットおよび／または入力オブジェクト追跡ユニットは３Ｄ表示システム２３０の内部にない。いくつかの非限定的な例として、ウェブカメラおよび適切なソフトウェアおよび／またはキネクトシステムを用いて観察者を追跡したり、入力空間内の入力オブジェクトを追跡したり、またはユーザの目を追跡してもよい。

観察者追跡および目追跡（アイトラッキング）
図２Ｄに示す３Ｄ表示システム２３０は、特許文献１に教示されるような、真の３次元ディスプレイを示す。この真の３次元ディスプレイは空中に浮遊するシーンまたはオブジェクトを表示することもでき、ユーザはその表示空間中に手またはツールを挿入することができるものである。加えて、観察者追跡ユニットは、検出器および回転ミラー２３２を用い、３Ｄ表示ユニットと同じ方向から観察者を追跡し、また観察者が３Ｄシーンを見るのと反対の方向に追跡し、その際同じ光路の一部を使用する。回転ミラーの回転周期に基づいて３Ｄ画像投影および観察者追跡ユニットの相対的タイミングを調節することにより、観察者を追跡することができる。

いくつかの実施形態において、本明細書の別の箇所において説明したように、観察者の目が見ている方向をも追跡し、また、その情報を利用する。目追跡ユニット、または観察者追跡ユニットと協働するようにタイミングを合わせた追加のユニットは、例えば、図２Ｄに示す３Ｄ表示システム２３０の追加のコンポーネント２３３、２３４、２３５のうちの一つに設ける。当該ユニットは、任意選択で、赤外（ＩＲ）光または近赤外（ＮＲ）光を観察者の方向に投影する。この光は、観察者の目から反射して観察者追跡ユニットに戻る。

いくつかの実施形態において、観察者の目から戻ってきた再帰性反射は、観察者の目検出器上に結像する。いくつかの実施形態において、観察者の目からの反射光を光学的フーリエ変換したものが結像する。目の反射光は、任意選択で、フーリエ面上にスポットを生成し、フーリエ面におけるスポットの質量中心は、観察者の観察方向を表す。

いくつかの実施形態において、観察者の観察方向の追跡は、観察者の瞳の位置およびその周囲の、眼球を囲む白目に対して暗い部分を追跡することにより行う。

入力の種類
いくつかの実施形態において、３Ｄディスプレイと相互作用する入力としては、入力空間における入力オブジェクトの位置が挙げられる。いくつかの実施形態において、入力は、入力空間中または上の特定の点の位置である。

いくつかの実施形態において、入力は、ジェスチャであり、入力オブジェクトの動きである。例えば、手を回転すること、入力オブジェクトを、直線に沿って、または曲線軌道に沿って動かすことである。

いくつかの実施形態において、入力は、入力オブジェクトの形状である。例えば、矩形または円柱である。他のいくつかの例として、握り拳、開いた手、一部または全部の指先が接触している手、３本の指が互いに垂直に保持されて３つの垂直軸を画定している手等がある。

いくつかの実施形態において、入力オブジェクトを視覚的にマークして、追跡または位置システムがカメラを用いて入力オブジェクト上の特定の点を識別できるようにする。

いくつかの実施形態において、入力空間における入力オブジェクトからの入力を、コンピュータマウスボタンのクリック、音声コマンド、キーボードコマンド等の追加の入力と組み合わせる。

ジェスチャ
空中に浮遊する３Ｄ画像を生成できるため、ユーザの手を３Ｄ画像と同じ空間に置くことができるようになる。３Ｄ画像と関連してハンドジェスチャを読み出すことにより、ユーザの相互作用を向上することが潜在的に可能である。人間の目が３Ｄ画像を自然に知覚するのと同様の方法で、３Ｄ画像と手が相互作用することにより、３Ｄ画像操作および３Ｄ画像コマンド機能について、より良好に自然な制御を行うことが潜在的に可能である。これらの自然なインタフェース能力は、画像と観察者との間の親密さを潜在的に促進する。

本明細書および請求項全般にわたり、手の指を記載する目的で、親指から小指までの各指に１から５までの番号を付している。

ここで図３を参照する。図３は、親指から小指まで１〜５の番号を付した指を有する手３００を示す図である。

追加の入力源としてのいくつかの非限定的な例
図２Ｄに示す各実施形態例において、入力は、任意選択で、目の動きとすることができる。図２Ｄに示す３Ｄ表示システムはユーザの目を追跡するものであるため、３Ｄ表示システムは、任意選択で、目の動きをとらえ、目の動きは、任意選択で、入力として機能する。

非限定的な例として、ウィンクが任意選択で入力として機能する。いくつかの実施形態において、ウィンクを、マウスクリックと同様の入力として受け入れる。

非限定的な例として、目を動かすことは、任意選択で、入力として機能する。いくつかの実施形態において、目を上下左右に動かうすことにより、任意選択で、表示オブジェクトまたはシーンを上下左右に回転させる。

非限定的な例として、目のジェスチャにより、ある位置を見ることによってその位置をマークすることができる。目追跡システムは、任意選択で、ユーザの目が見ている方向を追跡し、ユーザインタフェースは、任意選択で、その方向を表示オブジェクトと交差させる。ユーザは、任意選択で、片目または両目をウィンクまたは瞬目することにより位置をマークする。ある実施形態において、非限定的な例として、左目でウィンクすることをマウスの左ボタンのクリックと等価に設定し、右目でウィンクすることをマウスの右ボタンのクリックと等価に設定する。

別の非限定的な例として、目のジェスチャにより、メニューを選択することができ、または必要に応じてマウスクリックの代用とすることができる。

いくつかの実施形態において、入力は、任意選択で音声コマンドとすることができる。

３Ｄユーザインタフェースコマンドの一実施形態例−指を鳴らすこと
いくつかの実施形態において、ユーザは入力空間に手を挿入し、指を鳴らす。指を鳴らすことは、任意選択で、入力空間内で検出され、起動コマンドとして翻訳される。この起動コマンドは、任意選択で、マウスクリックと等価であってもよく、および／または、ユーザインタフェースコマンドの別の発現（manifestation）を生じさせて、メニュー表示を提示する、（ＣＴＲＬ＋ＣまたはＣＴＲＬ＋Ｚと同様）コンピュータ処理を終了または停止する等してもよい。

いくつかの実施形態において、指を鳴らすコマンドは、任意選択で、マイクで指を鳴らす音をとらえ、音を分析することにより実施する。

いくつかの実施形態において、指を鳴らすコマンドは、入力空間におけるジェスチャを検出することにより行うが、このコマンドを、指を鳴らす音をマイクでとらえて分析することによってさらにサポートする。

３Ｄユーザインタフェースコマンドの一実施形態例−画像空間における点を選択すること
いくつかの実施形態において、シーンまたはオブジェクトにおける点は、入力を提供するユーザが選択し、選択した点は、任意選択で、例えば選択したポイントをハイライトする等して３Ｄディスプレイに表示する。

本明細書および請求項全般にわたり、３Ｄシーン等において、点、パス、メニューオプション、オブジェクトを選択することを説明する場合、この選択は、３Ｄシーン等において選択した点、パス、メニューオプション、オブジェクトを任意選択でハイライトすることにより、任意選択で表示することを意味する。

いくつかの実施形態において、この選択はハンドジェスチャにより行う。

ここで、図４Ａを参照する。図４Ａは、本発明の一実施形態例による、立体ディスプレイ４６６の表示／入力空間４６２に手４６８を挿入しているユーザ４６０を示す簡略図である。

図４Ａに示す立体ディスプレイ４６６は、３Ｄオブジェクト４７１を表示している。本実施形態例では、３Ｄオブジェクト４７１は心臓の３Ｄ画像であり、この画像は、任意選択で、医用データセットから生成したものである。ユーザの手４６８は、３Ｄ表示システムの入力空間にあり、３Ｄ表示システムの入力空間は、３Ｄ表示空間に相当し、重なり合う。ユーザは、手または手の指先を伸ばすことにより３Ｄオブジェクト４７１上の点を選択し、ユーザ４６０が表示として見て４７０いる表示／入力空間４６２中の点に到達する。ユーザが触れることにより選択する点は、入力空間中の入力となる。この入力は、コンピュータ４６４に転送４６３され、コンピュータ４６４が入力を処理して、任意選択で、選択した際にマークした点を任意選択で有する３Ｄ画像を作成するためのデータを生成する。３Ｄ画像を作成するためのデータは立体ディスプレイ４６６に送られ４６５、立体ディスプレイ４６６は、選択した際にマークした点を任意選択で有する３Ｄ画像を表示／入力空間４６２に表示する。

なお、表示空間中に表示された３Ｄオブジェクトに触れることは、例えば、指先にかかる圧力や、オブジェクト内にツールを移動させることに対する障害物のような、触れることの感覚入力ではないことに留意されたい。

いくつかの実施形態において、接触した時点で感覚を、任意選択で生成する。非限定的な例として、ツールまたはツール先端が３Ｄディスプレイ中のオブジェクトに接触すると、ツールが振動する。別の非限定的な例として、指、手、またはツールが３Ｄディスプレイ中のオブジェクトに接触したときに、指、手、またはツールに向かって圧縮空気を強く吹きつける。

なお、入力空間中の入力オブジェクトが３Ｄディスプレイ中のオブジェクトにいつ接触したかは、任意選択で、３Ｄディスプレイ、および入力空間中のオブジェクト等を追跡する追跡システムの一方または両方の解像度（resolution）によって決まる。

いくつかの実施形態において、ハンドジェスチャは、例えば、任意選択で、指２が、または指２の先端が点を特定した状態で、手のすべての指を指２の周囲で閉じることである。いくつかの実施形態において、指２の回りで手のすべての指を閉じる行為により選択を有効にする。いくつかの実施形態において、例えば、非限定的な例として、瞬目、「マーク」等の音声コマンド、またはマウスのクリック等の追加のユーザ行為により選択を有効にする。

ここで図４Ｂを参照する。図４Ｂは、本発明の一実施形態例による、入力空間における点４０２の選択を有効にするためのジェスチャをしている手４０１を示す簡略図である。

いくつかの実施形態において、ハンドジェスチャとは、例えば指２等の指を３Ｄオブジェクト上の点に向けることである。指を向ける方向は、任意選択で、指の方向を入力としてとらえるコンピュータにより任意に算出し、点の位置は、指を向けた方向と表示された３Ｄオブジェクト表面との交点において算出する。

いくつかの実施形態において、交点をハイライトして、指を向けた点を表示し、このハイライトした交点は方向の変化に伴い移動する。

いくつかの実施形態において、例えば、非限定的な例として、瞬目、「マーク」等の音声コマンド、またはマウスのクリック等、追加のユーザ行為により、上記の選択を有効にする。いくつかの実施形態において、有効にした選択点を、指を向けた点とは別にハイライトする。例えば、非限定的な例として、別の色および／または別の輝度等でハイライトする。

いくつかの実施形態において、ハンドジェスチャは、２本の指先を接触することであり、例えば、非限定的な例として、指１の先端と指２の先端を接触することであり、接触点により点を特定する。いくつかの実施形態において、指先を接触する行為により選択を有効にする。いくつかの実施形態において、例えば、非限定的な例として、瞬目、「マーク」等の音声コマンド、またはマウスのクリック等、追加のユーザ行為により選択を有効にする。

ここで図４Ｃを参照する。図４Ｃは、本発明の一実施形態例による、入力空間における点４０６を選択するためのジェスチャをしている手４０５を示す簡略図である。

いくつかの実施形態において、アイジェスチャにより選択を行う。ユーザが、３Ｄディスプレイにより表示中の３Ｄオブジェクトおよび／または３Ｄシーン上の点を見ると、ユーザが見ている点が算出され、任意選択で、３Ｄディスプレイ上において選択した際にマークする。

ここで図４Ｄを参照する。図４Ｄは、本発明の一実施形態例による、立体ディスプレイ４６６の表示／入力空間４６２にツール４６９を挿入しているユーザ４６０を示す簡略図である。

図４Ｄの立体ディスプレイ４６６は、３Ｄオブジェクト４７１を表示している。本実施形態例では、３Ｄオブジェクト４７１は心臓の３Ｄ画像であり、この画像は、任意選択で、医用データセットから生成したものである。ツール４６９は、３Ｄ表示システムの入力空間にあり、３Ｄ表示システムの入力空間は、３Ｄ表示空間に相当し、重なり合う。ユーザは、ツールを伸ばすことにより３Ｄオブジェクト４７１上の点を選択し、ユーザ４６０が表示として見て４７０いる表示／入力空間４６２中の点４７２に到達する。ユーザが、後述するように「接触する」ことにより選択する点４７２は、入力空間中の入力となる。この入力は、コンピュータ４６４に転送４６３され、コンピュータ４６４が入力を処理して、任意選択で、選択した際にマークした点４７２を任意選択で有する３Ｄ画像を作成するためのデータを生成する。３Ｄ画像を作成するためのデータは立体ディスプレイ４６６に送られ４６５、立体ディスプレイ４６６は、選択した際にマークした点を任意選択で有する３Ｄ画像４７２を表示／入力空間４６２に表示する。

いくつかの実施形態において、この選択をツールにより行う。ツール先端は、任意選択で、表示空間中の点に置いて、その点を選択する。

いくつかの実施形態において、例えば、非限定的な例として、瞬目、「マーク」等の音声コマンド、またはマウスのクリック等の追加のユーザ行為により上記の選択を有効にする。

いくつかの実施形態において、選択した点は、任意選択で、例えば、選択した点をハイライトする等して、３Ｄディスプレイにより表示される。

いくつかの実施形態において、ツールを用いて、３Ｄオブジェクト上の点を指し示す。ツールが指し示す方向は、任意選択で、ツールの方向を入力としてとらえるコンピュータにより算出され、点の位置は、ツールが指し示す方向と表示された３Ｄオブジェクト表面との交点において算出する。

いくつかの実施形態において、この交点をハイライトして、ツールが指し示すポイントを表示し、このハイライトした交点は、ツールが指し示す方向の変化に伴い移動する。

いくつかの実施形態において、例えば、非限定的な例として、瞬目、「マーク」等の音声コマンド、またはマウスのクリック等、追加のユーザ行為により、上記の選択を有効にする。いくつかの実施形態において、有効にした選択点を、ツールが指し示す点とは別にハイライトする。例えば、非限定的な例として、別の色および／または別の輝度等でハイライトする。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄ画像空間においてパスを選択すること
任意選択で、複数の行為により複数の点をマークする。

いくつかの実施形態において、その複数の点の間のパスをコンピュータにより記載する。いくつかの実施形態において、このパスは、複数の選択した点の間の直線を含む。いくつかの実施形態において、このパスは、複数の選択した点を通過するか、および／または複数の点の近傍を通過する、平滑化した線である。

いくつかの実施形態において、３Ｄ画像空間においてパスをマークすることは、例えば、指２以外の指を閉じて、指２の先端によって空間における位置を画定すること、およびパスに沿って指２の先端を動かすことを含む。

いくつかの実施形態において、指２以外のすべての指を閉じる行為により、パスの開始が有効となり、指が閉じている限りパス選択が継続する。いくつかの実施形態において、非限定的な例として、追加のユーザ行為、例えばマウスクリック等により、選択を有効にする。いくつかの実施形態において、マウスボタンを押下している限りパス選択が継続する。いくつかの実施形態において、２回目のマウスクリックによりパス選択が終了する。

いくつかの実施形態において、３Ｄ画像空間においてパスをマークすることは、ツール先端を用いて空間における一の位置を画定し、パスに沿ってツール先端を移動することを含む。

いくつかの実施形態において、追加のユーザ行為によりパス選択を有効にする。非限定的な例として、追加のユーザ行為、例えばマウスクリック等により、パス選択を有効にする。いくつかの実施形態において、マウスボタンを押下している限りパス選択が継続する。いくつかの実施形態において、２回目のマウスクリックによりパス選択が終了する。

いくつかの実施形態において、任意選択で、ツール上においてボタンクリックを行うことにより、パス選択を開始および／または終了する。

いくつかの実施形態において、パスの選択および任意選択によるマーキングは、マークする色、マーク用の筆のタイプ、マーク用のブラシの幅を選択してマークすることを含む。色／筆／幅の選択は、任意選択で、メニュー選択により行い、このメニューは、任意選択で、３Ｄディスプレイ内に表示される。

いくつかの実施形態において、本明細書において説明したオブジェクトの把持および移動と同様、３Ｄディスプレイにより表示したブラシを把持および移動し、ある時点で、ブラシによるパスのマーキング（色を塗ること）を有効にする。

いくつかの実施形態において、実際のブラシを入力空間に挿入し、ユーザインタフェースは、ブラシの毛の先端を追跡する。パスのマーキングを有効にしたら、ブラシの毛の先端が沿って動くパスを追跡し、任意選択で、マークする。

３Ｄユーザインタフェースコマンドの一実施形態例−画像空間において面を選択すること
任意選択で、有効化を複数回行って複数の点をマークする。

いくつかの実施形態において、コンピュータは、上記方法のいずれかによって選択した３つ以上の点を通過する面を算出する。

３Ｄユーザインタフェースコマンド−３Ｄシーン中のオブジェクトを選択すること
いくつかの実施形態において、入力空間における入力オブジェクトを用いて、任意選択で、３Ｄシーン中のオブジェクトを選択してもよい。

いくつかの実施形態において、例えば、上記方法のいずれかによりオブジェクト上の点を選択することにより、任意選択で、そのオブジェクト全体を選択するようにしてもよい。

いくつかの実施形態において、例えば、上記方法のいずれかによりオブジェクト上または中の点を選択することにより、任意選択で、そのオブジェクト中に画定した特定の層を選択するようにしてもよい。任意選択で、選択した点がオブジェクト内にある場合、選択した層は、そのオブジェクトの表面から等距離にある層である。

いくつかの実施形態において、選択したオブジェクトを、３Ｄシーンにおいてハイライトする。そのようなハイライトにより、任意選択で、どのオブジェクトが選択されたかをユーザに伝達してもよい。

非限定的な例として、表示された３Ｄシーンが医用シーンである場合、選択したオブジェクトは、任意選択で、医用画像における特定の臓器、および／または医用画像における特定の器官（例えば、骨、筋肉、血管）とすればよい。画像生成用のコンピュータは、潜在的に、医用データから３Ｄシーンを生成することにより、このオブジェクトを認識する。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおいてオブジェクトを把持すること
いくつかの実施形態において、３Ｄシーンにおける表示オブジェクトは、任意選択で、把持することができる。オブジェクトを把持することにより、ユーザは、３Ｄディスプレイを介して、そのオブジェクトを、入力オブジェクトの動きにより画定した何らかの方法で、移動させることが可能となる。

いくつかの実施形態において、画像空間において、オブジェクト上またはオブジェクト中の一の点に対応する入力空間における一の点において指１、指２、指３を閉じることにより、３Ｄ画像空間において把持点が画定される。把持することにより、任意選択で、把持したオブジェクトを、任意選択で指１、指２、および指３で把持し続けている間は、手の動きによって動かすことが可能となる。

いくつかの実施形態において、画像空間において、オブジェクト上またはオブジェクト中の一の点に対応する入力空間における一の点において指１および指２を閉じることにより、３Ｄ画像空間において把持点が画定される。把持することにより、任意選択で、把持したオブジェクトを、任意選択で指１および指２で把持し続けている間は、手の動きによって動かすことが可能となる。

いくつかの実施形態において、画像空間において、オブジェクト中またはオブジェクト上の一の点に対応する入力空間における一の点にツール先端を置くことにより、また、任意選択で、把持エミュレーションを有効にすることにより、把持を３Ｄ画像空間内でエミュレートする。

いくつかの実施形態において、追加のユーザ行為、例えば、非限定的な例としてマウスクリック等により、選択を有効にする。いくつかの実施形態において、マウスボタンを押下している限り把持が継続する。いくつかの実施形態において、２回目のマウスボタンのクリックにより、パスの選択を終了する。

いくつかの実施形態において、追加のユーザ行為、例えば、非限定的な例として、「把持」の音声コマンド等により選択を有効にする。いくつかの実施形態において、ツール先端を新たな位置に移動し、３Ｄディスプレイは把持されたオジェクトを同様に移動する。

いくつかの実施形態において、追加のユーザ行為、例えば、非限定的な例として、「把持」または「選択」等の音声コマンド等により、選択を有効にする。いくつかの実施形態において、ツール先端を新たな位置に移動して、「移動」という追加の音声コマンドにより、３Ｄディスプレイは、把持されたオブジェクトを同様に新たな点に移動する。

いくつかの実施形態において、３Ｄ表示空間においてオブジェクトを把持すること、またはオブジェクトに接触することに付随して、把持者にフィードバックを提供する。非限定的な例として、オブジェクトに接触している指に圧縮空気を吹きつけて、その接触を見ているユーザに、さらに接触の感覚を生じさせることにより、フィードバックを行う。別の非限定的な例として、このフィードバックは触覚グローブにより生じさせる。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおいてオブジェクトを移動または平行移動（translating）すること
いくつかの実施形態において、上記の把持コマンド等の３Ｄユーザインタフェースコマンドにより、３Ｄディスプレイは表示空間において表示オブジェクトを移動する。任意選択で、表示オブジェクトを表示空間の別の場所に移動または平行移動することができる。

いくつかの実施形態において、入力空間の座標は、表示空間の座標とスケールを同等として、手またはツール等の入力オブジェクトを入力空間において移動することにより、表示オブジェクトが、入力オブジェクトが移動するのと等しい距離および方向に移動するようにする。このような実施形態において、入力オブジェクトが移動すると、表示オブジェクトは入力オブジェクトに付随して移動するかのように見える。

いくつかの実施形態において、上記のように、入力オブジェクトを表示オブジェクトに「接触させる」ことにより、表示オブジェクト上の一の点を選択する。入力空間の座標が表示空間の座標とスケールが同等である場合、選択した点において、表示オブジェクトは入力オブジェクトに付随して移動するかのように見える。このユーザインタフェースにより、オブジェクトを把持して移動させている自然な感覚が得られる。

いくつかの実施形態において、上記のように、表示オブジェクトに入力オブジェクトを向けることにより、表示オブジェクト上の点を選択する。入力空間の座標が表示空間の座標とスケールが同等である場合、表示オブジェクトは、任意選択の目に見えない連結によって、入力オブジェクトに付随して移動するかのように見える。

いくつかの実施形態において、任意選択の追加のコマンドおよび／またはインタフェース設定により、移動のためのユーザ入力を、ｘ、ｙ、またはｚ等の特定の軸等の特定の方向または特定の対角線に沿った移動として実施する。

いくつかの実施形態において、任意選択の追加のコマンドおよび／またはインタフェース設定により、移動のためのユーザ入力を、上記のように選択および／または画定したパス等の特定のパスに沿った移動として実施する。

いくつかの実施形態において、任意選択の追加のコマンドおよび／またはインタフェース設定により、移動のためのユーザ入力を、選択したオブジェクトにより画定したパス等の特定のパスに沿った移動として実施する。非限定的な例として、オブジェクトを移動するためのパスは、医用および／また解剖学的データの３Ｄディスプレイにより表示された血管に沿った移動に限定してもよい。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄ表示空間においてオブジェクトを自動センタリングすること
いくつかの実施形態において、任意選択の追加のコマンドおよび／またはインタフェース設定により、選択したオブジェクトを３Ｄ表示空間において自動センタリングする。

３Ｄユーザインタフェースコマンドの実施形態例−ズームインとズームアウト
いくつかの実施形態において、ハンドジェスチャ等により、ズームコマンドを任意選択で実行する。

いくつかの実施形態において、このズーミングのためのハンドジェスチャは、入力空間において指先を近づけるまたは遠ざけるものである。

いくつかの実施形態において、入力空間の特定の位置で一部またはすべての指を近づけることによりズームアウトを実施し、画像空間における対応する位置に対してズームアウトする。入力空間の特定の位置において、閉じていた指の一部またはすべてを広げることによりズームインを実施し、画像空間における対応する位置に対してズームインする。

いくつかの実施形態において、入力空間における特定の位置で２本の指の先端を互いに近づけることによりズームアウトを実施する。入力空間における特定の位置において、閉じていた２本の指を広げることによりズームインを実施して、画像空間における対応する位置に対してズームアウトする。

いくつかの実施形態において、入力空間における特定の位置で３本の指の先端を互いに近づけることによりズームアウトを実施する。入力空間における特定の位置において、閉じていた３本の指を広げることによりズームイズームアウトを実施して、画像空間における対応する位置に対してズームアウトする。

いくつかの実施形態において、入力空間における特定の位置で２つの手の指先を互いに近づけることによりズームアウトを実施する。入力空間における特定の位置において、閉じていた手を広げることによりズームイズームアウトを実施して、画像空間における対応する位置に対してズームアウトする。

いくつかの実施形態において、ズームアウトおよびズームインは、入力空間における特定の位置にツール先端を近づけることにより、また、マウスのスクロールまたはマウスボタンのクリック等の追加の入力を行うことにより、ズームアウトおよびズームインを実施する。

いくつかの実施形態において、入力空間内の位置を選択して、「ズームイン」または「ズームアウト」等の音声コマンドを付加することにより、ズームアウトおよびズームインを実施する。

いくつかの実施形態において、２つの手等で画像の２点を把持すること、および、その２つの手を動かすこと等によって把持した２点間の距離を変化させることにより、ズームアウトおよびズームインを実施する。

いくつかの実施形態において、ユーザは、入力空間において、親指および人差し指でＣの字を作り、このＣの字を開閉することにより入力空間において３Ｄ画像をズームする。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおいてオブジェクトを回転すること
いくつかの実施形態において、上記方法のいずれかによってオブジェクトを選択し、回転コマンドを与えることにより、３Ｄシーンにおけるオブジェクトの回転を実施する。

いくつかの実施形態において、以下に説明する回転コマンドを与えることにより、３Ｄシーン全体を回転する。

いくつかの実施形態において、入力空間において、手で次のようなジェスチャを行うことにより、手によって回転コマンドを与え、回転の中心となる軸を画定する。すなわち、指１、指２、および指３を広げて３本の略垂直な軸を作る。

ここで、図４Ｅを参照する。図４Ｅは、本発明の一実施形態例による、入力空間において回転４１２を示すジェスチャをしている手４１０を示す簡略図である。

いくつかの実施形態において、入力空間において、手で次のようなジェスチャを行うことにより、手によって回転コマンドを与え、回転の中心となる軸を画定する。すなわち、入力空間において、指１、指２、および指３を広げて入力空間における３本の略垂直な軸を示す。そして、手で回転のジェスチャを行い、いずれかの軸を中心とした回転を規定すると、このジェスチャが３Ｄディスプレイに入力されて、３Ｄディスプレイは、選択されたオブジェクトを同様に回転させる。

いくつかの実施形態において、入力空間において、手で次のようなジェスチャを行うことにより、手によって回転コマンドを与え、回転の中心となる軸を画定する。すなわち、入力空間において、指１、指２、および指３を広げて入力空間における３つの位置を示すことにより、入力空間における一の平面を画定する。そして、手で回転のジェスチャを行い、この平面の入力空間における回転を規定すると、このコマンドが３Ｄディスプレイに入力され、これに応じて、３Ｄディスプレイは、選択されたオブジェクトを回転させる。

いくつかの実施形態において、先に述べたような方法のいずれかによってオブジェクトを把持し、回転コマンドを与えることにより、３Ｄシーンにおいてオブジェクトを回転する。

いくつかの実施形態において、入力空間において手で次のようなジェスチャを行うことにより、手による回転コマンドを与え、回転の中心となる軸を画定する。すなわち、入力空間において、指１および指２を広げてこの２本の指先の間に軸を形成し、その他の指はひとまとめにする。そして、この軸を中心に手を回転する。３Ｄディスプレイは、選択されたオブジェクトまたはシーンを回転する。

いくつかの実施形態において、入力空間において手で次のようなジェスチャを行うことにより、手による回転コマンドを与え、回転の中心となる軸を画定する。すなわち、すべての指を広げて各指先を概ね一の平面上に置くようにする。そして、この面を中心にこの手を回転する。３Ｄディスプレイは、選択されたオブジェクトまたはシーンを回転する。

いくつかの実施形態において、入力空間において次のようなジェスチャを２つの手で行うことにより、２つの手で回転コマンドを与え、回転の中心となる軸を画定する。概ね一の平面上に、２つの手で円を形成し、そして２つの手をこの平面を中心に回転する。３Ｄディスプレイは、選択されたオブジェクトまたはシーンを回転する。

いくつかの実施形態において、入力空間において、次のようなジェスチャを２つの手で行うことにより、２つの手で回転コマンドを与え、回転の中心となる軸を画定する。指１、指３、指４、および指５、または指１、指２、指３、指４等の４本の指先をひとまとめにして、回転の中心となる点を画定し、１本の指、例えば指２または指５等をそれぞれ用いて、回転中心まわりの回転を示す。

いくつかの実施形態において、入力空間における一の点で各指先を閉じる。この閉じた指先を動かすと、入力空間においてあらかじめ規定した原点に対するこの点の回転に応じて、この所定の原点を中心に表示空間が回転する。

任意選択で、原点をハイライトして、この原点をユーザに可視表示可能とする。

任意選択で、原点は、表示空間座標の原点とする。

任意選択で、回転軸をメニューから選択し、閉じた指先の動きにより、どの程度回転するかについての入力を与える。

任意選択で、回転軸をハイライトする。

任意選択で、回転軸は、表示空間座標の主軸であるｘ軸、ｙ軸、およびｚ軸のうちの１つとする。

いくつかの実施形態において、任意選択で、メニューから回転軸を選択することにより、または、３Ｄディスプレイにより表示された軸のセットから軸を選択することにより、または指または長尺のツールにより方向の表示を与えることにより、回転軸を画定する。さらに、ハンドジェスチャで回転中心をマークする。例えば、入力空間における一の点で指先を閉じることにより、回転中心の位置を画定する。指先を閉じた後、その手を回転させることにより、同じ回転角でシーンを回転させるという入力を３Ｄディスプレイに与える。任意選択で、および、場合によっては、指先を一緒に閉じることを含む他のジェスチャと区別する目的で、追加の入力、例えば、メニュー選択またはマウスクリック等を用いて、この場合のユーザ入力が回転入力コマンドであることを３Ｄディスプレイに対して指示する。

いくつかの実施形態において、ハンドジェスチャで回転中心をマークする。例えば、入力空間における一の点で指先を閉じることにより、回転中心の位置を画定する。指先を閉じた後、その手を回転させることにより、同じ回転角でシーンを回転させるという入力を３Ｄディスプレイに与える。任意選択で、および、場合によっては、指先を一緒に閉じることを含む他のジェスチャと区別する目的で、追加の入力、例えば、メニュー選択またはマウスクリック等を用いて、この場合のユーザ入力が回転入力コマンドであることを３Ｄディスプレイに対して指示する。

いくつかの実施形態において、任意選択で、メニューから回転軸を選択することにより、または、３Ｄディスプレイにより表示された軸のセットから軸を選択することにより、または指または長尺のツールにより方向の表示を与えることにより、回転軸を画定する。さらに、入力空間に挿入したツール先端で回転中心をマークする。このツールを回転することにより、同じ回転角でシーンを回転させるという入力を３Ｄディスプレイに与える。

いくつかの実施形態において、ツール先端で画像中の一の点をマークし、マウスクリック／音声コマンド／瞬目により回転コマンドを与えることにより、回転を実施する。ディスプレイは、任意選択で、その点に対するツール位置に応じてマークした点を中心に画像を回転する。任意選択で、ツール角を変更することにより画像を回転する。

いくつかの実施形態において、入力空間に挿入したツール先端により、回転中心の位置を画定する。ツールを回転することにより、３Ｄディスプレイに、同じ回転角でシーンを回転するという入力を与える。

いくつかの実施形態において、上記の回転コマンド入力方法を、音声コマンドにより実施する。この音声コマンドは、任意選択で、指先、ツール先端、または何本かのまとまった指先が回転中心にある時点を示すように機能する。

なお、上記の回転コマンド入力方法において、表示空間においてハイライトした点を表示することにより、選択された回転中心がどこであるのかをユーザに示す。また、上記したように、一の点を選択する際は、オブジェクト上またはシーン中における当該点を指し示すことによって選択してもよい。

いくつかの実施形態において、入力空間において、親指および人差し指でＣの字を作り、このＣの字を回転することにより、３Ｄシーンおよび／または３Ｄオブジェクトを回転する。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおけるオブジェクトの回転および平行移動を組み合わせること
なお、回転と平行移動を組み合わせることは、回転および平行移動についての上記の説明に基づいて、回転および平行移動用にユーザインタフェースを組み合わせて行ってもよい。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおけるオブジェクトを自然に把持すること
いくつかの実施形態において、３Ｄシーンにおける表示オブジェクトは、任意選択で、特別な把持起動コマンドなしに把持してもよい。オブジェクト表面に指先を載置すると、そのオブジェクトは把持されたものとして、ユーザインタフェースにより選択される。オブジェクト表面に何本かの指先を載置した後、ユーザはその手を動かし、その指の動きに対応する分だけ表示オブジェクトをディスプレイが動かすことにより、オブジェクトがユーザの手によって把持されているように見え、ユーザの手によって動かされているように見える。

同様に、任意選択で、表示オブジェクトを把持しているように知覚される手の回転に応じて、表示オブジェクトを回転する。

いくつかの実施形態において、以下に詳述するように、表示オブジェクトの表面に１本の指を載置した場合は、表示オブジェクトを押すことはできるものの、表示オブジェクトを把持したとはみなさない。

いくつかの実施形態において、表示オブジェクトの表面に２本の指を載置した場合、表示オブジェクトを把持したとみなす。

いくつかの実施形態において、表示オブジェクトの表面に２本の指を載置した場合、表示オブジェクトを、表示オブジェクトを通る軸を画定する２つの接触点で把持したとみなす。任意選択で、表示オブジェクトの表面に第３の指を載置して、入力ジェスチャを与えることにより、この第３の指が動く方向に、表示オブジェクトをディスプレイによって回転させてもよい。

いくつかの実施形態において、表示オブジェクトを把持したとみなすためには、オブジェクト表面に３本の指を載置する必要がある。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおいて表示オブジェクトを押すこと
いくつかの実施形態において、ユーザは、手またはツール等の入力オブジェクトを表示空間に挿入する。ユーザは、表示空間内で入力オブジェクトを動かす。表示空間に表示オブジェクトは、入力オブジェクトに対して固体であるかのように動作する。つまり、表示オブジェクトは、表示空間において、入力空間における前記入力オブジェクトの位置に対応する位置を占有しないように動く。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおいて表示オブジェクトをたたくこと
いくつかの実施形態において、ユーザは、手またはツール等の入力オブジェクトを表示空間に挿入する。ユーザは、表示空間内で入力オブジェクトを動かす。表示空間に表示オブジェクトは、入力オブジェクトに対して固体であるかのように動作する。つまり、表示オブジェクトは、表示空間において打たれたかのように知覚され、任意選択で、実オブジェクトをたたいたときの動きと同じように動く。

表示オブジェクトは、任意選択で、完全弾性オブジェクト、または部分弾性オブジェクト、ひいては脆性オブジェクトが衝突して崩壊するときのように動くように設定してもよい。

ここで図４Ｉを参照する。図４Ｉは、本発明の一実施形態例による立体ディスプレイ４６６の表示／入力空間４６２にツール４８０を挿入しているユーザ４６０を示す簡略図である。

なお、図４Ｉを参照すると、ユーザ４６０は、ツール４８０を容易に見て４７０操作することができ、表示中の３Ｄオブジェクト４８２までツール４８０を案内することができ、したがって、潜在的に、３Ｄオブジェクト４８２をツール４８０でたたくプロセスを簡易かつ自然なものとすることができる。

ツール４８０の１つ以上の点の位置は、任意選択で、表示／入力空間４６２において測定し、任意選択で、ツール４８０上の１つ以上の点の動作速度も測定する。

表示／入力空間４６２における、表示された３Ｄオブジェクト４８２の位置および寸法は既知および／または算出済みである。

ツール４８０上の点が、表示された３Ｄオブジェクト４８２上の点と一致した場合、表示／入力空間４６２におけるツール４８０上の点の動作速度および／または方向および表示／入力空間４６２における表示された３Ｄオブジェクト４８２上の点の動作速度および／または方向は、任意選択で、既知および／または算出済みである。

ツール４８０上の点が、表示された３Ｄオブジェクト４８２上の一の点に到達した場合、その点におけるツール４８０表面の法線ベクトルを任意選択で算出し、および／または、その点における表示された３Ｄオブジェクト４８２表面の法線ベクトルを任意選択で算出する。

いくつかの実施形態において、表示オブジェクトの接触点における手／ツールの速度を任意選択で測定し、任意選択で、算出された速度を用いて、表示オブジェクトの手／ツールに対する反応を割り出す。

いくつかの実施形態において、入力オブジェクトまたはツールまたは表示オブジェクトの速度は、任意選択で、位置および時間を測定することにより、または、移動距離を時間で除したものを速度として算出することにより測定する。

一実施形態例において、ツール４８０はテニスラケットとすることができ、表示された３Ｄオブジェクト４８２はテニスボールの表示とすることができる。上記の本実施形態例により、３Ｄ仮想テニスの潜在的なやり方を教示する。このような相互作用により、ユーザは、潜在的に、３Ｄ双方向型ゲームをすることが可能になる。

表示オブジェクトの手／ツールに対する反応は、必ずしも表示オブジェクトが固体であるかのような必要はない。むしろ、表示オブジェクトは、物理的にそこにあるかのような反応をし、固体であっても、液体であっても、気体であっても、プラズマであってもよい。いくつかの実施形態において、表示オブジェクトの反応として、変形が挙げられる。いくつかの実施形態において、ユーザが、表示オブジェクトの弾性率および／または脆性を示す物理パラメータおよび／または数値パラメータを入力してもよい。いくつかの実施形態において、コンピュータが生成した表示オブジェクトを作成するコンピュータシステムにより、任意選択で、当該コンピュータシステムにおけるオブジェクトを記述するデータにしたがって、表示オブジェクトの弾性率および／または脆性を示す物理パラメータおよび／または数値パラメータを設定してもよい。

先に述べた特許文献１には、例えば、当該文献の図１５および明細書において、２つの別々の表示ボリュームに表示された同じオブジェクトと相互作用する２人のユーザが記載されている。このような、２つの表示ボリュームにおける相互作用により、潜在的に、２人のユーザは、２つの別々の場所で３Ｄ双方向型ゲームをすることが可能となる。

実際のラケットと表示されたボールを用いたテニスのゲームについて上記の記載を一般化すると、本発明の実施形態例を用いればその他のゲームも同様に行うことが潜在的に可能でありうる。

そのようなゲームの非限定的な例としては、次のようなものが挙げられる：
フリスビー（実際の手、表示されたフリスビー）：実際の手は、「オブジェクトを把持すること」の実施形態例を説明する箇所において説明したように、任意選択で、表示オブジェクト、例えばフリスビー等を把持する。実の手は、「３Ｄシーンにおいて表示オブジェクトを押すこと」の実施形態例を説明する箇所において説明したように、任意選択で、表示オブジェクトであるフリスビーを動かし、回転させ、反転させる。実の手が、任意選択で、表示オブジェクトであるフリスビーを放つと、表示オブジェクトであるフリスビーは、任意選択で、実際に反転して投げられたかのように動くように見えるようになる；
卓球（実際のラケット、表示されたボール）：実物の卓球ラケットは、実物大であってもなくてもよく、表示オブジェクトであるボールを打つことができる；
野球またはソフトボール（実物のバット、表示されたボール)；
ビー玉遊び（Marbles）（１つ以上の実物のビー玉、１つ以上の表示されたビー玉）：実物のビー玉を表示空間に打ち込み、表示された１つ以上のビー玉にぶつける。任意選択で、表示システムにより、表示オブジェクトであるビー玉が実際のビー玉同様に表示空間内を動くように表示する；
シャッフルボード（実物のキュー（paddle)、表示された円盤(puck)）;
ジャックス（Knucklebones）(実物のジャックス、表示されたボール）：表示オブジェクトであるボールを表示空間内で把持および／またはたたき、実際のボールと同様に、またはそれより早くまたは遅く、上方に向かいその後戻ってくる軌道を表示する。表示されたボールが上下している間、ユーザは、任意選択で、ジャックスの試合にしたがって、ジャックスを実際に操作してもよい。このシステムによれば、任意選択で、初心者の試合のときにはボールが上昇下降する速度を遅くし、より高度なゲームでは、表示オブジェクトであるボールの上昇下降速度を実際的なものとし、任意選択で、さらに高度なゲームでは、ボールの上昇下降速度を実際の速度よりも速くしてもよい；
ボーリング（実物のボール−実物と同じサイズ、小さいサイズ、または大きいサイズ、表示されたピン）；および
ビリヤードおよび同等のゲーム（実物のキュースティック、表示されたボール）。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおいて、選択した表示オブジェクトを動かすこと、および選択していない表示オブジェクトを動かさないこと
いくつかの実施形態において、ユーザは、任意選択で、３Ｄシーン中に表示された１つ以上のオブジェクトを上記のように選択する。そして、ユーザは、ツールまたは手等の入力オブジェクトを表示空間に挿入する。ユーザは、表示空間内において入力オブジェクトを動かす。選択したオブジェクトは、入力オブジェクトに応答して、あたかも固体のようにふるまう。すなわち、選択したオブジェクトは、入力オブジェクトが画像空間におけるその対応する画像に接触したときに、表示空間において動く。選択しなかったオブジェクトは、入力オブジェクトに応答して、接触に対してあたかも透明であるかのようにふるまう。すなわち、選択しなかったオブジェクトは、入力オブジェクトが画像空間におけるその対応する画像に接触および／または通過するときに、表示空間において動かない。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおけるシーンまたはオブジェクトから平面を切り取るまたはスライスすること
いくつかの実施形態において、ユーザインタフェースコマンドを与えて、一の平面において、３Ｄオブジェクトまたは３Ｄシーンをスライスまたは切り取る。

スライスコマンドの場合、所定の平面においてオブジェクトまたはシーンをスライスすることを意味し、任意選択で、この平面の片側をオブジェクト／シーンから削除、および／またはハイライト、および／またはもう一方の側とは異なる透明度で表示してもよい。

切り取りコマンドの場合、所定の平面において、当該所定の平面の特定の範囲、例えば矩形等に限定して、オブジェクトまたはシーンをスライスすることを意味し、任意選択で、この平面の片側をオブジェクト／シーンから削除、および／またはハイライト、および／またはもう一方の側とは異なる透明度で表示してもよい。

いくつかの実施形態において、切り取りまたはスライスコマンドは、３Ｄオブジェクトまたは３Ｄシーンを切り取りまたはスライスせずに、平面が３Ｄオブジェクトまたは３Ｄシーンと交差する部分をハイライトするのみとする。

いくつかの実施形態において、３Ｄオブジェクトまたは３Ｄシーンを１つ以上の層で構成してもよい。切り取りのユーザインタフェースコマンドは、１層、２層、選択した層、またはすべての層に適用することができる。

いくつかの実施形態において、２つの手を組み合わせることにより、スライスまたは切り取る面を画定する。

ここで図４Ｆを参照する。図４Ｆは、本発明の一実施形態例による入力空間において指４１６を伸ばして矩形４１７を画定した状態の２つの手４１５を示す簡略図である。

なお、２つの手４１５の延ばした指４１６は、その間に矩形４１７を画定するために必ずしも接触している必要はない。４本の指４１６全体で矩形４１７の各辺を画定する。

なお、矩形４１７により、切り取り用の矩形またはスライス用の平面を画定する。

いくつかの実施形態において、図４Ｆに片方の手の指のように指を伸ばした１つの手（図示せず）により、スライス用の平面、または平面とその平面の２つの端縁を画定する。

ここで図４Ｇを参照する。図４Ｇは、本発明の一実施形態例による、入力空間において指４２１を伸ばして矩形４２２を画定した状態の２つの手４２０を示す簡略図である。伸ばした指４２１により、図４Ｆに示す形状（definition）と同様、矩形４２２の３つの端縁を画定し、離れた指先の間の線により矩形４２２の第４の端縁を画定する。

いくつかの実施形態において、入力空間において３点を画定する。この３点により平面を画定し、この平面を任意選択で用いてオブジェクトまたは画像をスライスする。

いくつかの実施形態において、入力空間において３点を画定する。この３点により三角形である平面を画定し、この三角形の平面を任意選択で用いてオブジェクトまたは画像をスライスする。

いくつかの実施形態において、３Ｄディスプレイは、スライスされた、または切り取ったオブジェクトまたはシーンを表示し、この平面を画定する入力オブジェクトが移動すると、平面の位置または方向を変更して、３Ｄディスプレイはこの新たな平面に応じて、スライスされた、または切り取ったオブジェクトを表示する。

いくつかの実施形態において、入力空間に任意選択で挿入したツールにより、スライスまたは切り取り平面の画定を行う。

いくつかの実施形態において、ツールは棹状であり、棹の長軸の方向は、任意選択で、当該方向に垂直な平面を画定する。棹上の一の点は、任意選択で、多数の平行な平面のうち実際に使用する面を画定する。いくつかの実施形態において、棹状ツール上の点とは、棹状ツールの先端である。

いくつかの実施形態において、ツールは矩形状である。いくつかの実施形態において、この矩形により、スライスするのに使用する平面を画定する。いくつかの実施形態において、矩形状のツールにより、切り取り用に使用する矩形を画定する。いくつかの実施形態において、この平面は、サイズ調整可能な矩形である。

いくつかの実施形態において、ツールは棹状であり、任意選択で、この棹の長軸の方向により切断線を画定する。ユーザがスライスモードを有効にすると、棹状ツールを動かすことにより３Ｄオブジェクトまたは３Ｄシーンはこの切断線に沿ってスライスされる。

いくつかの実施形態において、切り取りまたはスライスが設定されていたら、「切り取り」または「スライス」等の音声コマンドにより、切り取りおよび／またはスライスを有効にする。

いくつかの実施形態において、切断またはスライス面の所定の向き、例えば、非限定的な例として、平行または垂直等を選択し、３Ｄシーン内の点を選択し、平面のこの所定の方向および選択した点の位置に基づいて切り取りまたはスライスコマンドを入力する。

いくつかの実施形態において、３Ｄシーンが１つ以上のカテゴリのオブジェクトを含む場合、切り取りまたはスライスコマンドを特定のカテゴリのオブジェクトに適用する。カテゴリについては３Ｄシーンの表示を生成するコンピュータにより識別する。例えば、表示された３Ｄシーンが医用シーンである場合、スライスまたは切り取り対象のオブジェクトは、任意選択で、当該医用画像における特定の臓器とすることができ、および／または当該医用画像における特定の組織とすることができる。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおけるボリュームを選択すること
いくつかの実施形態において、ユーザインタフェースコマンドを与えて、３Ｄシーンにおける特定のボリュームに対応する、３Ｄ表示空間におけるボリュームを画定する。

いくつかの実施形態において、このボリュームは、入力空間において、ある程度離間して保持した２本の指先間のボリュームである。

いくつかの実施形態において、このボリュームは、入力空間において、ある程度離間して保持した２つの手の間のボリュームである。

いくつかの実施形態において、このボリュームは、カップのように丸めた２つの手の間のボリュームである。

いくつかの実施形態において、このボリュームは、カップのように丸めた１つの手の内側のボリュームである。

３Ｄユーザインタフェースコマンドの一実装例−３Ｄシーンにおける３Ｄオブジェクトを切削（sculping）すること
いくつかの実施形態において、のみ（チゼル）、ナイフ、または自由形式の切削用具等のツールを入力空間内に挿入する。追跡システムにより、入力空間における、チゼルの先端、または切削用具またはナイフの端縁を追跡する。チゼルの先端、または切削用具またはナイフの端縁は、本明細書において、ツールの有効部分（active portion）と呼ぶ。いくつかの実施形態において、チゼルの先端、または切削用具の端縁は塗装またはマークして、追跡システムによる入力空間での追跡を支援する。入力空間内でツールが動いて、入力空間における、表示空間のオブジェクトの位置に対応する位置に移動すると、表示空間におけるオブジェクトの一部分が、あたかもツールの有効部分によって表示空間におけるオブジェクトの当該部分を切除しているかのように、任意選択で消去される。

いくつかの実施形態において、表示空間におけるオブジェクトの当該部分を消去せずに、任意選択で、ハイライトする。任意選択で、ハイライトした部分を消去するコマンドにより、ハイライトした部分が消去する。ここで、このハイライト部分は、消去用にマークしたと考えることもできる。

場合により、上記のインタフェースは、任意選択で、現実の世界でそのような切削を実際に行う前に、３Ｄディスプレイにおける切削のプロセスを任意選択でシミュレートする。そうすることで、実際に作業を行う前に、その作業のプランニングおよびシミュレーションが潜在的に可能となる。

上記のシミュレーションは、医学的状況、例えば、手術の前、患者の身体のメディカルセットの３Ｄディスプレイを使用できる場合において、特に有用であると考えられる。別の医学的な一実施形態例としては、教育用の用途が挙げられ、この場合、学習者は、患者の身体のメディカルセットの３Ｄディスプレイ上で仮想手術を行うことができる。

先に述べたような切削に用いることのできる実ツールとして、非限定的な例として、先端の尖ったツール、鋭い刃をしたツール、筆、粘土成形ツール等が挙げられる。

いくつかの実施形態において、ツールは仮想ツール、すなわち、３Ｄディスプレイに３Ｄオブジェクトとして表示されたものである。ユーザは、任意選択で、表示空間におけるツール把持のための適切な位置に対応する、入力空間における適切な位置に手または指を置くことによって、ツールを適切に把持する。３Ｄユーザインタフェースの各実施形態例による把持についての詳細は、既に述べた通りである。

このような各実施形態において、追跡システムは、任意選択で、ツールではなくユーザの手を追跡する。

ユーザが仮想ツールを把持すると、入力空間におけるユーザの手の動きにより、ユーザインタフェースは表示空間における仮想ツールを動かす。仮想ツールの有効部分が動いて、表示空間において表示オブジェクトの一部分を通ることにより、表示オブジェクトの一部分を、実ツールを用いて上記のように切削すること、消去すること、またはハイライトすることが可能となる。

いくつかの実施形態において、仮想ツールはツールのライブラリから選抜するが、マウスクリックにより、または仮想メニューから選択することにより、この仮想ツールのいくつかまたはすべてを３Ｄディスプレイによって表示してもよい。

いくつかの実施形態において、仮想ツールの有効部分をハイライトする。

上記のような切削に用いることのできる仮想ツールとして、非限定的な例として、先端の尖ったツール、鋭い刃をしたツール、筆、粘土成形ツール等が挙げられる。さらに、一部のツールとして、現実の世界では存在しないが表示空間において存在しうるものがある。そのようなツールの例として、実際には連結していないが仮想的に連結した２つ以上のパーツが挙げられる。例えば、外輪内に内輪を保持する連結部分のないシャープリング（sharp ring）内のシャープリングは、実ツールとしてではなく、仮想ツールとして実装可能である。

いくつかの実施形態において、ツールは、実ツールと仮想ツールの組み合わせである。実ツールは、入力オブジェクトとして３Ｄ表示空間に挿入され、実ツールを、実ツールに対する追加表示により増強（enhance）する。

いくつかの実施形態において、ツール先端を付加して表示をする３Ｄディスプレイにより、この実ツールを増強する。非限定的な例として、ツールを挿入し、ツール先端を付加することにより、ツールを伸長して表示する。このように表示した伸長部は、あたかも実ツールに取り付けたもののように、実ツールと共に動く。非限定的な例として、ツールの柄を挿入し、ツール先端すなわち作動部分をツール先端のメニューから選択し、ツールの柄に取り付けたかのように３Ｄディスプレイによって表示する。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおいて３Ｄオブジェクトを生成すること
いくつかの実施形態において、３Ｄシーンにおける３Ｄオブジェクトを生成すなわちまたは構築する。任意選択で、最初の３Ｄシーンにはオブジェクトが無く、３Ｄオブジェクトを新規に構築してもよい。

ある実施形態において、ツールまたは手を入力空間に挿入する。任意選択でコマンドを与えてオブジェクトの生成を開始する。オブジェクトの生成を開始した時点から、生成を停止するコマンドが与えられるまで、ツールまたは手で一掃するボリュームを任意選択で検出し、このボリュームを３Ｄ表示空間におけるオブジェクトとして表示する。

いくつかの実施形態において、ツールまたは手の全ボリュームではなく、ツールまたは手の特定部分を有効部分として指定する。

いくつかの実施形態において、表示空間において有効部分をハイライトして、この有効部分をユーザに対して可視表示する。

３Ｄユーザインタフェース実装の一実施形態例−３Ｄシーンにおいて３Ｄオブジェクトを生成または変更すること、およびオブジェクトを３Ｄプリンタに送信すること
いくつかの実施形態において、３Ｄシーンにおける３Ｄオブジェクトを変更し、または３Ｄオブジェクトを（上記のように）切削し、３Ｄオブジェクトを３Ｄプリンタに出力して生成する。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄ表示空間に挿入したオブジェクトをハイライトすること
いくつかの実施形態において、３Ｄ入力空間および３Ｄ表示空間は、上述のように重なり合う。この場合、３Ｄディスプレイを任意選択で用いて、３Ｄディスプレイおよび入力空間に挿入した入力オブジェクトの位置において表示を行うようにする。

非限定的な例として、指先またはツール先端において、異なる色および／または異なるアイコンを表示することが挙げられる。この色および／またはアイコンは、３Ｄ表示空間内において指先またはツール先端がどこへ移動しようとも、指先またはツール先端と共に移動する。ディスプレイは、任意選択で、指先またはツール先端が（非作動中に対して）作動中であることをマークするか、または、３Ｄインタフェース内における指またはツールの用途を示すように機能することができる。いくつかの実施形態において、３Ｄディスプレイによりメニューを表示してもよく、入力オブジェクトの先端で接触することまたは指し示すことによりメニュー選択を行ってもよい。メニュー選択は、任意選択で、ハイライト、またはメニューの選択肢に対応した特定の色、またはアイコンを、表示空間における入力オブジェクトの先端に追従させる。

いくつかの実施形態において、仮想オブジェクトのリストから一の仮想オブジェクトを選択し、この仮想オブジェクトをツールの先端に表示する。同様に、オブジェクトを選択した後、その実オブジェクトを任意選択で入力空間に挿入し、任意選択でシステムによって識別させ、ツール位置に追従してオブジェクトの各端縁を任意選択でハイライトする。

いくつかの実施形態において、非限定的な例として、メニューを、任意選択で、挿入した手の各指先に表示する。指先の１つでオブジェクトに接触することにより、３Ｄ入力は、接触したオブジェクトに、メニューの選択肢が適用されたものとして受け入れる。メニューの各選択肢の色が異なる場合、オブジェクトは該当する色で表示してもよい。メニューの選択肢が「カット」および「コピー」である場合、３Ｄシーンから当該オブジェクトをカットまたはコピーしてもよい。

いくつかの実施形態において、３Ｄディスプレイによりボタンを表示してもよい。また、ボタンを作動するには、任意選択で、表示空間において当該ボタンに触れるか、または表示空間において入力オブジェクトの先端で当該ボタンを指し示せばよい。

いくつかの実施形態において、ボタンは３次元ボタンとして表示してもよい。いくつかの実施形態において、ボタンは２Ｄ表示として表示してもよい。

いくつかの実施形態において、ボタンは、当該ボタンに触れたことに対して、あたかも押下されたかのような反応を示してもよい。いくつかの実施形態において、ボタンは、任意選択で、単にハイライトするだけでよく、必ずしも押下されたように表示しなくてもよい。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおいて距離を測定すること
いくつかの実施形態において、３Ｄシーンにおける選択した２点間の距離を測定する。

いくつかの実施形態において、２本の指を置いてこの２つの点を選択し、瞬目、または音声コマンド、またはボタンの作動により、距離測定コマンドを与える。

いくつかの実施形態において、１本の指を用いて２点を選択し、瞬目、または音声コマンド、またはボタンの作動により、距離測定コマンドを与える。

いくつかの実施形態において、ツールを用いて２点を選択し、瞬目、または音声コマンド、またはボタンの作動により、距離測定コマンドを与える。

ある実施形態において、測定した距離は、３Ｄ表示空間における直線距離である。

ある実施形態において、および、例えば先の２点がオブジェクトの表面上の点である場合等の特定の場合において、測定した距離は、３Ｄ表示空間におけるオブジェクトの表面上の最短距離である。例えば、世界の地球地図等の球体が表示されている場合、球体表面上の２点、例えば２つの都市等を選択し、任意選択で、球体表面上の最短距離を測定することにより、大圏距離（great circle distance）が得られる。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおいてボリュームを測定すること
いくつかの実施形態において、１つ以上の選択したオブジェクトのボリュームを３Ｄシーンにおいて測定する。

いくつかの実施形態において、選択することに関連して上述したように、１つ以上のオブジェクトを選択し、瞬目、または音声コマンド、またはボタンの作動により、ボリューム測定コマンドを与える。

いくつかの実施形態において、ボリュームは３Ｄシーンからあらかじめ分割されており、その非限定的な例として、ＣＴ画像等の３Ｄ医用画像の自動分割等が挙げられる。

いくつかの実施形態において、選択することに関連して上述したように、３Ｄシーンにおける複数の点を選択するが、このとき、すべての点が１つの平面にあるわけではない。そして、瞬目、または音声コマンド、またはボタンの作動により、ボリューム測定コマンドを与える。測定対象のボリュームは、任意選択で、各点により画定した各表面の中に含まれるボリュームである。

いくつかの実施形態において、表示オブジェクトの境界の実際のマーキングを容易に行うため、３Ｄシーンにおける近接するオブジェクトの最近隣表面（nearest surfaces）上に各点をスナップ可能とする。

いくつかの実施形態において、表示空間における各点により画定した表面を、３Ｄシーン中のオブジェクトの最近隣表面上に折り畳み（collapse）可能として、２Ｄ描画ソフトウェアにおいて２Ｄオブジェクトを選択する際に２Ｄオブジェクトの周囲に「投げ縄（lasso）」を描く場合同様、オブジェクトの選択を容易に行えるようにする。

いくつかの実施形態において、測定用のボリュームは、２Ｄ描画ソフトウェアにおいて中心および半径を選択する場合同様、前述したような点をマークするための方法によって、中心点をマークすることにより選択し、球状表面をマークする別のポイントへと点マーカーを移動する。測定したボリュームは、球体のボリュームであり、および／または、任意選択で、球体の表面は、球体内の表示オブジェクトの表面上に折り畳んで合致（conform）させ、折り畳まれた表面内に囲まれたボリュームを測定する。

いくつかの実施形態において、点の選択は指先で行う。いくつかの実施形態において、点の選択はツール先端で行う。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおける面積（エリア）を測定すること
いくつかの実施形態において、３Ｄシーンにおける面積を測定する。

いくつかの実施形態において、３Ｄディスプレイにおける点を選択することに関連して上述したように、３つ以上の点を選択する。そして、瞬目、または音声コマンド、またはボタンの作動により、面積測定コマンドを与える。

いくつかの実施形態において、１本の指を用いて各点を選択し、瞬目、または音声コマンド、またはボタンの作動により、面積測定コマンドを与える。

いくつかの実施形態において、ツールを用いて各点を選択し、瞬目、または音声コマンド、またはボタンの作動により、面積測定コマンドを与える。

いくつかの実施形態において、測定対象エリアは、３Ｄ表示空間における３つの点により画定された平面におけるエリアである。

ある実施形態において、および、例えば各点がオブジェクトの表面上の点である場合等の特定の場合において、測定対象エリアは、３Ｄ表示空間におけるオブジェクトの表面上のエリアである。例えば、球体が表示されている場合、この球体上の３点を選択して面積を測定すると、球体の面上のこの３点により画定した三角形の面積が得られる。

任意選択で、エリア外周部においてより多くの点をマークし、測定および算出の精度を潜在的に向上する。いくつかの実施形態において、画像コントラスト、端縁検出、または測定対象である所望のエリアの境界を定める同様の方法によって、測定したエリアの端縁を特定する。

いくつかの実施形態において、オブジェクトのボリュームを測定することに関連して上述した各方法を用いて、オブジェクトを選択し、オブジェクトの表面積を任意選択で測定する。

３Ｄユーザインタフェースコマンドの一実施形態例−第１の３Ｄオブジェクトの寸法を、３Ｄシーンにおいて表示された第２の３Ｄオブジェクトを参照して比較すること
いくつかの実施形態において、３Ｄディスプレイによって画像生成した第２の３Ｄオブジェクトの表示に対応する位置において、第１の現実の世界の３Ｄオブジェクトを入力空間内に置く。

いくつかの実施形態において、上述したように、入力空間は表示空間と重なり合い、第１の３Ｄオブジェクトは、第２の仮想オブジェクトの表示中へ置く。

ここで図４Ｈを参照する。図４Ｈは、本発明の一実施形態例による、共通の表示／入力空間４５２において第２の３次元オブジェクト４５４中に第１の３次元オブジェクト４５６を挿入しているユーザ４５０を示す簡略図である。

なお、図４Ｈを参照すると、ユーザ４５０は、第１の３Ｄオブジェクトを容易に見て操作することができ、第１の３Ｄオブジェクトを、表示中の第２の３Ｄオブジェクトと整合（align）し、したがって、潜在的に、２つのオブジェクトを比較するプロセスを簡易かつ自然なものとすることができる。

第１の３Ｄオブジェクトの位置と寸法を表示空間において測定し、第２の３Ｄオブジェクトの寸法と比較する。

寸法を比較した結果は、任意選択で、表面間の距離、表面間の平均距離、オブジェクトの表面間に収まるボリューム等を含む。

いくつかの実施形態において、第１の３Ｄオブジェクトは、３Ｄディスプレイによって生成および表示されたオブジェクトでもある。第１の３Ｄオブジェクトを入力空間に置いて把持して、入力コマンドにより、３Ｄディスプレイにより画像を生成した第２の３Ｄオブジェクトの表示に対応する位置へ平行移動および／回転させる。非限定的な例として、第１の３Ｄオブジェクトは、生成したオブジェクトのメニューまたはライブラリから選択すればよく、第１の３Ｄオブジェクトある時点で表示空間において表示してもよく、第２の３Ｄオブジェクトと比較するのに適切な位置へと把持して移動してもよい。

なお、図４Ｈは、第１の３Ｄオブジェクト、すなわち、３Ｄ表示空間において生成されているオブジェクトの概要（シナリオ）を描写するのに好適である。

いくつかの実施形態において、エリアまたはボリュームは、表示空間において点を選択およびマークすることにより画定され、画定したエリアまたはボリュームに実物または生成した３Ｄオブジェクトを挿入することにより画定する。３Ｄオブジェクトの位置および寸法を測定し、画定したエリアまたはボリュームの位置および寸応と比較する。寸法を比較した結果は、任意選択で、表面間の距離、表面間の平均距離、オブジェクトの表面間に収まるボリューム等を含む。

３Ｄユーザインタフェースコマンドの一実施形態例−第１の３Ｄオブジェクトの寸法を３Ｄシーンにおいて表示されたパスと比較すること
いくつかの実施形態において、上述したように、表示空間においてパスを画定する。実物または生成した３Ｄオブジェクトを把持してパスに沿って移動する。３Ｄオブジェクトがパスに沿って移動している間に各測定を行い、結果を生成する。

測定としては、例えば、３Ｄオブジェクトが常にパス内に完全に含まれているかどうか等がある。非限定的な例として、パスは、医用画像中において手動でマークした血管であっても、または、血管の長さに沿って自動的に生成したものであってもよく、３Ｄオブジェクトの表面と血管の表面との間の距離について測定を行うことができ、オブジェクトが血管の中を詰まらずに通っていけるかどうかに関する解を得ることができる。別の非限定的な例として、３Ｄオブジェクトとパスすなわち血管、血管壁との間の断面積を測定することもでき、３Ｄオブジェクトが任意の時点でパス断面をどのくらいの比率で塞いでしまうかについての解を得ることができる。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンにおいて表示されたパスに沿って３Ｄオブジェクトを動かすこと
いくつかの実施形態において、３Ｄオブジェクトは、入力空間に挿入して追跡システムによって測定した実３Ｄオブジェクトであっても表示空間において表示した仮想３Ｄオブジェクトであっても、上述したようにマークしたパスに沿って移動させる。

いくつかの実施形態において、３Ｄオブジェクトは３Ｄシーンの中を移動するが、オブジェクト自体が追加の３Ｄオブジェクトを含んでいる。

いくつかの実施形態において、３Ｄシーンの中を３Ｄオブジェクトが移動することにより、３Ｄディスプレイによって３Ｄシーン中の追加の３Ｄオブジェクトを脇へ移動させるため、３Ｄオブジェクトは追加の３Ｄオブジェクトを通過せず脇へ移動させるように見える。

いくつかの実施形態において、３Ｄシーンの中を３Ｄオブジェクトが移動することにより、３Ｄディスプレイによって３Ｄシーン中の追加の３Ｄオブジェクトを変形させるため、３Ｄオブジェクトは追加の３Ｄオブジェクトを通過せず変形するように見える。

一実施形態の実装例において、上述したように、ユーザは、任意選択で、１本以上の血管を表示している３Ｄ医用シーン中にステントを挿入する。追跡システムは、このステントの位置を判別し、ステントを包んでいるように見える血管の画像を変形させて、ステントの形状を含むようにする。

３Ｄユーザインタフェースコマンドの一実施形態例−２つの３Ｄ画像を相互に位置合わせすること
手動位置合わせ：
いくつかの実施形態において、表示空間に第１の３Ｄオブジェクトおよび第２の３Ｄオブジェクトを表示する。ユーザは、入力空間に両手を挿入して、表示された３Ｄオブジェクトの一方または両方を把持する。表示オブジェクトを把持することについては既に述べた通りである。ユーザは、任意選択で、表示された３Ｄオブジェクトの一方または両方を操作して、２つの表示オブジェクト間の整列程度（a degree of registration）を求める。

任意選択で、ユーザは、２つの３Ｄ表示画像が位置合わせされているか、および／または略位置合わせされているかを示す。

いくつかの実施形態において、ユーザは、２つの３Ｄ表示画像を解放し、または把持するのをやめて、２つの３Ｄ表示画像上に点をマークする。この点は、ユーザの意図により、２つの３Ｄ表示画像の位置合わせに用いるものである。

いくつかの実施形態において、２つの３Ｄ表示画像はおおよそ位置合わせされていることがユーザによって示されると、コンピュータシステムが、２つの表示画像における同様の点を認識し、コンピュータシステムは、２つの画像における同じ点が最大近似となるように、および／または２つの表示画像の重なり合いが最大となるように、２つの画像を置く。

なお、この位置合わせは、任意選択で、１つ以上の表示オブジェクトを平行移動および／または回転および／またはズームすることを含む。

一実施形態の一実装例において、上記したように、ユーザは、任意選択で、２つの表示画像について上記の操作を行うが、この２つの表示画像は、同じオブジェクトの医用画像であって、異なる収集システムから得た画像間を任意選択で位置合わせしたものである。

半自動式位置合わせおよび位置合わせの表示：
いくつかの実施形態において、ユーザは、オブジェクトの第１の３Ｄ表示画像上の複数の点、同じオブジェクトの第２の３Ｄ表示画像上において各点に対応する複数のオブジェクトをマークし、コンピュータシステムは、任意選択で、オブジェクトの第１表示画像を、任意選択で、移動および／または回転および／またはズームして、同じオブジェクトの第２の表示画像と重ね合わせて位置合わせする。

いくつかの実施形態において、ユーザは、３Ｄ表示空間において点をマークすることに関連して前述したように、ツールを用いてマークを行い、コンピュータシステムは、上記のようにして位置合わせを行う。

一実施形態の一実装例において、ユーザは、２つの異なる時点で撮像された、鼓動している心臓の２つの３Ｄ画像を、任意選択で、相互に位置合わせする。ある実施例において、心電図（electro-cardiogram（ＥＣＧ））信号を用いて、心臓の鼓動周期中のどの段階でこれら２つの鼓動する心臓の３Ｄ画像が撮像されたかを判別する。

一実施形態の一実装例において、上記したように、ユーザは、任意選択で、２Ｄ画像を３Ｄ画像に相互に位置合わせする。この場合、２Ｄ画像は、潜在的に、３Ｄ画像とは異なる様式（modality）で撮像する。ユーザは、任意選択で、２Ｄ画像上の特定の点に対応する、３Ｄ画像上における点をマークする。

３Ｄユーザインタフェースコマンドの一実施形態−３Ｄシーンを探査すること、または３Ｄシーン内の視点を動かすこと
いくつかの実施形態において、ユーザインタフェースにより、ユーザは、３Ｄシーンにおける点および方向をマークし、マークした点および指示した方向から見た３Ｄを表示させる入力をディスプレイに与えることで、３Ｄシーンを探査することが可能となる。

いくつかの実施形態において、長尺の入力オブジェクトを表示空間に挿入することにより、３Ｄシーンにおいて点および方向を上記のようにマークする。オブジェクトの挿入については、点をマークすることおよび方向を指示することに関して先に記載した通りである。

いくつかの実施形態において、追跡システムにより、入力オブジェクトの位置および向きを経時的に追跡し、当該入力オブジェクトの位置および向きの変化に応じて、視点および視線方向を変更する。

いくつかの実施形態において、上記の方法を実施することにより、ユーザは、３Ｄシーンを見る際の視点を、当該３Ｄシーン外の視点から当該３Ｄシーン中の視点へと切り替えることが可能になる。

いくつかの実施形態において、上記の方法を実施することにより、ユーザは、３Ｄシーン中の視点を入力オブジェクトが示すパスに沿って移動して、あたかも３Ｄシーン中の当該パスに沿って進んでいるかのように３Ｄシーンを見ることができる。

いくつかの実施形態において、上記の方法を実施することにより、ユーザは、３Ｄシーン中の視点を３Ｄシーン中の既定のパスに沿って移動するが、ここで、パスをマークすることは、任意選択で、上記の通り行ってもよい。

非限定的な例として、ステントを挿入するためのパスに沿った視線方向は、任意選択で、ステントの先端を伝達する方向となるように選択する。観察者には、ＧＰＳシステムにおいて用いる「正面（head-on）ナビゲーション」と同様、伝達するステント（仮想ステント画像または当該３Ｄ医用画像に挿入された実ステント）を擁する３Ｄ医用画像を提示するが、この場合、マップが、観察者の向きに応じて（例えば、北を基準として）回転する。

３Ｄユーザインタフェースコマンドの一実施形態例−シーンの一部分または３Ｄオブジェクトを選択すること、および他のシステムに情報を送信すること
いくつかの実施形態において、上記の３Ｄユーザインタフェースを用いて、３Ｄシーンにおける１つ以上のオブジェクトを選択するか、または、３Ｄシーンの一部分を選択し、当該オブジェクトまたはシーンの当該部分についての情報を他のシステムに送信する。

いくつかの実施形態において、この情報は、当該オブジェクトまたはシーン部分を表示するためのデータであってもよい。

いくつかの実施形態において、この情報は、当該オブジェクトまたはシーン部分の座標とすることができ、任意選択で、他のデータシステムからの当該オブジェクトまたはシーン部分に関するデータ要請を含む。非限定的な例として、当該オブジェクトまたはシーン部分を表示するためのより高い解像度のデータを要請するものである。別の非限定的な例として、例えば医用システム等のシステムに当該オブジェクトまたはシーン部分を記憶することを要請するものである。

３Ｄユーザインタフェースコマンドの一実施形態例−３Ｄシーンを回転すること
いくつかの実施形態において、入力空間における入力オブジェクトの追跡に少なくとも部分的に基づいて、３Ｄシーン全体を回転する。入力オブジェクトを入力空間に挿入して回転する。３Ｄシーンは、入力オブジェクトにより上記のように画定された方向に対応する軸周りに、入力オブジェクトの回転角に相当する角度で回転する。入力オブジェクトは、任意選択で、手またはツールであってもよい。

３Ｄユーザインタフェースコマンドの一実施形態例−医用システム等のインタフェースとなること
ＣＴ等の３Ｄ医用データが既に取得され存在している種々の医用システム、例えば、コンピュータ断層撮影（ＣＴ）、核磁気共鳴画像法（ＭＲＩ)、電気生理学３Ｄマッピングシステム（例えば、バイオセンスウェブスター社製ＣＡＲＴＯ（登録商標）３システム等）、超音波（ＵＳ）、および３Ｄ回転血管造影（３ＤＲＡ）等は、本発明の一実施形態による３Ｄディスプレイおよび３Ｄインタフェースを用いることにより潜在的に利益を得る。３Ｄ取得システム用のユーザインタフェースが含む機能は、たとえキーボード等のものであっても、３Ｄユーザインタフェースの各実施形態に任意選択で伝送される。

一機能例として、多断面再構成または多断面再フォーマット（ＭＰＲ）が挙げられる。この用語は、医用撮像等において用いられ、コロナル面およびサジタル面における各画像を、元のアキシャルデータセットと連動して再構成することをいう。この機能は、一実施形態例によれば、任意選択で、３Ｄ画像における点をマークすることにより、また３Ｄインタフェースによって３Ｄ画像を自動的にスライスすることにより提供され、この機能により、当該点においてコロナル面およびサジタル面を表示する。このような機能は、非限定的な例として、例えばＭＲＩおよびＣＴ等において、潜在的に有用である。

一機能例として、３Ｄ画像表示用に用いるガンマ関数を変更すること、すなわち、３Ｄ画像の表示のコントラストを変更することによってヒストグラムを変更するコマンドを与えた後に、３Ｄ画像を横切って手またはツールを動かすことにより、画像品質調整用の入力を与えることが挙げられる。このような機能は、非限定的な例としての例えば３ＤＲＡ、ＣＴ、おおよびＭＲＩ等において、潜在的に有用である。

一機能例として、ＣＴ画像等においてウィンドウ値と称するものを選択することにより、画像品質調整用の入力を与えることが挙げられる。３Ｄ画像の画質は、任意選択で、ボクセルグレー値の特定の値間で向上する。このウィンドウ値またはグレー値の範囲を任意選択で用いて、特定のオブジェクト、医用画像等の場合は、脳、肺、骨等の特定の医学的器官等の画質を向上する。いくつかの実施形態において、画質向上用のグレー値を有するウィンドウは、任意選択で、ウィンドウメニューから選択することにより規定する。いくつかの実施形態において、ウィンドウは、任意選択で、手またはツールの動きでウィンドウに対するトップレベルおよびボトムレベルを定義することにより規定し、または、マウス等の外部入力を用いてウィンドウに対するトップレベルおよびボトムレベルを定義することにより規定する。

一機能例として、３Ｄ医用画像中に表示しようとする臓器または医学的器官を選択することが挙げられ、非限定的な例として、ＣＴ画像において、脈管系を表示せずに骨を表示すること等がある。

一機能例として、３Ｄディスプレイにより表示されたタイムラインに沿って手、指、またはツールを動かすことにより３Ｄ立体ループ全体をスクロールすることが挙げられる。このような機能は、非限定的な例として、３Ｄ超音波、ライブＸ線画像および３Ｄ超音波画像を、高速解剖学的マッピングの心臓血管処置用にリアルタイムで集約するエコーナビゲータシステム（Echo Navigator system）（オランダ・ロイヤルフィリップスエレクトロニクス社製）等の２つ以上の様式から得られる集約画像、および、あらかじめ入手したＣＴによる３Ｄ画像にわたって心臓の３Ｄ電気マッピングを集約するＣＡＲＴＯ（登録商標）３システム（バイオセンスウェブスター社製）による表示等において、潜在的に有用である。このような各システムにおいて、観察者は、任意選択で、表示３Ｄ画像中において点を動かすことが可能であり、取得モジュールにおいてその位置を変更する。

一機能例として、３Ｄ医用画像中に表示しようとする臓器または医学的器官を選択し、また、その色およびハイライトの種類を選択することが挙げられる。非限定的な例として、この機能は「臓器クロッピング」と称され、ＣＴ画像において脈管系を表示せずに骨を表示するものである。

一機能例として、選択したボリュームまたはオブジェクトまたは医学的器官または医学的臓器の表面積を測定することが挙げられる。任意選択で、選択したオブジェクトの表面を、エッジ検出により自動的に検出する。このような機能は、非限定的な例として、ＣＴおよび３ＤＲＡにおいて、潜在的に有用である。

一機能例として、表示オブジェクトを３Ｄ医用画像にはめ込むことが挙げられ、例えば、非限定的な例として、経カテーテル大動脈弁植え込み術（ＴＡＶＩ）用の弁をはめ込むことが挙げられる。適正にはめ込まれた弁は、潜在的に、ＴＡＶＩ後の弁周囲の漏れを防ぐ。

一機能例として、２つの画像を位置合わせすること、すなわちスーパーインポーズすること（相互位置合わせ）が挙げられる。非限定的な例として、このような機能は、多様な画像を扱うときに、潜在的に役立つ。例えば、前述した非特許文献１および／または前述した非特許文献２に記載されるような、例えば、ＣＴによってあらかじめ得た左心房／電気解剖学的マップ／超音波２ｄまたは３ｄＴＥＥまたはＩＣＥを用いて行う、手続き間３Ｄ−ＲＡによる左心房のＡＦＩＢ位置合わせ等において、半自動式位置合わせを実施する際に有用である。

一機能例として、２次元Ｘ線平面等を、例えばエコーナビゲータシステム（EchoNavigator system）（オランダ・ロイヤルフィリップスエレクトロニクス社製）から得た３次元超音波画像等と相互に位置合わせすることが挙げられる。

一機能例として、仮想弁画像をＣＴ／３ＤＲＡ画像上に移動して、ＴＡＶＩ用の弁配置を評価することによる位置測定（localization）が挙げられる。

３Ｄユーザインタフェースコマンドの一実施形態例−表示されたモデルと相互作用すること
いくつかの実施形態において、表示されている３Ｄシーンまたはオブジェクトは、例えば、医学的器官、エンジン、風洞中の航空機、コンピュータゲーム等の動的システムのコンピュータモデルであり、ユーザは、３Ｄ画像中で手、指、またはツールを動かしてモデルと相互作用し、モデルにおいて動作を生じさせ、３Ｄディスプレイによって当該動作を表示させる。

いくつかの非例示的な例として、次のようなものが挙げられる：
脈管系のモデル内に指を挿入して、３Ｄディスプレイは、任意選択で、血管造影図において造影剤によって血流をハイライトするやり方と同様に、当該脈管系を指の下流に向かって徐々にハイライトすること；
指を脈管系のモデルに挿入することができ、３Ｄディスプレイは、任意選択で、指の指し示す位置で血流が止まったことを示すこと；
指を脈管系のモデルに挿入して、（本明細書の別の箇所で説明したように）血管壁を押すことができ、３Ｄディスプレイは、任意選択で、血流モデルの血管を拡大して示すこと；および
指を脈管系のモデルに挿入して、（本明細書の別の箇所において説明したように押すことにより）指を使って血管壁をつまむ（締め付ける）ことができ、３Ｄディスプレイは、任意選択で、つまんだ血管と共に血流モデルを示すこと、等である。

本明細書のいくつかの実施形態例についてのさらなる説明
ここで図５Ａを参照する。図５Ａは、本発明の一実施形態例の簡略フローチャートである。

図５Ａは、３次元（３Ｄ）ユーザインタフェースを提供する方法を示し、該方法は、
前記３Ｄユーザインタフェースの入力空間内から少なくとも部分的にユーザ入力を受信することであって、前記入力空間は３Ｄシーンの表示空間と対応付けられていることを特徴とする、受信すること（５０１）、
前記ユーザ入力を前記３Ｄシーンに対して評価すること（５０２）、および
前記ユーザ入力に基づき前記３Ｄシーンを変更すること、を含む。

ここで図５Ｂを参照する。図５Ｂは、本発明の一実施形態例の簡略フローチャートである。

図５Ｂは、３Ｄシーンの表示に対するユーザ入力を受信する方法を示し、該方法は、
入力空間中に３Ｄシーンを表示すること（５１１）、
前記表示空間と対応付けられた前記入力空間をモニタして、前記入力空間中の入力オブジェクトの位置を監視すること（５１２）、
入力空間における前記入力オブジェクトの１つ以上の点の位置を測定すること（５１３）、および
入力空間における前記入力オブジェクトの１つ以上の点の前記位置を３Ｄシーンに対するユーザ入力と対応付けること（５１４）、とを含む。

３Ｄユーザインタフェースを使用するいくつかの例
いくつかの実施形態において、３Ｄインタフェースをナチュラルインタフェースとして用いて、医用データおよび画像を閲覧するか、または治療計画を立てる。

非限定的な例として、アブレーション用ロードマップ、すなわち、被験者上の焼灼点（ablation points）の選択は、身体の３Ｄ画像上に焼灼点をマークする３Ｄインタフェースを用いて呈示する。

非限定的な例として、３Ｄシーンにおいて３Ｄオブジェクトの選択、および３Ｄオブジェクトの測定は、当然、３Ｄディスプレイ環境を介して行われる。

本願から発達する特許の継続期間中に、多くの関連する３Ｄディスプレイが開発されるであろうことが予期されるが、３Ｄディスプレイという用語の範囲は、そのような新しい技術をすべて先験的に（a priori）含むことを意図したものである。

本願から発達する特許の継続期間中に、多くの関連するアイトラッキング／観察者トラッキング／オブジェクトトラッキング技術が開発されるであろうことが予期されるが、アイトラッキングおよび観察者トラッキングおよびオブジェクトトラッキングという用語の範囲はそのあらゆる文法形において、そのような新しい技術をすべて先験的に（a priori）含むことを意図したものである。

本明細書において使用する用語「約（about）」は、±１０％を示す。

用語「含む（comprising）」、「含む（including）」、「有する（having）」およびその活用形は、「含むが、それに限定されない」ということを意味する。

用語「からなる（consisting of）」は、「含み、それに限定される」を意味することを意図したものである。

用語「実質的に成る（consisting essentially of）」は、その組成、方法、または構造が、追加の成分、ステップ、および／またはコンポーネントを含みうるが、当該追加の成分、ステップ、および／またはコンポーネントが請求の範囲に記載した組成、方法、または構造を物質的に変更しない限りにおいて、含みうることを意味する。

本明細書において使用する、単数形（冠詞）の「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈により別途規定されてない場合には、複数形にも言及するものである。例えば、用語「ユニット」または「少なくとも１つのユニット」は、複数のユニットおよびその組み合わせを含みうる。

本明細書において使用する語「例（example）」および「例示的な（exemplary）」は、「例、例証（instance）、または説明（illustration）として機能すること」を意味する。実施形態「例（example）」または「例示的な（exemplary）」実施例と記載された実施形態は、いずれも、その他の実施形態よりも好ましいまたは有利なものと解釈されるものではなく、および／またはその他の実施形態からの特徴点を組み込むことを除外するものではない。

本明細書において使用する語「任意選択で（optionally）」は、「いくつかの実施形態においては設けるが、他の実施形態においては設けない」ことを意味する。本発明の特定の実施形態は、いずれも、「任意選択の」特徴点を、その各特徴点が相反しない限りにおいて、備えることができる。

本願全体を通して、本発明の種々の実施形態を、範囲表示形式において（in a range format）、提示されることがあるが、範囲表示形式による記載は、単に便宜と簡潔さのためのものである理解されるべきであり、本発明の範囲を不動の制約として解釈されるべきではない。したがって、範囲の記載は、可能な部分範囲のすべて、およびその範囲内にある各数値を具体的に開示したと考慮されるべきである。例えば、１から６までの範囲が記載されている場合には、１から３、１から４、１から５、２から４、２から６、３から６等という部分範囲、および、この範囲内にある各数字、例えば１、２、３、４、５、および６を具体的に開示したとみなされるべきである。このことは、範囲の幅に関係なく適用される。

本明細書において、数値範囲を表示するときはいつも、表示した範囲内に引用した任意の数値(分数または整数)を含むことを意味する。第１の呈示数値（indicate number）と第２の呈示数値と「の間におよぶ／変動する（ranging/ranges between）」という句、および、第１の呈示数値（indicate number）「から」第２の呈示数値「まで」「およぶ／変動する（ranging/ranges from）」という句は、本明細書において、交換可能に使用され、第１の呈示数値および第２の呈示数値、およびその間のすべての分数または整数を指すことを意図したものである。

本発明の特定の特徴は、明確にするために、別々の実施形態の文脈において説明したが、単一の実施形態において組み合わせて設けてもよいことが理解されよう。逆に、本発明の種々の特徴点は、簡潔さのため、単一の実施形態の文脈で説明したが、別々に、または任意の適切な部分組み合わせ（sub combination）として、または本明細書に記載した本発明の他のいかなる実施形態において適用可能なように設けてもよい。種々の実施形態の文脈において説明した特定の特徴点は、これらの特徴点なしに実施不能でない限り、各実施形態の本質的特徴と考えるべきものではない。

本発明をその特定の実施形態とともに説明したが、当業者にとって幾多の代替物、変更、および変形がはっきりと理解されるであろうことは明白である。したがって、そのような代替物、変更、および変形はすべて、添付の請求項に規定する趣旨および幅広い範囲に含まれることを意図したものである。

本明細書において言及した刊行物、特許、および特許出願は、個々の刊行物、特許、または特許出願を参照により本明細書に組み込むことを明確かつ個別に示されたのと同様な方法、程度で、ここにその全体を参照により本明細書に組み込む。さらに、本願におけるいかなる参照文献の引用または認定は、そのような参照文献が本発明の先行技術として利用可能であることを認めるものであるとみなすべきではない。セクション見出しを使用する点について、必ずしも限定とみなすべきではない。

Claims (51)

1. ３次元（３Ｄ）ユーザインタフェースを提供する方法であって、
   前記３Ｄユーザインタフェースの入力空間であって、３Ｄシーンの表示空間と対応している入力空間内から、少なくとも部分的に、ユーザ入力を受け取ること、
   前記３Ｄシーンを基準として前記ユーザ入力を評価すること、および
   前記３Ｄシーンを前記ユーザ入力に基づき変更すること、
   を含む、方法。
2. 前記入力空間は前記表示空間内に含まれている、請求項１に記載の方法。
3. 前記入力空間は、前記表示空間と重なり合い、かつ範囲が同等である、請求項１に記載の方法。
4. 前記３Ｄシーンはホログラフィにより作成する、請求項１に記載の方法。
5. 前記３Ｄシーンはコンピュータ生成ホログラフィにより作成する、請求項１に記載の方法。
6. 前記ユーザ入力は、前記ユーザが入力オブジェクトを前記入力空間内に置くことを含む、請求項１に記載の方法。
7. 前記入力オブジェクトは前記ユーザの手を含む、請求項６に記載の方法。
8. 前記ユーザ入力は、前記ユーザが前記手で形成する形状を含む、請求項７に記載の方法。
9. 前記ユーザ入力はハンドジェスチャを含む、請求項７に記載の方法。
10. 前記ユーザ入力は、入力オブジェクトの先端を前記入力空間内における一の位置に置くことにより、入力空間における位置に対応する位置を表示空間において選択することを含む、請求項６に記載の方法。
11. 前記ユーザ入力は、前記入力オブジェクトの先端を入力空間内の複数の位置にわたって動かすことにより、該入力空間における前記複数の位置に対応する複数の位置を表示空間において選択することを含み、さらに、入力空間における前記複数の位置のそれぞれ一つずつに選択コマンドを付加することを含む、請求項１０に記載の方法。
12. 前記入力オブジェクトは複数の選択点を含み、
    前記ユーザ入力は、入力オブジェクトの前記複数の選択点を入力空間内の複数の位置に置くことにより、該入力空間における該複数の位置に対応する複数の位置を表示空間において選択することを含む、請求項６に記載の方法。
13. 表示空間における前記選択された複数の位置で包囲したボリューム内に含まれるオブジェクトを表示空間において選択することをさらに含む、請求項１１に記載の方法。
14. 表示空間における位置の表示を視覚的に変更して、選択した位置を表示空間に表示することをさらに含む、請求項１０に記載の方法。
15. 入力空間において選択された位置に対応する位置を含む表示空間においてオブジェクトを選択することをさらに含む、請求項１０に記載の方法。
16. 前記入力オブジェクトは長尺の入力オブジェクトを含み、前記入力オブジェクトの長軸は、前記長軸を通り前記入力空間内に延在する線を画定すると解釈される、請求項６に記載の方法。
17. 前記ユーザ入力は、表示空間に表示したオブジェクトの表面と前記線がどこで交差するかを判断することによって、表示空間における位置に対応する位置を入力空間において選択することを含む、請求項１６に記載の方法。
18. 表示オブジェクトの表面と前記線が表示空間において交差する位置の表示を表示空間において視覚的に変更して、表示空間において選択した位置を表示することをさらに含む、請求項１７に記載の方法。
19. 前記ユーザ入力は、前記線を用いて、回転コマンドを示すユーザ入力について回転軸を特定することを含む、請求項１６に記載の方法。
20. 前記ユーザ入力は、表示空間において２つの点の選択することを利用して表示空間における回転軸を特定することを含む、請求項１２に記載の方法。
21. 前記ユーザが前記入力オブジェクトを回転すること、および、前記入力オブジェクトの回転角に対応付けた角度で前記３Ｄシーンを回転することをさらに含む、請求項１９に記載の方法。
22. 表示空間における前記表示オブジェクトの位置に対応する、入力空間における位置に前記入力オブジェクトが移動する場合、表示空間における表示オブジェクトを表示空間において移動する、請求項６に記載の方法。
23. 前記入力オブジェクト上の点が、表示空間における前記表示オブジェクトの位置に対応する位置であって、入力空間における位置に到達すると、前記入力オブジェクト上の前記点の移動速度を測定し、前記点における前記入力オブジェクトの表面に垂直なベクトルの方向を計算する、請求項６に記載の方法。
24. 前記入力オブジェクト上の点が、表示空間における前記表示オブジェクトの位置に対応する位置であって、入力空間における位置に到達すると、前記表示オブジェクト上の前記点の移動速度を測定し、前記点における前記表示オブジェクトの表面に垂直なベクトルの方向を計算する、請求項６に記載の方法。
25. 前記表示オブジェクトは、前記表示オブジェクト上の前記点において、前記入力オブジェクト上の前記点の前記測定した速度で、前記ベクトルの方向に、前記入力オブジェクトによってあたかも打たれたかのように移動して表示される、請求項２３および２４のいずれか一項に記載の方法。
26. 表示空間における表示オブジェクトの表面上の複数の位置を選択することは、前記表示オブジェクトを把持するユーザ入力を含む、請求項１２に記載の方法。
27. 表示オブジェクトを表示空間において把持することにより、前記ユーザインタフェースによって表示空間中の前記表示オブジェクトを見つけ、前記入力オブジェクトの前記複数の選択点における表示オブジェクトの前記表面上の前記複数の位置を追跡する、請求項２６に記載の方法。
28. ３Ｄ表示空間に表示された３Ｄオブジェクトのボリュームを通って前記入力オブジェクトを移動させることにより、前記３Ｄオブジェクトの形状を変更すること、および前記３Ｄオブジェクトにおいて前記ボリュームを前記３Ｄオブジェクトからマイナスして表示すること、をさらに含む、請求項１に記載の方法。
29. ３Ｄ表示空間に表示された３Ｄオブジェクトのボリュームの少なくとも一部分を通過して前記入力オブジェクトを移動させること、およびボリュームの前記一部分を前記３Ｄオブジェクトからマイナスして表示すること、をさらに含む、請求項２８に記載の方法。
30. 前記３Ｄオブジェクトを表示することは、前記入力オブジェクトの有効領域（active region）が通ったボリュームの一部分のみを前記３Ｄオブジェクトからマイナスして表示することを含む、請求項２９に記載の方法。
31. 前記入力オブジェクトを前記入力ボリュームの少なくとも一部分に通過させること、および、前記入力ボリュームの前記一部分に対応する、表示空間に表示したオブジェクトを前記３Ｄシーンにプラスして表示することをさらに含む、請求項２８に記載の方法。
32. 前記３Ｄオブジェクトを表示することは、前記入力オブジェクトの有効領域が通過したボリュームの一部分のみを前記３Ｄオブジェクトにプラスして表示することを含む、請求項３１に記載の方法。
33. ３Ｄオブジェクトについての明細を３Ｄプリンタに送信することをさらに含む、請求項２８に記載の方法。
34. 前記ユーザ入力は、さらに、入力空間において指を追跡することにより、前記指を鳴らすことを検出することを含む、請求項１に記載の方法。
35. 前記ユーザ入力は、さらに、
    ボイスコマンド、
    頭部運動、
    マウスクリック、
    キーボード入力、および
    ボタン押下、
    からなる群から選択した少なくとも１つの追加のユーザ入力を含む、請求項１に記載の方法。
36. 前記選択した複数の位置を通過するパスに沿った距離を表示空間において測定することをさらに含む、請求項１１に記載の方法。
37. 表示空間における前記複数の選択した位置は、表示空間における３Ｄオブジェクトの表面上にあり、表示空間において、前記複数の選択した点で包囲した前記３Ｄオブジェクトの前記表面上のエリアを測定することをさらに含む、請求項１１に記載の方法。
38. 前記選択したオブジェクトのボリュームを測定することをさらに含む、請求項１３および１５のいずれか一項に記載の方法。
39. 第１の画像における複数の点および第２の３Ｄ画像における複数の点を選択すること、および第１の画像および第２の３Ｄ画像を位置合わせすること、をさらに含む、請求項１に記載の方法。
40. 第１の画像は２Ｄ画像である、請求項３９に記載の方法。
41. 第１の画像は３Ｄ画像である、請求項３９に記載の方法。
42. 少なくとも、前記選択した複数の点が表示空間において実質的に一致するように、第１の画像および第２の３Ｄ画像を表示することをさらに含む、請求項３９に記載の方法。
43. ３Ｄ表示空間に３Ｄシーンを表示するユニットと、
    ３Ｄ入力空間における入力オブジェクトの３Ｄ座標を追跡するユニットと、
    コンピュータと、を備え、
    該コンピュータは、
    前記３Ｄ入力空間における前記入力オブジェクトの前記座標を受信し、
    前記３Ｄ入力空間における前記入力オブジェクトの前記座標をユーザ入力に変換し、および
    前記ユーザ入力に基づいて、前記３Ｄシーンの前記表示を変更する、
    ３次元（３Ｄ）ユーザインタフェースを提供するシステム。
44. 前記入力空間は、前記表示空間と重なり合い、かつ範囲が同等である、請求項４３に記載のシステム。
45. ３Ｄ（３次元）ディスプレイに入力を提供する方法であって、
    入力オブジェクトを、前記３Ｄディスプレイのボリュームを有する入力空間に挿入すること、
    前記入力空間内において前記入力オブジェクトの位置を追跡すること、
    前記追跡することに基づいて、前記３Ｄディスプレイにより表示された３Ｄシーンを変更すること、を含む方法において、
    前記位置を追跡することは、ジェスチャを解釈することを含む、方法。
46. 入力オブジェクトは手であり、ジェスチャは、前記３Ｄディスプレイにより表示されたオブジェクトの表面上の一の位置に指を置くことを含む、請求項４５に記載の方法。
47. 入力オブジェクトは手であり、ジェスチャは、前記３Ｄディスプレイにより表示されたオブジェクトの表面上の同じ位置に、前記手の複数の指をそろえて置くことを含む、請求項４５に記載の方法。
48. 入力オブジェクトは手であり、ジェスチャは、前記手の３本の指を３Ｄ入力空間における略垂直な３本の軸の形状とすること、および前記略垂直な３本の軸のうちの１本を中心に前記手を回転させることを含む、請求項４５に記載の方法。
49. 入力オブジェクトは手であり、ジェスチャは、前記３Ｄディスプレイにより表示されたオブジェクトの表面上の異なる位置に、前記手の複数の指を置くことを含む、請求項４５に記載の方法。
50. 前記３Ｄシーンを変更することは、前記入力オブジェクトの前記位置の移動に伴って移動する位置において前記３Ｄシーンを変更することを含む、請求項４５に記載の方法。
51. 前記３Ｄシーンはコンピュータ化モデルを含み、
    前記３Ｄシーンを変更することは、
    前記入力オブジェクトの前記位置に少なくとも部分的に基づいて、前記モデルについてパラメータを設定すること、
    前記パラメータに少なくとも部分的に基づいて、前記モデルを表示すること、を含む、
    請求項４５に記載の方法。

Images