JP2005527872A - ３次元コンピュータモデルと相互作用するための方法および装置 - Google Patents

Abstract

３次元コンピュータモデルと相互作用するためのシステムである。このシステムはワークスペース内にモデルを表示する。システムの処理装置が、（ｉ）表示されたモデルと交差する仮想平面、および（ｉｉ）仮想平面と表面との間の対応を規定する。ユーザは、該表面にツールを配置して、その表面上の一点を選択し、仮想平面上の対応する位置が、モデル内の位置を規定し、ここでモデルへの変更が行なわれる。ユーザが表面上でツールを動かすので、ツールの位置決めはより正確である。特に、ユーザがツール上の制御装置（例えばボタン）を操作する場合、ツールがその所望の位置から揺れ動く傾向は低くなる。

Description

本発明は、３次元コンピュータモデルと相互作用するための方法および装置に関する。

３次元モデルを表示する１つの既存の技術として、デキストロスコープ（Dextroscope）があり、該デキストロスコープは、視覚化のために単一人により使用される。デキストロスコープの変形として、聴衆、および、さらに多くの視聴者に対するプレゼンテーションで使用するデキストロビーム（Dextrobeam）がある。デキストロスコープの技術は、高解像度で立体仮想イメージをユーザの前に表示できる。

デキストロスコープのソフトウェアは、入力がユーザのデバイスから読み取られ、それに対応して操作がなされるメインループを有するアルゴリズムを使用する。該ソフトウェアは、仮想「オブジェクト」が集結した「仮想世界」を作成する。ユーザは、一式の入力装置を自分の手で制御し、デキストロスコープはこれらの入力装置が仮想「ツール」に対応するように操作することにより、オブジェクトと相互作用が可能となる。例えば、オブジェクトが仮想的な生体組織である場合、ツールは該生体組織を切断しうる仮想のメスとなりうる。

デキストロスコープの動作には、以下の３つの主要なステージがある。

（１）初期化：システムが準備される。アップデートのエンドレスループが続く。（２）アップデート：すべての入力装置からの入力がなされ、オブジェクトがアップデートされる。（３）ディスプレイ：仮想世界においてアップデートされた各オブジェクトが順に表示される。

アップデートステージにおけるメインタスクは以下のとおりである。

・システムに接続されているすべての入力装置を読み取る。

・仮想世界内のオブジェクトに、仮想ツールがどのように関連しているのかを確かめる。

・前記ツールのプログラミングされた機能に従ってオブジェクトに作用する。

・すべてのオブジェクトをアップデートする。

ユーザによって制御されるツールには、４つの状態、つまり「チェック」、「スタート・アクション」、「ドゥー・アクション」および「エンド・アクション」がある。ツールの動作をプログラミングするために、該４つの状態に対応するコールバック機能が備えられる。

「チェック」は、ツールがパッシブで、どのオブジェクトにも作用しない状態である。スタイラス（スイッチ付きの３次元入力装置）の場合、これは「ボタンが押されていない」状態に相当する。ツールはこの時間を使用して、例えばオブジェクトに触れているかどうかなど、オブジェクトに関する位置をチェックする。

「スタート・アクション」は、パッシブからアクティブへのツールの移行状態であり、その結果、該ツールは任意のオブジェクトに作用できる。スタイラスの場合、これは「ちょうどボタンが押された」状態に相当する。これにより、例えば「描画開始」などのツールの動作の開始がマークされる。

「ドゥー・アクション」は、ツールがアクティブに保たれている状態である。スタイラスの場合、これは「ボタンがいまだに押されている」状態に相当する。これは、ツールが例えば「描画」などの動作をまだ実行していることを示す。

「エンド・アクション」は、アクティブからパッシブへのツールの移行状態である。スタイラスの場合、これは「ちょうどボタンが離された」状態に相当する。これにより、例えば「描画の停止」などのツールの動作の終了がマークされる。

ツールは、通常、その先端がオブジェクト座標の（０，０，０）に位置し、それが正のＺ軸方向を指すようにモデル化される。ツールのサイズは約１０ｃｍ程度がよい。ツールには、パッシブ形状とアクティブ形状があり、それがどの状態にいるのかに関して視覚的な手掛かりが与えられる。パッシブ形状はツールがパッシブであるときの形状であり、アクティブ形状はツールがアクティブであるときの形状である。ツールには、デフォルトのパッシブ形状とアクティブ形状がある。

ツールは、それがオブジェクトに近接しているときに、それらに作用する。ツールがオブジェクトをピッキングしたといわれる。

一般的に、ツールは、その先端がオブジェクトのバウンディングボックスの内側にある場合に、オブジェクトの「中」にあるとされる。代替的に、プログラマは、拡大されたバウンディングボックスを規定し、それぞれの方向で選択されたマージン（「ゆとり」）でオブジェクトを取り囲むようにして、ツールの先端が拡大バウンディングボックスに入ると、ツールがオブジェクトの「中」にあると、ソフトウェアが認識するように設定してもよい。拡大バウンディングボックスは、ピッキングを容易にする。例えば、（仮想世界のではなく、現実世界の座標系で）２ｍｍにゆとりを設定すると、ツールは、それがオブジェクトの近接の２ｍｍ内にある場合には、オブジェクトをピッキングする。デフォルトのゆとりは０である。

デキストロスコープは非常に成功してきたが、ユーザが３次元でツールを正確に操作することに困難を感じることがあるという短所を免れない。特に、ボタンを押したときに、ツールが揺れ動くことがある。これにより、様々な種類の位置決め誤差が生じうる。

本発明は、３次元のコンピュータ生成モデルと効率的に相互作用する、新規かつ有用な方法を提供することを目的とする。

概して、本発明は、モデル表示システムの処理装置が、（ｉ）表示されたモデルと交差する仮想平面、および（ｉｉ）仮想平面と表面との間の対応を規定することを提案する。ユーザは、該表面にツールを配置して、その表面上の一点を選択し、仮想平面上の対応する位置が、モデル内の位置であり、ここでモデルへの変更が行なわれる。ユーザが表面上でツールを動かすので、ツールの位置決めはより正確である。特に、ユーザがツール上の制御装置（例えばボタン）を操作する場合、ツールがその所望の位置から揺れ動く傾向は低くなる。

特に、本発明は、ユーザが３次元コンピュータモデルと相互作用することを可能にするためのコンピュータ実行型の方法であって、
モデルと、モデルの部分と現実世界のワークスペースのそれぞれの部分との間の幾何学的対応を規定するマッピングと、および、ワークスペース内で仮想平面を規定するデータとを記憶し、かつ、
モデルの少なくとも一部分の画像を生成するステップと、
固体表面上の入力装置の位置を決定するステップと、
仮想平面上の対応する位置を決定するステップと、
マッピングに基づき、仮想平面上の決定された位置に対応するモデルの部分を修正するステップと、
からなる一連のステップを繰返し実行する、
ことを含む方法を提案する。

さらに、本発明は、ユーザが３次元コンピュータモデルと相互作用することを可能にするための装置であって、
モデルと、モデルの部分と現実世界のワークスペースのそれぞれの部分との間の幾何学的対応を規定するマッピングと、および、ワークスペース内で仮想平面を定義するデータとを格納するための処理装置と、
処理装置によって制御され、モデルの少なくとも一部分の画像を生成するための表示手段と、
固体表面で作動する入力装置と、
該表面における入力装置の位置を決定するための位置センサと、
を含み、
前記処理装置が、前記表面における決定された位置を使用して、仮想平面上の対応する位置を決定し、かつ、マッピングに基づき、仮想平面上の位置に対応するモデルの部分を修正するように構成されている、
装置を提供する。

前記処理装置は、前記表面の位置からユーザの目を表わす位置まで伸長する仮想線（「仮想視線」）を定義し、かつ、仮想平面上の対応する位置を、前記線と仮想平面の交点として決定することによって、仮想平面上の対応する位置を決定することができる。

例えば、特にデキストロスコープシステムに適した本発明の一形態では、ユーザの目を表わす位置（３Ｄ位置および向き）は、公知の位置追跡技術を使用してコンピュータに示されるユーザの目の実際の位置、または、ユーザの目の想定位置（例えば、ユーザの頭が既知の位置にあるときに、ユーザが装置を使用するように指示される場合）である。この場合、表示手段はマッピングによって与えられるワークスペースの見かけの位置にモデルを表示することが好ましい。

代替的に、例えばデキストロビームシステム用に特に適した本発明の一形態では、目（「仮想目」）の位置は、通常、目の実際の位置と一致しない。代わりに、マッピングに基づき、仮想目、表面、ツール、仮想平面、およびモデルの位置を含むワークスペースの第一領域を考慮すればよい。この第一領域は、実際の目を含む第二領域との関係（第二マッピング）を持つ。第二領域における実際の目の位置（３Ｄ位置および向き）は、第二マッピングに基づき、第一領域の仮想目の位置に対応する。同様に、第二領域におけるモデルの画像の見かけの位置は、第二マッピングに基づき、第一マッピングによる第一領域のモデルの位置に対応する。

本発明は、モデルへ修正を加えることにも適用可能である。例えば、これらの修正は、仮想線と面の交差によって特定されるポイントでモデルにデータを加えることによるモデルの補足（例えば、モデル上に輪郭を描くこと）により可能である。代替的に、修正は、モデルからデータを除去することによっても可能である。さらに、該修正は、処理装置内でモデルのラベリングを変更することだけでも可能であり、該ラベリングの変更により、処理装置がモデルを表示する方法が変更される。例えば、ユーザは、本発明によりモデルのセクションごとに異なる色を施して表示したり、全く表示しないようにすることができる。

仮想平面は、ユーザに表示されなくてもよい。さらに、ユーザはツールを見ることができなくてもよく、また、ツールを表わす仮想ツールは表示してもしなくてもよい。

以下、図面を参照しながら、本発明の実施形態について詳しく説明するが、本発明は本実施形態に限られない。

図１および２は、本発明の実施形態を示す二つの図である。図２は、図１の一方の側面の方向から見た図である。該実施形態の構成の多くの特徴は、公知のデキストロスコープシステムと同じである。しかし、実施形態は、ユーザが、ツール（スタイラス）１の先端を表面３（通常、机の天板または傾斜面）に当てながら、ツール１を動かすことによって、３次元モデルと相互作用することを可能にする。ツール１の先端の位置は、公知の位置追跡技術を用いてモニタされ、ワイヤ２によってコンピュータ（図示せず）に送信される。

ユーザの目の位置を表わす位置が５で示される。これは、公知の位置追跡技術を用いてコンピュータに示されるユーザの目の実際の位置でもよく、または、例えば、ユーザの頭が既知の位置にあるときに、ユーザが装置を使用するように指示される場合には、ユーザの目の想定位置でもよい。

コンピュータは、３次元コンピュータモデルを記憶しており、従来の方法に従って、コンピュータモデルを使用してワークスペース内に表示（例えば、立体表示）を生成する。マッピングによって与えられたワークスペース内の見かけの位置に、モデルの少なくとも一部分が示される。ユーザは、例えば公知の技術に従って、マッピング、または表示されるモデルの部分を変更できるようにしてもよい。簡明化のために、この表示は図１および２では図示しない。モデルは、ラベリングを含むことができ、モデルの特定部分を所定の方法で表示したり、あるいは全く表示しないことを指示することができる。

コンピュータは、さらに、境界（図７では矩形として示される）を有する仮想平面７を定義するデータ（平面方程式）を記憶する。仮想平面は表面３と対応しており、仮想平面７上の各点は、表面３とツール１との間の可能な接点に対応する。表面３とツール１との間の接点、および点Ｐ、ならびに位置５は全て単一の線上、すなわちＶで示される点５から点Ｐまでの視線上にあるのが好ましい。

点Ｐは、マッピングに基づき、３次元モデル上の点に対応する。コンピュータは、該モデルの点を登録し、該モデルの点を選択的に変更することができる。例えば、その点に関連付けられたデータによりモデルを補足することができる。ユーザは、２次元表面３上で、３次元で作業することに注目されたい。

例えば、該実施形態を使用して３次元モデルの輪郭を編集する場合、コンピュータはスタイラスが底面を超えてモデル上の位置Ｐまで移動するように、スタイラスの位置をマッピングする。ツールが表面３の多数の点９の各々の位置にあるときに行なわれるユーザの動作（例えば、ツールのボタン４をクリックするか、あるいは、ツールまたは表面内のセンサなど圧力センサによって測定されるしきい値を超す力で表面３を押す）は、モデルに対応するノード１１を生じ、それらが結合されて編集輪郭線を形成する。該実施形態は、３Ｄ空間で編集するときに、ノード上で確実にクリックすることを可能にする。

ツール１の動作は、他の点では、上述した公知のツールの動作と類似しており、ツールは上述した四つの状態で動作することができる。本発明の投影が適用される状態は、チェックおよびドゥー・アクション状態である。

これらの状態で、コンピュータは次の四つのステップを実行する。

−仮想平面７について平面方程式を計算して格納する。

−ユーザの目の位置からツールの先端までのベクトルＶを計算して格納する。

−Ｖと仮想平面７の交点Ｐを計算して格納する。

−Ｐが輪郭面７の境界の外側にあるかどうかを決定する。そうである場合には、Ｐは無効な投影点である。そうでなければ、点Ｐは有効である。

システムが上述した公知のシステムの四つの状態を持つ場合、投影技術はチェックおよびドゥー・アクション状態で使用される。

ユーザが仮想平面７を選択できる様々な方法がある。ワークスペース内で平面を選択する方法は、当業界で公知である。代替的に、（ツール１のような）指示ツールを使用して、仮想平面をワークスペースに及ぼさせることによって、仮想平面を選択するようにしてもよい。

当該実施形態の動作中に、ユーザはツール１も自分の手も見ない。本発明の一形態では、実施形態のグラフィックスシステムが、ツール１のグラフィック表現を生成することができる。例えば、ツール１を仮想平面上の対応する位置に、ペンまたは外科用メスなどの仮想ツールとして表示してもよい。しかし、ユーザは仮想ツールを見ず、モデルおよび実行された特定のアプリケーションの結果、たとえば輪郭編集アプリケーションで描画された輪郭だけを見る方がより好適である。これが好適であるのは、第一に、モデルがほとんどの時間仮想ツールを目立たなくするからであり、第二に、行なわれるジョブが、仮想ツールの３Ｄ位置ではなく、投影点およびモデルの位置に関係するためである。例えば、実施形態が一片の骨のコンピュータモデルを表示するために使用され、ツール１の動きが骨片を切断するレーザメスの動きに対応する場合、ユーザはレーザツールを表面３に当てて安定して保持し、骨におけるレーザ光線の効果だけを見るようにする。

図１および２は、デキストロビームの場合の実施形態をも正しく説明するが、この場合、位置５は実際の目の位置ではない。代わりに、位置５は予め定められた「仮想目」であり、図１および２に示されるものは、仮想目を含む第一領域、仮想平面７、表面３、およびツール１である。第一領域は、実際の目を含む第二領域と１対１の関係（第二マッピング）を持つ。モデルは、第二領域の見かけの位置でユーザに表示されることが好ましく、この場合、実際の目とモデルとの関係は、図１および２に示した第一領域における第一マッピングに基づく、位置５とモデルの位置との間の関係に等しくなる。

本発明の実施形態を示す図面である。 図１の実施形態を示す別の図面である。

Claims (9)

1. ユーザが３次元コンピュータモデルと相互作用することを可能とするコンピュータにより実行される方法であって、
   モデルと、前記モデルの部分とこれに対応する現実世界のワークスペースの部分の間の幾何学的対応を規定するマッピングと、該ワークスペース内の仮想平面を規定するデータを記憶し、
   少なくとも前記モデルの一部の画像を生成し、固体表面上の入力装置の位置を決定し、前記仮想平面上の対応する位置を決定し、前記マッピングに基づき、前記仮想平面上の決定された位置に対応するモデルの部分を修正することからなる一連のステップを繰返し実行する、
   ことを含む方法。
2. 前記固体表面上の決定された位置および仮想平面上の決定された位置の両方が、さらに前記ユーザの目を表す位置をさらに含むライン上に位置する請求項１に記載の方法。
3. ユーザが、前記表面上の複数の孤立点を指し示すための入力装置を作動させることにより、前記モデルの対応する点を指し示すことができる請求項１または２に記載の方法。
4. 前記入力装置が操作ボタンを含み、前記作動に該ボタンを操作することを含む請求項３に記載の方法。
5. 前記画像が立体画像である請求項１〜４のいずれかに記載の方法。
6. ユーザが３次元コンピュータモデルと相互作用することを可能とする装置であって、
   モデルと、前記モデルの部分とこれに対応する現実世界のワークスペースの部分の間の幾何学的対応を規定するマッピングと、該ワークスペース内の仮想平面を規定するデータを記憶するための処理装置、
   該処理装置により制御され、前記モデルの少なくとも一部の画像を生成するための表示装置、
   固体表面上で作動するための入力装置、
   前記表面上における入力装置の位置を決定するための位置センサ、
   を含み、
   前記処理装置が、前記表面上において決定された位置を使用して、前記仮想平面上の対応位置を決定し、前記マッピングに基づき、該仮想平面上の位置に対応するモデルの部分を修正するように、構成されていることを特徴とする装置。
7. 前記処理装置が、(i)前記表面上の位置からユーザの目を表す位置まで伸長する視線を規定し、(ii)前記視線と仮想平面の交点として、前記仮想平面上の対応位置を決定することにより、前記仮想平面上の対応位置を決定するように構成されている請求項６に記載の装置。
8. 前記入力装置が、ユーザにより実行された制御動作に応答する制御装置でもある請求項６または７に記載の装置。
9. 前記表示手段が立体画像を生成する請求項６〜８のいずれかに記載の装置。

Images