JP2006513503A - 三次元表示における複数箇所を管理する装置及び方法 - Google Patents

Abstract

三次元ディスプレイにおける三次元データ表示装置及び方法が提供される。本発明の実施例において、該方法は、全体モードと局部モードとでデータを表示することを含む。全体モードでは、局部マーカが設定され操作される。局部モードでは、局部マーカを囲むデータには、種々の表示パラメータが使用される。本発明の実施例において、データを表示する前記モードは、ユーザにより選択される。本発明の好適実施例において、前記方法は再帰的に実行され、局部モードでは、サブ局部マーカが設定され操作され、データがサブ局部モードで表示され得て、あるサブ局部マーカを囲むデータは表示パラメータを使用され得て、その表示パラメータは、全体表示モード及び局部表示モードの表示パラメータのいずれとも相違し得る。

Description

本発明は、三次元コンピュータモデルの対話式表示の分野に関係して、そこでは、対象物が表示され、ユーザ対象物について対話式表示を実施する。より詳しくは、本発明は、そのような表示における複数詳細画面の管理に関係する。

他の出願との関係
この出願は、米国特許仮出願第60/505,345号、60/505,346号、 60/505,344号の優先権を主張する。それらの仮出願は、２００２年１１月２９日の出願日であり、全て譲受人は同じである。

この出願は、“三次元表示におけるスケーリング方法及び装置”（“ズームスライダ”と呼ばれ、発明者はルイス・セーラであり、出願日は２００３年１２月１日）に関連し、それを参考資料としてここに引用する。この明細書では、この参考資料を“ズームスライダ”出願として言及する。

三次元モデルは、モデル空間にて、空間座標（ｕ、ｖ、ｗ）に対応するデータセットであり、値が陰影付処理によりユーザに表示され、表示される色又は他の知覚特質が、ユーザ対応箇所で提示される。典型的には、ユーザ意図により選択される表示座標（ｘ、ｙ、ｚ）に対して、モデル空間は対応する位置を有していて、しばしば、次のマトリックス関数で特定される。

又は、略して、ｘ＝Ａu、時には、マトリックス表示可能なものではなく、非線型変換が使用される。一般的に、ユーザ用インタフェイスを使用して、関係式Ａを変化させる多くの方法を提供する。それにより、ユーザは、一つ又は複数の表示モデルを回転し、湾曲させ、又は変形することができる。モデルは、走査密度のグリッドから成り、又は、他の値から成る。その値は、例えば、コンピュータによる撮影（ＣＴ）又は磁気共鳴（ＭＲ）走査、起振記録、又は、空間において等間隔グリッドに番号をつけたデータである多くの他の資料から得られる。又は、そのモデルは、線、多角形、代数式、解析面等で、幾何学形に表され（その幾何学形は、オブジェクト座標（ｑ、ｒ、ｓ）で、そのモデル空間内位置は、別の変換、例えば、ｕ＝Ｂｑで表される）、ポイントにより変わる量的特性と共に表示される（そのような用途では、その特性は、例えば、色や透明度データからなり又は表現される）。そのような全ての場合に、陰影付処理は、モデルデータを使用し、明るさ・透明度・色を変えて重要値範囲等を区別して、明らかな三次元イメージを造り、大抵立体状にする（ユーザの二つの目は少し違った景色をみているので、それに合わせて一つ又は複数の手段を使用して、ユーザの視覚に深度感を持たせる）。

そのようなモデルの対話式表示では、モデル空間で、ユーザは、特に小さい詳細領域に注意しなければならない。そこで、一つ又は複数のモデルが表示されて、重要な特徴を示す。その詳細領域は、しばしば、より大きい倍率で（例えば、“ズームスライダ”出願に記載された技術を使用して）、より高解像度で、又は他の様態に表示される。これは、モデル全体に使用するとシステム容量を消耗し過ぎる。例えば、全体モデルを拡大すると、モデルの一部がディスプレイウィンドウを超えて動いたり、全体を表示するには余計な表示域が必要となり、又は、データをより短い間隔でサンプリングする必要があったり、反偽信号、散乱光による陰影付処理等で、視点の円滑な回転等に必要とするよりも表示画像を変えるのにより大きい演算時間が必要となる。

特に、モデルが立体走査データを含む場合には、詳細領域を選択するのは、手間がかかる。特別な表示ソフトウェア又はユーザが一般的には詳細領域を標準化しても良いが、各特別領域の有効表示位置はデータセットで変わる。例えば、別の脳では別の位置にある腫瘍のケースでは、ユーザの関心は、例えば、骨の破壊に伴なう脈管の解剖図である。ユーザは、中心位置、又は、他の便宜的基点を選択しなければならない。更に、立体表示システムでは、特に立体データで普通であるように、どの深度にどの部分があるか、ユーザが受ける深度の精度は限られる。又、ある領域では、透明でも、不透明でもなく、半透明にされる。特定の重要点を選択するために、表示を切り取って不明瞭データを除いて、明瞭な部分を回転して、より明らかな画像を得たり、他の手間のかかる操作が必要である。十分な対話式三次元表示環境では、ディスプレイ内の選択点を移動することは、比較的容易である（単に、その点を、任意の方向に、表示ペンでドラッグ・アンド・ドロップして、手に持った物理的器具に応答するように動かす）。マウスとマウスパッドによるインタフェイスで、モデルの一点を単に移動するだけでも、複数ステップ処理が必要である。そのような二次元インタフェイスの普通の解法では、（ａ）ユーザに主ウィンドウを提供し、そこでは選択方向から見た斜視図（普通は平行軸のない）を示して、最も見やすい画像を提供し、そして、（ｂ）補助ウィンドウが（ｘ、ｙ）、（ｘ、ｚ）、及び／又は（ｙ、ｚ）方向から各々平行な図を示す。補助画像の一つにカーソルを移動すると、ユーザ入力（例えば、マウス、トラックボール、又は他の空間の相対的動きに基づく入力手段により提供される）により、ユーザは対象物又は三次元のカーソルの動きを、補助ウィンドウ及び主ウィンドウ内で見ることができる。

ディスプレイ空間の任意位置（ｘ、ｙ、ｚ）を調節することは、それらのウィンドウで複数の連続した操作が必要であり、一方、主ウィンドウで、目的対象をより鮮明にさせることを意図している。それは、単純な動きよりも時間を要し、狭いディスプレイ空間の大部分を占有する（主ウィンドウで詳細表示が減らされる）。画像を回転することは、同様であるがより複雑である。

更に、十分に対話式の三次元表示環境では、関心域の指定は、ユーザが二次元表示制御だけが可能な環境よりも、ずっと手間が少ない。特に、多くの用途では、ユーザがある特別な作品の詳細域を選択する必要がある。例えば、数個のモデルが重なって並んでいる場合には、モデル空間で同じ点（ｕ、ｖ、ｗ）に位置する数個のモデル内の点を指定しまたは変化させ、一つ又は複数の点を選択し、前に選択した詳細域に一旦戻って、その作品の質を良くする。所定詳細域に戻るときに、最初の関心域に到達してそれを方向づけるために必要な対話式操作の繰り返しは、大変時間が掛る。

本発明の目的の一つは、このユーザに掛る負荷を減らして、複数の観察箇所を管理し、ユーザがコンピュータモデルと対話する能力を促進することである。

発明の概要
三次元ディスプレイにおける、三次元データセット表示装置及び方法が提供される。本発明の実施例において、該方法は、全体（全体像）モードと局部（局部像）モードとでデータを表示することを含む。全体モードでは、局部マーカが設定され操作される。局部モードでは、局部マーカを囲むデータは、種々の表示パラメータが使用される。本発明の実施例において、データを表示する前記モードは、ユーザにより選択される。本発明の好適実施例において、前記方法は再帰的に実行され、局部モードでは、サブ局部マーカが設定・操作され、データがサブ局部モードで表示され得て、あるサブ局部マーカを囲むデータは表示パラメータが使用され得る。その表示パラメータは、全体表示モード及び局部表示モードのいずれの表示パラメータと相違し得る。

発明の詳細な説明
三次元データ表示は、局部及び全体の二つのモードで動作する。全体モードでは、モデル空間の表示は、多くの局部マーカが表示される。このモードでは、ユーザは新規マーカを付加でき、現存マーカを削除でき、現在の活動マーカを選択し移動させることが可能である。そのようなマーカは、モデル空間に対して固定された位置にある。ある実施例では、マーカは、それらの位置が陰影でぼかしてあっても、ユーザが見ることができる。

局部モードでは、活動局部マーカを囲む詳細域は、全体モードで使用されるものと異なった表示パラメータが使用されて表示され、それらは、例えば、ある種のより詳細又は別の詳細を提供する。そのような詳細には、例えば、より高解像度であり、より演算が多い技術と、より大きいスケール（ズーム）を使用している。例えば、ズームの場合は、詳細領域の外側の表示部分は、ユーザが詳細部分を拡大しても、ぼやけないようにしている。これを実現するために、その領域の外側の表示は切り取られて、又は全く考慮されない。更に、ズームされた画像は、表示域の便宜的基準位置に中心が合わされ、又は、選択された局部マーカよる表示点に中心が合わされ、又は、それらの点間で移動可能である。

局部及び全体モードは、現在起動表示パラメータに関係して形成される。このように、全体画像が、例えば、拡大されると、システム容量内で可能であれば、同じ倍率で詳細領域の表示が拡大される。

ある好適実施例では、その方法は、再帰的に使用され、所定の詳細領域内で、追加の局部マーカが特定される。その実施例では、全体モードから局部モードに移行するユーザの操作が、新ズーム・サブ詳細領域に使用される、又は、詳細の追加・所定のサブ局部マーカの周りに表示される表示パラメータについて、現在局部モードからサブ局部モードへの移行を引き起こす。

この発明の方法は、三次元データ表示システムで実現され、それは、例えば、立体表示システム等である。一般的には、立体表示システムは立体データを視覚化する。立体データは、ＭＲ及びＣＴスキャナ、超音波機器、振動探査機器、高エネルギー工業ＣＴスキャナ、レーダー及びソナー装置、他のデータ入力源等、の処理又は適用により得られるディジタルデータである。立体表示の長所の一つは、表面表示に比較して、対象物内部の視覚化が可能なことである。

三次元データ表示システムのある型を、ここでは十分な機能を有する三次元データ表示環境としてここでは呼び、例えば、デキストロスコープ（Dextroscope（登録商標）、即ち、この特許出願の譲受人であるシンガポールのＰｔｅ社の立体対話式システム）である。それらのシステムでは、ディスプレイとの三次元の対話が可能である。そのようなシステムでは、ユーザは片手に又は両手にデバイスを保持する。そのデバイスの位置は、コンピュータ又は他のデータ処理装置で感知される。更に、コンピュータは、少なくとも一つの制御入力を監視し、それらは例えば、ボタンであり、ユーザが、クリック、保持又は開放できる。そのようなデバイスは、鏡内に隠されて、ユーザに直接見えなくても良い。そのようなシステムでは、ユーザは、感知したデバイス位置と同じ位置にある仮想ツール（用途の必要に応じてコンピュータが作成したイメージ）を見ることができる。そのような例示システムでは、手に持ったデバイス位置を神経と筋肉で感知した位置と、仮想ツールのユーザの視覚位置とが一致する。これは対話式の長所である。

ある実施例では、そのシステムは、何時も、各詳細領域を見るのに使用される促進すべき事項があり、例えば、好適スケール変化、解像度又はサンプリングステップの変化であり、偽信号の除去である。これらは、デフォルト値に予め設定されても、又は、例えば、メニュー、音声指令、スライダ又はこの技術分野で知られた他の対話手段により、ユーザにより変えられても良い。

メニュー選択、音声指令、又は他の対話等の入力信号を介して、ユーザはそのシステムを全体モードに導く。このモードでは、図１に図示したように、ユーザとその装置との間の前回の対話で決められたように、現在のスケール及び画像状態で、現在の起動モデル１０１（一つ又は複数）が現在の収容ボックス１０２内に表示される。全体モード中又はそれ以前の何時でも、ユーザは、収容ボックス１０２とモデルの見える部分１０１との倍率を変更・移動・回転する他の方法を使用し、収容ボックスの寸法と位置とをモデル空間に対して変更し、表示モデルの見える位置を変化できる。

また、全体モードでは、図２に図示したように、ユーザは、ある用途で可能な手段により、カーソル２０１を三次元ディスプレイ内で移動させる。これは、前述のデクトロスコープのようなシステムにおける三次元ドラッグ・アンド・ドロップであり、マウス又は他の二次元空間制御システムにおける補助ウィンドウの使用であり、又は、この技術分野で知られた他の方法である。カーソルが必要な詳細領域の略中心点にある時は、ユーザは信号を発して、局部マーカを設定又は指定する。次に、ユーザは、マウス又は三次元位置センサ等の手に保持してコントローラのボタンをクリックして、又は、音声指令を発し、又は、足ペダルを押し、又はこの技術分野で知られた方法で、この装置に信号を送って、起動カーソル位置が局部マーカポイント２１１として設定される。マーカポイント２１１のアイコンは、そのシステムにより表示され、モデル空間のある位置に固定される。

図２は、多くの指定された局部マーカを図示している。図３では、局部マーカが図示されていて、例えば単純な十字模様３０１、中央に向いた複数三角形模様３０２又は３０３、三次元の固体構造３０４、ボックスフレーム３０５、又は選択した詳細領域の境界を印す他の構造、又は、この技術分野で知られた有効な他のマーカ又はそれらの組み合わせで良い。

詳細表示を総括するあるパラメータは、ボックスフレーム３０５の寸法（立方体、又は、矩形ボックスの側面長さ）である。ユーザは、全体モード及び詳細モードのどちらでもこの寸法を変更でき、例えば、二次元環境でのフレームとウィンドウで実施されているように、又は、この技術分野で知られている他の類似方法で、ボックスの縁又は角をドラッグする。球、楕円、多面体等の詳細域の他の幾何学形状は、対話用オブジェクトにより形と寸法が変えられ、又は、この発明の範囲内で同等な変化が可能である。

カーソルは、例えば、スタイラス（触針）、中心点を識別するアイコン、又はユーザに選択又は移動すべきポイントを表示する他の手段である。そのポイントは詳細域の中心又は基準点である。ある好適実施例では、ボックスフレーム３０５が使用される。ユーザは、所定点をクリック（又は、他の実施例の場合のように他の選択）する前に、予期される詳細域を見て、詳細域の内部を予想できる。表示されたボックスフレーム３０５の位置と向きは、選択される詳細域のそれと合致する。従って、ある実施例で、システムが常に詳細域を示し、その詳細域の縁がモデル空間軸と平行であり、インジケータはその空間軸と心が合っていて、スタイラスがユーザの手で回転してもインジケータは回転しない。置換例として、詳細域がそのように拘束されていない別の実施例では、詳細域インジケータ（詳細域境界マークインジケータと、詳細域インジケータの中心とを含む）では、スタイラスに堅固に取りつけられたかのように動いて、空間軸と同様に回転する。そのようなシステムのある実施例では、選択された詳細域が、選択の瞬間時のカーソル向きを再生し、そのカーソルはボックスフレームで囲まれ、その瞬間のカーソルと正確に同じ形、寸法、位置である。ユーザが、例えば、モデル軸に平行とは程遠い直線動脈断面の詳細図の表示を望めば、そのための方向の制御は可能である。詳細域の後のドラッグは、それを回転することを含む。

ある実施例では、選択された詳細域のデフォルト形及び寸法を、ユーザが変更できるインタフェースが設けられる。そのインテーフェースは、例えば、この技術分野で知られたスラーダー又は他の対話式オブジェクトである。十分な三次元環境における本発明のある好適実施例では、回転及び移動がユーザの手により簡単に制御され、これらのパラメータ（即ち、詳細域の形と寸法を制御するもの）は、ディスプレイ内の基準位置で、ボックスフレームカーソル、例えば、粘着点付き対話式オブジェクトを使用して操縦される。ユーザがボックスフレーム３０５の縁又は角にこの点に置き、これらのパラメータを変更する信号を送ると（例えば、ボタンを押し保持して）、各縁又は角が拘束されて（例えば、ユーザがボタンを開放して、意図変化信号を送るまで）、接着点に留まり続ける。ボックスフレームカーソルの中心は、ユーザにより普通に移動される。カーソルを接着点から引くと、ボックスを拡大し、一方、押すと縮む。横方向の動きは、ボックスフレームが立方体に保たれるシステムでなければ、一つの側面の長さを増加すると、もう一方の側面の長さが減少する。別の実施例では、種々の手段を有して、詳細域の寸法を決めるパラメータを、この技術分野で知られているように適切に制御する。

ある実施例では、局部マーカが以下のように操縦される。全体モードで、カーソルは、特別局部マーカの予め設定した近接ゾーンにあると、そのマーカは、外にそのカーソルにより近接しているものがなければ、最新マーカとなる。この状況で、近接ゾーンが定義され、例えば、カーソルと特別な局部マーカとの間の距離ベクトル（ｘ、ｙ、ｚ）は、例えば、現在設定の閾値より小さくされる。その距離は、ｘ²＋ｙ²＋ｚ²、 又は、│ｘ│＋│ｙ│＋│ｚ│、又は、（│ｘ│、│ｙ│、│ｚ│）の最大値として定義される。所定のマーカ近接ゾーンに入ると、ユーザはドラックモードを使用できる。例えば、特定ボタンを押し下げ保持し、又は表示システムにより定義される意図を示すと、そのモードでは、局部マーカがカーソルとともに動き、それは、例えば、ボタンを開放又は他の適切なサインを印すことにより、ユーザがドラックモードから出る信号を送るまで続く。現在の局部マーカがあっても、その近くに新マーカを置くことができ、前述のように、その新マーカ設置は、ユーザの標準的アクションを呼び出して、簡明に実施される。

又は、別の信号を使用することにより、例えば、ダブルクリック、右マウスクリック、音声指令、又は他の適切な対話サインにより、ユーザは、現在マーカを、そのシステムにより保持された局部マーカから削除できる。ある好適実施例では、ソフトウェアーが一般的“取消”指令を使用していれば、その削除の後、直ぐにその指令を発すると、リストに削除されたマーカが再挿入できる。

更に、特定マーカの近くで、ドラグ及びドロップを機能的に起動させるに使用される近接域（近接基準により定義される）で、各局部マーカは、詳細域を設定し、例えば、点のセットであり、マーカからのその距離ベクトル（ｘ、ｙ、ｚ）は、ｘ²＋ｙ²＋ｚ²、 又は、│ｘ│＋│ｙ│＋│ｚ│、又は、（│ｘ│、│ｙ│、│ｚ│）の最大値であり、現在設定値より小さい。局部モードの場合に、起動局部マーカを囲む詳細域は、全体モードで使用されるものとは異なった表示パラメータを使用して表示され、例えば、前述のように、ある種のより多い又は別の詳細を提供する。そのより詳細の一例は、スケール変化であり、それは“ズームスライダ”出願に記載されている。

局部・全体モードは現在起動表示パラメータに関連して形成される。従って、全体像が拡大されれば、システム容量内で可能であれば、同じ要因により詳細域の表示が拡大される。

別のある実施例では、そのシステムが周期的モードを付加的に有して、そこでは、リストにある各局部マーカを囲む詳細域が、ユーザのステップ指令により表示される（例えば、クリック、音声、又はこの技術分野で知られた他の手段で）。マウスインタフェイスのような二次元対話式システムでは、カーソル位置は相対的な動きにより制御され、カーソルをドラグのための適切な位置にジャンプさせることが適切である。二次元マウスのユーザは、カーソルの突然の非連続の動きに馴れていて、例えば、新規に表示された進入可能ボックスにジャンプする。このように、マウス駆動カーソルは、詳細アイコン上に表す必要があり、それをドラッグして、現在詳細域から次へジャンプして、マウスパッド上の動きを短くする。別の実施例では、ユーザは、カーソルの位置を絶対管理位置に対応させ、デキトロスコープ（Dextroscope（登録商標））又は画面接触インタフェースにおいて、ユーザの手の中にあるツールに追従して、カーソルは手の動き自体には追従しない。そのシステムでは、周期的な動きは省略されるのが好ましい。周期的モードは、全体モードの他の機能と同時に起動しても良い。

局部マーカの表示は、ある選択を含んでいて、それは本発明の種々の実施例で異なっている。図２の明瞭表示のマーカ２１１は、例えば、図４内ではボックス４１１に変えられる。表示を変える時に、一方向から見るのでは、ユーザがモデル深さ（即ち、ユーザ視点からの距離の違い）を感知するのが難しい。表示されたモデル１０１又は４０１が不透明と見なされる場合は、認識デフォルトが、マーカがユーザにより近くし、対象物より隠れないようにする必要がある。立体画像、パラドックス、又は他の深さ信号のある表示システムでは、ユーザ用視認システムが、より深さを感知できる情報を有して、マーカが隠れないようにする。

この状況を考慮するために、ある別の実施例では、図５に図示されたように、マーカがモデル５０１により噛まれて隠されている。これにより、ユーザに深さ信号の統一セットを提供し、その一方、一つ又は複数マーカを部分的に又は十分に隠す（何故ならば、収容ボックスがより小さい場合に、モデルのいろいろな部分が見られるように、一つのマーカが最初に設置され、又は、モデルをより明快にさせるために陰影付が使用される場合に、不透明にされたモデル内で、所定の設置されたマーカが、各方向について順次見えなる）。ある好適な単一視野の表示実施例では、より大きいスケール構造がマーカに付加され、例えば、各軸に平行な長い線が不透明にされたモデルを超えて延びている。ある好適な立体表示実施例では、“ズームスラーダー”出願により十分に記載されているように、明らかに移送可能な半透明の技術が使用される。その技術では、表示マーカから発する光だけにより、ユーザにモデルが透明であるように見えて、マーカが、実際には閉囲されているが、簡単に見える。

局部マーカを囲む所定詳細域に使用される促進表示が、スケールを変更しない変化だけを含む場合には（例えば、より高い解像度又は反偽信号のために）、全体表示にも適用され得る。システムの容量が十分であれば、全ての詳細域が同時に促進表示される。容量が不十分であれば、その促進は制限されて、現在マーカが中心にある詳細域に限定され、オプションとして、例えば、前回の他のＮ詳細域であり、Ｎはシステムデフォルト番号、又は、詳細域の現在寸法及び現在の有効オプションの関数として動的に決められる番号である。

所定詳細域での表示促進のために、スケール変化を含む場合には、クリック、指令、又は他手段により、ユーザは変化信号を局部モードに送り、そこでは、所定局部マーカの近接域を中心に位置付けるカーソルは、マーカの対応する詳細域をより大きいスケールで表示させる。その拡大表示では、中心位置は変わらず、又は、表示域の中心近くの好適視点位置が中心とされても良い。置換例では、どれが現在局部マーカが対応する詳細域であるかを表示し（例えば、強調又は他の方法で）、インタフェースを提供して、ユーザにより必要なズーム指令が、例えば、スライダ又は音声指令で入力され得る。また、この設定では、ズーム表示は、マーカ点又は好適視点に中心が維持される。置換例では、マーカは、好適視点の方に滑り、"ズームスライダ”出願に記載されているようにスケールが拡大される。

局部モードへの変化が自動的に開始する実施例では、詳細域にカーソルを動かすことにより、ユーザからの別の指令信号なしに、カーソルが詳細域から出ると、表示は全体モードに戻る。置換実施例では、別の信号を提供して、この効果を生じる。例えばクリック、音声指令、又はユーザが発した他信号である。又、別の実施例では、ユーザ別の信号により局部モードから出る。

詳細域がズームされ周期的モードを呼び出すと、順に、各詳細域がズームモード内に表示される。システム設定は、ユーザが選択インタフェースを介して、随意的に調整可能であり、（ａ）周期的モードを呼び出した時の共通ズーム因子で、全ての詳細域が表示されるか否かが決められる；（ｂ）各詳細域が表示されて現在設定されたズーム因子を使用する；又は、（ｃ）他の領域ズーム因子が決められる。同様の制御により、全ての詳細域が表示されるか否かが決定される。その表示の中心は、（ａ）各局部マーカ点、（ｂ）好ましい視点、（ｃ）"ズームスライダ”出願に記載した技術により局部マーカ点から最適視点に動かされて、又は（ｄ）ズームスライダのような介在対話式オブジェクトに決定される。

ある実施例では、局部モードで、詳細域以外のモデル部分は、その構成が見える。その実施例では、それらが詳細域の拡大像がぼやけないようにする。これは、例えば、全体表示をクリックして、モデルの現在のマーカ点より浅い部分を見えるようし、又は他の同等な機能にする。

又、ある実施例では、詳細域の拡大像又は変化表示を切り離す能力を有して、それを表示シーンの付加部分として、他の詳細域が選択されても消えないようにする。システムの動きの制御は、この切り離した像と、各収容ボックスに別々に適用されて、ユーザは、それを便利な場所に動かして、表示シーンで見ることができる。その表示シーンは、他のスケールの領域のような他の要素を含む。その実施例で、カーソルを切離した像の収容ボックス内にカーソルを移動すると、そのボックスをシステムと通じる起動域とし、前述のように、カーソル位置（ｘ、ｙ、ｚ）とモデル空間位置（ｕ、ｖ、ｗ）との間を測ってその状態を決定する。これは、例えば、ユーザが一端を動かすことにより、モデル空間内に、直線を引く場合に有効であり、直線の先が特定点を正確に通る。この場合に、あるスケールの像で、一端と他端部とが同時に見れるようにする。一般的には、必要なスケールが中間点を含む普通の像内に両端を含めることができないし（過大となる）、二つのスケール像の間を繰り返して切り換えることは、大変手間の掛る非効率で望ましくない仕事である。複数点で、精度良く幾何学構造を提供する必要が、外科手術又は潜孔(mines)から機械システムのコンピュータ補助設計（ＣＡＤ）まで、多くの三次元用途で生じる。

詳細域が拡大（ズーム）像で示されている時、局部マーカは見れるままであり（詳細域内の他のマーカ点と同様に）、マーカアイコンの実際の寸法は、拡大されていない。局部マーカ点は、詳細域及びモデルの表示箇所を変えた時に、その域内での他のマーカ点と同様に、全体モードと同様に操縦され得る。

ある好適実施例では、全体モードで、局部マーカを操縦するのに使用される指令とインタフェイスの実行は、局部モードでも利用できる。

また、ある実施例で、詳細域の拡大像では、ユーザは新マーカ点を形成でき、その点のモデル空間位置（ｕ、ｖ、ｗ）は、（a）絶対座標で、又は（ｂ）局部マーカ点に関して、どちらでも定義される。これらの新局部マーカは、新マーカ点が現在のものとマーカリストを共有するように、そして、マーカ点のサブリストが詳細域が起動しているときだけ見えるようにし、それと関連するより小さい詳細域が更にズームされ、より詳細が提示される。この後者の特徴は、走査データモデル（ズームが大きくなると、二次元ディジタル像のようにぶれが生じる）データを取り扱う場合には、有効でないことが多く、補助機能として、それ用のズームマーカ群を必要とする。一方、CADに使用される高精度モデルでは有効であり、そのモデルでは、数メータの幅の機械上の点はマイクロメータの精度で特定される。新局部マーカ点は、決められたシステムの実行又はユーザ設定により調整可能で、どちらでも作動される。

図６は、指令のソフトウェアプログラムモジュール例を図示しており、それは適切なデータプロセッサー又はこの技術分野で知られた方法で、実行されて、本発明の好適実施例を具現する。そのソフトウェアプログラムは、例えば、ハードドライブ、フラッシュメモリ、メモリ片、光記憶媒体、又はこの技術分野で知られた他データ記憶デバイスに記憶される。プログラムが適切なデータプロセッサのＣＰＵにアクセスされて動くと、本発明の好適実施例に従って、三次元データ表示システムで、三次元コンピュータモデルを表示する方法が実行される。このソフトウェアプログラムは、本本発明の好適実施例に関連する４個の機能に対応する４個のモジュールを有する。多くの別のソフトウェアプログラムの実施例が、本発明の実施例及び好適実施例に対して可能である。

最初のモジュールは、例えば、局部マーカリスト管理モジュール６０１であり、それはこの技術で知られているように、ユーザインタフェースを介してユーザ入力を、前述のように、受け入れる。その入力は、例えば、局部モード位置、サブ局部モード位置、詳細域境界、詳細域の向き、収容用データ、詳細域の表示パラメータ（例えば、ズームスケール因子、三次元データの代わりに表示される量的特性を含む）であり、ユーザ又はシステムが生成したモード実行・選択信号と同様に受け入れられる。

第二モジュールは、例えば、局部モード及び周期的表示モジュール６０２であり、それは、局部モードの信号が送られた局部マーカリスト管理モジュール６０１から信号を受けると、現在局部マーカ及び／又はサブ局部マーカを囲む詳細域及び／又はサブ詳細域と関連する表示パラメータに従って、詳細域及び／又はサブ詳細域を表示する。

第三モジュールは、全体表示モジュール６０３であり、局部モードの位置に関して、局部マーカリスト管理モジュール６０１から入力を受け、決められたルールを適用する。そのルールは、表像度、不透明度、半透明度等であり、前述のように、システムに内蔵されている種々の局部モードを表示する。

第四モジュールは、例えば、周期的複数詳細域表示モジュール６０４であり、それは、例えば、局部マーカリスト管理モジュール６０１からデータ入力を得て、周期的モードの信号により、詳細域を順次表示し、又は、切り離し指令に応答して、ディスプレイ画面に複数の詳細域を表示する。

図７は、本発明の実施例による処理フロー図を図示している。その実施例では、カーソルは、図３のインジケーター３０５のようなボックスフレームインジケータである。前述のように、所定点を局部マーカ点として選択する前に、ユーザは、この点を選択すると生じる詳細域を見て、それが何を含んでいるか判断できる。処理フロー図は、局部モード像を選択する処理を図示していて、モデル及び／又は詳細域と局部モードで対話して、最後には全体モードに戻る。ステップ７０１で始まり、フローはステップ７０２では、カーソル又は同等アイコンが仮想ツールの先端に表示され、それにより、ユーザは三次元ディスプレイで像を動かすことができる。ステップ７０３で、前述のように、システムは、ユーザが局部モードを選んだことを確認する。“ＮＯ”であれば、処理フローはステップ７０２に戻る。“ＹＥＳ”であれば、ステップ７０４でシステムは局部モードに入り、従って、詳細域（関心域）の境界と共にモデルの拡大像を表示する。ステップ７０５で、ユーザはモデルを操縦し、又は、例えばツール針を使用して、関心域の境界を操縦する。関心域の境界がステップ７０５で修正されれば、ステップ７０６で、モデルは関心域の新境界内に表示される。ステップ７０７で、システムは、処理を停止すべきか問う。“ＹＥＳ”であればフローはステップ７０８に進み停止して、ユーザ画面を全体モードに戻す。

次に擬似コード例を示し、そのコードは本発明の実施例を具現するために使用できる。

擬似コード（pseudocode）

実行例及び適用例
次に、本発明の実施例の使用機能を図解するために、本発明の実施例の二つの適用例を、図８〜２３を参照して説明する。画面撮像は、本発明の実施例を使用して得られる。その実施例は、シンガポールのＰｔｄ社の立体対話(Volume Interactions)によるデキストロスコープ（前述）三次元データセット表示システムを使用している。それらの図に示されているのは、三次元対象物、仮想ペンコントローラ、時に仮想制御パレットである。そのパレットは、他のアイコンと同様にペンの下に見える。

（Ａ）正確距離測定例
図８〜１５は、本発明のある実施例を図示し、そこでは、全体モードと局部モードとの間で簡単に移動可能であり、三次元データセット内の点間の正確な距離測定ができる。

図８は、特別の対象物である頭蓋骨であり、ＣＴデータセットから得られ、三次元空間内に位置している。ユーザは、その対象物内で、二点間の距離を高精度で測定する場合に、その操作中にデータ全体を見る必要がある。図９はユーザがあるツールを選択する場合を図示している。そのツールはその先端に立方体を有し、その立法体は、測定の間に使用される倍率の相対寸法を表示している。その立方体の寸法は調整可能である。図１０は、ユーザが、先端に立方体があるツールを関心箇所に、ここでは動脈瘤に、移動することを図示している。

図１１は、ある状況を図示しており、ユーザが制御因子を使うと、ここでは、ユーザがツール上のボタンを押すと、表示は、ツール上に立法体により表示された寸法で、拡大像に変かわる。この倍率レベルで、ユーザは必要な詳細を見ることができて、対象物の片側で第一測定点を正確に位置付けることができる（即ち、表示画面で動脈瘤の右側）。

図１２は、ユーザがある制御因子を実行すると、全体モードに戻り、ユーザは三次元対象物又はデータセットの表示内に置かれた第一測定点を見ることができることを示す。

同様に、図１３は、ユーザがツールを動脈瘤から離れて全体像に戻ることを図示している。

図１４はユーザがツールを他の必要測定点に動かすことを図示している。図１５は、ユーザがツール上のボタンを再び押す効果を図示していて、高倍率モードに戻り、一般的に言えば、局部モードに戻る。図示した実施例では、そのシステムは、ユーザに、第一測定点とツール先端の現在位置との間の距離を読み出す。

（Ｂ）マーカの正確な挿入の図示例
図１６〜２３は、本発明の実施例の方法の第二使用例を、即ち、マーカの正確な挿入を図示している。マーカは、図示した実施例では、二点を登録して、二つの異なった走査されたモデルからのデータは共に登録されるよう配置される。

図１６を説明すると、ＣＴデータセットに関し、ユーザは、二つの基準マーカの中心に、二つの三次元メーカーを正確に配置する必要がある。図１６に見られるように、二つの基準マーカは、各々図示した頭の左眉と右額上に略位置している。マーカの配置を実行するために、図示した仮想制御パレット上のズームボタンを押して、ユーザはズームツールを選択する（"ズームスライダ”出願により十分に記載されているように）。

図１７は、ユーザが、患者の皮膚上で、第一基準マーカ（図示した頭の左眉に略位置している）にツールを動かすことを図示している。ツールの先端の立方体は、倍率レベルを示す。

図１８は、ユーザが仮想ツール上のボタンを押す効果を示している。そこでは、ユーザは拡大像を見ることができる。図１９を説明すると、ユーザは、拡大像内で、ツール先端を患者データ（即ち、図示した頭）の表面で、基準の中心に動かす。

図２０を説明すると、図示した実施例で、マーカが図１９のように必要スポット（ここでは基準）の中心にある時、ユーザは、ボタンを開放して、マーカーを配置して、図２０に示すようになり、ツールは他の基準に動かされる。このように、マーカ（１）が配置されると、ユーザは、更に付加マーカを配置できる。

図２１は、ユーザが、第二マーカについて、同様の手順を繰り返すことを図示しており、図１７に図示した状況と同様に、第二基準点に対してツールと関連する拡大ボックスとを動かす。図２２は、第二マーカが配置され、ユーザが拡大モードで操作することを図示している。図２３は、全体モードに戻った状況を図示していて、第二基準点対して第二マーカが配置されているのが、頭全体のより大きい像内に見られる。

本発明は、実施例及び好適実施例・実行例を、例示として説明している。 この技術分野に通常技術者には、添付請求項に記載した本発明の基本的範囲内で、実施例及び好適実施例の変化例が容易に可能であることが理解される。

本発明に実施例による収容ボックス内に表示された三次元モデルを示す。 図１のモデルを示し、可動三次元カーソル及び局部マーカが、本発明に実施例により、種々の点に設定されている。 アイコン例のセットを示し、本発明に実施例により、局部マーカ点位置を示すために使用される。 表示された三次元モデル例を示し、箱型のアイコンが詳細域を指定し、それらのアイコンは明瞭に、本発明に実施例により配置されている。 図４のモデル及びボックスを示し、本発明に実施例により、不明瞭に図示されている。 本発明の実施例によるソフトウェアブロック図例である。 本発明の実施例による処理フロー図である。 本発明の実施例による距離詳細測定例用の図である。 図８と同様な距離詳細測定例用の図である。 図８と同様な距離詳細測定例用の図である。 図８と同様な距離詳細測定例用の図である。 図８と同様な距離詳細測定例用の図である。 図８と同様な距離詳細測定例用の図である。 図８と同様な距離詳細測定例用の図である。 図８と同様な距離詳細測定例用の図である。 本発明の実施例によるマーカの正確な挿入例を図示している。 図１６と同様なマーカの正確な挿入例を図示している。 図１６と同様なマーカの正確な挿入例を図示している。 図１６と同様なマーカの正確な挿入例を図示している。 図１６と同様なマーカの正確な挿入例を図示している。 図１６と同様なマーカの正確な挿入例を図示している。 図１６と同様なマーカの正確な挿入例を図示している。 図１６と同様なマーカの正確な挿入例を図示している。

Claims (28)

1. 三次元データディスプレイにおける三次元モデルの表示方法であって、該方法は、
   全体モードでデータを表示し、該全体モードでは、複数の局部マーカが設定・表示・操作され、
   局部モードでデータを表示し、該局部モードでは、一つの該局部マーカを囲む関心域のデータに、種々の表示パラメータが使用される、上記方法。
2. 前記種々の表示パラメータが詳細を提供する、請求項１記載の方法。
3. 前記詳細は、特定の表現計画に沿って、データの付加又は置換プロパーティを拡大又は表示することを含む、請求項２記載の方法。
4. 前記種々の表示パラメータがスケール変化を含む、請求項１記載の方法。
5. 前記局部モードの表示では、前記局部マーカの一つ又はユーザが指定した点を、スケール中心として使用する、請求項４記載の方法。
6. 前記局部モードの表示では、前記スケール中心を前記ディスプレイにおける最適視点に移動できる、請求項５記載の方法。
7. 前記全体モードでは、前記局部マーカは、前記モデルの不透明域により部分的に又は全体的に隠されることなしに、表示される、請求項１記載の方法。
8. 前記全体モードでは、前記局部マーカは、前記モデルの不透明域により部分的に又は全体的に隠されて、表示される、請求項１記載の方法。
9. 前記方法は、周期的モードでデータを表示し、
   該周期的モードでは、ユーザは、全ての現在の詳細域に関して、前記局部モードの表示を利用できる、請求項１記載の方法。
10. 前記方法は、各前記局部モードの表示パラメータを使用して一つ又は複数の選択関心域を同時に表示し、一方、前記全体モードの表示パラメータを使用して前記モデルの非選択部の全て又は部分を表示する、請求項１記載の方法。
11. ユーザが関心域の境界を制御可能である、請求項１記載の方法。
12. ユーザが、関心域に関し、包括的に又は特別に、該関心域の境界を統御するパラメータを設定し調整可能である、請求項１０記載の方法。
13. ユーザが、前記全体モード、又は、前記局部モード、又は、全体及び包括モードで、関心域の境界を変更できる、請求項１２記載の方法。
14. 前記全体モードで、前記局部マーカが表示アイコンを使用して表示される、請求項１記載の方法。
15. 前記全体モードで、ユーザが、ある関心域の内容を見ることができるように、該関心域の境界が表示されて、該境界は対応する局部マーカ点を囲む、請求項１記載の方法。
16. 前記全体モードで、前記局部マーカが点で表示される、請求項１記載の方法。
17. 前記全体モードで、前記局部マーカ点を囲む関心域が表示され、局部モード表示パラメータが使用される、請求項１６記載の方法。
18. 前記関心域を見る時、ユーザが前記関心域の形を変更できる、請求項１７記載の方法。
19. 全体モードで、ユーザがカーソル又は他のインジケータを前記モデルを通して動かすと、関連する表示された前記関心域が動く、請求項１８記載の方法。
20. 前記関心域が境界を有し、該境界は、前記全体モード表示の境界と平行又は非平行である、請求項１記載の方法。
21. 各前記局部マーカに関連する各前記関心域は、任意形の特別な境界を有する、請求項１記載の方法。
22. コンピュータプログラム製品であって、
    コンピュータが使用可能な媒体を具備し、該媒体はコンピュータが読取可能プログラムコード手段を内蔵して、三次元データディスプレイ装置内で三次元コンピュータモデルのスケールを制御し、該読取可能プログラムコード手段は、
    該コンピュータに全体モードでデータを表示させ、該全体モードでは局部マーカを設定・表示・操作可能にするプログラムコード手段と、
    該コンピュータに局部モードでデータを表示させ、該局部マーカを囲む関心域のデータに種々の表示パラメータを使用可能にさせるプログラムコード手段とを、有することを特徴とする上記コンピュータプログラム製品。
23. 前記全体モードで、前記コンピュータに、ユーザが考慮する点を囲む関心域を表示させる、コンピュータ読取可能プログラムコード手段を具備した、請求項２２記載のコンピュータプログラム製品。
24. 関連する局部モード表示パラメータを使用して、コンピュータに前記関心域を表示さる別のコンピュータ読取可能プログラムコード手段を具備した、請求項２３記載のコンピュータプログラム製品。
25. 前記コンピュータプログラム製品は、別のコンピュータ読取可能プログラムコード手段を具備し、
    該プログラムコード手段は、関心域境界と関心域表示パラメータと局部マーカアイコンとの少なくとも一つに関して、コンピュータにユーザによる対話変更を促進させ、前記表示装置が全体モードと局部モードと全体モード及び局部モードとのいずれかである時に、前記対話変更が可能である、請求項２２記載のコンピュータプログラム製品。
26. 機械で読取可能なプログラム記憶デバイスであって、該デバイスは該機械により実行可能な指令プログラムを明白に生成して、三次元データディスプレイ装置における三次元コンピュータモデルのスケールを制御する方法を実行し、該方法は、
    全体モードでデータを表示し、該全体モードでは、局部マーカが設定・表示・操作され、
    局部モードでデータを表示し、該局部マーカを囲む関心域のデータは、種々の表示パラメータが使用可能である、上記プログラム記憶デバイス。
27. 前記方法は、
    サブ局部モードでデータを表示し、一つ又は複数のサブ局部マーカの各々を囲む一つ又は複数のサブ関心域内のデータが、前記局部モードのものとは相違する表示パラメータを使用可能であり、
    該サブ局部マーカは、前記局部モード内で設定・操縦・視認され、前記局部マーカを囲む特別関心域内に位置する、請求項１記載の方法。
28. 前記サブ局部マーカは、前記局部マーカが前記関心域に関連して有している全てのプロパーティを、前記サブ関心域に関連して有し、
    前記サブ局部モードは、前記局部モードが前記全体モードに関連して有している全てのプロパーティを、前記局部モードに関連して有し、
    前記特別関心域が表示される時は、前記サブ局部マーカが、前記特別関心域内に表示される、請求項２７記載の方法。

Images