JP2001522098A5 - - Google Patents

Download PDF

Info

Publication number
JP2001522098A5
JP2001522098A5 JP2000519376A JP2000519376A JP2001522098A5 JP 2001522098 A5 JP2001522098 A5 JP 2001522098A5 JP 2000519376 A JP2000519376 A JP 2000519376A JP 2000519376 A JP2000519376 A JP 2000519376A JP 2001522098 A5 JP2001522098 A5 JP 2001522098A5
Authority
JP
Japan
Prior art keywords
image
display
dimensional
virtual
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000519376A
Other languages
English (en)
Other versions
JP2001522098A (ja
Filing date
Publication date
Priority claimed from DE1997147881 external-priority patent/DE19747881A1/de
Priority claimed from DE1997152341 external-priority patent/DE19752341A1/de
Application filed filed Critical
Priority claimed from PCT/DE1998/003138 external-priority patent/WO1999023586A2/de
Publication of JP2001522098A publication Critical patent/JP2001522098A/ja
Publication of JP2001522098A5 publication Critical patent/JP2001522098A5/ja
Pending legal-status Critical Current

Links

Description

【書類名】 明細書
【発明の名称】 立体三次元表示における画像物体処理方法およびその装置
【特許請求の範囲】
【請求項1】 画像物体を画像発生手段によって仮想立体三次元画像空間内に表示し、該仮想立体三次元画像空間の画素には選択手段によって到達することができ、コンピュータが座標値をその位置に応じた前記画像物体に割り当てる、立体三次元表示における画像物体処理方法であって、
前記画像物体の少なくとも一つの空間的部分に、前記選択手段による処理のためにマークし、
前記選択手段が前記仮想立体三次元画像空間内を自由に移動することを特徴とする立体三次元表示における画像物体処理方法。
【請求項2】 前記マークされた画像物体を、前記仮想立体三次元画像空間に表示された他の画像物体に関連してセグメントするとともに、前記仮想立体三次元画像空間におけるセグメンテーションのため、前記選択手段を前記画像物体に導くか、あるいは、前記画像物体の境界領域に沿って案内することを特徴とする請求項1に記載立体三次元表示における画像物体処理方法。
【請求項3】 前記マークした画像物体を、色を付けるか、または拡大することによって強調することを特徴とする請求項1または請求項2に記載の立体三次元表示における画像物体処理方法。
【請求項4】 前記画像物体のマークした部分を測定することを特徴とする請求項1に記載の立体三次元表示における画像物体処理方法。
【請求項5】 前記画像物体のマークした部分を前記立体三次元表示から切り離し、別に表示することを特徴とする請求項1から請求項4のいずれかに記載の立体三次元表示における画像物体処理方法。
【請求項6】 前記画像物体を前記コンピュータの処理手順によってセグメントし、および/または測定すること、および、参照物体を生成するためのデータを前記コンピュータの記憶装置に格納することを特徴とする請求項1から請求項5のいずれかに記載の立体三次元表示における画像物体処理方法。
【請求項7】 前記参照物体を基に、関連する画像物体の部分に対する自動セグメンテーションおよび測定を、前記仮想立体三次元画像空間にて行うことを特徴とする請求項1から請求項6のいずれかに記載の立体三次元表示における画像物体処理方法。
【請求項8】 特定の画像物体セグメンテーション、前記測定、または前記選択において、画像分析、認識、および知識ベースの装置、特に神経回路網を前記立体三次元表示内にて用いることを特徴とする請求項1から請求項7のいずれかに記載の立体三次元表示における画像物体処理方法。
【請求項9】 前記画像物体の関連する部分に対する、手動によるセグメンテーションまたは測定、または人工的画像物体の設計をも前記仮想立体三次元画像空間内で実施することを特徴とする請求項1から請求項8のいずれかに記載の立体三次元表示における画像物体処理方法。
【請求項10】 前記コンピュータ、画像データのフィルタリングまたは圧縮による前処理のような処理手順と、形態計測的評価、較正、または認識的モデル化のような処理手順を備えることを特徴とする請求項1から請求項9のいずれかに記載の立体三次元表示における画像物体処理方法。
【請求項11】 前記画像物体を処理し、かつ、前記方法、特定の分析、診断、較正、およびインターフェース手順を適用するための基本的処理手順が、前記コンピュータにて利用できることを特徴とする請求項1から請求項10のいずれかに記載の立体三次元表示における画像物体処理方法。
【請求項12】 前記立体三次元表示自動立体鏡表示であり、前記画像発生手段がディスプレイスクリーンであり、前記ディスプレイスクリーンの前にて前記立体三次元表示が仮想立体三次元画像空間に浮かんで現れることを特徴とする請求項1から請求項11のいずれかに記載の立体三次元表示における画像物体処理方法。
【請求項13】 前記選択手段ポイント用スタイラスであり、ポイント用スタイラスは、前記仮想立体三次元画像空間内にある画素を指示することができ、かつ、該画素をポイント用スタイラス上の押しボタンを介して選択できることを特徴とする請求項1から請求項12のいずれかに記載の立体三次元表示における画像物体処理方法。
【請求項14】 画像データを生成するコンピュータと、仮想立体三次元画像空間における前記画像データの立体三次元表示のためのディスプレイスクリーンと、前記立体三次元表示に手動にて作用を及ぼすポイントデバイスとを備えた、立体三次元表示における画像物体処理装置であって、
前記ポイントデバイス、前記仮想立体三次元画像空間内を自由に移動可能であって、かつ、その位置を伝達する伝達手段を有するとともに、
前記コンピュータ、前記ポイントデバイスに前記立体三次元表示の画素をその位置に応じて当てることを特徴とする立体三次元表示における画像物体処理装置。
【請求項15】 前記コンピュータ、前記立体三次元表示の画素を前記ポイントデバイスに正確に当て、前記ポイントデバイスが、前記仮想立体三次元画像空間内に導かれることを特徴とする請求項14に記載の立体三次元表示における画像物体処理装置。
【請求項16】 前記ポイントデバイスの位置に応じてアイコンを仮想立体三次元画像空間内に表示することができ、前記アイコンが、点滅するカーソル、手、またはツール、例えばメスであることを特徴とする請求項14または請求項15に記載の立体三次元表示における画像物体処理装置。
【請求項17】 前記測定機能、前記アイコン、または前記処理手順が前記コンピュータのライブラリに保管されることを特徴とする請求項14から請求項16のいずれかに記載の立体三次元表示における画像物体処理装置。
【発明の詳細な説明】
【0001】
【産業上の利用分野】
本発明は、立体三次元表示の画像を処理する画像物体処理方法に関し、ここでは、画像物体が画像発生手段によって仮想立体三次元画像空間内に表示され、仮想立体三次元画像空間内の画素に選択手段を用いて到達することができ、また、コンピュータが画像物体にその位置に対応した座標値を割り当てる。
さらに、本発明は、立体三次元表示を処理し、かつ修正する画像物体処理装置に関し、該画像物体処理装置は、画像データを生成するためのコンピュータと、仮想立体三次元画像空間内において画像データを立体三次元表示するためのスクリーンと、立体三次元表示を手動で動かすためのポイントデバイス(すなわち、ポインター、若しくは、ポイント用スタイラス)とを有する。
本発明によれば、このポイントデバイスは、上記画像物体処理方法における選択手段として使用できる。
【0002】
【従来の技術】
三次元画像物体を表示するためのいろいろな方法が知られている。立体写真技法においては、左右の眼に対する視界が赤と緑の色で表される。三次元効果を得るためには、赤−緑の眼鏡が必要となる。しかし、この立体写真技法はカラー表現ができない。
【0003】
さらに、シャッター技術が知られており、2つの眼に対するそれぞれの視界が交互に現われる。1つの眼に関する経路が眼鏡を通して発生する。この眼鏡が視界を正しい方の眼に切り換える。
【0004】
また、自動立体鏡表示も知られており、これは付加的眼鏡が不必要である。両方の視界が同時に表示される。経路はレンズやプリズムのような光学的手段を介して発生する。ファインダーの動きが捕捉され、光学的手段を介してそれぞれの眼に送られる。両方の視界がディスプレイスクリーンのLCDギャップに交互に入れられる。ディスプレイスクリーンのプリズムマスクを介して、それらの視界が左右の眼にそれぞれ送られる。そして、三次元画像がディスプレイスクリーンの前に浮かんで現れる。
【0005】
同様に画像処理のための選択手段、例えばコンピュータマウスが知られており、これを介して、表示の個々の画素に到達できる。しかしながら、この点において、表示は、二次元または擬似の三次元に存在しており、そのため、画素の選択は面倒である。
この処理では、所望の画素が選択できるように、三次元画像の後方の層が、二次元ディスプレイスクリーン上に配置されるまで、画像を回転することで間に合わせる者もいる。しかしながら、参照三次元表示方法に関すると、この種の画像処理は、大げさで、時間がかかり、また、不正確である。
【0006】
また、グラフィックあるいはCADシステムの二次元表示を処理および修正する装置が知られている。
これらのシステムにおいて、表示はローラにより基台上を前後に移動可能ないわゆるマウスを有するコンピュータのスクリーン上にて処理される。マウスの基台に対する運動が検知され、カーソルの運動に変換される。マウスの二次元上の可動性は制限されているので、三次元表示は、仮想立体三次元画像空間あるいは後方位置画像層における画素を選択するのは複雑なばかりであるという不利な点を有している。ほとんどの場合、三次元表示は、二次元の視界に解像される。そのため、ある画像層を選択することが可能となる。
【0007】
【発明が解決しようとする課題】
本発明の目的は、三次元画像物体の簡単な選択および処理を可能とする、立体三次元表示を処理および修正するための画像物体処理方法およびその画像物体処理装置を提供することである。
【0008】
【課題を解決するための手段】
本発明の画像物体処理方法に関して、この目的は、請求項1のステップにより達成される。したがって、少なくとも1つの、画像物体の三次元部分が処理のため選択手段によってマークされる。
【0009】
画像表現を生成する、立体三次元表示において、仮想立体三次元画像空間それ自体における画像物体にマークを付すことが可能なことが本発明によって確認された。それと反対に、通常の二次元表示を有する二次元ディスプレイスクリーンの場合におけるマーキングは本体を回転することによって、あるいはその位置およびつぎの二次元すなわち擬似の三次元マーキングを変えることによって発生する。
本発明によると、仮想立体三次元画像空間に投射された画像物体は仮想立体三次元画像空間内で直接マークされる。
その結果、オペレータは、ビューアーの位置を変えることによってか、あるいは本体の位置を変えることによって空間部分のマーキングを簡単に見ることができる。
ベクトルグラフィックおよび別体の入出力装置を備えたコンピュータは、三次元の、特に自動立体鏡の表示を補助し、画像物体におけるマークの位置を演算し、そして立体三次元表示における画像のマークされた部分を表示する。
【0010】
そして、本発明の画像物体処理方法は、分子物理学における目標認識と測定、半導体産業、冶金学、および金属処理における検査と品質保証に非常に有利に使用することができる。同様に、目標認識、画像捕捉、再生、および画像物体の表示と測定に関連した、CAD処理に有利に使用できる。この画像物体処理方法は、仮想工場のみならず、仮想試作(モックアップ)にも適用することができる。さらに、用途の分野としては、微生物学、すなわち、核構造、染色体などのような空間的配置のセグメンテーションおよび測定、医療分野における細胞学、眼科学、神経診断、そして、血管造影がある。
【0011】
本発明をさらに発展させた非常に有利な態様においては、マークした画像物体が仮想立体三次元画像空間に表示された他の画像物体に関連してセグメントされる。
この処理において、画像物体は個々のセグメントに分割され、コンピュータは、セグメンテーション時に三次元空間における個々のセグメントの境界領域とセグメントの割り当てのデータとをそれぞれ格納する。セグメンテーションは、立体三次元表示のさらなる画像分析的処理のための基礎である。この処理において、画像表現は立体三次元表示にて形成され、セグメントされ、これは異なる画像処理操作に利用できる。この処理は、特定の形態計測、すなわち、三次元画像における3−D画像物体のセグメンテーションおよび測定の役に立つ。
【0012】
マーキングまたはセグメントの過程において、選択手段は仮想立体三次元画像空間内を画像物体に導かれ、あるいは画像物体の境界領域に沿って案内される。
このマークされた画像物体は、強調することができ、特に彩色しまたは拡大し、それによって選択された空間部分が立体三次元表示内でより見えるようになる。
【0013】
本発明をさらに発展させた態様においては、画像物体のマークされた空間部分が測定される。また、医療分野では、レーザー断層撮影、X線断層撮影、およびMR断層撮影のような種々の結像方法、あるいは顕微鏡の表示が使用され、そこから立体三次元表示の生成が可能となる。
仮想立体三次元画像空間の画像物体を測定するためには、少なくとも2個の画素、あるいは、好ましくは、画像物体の空間的部分にマークを付すことが必要である。
このようにして、立体三次元表示において、公知の二次元あるいは擬似の三次元表現の個々のデータを使用することができ、自動立体鏡表示による仮想立体三次元画像空間において、コストをかけることなく、それらを測定することができる。
測定時においては、正確さが増し、分析あるいは診断の処理が対象化されるという利点がある。画像物体のマーク部分を立体三次元表示から切り離し、かつそれを別々に表示することが好ましい。
【0014】
コンピュータの処理手順によって画像物体を自動的にセグメント化し、および/または測定することが可能である。
このために、参照物体を生成するためのデータをコンピュータの格納装置に格納することが好ましい。この参照物体に基づいて、関連する画像物体の自動セグメンテーションおよび測定が仮想立体三次元画像空間に生じる。
表示における特定の画像物体のセグメンテーション、測定、あるいは選択の場合において、画像解析、認識系、および、知識、特に神経回路網を基礎とした系を使用することが可能である。自動セグメンテーション、例えば、患者の身体の医療的立体三次元表示内の肝臓のセグメンテーションによって、能力を増大し、かつ分析/診断処理を対象化することができる。
【0015】
仮想立体三次元画像空間における画像物体の関連する部分の手動によるセグメンテーションあるいは測定は、自動処理の準備または確認に使用できる。
参照目標、例えば、あるサイズ、シェーディング、あるいは形状の参照物体をベースとした自動セグメンテーションにおいて、コンピュータの処理手順による立体三次元表示での予選択をなし、また、選択手段によってあるいはコンピュータのキーボードを介してつぎの手動処理を行うことが可能である。
【0016】
コンピュータは、フィルタリング、画像データの生成、あるいは画像データの圧縮による前処理のような、処理手順を可能とすることができる。
同様に、処理手順によって立体三次元表示の認識モデル化、較正、あるいは形態計測評価を行うことができる。この処理手順によって、形式化表示が存在する程度まで立体三次元表示の修正が可能である。
これによって、例えば出力信号、神経回路網、あるいは知識ベースの系に基づいた専門家の特殊な知識が満足させられる。
【0017】
本発明をさらに別の発展をさせた態様において、画像物体を処理するための、および、方法および特定の分析、診断、較正、およびインターフェース処理を適用するための基礎的な処理手順を行うのに、コンピュータが利用できる。この方法の中心は、自動立体鏡の視覚化による処理の結合であり、これは、アラインメント、フィルタリング、デコンヴォルーション、ビットマップ化などのような基礎的な処理手順によって前処理される。
特殊な処理手順によって、3−Dマニュピュレーション、手動セグメンテーション、測定、および立体鏡評価が可能である。
立体三次元表示に溶明されるメニュー制御によって、適当な性能を備えた分析・診断モデルの準備を目的とした、手動と自動の副処理における対話指向の相互作用的結合が可能となる。
【0018】
本発明をさらに発展させた特に有利な態様においては、本発明の立体三次元表示は自動立体鏡の形態にて発生する。
この場合、画像発生手段はディスプレイスクリーンであり、その前面に立体三次元表示が仮想立体三次元画像空間に浮かんで現れる。
選択手段は、3−Dポインター、あるいはポイント用スタイラスであり、これは、仮想立体三次元画像空間内のある画素を表示し、ポイント用スタイラス上の押しボタンを介してそれを選択するのに使用される。
【0019】
本発明をさらに発展させることによる利益は、従属請求項、および本発明の3つの実施例についてのつぎの説明により明らかになるであろう。
【0020】
本発明の第1実施例において、本画像物体処理方法は、医学の分野における脳腫瘍、発作、あるいは同様の疾病に適用される。患者の頭部は、コンピュータ断層撮影、磁石旋回断層撮影、あるいはX線処理を介して分析され、その結果は立体三次元表示に使用される。本画像物体処理方法は、知識ベースのシステムによって、例えば腫瘍を、X線映像における影を利用して、自動的な局所集中化および測定が可能である。
ポインターを利用することによって、興味のある画像物体、つまり、領域を分割することもでき、ここで、腫瘍は推測され、摘出され、そして擬似カラーで拡大表示される。このようにして、医学における分析をかなり改善することができる。
【0021】
本発明の第2実施例において、断層写真が陽電子放射断層撮影法(PET)によって準備され、それから、立体三次元表示が生成される。手動のセグメンテーションおよび測定の間に、再生画像が腫瘍のトポロジーを評価するため自動立体鏡的形態にて表示される。
診査に関連する対象領域は、手動にてセグメント化され、形態学的特徴が決定されかつ測定される。さらに、参照物体が、分析または診断的問題の認識モデルの範囲内における情報を学習しつつ、展開される。
自動セグメンテーションおよび測定の場合において、評価は予め決定された診断モデルを基礎として現れる。これには、画像物体における関連部分の自動セグメンテーションおよび測定が含まれる。相互作用を通して、手動の補助的処置を介し、神経回路網によって、診断モデルを決定し、かつ、即時にそれを現実化することができる。
【0022】
本発明による画像物体処理方法の第3実施例は、電子機器の製造における品質保証に関するものである。
一分間当たり数千のはんだ付けポイントに及ぶスループットにてはんだ付けポイントに対する自動検査を行う場合、通常の試験基準には、はんだの分布、はんだの品質、部品の位置決め、およびはんだの量のエラーが含まれる。コンピュータに接続されたディスプレイスクリーンを介して、自動立体鏡的、立体三次元表示が生成され、これは、ディスプレイスクリーンの前面の仮想立体三次元画像空間に浮かび上がる。3−Dグラフィックは、ベクトルグラフィックであって、はんだ付けポイントを高解像度で表示することができる。3−Dポインターによって、三次元ディスプレイがセグメント化され、かつ測定される。品質特性を評価するために、X線映像または断層撮影法から決定された三次元画像が自動立体鏡的形態で表示される。
検査に関連する対象領域は、手動にてセグメント化され、形態学的特性が決定されかつ測定される。測定された画像物体は、コンピュータのメモリに学習情報として格納してもよい。
したがって、例えば、神経回路網に対する入力データは、診断モデル、例えば知識ベース系および神経回路網の組み合わせを基礎とする自動セグメンテーションまたは測定する物体により決定される。自動セグメンテーションおよび/または測定は手動セグメンテーションおよび/または測定と相互作用的に接続することができる。
同様に、仮想立体三次元画像空間における参照物体のように、スタイラスによって、例えば所望のはんだ分布のような、人工的画像物体を引き出すことも可能である。
【0023】
本発明による画像物体処理装置に関連する目的は、請求項14の特徴によって達成される。
したがって、ポイントデバイスは、仮想立体三次元画像空間内を自由に移動することができ、かつ、その位置を伝達するため、ポイントデバイスは伝達手段を含んでいる。コンピュータは、立体三次元表示の画素をその位置に応じたポイントデバイスに配置する。
【0024】
個々の物体を選択しかつ処理するため立体三次元表示を解像する必要がないことは、本発明によって認められている。
ポイントデバイスを用いることによって、仮想立体三次元画像空間内の物体を選択することができる。この処理において、ポイントデバイスは、二次元の面上を案内されることはないが、オペレータによって仮想立体三次元画像空間内を自由に移動することができる。ポイントデバイスの位置は、伝達手段を介してコンピュータに伝達される。この仮想立体三次元画像空間内の運動は、例えば、オペレータの体の前の腕によって行われる。
ポイントデバイスが仮想立体三次元画像空間内の位置を変えることによって、仮想カーソルが、仮想立体三次元画像空間内を変移することになる。
この方法は、例えば、2つの視界がそれぞれの眼に赤と緑の表示で発生する立体写真技法、あるいは、視界が交互に表示され、一対の眼鏡を介して正しい眼に切り換えられうるシャッター技法のような眼鏡を用いる立体鏡法に適用可能な点で優れている。
【0025】
しかしながら、本発明は、自動立体鏡三次元表示に適用可能である点で非常に優れていて、この立体三次元表示は、視覚の補助としてのガラスレンズを必要としない。
これにおいては、両眼に対する視界が両眼に対して同時に表示され、光学的手段がそれぞれ対応する眼に視界を生じさせる。このために、ビューアーの運動が得られ、そして、両方の視界が、例えば、プリズムによって個々の眼に提供される。
本発明によると、示された三次元物体内の画素は、ポイントデバイスの運動を介して選択され、処理され、そして修正される。ポイントデバイスの運動から、コンピュータは、立体三次元表示の対応する画素を決定する。
【0026】
本発明の好適な一実施態様によると、コンピュータは、ポイントデバイスを正確にその画素に配置し、ポイントデバイスは仮想立体三次元画像空間内をその画素に案内される。
特に、自動立体鏡表示において、ポイントデバイスは仮想立体三次元画像空間内、つまり、立体三次元表示内を移動することが可能である。
このようにして、ポイントデバイスは、三次元物体を選択することができる。ポイントデバイスの位置は、伝達手段によってコンピュータに伝達され、コンピュータは、立体三次元表示の対応画素を測定し、それを、カーソルを介して、三次元物体内に表示する。
【0027】
本発明において、ポイントデバイスは伝達手段を含んでいる。データの伝達は伝達および/または受信ユニットを介してワイヤレスで行うのが好ましい。
このために、位置と制御信号は、無線すなわち赤外線伝達路を介してポイントデバイスからコンピュータ内の受信ユニットに伝達される。しかしながら、金属探知器を介して空間内の位置を拾い出すことも可能であり、この金属探知器は、ポイントデバイスの金属頭部を検知する。
最後に、伝達手段は、ポイントデバイスとコンピュータを接続する簡単な接続ケーブルでもよい。
【0028】
ポイントデバイスは、ポイント用スタイラスとして設計および製作され、特に仮想立体三次元画像空間内に位置することが可能な尖端を備えているのが好ましい。
ポイント用スタイラスは、ボールペンのサイズおよび形状を有していてもよい。この場合、ポイント用スタイラス自体が伝達および/または受信ユニットのアンテナとして設計および製作される。
このような単純な方法で、ポイントデバイスは、仮想立体三次元画像空間内の位置に案内され、その結果、三次元物体の処理および修正が可能となる。
【0029】
ポイントデバイスは、画素を選択し、および/または処理を開始するための、少なくとも一つの選択手段、特に押しボタンを含むことができる。
この選択手段は、仮想立体三次元画像空間内における運動の開始あるいは終了ポイントを決定でき、または、ある三次元物体を選択することができる。しかしながら、この選択手段は、ディスプレイウィンドウを介してコントロールメニューからある処理手順を選択することもできる。このコントロールメニューは、仮想立体三次元画像空間内に仮想的に溶明する。
【0030】
本発明をさらに発展させた他の実施例において、立体三次元表示の処理を目的として、異なる処理手順のうちの一つを、仮想ツールヘッドとしてのポイントデバイスに関連づけることができる。
この処理手順には、例えば、輪郭を盛り上げたりあるいは深めたりするようなモデル化、グラビアあるいはテクスチャ、セグメント、フィルタリング、シェーディング、カラーリング、あるいはドローイングの適用が含まれる。
ポイントデバイスの処理手順の一つが予めポイントデバイスに割り当てられるか、あるいは、その処理手順が、処理の間に、仮想立体三次元画像空間内に仮想的に表示されたメニューウィンドウの中から選択される。ポイントデバイスを位置決めした後、処理手順が、例えば押しボタンを介して開始する。
この場合、押しボタンを連続的に作動させることによって、ラインを生成したり、あるいはモデル化に使用することができる。
【0031】
立体三次元表示の修正は、ポイントデバイスに接続されたコンピュータにおいて処理手順によって演算することができ、それは、スクリーン上に、特に即時に、表示することができる。
ポイントデバイスによる変更は直ちに表示され、その結果、オペレータが立体三次元表示の処理に対する応答を受けとる。
最後に、コンピュータに立体三次元表示の変更を格納することができる。
【0032】
ポイントデバイスは、キーボードを介して、あるいは、立体三次元表示内に溶明するコントロールメニューを介して、例えばユーザー・インターフェースのプルダウンメニューを介して、処理手順を受け取ることが好ましい。
【0033】
要求があるときには、アイコンを仮想立体三次元画像空間に溶明させることもできる。そのアイコンは、ポイントデバイスの位置に対応している。このことは、アイコンがポイントデバイスに割り当てられた画素上に表示できることを意味している。
アイコンは、点滅するカーソル、手、あるいはツールであることが好ましい。例えば、医療分野では外科用メスを表示することができる。
【0034】
ポイントデバイスの位置決めには、仮想立体三次元画像空間内の仮想スケールあるいは他の測定機能によって補助するのが好ましい。これに関連して、スケールはメートル上の、あるいは対数上のスケールとすることができ、これらは、仮想立体三次元画像空間内に表示できる。
加えて、ポイントデバイスでアイコンあるいはマーキング要素を表示に適用することもできる。測定機能と処理手順の両方をコンピュータのライブラリーに格納できる。
【0035】
スクリーン上の立体三次元表示は、自動立体鏡の形態で発生する。このために、3−Dディスプレイが必要となる。これは、一つの眼に対して一つの視界がそれぞれ発生し、また、特に、光学的手段によって、2つの眼のうちの一つに対して同じものを再生する。
この処理において、立体三次元表示が生成され、ディスプレイスクリーンの前の仮想立体三次元画像空間に浮かぶように現れる。
【0036】
本発明のさらに優れた実施態様が、従属請求項およびその説明にて開示される。下記において、本発明の2つの優れた実施例を説明する。
【0037】
【発明の実施の形態】
第1の実施例による、本発明の画像物体処理装置は、コンピュータ、自動立体鏡ディスプレイスクリーン、および3−Dポイントデバイスを有している。ポイントデバイスの尖端には赤外線トランスミッタが含まれ、これにより、仮想立体三次元画像空間内にて尖端の関連づけができ、また、これをコンピュータによって測定することができる。
ポイントデバイスは、コンピュータのキーボードを介して、処理手順を受け取り、ポイントデバイスの尖端上における仮想ツールヘッドとして作用する。
これに関連して、変更の大きさ、種類、および量のようなあるパラメータを調整することもできる。コンピュータの働きによって、処理は、自動立体鏡の形態にて生じる立体三次元表示内においてさえも有効になる。
このために、コンピュータには、高速ベクトルグラフィックスが具備され、これは、ポイントデバイスによってなされた変更を立体三次元表示内に示す。
【0038】
第2の実施例において、本画像物体処理装置は、3−D用スタイラスとして設計および製作されたポイントデバイス、スタイラスあるいはオペレータの位置の観察・伝達装置のような立体鏡観察装置、自動立体鏡3−Dディスプレイスクリーン、インターフェース装置、コンピュータ形態の処理装置、および較正装置を有している。
【0039】
例えば、3−D用スタイラスは、一つ以上の赤外線ダイオードを具備し、また、オペレータによって、精細な画像領域内を相応じて移動する。赤外線ダイオードの光点は、観察装置によって捕捉される。
この観察装置は、2つのカメラを有している。カメラによって捕捉された光点の位置は、観察装置によって測定されコンピュータ内に格納される。第2の光点が、その位置ばかりでなく、仮想立体三次元画像空間内のスタイラスの配置を決定することを可能とするため、形成される。
これは、時間的、空間的構造あるいは色によって3−D用スタイラスの尖端の光点から区別される。第2の光点のため、回転運動時におけるスタイラスの回転角度を決定することができる。これらの光点のため、オペレータは、自動立体鏡スクリーンによる光学的表示内のスタイラスの位置および所在が見え、したがって、3−D用スタイラスをそれに応じて向きを変え、かつ移動することができる。
【0040】
較正によって、そのオペレータにとって特定の立体鏡的画像を決定でき、また、それを表示に利用できるようにすることができる。
さらに、ポイント用スタイラスによって、観察装置およびオペレータの仮想表示の関連付けを相互に適合させることができる。例えば、カメラによる、測定操作から決定された測定値は、全体表示のためコンピュータのディスプレイスクリーンに引き継ぐことができる。
【0041】
スタイラスの位置、したがって、オペレータの位置は、さらなるステレオカメラ装置によって決定できる。この場合、オペレータの位置は、例えば、仮想物体が仮想立体三次元画像空間内に静的にとどまるような状態で、立体画像のため演算される。
【0042】
3−D用スタイラスは、ボールペンのような形の人間工学的形状のケーシングを有し、1個から5個のIR伝達ダイオードが包含されており、これは、1つ以上の機械的に安定した光ファイバに接続されている。
IR伝達ダイオードには、ケーブルまたはアキュムレータを介して外部から電流が供給され、そのため導電体とは無関係である。
【0043】
IR伝達ダイオードは、連続したあるいは変調された信号を伝達し、それによって2つの異なった赤外線の光点が、互いに一定間隔離れて仮想立体三次元画像空間に生じる。
これらのIR光点は、スタイラスの位置および所在を決定するため捕捉され、かつ、復調される。
【0044】
3−D用スタイラスは、2つの押しボタンを有することもでき、その一方は、伝達機能を作動させ、他方は、較正、ケーブルを介した状態、トランスミッタを介した状態、単一方向または双方向の受信を含むいくつかの処理機能を決定することを可能とできる。
【0045】
単純な場合には、3−D用スタイラスの尖端を特定するために一つの光点だけが必要である。しかしながら、この場合、処理機能の選択は、3−D用スタイラスの所在と無関係に行われるだけである。
【0046】
本発明の観察装置は、2つまたは3つのカメラを備えた立体鏡装置として設計され、かつ製作される。オペレータの眼の位置、観察方向、あるいは間隔を記憶するためにさらにカメラ装置を使用することも可能である。
このカメラ装置の配置によって、精細な画像空間が形成され、この精細な画像空間は、明度、および焦点深度によって形成することができる。
【0047】
この観察装置の場合、CCDカメラ、ファースト・フレーム・グラバー、画像格納アレイ、PCIバス指向捕捉処理技法を用いるのが好ましい。
【0048】
ディスプレイは、自動立体鏡3−Dディスプレイとして設計・製造され、観察者に対して、表示物体は、実際のディスプレイ前の仮想立体三次元画像空間に現出するように見える。
【0049】
デジタル・インターフェースは、スタイラスおよび観察装置とコンピュータとの間の通信を確実なものとしなければならない。
このインターフェースは、赤外線インターフェースとして、あるいは導電体をベースとした従来のインターフェースとして設計できる。
【0050】
処理装置、例えばコンピュータを用いる場合、実際のスタイラスの位置は、検知、格納され、グラフィック表示に関連し必要な場合に用いられる。
【0051】
較正装置は、参照装置の適応および変換を保証するための機能を有している。3−D用スタイラスは、カメラ装置によってビューアー空間内で検知され、自動立体鏡ディスプレイスクリーンの前の仮想立体三次元画像空間に表示される。
較正装置は、3−D用スタイラスの実際の位置に関連して自動立体鏡表示を適応させる。しかしながら、較正装置は、オペレータの個々の画像特性に合わせて画像を調整することができる。このために、オペレータは、仮想3−D較正空間を利用することができる。
ここで、オペレータは、選択されたポイント上でクリックすることにより較正を実施する。この較正空間は、デカルト立法体空間の形態を有することができる。
【0052】
形態計測機能には、精細な仮想立体三次元画像空間のスケーリングが必要であり、ここでは、ポイント用スタイラスの位置が検知される。
これは、形成されたスケールの座標への溶明と、較正装置によって測定されるべき画像内における対応オフセットとによって起こる。
【0053】
較正の間、実際のポイントデバイス、例えば三次元用スタイラスのカメラ画像が、仮想物体空間の画像と比較される。仮想物体空間内に描かれた参照物体、例えば、正八面体を画素上でクリックすることができる。
これらの画素は、オペレータには、立体鏡の形態で見える。次いで、これらの画素は、観察装置を介して取得することができ、また、立体画像の表示のため、コンピュータによってオフセットされる。
オペレータによって観察されるにともない、ポイントデバイスの位置は、観察装置によって反映され、その位置が相互に一致する場合、スタイラスを移動し、較正用キーをクリックすることによって調整することができる。
このようにして、装置を操作するオペレータは、アプリケーション自体の開始前に、ポイントデバイス上の較正ボタンを用いて装置を較正することができる。
【0054】
【発明の効果】
本発明の立体三次元表示における画像物体処理装置は、例えばCADのような技術的用途、芸術や工芸用の3−Dデザインのみならず、医療診断および治療におけるデザイン的職務にも使用できる。
ポイントデバイスは、特に、相互作用的職務、例えば、コンピュータ上にて動作するプログラムにおける表示の質の向上および補正に使用することができる。
これに関連して、処理は、自動立体鏡ディスプレイ内にて行われ、これによって、コンピュータに格納された画像データを変更することができる。
JP2000519376A 1997-10-30 1998-10-26 画像処理方法および装置 Pending JP2001522098A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE19747881.6 1997-10-30
DE1997147881 DE19747881A1 (de) 1997-10-30 1997-10-30 Bildbearbeitungsvorrichtung
DE1997152341 DE19752341A1 (de) 1997-11-26 1997-11-26 Verfahren zur Bearbeitung von Bildobjekten
DE19752341.2 1997-11-26
PCT/DE1998/003138 WO1999023586A2 (de) 1997-10-30 1998-10-26 Verfahren und vorrichtung zur bearbeitung von bildobjekten

Publications (2)

Publication Number Publication Date
JP2001522098A JP2001522098A (ja) 2001-11-13
JP2001522098A5 true JP2001522098A5 (ja) 2006-01-05

Family

ID=26041196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000519376A Pending JP2001522098A (ja) 1997-10-30 1998-10-26 画像処理方法および装置

Country Status (5)

Country Link
US (1) US6734847B1 (ja)
EP (1) EP1025520B1 (ja)
JP (1) JP2001522098A (ja)
DE (1) DE59805342D1 (ja)
WO (1) WO1999023586A2 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10008806A1 (de) * 2000-02-25 2001-12-06 Siemens Ag Hautprojektor
US6727924B1 (en) * 2000-10-17 2004-04-27 Novint Technologies, Inc. Human-computer interface including efficient three-dimensional controls
GB2374663A (en) * 2001-04-18 2002-10-23 Nokia Corp Presentation of images
US6771957B2 (en) * 2001-11-30 2004-08-03 Interdigital Technology Corporation Cognition models for wireless communication systems and method and apparatus for optimal utilization of a radio channel based on cognition model data
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6671651B2 (en) * 2002-04-26 2003-12-30 Sensable Technologies, Inc. 3-D selection and manipulation with a multiple dimension haptic interface
US7266778B2 (en) * 2002-10-02 2007-09-04 Hewlett-Packard Development Company, L.P. Freezable projection display
FI117986B (fi) * 2003-06-17 2007-05-15 Onesys Oy Menetelmä ja järjestelmä navigoimiseksi tosiaikaisesti kolmiulotteisessa lääketieteellisessä kuvamallissa
CN100366212C (zh) * 2004-04-30 2008-02-06 株式会社东芝 用于管理和显示医学图像的系统和方法
WO2005119376A2 (en) * 2004-06-01 2005-12-15 Vesely Michael A Horizontal perspective display
US20060209019A1 (en) * 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
US8717423B2 (en) 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
US7907167B2 (en) * 2005-05-09 2011-03-15 Infinite Z, Inc. Three dimensional horizontal perspective workstation
DE102005063217C5 (de) 2005-12-22 2022-08-18 Pilz Gmbh & Co. Kg Verfahren zum Konfigurieren einer Überwachungseinrichtung zum Überwachen eines Raumbereichsund entsprechende Überwachungseinrichtung
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US8520060B2 (en) * 2007-02-25 2013-08-27 Humaneyes Technologies Ltd. Method and a system for calibrating and/or visualizing a multi image display and for reducing ghosting artifacts
DE102007023506A1 (de) 2007-05-18 2008-11-20 Spatial View Gmbh Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum
US9035968B2 (en) 2007-07-23 2015-05-19 Humaneyes Technologies Ltd. Multi view displays and methods for producing the same
DE102007057208A1 (de) 2007-11-15 2009-05-28 Spatial View Gmbh Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum
CN101959452B (zh) * 2008-03-06 2013-08-28 美国医软科技公司 用于交互式肝叶分割的系统和方法
US8717360B2 (en) 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
DE102010010002A1 (de) 2010-03-02 2011-09-08 Geuder Ag Verfahren zur Durchführung einer virtuellen Operation zu Trainingszwecken
DE102010010001A1 (de) 2010-03-02 2011-09-08 Geuder Ag Verfahren zur Entwicklung und virtuellen Erprobung eines chirurgischen Instruments
US8994743B2 (en) * 2010-12-07 2015-03-31 Life Technologies Corporation Virtual cellular staining
US8786529B1 (en) 2011-05-18 2014-07-22 Zspace, Inc. Liquid crystal variable drive voltage
CA2851839C (en) 2011-10-17 2020-09-15 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
CN102945127B (zh) * 2012-11-05 2016-04-27 深圳市旭东数字医学影像技术有限公司 体绘制显示的交互方法及其系统
US9667889B2 (en) 2013-04-03 2017-05-30 Butterfly Network, Inc. Portable electronic devices with integrated imaging capabilities
JP2015069895A (ja) * 2013-09-30 2015-04-13 パナソニックIpマネジメント株式会社 照明制御装置及び照明制御システム
CN106999724A (zh) * 2014-11-21 2017-08-01 三菱电机株式会社 粒子射线治疗设施的设计辅助方法、粒子射线治疗设施的制造方法及粒子射线治疗设施
EP3534240A1 (de) * 2018-03-01 2019-09-04 CMORE Automotive GmbH Verfahren und vorrichtung zur daten-annotation
KR102216749B1 (ko) * 2019-03-05 2021-02-17 네이버웹툰 유한회사 타겟 이미지의 채색 완성 방법, 장치 및 컴퓨터 프로그램

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4879668A (en) * 1986-12-19 1989-11-07 General Electric Company Method of displaying internal surfaces of three-dimensional medical images
JPS63174122A (ja) * 1987-01-05 1988-07-18 コンピュータ・エツクス・インコーポレーテツド コンピユーターヒューマンインタフエース
US5185809A (en) * 1987-08-14 1993-02-09 The General Hospital Corporation Morphometric analysis of anatomical tomographic data
JPH03231643A (ja) * 1990-02-08 1991-10-15 Toshiba Corp 画像表示装置
JP2938502B2 (ja) * 1990-03-01 1999-08-23 株式会社東芝 画像表示装置
CA2079094A1 (en) * 1990-03-28 1991-09-29 Tyrone L. Hardy Three-dimensional graphics simulation and actual imaging data composite display
US5228443A (en) * 1992-03-27 1993-07-20 General Electric Company Method for estimation and display of current source distribution from electric and magnetic measurements and 3D anatomical data
JPH06131442A (ja) * 1992-10-19 1994-05-13 Mazda Motor Corp 3次元虚像造形装置
US5898793A (en) * 1993-04-13 1999-04-27 Karron; Daniel System and method for surface rendering of internal structures within the interior of a solid object
US5754688A (en) * 1993-06-04 1998-05-19 Eli Lilly And Company Method and apparatus for stereologic analysis of two-dimensional images
FR2708166A1 (fr) * 1993-07-22 1995-01-27 Philips Laboratoire Electroniq Procédé de traitement d'images numérisées pour la détection automatique de sténoses.
JPH0749744A (ja) * 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US5826245A (en) * 1995-03-20 1998-10-20 Sandberg-Diment; Erik Providing verification information for a transaction
GB9505664D0 (en) 1995-03-21 1995-05-10 Central Research Lab Ltd An interactive display and input device
US5732697A (en) * 1995-11-22 1998-03-31 Arch Development Corporation Shift-invariant artificial neural network for computerized detection of clustered microcalcifications in mammography

Similar Documents

Publication Publication Date Title
JP2001522098A5 (ja)
US6734847B1 (en) Method and device for processing imaged objects
AU2016290620B2 (en) System and method for scanning anatomical structures and for displaying a scanning result
US7965304B2 (en) Image processing method and image processing apparatus
DE60313412T2 (de) Video-Überlagerungsvorrichtung und -verfahren
DE60205662T2 (de) Vorrichtung und Verfahren zur Berechnung einer Position einer Anzeige
US6570566B1 (en) Image processing apparatus, image processing method, and program providing medium
CN101243475B (zh) 具有根据临床任务工作流程的简单点击风格交互的特征的方法和设备
EP1369769A2 (en) System and method for measuring the registration accuracy of an augmented reality system
US11734876B2 (en) Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity
US10878285B2 (en) Methods and systems for shape based training for an object detection algorithm
US20150213645A1 (en) Providing a Spatial Anatomical Model of a Body Part of a Patient
Hu et al. Head-mounted augmented reality platform for markerless orthopaedic navigation
JP4445622B2 (ja) 三次元計測内視鏡装置、被写体計測表示装置、三次元計測内視鏡の被写体計測表示方法、及び被写体計測表示方法
US20170103569A1 (en) Operator interface for 3d surface display using 2d index image
DE102004061841B4 (de) Markerloses Tracking System für Augmented Reality Anwendungen
US11803101B2 (en) Method for setting the focus of a film camera
CN107884930B (zh) 头戴式装置及控制方法
US20030179249A1 (en) User interface for three-dimensional data sets
JP2002318344A (ja) 光学機器のオートフォーカシング方法および装置
JPH09179998A (ja) 3次元画像表示システム
US20240015392A1 (en) Kamera-Assistenzsystem
JP2020187557A (ja) 温度画像表示装置、温度画像表示システムおよび温度画像表示プログラム
US11445165B1 (en) Method, system and computer readable storage media for visualizing a magnified dental treatment site
JP6701277B2 (ja) 情報処理装置、情報処理方法、プログラム