JP2005521123A - 光学顕微鏡検出３次元画像の生成方法及び生成装置 - Google Patents

Abstract

【課題】 作動に関する技術上の難度はより少なく、かつ同時に３次元表示における画質（画像の質）が改善された、光学顕微鏡による３次元画像を生成する方法及び装置を提供すること。
【解決手段】 ３次元の対象物（２２）を対象物画像（３０）として表示する方法であって、初めに、前記対象物（２２）から、異なる複数のフォーカス面においてそれぞれ撮像された（複数の）画像（２６）から構成される積層画像（２４）が生成される形式の方法において、前記積層画像（２４）から、３次元の高さレリーフ画像（２８）が生成され、及び該３次元の高さレリーフ画像（２８）が、テクスチャ（２９）と組合せられること（とりわけテクスチャ（２９）が前記３次元の高さレリーフ画像（２８）に投影されること）を特徴とする。

Description

本発明は、請求項１の上位概念による３次元的な対象物の表示方法及び請求項１７の上位概念による３次元的な対象物の表示装置に関する。即ち、本発明の表現方法は、３次元の対象物を対象物画像として表示する方法であって、初めに、前記対象物から、異なる複数のフォーカス面においてそれぞれ撮像された複数の画像から構成される積層画像が生成される形式の方法に関する。また本発明の表現装置は、３次元の対象物を対象物画像として表示するための装置であって、結像システム（とりわけ対象物を結像するための顕微鏡）と、コンピュータと、ｘ−、ｙ−及びｚ方向において対象物を目標を定めて迅速に位置変化するための複数のアクチュエータ（Aktoren）と、撮像装置（とりわけ対象物の異なる複数のフォーカス面において撮像される（複数の）個別画像から構成される積層画像を生成するためのアナログ又はデジタル式ＣＣＤカメラ）と、前記結像システムのハードウエアを制御するための制御装置とを有する装置に関する。

例えば顕微鏡、マクロスコープ等のこの種の既知の装置は、物理法則に基づいて対象物を観察するのに使用される。鮮鋭度及び（焦点）深度、注視角（Sichtwinkel）及び時間依存性に関する制限は、良好な技術があっても甘受せざるを得ない。

顕微鏡による結像方法において焦点深度及び物理的に制約される限界を改善するために、一連の装置及び方法が既に存在してはいる。このような装置としては、例えばあらゆる種類の光学顕微鏡が存在し得る。例えば共焦点走査顕微鏡もその１つである。共焦点走査顕微鏡では、試料は、１つの面内で光ビームのスポットによって点状に走査されるため、当該面の画像−勿論焦点深度は浅い−が得られる。種々異なる多数の面を撮像し、相応に画像処理することにより、対象物を３次元的に表示することができる。この種の共焦点走査顕微鏡検出方法は、例えばＵＳ６，１２８，０７７（特許文献１）から既知である。しかしながら、共焦点走査顕微鏡で使用される光学要素は非常に高価であり、操作者には十分な技術的理解が要求される上、非常に多くの調整作業も必要である。

更に、蛍光（ルミネセンス）顕微鏡のための方法が、ＵＳ６，０５５，０９７（特許文献２）から既知である。この顕微鏡では、試料に着色剤が施与され、この着色剤は適切な照明条件の下で蛍光を発するため、照明することにより試料中における着色剤の位置を特定することができる。立体的画像を生成するために、異なる複数のフォーカス面においてそれぞれ画像が撮像される。これら複数の画像は、それぞれ、そのフォーカス面から直接得られる画像情報と、当該フォーカス面の外部に位置する対象物（試料）の空間部分から得られる画像情報とを含む。鮮鋭な画像を得るためには、当該フォーカス面から生成するもの以外の画像成分を除去しなければならない。このため、例えば定在波又は非周期的励起野のような特別の照明野により試料を照明することを可能にする光学系を顕微鏡に設けることが提案される。このような通常の顕微鏡検出結像（画像）は、その結像方法の焦点深度が制限されているため光学的に限界があり、また観察態様即ち覗き込みの角度によって、画像の表示は制約される。顕微鏡検出画像は、部分的に不鮮鋭になることがある。この不鮮鋭さは、とりわけ対象物が平坦でないことが原因である。なぜなら、対象物表面は、完全にはそれぞれのフォーカス面に位置しないことがしばしばあるからである。更に、通常の結像システムでは、顕微鏡又はマクロスコープにより対象物に対する観察方向が規定されるため、対象物に対する他の注視（観察）角度（例えば対象物表面に対する接線方向）は、大掛かりな新たな試料調製や、対象物自体を新たに位置調整をしなければ不可能である。

これらすべての光学的方法では、結像精度が焦点深度の限界により制限されている。

ＵＳ６，１２８，０７７ ＵＳ６，０５５，０９７

未公開のドイツ特許出願ＤＥ １０１ ４９ ３５７．６には、顕微鏡検出対象物の表面を焦点深度が深い（大焦点深度の）３次元的画像を生成するための方法及び装置が記載されている。そのため、対象物の表面輪郭（プロファイル）が３次元座標系（ｘ、ｙ、ｚ）において光学的に測定される。この方法では、顕微鏡検出対象物の異なる複数のフォーカス面がＣＣＤカメラによりデジタル又はアナログ的に撮像される。このため、各フォーカス面に対してそれぞれ１つの画像が生成され、以って「積層画像」が生成される。この積層画像は、撮像中顕微鏡の下に静置された対象物の異なる複数のフォーカス面から得られた複数の画像から構成（合成）される。積層画像を構成するこれらの画像は、何れも、大きな細部（局所）鮮鋭度（Detailschaerfe）を備える鮮鋭な画像構造の領域と、画像の撮像時にはそのフォーカス面の外部に位置し従って不鮮鋭でありかつ大きな細部鮮鋭度を伴わずに画像中に存在する領域とを含む。この意味において、あるひとつの画像は、（フォーカス面内の）細部鮮鋭度の大きい画像部分領域と、（フォーカス面外の）細部鮮鋭度の小さい画像部分領域との集合として理解することができる。画像分析方法により、積層画像の個々の画像から、細部鮮鋭度の大きい画像領域の部分集合を抽出することができる。結果画像において、当該個々の画像の細部鮮鋭度が大きい部分集合、即ち各フォーカス面に位置する画像領域がすべて抽出されて組み合わされ（統合され）１つの新たな全体画像を構成する。これにより完全に細部鮮鋭的な新たな１つの画像が生成する。

大きな細部鮮鋭度を有する個々の画像の部分集合が生成する各フォーカス面間の相対的な位置関係は既知なので、積層画像における個々の画像間の間隔も既知である。従って、更に、顕微鏡検出対象物の３次元的表面輪郭形状（プロファイル）を生成することができる。

大焦点深度の画像及び撮像された対象物領域の３次元的表面再構築を実行可能にするために、対象物の異なる複数のフォーカス面から予め画像列ないしシーケンス（Bilderfolge）を生成することが必要とされる。

従来は、顕微鏡載物台の高さを調節することによる、即ち対象物と対物レンズとの間の距離を調節することによるフォーカス面の変更は、載物台を機械的に位置調節することによって行っていた。載物台の大きな質量及びこれに伴うシステム全体の慣性のため、異なる複数のフォーカス面における画像撮像のための所定の速度限界は、下回ることはできなかった。（各フォーカス面において所定の速度以上の速度で画像を撮像しなければならなかった。）

未公開のドイツ特許出願ＤＥ １０１ ４４ ７０９．４には、ステップモータ制御法及び／又はサーボモータ制御法と組み合わせた圧電アクチュエータを用い、異なる複数のフォーカス面にある積層画像の個々の画像を正確かつ高速に画像記録するための改善された方法及び改善された装置が記載されている。この方法では、対物レンズと対象物との間の距離の正確かつ迅速な変化と、例えば圧電制御対物レンズ、圧電制御載物台、圧電アクチュエータと標準的なステップモータ制御又は他の任意の載物台位置調節との組合せのような種々のアクチュエータによるｘｙ面での対象物の位置調節とによって、フォーカス面の位置調節が達成される。圧電アクチュエータを使用することにより、調節の正確さ・精密さが向上する。更に、調節速度は、圧電アクチュエータにより加速される。これに加えて、デコンボルーション技術を適切に挿入ないし適用することによって画質（画像の質）及び評価の質をどの程度更に改善できるかについても記載されている。

しかしながら、このような自動的に調節可能な対象物保持体（支持装置）によって表面を走査することによっては、対象物自体を全体的に大焦点深度の観察をすることはできない。また、走査領域全体を３次元的に表示することも不可能である。更に、立体的な表示を回転させたり、種々異なる角度から観察したりすることもできない。

それゆえ、本発明の課題は、作動に関する技術上の難度はより少なく、かつ同時に３次元表示における画質（画像の質）が改善された、光学顕微鏡による３次元画像を生成する方法及び装置を提供することである。

上記の課題は、請求項１の特徴部の特徴を有する３次元の対象物の表示方法、及び請求項１７の特徴部の特徴を有する装置により解決される。即ち、請求項１によれば、本発明の表示方法は、前記積層画像から、３次元の高さレリーフ画像が生成され、及び該３次元の高さレリーフ画像が、テクスチャと組合せられること（とりわけテクスチャが前記３次元の高さレリーフ画像に投影されること）を特徴とする。また請求項１７によれば、本発明の表示装置は、前記積層画像の複数の個別画像から３次元の高さレリーフ画像及びテクスチャを生成するための分析装置、及び該３次元の高さレリーフ画像と該テクスチャとを組合せるための制御装置を有することを特徴とする。

本発明によれば、現実の対象物から、複数の光学顕微鏡検出画像から構成される１つの積層画像が得られる。適切な方法、とりわけソフトウエア的方法により、１つの積層画像から１つの表面レリーフ画像（Oberflaechenreliefbild）が得られ、次いで、この表面レリーフ画像を１つのテクスチャと組み合わせることにより、対象物の画像が生成される。テクスチャと高さレリーフ画像（Hoehenreliefbild）とを組み合わせるためには、１つのテクスチャを高さレリーフ画像に投影するととりわけ有利である。この場合、テクスチャもまた積層画像のデータから得ることができる。

この方法によって、現実の対象物の仮想画像が生成されるが、この仮想画像は仮想画像に課せられるすべての要求を満たしている。このため、この対象物画像は、仮想画像に対して行い得る操作によって処理することができる。一般的には、仮想現実（バーチャルリアリティ）においては、とりわけコンピュータプログラムで実現される適切な方法を用いて、適切に計算された仮想の物体によってできるだけ良好に現実（感）が表現されるよう試みられる。仮想のランプ（光源）及びシャドウ投影により、また屈折率の調節のような物理法則及び物理特性のシミュレーション、例えば対象物の弾性、重力作用、物質の影響下にある仮想空間での仮想光ビームの光線追跡、所謂レイトレーシング及びその他の多くの特性をシミュレートすることにより、一層より実在感のある現実のシミュレーションがコンピュータで成功している。

通常は、純粋な仮想空間では、シーン及びシーケンス（Ablaeufe）がデザイナーによって全くに新たに生成されるか、或いは既存のリソースが用いられる。これに対し、本発明では、現実の結像システム、とりわけ顕微鏡が、現実の仮想的画像の生成に必要なデータの生成のために使用される。これらのデータは、仮想的な３次元の物体が自動的に表示されるように処理することができる。この場合、１つの特徴（Besonderheit：特異性）は、現実の対象物から１つの高さレリーフが求められ、このレリーフに、有利には対象物から得られたデータから求められる１つのテクスチャが配されることである。この場合、テクスチャを高さレリーフ画像に投影することによりとりわけ良好な結果が達成される。

本発明の本質的な利点は、本発明の方法を使用することにより、通常の光学顕微鏡及び光学マクロスコープとが、光学顕微鏡又は光学マクロスコープのような現実の光結像システムによって得られた例えば静的３次元表面情報又は不鮮鋭な画像情報のような生データを１つの新たな画像に組み合わせることにより拡張されるということである。従って、実際に得られた部分情報のすべて、又は任意の組合せないし部分集合を同時に表示することができる。

更なる利点の１つは、個々の又は時間的に順次連続する大焦点深度で計算されたマルチフォーカス画像（複数）と、同様に得られた所属の３次元的表面情報とが互いに融合（統合）できるということである。この融合（統合）プロセスは、大焦点深度の（焦点深度が深い）マルチフォーカス画像を所属の３次元的表面の表面テクスチャとして認識することによって実現される。この表面テクスチャを３次元的表面に投影することによって、融合（統合）プロセスは達成される。

本発明により得られる新たな３次元的仮想画像は、同時に２つの情報、即ち３次元的表面情報及び完全に鮮鋭な画像情報を有する。この画像表示は、「仮想現実（バーチャルリアリティ）３Ｄ光学顕微鏡検出法」と称することができる。というのは、上述のデータ融合（統合）は、「現実の」顕微鏡では実行することができないからである。

対象物の異なる複数のフォーカス面で撮像された個別画像（複数）から構成される積層画像を生成するために、既に詳述した方法ステップを実施することができる。このため、とりわけ上記ＤＥ １０１ ４９ ３５７．６に記載された３次元表面再構築（再構成）方法を使用することができる。この方法により、２つのデータセットが（それぞれ）１つの画像の形態で得られる。一方の（第１の）データセットは、顕微鏡検出対象物の高さ情報を符号化するが、以下これをマスク画像という。

第２のデータセットは、コントラストが大きく、完全な大焦点深度（tiefenscharf）の顕微鏡検出画像であり、以下これをマルチフォーカス画像という。このマルチフォーカス画像は、マスク画像を利用して生成されるが、これは、最も鮮鋭なピクセルを有する面を同定し、かつ積層画像中の該面の対応するピクセルを、統合を行うマルチフォーカス画像にコピーするために、マスク画像−グレー値を使用することによって行われる。

既述の通り、例えばＤＥ １０１ ４４ ７０９．４に記載されたような方法ステップは、フォーカス面の列の方向（ｚ方向）では比較的大きな解像度で対物レンズ及び／又は載物台（試料ステージ）に対する圧電技術により、及び個々のフォーカス面内（ｘ−、ｙ方向）では比較的大きな領域にわたり対象物をスキャンすることにより、（それぞれ、）マスク画像（複数）及びマルチフォーカス画像（複数）を生成するのに利用することができる。

従って、マスク画像は高さ情報を有し、マルチフォーカス画像は大焦点深度の純粋な画像情報を有する。次に、マスク画像から、３次元高さレリーフ画像（擬似画像：Pseudobild）が生成される。擬似画像は、マスク画像が高さレリーフとして構成されることによって生成される。擬似画像は、高さ情報以外には直接的な画像情報を有しない。従って、３次元擬似画像は、いわゆる「高さレリーフ」を構成する。次のステップにおいて、３次元擬似画像には、積層画像の鮮鋭な画像部分（複数）の現実の「テクスチャ」（Textur）が配備される。このため、擬似画像とマスク画像は適切に、とりわけ擬似画像の高さ情報及びマスク画像の画像情報、即ちテクスチャがピクセル的に（ピクセルに関して）正確に（pixelgenau）重なり合うよう揃えられる（配向される:ausgerichtet）。これによりマルチフォーカス−テクスチャ画像の各ピクセルは、３次元擬似画像にその所属するピクセルに正確に結像されるため、「現実の対象物の仮想画像」（virtuelles Bild des realen Objektes）が生成される。

これまで一般的であった対象物を結像するための光学顕微鏡検出方法は、物理的制約が多いため、その表示能力（可能性）には限界があった。本発明は、そのような制約は大幅に解消されており、顕微鏡検出対象物の検査及び表示のための多数の新たな可能性を利用者に提供する。

本発明を使用するために、特別の技術的知識がなくても利用者が本発明を使用することができるような、適切なユーザインタフェースを規定することができる。更に、本発明は、大きな面の３次元表示にも使用できる。実際に得られた顕微鏡検出画像情報又はマクロスコープ画像情報を「仮想現実空間」（Virtual Realty Raum）において結像（画像化）することにより、通常の光学顕微鏡に対し、仮想世界のすべての技術への門が開かれる。生成される画像は、従来の光学顕微鏡と比較して、格段により明瞭かつより表現力のある顕微鏡検出結像（画像）を提供し、以って、ユーザは、仮想現実に関しこれまで既に知られているあらゆる結像（画像生成）方法及び操作方法を使用することができるようになる。

仮想画像は、通常の対象物画像では使用される光学系が焦点深度に限界があるために生じる鮮鋭度の限界はない。従って、仮想画像は、完全に鮮鋭に生成される。仮想画像は、同時に、完全な深さ情報（Tiefeninformation）を有する。このため、現実の顕微鏡検出対象物の、３次元的に作用し実物どおりの 「完全に鮮鋭な」仮想画像が生成する。

本発明の好ましい一実施形態では、画像生成は、コンピュータにおいて仮想的に実現される。この場合、仮想画像に対し使用可能なすべての画像表示及び処理操作の手段（可能性）を利用することができる。このような手段には、現実に顕微鏡的に検出された表面と純粋な仮想表面とを重畳すること（手段）から、大焦点深度の３次元表面を任意の角度で観察する手段に至るまで含まれる。（複数の）表面は、仮想的に動画（アニメーション）化、照明又はその他の態様で修飾される。例えば顕微鏡検出対象物の表面での時間的な変化（変動）のような時間依存性もまた、大焦点深度の画像情報及び３次元的表面トポロジーと同時に画像生成（結像）することができる。

このため、光学顕微鏡には全く新たな手段が与えられ、物理的制約による画像の質（画質）の限界は補償される。

本発明の有利な一実施形態では、以下の構成要素が使用される：
１．必要なアクセサリ（対物レンズ等）を備える顕微鏡、又はその他の適切な結像システム（例えばマクロスコープ）。
２．適切なアクセサリ（例えばモニタ等）を備えるコンピュータ。
３．対象物をｘ−、ｙ−、ｚ方向において目標を定めて迅速に位置調節するためのアクチュエータ（例えば圧電素子、ステップモータ等）。
４．必要な又は有利なアクセサリ（例えばキャプチャ（取り込み装置：Grabber）、ファイヤワイヤ、ホットリンク、ＵＳＢポート、無線データ送受信のためのブルートゥース、ネットワークを介する画像データ送受信のためのネットワークカード等）を備えるカメラ、とりわけアナログ又はデジタルＣＣＤカメラ。
５．顕微鏡のハードウエア（とりわけ載物台（試料テーブル）、カメラ及び照明装置）を制御するための制御装置。
６．マルチフォーカス画像、マスク画像、モザイク画像、及び「仮想現実３Ｄ光学顕微鏡検出画像」を生成するための分析装置。制御及び分析方法は有利にはソフトウエアとして実行される。
７．生成された「仮想現実３Ｄ光学顕微鏡検出画像」を表示、計算及び操作（例えば空間での回転、照明変化等）するための装置。この装置も有利には表示ソフトウエアで実行される。

コンピュータで使用されるソフトウエアは、顕微鏡、ｘ−、ｙ−、ｚ方向の載物台、場合により圧電アクチュエータ、照明装置、カメラ撮像装置、その他の顕微鏡ハードウエアを制御する。マスク画像及びマルチフォーカス画像を生成するための手続き、及び「仮想現実３Ｄ光学顕微鏡検出画像」の生成もこれによって制御することができる。

圧電制御される対物レンズ又は圧電制御される対象物ホルダの使用、又は圧電制御される対物レンズと圧電制御される対象物ホルダとの組合せにより、極めて高速で再現性がよく正確な対象物の位置決めを３つのすべての空間方向で行うことができる。大焦点深度の改善化画像分析方法と、３Ｄ復元（再構築）のための手段とを組み合わせると、顕微鏡検出表面の高速な３Ｄ復元が達成される。更に、鮮鋭度が計算され（scharfengerechnet）かつ３次元的な（dimensional）表面輪郭形状（プロファイル）を作成可能な画像モザイクを迅速に生成することができる。個別画像（複数）は、適切なＣＣＤカメラにより撮像される。更に、個別画像（複数）を適切な装置特性（Apparateprofil）により展開（Entfaltung）し、引き続き鮮鋭度計算と３Ｄ復元することにより、解像度が極めて高く、装置特性により補正された、焦点深度が深い（大きな）顕微鏡検出画像が得られる。

本発明の他の有利な一実施形態では、時間的シーケンスで複数の積層画像が撮像される。このような時間的に（順次）個別撮像した複数の積層画像を、時間的に順次連続する仮想現実３Ｄ画像へと上述のように変換することによって、例えば映画のようなアニメーション（動画）において時間的経過を有し完全に鮮鋭な３次元的画像を生成することができる。

本発明のさらなる有利な一実施形態は、アニメーション（動画）において複数の画像が互いの中へと入り込むよう関連付けられる（融合される）いわゆるモーフィング（Morphing）を使用することにより得られる。モーフィングは、既知の１つの開始画像と既知の１つの終了画像に基づいて、それまでは未知の更なる中間画像（複数）が計算されるような、画像間の補間である。（１つの）開始画像、中間画像（複数）、及び（１つの）終了画像を適切に順次並べ、そして既知の画像（複数）と補間された画像（複数）を時間的に順次連続して再生することにより、開始画像から終了画像へ連続的に変化していく印象が生じる。

モーフィングにより、時間的にも空間的にも少数の画像だけを現実に撮像すればよいため、上述の方法を加速することができる。仮想的表示のための他の画像はすべて、中間画像補間（Zwischenbild-Interpolation）による計算によって得られる。

「仮想現実３Ｄ光学顕微鏡検出画像」を生成するために、本発明においてとりわけ有利には、例えば光学顕微鏡又は光学マクロスコープ等の光学的結像システムからの現実のデータが使用される。ここで注意すべきことは、光学マクロスコープの場合には結像光学系に起因するゆがみないしひずみ（Verzerrung）がまず数学的に修正されるということである。仮想現実は、本発明によれば、自動的に又は部分自動的（半自動的）に又は手動で、その基礎をなす現実のデータから生成される。「仮想現実３Ｄ光学顕微鏡検出法」の得られたデータと仮想現実の既知の技術とをそれぞれ結合する可能性は、即ち、純粋に仮想的即ち現実の物理的データの直接的な影響を受けずに生成されるデータは、本発明の更なる利点の１つである。

本発明の更なる利点の１つは、「仮想現実３Ｄ光学顕微鏡検出法」のデータにより、例えば容積測定、（表）面積測定等のような３Ｄ測定を実行できる可能性である。

本発明の更に有利な一実施形態では、上述のように、画像分析的に調整及び／又は変更されたテクスチャ画像を３Ｄ表面上に投影する可能性が提供される。これにより、「仮想現実３Ｄ光学顕微鏡検出法」による更なる「拡張知覚（erweiterte Wahrnehmung）」が可能となる。というのは、変更されたテクスチャは、場所忠実的に（ortstreu）、３Ｄ表面に投影されるからである。これにより、画像分析的結果を３次元表面データと結合し、かつ同時に表示することが可能になる。このことは、上述の意味における画像分析的に影響を受けた撮像の時間連続ないし時間シーケンス（Zeitserien）にも当てはまる。

本発明の更なる利点の１つは、対象物の定義された表面部分領域（複数）を走査するために、モザイク画像のための方法を使用することができるということである。これら部分画像（複数）は、大焦点深度で統合（合成）され、所属の３Ｄ対象物表面データ（複数）と共に、（繰返し）走査された（eingescannten）対象物面の（１つの）「仮想現実３Ｄ光学顕微鏡検出画像」へと計算される。

本発明は、その幾多の利点の観点から、対象物における顕微鏡検出事象（データ）の知覚を格段に拡張可能であることをとりわけ特徴とする。このことは、顕微鏡により得られた３次元表面に完全に鮮鋭な画像を同時に表示することによって達成される。顕微鏡検出画像の仮想的３Ｄ現実感及び標準的プログラム及び方法への顕微鏡検出画像の仮想的表示の適合性によって、これまで仮想現実に対して形成されてきた知識及び手段をすべて取り入れることができる。

本発明の方法により生成される画像は、従来の顕微鏡により得られる画像よりも試料中の実際の関係（状態）により高い適合性（対応関係）を有する。なぜなら「仮想現実３Ｄ光学顕微鏡検出画像」では、完全な鮮鋭度に加えて、対象物の３次元情報もまた明確に生成されるからである。

更に、「仮想現実３Ｄ光学顕微鏡検出画像」は、画像を任意の位置に回転することにより種々異なる空間角度の下で観察することができる。更に、対象物画像は、透明化及びその他の標準的方法により、任意に処理操作し、他の顕微鏡検出ディテールを強調又は減衰することができる。

表現力（訴求力）及び顕微鏡検出対象物の人間の知覚に極めて近接する３次元表示により、全く新しい分析方法が得られる。「仮想現実３Ｄ光学顕微鏡検出画像」として表示される画像モザイクは、付加的に表示可能性を拡張する。

自動的時間連続ないし時間シーケンス（Zeitserien）により一又は複数の「仮想現実３Ｄ光学顕微鏡検出画像」を生成するための上述のシーケンスを完全自動化する可能性は、ユーザの技術的ノウハウに対し僅かな要求しか課さない。

現実に撮像された基礎データ（Basisdaten）から生成された「仮想現実３Ｄ光学顕微鏡検出画像」と、例えば観念的な（platonisch）基本物体ないし「基体」（Grundkoerper）又は他のより複雑な物体のような純粋に仮想的な対象物を差込入射する（重ね合わせる：Einblendung）ための手段（可能性）とを組み合わせることにより、知識伝達の新たな教育的手段（可能性）が得られる。「仮想現実３Ｄ光学顕微鏡検出画像」のデータと３Ｄサイバースペースメガネ（3D-Cyberspace-Brille）と組み合わせることにより、以前には見られなかった正確性と全体性で顕微鏡検出対象物を観察することが可能となる。

「仮想現実３Ｄ光学顕微鏡検出画像」のデータはコンピュータに記憶することができるので、データを他のシステムで表示すること、例えばイントラネット又はインターネットのようなコンピュータネットワークを介してデータ伝送すること、及び「仮想現実３Ｄ光学顕微鏡検出画像データ」をウェブブラウザを介して表示することも可能である。更に、３次元的画像分析も実行可能である。

仮想顕微鏡検出法、即ち、利用者による顕微鏡「なし」での、換言すれば得られた及び／又は記憶された「仮想現実３Ｄ光学顕微鏡検出画像データ」のみを基礎とする顕微鏡検出法により、現実の顕微鏡検出法と得られたデータの評価とを分離することができる。

標準的な照明を備える通常の標準的な光学顕微鏡は、本発明の３Ｄ画像の生成のために使用することができ、従って価格的にも妥当である。

本発明の更なる利点及び更なる有利な実施形態は、以下の図面及びその説明により明らかとなる。なお、図面の表示は見易さの観点から縮尺通りには記載していない。

図１に、本発明の方法の原理的フローの一例を示した。この方法に関しては、図２及び図３において実施例に基づき改めて詳細に説明する。対象物２２に基づき（図２）、方法ステップ１０において、対象物２２の複数のフォーカス面の各々から個別画像２６をそれぞれ手動で又は完全自動的に撮像することによって積層画像２４が生成される。個別画像間の距離ないし間隔は、大焦点深度の３次元画像を復元（再構築）できるように適切に計算されるが、有利には等間隔に維持される。個別画像２６の各々は鮮鋭な画像領域と不鮮鋭な画像領域を有するが、個別画像２６の画像間隔及び総数は既知である。画像（複数）は、撮像後、差し当たっては圧縮されないか、又はデータ損失を伴わない圧縮方法により圧縮されて方法ステップ１２で記憶される。個別画像２６は、カラー画像又は白黒画像とすることができる。カラーないしグレー値の解像度（８ビット、２４ビット等）も任意に選択することができる。

積層画像を生成する際には、複数の画像を１つのフォーカス面（ｘ−、ｙ方向）において並置し、フォーカス面のいわゆるモザイク画像が生成するようピクセル的に正確に再び合成する（組み合わせる）ようにすることも可能である。この場合、複数のモザイク画像から１つの積層画像２４を生成することも可能である。所望のフォーカス面（ｚ面：ｚ軸と直交する面）の各々において１つの個別画像を撮像した後には、更なる画像処理のための一連の（一続きの）個別画像２６を備える１つの積層画像２４が存在する。各ｚ面は互いに等間隔であると都合がよい。

積層画像２４を生成するために、結像システムを使用することが可能であるが、とりわけ顕微鏡又はマクロスコープが使用される。尤も、（１つの）対物レンズを備え適切に固定されたカメラシステムを使用することも可能である。結像システムが利用可能である限りにおいて、試料（対象物）の近紫外から遠赤外に至るまでのすべての照明（波長）領域が使用可能である。

撮像システムは、一般的に、アナログ又はデジタル式ＣＣＤカメラを有することができる。ＣＣＤカメラは、すべての形式、とりわけラインカメラ、カラーカメラ、白黒カメラ、ＩＲカメラ、積算カメラ（integrierende Kameras）、マルチチャネルプレート内蔵カメラ等を使用することができる。

次の方法ステップ１４において、積層画像２４の得られたデータから、（１つの）マルチフォーカス画像１５及び（１つの）マスク画像１７が生成される。これについては、とりわけＤＥ １０１ ４９ ３５７．６及びＤＥ １０１ ４４ ７０９．４による方法を使用することができる。顕微鏡の焦点深度に基づいて、個別画像２６の各々は、鮮鋭な領域と不鮮鋭な領域を含む。所定の基準に従って、個々の個別画像２６中においてそれぞれ鮮鋭な領域が検出され、その面番号と共に相応の座標点（ｘ，ｙ）に割当てられる。面番号と座標点（ｘ，ｙ）との割当ては、記憶ユニットに記憶され、マスク画像１７を構成する。マスク画像１７の画像処理の際には、マスク画像に記憶された面番号をグレー値と見なすことができる。

マルチフォーカス画像１５においては、予め撮像及び記憶された積層画像２４の個々の個別画像の不鮮鋭な画像領域がすべて除去されるため、完全に鮮鋭で大焦点深度の画像が生成する。マルチフォーカス画像１５は、異なる複数のフォーカス面からの複数のモザイク画像を１つのマルチフォーカス画像１５に計算して得られる（１つの）積層モザイク画像から生成することも可能である。

マスク画像１７では、ピクセル（複数）のすべてのグレー値が、鮮鋭なピクセルの生成面の番号を表わす（特徴付ける）。このため、マスク画像は、３次元高さレリーフ画像２８としても表示可能である。３次元性はマスク画像ピクセル（複数）のｘ、ｙ位置と、３次元データセットのフォーカス面位置を表わす（特徴付ける）ピクセルのグレー値の値（Betrag）とから得られる。マスク画像１７は、（１つの）積層モザイク画像から生成可能であるが、異なる複数のフォーカス面からの複数のモザイク画像が当該マスク画像１７へと計算される。

このようにしてマスク画像１７が生成された後、ここからいわゆる３次元擬似（仮想）画像２８が生成可能となる。このため、方法ステップ１６において、マスク画像１７が高さレリーフとして示される。この画像は、高さ情報の他には、直接的画像情報を有していない。マスク画像１７は、このために適切なソフトウエアによって３次元高さレリーフとして結像（画像生成）される。ソフトウエアは、例えば公知のソフトウエアライブラリＯｐｅｎＧＬ又はＤｉｒｅｃｔ３Ｄ（Ｍｉｃｒｏｓｏｆｔ社）をベースに開発することができる。更に、例えばＣｉｎｅｍａ４Ｄ（Ｍａｘｏｎ社）、ＭＡＹＡ３．０、３Ｄ Ｓｔｕｄｉｏ ＭＡＸ又はＰｏｖｒａｙのような３Ｄシーンの表示、作成、アニメーション（動画作成）及び操作を行うその他の市販のソフトウエア製品も好適に利用できる。

このような表示を生成するために、いわゆるスプライン（Splines）が使用される。スプラインは、実質的に３次元空間に存在し直線（複数：Linien）により互いに結合される（複数の）支持点（Stuetzpunkt）の連続である。スプラインは、３次元対象物を生成するための数学的に周知の技術である。このスプラインは、ある意味では、地図上の等高線をなす。支持点（複数）は、スプライン補間のための支持点（複数）の座標（ｘ，ｙ）が後続するマスク画像データに相応するよう、マスク画像のグレー値から得られる。

支持点座標Ｘは、マスク画像ピクセル座標Ｘに相応する。

支持点座標Ｙは、マスク画像ピクセル座標Ｙに相応する。

支持点座標Ｚは、マスク画像１７のＸ、Ｙにおけるグレー値に相応する。

スプライン曲線の推移は、いわゆる補間により求められる。ここでスプライン曲線の推移が、スプラインの支持点間の補間（例えばベジエの多項式（Bezier Polynome）又はベルンシュタインの多項式（Bernstein Polynome）等によるような空間の所定数の点によるｎ次の多項式（Polynom）の多項式はめこみ（Polynom-Fit））により計算されることによって、スプライン曲線が生成される。使用される補間関数の種類及び支持点の数に応じて、所与の支持点（複数）に対する多かれ少なかれディテールどおりの（細部に忠実な）（detailgenau）曲線適合化が実行可能となる。マスク画像点（複数）をすべてスプラインのための支持点として把握するのではなく、マスク画像点（複数）の適切に選択された部分集合のみを使用することにより、支持点の数を変化することができる。例えば、マスク画像１７の４つに１つのピクセルのみ（３つおきのピクセルのみ）を使用することができる。より少数の支持点間で行われる次の補間は、対象物表面をより低い解像度で表示することとなる。このため、支持点の数を適合化することにより、表面を多かれ少なかれ大きな詳細度（Detailierungsgrad）で表示し、種々の表面アーチファクトをフィルタ除去することができる。従って、より少ない支持点数によって、３次元表面の滑面化作用が得られる。

本発明では、予め計算されたマスク画像が支持点データベースを形成する。支持点は、３Ｄ空間に存在し、従って３次元空間座標により表わされなければならない。スプラインのための個々の支持点の３つの空間座標（ｘ，ｙ，ｚ）は、マスク画像ピクセルのｘ、ｙピクセル位置と、各マスクピクセルのグレー値（ｚ位置）とにより形成される。マスク画像のグレー値はいずれにしろその基礎をなす顕微鏡検出画像の高さ情報に相当するため、３Ｄ擬似画像は、その基礎をなす顕微鏡検出画像の高さ推移の表示と解釈することができる。

マスク画像点及びマスク画像点座標のすべて又は適切な部分集合を含む支持点のアレイを設定すれば、選択可能な密度のスプラインネットワークを支持点アレイの上に置くことができる。図４ａに、このようにして得られた３次元擬似画像２８を示した。

図４ｂに示すように、例えばいわゆるグーローシェーディング（Gouraud-Shading）のような適切な三角測量と陰影化により、微細構造をこの表面の上に置くことができる。光線追跡（Raytracing）アルゴリズムにより、とりわけ表面反射と陰影（シャドウ）投影から非常に写実的に（現実的に）作用する表面２８’が得られる。

更に、３次元擬似画像２８とテクスチャ（Textur）２９とを結合することが必要である。ここに、テクスチャ２９とは、「仮想の構造体の表面形状に対する基本要素」（Grundelement fuer die Oberflaechengestaltung virtueller Gebilde）であり、表面に自然かつ現実的な外観を与えるという目標が達成されるべきである。従って、方法ステップ１８において、予め作成されたマルチフォーカス画像１５からテクスチャ２９が生成される。このため、例えば、予め計算された大焦点深度のマルチフォーカス画像１５がテクスチャ画像として使用される。

次に、その他の点で検出されたとりわけマルチフォーカス画像１５に存在する情報と、３次元擬似画像２８とを結合するために、方法ステップ２０において、図１〜図３に示したように、３次元擬似画像２８とテクスチャ２９とが結合される。

ここに、テクスチャ２９とは、仮想現実においては通例であるように、３次元投影法により適切に仮想３次元対象物の表面に投影されるとりわけ１つの画像であると理解すべきである。所望の効果を達成するために、テクスチャ画像は、仮想対象物の表面に適切に配向して（揃えて）投影されなければならない。適切に配向するためには、テクスチャ２９は、マスク画像１７及びマルチフォーカス画像１５のピクセル座標（ｘ，ｙ）（複数）の割当て（関連付け）が破壊されないように、３次元擬似画像２８に割当てる（関連付ける）ことが必要である。即ち、位置（ｘ_ｉ，ｙ_ｊ）におけるグレー値を有する各マスクピクセルに、それに対応し正確に同じ位置（ｘ_ｉ，ｙ_ｊ）におけるグレー値を有するマルチフォーカスピクセルが割当てられる。マルチフォーカス画像１５が予め画像分析的に又はその他の画像処理操作により変更すべき場合には、マスク画像のピクセル座標（ｘ，ｙ）と、画像分析的に又はその他の画像処理操作により任意に変更されたマルチフォーカス画像のピクセル座標（ｘ，ｙ）との割当て（関連付け）が失われないように注意すべきである。

擬似画像２８とテクスチャ２９とを結合するために、テクスチャ２９が３次元擬似画像２８にも適切に投影されると都合がよい。これにより、対象物２２の３次元対象物画像３０が生成するように、２つのリソースの融合が達成される。この対象物画像３０は、仮想現実の意味において仮想的結像を構成する。

図５の実施例に示したように、本発明のテクスチャ化ないしテクスチャ作成（Texturierung）のためのベース（基礎）は、予め計算されたマルチフォーカス画像自体によって形成される。既に現実感を奏している擬似画像２８と、マスク画像１７とが、適切に配向され（揃えられ）、擬似画像２８の高さ情報とマスク画像１７の画像情報、即ちテクスチャとが、ピクセル的に正確に重なり合うように揃えられる（配向される）。マルチフォーカス−テクスチャ画像、即ちテクスチャ２９は、３次元擬似画像２８に投影され、これによりマルチフォーカス−テクスチャ画像２９の各ピクセルが、３次元擬似画像２８のその所属の（それぞれ割当てられた）ピクセルに正確に結像される。その結果、仮想結像技術と現実の結像技術との融合によって、対象物２２の大焦点深度の対象物画像３０が仮想画像として生成される。

図１〜図３に概略的に示した方法のフローにより、本発明の新規な結像（画像生成）は、現実に存在する対象物２２の現実に検出された測定値を基礎とする。そして、光学顕微鏡検出データの仮想現実３次元結像（画像）が得られるように、この測定値は統合される。従来の仮想（現実）技術と異なり、本発明では、対象物２２の現実的な撮像が実行される。現実の対象物２２について、３次元空間における画像鮮鋭度のデータ、対象物のトポロジーのデータ及び画像の鮮鋭な部分領域の正確な位置のデータが記録される。この場合、これらの現実のデータは、３次元空間において仮想的結像（画像）を生成するための開始ベースとして使用される。仮想的結像は、現実の画像から、例えば画像情報、鮮鋭度、及び３次元性などのデータを検出し、同時に結像する。従って、この仮想的結像は、従来の光学顕微鏡検出法と比べると格段に大きな付加価値を創出する。

本発明により、現実の例えば光学顕微鏡検出対象物データを検出するという中核的特質を有しかつ３次元仮想空間に統合表示を有するような新たな種類の光学顕微鏡検出法が提案される。この意味において、本発明の方法は、「仮想現実３Ｄ光学顕微鏡検出法」と称することができる。この「仮想現実３Ｄ光学顕微鏡」では、現実（３Ｄ、鮮鋭度等）の生成された結像（画像）は、更に、現在既知の及び将来開発される仮想結像（画像生成）技術の方法すべてによって調整（処理）することができる。

上記の実施例では、「仮想現実３Ｄ光学顕微鏡検出画像」の手動生成と完全自動生成とについて説明した。以下の実施例では、「仮想現実３Ｄ光学顕微鏡検出画像」のビジュアル化、処理操作及び分析方法について説明する。

現実の顕微鏡検出データの仮想空間への変換に基づき対象物データ３０をビジュアル化するために、対象物画像３０の顕微鏡検出データは、大焦点深度の３次元画像として存在する。

（複数の）仮想のランプ（光源）によって対象物画像３０の表面を照明し、顕微鏡検出データのそのようにして求められたディテールを視覚的に強調することができる。仮想ランプは、仮想空間内に任意に配置することができ、例えば照射特性又は光色のような仮想ランプの特性は、フレキシブルに調整することができる。

この方法により、学習及び記録目的のための格段に良好かつ持続的に保存可能な顕微鏡検出画像を作成することができる。

画像は、空間において、回転及び並進操作により任意に回転及びスケーリング（skalieren）することができる。この操作により、通常の顕微鏡では不可能な観察角度での画像の観察が可能となる。

更に、「仮想現実３Ｄ光学顕微鏡検出画像」の配向の段階的な調整及びこれら個別画像の記憶によって、「仮想現実３Ｄ光学顕微鏡検出画像」が運動しているかのように見せかける動画（アニメーション）シーケンスを作成することができる。これら個別画像を（例えばＡＶＩ、ＭＯＶ等のデータフォーマットの）フィルムシーケンスとして記憶することにより、この動画シーケンスを再生することができる。

データを、更に処理操作することも可能である。３次元擬似画像の結像（画像生成）は、３次元スプライン補間のための支持点として存在する。グーローシェーディング及び光線追跡により、これら３次元データに、最終的に３次元的効果を奏する表面を配属する（割当てる）ことができる。

例えば所定のディテールの測定又は明瞭な強調等に使用されるデータ処理操作に対する中心的役割は、ｘ、ｙ、ｚ支持点（複数）が果たすことができる。

ｚ値とある数との乗算は、例えば高さレリーフの拡大又は縮小を意味し得る。個々の支持点を目標を定めて処理操作することにより、３次元擬似画像２８の３Ｄプロファイルの所定部分を個別に処理操作することができる。

更に、重ね投影されたマルチフォーカス・テクスチャ画像を画像分析的に処理操作することにより、例えば個々の画像対象物のマーキング、エッジ強調、対象物分類、２値画像、画像改善等の画像分析結果を重ね投影することができる。このことは、画像分析的に変更された結果画像（マルチフォーカス・テクスチャ画像）を新たな「処理操作された」マルチフォーカス・テクスチャ画像として使用し、その新たな画像をテクスチャとして３Ｄ擬似画像の３次元表面に投影することによって行われる。このようにして、画像分析的に処理操作された画像（新たなテクスチャ）もまた、３次元擬似画像と融合することができる。

従って、例えばスプライン補間のための支持点の処理操作のような３Ｄデータ処理操作の手段（可能性）も、画像分析方法によりマルチフォーカス画像の処理操作の手段（可能性）も存在する。

これら２つの表示の融合により、顕微鏡検出画像表示に付加価値が生じうる。というのは、対象物画像（複数）３０は、３次元表示に加えて、画像分析的に処理操作されたマルチフォーカス画像の位置（場所）忠実的な重畳を有するからである。

現実の対象物２２のデータを仮想空間に存在するデータへ変換するため、その容積、表面ないし面積及び粗度等に関する３次元データを測定することができる。

更なる改善により、マルチフォーカス画像に関して画像分析的に得られた測定結果の組合せと、３次元データ測定とが可能となる。更に、３次元データと他の適切な３次元対象物との論理的結合により、３次元データに関する多数の計算が実行可能となる。

従って、簡単な表示形式により、２次元画像分析は、画像分析の第３の次元及び画像分析のトポロジー的次元に関して拡大される。

時間シーケンス（Zeitserien）の記録、即ち上述の方法により順次連続する異なる複数の時点における対象物２２の画像（複数）の撮像により、データ分析のための更なる１つの次元、即ち時間的次元が追加される。これにより、時間プロセスの表示、例えば対象物２２の時間的変化をスローモーション又はクイックモーションで表示することができる。

本発明の方法は、立体画像の生成及び立体画像のアニメーション化にも適する。対象物画像３０のデータは３次元的に存在するので、仮想的顕微鏡検出画像の２つの観察角度からの２つのアスペクト（側面、視点）（Ansichten）を計算することができる。これにより、「仮想現実３Ｄ光学顕微鏡検出画像」のビジュアル化が、古典的な立体画像の意味において実行可能となる。

「仮想現実３Ｄ光学顕微鏡検出画像」のビジュアル化は、モニタ、プリンタ又はプロッタへの出力の他にも、偏光シャッタガラス又はアナグリフ技術（anaglyphentechnik）又は３Ｄサイバースペースメガネを介した結像により行うことも可能である。

右眼及び左眼に対してそれぞれ遠近法的に分離された「仮想現実３Ｄ光学顕微鏡検出画像」に関する異なる（２つの）アスペクトを有する一連のアニメーションにより、上述のビジュアル化方法の１つによって、現実の顕微鏡検出データから生成された「仮想現実３Ｄ光学顕微鏡検出画像」の運動する立体画像もまた生成することができる。

データは３次元的に存在するので、左右の眼に関し、「仮想現実３Ｄ光学顕微鏡検出画像」に対する（それぞれ）１つの遠近法的に正しいアスペクトを計算することができる。従って、「仮想現実３Ｄ光学顕微鏡検出画像（複数）」は、例えば３ＤステレオＬＣＤモニタ又はサイバースペースメガネのような３Ｄ出力ユニットへ出力することも可能である。

３Ｄ−ＬＣＤステレオモニタの場合は、画像分析を介して観察者の実際の眼の位置が測定される。そして、これらのデータからそれぞれの視線（注視）角（Blickwinkel）が計算される。この視線角から、右側観察眼及び左側観察眼のための「仮想現実３Ｄ光学顕微鏡検出画像」に対する遠近法的アスペクトのためのデータが得られる。この２つの透視像（アスペクト像）（Perspektiven）が計算され、３Ｄ−ＬＣＤステレオモニタに表示される。これにより観察者に対して「仮想現実３Ｄ光学顕微鏡検出画像」がモニタ前方の空間中に浮かんでいるような印象が与えられる。これにより、現実の空間的３次元結像（画像）が生成するよう、現実に検出された顕微鏡検出データを結像（画像化）することが可能となる。更に、時間的及び遠近法的に正しい画像シーケンス（Bildfolge）により、現実の顕微鏡検出画像の空間的に動画化（アニメーション化）された３次元結像（画像）が実現可能となる。

サイバースペースメガネの場合、技術的制約から、遠近法的に正しいアスペクトにおける画像がそれぞれ個々の眼に分離されて差込入射される。観察者の脳は、当該画像から３次元的印象を形成する。更に、この場合も、時間的及び遠近法的に正しい画像シーケンスによって、現実の顕微鏡検出画像の空間的に動画化された３次元結像（画像）が実現可能となる。

本発明の更なる一実施例では、「仮想現実３Ｄ光学顕微鏡検出法」において時間的にも変化するプロセスを動画化及びビジュアル化ができるように、「仮想現実３Ｄ光学顕微鏡検出法」から得られたデータを互いに組み合わせることも可能である。このため、３つの空間座標Ｘ、Ｙ、Ｚの他に、更に、テクスチャ２９、即ち対象物の鮮鋭的に計算された純粋な画像情報（マルチフォーカス画像）、又は表面及び／又はテクスチャの時間的変化（画像の時間シーケンス）に関連するデータ処理操作を実行することができる。

上述の方法と同様に、同じ積層画像をｚ方向（結像システムの光軸の方向）において異なる複数の時点で繰り返し撮像することにより、顕微鏡検出対象物での時間的変化もまた検出することができる。これにより、異なる複数の時点における対象物２２の状態に相応する積層画像のシーケンスが生成する。この場合、３次元顕微鏡検出表面構造も、顕微鏡検出画像データ自体も時間的に変化する。

常に同じ顕微鏡検出領域の時間シーケンスによって、時間的に順次連続するマスク画像（複数）のシーケンスと、所属のマルチフォーカス画像（複数）のシーケンスが、以下のようにして生成する。
マスク［ｔ_１］→マスク［ｔ_２］→ ・・・ →マスク［ｔ_ｎ］→マスク［ｔ_ｎ＋１］
及び所属の
マルチフォーカス［ｔ_１］→マルチフォーカス［ｔ_２］→ ・・・ →マルチフォーカス［ｔ_ｎ］→マルチフォーカス［ｔ_ｎ＋１］。

トポロジーが時間的に変化する場合には
マスク［ｔ_ｎ］≠マスク［ｔ_ｎ＋１］｛ｎ＝１，２，３，４，・・・｝
が成り立ち、及び画像が変化する場合には
マルチフォーカス［ｔ_ｎ］≠マルチフォーカス［ｔ_ｎ＋１］｛ｎ＝１，２，３，４，・・・｝ が成り立つ。

この時間シーケンスは、手動でも自動的にも生成することができる。

モザイクマルチフォーカス画像（複数）及び所属のモザイクマスク画像（複数）の時間シーケンスを撮像することにより、表面変化及び／又は画像変化の時間的動力学（Kinetik）も可能となる。

図６に示したように、アニメーション（動画）を生成するための方法フローは、ＤＥ １０１ ４９ ３５７．６及びＤＥ １０１ ４４ ７０９．４に記載されている方法フローに組み込むことができるので、完全自動化されたフローを実現することも可能である。これに加えて、上記刊行物に記載されている方法フローに、更なる自動化ステップが幾つか補充される。仮想現実対象物画像３０の生成方法フローが開始すると、ステップ３２において、仮想現実対象物画像３０を上述のようにして生成することができる。この対象物画像３０は、ステップ３４において任意に動画化（アニメーション化）される。この場合、動画化された画像が、ステップ３６において記憶されると都合がよい。このようにしてモザイク画像、マスク画像及びモザイクマルチフォーカス画像を所定の各時点で生成し、記憶することができる。この場合、このマスク画像及びマルチフォーカス画像は、それぞれ所属のマスク画像とマルチフォーカス画像を組み合わせるための開始ベースとして使用される。

第２のステップにおいて、互いに緊密に関連するマスク及びマルチフォーカス画像が、「仮想現実３Ｄ光学顕微鏡検出法」の個別画像へと合成される（組み合わせられる）。

これにより、個々の「仮想現実３Ｄ光学顕微鏡検出画像」の時間シーケンスが生成する。個々の「仮想現実３Ｄ光学顕微鏡検出画像」は、マスク画像の３Ｄ情報と、マルチフォーカス画像の（重ね）投影されたテクスチャとを同時に含む。尤も、個別画像（複数）は、対象物２２が時間的に変化する場合には、３次元トポロジー現象及び／又はテクスチャ２９の変化の点で互いに異なり得る。

個々の画像を順次配列することにより、「仮想現実３Ｄ光学顕微鏡検出法」の手段（複数）による撮像の時間的動画化（アニメーション化）が可能となる。

このため、３次元表面情報、表面の時間的変化、大焦点深度的に計算されたマルチフォーカス画像、及び当該マルチフォーカス画像の時間的変化を同時に表示することが可能となる。

ここで、必要なマスク画像１７及びマルチフォーカス画像１５は、それぞれ、対象物２２の表面を所定の各時点で繰り返し走査することにより生成するモザイクマスク画像及びモザイクマルチフォーカス画像として理解することができる。

この「仮想現実３Ｄ光学顕微鏡検出」画像を回転することにより、３次元表面情報、表面の時間的変化大焦点深度的に計算されたマルチフォーカス画像及びマルチフォーカス画像の時間的変化などのような同時に結像された特徴は、他の観察角度でも観察することができる。このため、３次元表面を記述するデータセットは、適切な３次元変換を受ける。

まとめると、「仮想現実３Ｄ光学顕微鏡検出法」の上述の結像（画像生成）は、対象物２２の顕微鏡検出データの５つの次元の同時的結像と理解することができる。ここに、５つの次元とは：
・Ｘ、Ｙ、Ｚ、即ち対象物２２の純粋な３次元表面情報
・テクスチャ２９、即ち鮮鋭的に計算された対象物２２の純粋な画像情報
・画像の時間シーケンスとしての表面及び／又はテクスチャの時間的変化
である。

本発明の方法の一例を簡略的に示したフロー。 本発明の方法の一例を図で表したフロー。 本発明の方法の他の一例を図で表したフロー。 （ａ）擬似画像の一例。 （ｂ）構造化された擬似画像の一例。 擬似画像とテクスチャとの組合せの一例。 自動化された方法フローの一例。

符号の説明

１０ 対象物の積層画像の生成
１２ 積層画像の個々の（個別）画像の記憶
１４ マルチフォーカス画像及びマスク画像の生成
１５ マルチフォーカス画像
１６ ３次元擬似画像の生成
１７ マスク画像
１８ テクスチャの作成
２０ テクスチャと擬似画像との結合
２２ 対象物
２４ 積層画像
２６ １つのフォーカス面の個別画像
２８ ３次元擬似画像
２８’ 表面構造を有する３次元擬似画像
２９ テクスチャ
３０ 対象物画像
３２ 仮想現実画像の生成
３４ アニメーションの作成
３６ 画像の記憶

Claims (20)

1. ３次元の対象物（２２）を対象物画像（３０）として表示する方法であって、
   初めに、前記対象物（２２）から、異なる複数のフォーカス面においてそれぞれ撮像された複数の画像（２６）から構成される積層画像（２４）が生成される形式の方法において、
   前記積層画像（２４）から、３次元の高さレリーフ画像（２８）が生成され、及び
   該３次元の高さレリーフ画像（２８）が、テクスチャ（２９）と組合せられること（とりわけテクスチャ（２９）が前記３次元の高さレリーフ画像（２８）に投影されること）
   を特徴とする方法。
2. 前記テクスチャ及び前記３次元の高さレリーフ画像（２８）は、前記積層画像（２４）の複数の個別画像（６）のデータから得られること
   を特徴とする請求項１に記載の方法。
3. 前記３次元の高さレリーフ画像（２８）は、補間により互いに結合される支持点（複数）を通過する等高線（複数）により形成されること
   を特徴とする請求項１又は２に記載の方法。
4. 前記テクスチャ（２９）は、前記３次元の高さレリーフ画像（２８）に投影されること
   を特徴とする請求項１〜３の何れか１項に記載の方法。
5. 前記テクスチャ（２９）は、前記３次元の高さレリーフ画像（２８）へ投影するために、ピクセル的に正確に前記３次元の高さレリーフ画像（２８）に合せられること
   を特徴とする請求項４記載の方法。
6. 前記３次元の高さレリーフ画像（２８）は、前記テクスチャ（２９）との組合せられる前に変化されること（とりわけ三角測量、陰影化及び／又は光線追跡アルゴリズムにより仮想表面が設けられること）
   を特徴とする請求項１〜５の何れか１項に記載の方法。
7. 前記テクスチャ（２９）は、前記対象物（２２）の大焦点深度の情報を有するマルチフォーカス画像（１５）のデータから得られること
   を特徴とする請求項１〜６の何れか１項に記載の方法。
8. 前記３次元の高さレリーフ画像（２８）は、フォーカス面（複数）の高さ情報を有するマスク画像（１７）のデータから得られること
   を特徴とする請求項１〜７の何れか１項に記載の方法。
9. 前記３次元の高さレリーフ画像（２８）は、前記等高線の支持点（複数）の拡大又は縮小により、前記テクスチャ（２９）との組合せ前又は組合せ後に変化されること
   を特徴とする請求項３に記載の方法。
10. 前記対象物画像（３０）は、画像分析的に処理されること（とりわけ他のテクスチャと組合せられること）
    を特徴とする請求項１〜９の何れか１項に記載の方法。
11. 前記対象物画像（３０）の生成は、前記積層画像（２４）の複数の個別画像（２６）の記録後に手動的に又は自動的に開始されること
    を特徴とする請求項１〜１０の何れか１項に記載の方法。
12. 時間的に順次連続する複数の対象物画像（３０）が生成されること
    を特徴とする請求項１〜７の何れか１項に記載の方法。
13. 前記対象物画像（３０）は、出力装置（とりわけモニタ、プロッタ、プリンタ、ＬＣＤモニタ又はサイバースペースメガネ）に出力されること
    を特徴とする請求項１〜１２の何れか１項に記載の方法。
14. 前記対象物画像（３０）は、出力する前に変化されること（とりわけ仮想のランプにより照明されること、回転ないし並進操作により処理されること、及び／又は仮想の物理法則に当てはめられること）
    を特徴とする請求項１〜１３の何れか１項に記載の方法。
15. 複数の対象物画像（３０）は、時間的に連続する（複数の）対象物画像（３０）の例として（とりわけ映画フィルム又はアニメーションとして）前記出力装置に出力されること
    を特徴とする請求項１〜１４の何れか１項に記載の方法。
16. 前記複数の対象物画像（３０）は、モーフィングによって互いに融合されること
    を特徴とする請求項１５に記載の方法。
17. ３次元の対象物（２２）を対象物画像として表示するための装置であって、
    結像システム（とりわけ対象物（２２）を結像するための顕微鏡）と、コンピュータと、ｘ−、ｙ−及びｚ方向において対象物（２２）を目標を定めて迅速に位置変化するための複数のアクチュエータ（Aktoren）と、撮像装置（とりわけ対象物（２２）の異なる複数のフォーカス面において撮像される（複数の）個別画像（２６）から構成される積層画像（２４）を生成するためのアナログ又はデジタル式ＣＣＤカメラ）と、前記結像システムのハードウエアを制御するための制御装置とを有する装置において、
    前記積層画像（２４）の複数の個別画像（２６）から３次元の高さレリーフ画像（２８）及びテクスチャ（２９）を生成するための分析装置、及び該３次元の高さレリーフ画像（２８）と該テクスチャ（２９）とを組合せるための制御装置を有すること
    を特徴とする装置。
18. 前記対象物画像（３０）を出力するための出力装置（とりわけモニタ、プロッタ、プリンタ、ＬＣＤモニタ又はサイバースペースメガネ）を有すること
    を特徴とする請求項１７に記載の装置。
19. 前記対象物画像（３０）をデータ分析するための装置を有すること
    を特徴とする請求項１７又は１８に記載の装置。
20. 前記分析装置、前記制御装置及び／又は前記対象物画像（３０）をデータ分析するための装置は、前記コンピュータにおいて実現されること
    を特徴とする請求項１７〜１９の何れか１項に記載の装置。
    
    

Images