JP2005513533A - 顕微鏡システムの自動監視方法、自動監視用顕微鏡システムおよびソフトウェア - Google Patents

Abstract

本発明は、情報損失を監視かつ制御するための方法、ソフトウェアおよび顕微鏡システムに関する。存在しない情報の観察および理想的損失と実際の損失との比較によって、規則量による説明成分が生成される。欠陥を除去するために、ユーザは、顕微鏡システムによって、例えばディスプレイを介して、適切な方法で示される規定の行動を実施する。

Description

本発明は、顕微鏡システムの自動監視方法に関する。

さらに、本発明は、顕微鏡システムの自動監視用顕微鏡システムおよびソフトウェアに関する。この場合、顕微鏡システムは、照明および検出ビーム路内に光学的構造を固定する複数の手段が設けられるように、また走査顕微鏡が、ディスプレイを備える制御計算器と結合されるように、照明および検出ビーム路を画定する走査顕微鏡を備える。

クンドール（Ｋｕｎｄｕｒ）、ハチナコス（Ｈａｔｚｉｎａｋｏｓ）（１９９６年）の文献、ブラインドイメージデコンボリューション：「実用的なイメージ復元へのアルゴリズム的アプローチ（“Ａｎ Ａｌｇｏｒｉｔｈｍｉｃ Ａｐｐｒｏａｃｈ ｔｏ Ｐｒａｃｔｉｃａｌ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ”）」、ＩＥＥＥ信号処理マガジン、１９９６年５月は、他の多くの論文とならんで、例えば、予備知識なしに光学帯域制限システムを判定および改良するための根拠となる従来技術について記載している。画像およびビデオ処理のボビック（Ｂｏｖｉｃ）（２０００年）ハンドブック、アカデミックプレス（Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ）のような文献には、予備知識を利用して光学帯域制限システムの画像データを改良するための従来技術が詳細に記載されている。当該文献に詳細に記載かつ論述されている、ソフトウェアとして有利に実現されるこのようなアルゴリズム構成要素の分野によって、顕微鏡システムによって供給される画像データを改良する可能性、同時に顕微鏡システムの運転方法それ自体を監視する可能性が開発される。本発明の教示は、このような監視から人間工学の向上を目的とするユーザのための取扱い指針を提供するために、技術的手段を適切に結びつけることである。特に、訓練時間を最小にし、これによって、顕微鏡システムの価値向上を達成すべきである。この場合、上述の文献に記載された従来技術は、本質的に、この説明に含まれるであろうと見なされる。

本発明の課題は、顕微鏡のユーザが、欠陥が除去された物体の最適な画像に迅速に達することができる方法を提供することである。上記課題は、請求項１の特徴部分に記載の特徴を有する方法によって解決される。

他の本発明の課題は、走査顕微鏡のユーザが、欠陥が除去された物体の最適な画像に迅速に達する走査顕微鏡を提供することである。上記課題は、請求項１１の特徴部分に記載の特徴を含む顕微鏡によって解決される。

本発明の追加の課題は、生産時の最終検査時に品質について走査顕微鏡を点検できるか、あるいはそれほど訓練されていないユーザによって迅速、最適な画像検出が可能であるソフトウェアを提供することである。上述の課題は、請求項１５の際立った特徴により規定されるソフトウェアによって解決される。

ユーザの簡単な利用（人間工学の向上）、欠陥率の低減（信頼性）および学習時間の低減（費用）が達成されることが利点である。さらに、本発明は、同様に、顕微鏡の組立時の製作欠陥の診断に使用できる。すなわち、顕微鏡の光学構成要素が正しく取り付けられていないかまたは調整されていない場合、結像収差が生じる。この場合、本発明は、欠陥原因の迅速な発見を可能にする。本発明は、順調な顕微鏡検査をもたらし、ユーザによるシステムのより良い受入れを達成する。ユーザにとって、従来技術に記載されている個別機能のばらばらの集合体を全体的に利用することは、個々の構成要素全体がシステム全体の中に組み込まれる場合にのみ可能であり、このことは、必然的に、ソフトウェアおよびハードウェア構成要素のインテリジェントな融和によって実現される。本方法の大部分は、制御計算器および電子回路／ＦＰＧＡ／ＤＳＰの両方で実現できる。本方法、本システムおよび本ソフトウェアは、走査顕微鏡（共焦点、多光子）、ＣＣＤ蛍光顕微鏡および４Ｐｉ顕微鏡に使用される。

本方法が次のステップ
−選択された光学的構造を制御計算器に伝送するステップと、
−走査顕微鏡によりサンプル画像を撮影するステップ、
−画像のフーリエ変換された画像を計算するステップ、
−選択された光学的構造に適合する光学・伝達・関数を規定するステップと、
−画像のフーリエ変換された画像の分解能限界と、選択された光学的構造に適合する光学・伝達・関数の分解能限界とを比較するステップ、および
−比較結果を評価して表示するステップ、
を含む場合、特に有効である。

画像のフーリエ変換された画像の分解能限界と、選択された光学的構造に適合する光学・伝達・関数の分解能限界との比較は、さらなる評価のために利用される一組の特徴を供給する。この場合、評価は、ディスプレイ上の特徴の表示からなることができる。同様に、特徴の評価は、説明データバンクを介した推論によって説明を決定しかつ表示することができる。有利な方法では、数学的変換によって、画像のフーリエ変換された画像、および光学・伝達・関数の最小が最大化され、かつ残りの値が抑制されることによって、分解能限界が規定される。この場合、光学・伝達・関数はデータバンクから抽出することができる。

発明の対象を図面に概略的に示し、図を参照して以下に説明する。

図１に、共焦点走査顕微鏡１００の実施形態が概略的に示されている。しかし、このことは本発明を限定するものとして理解すべきでない。従来の顕微鏡または従来の走査顕微鏡によっても本発明を実現できることは、当業者には十分に明白である。少なくとも１つの照明装置１からの光線３は、光線スプリッタまたは適切な偏向手段５によって走査モジュール７に反射される照明光線４を規定する。照明光線４が偏向手段５に衝突する前に、この照明光線は照明ピンホール６を通過する。走査モジュール７は、走査光学系１２と顕微鏡光学系１３とを通して、照明光線４を物体１５を介してまたはそれを通して案内するカルダン式に吊設された走査ミラー９を含む。照明光線４は、透明でない物体１５の場合表面を介して案内される。生態学的物体１５（プレパラート）または透明の物体の場合、照明光線４は物体１５を通して案内することもできる。このため、光らないプレパラートには、必要に応じて適切な染料を施される（確立された従来技術であるので、図示しない）。このことは、物体の様々な焦点面が照明光線４によって連続して走査されることを意味する。次に、事後の構成は、物体の３次元画像から得られる。照明装置１からの光線３および照明光線４は、実線として示されている。物体１５から出る光は、検出光線１７を画定する。検出光線は、顕微鏡光学系１３と走査光学系１２とを通してかつ走査モジュール７を介して光線スプリッタ５に達し、この走査モジュールを通過し、また検出ピンホール１８を介して、本図では光電子増倍管として形成される少なくとも１つの検出器１９に達する。ダイオード、ダイオードアレイ、ＣＣＤチップまたはＣＭＯＳ画像センサのような他の検出構成要素も使用できることは、当業者には明白である。物体１５から出るまたはそれによって画定される検出光線１７は、図１に点線として示されている。検出器１９では、物体から出る光の出力に比例した電気検出信号が発生され、制御計算器２３に転送される。走査モジュール７内で誘導的または容量的に動作する位置センサ１１を用いて検出された位置信号は、同様に制御計算器２３に転送される。調整信号を介しても走査ミラーの位置９を確認できることは当業者にとって当然である。制御計算器２３には、顕微鏡システムを調整するための指示をユーザが抽出できるディスプレイ２７が割り当てられる。さらに、制御計算器２３には、キーボード２８、顕微鏡システムの構成要素用の調整装置２９およびマウス３０が結合される。

顕微鏡、同様に走査顕微鏡の結像特性は、光学的結像、顕微鏡内に取り付けられた光学構成要素の品質、サンプルおよびその周辺部（埋込み媒体）の物理的性質によって決定される。これらの値は、部分的に既知であり、同時に部分的に未知である。アプリオリの知識には、通常、結像のために使用される顕微鏡の光学設計およびそれと関連する所望の結像特性が含まれる。予め既知でない知識（アプリオリの知識）には、サンプル内部の効果（例えば屈折率、散乱）および縁部領域内の効果（屈折率の最適な適合）が含まれる。

ユーザまたは利用者による顕微鏡システムの構成の際、このように限られた知識によってのみ常に作業が行われる。場合によっては、ユーザは、無知のためシステム上の誤りを犯すか、あるいはサンプル自体に予想されない効果が現れる。結果は、通常、検出された画像自体によってのみ評価でき、場合によっては、専門家の知識が必要である。通常、測定された画像データが不満足である場合、構造および撮影パラメータは、費用のかかる「試行錯誤」の手順で適合される。専門家は観察から説明仮説を生み出し、これを教育および経験によって得られた知識により説明仮説の妥当性を検討することによって、専門家は、観察と、知的に存在するシステムモデルとを一致させる。この過程は、さらに以下に示すように、事実および規則を有するデータバンクを用意することによって自動化され、このデータバンクは、観測値を互いに適切に結合して、推論機械にアクセス可能にし、この推論機械により、当初の事実および用意された規則からさらなる事実がもはや導出されなくなるまで、事実および規則が体系的かつ反復的に入念に処理される。ユーザのための説明およびヒントは、誘導された事実の部分量として理解される。統計的方法を導入することによって、統計量から検出された画像のピクセル得られる事実を評価することにより、重要性の提示が行われる。このような統計的な発見的方法により、生成された説明の追加の防護が可能になり、これによって、自動化された方法は、明確な説明モデルを供給できずに、しばしば無意識にまた精一杯働く専門家よりも明らかに優れた働きを発揮することができる。当然、このようなシステムの出力性能は、システムのメッセージを自由度として未定にし、さらに規定しない選択した装置およびその品質に左右される。

図２に、本発明による方法のブロックダイヤグラムが示され、これによって、走査顕微鏡の迅速かつ最適な調整が達成される。優れた画像が得られるまでの画像データの品質および動作プロセスの全体持続時間は、素人および専門家に測定させなければならないパラメータである。この場合、本発明による方法は、最適な画像または調整を如何に達成できるかについて、素人を支援しまた素人に多数の提案を提示する。理論と測定とを比較することによって、撮影された画像データ（測定）から画像形成の欠陥を間接的に推論できる。本発明による方法は、ブロックダイヤグラム（図２）を参照して最も良く説明できる。最初に、顕微鏡の選択された光学的構造を制御計算器２３への伝送３００が行われる。このことが必要なのは、次に必要な計算のために常に呼び出すことができるように、制御計算器２３が、このために専用に設けられたメモリ領域に構造を記憶するからである。顕微鏡構造の自動化の目的でも、特に通常の作業の間に、顕微鏡内でこのような伝送が行われていることは当業者に十分に知られている。本発明の特に洗練された実施において、当然、１組の構造データが様々な構成要素に１回のみ伝送され、この場合、このメッセージと直接関連しないすべての構成要素は示されていない。光学的構造は、ここで最終的なリストを挙げることなしに、次の要素、すなわち、使用する対物レンズの開口数、使用する対物レンズの倍率、液浸媒体の屈折率、顕微鏡光学系の中間倍率、開口の形状、照明の波長、検出の波長、一方向（ｘ，ｙ，ｚ）当たりの走査点の数等を含むことができる。光学的結像構造の関連パラメータの具体的な量は、当然、システム内に実装された光学的構造に左右され、異なる形状により変化することがある。例として、スペクトル検出する共焦点顕微鏡は、フィルタベースの共焦点顕微鏡と比較され、この場合、一方でスペクトル検出ブランチおよび他方で光学式フィルタ特性を考慮しなければならない。別の例は、点状に走査する共焦点顕微鏡とＣＣＤベースの広角顕微鏡との比較である。これは、画像フォーマット（走査自由度当たりの走査点）を完全に自由に１回選択できる解決法であり、ＣＣＤシステムでは比較的定着している。ユーザが同様に制御計算器２３に入力することによって光学的構造を転送でき、これは、このメッセージの意味において伝送３００としても理解されることは当然である。同様に、動作プロセス時に変更された光学的構造の場合、この構造を制御計算器２３に自動的に転送でき、これは、このメッセージの意味において伝送３００としても理解されることが考えられる。専門家には、各々の実現形態の場合、異なるソフトウェア構成要素からこのプロセスを担う中心構成要素へのパラメータの伝送３００も、制御計算器で行われることが周知である。簡単にするため、制御計算器は、それがソフトウェアおよびハードウェア構成要素を含むという意味で、ソフトウェア構成要素の同義語としても利用される。制御計算器は、特にこれらの構造のために、後続の計算のために本発明による方法に使用される管理に適切な光学的構造のための１つのメモリを含む（コンピュータ用にいずれにしろ必要なメモリ内のメモリ領域に示し得るので、図示しない）。次のステップで、走査顕微鏡による「画像の撮影」３０１が行われる。撮影された画像データ（強度）Ｉ（ｘ）から、画像のスペクトルモデル３０２が、画像のフーリエ変換された画像によって有利に直接計算される。フーリエ変換された画像は画像処理において最も知られたスペクトルモデルであるので、次に、フーリエ変換された画像についてさらに論じる。しかし、多くの別の手段が存在することを指摘する。光学的構造に合わせて、制御計算器上に含まれるデータバンクからあるいは制御計算器上含まれるシミュレーションプログラムから、光学伝達関数が計算される３０３。ブロック回路図内の並列パスで示されているような実施順序が、任意であることは当業者に明らかである。選択された光学的構造に適合する光学・伝達・関数（ＯＴＦ）を規定した後に、画像のフーリエ変換された画像の分解能限界と、選択された光学的構造に適合する光学・伝達・関数の分解能限界との比較から、まさに取り付けられた顕微鏡の品質に対する帰納的推論またはプローブの検査に使用される顕微鏡の構造調整に対する帰納的推論を行うことができる。このため、比較器３０４において、ＯＴＦおよび画像のスペクトルモデルが比較される。以下に示すように複雑なベクトル結果を供給する比較器３０４の出力が評価される３０５。評価３０５に続き、比較結果または評価の表示が行われる。表示は、例えば、直接ディスプレイ２７上にも行うことができ、この場合、評価は省略される。

信号、画像、容量のデジタル検出は、通常、形態の線形モデルによって行われる。

このモデルには次元がなく、またすべての３つの空間方向およびスペクトル成分に応用することができる。ＰＳＦは、特性的にシミュレーションした一点（顕微鏡の分解能よりも小さな物体）の画像に対応する。実際の画像形成の間、第１の近似法で良く確認された線形理論に従って、このスペクトル領域からの画像のすべての点に適用される。ＰＳＦは、その理論において光学器械業者に公知であり、顕微鏡製造業者には設計から公知であり、ユーザによっても測定することができる。ユーザによる測定は費用のかかる試みであり、ある程度の知識を必要とする。ＰＳＦは、さらにサンプル内部の環境の影響によって部分的に著しく変化する。実際に、この環境の影響は、理論が崩壊するほど強くなる可能性がある（例えば、非常に品質の低い顕微鏡検査、誤った埋込み媒体（オイルの代わりに水）等の場合）。ＰＳＦは退化し、容量内で局所的に変化する。調整が優れている場合、理論は当然非常に優れている。

コンボリューションは、フーリエ変換後に簡単な乗算に単純化される。この場合、画像形成は次の形態
Ｉ（ｆ）＝ｏ（ｆ）ｈ（ｆ）＋ｎ（ｆ） 方程式２
を有する。

この場合、方程式２に挙げた値は、方程式１の値のフーリエ変換された値であり、ｆは横方向の位置周波数ベクトルを示している。方程式３では、ノイズは無視されている。点広がり関数ｈ（ｘ）のフーリエ変換された関数は、ｈ（ｆ）であり、光学関係の文献では光学伝達関数と呼ばれる。

Ｉ（ｆ）＝ｏ（ｆ）ｈ（ｆ） 方程式３
方程式３では、周波数空間にまた理論に、原則としてＰＳＦの零桁が維持されたままである。このことは、この位置周波数の構造に関する全体の情報損失に対応する。さらに、フーリエ変換は画像の零点（画像内に存在しなかった周波数）を含む。理論的なＰＳＦ ｈ（ｘ）が既知である場合、顕微鏡設計者およびユーザは、最適な調整の場合に、この理想からの小さな偏差のみを予想するにすぎない。これらの偏差は、光学伝達関数の零点の位置で測定することができる。

詳細な評価に対する実際の制限は、現在、周波数空間内の恒常的な曲線に位置する零点が複雑すぎる形状を有する場合に生じるかもしれない。この制限は、今日のコンピュータシステムの利用可能な計算能力が根拠とされ、またこれに関連する高い計算時間によって与えられるが、全般的な制限要素ではなく、コンピュータ性能の向上の枠内で解決され、この結果、一層詳細な評価が一層短時間で可能になる。

実用では、このような方法では零点は求められず、この試みはノイズのため実施できない。ノイズのある画像信号の場合、時として零点は存在しない。実用では、その代わりに、例えば、対数計算されたパワースペクトル（方程式４参照）
ｌｏｇ（｜Ｉ（ｆ）｜^２）＝ｌｏｇ（｜ｏ（ｆ）ｈ（ｆ）＋ｎ（ｆ）｜^２） 方程式４
あるいは同様の関数で処理され、また負の最小が求められ、これは実用ではより良くかつより堅牢に機能する。しかし、このために、各々の数学的変換が一般化して代入され、画像のフーリエ変換された画像、および光学・伝達・関数の最小が最大化され、かつ残りの値が抑制される。この方法のために、構造を有する画像の撮影が必要であることが留意されるが、この理由は、画像のフーリエ変換された画像は、構造なしには零点のみから構成されるからである。さらに以下に記載する推論機械では、このことは、事実および規則の組として当然比較的簡単に考慮でき、これによってユーザはディスプレイ２７上の警告を見る。

しかし、上述のフーリエ変換にはなお別の代替方法がある。スペクトルモデルの実現は、フーリエ変換の直接計算によって行うことができ、ウェルチ・アルゴリズムによってまたはＡＲＭＡ（自己回帰移動平均）モデルの画像データに対する適合によって行うことができる。

この前処理の応用によって、比較しなければならないフーリエ空間のサンプルを導出できる。最小の位置の比較は、顕微鏡システムの分解能限界と理論との比較であるとアプリオリに理解される。原則として、実際の零点からの所望の零点の偏差を表す移動ベクトルを各画素について求める移動ベクトルフィールドが求められる。この移動ベクトルフィールドから、理想からの偏差を直接読み取ることができる。このことは、運動検出のように、まさに要求の高い計算業務であるが、適合によって十分に解決可能である。このような移動フィールドは、モデルのプリセットによって直接計算でき、この場合、移動フィールドのすべての要素は偏差の特徴として役立つことができる。このような移動フィールドは、例えば、運動検出の際にも（光学的流れ）求められ、この場合、２つの画像の間の強度が得られ、また２つの画像の間の移動が１つの運動によって説明され、したがって、速度ベクトルフィールドが求められる。この場合、強度獲得も適用され、静的な歪みが求められる。完全に確保されたベクトルフィールドは、比較的多くの情報であり、大部分不必要なデータ材料であるが、読み取ることができる最大の情報である。すでに満足すべき目標をもたらす実際的な根拠が、方程式５
ｈ’＝ｈ（Ｍｆ） 方程式５
に示されている。

方程式５からのこの簡単な根拠は、理論的なＰＳＦ ｈ（ｆ）と実際のＰＳＦ ｈ’（ｆ）との間の線形の偏差エラー（回転、歪み）のみを許容し、また本質的に、すべての移動ベクトルフィールドの部分量の著しい低減を示している。位置空間では、パラメータは、最大で、歪みの説明のために本質的に９つの特徴を供給する３つのマトリックスの３倍に対応し、９つの特徴は、設計者の数学的な嗜好に応じて、選択的に係数としてまたは固有ベクトルとして示される。Ｍは、モデルｈ’（ｆ）の零点が、測定されかつ後処理されたｌｏｇ（｜Ｉ（ｆ）｜^２）の（負の）最小と一致し、また最小の残りの欠陥のみが残るように適合され、この場合、２乗の合計偏差のような適切な欠陥の程度を選択しなければならない。

本明細書では、原則としてすべてのベクトル基準を、また加重された統計的偏差の程度を利用できることを指摘するが、ある文献はこの検討の枠を越えるであろう。さらに、コンピュータベースの実現において、当然、固定小数点算術または整数算術さえも上述の説明よりも好ましいが、この技術的なこつは当業者に十分に知られていることを指摘する。

３次元の撮像では、容量の個々の部分の、理論的な２Ｄ−ＰＳＦに対する偏差マトリックスを算出することによって、３Ｄ−ＰＳＦを直接算出することなく、３Ｄ−画像形成についても判定を行うことができる。ＰＳＦの断面へのこの低減によって、光学的な誤整合（オイル／水）の場合に生じるようなＰＳＦの３Ｄ−変形も算出できる。この場合、上述の特徴計算は、３Ｄ−測定に基づき実施されず、２Ｄ−測定の連続に基づき実施され、この場合、一般的な方法は同一のままであり、この説明によって十分に正確に記載されている。本質的な差は、逐次、より大きな量の特徴が算出されることである。

画像データの実際の最小へのＰＳＦの適合は、ミヒャエルヴィッツ Ｚ（Ｍｉｃｈａｅｌｅｗｉｃｚ．Ｚ）、フォーゲル Ｄ．Ｂ．（Ｆｏｇｅｌ Ｄ．Ｂ．）：その解決法：モダンヒューリスティック（Ｈｏｗ ｔｏ ｓｏｌｖｅ ｉｔ：Ｍｏｄｅｒｎ Ｈｅｕｒｉｓｔｉｃｓ）、ハイデルベルク：スプリンガー（Ｈｅｉｄｅｌｂｅｒｇ：Ｓｐｒｉｎｇｅｒ）、２０００年およびゲルシェンフェルト（Ｇｅｒｓｈｅｎｆｅｌｄ）（１９９８年）：数学的モデリングの性質（Ｔｈｅ Ｎａｔｕｒｅ ｏｆ Ｍａｔｈｅｍａｔｉｃａｌ Ｍｏｄｅｌｉｎｇ）、ケンブリッジ（Ｃａｍｂｒｉｄｇｅ）：に記載されているような従来技術のコンピュータ技術による多様なこのようなアルゴリズムによって実施することができる。これらの両方の文献は、当然、本明細書にすべてを列挙できないＳｕｃｈおよびＦｉｔアルゴリズムの利用可能な従来技術の小部分のみについて記載しているに過ぎない。

上に選択したマトリックス適合の簡単な説明は、当然、技術的進歩の結果、より記載的な特徴を生成するには現在のコンピュータ技術によってなお操作不可能である、理論的なＰＳＦを実際のＰＳＦに適応させるための一層複雑な非線形の数学的なワーピングモデルも利用することを排除しない。

上述のように、このようなアルゴリズムを応用するために、画像データが必要である。この理由から、次の方法の部分は、顕微鏡が十分に良くプリセットされている場合に初めて利用可能である（微調整のため）か、あるいは微調整がほとんど行われていないことを確認するために使用される。

例えば、変形マトリックスＭへの上述の適合によって、変形の定量化が可能であり、診断のために利用できる。最適な形状からの偏差は、例えば、調整を評価してユーザにフィードバックを与えるために使用される所定の公差等級に区分される。この方法による測定に基づき、欠陥および構造問題を確認できる。測定可能な偏差の例は、ＰＳＦの拡大として生じる球状の収差および非点収差、彗星の尾として現れるコマ、等々である。このような方法は、データバンク、ユーザインタフェースおよび説明成分付きの説明データバンクを有するソフトウェアとして実施できる。このことは、品質保証（製作時に内部で、顧客の場合は外部で、例えばマルチユーザの周辺における）のために利用され、この場合、説明成分としてのソフトウェア補助は、例えば「．．．であるので、そのようにしない」または「構成要素が壊れた」または「誤った埋込み媒体」のように、利用者にフィードバックを供給して、ある行動を利用者に促すか、もしくはある行動を指示する。

偏差に基づき、デコンボリューション方法（例えば）のために、ＰＳＦの記録が必要であるかどうか、あるいは理論的な値でさらに計算できるかどうかをシステムに決定させることができる。このような逆フィルタは、比較的不安定かつ数学的に複雑であり、アーチファクトを通常もたらす。このアーチファクトは、比較測定の手段が欠けているので、専門家にとっても一義的に明らかでない。それにもかかわらず、このアルゴリズムは、分解能の向上を約束するので魅力的である。実用では、コンボリューションの各形態はユーザによってブラックボックスとして見なされ、また（残念ながら）まれにしか検討されない。多くの安全関連の用途（医学、研究）では、このような技術はこの理由から頻繁に使用されない。根拠となる測定データのアプリオリの点検は重要であり、これによって、引き続くコンボリューションのために品質が十分であるかどうかが点検される。このように、接続された制御計算器は、「コンボリューションによる不良の測定は、なおより劣った測定をもたらす」という勧告を直接表現することができる。このような技術により、市場における逆フィルタの受入れが確実に改善され、この場合、移動フィールドの評価は些細なことではないことを付言する。

データに関する知識を介した推論の原理は、長年来、Ｋｌ（人工知能）の標準であり、以下の形態の一連の事実、
ＡならばＢ（ＷＥＮＮ Ａ ＤＡＮＮ Ｂ）
ＣならばＥ（ＷＥＮＮ Ｃ ＤＡＮＮ Ｅ）
．．．
ＡおよびＣならばＤまたはＦ（ＷＥＮＮ Ａ ＵＮＤ Ｃ ＤＡＮＮ Ｄ ＯＤＥＲ Ｆ）。

これらの規則では、変数（ここではＡ、Ｂ、Ｃ、Ｄ、Ｆ）は、点検できる論理的な言明である。すべての規則は、データバンク内に配列され、バックトラッキングアルゴリズムを介して処理される。事実はリスト内で案内され（例えば、Ａは真）、またすべての規則が精査され、より新しい過程で別の事実がもはや発生されなくなるまで、新しい事実が規則量を介して生成される。一例として、前提ＸＸが生じ、したがって新しい事実になった場合、規則（ＸＸならばＹＹ）（Ｗｅｎｎ ＸＸ ＤＡＮＮ ＹＹ）は真である。特徴に適切な量が適切に符号化されて存在する場合、この古いコンセプトを直接応用できる。上述のマトリックス例の場合、マトリックス要素は不都合な形態の特徴である。より有利な形態では、同一の情報がこのマトリックスの固有ベクトルおよび固有値として存在し、この場合、第１の適合においてこの特徴の変換を直接共に計算でき、したがって、ここでは記載しなかったことが当業者には十分に明白である。元のマトリックス成分を用いても、例として記載した以下の規則を明確に述べることができることも、当業者には十分に明らかであり、この場合、理解のしやすさが著しく損なわれる。理論において、例えば、偏差マトリックスの固有値Ｅ_１、Ｅ_２、Ｅ_３がすべて１（言葉で一）であることが予想される。規則、
Ａ＝（Ｅ_１＞Ｅ_２）および（Ｅ_１＞Ｅ_３）
は、例えば、卵形の歪みを優先方向に書き込み、この場合、固有ベクトルに関する同様の規則によって、方向に関する判定も行うことができる。少数の規則によって、「ＰＳＦの卵形の歪み」ような比較的簡単な解釈をデータに与えることができる。次に、推論機械は、説明の反復構造によって常により詳細な評価を行うことができ、この場合、評価の方法は、判定が十分に精細である場合に十分に大きなサイズをとることができる記憶された規則集によって明確に記憶される。元の光学的構造を事実ベースに追加することによって、さらにより精細な判定を達成できる。システムの出力性能は、規則の数、規則の品質、用意された当初の事実およびこれらの事実の測定精度に左右され、非常に多くの実施自由度を与える。

いくつかの反復後の可能な一連の結論は次の通りであろう（例えば）。
（「歪みがある」
また「固有値３が大きすぎる」
また「固有値２が小さすぎる」
また「固有ベクトル３がｚ軸の近くにある」）ならば、
「ｚの分解能が小さすぎる」。

次の結論は以下の通りであり得る。
「ｚの分解能が小さすぎる」および「水対物レンズ」ならば、
「水でオイル対物レンズを操作していないかどうか点検してください」。

この例の簡明性は、固有の工程のみを明瞭にするために役立つ。適切な実現の場合、はるかに大きな一連の推論が得られるが、これは、本明細書の説明の枠を越えるものであろう。

より新しい別の推論形態も、ファジー規則、ニューロファジー規則、ベイズのネットワークのような中心的構想の原理を変更せず、ブール論理によって予め設定される厳しい決定限界の代わりに、規則ベースに関する柔軟かつ恒常的な判定を生成するに過ぎないことに留意すべきである。この根拠では、伝統的な論理素子ＡＮＤ、ＯＲ、ＮＯＴ、ＩＦ、ＴＨＥＮ．．．は、より柔軟な等価素子によって明確にまたは暗黙に代用される。確立論的な根拠の場合、ベイズの根拠による規則のために、規則集による確立が割り当てられ、この場合、最大の確立を有する規則が選択される。このことは、当業者に十分に知られており、また実施の場合に、本発明の教示に矛盾することなく有効であり得る。

さらに、特徴および規則ベースを選択することによって、同一の原理を有する異なる手段を生成できることに留意すべきである。走査顕微鏡内へのレーザ光線の結合を測定するための手段は、例えば、ビードの撮影および上述のマトリックス適合手順によるデータ分析によって得られる。ｚ軸に近い固有ベクトルを表示できるか、あるいはｚ軸に対するこのベクトルの角度または推論機械は、「優れた」、「中位に優れた」、「悪い」のような公差等級に分類するために利用し得る。このようなシステムは、むしろ製造時にあるいはサービスエンジニアで見つけられるであろう。しかし、上述の例は、他の規則ベースおよび他の特徴により、ユーザに取扱い指示、ヒント、トリックおよび補助を与えるであろう。直ちに理解されるように、公差等級の生成は特別な組の規則に過ぎない。

通常、推論過程の確認された事実が出力され、この場合、内部および詳細な中間結果はユーザの関心を引かないので、ほぼ間違いなく、データバンクに予め記入された１つのみの部分量が出力される。場合によっては、ユーザが構成可能なソフトウェアフィルタに異なる詳細な説明を通過させることもできる。どの規則を出力するかの選択は、システム設計者の好みに従い、特にその目的に従うが、この理由は、サービスエンジニアは、関心のない経験の乏しいユーザよりも、場合によっては内部の結論により多く着手できるからである。出力の選択も自由度であり、この場合、顧客システムではディスプレイのほかに言語出力も考えられる。

図３は、一例として本方法を示している。画像４０１は、スペクトルモデル形成を介してフーリエ変換された画像４０２（または同様の同種のスペクトルモデル）に転換される。フーリエ変換された画像では、帯域制限が直接理解され、本図では画像中心の丸い構造４０２ａによって特徴づけられている。情報損失の境界であるこの構造４０２ａの縁部４０２ｂは興味深い。処理により、この境界がフーリエ画像４０２に作り出され、この場合、結果４０３はこの境界４０３ａをなぞる。これと平行に、理論４０４は、ＯＴＦに同一の処理が施されるときに同様の縁部位置を供給する（ここでは図示せず）。処理されたＯＴＦ４０５は、同様であるが、欠陥の場合に同一でない縁部構造４０５ａを示している。比較器３０４は、アルゴリズムにより移動ベクトルフィールド４０６を計算し、かつこのフィールドを十分に特徴づけることによって、これらの両方の構造を互いに適合させる。実用では、このことは内部の機能であり、この機能は高い計算費用と結びつけられるので、移動フィールドのために、パラメータ４０７として算出されるわずかな自由度を有する簡単な数学的モデルを選択する。次に、このパラメータは評価部に転送されるか、または直接示される。

図４には、引き続く推論が示されている。すべての規則および事実５０１の量から、個々の規則５０２が反復して取り出され、それらの前提が点検される。反復仕様によって、本方法の経過時間のために、満たされた前提５０３を有する規則のツリーが生成され、このツリーは、論拠または証拠として解釈できる。このプロセスは、さらなる規則がもはや証明されなくなるまで継続する。

図５は、例示的に、可能なユーザインタフェース６０２の略図を示している。このインタフェースは、画像表示６０１ならびにシステム６０３を制御するための必要なすべての操作要素を含む。これらの要素は、選択した実施に関係し、またスペクトル調整可能な共焦点顕微鏡用の要素が、標準顕微鏡用の要素とは異なる外観を有することは、当業者に十分に明らかである。さらに、ユーザインタフェースはなお説明成分６０４を含み、その中に、ユーザのために誘導されるデータに関する知識がテキスト形態で示される。当然、言語出力のような他の異なる形態が可能である。

本発明について、特別な実施形態に関して記載した。しかし、次の特許請求の範囲の保護範囲を離れことなしに変更および異なる形態を実施できることが当然である。

本発明による顕微鏡システムの概略図である。 本発明による方法のブロックダイヤグラムである。 記録された画像データに対する影響を可視化した本方法の概略図である。 推論の原理の説明図である。 ユーザインタフェースの概略図であり、これを介してユーザは、顕微鏡または測定装置のユーザの調整に対するフィードバックを受け取る。

符号の説明

１ 照明装置
３ 光線
４ 照明光線
５ 光線スプリッタ
６ 照明ピンホール
７ 走査モジュール
９ 走査ミラー
１１ 位置センサ
１２ 走査光学系
１３ 顕微鏡光学系
１５ 物体
１７ 検出光線
１８ 検出ピンホール
１９ 検出器
２３ 制御計算器
２７ ディスプレイ
２８ キーボード
２９ 調整装置
３０ マウス
１００ 走査顕微鏡
３００ 光学的構造の伝送
３０１ データ記録／撮像／容量記録
３０２ スペクトルモデル形成／光学分解能限界の引き続くセグメント化によるフーリエ変換
３０３ ＯＴＦの規定
３０４ 比較
３０５ 評価
４０１ 画像（容量も）
４０２ フーリエ変換された画像
４０２ａ 丸い構造体
４０２ｂ 縁部
４０３ 画像のフーリエ空間内のセグメント化された分解能限界
４０３ａ 境界
４０４ 理論（灰色）
４０５ 理論によって予想されるフーリエ空間内のセグメント化された分解能限界
４０５ａ 縁部構造
４０６ 比較器内の移動ベクトルフィールド
４０７ パラメータ
５０１ すべての規則および事実の量
５０２ すべての規則の量
５０３ 満たされた前提を有するすべての規則（したがって事実である）の量
５０４ 満たされない前提を有するすべての規則の量
６０１ 画像表示
６０２ ユーザインタフェース
６０３ 制御用の操作要素（ボタン、スライダ）
６０４ テキストメッセージ付き説明成分

Claims (24)

1. 次のステップ、
   −選択された光学的構造を制御計算器に伝送するステップ（３００）と、
   −走査顕微鏡によりサンプル画像を撮影するステップ（３０１）と、
   −前記画像のフーリエ変換された画像を計算するステップ（３０２）と、
   −前記選択された光学的構造に適合する光学・伝達・関数を規定するステップ（３０３）と、
   −前記画像のフーリエ変換された画像の分解能限界と、前記選択された光学的構造に適合する光学・伝達・関数の分解能限界とを比較するステップ（３０４）と、
   −前記比較結果を評価して（３０５）表示するステップと、を特徴とする方法。
2. 前記光学的構造が、使用される対物レンズの開口数、前記使用される対物レンズの倍率、液浸媒体の屈折率、顕微鏡光学系の中間倍率、前記開口の形状、前記照明の波長、前記検出の波長、走査点の数等を含むことを特徴とする、請求項１に記載の方法。
3. 前記画像のフーリエ変換された画像の分解能限界と、前記選択された光学的構造に適合する光学・伝達・関数の分解能限界とを比較するステップ（３０４）が、さらなる評価のために利用される一組の特徴を供給することを特徴とする、請求項１に記載の方法。
4. 評価するステップ（３０５）が特徴の表示からなることを特徴とする、請求項３に記載の方法。
5. 前記特徴を評価するステップ（３０５）が、説明データバンクを介した推論によって説明を決定しかつ表示することを特徴とする、請求項３に記載の方法。
6. 数学的変換によって、前記画像のフーリエ変換された画像、および光学・伝達・関数の最小が最大化され、かつ残りの値が抑制されることによって、前記分解能限界が規定されることを特徴とする、請求項１に記載の方法。
7. 前記画像のフーリエ変換された画像と前記光学・伝達・関数の前記分解能限界の前記比較が、幾何学的変換を観察データに適合させることによって行われ、また前記変換のパラメータが特徴として使用されることを特徴とする、請求項１に記載の方法。
8. 前記撮影された画像が３次元であることを特徴とする、請求項１〜７のいずれか一項に記載の方法。
9. 前記光学・伝達・関数がデータバンクから抽出されることを特徴とする、請求項１〜８のいずれか一項に記載の方法。
10. 前記光学・伝達・関数が、前記選択された光学的構造のパラメータから計算されることを特徴とする、請求項１〜９のいずれか一項に記載の方法。
11. 光学的構造を固定する複数の手段が照明および検出ビーム路（４、１７）内に設けられるように、また走査顕微鏡（１００）が、ディスプレイ（２７）を備える制御計算器（２３）と結合されるように、前記照明および検出ビーム路（４、１７）を画定する走査顕微鏡（１００）を有する顕微鏡システムにおいて、制御計算器（２３）で分解能限界の監視が行われ、また使用者に前記分解能限界の監視結果を提示して、説明を与える説明成分（６０４）がディスプレイ（２７）に示される顕微鏡システム。
12. −前記選択された光学的構造を制御計算器（２３）に伝送するための手段と、 −物体（１５）の画像を撮影するための手段（１９）と、
    −前記画像のフーリエ変換された画像を計算するための手段と、
    −前記選択された光学的構造に適合する光学・伝達・関数を規定するための手段と、
    −前記画像のフーリエ変換された画像の分解能限界と、前記選択された光学的構造に適合する光学・伝達・関数の分解能限界とを比較するための手段と、
    −前記比較結果を評価して表示するための手段と、が用意されることを特徴とする、請求項１１に記載の顕微鏡システム。
13. 前記光学的構造が、使用される対物レンズの開口数、前記使用される対物レンズ（１３）の倍率、液浸媒体の屈折率、顕微鏡光学系の中間倍率、前記開口の形状、前記照明の波長、前記検出の波長、すべての空間方向におけるおよびスペクトル軸に沿った走査点の数等を含むことを特徴とする、請求項１１に記載の顕微鏡システム。
14. 説明データバンクが設けられ、また評価するための前記手段が、前記説明データバンクを介した推論によって実現されることを特徴とする、請求項１２に記載の顕微鏡システム。
15. データキャリア上のソフトウェアにおいて、
    該ソフトウェアが、次のステップ、
    −選択された光学的構造を制御計算器（２３）に伝送するステップと、
    −走査顕微鏡（１００）により物体（１５）の画像を撮影するステップと、
    −前記画像のフーリエ変換された画像を計算するステップと、
    −前記選択された光学的構造に適合する光学・伝達・関数を規定するステップと、
    −前記画像のフーリエ変換された画像の分解能限界と、前記選択された光学的構造に適合する光学・伝達・関数の分解能限界とを比較するステップと、
    −比較結果を評価して表示するステップとによって、
    走査顕微鏡（１００）と共にデータ記録を実施し、また同時に監視を実施するソフトウェア。
16. 前記光学的構造が、使用される対物レンズ（１３）の開口数、使用される対物レンズ（１３）の倍率、液浸媒体の屈折率、顕微鏡光学系の中間倍率、前記開口の形状、前記照明の波長、前記検出の波長、空間軸とスペクトル軸とに沿った走査点等を含むことを特徴とする、請求項１５に記載のソフトウェア。
17. 前記画像のフーリエ変換された画像の分解能限界と、前記選択された光学的構造に適合する光学・伝達・関数の分解能限界とを比較するステップが、さらなる評価のために利用される一組の特徴を供給することを特徴とする、請求項１５に記載のソフトウェア。
18. 前記評価するステップが特徴の表示からなることを特徴とする、請求項１７に記載のソフトウェア。
19. 前記特徴を評価するステップが、説明データバンクを介した推論によって説明成分（６０４）を決定しかつ表示することを特徴とする、請求項１７に記載のソフトウェア。
20. 数学的変換によって、前記画像のフーリエ変換された画像、および光学・伝達・関数の最小が最大化され、かつ残りの値が抑制されることによって、前記分解能限界が規定されることを特徴とする、請求項１５に記載のソフトウェア。
21. 前記画像のフーリエ変換された画像と前記光学・伝達・関数の前記分解能限界の前記比較が、幾何学的変換を観察データに適合させることによって行われ、また前記変換のパラメータが特徴として使用されることを特徴とする、請求項１５に記載のソフトウェア。
22. 前記撮影された画像が３次元であることを特徴とする、請求項１５〜２１のいずれか一項に記載のソフトウェア。
23. 前記光学・伝達・関数がデータバンクから抽出されることを特徴とする、請求項１５〜２２のいずれか一項に記載のソフトウェア。
24. 前記光学・伝達・関数が、前記選択された光学的構造のパラメータから計算されることを特徴とする、請求項１５〜２３のいずれか一項に記載のソフトウェア。

Images