JP2006520473A - 多軸統合システムおよび方法 - Google Patents

Abstract

多軸統合（ＭＡＩ）を用いる画像取得システムおよび方法では、光軸統合（ＯＡＩ）技術と、時間遅延統合（ＴＤＩ）技術とをともに組み込み得る。本出願において開示したＭＡＩシステムおよび方法は、データが取得されたときにおいて、ｚ方向に画像データを統合し得、逆畳み込みの前に画像データを投影する。ｚ方向へのスキャン中における画像面の横方向への平行移動により、単一のスキャンシーケンスによる大面積の画像化が可能になる。

Description

本出願は、タイトルが「ＭＵＬＴＩ−ＡＸＩＳ ＩＮＴＥＧＲＡＴＩＯＮ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ」の同時係属の米国特許出願第１０／３８９，２６９号（２００３年３月１３日出願）の利益を主張する。

本発明の局面は、概して、画像取得システムおよび画像処理技術に関し、より詳しくは、画像面の横方向への平行移動（ｌａｔｅｒａｌ ｔｒａｎｓｌａｔｉｏｎ）とともに光軸に沿って得られた画像データを統合する（ｉｎｔｅｇｒａｔｉｎｇ）システムおよび方法に関する。

短い被写界深度（ＤＯＦ）の光学素子を用いて、自動化されたおよび半自動化された三次元（３Ｄ）対象物（ｏｂｊｅｃｔ）のスキャニングを可能にするために種々のオートフォーカス技術が開発されてきた。そのような短いＤＯＦの光学系は、通常、顕微鏡および別の検査システムにおいて用いられている。少なくとも部分的には、それは、短いＤＯＦにより、ＤＯＦの限度内において優れた画質および解像度が得られうるためである。予備知識として、画像の解像度は、光学素子の開口数（ＮＡ）に正比例する。従って、高解像度の画像には、通常、高ＮＡ値が必要とされる。表１に示されるように、ＤＯＦは、ＮＡに反比例する。従って、高ＮＡ（換言すると、高解像度）では、必然的に浅いＤＯＦが生成される。それにより、最終画像の不鮮明さが増す。それは、画像化された対象物の部分が、焦点面すなわち画像面の上方および下方に延びるためである。

その点において、焦点がずれた画像は、通常、画像分析には有用ではなく、自動化されたスキャニングおよび画像取得システムにおける失敗の原因になる。従って、オートフォーカスの機能は、通常、従来の多くの短いＤＯＦ自動化システムに不可欠な要素として見なされてきた。

オートフォーカスは、平凡な技術ではない。従って、オートフォーカス機能を組み込むことにより、一般的な画像化システムに関連した使用と、設計と、インプリメンテーションと、統合とに関連した様々な複雑な課題が生じる。特に、観察または画像化される対象物の軸方向の大きさが光学素子のＤＯＦよりも大きい場合において、所望のまたは最適な焦点面を自動的に決定することは不可能なタスクであり得る（表１を参照のこと）。そのような場合において、画像化される対象物は、通常、複数の焦点面を有し、そのうちのどれ１つも「正しい」または最適でなくあり得る。オートフォーカス機能が「最適な」焦点面を確かめることに成功した場合でさえ、最適な焦点面を決定するために必要とされる時間は、スキャン速度に対する大きな制限であり得る。

当業者には周知のように、オートフォーカス方法は、幾つかの方法で用いられ得る。例えば、オートフォーカス技術は、通常、平坦でない表面の上に取り付けられたか、または配置された二次元（２Ｄ）対象物の画像を収集するために用いられる。さらに、オートフォーカスは、通常、３Ｄ対象物の画像を収集するためにも用いられる。実際には、典型的な画像取得システムの操作に関する大抵の着目対象物は、単に２Ｄであるよりも３Ｄである。ある状況下では、対象物の任意の２Ｄ画像で十分であると見なされ得る。しかし、別の状況下では、特定の、または所定の、または指定の焦点面から取り込まれた画像が望まれる。いずれの場合においても、オートフォーカス技術を用いて得られた２Ｄ画像は、通常、対象物（上記のように、通常は３Ｄである対象物）に関する有用な形態情報および／または定量的な情報を含むものと期待される。

さらに、オートフォーカスは、光軸に沿って得られる一連の画像（いわゆる「光学切片（ｏｐｔｉｃａｌ ｓｅｃｔｉｏｎ）」）の出発点を位置決めするために用いられ得る。一連の光学切片からの画像データを用いて、画像処理システムは、個々の対応する２Ｄ画像の分析から得られうるものよりもむしろ、その結果得られた３Ｄ画像からの情報を確かめ得る。しかし、各光学切片は、通常、隣接した切片（換言すると、所定の切片の焦点面の上方または下方にある切片）からの情報を含むといことは理解されるであろう。その原因は、表１に示されているように、所定のＮＡに対するＤＯＦの範囲である。

オートフォーカスされたシステムから得られた画像は、通常、ある形式の強度統合に基づくアルゴリズムを用いて、分析される。例えば、特定の着目領域内（例えば、顕微鏡用スライドまたはマイクロアレイ上）のピクセル強度は、加算されるか、または総計され得る。それにより、その領域内の特定の化学物質の量が推測される。さらに、またはもしくは、その領域の全面積を決定するためにピクセルが数えられ得る。大抵の基本的なレベルでは、特定の化学物質のシンプルな存在または不存在を識別するために、ある種の存在テストが、計画される。それらのテストは、通常、強度統合に頼り、バイナリの結果を生じるように構成される。

いずれにしても、従来のシステムでは、通常、複数の光学切片の一連の取得に頼り、その後に計算的には負荷のかかる逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）処理が続く。特に、逆畳み込みは、不必要に非効率である。それは、上記のように、特定の光学切片の各々が隣接した切片からの不鮮明な画像データを含むためである。

本発明の実施形態により、上記の従来技術の欠点および別の種々の欠点が克服され、横方向への同期された平行移動とともに光軸に沿って得られた画像データの統合を用いる画像取得システムおよび方法が提供される。一部の実施形態に従って動作可能なシステムおよび方法は、例えば、データが取得されるとｚ方向に画像データを統合（または、投影）し得る。逆畳み込みの前に画像データを投影することにより、かなりの計算上のオーバーヘッドの節約が得られうる。ｚ方向へのスキャンの間における画像面の横方向への平行移動により、さらなる効率化が得られ得、単一のスキャンシーケンスによる大面積の画像化が可能になる。

一般的には、本開示に従う多軸統合（ＭＡＩ；ｍｕｌｔｉ−ａｘｉｓ ｉｎｔｅｇｒａｔｉｏｎ）を用いる画像取得システムおよび方法は、光軸統合（ＯＡＩ；ｏｐｔｉｃａｌ ａｘｉｓ ｉｎｔｅｇｒａｔｉｏｎ）および時間遅延統合（ＴＤＩ；ｔｉｍｅ−ｄｅｌａｙ ｉｎｔｅｇｒａｔｉｏｎ）技術をともに組み込み得る。

ある例示的な実施形態によると、データを取得する方法は、光軸に沿って対象物をスキャンすることと、同時に横軸に沿って対象物をスキャンすることと、上記スキャニングと上記同時スキャニング中において対象物の画像データを取得することと、上記取得と同時に画像データを統合することとを包含する。上記スキャンすることは、対象物の光軸および画像面に沿った相対的な平行移動を提供することを包含し得る。同様に、上記同時スキャンすることは、対象物の横軸および画像面に沿った相対的な平行移動を提供することを包含し得る。

上記取得することが電荷結合素子を用いることを包含するシステムおよび方法について開示する。ある方法では、上記統合することが、画像プロセッサを用いることを包含し、統合した後に画像データのぼけを除去（ｄｅｂｌｕｒｒｉｎｇ）すること、または統合した後に画像データを逆畳み込みすること、またはそれら両方をさらに包含し得る。

ある例示的なインプリメンテーションによると、データを取得する方法が、画像データの投影と、光学的な点像分布関数の投影とから対象物の二次元投影を算出することをさらに包含し得る。

上記スキャンすることは、光軸に沿った相対的な平行移動の方向を選択的に変更することをさらに包含し得る。さらに、上記同時スキャンすることが、横方向に沿った相対的な平行移動を、上記取得することに関連した速度に同期させることを包含し得る。

以下に詳述するように、対象物の画像データを取得する方法は、光軸統合スキャンを実行することと、同時に時間遅延統合スキャンシーケンスを実行することと、そのスキャンの実行およびシーケンスの実行を選択的に繰り返すこととを包含し得る。

一部の実施形態においては、上記スキャンを実行することが、光軸に位置した画像面において対象物の画像データを取得することを包含し、上記スキャンを実行することが、対象物の光軸と画像面とに沿った相対的な平行移動を提供することをさらに包含し得、先に簡潔に記載したように、相対的な平行移動の方向が、選択的に変更され得る。

上記シーケンスを実行することが、通常、対象物の横軸および画像面に沿った相対的な平行移動を提供することを包含する。あるインプリメンテーションにおいては、上記シーケンスを実行することが、横軸に沿った相対的な平行移動を、画像化装置に関連したデータ取得レートに同期させることを包含する。

上記のように、上記取得することが電荷結合素子を用いることを包含し、または上記スキャンを実行することが取得することと同時に画像データを統合することをさらに包含し、または上記統合することが画像プロセッサを用いることを包含し、またはそれらを組み合わせたシステムおよび方法について、開示する。

本開示による画像取得システムおよび方法は、統合の後に画像データのぼけを除去すること、または統合の後に画像データを逆畳み込みすること、またはそれらの両方を包含し得る。方法は、画像データの投影と光学的な点像分布関数の投影とから対象物の二次元投影を算出することをさらに包含し得る。

上記の本発明の種々の実施形態の局面および別の局面は、添付の図面とともに、以下の発明を実施するための最良の形態を考察することにより、明らかになるであろう。

先に簡潔に記載したように、画像取得のスループットは、多くの場合、生医学用途または別の用途に多く見られるハイコンテンツかつ高スループットなアッセイをスキャンするシステムおよび方法におけるレートを制限する要因を表す。画像取得のスループットは、特に、例えば、アッセイが蛍光性のプローブの検出を必要とする場合、および横方向の高分解能（ｘおよびｙ方向の高分解能）がハイコンテンツな画像分析アルゴリズムに必要とされる場合において問題になり得る。検出された信号が弱い場合において（例えば、蛍光の画像化において）、通常、高開口数（ＮＡ）のレンズを用いることにより、収集効率を最大化し、露出時間を最小化する。しかし、高ＮＡのレンズの副次的な悪影響は、被写界深度（ＤＯＦ、すなわちピントの合った領域をｚ方向に沿って測定した大きさ）が非常に浅いということである。上記のように、高ＮＡのレンズは、分厚い対象物を観察する性能が制限されており、再びフォーカスせずに平坦でない下地に従うことはできない。

検出された信号が強いか、または容易に取得される場合において（例えば、伝送された可視光）でさえ、光学上のＤＯＦにより画像化され得る厚みよりもサンプルの厚みが大きい場合においては、光学系は、依然として不適切に実行され得る。画像化される対象物が光軸に直交する平面に位置していない場合において、画像化におけるさらなる困難が生じ得る。多くの場合、それらの光学上の制限により、オートフォーカス技術の使用、または１つ以上の焦点面における画像の取得の必要性が生じる。

オートフォーカス技術に多くの努力が注ぎ込まれてきたが、光軸統合技術は、それよりもコスト効率が良く、通常、多くのスキャニング用途において、より一層の性能を提供する。以下に詳述するスキャニング技術は、例えば非整合または可変の焦点面を有する対象物に対しても非常に強く、分厚い対象物を画像化するために用いられ得る。さらに、本開示に従って実行されるスキャンは、オートフォーカスまたは光学切片化手順をインプリメントするスキャンよりも高速であり得る。

（光軸統合）
従来のオートフォーカス方法の代わりとして、本開示に従って動作可能なシステムおよび方法は、以下に詳述する光軸統合（ＯＡＩ）技術を用いる。光学素子または画像化装置に対する特定の焦点面を決定すること（換言すると、画像面の適切または最適なｚ方向の位置を正確に決定すること）を試みるよりもむしろ、例えば画像化される特定の対象物に対して、対象物は光軸に沿ってスキャンされ得る。その一方で、検出器、またはコンピュータ、または別の計算装置は、同時に、取得された画像または画像データを統合する。その結果の画像は、光軸に沿った三次元（３Ｄ）対象物の画像の統合（換言すると、投影）である。換言すると、ＯＡＩ画像は、一般的に、次式により表され得る。

ここで、ｉ’は、３Ｄ画像ｉの光軸（ｚ方向）に沿った二次元（２Ｄ）投影である。

この状況において、３Ｄ画像ｉは、数学的には以下のように、顕微鏡または別の光学装置の点像分布関数（ＰＳＦ）を用いて畳み込まれた着目対象物（ｏ）として記述され得る。

（１）式に（２）式を代入することにより、次式が得られる。

光軸ｚに沿ってこの積分を配列し直すことにより、次式が得られる。

これは、次式と等価である。

光軸ｚ’に沿って積分を配列し直すことにより、ＯＡＩ画像ｉ’（ｘ，ｙ）は、次式により表され得る。

（６）式は、ＯＡＩ画像ｉ’（ｘ，ｙ）が、光軸に沿ったＰＳＦ積分を用いた光軸に沿った対象物の積分の畳み込みとして表され得るということを示している。（６）式はまた、光軸に沿った対象物の投影と、画像の投影と、ＰＳＦの投影との関係を示している。

以下の定義により、上記の等式のさらなる簡易化が容易になり得る。

（６）式に上記定義を代入することにより、次式が得られる。

ｏ’（ｘ，ｙ）に対して（８）式を解く最良の方法には、フーリエ変換が含まれ、周知の手順である。（８）式の両辺にフーリエ変換を行い、畳み込み定理（例えば、Ｂｒａｃｅｗｅｌｌ，１９８６を参照のこと）を用いることにより、次の関係式が得られる。
Ｉ’（ｕ，ｖ）＝Ｏ’（ｕ，ｖ）ＯＴＦ’（ｕ，ｖ） （９）
大文字は、対応する関数のフーリエ変換を意味するものとして用いた。ＰＳＦのフーリエ変換は、それの変換の慣習的な項である光学的伝達関数（ＯＴＦ）に置換した。項を配列し直し、フーリエ逆変換を行うことにより、次式が得られる。

ここで、Ｆ^−１は、フーリエ逆変換を表す。

（１０）式は、画像の投影と光学ＰＳＦの投影とから、対象物の２Ｄ投影を算出する効率的な方法を記述する。シングルステップでの解法は、優れた品質の画像には良く働き得る。しかし、低品質の画像に対しては、（１０）式の反復解法により、より確かな結果が得られうる。例えば、Ａｇａｒｄらによる束縛性の反復技術（Ｄａｖｉｄ Ａ．Ａｇａｒｄ ａｎｄ Ｊｏｈｎ Ｗ．Ｓｅｄａｔ，Ｎａｔｕｒｅ，第３０２巻，１９８４，６７６ページ〜）を参照のこと。

本開示に記載し、および検討されているように、システムおよび方法は、２つの形式（デジタルまたはアナログ）のいずれかのＯＡＩ技術をインプリメントし、または組み込み、または含み得る。例えば、デジタルＯＡＩを組み込むかまたは実行する実施形態においては、一連の画像が、光軸に沿って収集され得、次いで、デジタル形式で形式ｉ’（ｘ，ｙ）に合計され得る。この合計は、スキャン中またはスキャン後に生じ得る。換言すると、個々の光学切片を別個の画像または画像データのコレクションとして保存する必要はなくあり得る。例えば、アナログＯＡＩの実施形態においては、ｉ’（ｘ，ｙ）は、光軸に沿って対象物をスキャンすることによって生成され得る。その一方、画像データは、電荷結合素子（ＣＣＤ）または別の検出器内において蓄積される。その統合は、ＣＣＤチップにおいて実行され得、概して、単一画像が生じ得る。すなわち、単一画像は、光軸に沿ったｚ方向における対象物の全体の深さを表し得る。

アナログＯＡＩは、例えば、ＣＣＤカメラまたは別の検出器を用いてマイクロアレイをスキャンすることを含めたオペレーションに対して特別な効用を有し得る。アナログＯＡＩを用いるシステムおよび方法は、高度、かつタイムコンシューミング、かつプロセッサインテンシブなオートフォーカス手段への依存を除去し得るか、または実質的に低減し得る。

多くのアプリケーションにおいて、アナログＯＡＩは、デジタルＯＡＩおよびオートフォーカスよりも、特に自動化されたスキャナに対して多くの有利な点を提供し得る。例えば、デジタルＯＡＩと比較すると、アナログＯＡＩの実施形態は、実質的により低いデータコレクションおよびプロセッサオーバーヘッドを必要とし、より小さい読み出しノイズを示し、等価な露出時間に対する低い光子ノイズを示す。

従来のオートフォーカスシステムと比較すると、アナログＯＡＩ実施形態の有利な点は、スキャン時間が短いことと、総計の露出の必要量が少ないことと、任意の焦点面を決定することに関連する問題を最小化するまたは除去することとを含み得、３Ｄ対象物の統合により、対象物の完全な定量化を生じるかまたは可能にする。すなわち、ＯＡＩ画像の情報コンテントがオートフォーカスシステムを用いて得られたものよりも多く、従って、着目対象物に関連した構造で欠損するものが減る。

アナログ技術と比較すると、デジタルＯＡＩ実施形態の有利な点は、実質的に多くの光子カウントを達成する潜在能力を含み得る。従って、３Ｄ画像は、３Ｄ逆畳み込み、容積測定などの高度な画像分析に利用可能にされ得る。

例えば、逆畳み込みとともに説明したＯＡＩ技術の相乗的な組み合わせにより、自動化されたスライドスキャニング技術に大きな進歩が提供され得る。例えば、ＯＡＩ画像は、通常、定量的にぼけを除去する手順による利益を受け得る。同様に、逆畳み込み性能は、改善され得る。それは、（１０）式が３Ｄよりも２Ｄ画像を扱うためである。さらに、オートフォーカスシステムから得られた画像に基づく多くの画像分析形式は、投影された画像に、同様に良く（またはより良く）機能する。

例えば、基本的な対象物検出オペレーションは、ＯＡＩ画像処理技術による利益を受け得る。その点において、最小のＤＯＦを用いた画像（換言すると、オートフォーカス画像）は、対応する投影画像と比べて特定の着目対象物を含まないことが多いということは、理解されるであろう。同様に、強度統合を用いる分析は、ＯＡＩ技術の適用による利益を受け得る。少なくとも部分的には、それは、ｚ方向（換言すると、光軸に沿った方向）が既にＯＡＩ結果に組み込まれているためである。別の例として、３Ｄ構造（例えば、細胞核、細胞質、および内質細網）内の強度を統合するアッセイは、通常、ＯＡＩ画像に対してより正確であり得る。それは、２Ｄオートフォーカス画像は、焦点のずれた強度を適切に測定し得ないためである。

図面を参照すると、図１Ａは、本開示に従って動作可能な画像取得システムの一実施形態を図示する簡略化した機能ブロック図であり、図１Ｂは、図１Ａに示された画像取得システムの一部を示す簡略化した機能ブロック図である。当業者には、図１Ａおよび図１Ｂが一例としてのみ提供されたものであり、要素の特定の配置には種々の修正が可能であり、システム要求に従って種々の要素の例示的な大きさと、方向と、相互関係とは変更され得るということは、理解されるであろう。さらに、下記の説明を検討することにより明らかなように、別個の要素として示された要素の機能の一部または全ては、結合され得るか、または別の要素に組み込まれ得る。

システム１００は、通常、正確に移動可能なステージ１２０と画像取得要素１４０とに結合さ得る顕微鏡１１０を備える。ステージ１２０は、マイクロアレイ、顕微鏡用スライド、または、画像化される試料または対象物１９９が置かれた別の類似した構造（参照番号１９０）を支持するように構成され得、および、支持するように動作可能であり得る。当業者には周知のように、顕微鏡１１０は、照明ステージ１２０の照明源１１１を備え得るか、または照明源１１１と協働して動作可能であり得るか、または所定もしくは選択済みの周波数もしくはスペクトルバンド幅の光を用いてそれを備えかつ動作可能であり得る。その点において、照明源１１１は、可視光、または赤外線、または紫外線の光を提供し得る。

一部の実施形態においては、照明源１１１は、顕微鏡１１０のハウジング１１２内（図１Ａに図示されたものと比較して、ステージ１２０とスライド１９０の反対側）に組み込まれ得る。もしくは、源１１１と協働するかまたは源１１１の代わりに用いられるさらなる照明源（図示せず）が、ハウジング１１２内に収容され得るかまたは支持され得る。それらの実施形態において、ハウジング１１２内に配置された上記照明源は全て、顕微鏡１１０の光学要素に干渉せず、かつ顕微鏡１１０を介した光学経路（画像取得要素１４０への経路）を遮らないように、適切な大きさに決定され得、配置され得る。

上記のように、ステージ１２０は、顕微鏡１１０に組み込まれた光学素子（例えば、図１Ｂに示された対物レンズ１１９）に対して移動可能であり得る。一部の実施形態においては、ステージ１２０は、ｘおよびｙ方向の両方向に移動可能であり得る。ここで、ｙ軸は、図１Ａおよび図１Ｂの面に直交する。この状況において、ｘ軸およびｙ軸は、通常、本明細書においては、「横（ｌａｔｅｒａｌ）」軸と称され得、システム１００の光軸（以下に説明する）に直交する平面を記述し得る。さらに、またはもしくは、ステージ１２０は、ステージ１２０の構造に対してｘおよびｙ方向に横方向にスライド１９０を正確に配置させるように構成されかつそのように動作可能な１つ以上の構造およびメカニズムを組み込み得るか、または備え得る。そのような実施形態において、顕微鏡１１０の光学経路に対する対象物１９９の正確な２Ｄの横方向のポジショニング（換言すると、ｘおよびｙ座標）は、顕微鏡光学素子に対するステージ１２０の移動、またはステージ１２０に対するスライド１９０の移動、または両移動を介して達成され得る。

一部の実施形態においては、ステージ１２０は、ｚ軸（光軸）に沿って移動可能であり得る。顕微鏡光学素子が、光軸および対物レンズ１１９の焦点に対して３Ｄ空間における（換言すると、ｘ、ｙ、およびｚ座標）適切な位置へのスライド１９０上の対象物のポジショニングを容易にし得るということは、理解されるであろう。その点において、対物レンズ１１９などの顕微鏡１１０の１つ以上の光学要素は、光軸に沿って選択的に動くステージ１２０に加えて、またはその代わりに、ｚ方向に移動可能であり得る。さらに、またはもしくは、対物レンズ１１９は、ｘ軸またはｙ軸または両軸に沿って移動可能であり得る。

画像化される対象物１９９の顕微鏡用光学素子に対するポジショニングの種々のメカニズムおよび方法が周知であるということは、理解されるであろう。種々の要素（例えば、スライド１９０、ステージ１２０、および対物レンズ１１９）の個々または組み合わせの相対運動は、システム要求および配置に従って変更され得、その相対運動が達成されることにより対物レンズ１１９に対する適切な位置に対象物１９９が位置合わせされ得る。本開示は、対物レンズ１１９および光学経路すなわち画像面に対して対象物１９９を位置合わせするように用いられた構造および処理に限定されることを意図したものではない。従って、本明細書においてなされた対象物１９９および画像面の相対運動への言及は、通常、対象物１９９の移動、または画像面の移動、またはそれらを組み合わせたものを含み得る。

顕微鏡光学素子は、通常、画像取得要素１４０と連動して構成され、動作可能であり得る。その点に関して、要素１４０は、通常、カメラ、または電荷結合素子（ＣＣＤ）、または画像プロセッサ１４２または別の適切なエレクトロニクスと結合され得る別の検出器１４１を備える。システム１００は、制御エレクトロニクス１５０をさらに備え得、制御エレクトロニクス１５０は、例えば、操作上のパラメータ、機能特性、または画像プロセッサ１４２および検出器１４１の別の設定可能な局面と、ステージ１２０または対物レンズ１１９または別の要素の二次元または三次元運動と、電力出力、スペクトルバンド幅、周波数、または源１１１およびシステム１００に組み込まれた別の照明源の別のパラメータと、データ格納とを制御するように動作可能である。その点において、エレクトロニクス１５０は、１つ以上のマイクロプロセッサ、またはマイクロコントローラ、またはコンピュータ読込可能な命令を実行することができる別のプログラム可能なデバイスを備え得る。さらに、エレクトロニクス１５０は、データ記憶媒体またはネットワークに接続されたデバイス（例えば、ファイルサーバー、アプリケーションサーバー）を備え得るか、またはそれらに結合されるように動作可能であり得る。当業者には、マイクロプロセッサを用いた種々の方法および装置、または画像取得システムのオペレーションを設定し制御するコンピュータ実行可能な命令のセットは、周知であるということは、理解されるであろう。

動作中において、検出器１４１により取得された画像データは、合計され得るか、または操作され得るか、または保存され得るか、または、画像プロセッサ１４２に常駐したハードウェア、もしくはソフトウェア、もしくはそれら両方により、処理され得る。一部の実施形態においては、上記のように、プロセッサ１４２の機能は、エレクトロニクス１５０から伝送された信号により影響を受け得るか、または制御され得る。もしくは、画像プロセッサ１４２およびエレクトロニクス１５０の機能は、例えば、単一のデバイスに組み込まれ得る。具体的には、画像プロセッサ１４２は、本明細書に記載の方程式の解または近似解を算出する命令セットに従って動作可能であり得る。

図２Ａ〜図２Ｃは、画像取得および画像データ処理方法の実施形態のオペレーション全般を図示する概略図である。図３Ａ〜図３Ｃは、図２Ａ〜図２Ｃに示された方法のオペレーション全般を図示する簡略化されたフロー図である。

図２Ａと図３Ａとは、概して、画像処理オペレーションに対する１つの従来のアプローチを示している。上記のように、またブロック３１１に示されているように、一連の２Ｄ画像または２Ｄ画像のスタックがｚ軸に沿って連続的なｘ、ｙ平面（換言すると、光学切片）において取得される。その結果の画像ｉ（ｘ，ｙ，ｚ）は、数学的には（２）式により表されるが、解くことはコンピュータに負荷がかかる。図２Ａに示したように、ブロック３１２に示された逆畳み込みオペレーションは、光学切片の全スタックに対して実行される。従って、非効率であり、プロセッサインテンシブである。例えばＤＯＦ範囲が原因で、各光学切片が別の切片からのデータを含むために、逆畳み込みオペレーションは、必要以上のデータを処理する。最後に、ブロック３１３に示されるように、逆畳み込みされた３Ｄ画像は、２Ｄ画像ｏ’（ｘ，ｙ）に投影される。

図２Ｂおよび図３Ｂは、概して、本明細書において検討されているような画像処理オペレーションへの１つの顕著に改良されたアプローチを示している。図３Ａの実施形態などの場合において、一連の２Ｄ画像または２Ｄ画像のスタックは、ｚ軸に沿って連続的なｘ、ｙ平面（換言すると、光学切片）において取得され得る（ブロック３２１）。その結果の画像ｉ（ｘ，ｙ，ｚ）は数学的には（２）式により表されるが、解くことはコンピュータに負荷がかかる。図２Ｂに示されているように、また、ブロック３２２にも示されているように、逆畳み込みの前に、光学切片のスタックは２Ｄ画像ｉ’（ｘ，ｙ）に投影され得る。この画像は、数学的には（８）式により表され、それは、実質的に簡易化された（２）式の２Ｄバージョンである。ブロック３２３に示された逆畳み込みオペレーションにより、図２Ａと図３Ａとを参照して上述した実施形態と同じ２Ｄ画像ｏ’（ｘ，ｙ）が得られる。図３Ｂの実施形態により、計算上のオーバーヘッドが顕著に節約され、逆畳み込みされた投影が生成される。それは、プロセッサインテンシブの逆畳み込みが二次元においてのみ実行されるためである。

図２Ｃおよび図３Ｃは、３Ｄ対象物の２Ｄ画像を効率的に作成するＯＡＩ技術を用いた画像取得および処理方法の一実施形態を示す。この実施形態によると、ＯＡＩ画像ｉ’（ｘ，ｙ）は、例えば選択済みかまたは所定の範囲にわたりｚ方向の光軸に沿ってｘ、ｙ画像データを統合することにより、対象物から直接取得され得る（ブロック３３１）。その点において、上記のように、対象物および画像面の相対的な平行移動は、ＯＡＩスキャン中において提供され得る。図２Ｂに示されている投影された画像と同様に、ＯＡＩ画像ｉ’（ｘ，ｙ）は、（８）式により表される。しかし、図２Ｃおよび図３Ｃの例示的な実施形態においては、ＯＡＩ画像は、画像データが得られたときにおいて生成され得る。この例における統合は、データ取得と同時にまたは実質的に同時に起きると言えるかもしれない。従って、別個の光学切片のスタックに対する画像データを取得する必要はない。それにより、データ処理オーバーヘッドが顕著に低減される。部分的にはＯＡＩ画像が３Ｄよりもむしろ２Ｄにおいて表されているために、ブロック３３２における逆畳み込み性能が効率的になり得る。

図４Ａは、アナログ光軸統合の実施形態のオペレーション全般を示す簡略化したフロー図であり、図４Ｂは、デジタル光軸統合の実施形態のオペレーション全般を示す簡略化したフロー図である。図４Ａおよび図４Ｂに示した例示的な実施形態が、概して、ブロック３３１に示され、図３Ｃを参照して説明した統合オペレーションに対応し得るということは、理解されるであろう。説明したＯＡＩ技術により、（８）式に示されるようなＯＡＩ画像ｉ’（ｘ，ｙ）の生成が可能になり得る。

アナログ（図４Ａ）およびデジタル（図４Ｂ）ＯＡＩ方法の両方法おいて、実質的に上述したように、画像化される標的対象物は、識別され得、顕微鏡用光学素子に対して位置合わせされ得る（ブロック４１１および４２１）。ブロック４１１および４２１における位置合わせに関しては、対象物のｘおよびｙ座標のみが考慮され得る。換言すると、対象物は、光学経路に正確に揃い得る。ブロック４１２および４２２に示されたオペレーションは、データ収集またはデータ取得の全ての開始または有効化を表すことを意図したものである。具体的には、上記開始は、例えばカメラのシャッターの実際の移動または操作に制限されることを意図したものではなく、別の構造上の制限を暗示したものでもない。その点において、ブロック４１２および４２２に表された機能は、特に、例えばＣＣＤに電力を提供することを含み得る。同様に、ブロック４１５および４２４に示されたオペレーションは、構造上の制限を暗示することを意図したものではなく、概して、データ収集機能の無効化（例えばカメラのシャッターを閉じることによる無効化）の種々の技術を含む。

図４Ａのアナログ実施形態において、ブロック４１３に示されるように、対象物は、光軸に沿って所定または指定の範囲（換言すると、ｚ方向における距離）を介して、移動され得る。詳述したように、ブロック４１３に表された移動は、概して、例えば、顕微鏡光学素子または画像面に対して測定され得るということは、理解されるであろう。具体的には、光学素子が動かされる一方、対象物は静止したままであり得る。または、対象物が動かされる一方、光学素子は静止したままであり得る。または、システム要素のある組み合わせが共同して動かされ得る。

上記のように、ＯＡＩのアナログ方法は、ｚ軸方向のスキャン（換言すると、光軸に沿った対象物および画像面の相対的な平行移動）中において連続的に画像データを取得すること（ブロック４１４）を含み得る。具体的には、画像データがＣＣＤまたは別の検出器１４１内において蓄積される一方で、ＯＡＩ画像は、光軸に沿って画像をスキャンすることにより生成され得る。従って、上記統合または投影は、データ取得中において（データ取得と同時または実質的に同時に）実行され得る。ブロック４１６においてメモリに書き込まれる画像データは、概して、図２Ｃの中央に示されるような単一の画像ｉ’（ｘ，ｙ）を表し得る。従って、図４Ａの方法により、画像のｚ方向の全深度を表す単一の２Ｄ画像の生成が生じ得るか、または容易になり得る。上記のように、図４Ａの方法は、概して、ブロック３３１に示されたオペレーションに相当し得る。

アナログ方法と対照的に、図４ＢのデジタルＯＡＩ実施形態は、別々の段階において画像データを取得し得る（ブロック４２３）。ブロック４２２〜４２４を含む反復ループにより示されているように、取得された画像データは、概して、複数の２Ｄ（ｘ，ｙ）切片を表す。別個の光学切片を表す画像データは、メモリに書き込まれ（ブロック４２５）、各ｚ位置において取得されたときにおいて合計されるか、または処理される（ブロック４２６）。特に、各光学切片に対する画像データが収集されたときにおいて（換言すると、データ取得と同時に）、統合または投影が生じ得る。従って、例えば図２Ａおよび図２Ｂの左側に示されたような３Ｄ画像ｉ（ｘ，ｙ，ｚ）の生成は、不必要であり得る。

決定ブロック４３１においてなされる決定に従って、その方法は、順々に次の光学切片に進み得、対象物、または顕微鏡光学素子、またはその両方を動かす。それにより、対象物のｚ軸に沿った次の連続的な位置に焦点の位置合わせをする。この事象は、ブロック４２７に表されている。決定ブロック４３１において決定されたように、ｚ方向における所望、または選択済み、または所定の範囲を介した進行に続いて、本方法は、終了し得る（ブロック４２８）。これにより、対象物のｚ方向への全深度を表す単一の二次元ＯＡＩ画像ｉ’（ｘ，ｙ）の生成が得られるか、またはその生成が可能になる。記載したように、図４Ｂの方法は、概して、ブロック３３１に示されたオペレーションに相当し得る。

図５は、光軸統合方法の結果の例図である。既に記載し、図４Ａおよび図４Ｂを参照して説明した手順により、図５に示されたＯＡＩ画像が得られうるということは理解されるであろう。

（時間遅延統合）
本明細書においては、表現「時間遅延統合」（ＴＤＩ）は、概して、ＣＣＤカメラまたは別の画像化装置と協働してインプリメントされ得る連続性のスキャンする方法を表す。例えばＣＣＤカメラにおいて、入射光により、装置表面の個々の電荷結合ウェルにおいて荷電粒子が生成される。次いで、荷電粒子がチップの列の下方に順次運ばれる（パラレルシフト）。その一方で、チップの底に届く行は、シリアルレジスタと称されるアキュミュレータへと運ばれる。次いで、シリアルレジスタは、水平にシフトされ、Ａ／Ｄ変換器により処理される。

一部のＴＤＩ実施形態によると、正確な動作制御を用いることにより、ＣＣＤまたは画像化装置の表面を横切る電子の動作に、画像化される対象物の動作、またはカメラもしくは別の画像化装置（図１Ａを参照して説明済み）の動作が同期され得る。横軸に沿った対象物および画像面の相対的な平行移動は、画像の特定の部分を表す電子がチップの下方にシフトされると、画像化される対象物の特定の部分がチップの下方に追跡するように、制御され得る。詳述したように、上記相対的な平行移動は、対象物の動作、または画像面の動作、または両動作を含み得る。従って、その対象物は、チップの下方へと通過するときにおいて、連続的に画像化され得る。ＴＤＩ方法により、例えば蛍光性のＤＮＡマイクロアレイの効率的なスキャニングが容易になるかまたは可能になり得、また、多くの生態学的試料のスキャンに関連した別の種々の用途において効用を有し得る。

図６は、フルフレーム型ＣＣＤカメラに対するシフトおよび読出し機能の一般的なオペレーションを図示する概略図である。その点に関して、図６は、遅いスキャンのＣＣＤカメラの読出しオペレーションのシンプルなデモンストレーションを提供する。個々のピクセル電子は、チップの所定の部分（例えば、図６のチップの下端）へと平行に（例えば、一連の行へと列の下方に）シフトされる。最も下の行における画像データは、シリアルレジスタ上のチップからシフトされ、順に、読出し増幅器へと水平方向にシフトされることにより、デジタル画像を形成するようにデジタル化された電圧が生成される。

図６の実施形態は、例示を目的として提供したに過ぎず、種々のＣＣＤカメラまたは別の画像化装置が代替的な操作上の特徴（特に例示的な幾何に対する特徴）により特徴付けられ得るということは理解されるであろう。例えば、あるＣＣＤカメラのオペレーションにより、図６に示されたものに対して９０度または１８０度向きの異なるパラレルシフトが実行され得る。

図７は、パラレルシフトに同期した時間遅延統合の一実施形態を示す概略図である。その点において、図７は、例えば蛍光画像化システムまたは別の多くの画像化用途において用いられ得る正確な動作制御ＴＤＩインプリメンテーションを示す。例示的な実施形態によると、試料（図７における「対象物」）の所定の位置は、ＶＰ（換言すると、パラレルシフト速度）がＶＹ（換言すると、画像シフト速度）に等しくなるようにパラレルシフトに同期して移動（例えば、ＣＣＤチップに対する移動、またはシステムの画像面に対する移動）し得る。上記の態様で、試料は、カメラにより全てのチップを読み取るために必要な期間の間中、画像化され得る。

この状況において、対象物とＣＣＤ行との同期性の動作は、図１Ａを参照して実質的に詳述したように、達成され得る。例えばスライド１９０、またはステージ１２０、または種々の光学要素、またはそれらの組み合わせの相対動作により、スキャン中において、図７に示された対象物が、画像化の適切な位置に正確に位置合わせされ得る。同時性の度合いと、機械要素に与えられる速度と、所望の画像化品質において必要とされる対象物の位置合わせの精度と、メカニカルセッティング時間と、バックスラッシュとなどは、システム構成に従って変化し得、用途に依存し得る。

図６および図７を考察すると、上記の横軸に沿った対象物および画像面の相対的な平行移動が、データ取得および検出器からの読み出しの速度に同期され得るということは容易にわかるであろう。従って、ＣＣＤカメラまたは別の画像化装置（例えば、検出器１４１）および光学系の別の要素の性能（例えば、特に、最大解像度と、画像化システムの焦点合わせに必要な時間と、光学素子のＮＡおよびＤＯＦ）が、図７のＴＤＩ実施形態を用いるシステムの性質および性能に影響を及ぼし得るということに留意されたい。

図８Ａおよび図８Ｂは、時間遅延統合の一実施形態を用いて取得された画像を表したものを示す。例示的な画像を生成するために用いられるＴＤＩシステムにおいて、全ＣＣＤチップを読み出すための時間は、約０．４秒である。

図８Ａは、ＴＤＩ技術を用いてスキャンされた汚いブランクのスライドの画像を表したものである。垂直方向の帯は、個々のＴＤＩ「ストリップ」の位置、すなわち画像化される領域の部分を示す。特定のＴＤＩストリップが完了した後に、試料、または画像化装置、または両方が、水平方向に移動され得、新たなＴＤＩストリップが取得され得る。複数のストリップを集めることにより最終画像が生成され得る。図８Ｂは、まず個々のパネルを用いて画像化された蛍光性のマイクロアレイ試料の領域と、ＴＤＩ方法の一実施形態との比較を示す。図８Ｂの左側の「標準スキャン」においては個々のパネルの境界が水平方向および垂直方向にあるが、右側のＴＤＩスキャンにおいては垂直方向の帯のみがあるということに留意されたい。それらの画像はともに、領域中の照明および収集の効率を較正（換言すると、フラットフィールド補正）することなしに、取得された。

ＴＤＩの種々の実施形態を用いることにより、制限されているかまたは最小の信号強度を伴う用途において対象物が画像化され得る。具体的には、ＴＤＩの動作制御特性により、所定の合計画像収集時間に対する画素（ピクセル）あたりの露出が長くなり得、信号強度が、通常、有害な要素であり得る場合においてでさえ、画像化品質の改善が容易になる。例えば、多くの生物学的試料の画像化用途において、試料の性質、または照明強度、または試料とともに用いられるインジケータの物理特性もしくは操作パラメータ、またはそれらの組み合わせにより、信号強度は、制限または妨げられ得る。

例えば、上記の要素が特に問題となる１つの用途は、蛍光によりラベル付けられた生物学的試料の画像化である。上記試料を含む画像化用途においては、上記の３つの制限（換言すると、サンプルに関連した制限、照明源への制限、用いるインジケータへの制限）が優勢である。従って、ＴＤＩ方法を周知の蛍光画像化技術とともに用いることにより、弱い信号強度に付随する効果が最小化され得る。

ＴＤＩ技術が、図８Ａおよび図８Ｂに示されたような画像を生成する複数のパネル収集画像化方法の状況において有用であると判明し得るということは理解されるであろうが、単一の広幅検出器を用いるＴＤＩシステムおよび方法もあり得る。その点において、最終画像を表す単一の「ストリップ」を収集するために広幅検出装置が用いられ得る。具体的には、例えば、検出器１４１、またはＣＣＤカメラ、または別の画像化装置が十分に広い画像化表面を提供する場合において、図８Ａおよび図８Ｂに示された複数のストリップが単一のスキャンにおいて取得され得る。

上記のように、生物学的試料のスキャニングに関連した問題（特に蛍光特性の問題）のうちの１つは、通常、照射された試料から放射される光の強度に関して有限の限度があるという事実が原因である。しかし、本開示によると、スキャン速度（換言すると、ＣＣＤ画像化表面中の試料の相対運動）と、画像化装置の読出し速度とを調節することにより、ＴＤＩ画像化のシステムおよび方法による、取得された画像の各ピクセルに対する露出時間の制御が可能になる。

さらに、多くの試料（生物学分野および別の科学分野における試料）が複数のインジケータを用いてラベル付けされ、それらの各々が相互にスペクトルにより分離され得るということは理解されるであろう。従って、あるＴＤＩ実施形態においては、複数の波長データを扱う性能が組み込まれ得る。例えば、複数の波長に及ぶデータは、少なくとも２つの異なった方法（順次スキャニング（ｓｅｑｕｅｎｔｉａｌ ｓｃａｎｎｉｎｇ）と同時スキャニング（ｓｉｍｕｌｔａｎｅｏｕｓ ｓｃａｎｎｉｎｇ））により取得され得る。

順次スキャン方法を組み込んだＴＤＩインプリメンテーションにおいては、単一の単色検出器が用いられ得る。この実施形態において、複数の波長は、例えばフィルタ、または別の波長選択要素もしくは方法を介して選択され得る。単一の複数波長画像を構成するために、本開示に従って動作可能な手段またはシステムにより、選択されたかまたは所定のフィルタを介して試料（または試料のストリップ）をスキャンすることによって所望の波長において画像データが取得され得、例えばフィルタホイールまたは類似の装置を用いて、フィルタが変更され得、新たなフィルタを介して同じ試料（または試料のストリップ）をスキャンすることによって異なった所望の波長において画像データが取得され得る。システム要求に従って上記のオペレーションを選択的に繰返し行うことにより、所望数の選択された波長において複数のスキャン画像が取得され得る。このようにして、最終画像は、複数の順次スキャン中において取得されたデータから構成され得る。

上記方法に関連した課題のうちの１つが、スキャンの位置決めであるということは理解されるであろう（特に、波長により露出時間が異なる場合）。上記状況において、ＴＤＩシステムおよび方法により、複数のスキャンの各々の期間中における試料の実際の速度および位置が計測され制御され得、スキャン速度の正確な制御と、それの正確な測定とにより、要素のスキャンに由来する画像位置の有色シフトの補正が避けられ得るか、または可能になり得る。従って、本明細書に記載のＴＤＩのシステムおよび方法により、上記の別々の条件に対応して上記の動作が選択的に同期され得る。

一部の実施形態においては、複数スペクトルの画像データは、例えば、各々がスペクトル応答を有する複数の検出器を用いて、単一の試料から取得され得る。このようにして、複数波長の画像は、単一のスキャンにおいて収集され得る。もしくは、上記複数のスペクトルのスキャンは、単一の検出器、すなわち特別に設計されたカラーマスクを備えた画像化装置を用いて達成され得る。その点において、図９は、複数スペクトルの画像データの取得を可能にするＣＣＤ検出器マスクの一実施形態の概略図である。そのマスクは、例えば、図９に示されるように、赤色（Ｒ）と、緑色（Ｇ）と、青色（Ｂ）との交互性の列に配置され得る。マスクにおける各列の各々により、赤色と、緑色と、青色とのスペクトルの画像データの各々の取得が容易になり得る。この例示的な実施形態は列を示しているが、交互性のパターンは、画像化装置のスキャン方向と平行（換言すると、行方向のスキャン、つまり、図７に示されたスキャン方向と９０度異なる方向）になるように配向され得、そのマスクが画像化装置の操作上の特性を提供するように配置され得るということは理解されるであろう。上記の順次スキャンとは対照的に、単一の複数波長の同時スキャンが図９に示されるようなマスクとともにインプリメントされ得る。

種々のＴＤＩ実施形態における位置合わせ方法では、画像化される対象物と画像化装置の画像表面との一定の相対速度が用いられ得る。上記のように、画像化される対象物の一定の相対位置合わせは、スライド、もしくはステージ、もしくは光学素子の正確な動作、またはそれらを組み合わせたものを介して達成され得る。さらに、１つ以上の追加の位置合わせ方法を用いるＴＤＩ方法をインプリメントすることは可能である。その点において、画像化される対象物の相対運動は、ＣＣＤカメラまたは別の画像化装置の読出し（または出力）性能に同期され得る。このようにして、長い露出が提供され得る。

上記の実施形態において、画像化装置の出力バンド幅および読み出し速度に依存して、対象物の速度は、非定値になるに十分遅いかもしれない。例えば、ある状況においては、試料または対象物が、カメラの１つの行に対応する距離（相対的に）平行移動され得る。露出時間中その位置に維持され、その後、カメラの次の行に対応する距離平行移動される。上記の手順は、システム要求に従って、または要望どおりに選択的に繰り返される。上記のように、対象物、もしくはスライド、もしくはステージ、もしくは光学素子の相対移動、またはそれらの組み合わせが、カメラまたは画像化装置における各行のシフトにおいて、開始され終了され得る。上記のアプローチにより提供される程度の高い同期により、波長間の優れた分解能および位置合わせ精度が得られうる。

正確な動作ステージシステムにおける回転および位置合わせ誤差は、例えば光学的に決定された座標較正または別の方法を用いて、測定され補正され得る。特に、上記の誤差は、ステージの移動の正確な修正を介して、動的に最小化され得る。具体的には、上記の座標較正をＴＤＩ技術とともに用いることにより、所定のＴＤＩスキャン中における回転および位置合わせの誤差が動的に補正され得る。

（多軸統合）
概ね上述したように、多軸統合（ＭＡＩ）を用いるシステムおよび方法は、ＯＡＩおよびＴＤＩ技術をともに組み込み得る。

その点について、ＴＤＩは、タイトルが「ＴＩＭＥ−ＤＥＬＡＹ ＩＮＴＥＧＲＡＴＩＯＮ ＩＭＡＧＩＮＧ ＯＦ ＢＩＯＬＯＧＩＣＡＬ ＳＰＥＣＩＭＥＮＳ」の同時継続中の米国特許出願番号第１０／２１５，２６５号（２００２年８月６日出願）に記載されている。具体的には、詳述したＴＤＩ方法により、画像データを処理するシステムおよび方法による、所定の横方向の領域にわたる画像データの取得と、カメラまたは検出器からのデータの読み出しとの同時の実行が可能になる。換言すると、データは、検出器から、同時に取得され読み出される。従って、ＴＤＩ方法をインプリメントするシステムにより、ＴＤＩをインプリメントしないシステムと比較してオーバーヘッドは実質的に低減され、検出器の焦点面に対して広い領域にわたって画像データが効率的に取得され得る。

タイトルが「ＯＰＴＩＣＡＬ ＡＸＩＳ ＩＮＴＥＧＲＡＴＩＯＮ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ」の米国仮特許出願番号第６０／４３１，６９２号（２００２年１２月６日出願）には、所定のｘ−ｙ画像フレームに対する強度情報の統合（光軸に沿った統合）として画像データを収集する種々の方法について、記載されている。図４Ａを参照して詳述したように、例えば、あるアナログＯＡＩ技術では、統合中において光学列（ｏｐｔｉｃａｌ ｔｒａｉｎ）と試料との相対的な平行移動（光軸に沿った平行移動）を用いることにより、ｚ方向への平行移動の深度にわたる強度のアナログ形式での合計が達成される。

上記のＯＡＩ方法は有力であるが、開示した実施形態は、１つ以上のＴＤＩスキャニング技術を用いて増強され得る。図４Ａおよび図４Ｂを参照して上述したように、ＯＡＩ画像は、ｚ方向の平行移動（換言すると、図１Ｂに示されたような光軸に平行な移動）中において得られたデータの統合を介して、生成され得る。別の統合が開始される前に、画像データはＣＣＤカメラまたは別の検出器１４１から読み出され得る。検出器１４１の種々の操作上の特性およびプロセッサ１４２内の関連したエレクトロニクスの性能に応じて、最大１秒間の読み出しが必要とされ得、その間においては、スキャンの多くの局面を停止する必要がある。ｚ方向の平行移動が、上述したようにＴＤＩスキャンに付随した横方向の平行移動（換言すると、光軸に垂直なｘおよびｙ方向への動作）を用いて調整された場合においては、ダウン時間が原因のこの非効率は避けられ得る。換言すると、検出器１４１により収集されたデータは、ｚに沿った強度の統合を生じるｚ方向の平行移動中において、検出器１４１に試料の新たな領域を提示する横移動（例えば、ｙ軸に沿った移動）と同時に、連続的に読み出され得る。上記の横移動をＣＣＤカメラまたは別の画像化装置（換言すると、検出器１４１）の読出し性能に同期させる実施形態においては、さらなる計算上の効率化が得られうる。ＭＡＩスキャンなどの間において、カメラまたは検出器１４１は、概して、連続かつ同時性のｚおよびｙ運動とともに画像データを取得するように機能する。

その点において、ＭＡＩ技術を組み込んでいるシステムおよび方法は、通常、複数のＯＡＩ画像を取得し得る。それらの各々は、スライド１９０またはステージ１２０上のｘ−ｙ空間における異なった横位置から取り込まれた画像を含み得る。横スキャンでは、例えば、ラスタパターンまたは蛇行したパターンが用いられ得る。一部の実施形態では、蛇行した横スキャンのパターンにより、ＭＡＩシステムおよび方法の最適な効率での動作が可能になる。

システム要求に従って定量的な精度を保つために、種々のデータ収集パラメータが最適化され得る。特に、ｚ軸方向の動作を適切に制御することにより、適切なスキャンプロファイルが確保され得る。従って、その結果のＯＡＩ画像は、試料または画像化される対象物における全ての特定のｚ位置からの情報によるバイアスを受けないかもしれない。さらに、スキャンプロファイルの期間は、図６および図７を参照して詳述したように、検出器１４１からのデータの全フレームを読み出すために必要な時間の倍数として算出され得る。

図１０は、多軸統合スキャンサイクルの一実施形態を示す簡略化したプロットである。
図１０に示されるように、光軸に沿った画像面のｚ位置は、縦軸上に示されており、画像化される対象物が上に配置されているステージ１２０またはスライド１９０に対する光軸のｙ位置は、横軸上に表されている。ｙ軸に沿った動作に加えて、または代わりとしてｘ軸に沿った横移動を提供することによっても、同様の結果が得られうるということは理解されるであろう。図１Ａを参照して詳述したように、スライド１９０および画像化される領域に対する焦点面の正確な位置合わせは、種々の要素（例えば、スライド１９０、ステージ１２０、および対物レンズ１１９）の個々または組み合わせの相対運動により、達成され得る。

種々のＭＡＩ技術は、上記のように、連続的な（アナログ）またはインクリメンタルな（デジタル）スキャニング方法を組み込み得る。

（アナログＭＡＩ）
アナログＭＡＩ技術を用いる一部の実施形態によると、画像面のｚ位置は、最小位置と最大位置の間において（換言すると、焦点が合っている位置とずれている位置）光軸に沿って連続的に移動され得る。ｚ方向の平行移動の速度は、所望のスキャン距離（換言すると、画像面のｚ位置の最大と最小との距離）と所望のスキャン時間間隔との関数として、決定され得るか、または算出され得る。例えば、加速度は、画像面の位置対時間の曲線が三角波のパターンを有するようにできる限り大きくされ得る。例えば図１０に示されたアナログＭＡＩスキャンパターンに従って動作するシステムにより、スキャン内の各ｚ位置における均一な露出が容易になり得る。

ｚスキャンを介した画像面の平行移動中において、ｚ方向の平行移動はサイクルを完了し、一方、ｙ軸は、画像が検出器１４１の全検出表面を横切るように、一定の速度で同時にスキャンされ得る。従って、検出器１４１の各行は、ｚ_ａの印が付けられた点により示されているように、各ｚ位置において４回露出され得る。換言すると、全てのｚ位置は、単一のＭＡＩサイクル中において４回スキャンされ得る。上記の実施形態において、画像化される対象物の正確な開始位置または場所（ｚ方向における）は、スキャンの質または効率と無関係であり得る。それは、個々のＭＡＩサイクル中において対象物が各ｚ点を４回通過するためである。全ての所定の横方向の平行移動に対して、さらに多くのｚスキャンの繰返し回数（換言すると、ＭＡＩサイクルあたり４回よりも多くの回数）も可能であるということは理解されるであろう。

（デジタルＭＡＩ）
デジタルＭＡＩ方法によると、ｙ軸およびｚ軸の平行移動は、インクリメンタルに実行され得、その一方、画像データの行は、検出器から読み出される。

限定するものではなく例として、デジタルＭＡＩサイクルのある実施形態におけるｚ軸に沿ったインクリメント数ｎ_ｚは、ｎ_ｚ＝３ｎ_ｙ−１ として表され得る。ここで、ｎ_ｙは、単一のＭＡＩサイクルにおける横方向のＭＡＩインクリメント数を表す。例えばＣＣＤ検出器の場合においては、ｎ_ｙは、単に区分けられたＣＣＤの行の数を表し得る。ｎ_ｙ＝ＣＣＤ行の区分け数
一部のインプリメンテーションにおいては、スキャンは、ｎ_ｚに対する次式に束縛され得る。ｎ_ｚ＝（ｚに沿う全スキャン範囲）／（行の高さ）
ＣＣＤチップが検出器１４１として用いられた場合において、行の高さは、区分けされたＣＣＤ行の高さである。

ｎ_ｚの整数倍が用いられるスキャン技術もあり得るということは、理解されるであろう。さらに、種々の上記等式が、例えば、システム要求またはシステム要素の個々の制限に従う修正の影響を受けやすいということは、理解されるであろう。例えば、ある場合には、ステージまたは光学要素の動作制御に実装された１つ以上のステッピングモータまたはサーボの操作上の特性は、ｎ_ｚまたはｎ_ｙの値を決定付け得る。さらに、またはもしくは、ある状況では、ｎ_ｚおよびｎ_ｙの動的な算出または調節を必要とし得るか、またはその利益を享受し得る。上記の状況の１つには、例えば、複数スペクトルのスキャン中における、複数の波長における画像データの取得が含まれ得る。

その点において、図１を参照して記載したように、種々のシステム要素の動作制御は、エレクトロニクス１５０によって供給され得るか、または提供され得る。ＭＡＩスキャン動作パラメータの動的な構成は、１つ以上のマイクロプロセッサ、または、マイクロコントローラによって、容易にインプリメントされ得、それは、エレクトロニクス１５０に関連し、もしくはそれに組み込まれ、もしくはそれへの結合が動作可能である。

図１１は、画像化される対象物を簡略化した側面図であり、図１２Ａ〜図１２Ｃは、デジタル多軸統合方法を用いて画像化される対象物を横切る画像面の簡略化した側面図である。ｚおよびｙ方向は、図１１における座標軸により示されている。図解を目的としているため、画像化される３Ｄ対象物は、２Ｄグリッドにより表されており、ｚ方向における行１〜４およびｙ方向における列ａ〜ｄにより指定される。画像化される対象物がｘ方向（図１１の平面に垂直方向）にも延び得るということは理解されるであろう。図１１の対象物を小さく表現したものは、図１２Ａ〜図１２Ｃに再現されている。さらに、形状はわずかに異なっているが、図１１および図１２Ａ〜図１２Ｃに示された対象物は、図１Ｂに示された対象物１９９を表し得るということは、理解されるであろう。

図１２Ａ〜図１２Ｃに示されたシーケンスを参照すると、画像面の側面図は陰影の付けられたグリッドの四角形により表されており、矢印は、画像化される対象物に対する画像面の動作方向を示す。図中に示された対象物のように、画像面は、通常、ｘ方向（換言すると、図１２Ａ〜図１２Ｃの面に垂直方向）に延びるということは理解されるであろう。図中において示されている矢印がベクトルではないということに留意されたい。その点において、矢印は、一スキャン位置から次の位置への画像面の相対動作の方向を示すことを意図したのみであり、上記動作の速度に関する情報を伝えることを意図したものではない。

画像化される対象物の表現における濃淡は、特定の位置における画像面による対象物の画像化の回数を示すために提供されている。部分的な分解図（換言すると、対象物と画像面との分離）は、明確にするために提供されている。

例えば、図１２Ａのスキャン位置１においては、図面における画像面の右側部分のみが画像データを取得し得、対象物の部分ａ１のみが画像面内にあり、矢印は、スキャンシーケンスのこの時点における画像面の動作を示す。図１２Ａのスキャン位置２においては、画像面は、スキャン位置１における位置に対して示されているようにｙ方向（換言すると、右方向）へと横に移動する。示されているｚ方向への平行移動とともに、スキャン位置２における画像面は、対象物の部分ａ２とｂ２とにおいて画像データを取得し得る。シーケンスにおける以前または先のスキャン位置において取得されたデータの（対象物上の）位置は、図１２Ａ〜図１２Ｃにおける画像面の上方に示されている。上記のＴＤＩ実施形態によると、画像面の上方に示されているそれらのデータは、同時性のｚおよびｙ運動中において、画像化装置（例えば、図１Ａの検出器１４１）から読み出され得る。

例えばスキャン位置４において、また、スキャンシーケンス中における別の点において、画像面が方向を反転し得るということは、理解されるであろう。従って、このシーケンスのこの点においては、ｚ方向の平行移動は、省略され得る。図１２Ａに示されているように、スキャン位置４および５において起きたスキャンオペレーションに対して、画像面は、依然として同じｚ位置のままであり得る。位置５において取得された画像データは、スキャン位置４において取得された画像データと同じｚ位置にあり、その一方、画像面は、スキャン位置４におけるｙ位置に対して引続きｙ方向へと横に移動する。

図１２Ａ〜図１２Ｃの例示的なデジタルＭＡＩスキャンにおいて、スキャンシーケンス中において、画像面は、各ｚ位置を３回横切る。ｙ方向における相対運動とともに、画像面は、対象物上の各位置ａ１〜ｄ４から２回画像データを取得し得る。例えば、位置ａ１に対しては、画像面がスキャン位置１および８にある場合において、画像データが取得される。同様に、位置ａ２に対しては、画像面がスキャン位置２および７にある場合において、画像データが取得され、以下も同様である。

上記の実施形態において、等式ｎ_ｚ＝３ｎ_ｙ−１ は、スキャンシーケンスにおけるｚインクリメント数が１１（ｎ_ｚ＝１１）と等しい場合において満たされ得る。換言すると、スキャン位置１から開始し、１２個の順次スキャン位置が、ｚ方向における１１個のインクリメンタル動作を表す。

簡潔に説明したように、ｚスキャンの繰返し回数を効率的に増加させるために、ｎ_ｚの整数倍が用いられる実施形態もあり得る。一部の実施形態においては、ｎ_ｙもしくはさらなる要素の関数として、またはそれらの組み合わせとして、ｎ_ｚを算出するために、代替の算出が用いられ得る。上記のアナログＭＡＩスキャン実施形態のように、システム要求と、要素の機能と、複数波長のスキャン方法となどにより、デジタルＭＡＩスキャン技術では、種々の代替のｚスキャンの繰返し回数が用いられ得る。運動パラメータ（例えば、横方向の速度およびｚスキャンの繰返し回数）は、例えば、制御エレクトロニクス１５０、または類似のプログラム可能な電子部品により、動的に調節され得るか、または選択的に変更され得る。一部の実施形態においては、例えば、エレクトロニクス１５０は、画像プロセッサ１４２により伝送されたフィードバック、データ、または別の命令に従って、動作制御パラメータを選択的に調節し得る。

図１２Ａ〜図１２Ｃを検討することにより、画像面の大きさ、特に画像化される対象物の大きさに対して考慮した場合の画像面の大きさが、通常ＭＡＩスキャン中において、特に画像面が特定のスキャン位置にある場合において、取得されたデータの総量に影響を及ぼし得るということは理解されるであろう。その点において、図１２Ａ〜図１２Ｃに示された画像面が、図示されているものよりもｙ方向の大きさが大きい場合において、例えば画像面がスキャン位置１〜３および９〜１２にあるときにおいて、追加の対象物の位置に対する画像データは、取得され得る。

図１３は、ＭＡＩの要約である。図１３の要約は、図１２Ａ〜図１２Ｃを参照して説明したデジタルＭＡＩスキャン中において取得された画像データを表す。例えば、図１Ａに示されている画像プロセッサ１４２に組み込まれるか、またはエレクトロニクス１５０に関連した１つ以上のデータ処理ハードウェアまたはソフトウェア要素は、ＭＡＩスキャン中において画像データを構成し得るか、または処理し得る。

特定の実施形態を参照して、限定を意図せず例示のみを目的とし、本発明の局面について詳細に例証し、説明してきた。当業者には、例示的な実施形態の種々の修正をしたものが、本開示の範囲および意図の範囲内であるということは、理解されるであろう。従って、本発明は、添付の特許請求の範囲によってのみ限定されることを意図する。

本開示に従って動作可能な画像取得システムの一実施形態を示す簡略化した機能ブロック図である。 図１Ａに示された画像取得システムの一部分を示す簡略化した機能ブロック図である。 図２Ａ〜図２Ｃは、画像取得および画像処理方法の実施形態における全般的なオペレーションを図示する概略図である。 図３Ａ〜図３Ｃは、図２Ａ〜図２Ｃに示された方法の全般的なオペレーションを図示する簡略化されたフロー図である。 アナログ光軸統合の実施形態における全般的なオペレーションを図示する簡略化したフロー図である。 デジタル光軸統合の実施形態における全般的なオペレーションを図示する簡略化したフロー図である。 光軸統合方法の結果の例図である。 フルフレーム型ＣＣＤカメラに対するシフトおよび読出し機能の一般的なオペレーションを図示する概略図である。 パラレルシフトに同期した時間遅延統合の一実施形態を図示する概略図である。 図８Ａおよび図８Ｂは、時間遅延統合の一実施形態を用いて得られた画像をあらわしたものを示す。 複数のスペクトルの画像データの取得を可能にするＣＣＤ検出器マスクの一実施形態の概略図である。 多軸統合スキャンサイクルの一実施形態を示す簡略化したプロットを示す。 画像化される対象物の簡略化した側面図である。 デジタル多軸統合方法を用いて画像化された対象物を横切る画像面の簡略化した側面図である。 デジタル多軸統合方法を用いて画像化された対象物を横切る画像面の簡略化した側面図である。 デジタル多軸統合方法を用いて画像化された対象物を横切る画像面の簡略化した側面図である。 多軸統合を要約したものである。

Claims (22)

1. データを取得する方法であって、
   光軸に沿って対象物をスキャンすることと、
   横軸に沿って該対象物を同時にスキャンすることと、
   該スキャンし、該同時にスキャンする間において、該対象物の画像データを取得することと、
   該取得と同時に該画像データを統合することと
   を包含する、方法。
2. 前記スキャンすることが、前記対象物の前記光軸と画像面とに沿った相対的な平行移動を提供することを包含する、請求項１に記載の方法。
3. 前記同時にスキャンすることが、前記対象物の前記横軸と画像面とに沿った相対的な平行移動を提供することを包含する、請求項１に記載の方法。
4. 前記取得することが、電荷結合素子を用いることを包含する、請求項１に記載の方法。
5. 前記統合することが、画像プロセッサを用いることを包含する、請求項１に記載の方法。
6. 前記統合の後に前記画像のぼけを除去することをさらに包含する、請求項１に記載の方法。
7. 前記統合の後に前記画像データを逆畳み込みすることをさらに包含する、請求項１に記載の方法。
8. 前記画像データの投影と光学上の点像分布関数の投影とから前記対象物の二次元投影を算出することをさらに包含する、請求項７に記載の方法。
9. 前記光軸に沿った前記相対的な平行移動の方向を選択的に変更することをさらに包含する、請求項２に記載の方法。
10. 前記同時にスキャンすることが、前記取得に関連した速度に、前記横軸に沿った前記相対的な平行移動を同期させることを包含する、請求項３に記載の方法。
11. 対象物の画像データを取得する方法であって、
    光軸統合スキャンを実行することと、
    時間遅延統合スキャンシーケンスを同時に実行することと、
    該スキャンの実行と該スキャンシーケンスの実行とを選択的に繰り返すこと
    とを包含する、方法。
12. 前記スキャンを実行することが、光軸に沿って配置された画像面において前記対象物の画像データを取得することを包含する、請求項１１に記載の方法。
13. 前記スキャンを実行することが、前記対象物の前記光軸と前記画像面とに沿った相対的な平行移動を提供することをさらに包含する、請求項１２に記載の方法。
14. 前記スキャンシーケンスを実行することが、前記対象物の横軸と前記画像面とに沿った相対的な平行移動を提供することを包含する、請求項１３に記載の方法。
15. 前記スキャンを実行することが、前記光軸に沿った前記相対的な平行移動の方向を選択的に変更することをさらに包含する、請求項１３に記載の方法。
16. 前記スキャンシーケンスを実行することが、画像化装置に関連したデータ取得速度に、前記横軸に沿った前記相対的な平行移動を同期させることを包含する、請求項１４に記載の方法。
17. 前記取得することが、電荷結合素子を用いることを包含する、請求項１２に記載の方法。
18. 前記スキャンを実行することが、前記取得と同時に前記画像データを統合することをさらに包含する、請求項１２に記載の方法。
19. 前記統合することが、画像プロセッサを用いることを包含する、請求項１８に記載の方法。
20. 前記統合の後に前記画像データのぼけを除去することをさらに包含する、請求項１８に記載の方法。
21. 前記統合の後に前記画像データを逆畳み込みすることをさらに包含する、請求項１８に記載の方法。
22. 前記画像データの投影と光学上の点像分布関数の投影とから前記対象物の二次元投影を算出することをさらに包含する、請求項２１に記載の方法。

Images