JP2015502566A - 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法 - Google Patents

自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法 Download PDF

Info

Publication number
JP2015502566A
JP2015502566A JP2014538923A JP2014538923A JP2015502566A JP 2015502566 A JP2015502566 A JP 2015502566A JP 2014538923 A JP2014538923 A JP 2014538923A JP 2014538923 A JP2014538923 A JP 2014538923A JP 2015502566 A JP2015502566 A JP 2015502566A
Authority
JP
Japan
Prior art keywords
image
focus
autofocus
light
specimen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014538923A
Other languages
English (en)
Other versions
JP6158197B2 (ja
Inventor
プライス,ジェフリー,エイチ.
フラー,デレク,エヌ.
ケルナー,アルバート,エル.
アジミ,ベラド
Original Assignee
サンフォード−バーナム メディカル リサーチ インスティテュート
サンフォード−バーナム メディカル リサーチ インスティテュート
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サンフォード−バーナム メディカル リサーチ インスティテュート, サンフォード−バーナム メディカル リサーチ インスティテュート filed Critical サンフォード−バーナム メディカル リサーチ インスティテュート
Publication of JP2015502566A publication Critical patent/JP2015502566A/ja
Application granted granted Critical
Publication of JP6158197B2 publication Critical patent/JP6158197B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/08Anamorphotic objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/242Devices for focusing with coarse and fine adjustment mechanism
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Abstract

自動顕微鏡検査用の多関数型自動焦点は、反射位置決めによる自動顕微鏡の自動粗焦点と、その後に粗焦点位置を参照して実行される自動顕微鏡の自動画像ベース自動焦点とを含む。いくつかの側面では、画像ベース自動焦点は、顕微鏡のZ軸方向に沿った多面画像取得のために顕微鏡光学素子において非点収差を利用する。他のいくつかの側面では、画像ベース自動焦点は、Z軸方向に沿った多面画像取得のために色収差と組み合わせて顕微鏡光学素子において非点収差を利用する。【選択図】図18

Description

関連出願
本願は、2009年10月14日に提出された米国特許出願第12/587,923号の主題に関連する主題を含む。
政府権利の陳述
本文書に記載の発明は、すべて国立衛生研究所から授与されたNIBIB Grant 5 R01 EB006200、NHGRI Grant 5 U54 HG003916、NHGRI Grant HG005033−CDP3の下、部分的に米国政府の支援を受けた。米国政府は本発明に一定の権利を有する。
背景
当該分野は自動顕微鏡検査を含む。より具体的には、当該分野は、顕微鏡の対物レンズに対して配置された基準面からの反射と顕微鏡によって得られる拡大された画像(拡大画像)からの情報とを用いて顕微鏡を自動的に合焦させることを含む。特に、当該分野は、反射位置決めと一連の焦点面から得られる画像特徴の使用とを組み合わせる自動顕微鏡検査用の多関数型自動焦点機構を含む。
自動顕微鏡検査は、1つまたはそれ以上のモータ作動部品を備えた顕微鏡と、システムの機能を制御し、1つまたはそれ以上のモータアクチュエータを作動させて顕微鏡の動作条件を設定および/または変更するプログラム可能な制御機械とを含む顕微鏡システムに言及する。上記条件は、例えば、焦点、照明、標本位置を含む。顕微鏡は対物レンズとステージを含む。具体的には、だが限定ではなく、制御機械は、対物レンズとステージ間の相対運動を生じさせる制御信号を生成することによって、顕微鏡を自動的に合焦させ、顕微鏡を介して標本を走査するように動作する。いくつかの側面では、ステージは、自動焦点および位置決めアルゴリズムを用いて、像を処理し、電動ステージを対物レンズに対して3次元で移動および/または配置させるように動作可能な制御信号を生成する電動制御機械である。例えば、http://www.microscopyu.com/articles/livecellimaging/automaticmicroscope.htmlを参照されたい。
顕微鏡の画像ベース自動焦点は、焦点度または鮮明度を示し、拡大画像の変換によって得られる値を使用する。例えば、だが限定ではなく、1つまたはそれ以上のサンプルを表面で支持する自動顕微鏡ステージが想定される(「サンプルプレート」という用語は本明細書では、顕微鏡スライド、多層プレート、マイクロタイタープレート、またはそれらの等価物などの顕微鏡部品を示すために使用される)。ステージは、ステージが連続する垂直(Z)位置を通って縦方向に移動するX−Y位置にサンプルプレートを配置するように作動される。第1のZ位置で、拡大画像がサンプルから取得され、拡大画像が変換されて焦点などの画像特徴の第1の値が得られる。第2の値は、第2のZ位置で得られる別の拡大画像の同一の変換によって得られる。追加の垂直位置でさらなる値が取得される。値は比較され、値が最適焦点度の取得を示す垂直位置までステージを移動させるように自動ステージコントローラが作動される。自動走査顕微鏡検査では、サンプルプレートがX−Y走査パターンでステージを系統的に移動させることで走査されている間、最適焦点がこのようにして維持される。例えば、米国特許第5,548,661号、第5,790,710号、第5,790,710号、第5,995,143号、第6,640,014号、および第6,839,469号を参照されたい。他の機構を利用して、ステージに対する対物レンズの移動などにより、標本の様々な焦点面に合わせて焦点を変更することができる。像取得のためにカメラが使用される場合、そのカメラは対物レンズに対して移動させることができる、および/またはカメラと対物レンズ間の光学素子を移動させることができる。
反射位置決め自動焦点は、最適焦点を判定するのにサンプルから取得される拡大画像を使用せず、顕微鏡の光学システムによって生成され、対物レンズを通ってサンプルプレートに向かって投射され、サンプルプレートの表面で反射されて対物レンズを介して戻る光信号を使用する。サンプルにとっての所望の焦点位置は、反射光信号が合焦するZ位置から焦点面を縦方向にオフセットするユーザ入力値によって得られる。米国特許第7,071,451号と、Nikon(登録商標)完全焦点システムの仕様書http://www.microscopyu.com/tutorials/flash/focusdrift/perfectfocus/index.htmlとを参照されたい。
高精度顕微鏡での自動デジタル撮像は、ミクロン以下の精度を実現する自動焦点を要する。画像ベース自動焦点と反射位置決めはいずれも、高解像度全スライドおよび全マイクロタイタープレート自動撮像のほぼすべてのモードで性能を低下させる欠点を有する。画像ベース自動焦点は3次元標本で最適焦点位置を実際に発見するが、時間がかかる。画像ベース自動焦点は例えばサンプル自体の最適解像度によって示されるような最適焦点を発見するが、空視野やアーチファクト(例えば、細胞塊または組織片)によって欺かれる可能性がある。画像ベース自動焦点の速度は、色収差を利用して鮮明度/解像度測定が同時に行われる像毎の面数を増加させることにより多面撮像光学素子の複雑さを低減することで速めることができると発見されている。これに関しては、2010年7月8日に公開された米国特許出願公開第2010/0172020号の「多面画像取得に色収差を利用する自動走査細胞計算」を参照されたい。反射位置決めは、単独の画像面−像が生成される表面を発見することを目的とする全内反射(TIRF)顕微鏡検査をスピードアップするように設計される。しかしながら、必然的に反射面から異なる距離に存在する細胞および組織部位にとって最適な焦点面を発見することができない。よって、反射位置決めは高速であるが、走査中に大きな変動を示し得、それにより、しばしば、最適焦点から外れる反射面からの軸方向オフセットを推定する必要がある。
自動顕微鏡検査と像細胞計算との組み合わせは、幅広い様々な用途に組み込まれる必須の生物学的調査ツールとなっている。このような用途は、個々の研究者が数百〜数万のライブラリをスクリーニングし、大型研究室が数十万のゲノムおよび化合物のライブラリをスクリーニングすることのできる、化合物(創薬および毒性)や遺伝子(RNAiおよびcDNA)自動スクリーニングで使用される高コンテンツスクリーニング(HCS)機器、スクリーニング自体が必ずしも実験の目的ではない高スループット顕微鏡検査(HTM)、流細胞計算機器によって得られる測定値の上位集合として多数の細胞の自動空間依存測定に重点を置く像(または走査)細胞計算機などを含む。後者の用途は組織部位の分析に使用される傾向があり、前者の用途は細胞単分子層に対して使用されることが多いが、原理は同様である。この10年間、HCS/自動像細胞計算は、大規模なスクリーニング作業だけでなく、1〜96、384ウェルのマイクロタイタープレートの自動並行分析を可能にする個々のラボでのルーチン使用に関しても急速に発展を遂げており、数ヶ月から数年かかっていた実験を数週間にまで速めることができた(HC分析またはHCAとしても知られる)。細胞像の自動取得、測定、比較、パターン分析ツールの進展は本質的に、異種混合の細胞集団から統計的に関連する質的データを引き出す新しい高度な自動化へと発展し続けている。
米国特許第5,548,661号 米国特許第5,790,710号 米国特許第5,790,710号 米国特許第5,995,143号 米国特許第6,640,014号 米国特許第6,839,469号 米国特許第7,071,451号 米国特許出願公開第2010/0172020号
Bravo−Zanoguera、M.E.、Laris、C.A.、Nguyen、L.K.、Oliva、M.& Price、J.H.、「自動顕微鏡検査における連続走査時間遅延積分像取得のための動的自動焦点」、Journal of Biomedical Optics、12、34011/34011−34016(2007)
鮮明な合焦像の自動取得は自動顕微鏡検査にとって主要要件である。したがって、得られる各拡大画像の最適焦点を提供しつつ、自動顕微鏡使用システム(automated microscopy system)の速度と像鮮明度とを向上させる自動焦点システムおよび方法を提供することが望ましい。
画像ベース自動焦点精度の測定
顕微鏡の最適焦点は像の最適な解像度を有するZ(軸方向)位置である。次いで、自動焦点誤差が最適焦点からの軸方向距離によって定義され、ピンぼけ度(焦点のずれた割合、out of focus)が解像度のパーセント損失として報告される。
自動焦点方法に照らす基準として最適焦点を発見するため、顕微鏡解像度目標上の100%透過領域と100%反射領域間の明確な縁部を中心とする反射像のスルーフォーカス群において、「ナイフエッジ」の像の輝度変化の傾斜を測定した。ナイフエッジに垂直であり、ナイフエッジのスルーフォーカス群の中心に近い35線の導関数をガウスと合致させた。解像度は2.77と算出され(各光学部位の35ガウスフィットの標準偏差(「SD」)の平均)、これはいくつかの点では、この実験によるナイフエッジ解像度測定の理論的レイリー解像度基準への変換に相当する。2つの異なる20倍の対物レンズ(開口数0.75、20倍のNikon(登録商標)Plan Apo VCと開口数0.5、20倍のNikon(登録商標)Plan Fluor)の結果を図1に示す。
図1では、左側のグラフは、マイクロメートル(μm)でのピンぼけ距離の関数として解像度をμmで示し、ダイヤモンドは後述する画像ベース自動焦点システムおよび方法を介した最適焦点位置を表す。右側のグラフは、ピンぼけ距離の関数として図示される解像度のパーセント変化と同じデータ(100×(解像度−最適解像度)/(最適解像度))を示す。ナイフエッジ測定と自動焦点測定は同一群の像で実行した。表1は、図1による最適解像度、自動焦点誤差、対応する解像度損失の概要である。

図1および表1は以下を示す。
1.スルーフォーカス解像度測定は、最適焦点を客観的に特定する。
2.画像ベース自動焦点が精密である(0.2〜6%の解像度損失は解像度測定ノイズに収まると思われる−表2も参照)。解像度測定はコントラスト反転に影響を受けないように設計される(Bravo−Zanoguera、M.E.、Laris、C.A.、Nguyen、L.K.、Oliva、M.& Price、J.H.、「自動顕微鏡検査における連続走査時間遅延積分像取得のための動的自動焦点」、Journal of Biomedical Optics、12、34011/34011−34016(2007)を参照)
3.サンプリングを低減することで(1.5倍筒レンズの代わりに1.0倍)、解像度の感度を焦点から遠く離れたピンぼけまで低下させずにピークの解像度が低減された。
4.低い開口数の対物レンズは高い開口数の対物レンズよりも最大解像度が低く、被写界深度が大きい。
このアプローチは、反射位置決めおよび自動焦点誤差の重大度を段階評価する方法を提供する。像検出器の「ピンぼけ」を定義する標準基準は、式(1)により得られる被写界深度である。


ただし、λは光の波長、nは液浸媒体の屈折率、NAは開口数、Mは倍率、eは検出器によって分解可能な最小距離である(Inoue、S.& Spring K.R.、「ビデオ顕微鏡検査の基本」(Plenum、ニューヨーク、1997)。被写界深度および対応する焦点誤差データを表2にまとめる。
目によるピンぼけ検出との比較のため、図2のDAPI標識NIH−3T3細胞の拡大されたスルーフォーカスシーケンス(through−focus sequences)を参照されたい。シーケンス(一続きの画面)は、開口数0.75、20倍のNikon(登録商標)Plan Apo VC対物レンズと1.0および1.5倍筒レンズとを備えたNikon(登録商標)Ti−E顕微鏡を用いて取得した。像は、0.323×0.323μm/画素と0.215×0.215μm/画素でサンプリングされたHamamatsu(登録商標)ORCA ER CCD(6.45×6.45μm/画素)を用いてそれぞれ捕捉した。+1.0μmのピンぼけは−1.0μmほどぼやけて見えない(0.0μmのピンぼけでの細胞核縁部と比較)。ピンぼけは、光学理論に基づく最適焦点に対して非対称である。なお、どちらのシーケンスでも、ぼけは最適焦点から1.0μmまで可視であり、解像度の約50%低下に相当する。
画像ベース自動焦点と反射位置決めはいずれも、全スライドおよび全マイクロタイタープレート走査の両方が遭遇する視野の性能を低下させる制限を有する。PerkinElmer Opera(登録商標)撮像リーダに見られるような1つの解決策は、同焦光学素子でピンぼけ情報の一部を排除することだが、これは最適焦点での撮像ほど最適ではない高額なアプローチである。従来技術を用いて反射位置決めは<0.1sをとることができ、自動焦点は1〜2sをとることができる。反射位置決めは表面の位置を特定し、表面からの予め設定されたユーザ定義オフセットで像を収集する。
自動焦点は顕微鏡自動化にとって重要な部分である。自動焦点が不良である場合、主出力−像およびそこから得られるデータが損なわれる。クローズアップ低F/#レンズを用いて被写界深度がミリメートルで測定される肉眼デジタル撮像(写真)とは対照的に、20倍、開口数0.75の対物レンズおよび開口数0.52のコンデンサでの顕微鏡被写界深度は1.0倍筒レンズを用いて1.23μmである(表2を参照)。これにより、顕微鏡検査の自動焦点は肉眼写真の自動焦点よりもずっと魅力的である。約0.5以上の開口数では、被写界深度は一般的に培養された密着細胞の厚さに匹敵することが多い(リンパ球細胞株などの円形の密着度の低い細胞は低開口数でも被写界深度を超過する)。多くの反射システムは第1の表面のみを感知し、大部分の標本ホルダ(カバースリップ、スライド、膜−、ガラス−、プラスチック底のマイクロタイタープレート)は厚さが変動する。反射システムの特徴は例えば、絶対(開ループ)変位センサ、誤差を最小限にする(閉ループ)位置決め、スルーレンズ(TTL)および非TTL(またはビサイドレンズ、BTL)構造である。走査中に反射位置決めHCS機器によって生成されるデジタル像を観察することによって、ピンぼけ像は可視である。画像ベース自動焦点はアルゴリズムに応じて像自体の質、鮮明度、または解像度を最適化する。しかし、自動焦点は不良標本(例えば、広い軸方向範囲を占める死亡細胞または組織片や繊維くずまたは繊維の厚層)と、ピンぼけコントラストを生成するアーチファクト(例えば、標本ホルダのその他の表面−カバーガラス、スライド、またはプレート底上の細胞、組織片、傷、凝縮、乾燥水滴、繊維くず)、およびシステム変調伝達関数を変更し、鮮明度測定が依拠する画像固有解像度に関する推定に反する画像サンプリングの不適合によって損なわれる可能性がある。コンデンサと灯との不適切な位置合わせなど、画像品質を脅かし得る要因は他にも多数ある。2つのアプローチの相対的利点を表3にまとめる。
我々は、カバースリップ上で培養された細胞分子層では反射位置決めにより妥当に合焦された像を提供できるが、スライドで培養された細胞またはスライドに載せられた組織部位ではピンぼけ度がより大きく現れることを観察した。
一方、画像ベース自動焦点は像の群から最も鮮明な像を直接発見する。例えば、像解像度に基づく自動焦点関数は、組織が被写界深度よりも厚い場合、大部分の細胞が合焦する軸方向位置を発見する(Bravo−Zanoguera、M.E.、Laris、C.A.、Nguyen、L.K.、Oliva、M.& Price、J.H.、「自動顕微鏡検査における連続走査時間遅延積分像取得のための動的自動焦点」、Journal of Biomedical Optics12、34011/34011〜34016(2007))。しかしながら、視野が空白である、あるいは正常焦点面外に組織片がある場合、自動焦点は焦点を追跡し損なう可能性がある。
これらの誤差を系統的に理解するため、画像ベース自動焦点と反射位置決めの両方を利用して、以下の3つの標本を走査した。
1)カバースリップ上に培養されたNIH−3T3細胞
2)ヒトの前立腺癌の組織部位
3)96ウェルのマイクロタイタープレートで培養された3T3−L1細胞と区別される脂肪細胞
図3は、画像ベース自動焦点を追加したTi−Eを用いてカバースリップ上で培養されたDAPI標識NIH−3T3細胞に関する画像ベース自動焦点と市販の反射位置決めシステム(Nikon(登録商標)完全焦点システム)との差を示す。157×67=10,519視野(像)を備える4×1cm領域を反射位置決めで走査し、反射位置決めオフセット(20倍、開口数0.75のVC)を中心に10μmの範囲内の20の焦点面をサンプリングすることによって画像ベース自動焦点も算出した。図3のヒストグラムが示すように、カバースリップ上で成長したNIH−3T3細胞の場合、画像ベース自動焦点に対する反射位置決め誤差の範囲は約±4μmであり、大半の誤差は誤差±2μm未満である。図3で反射位置決め焦点誤差を表す2つの例示の視野もまた、細胞が被写界深度(図1で使用され、表2に示すような20倍、開口数0.75の対物レンズの場合1.23μm)を超えて軸方向に分布している場合でも細胞核の大部分に画像ベース自動焦点が焦点を合わせることに成功している様子を示す。
同一の実験セットアップを使用する前立腺癌組織部位での画像ベース自動焦点と反射位置決めの差のテストを図4に示す。同図は、ホルマリン固定パラフィン埋込(FFPE)前立腺癌組織から切断し、DAPI(青)、AMACR(緑)、ACTA2(赤)で標識付けした5μm厚部位に関する画像ベース自動焦点と反射位置決め(反射位置決めを実行する完全焦点システムを備えたNikon(登録商標)顕微鏡を使用)間の差を示す。94×64=6,016視野を備える2.2×1.0cm領域を反射位置決めで走査し、反射位置決めオフセット(20倍、開口数0.75のVC対物レンズを使用)を中心に10μmの範囲の20の焦点面をサンプリングすることによって画像ベース自動焦点を算出した。図4のヒストグラムに示される誤差範囲はカバースリップ上で培養された細胞の場合(図3)よりも約±7.5μm大きい。焦点誤差の3D図は、カバースリップがより大きい範囲に寄与するスライドと平行ではないために傾斜を呈する。逆に、画像ベース自動焦点での焦点追跡は、合焦差の3D図における走査領域の左隅と右隅では、スライドのそれらの領域に組織が含まれないために支障が生じる。ピンぼけの空視野は関連しないが、組織を含む次の視野での焦点追跡は、システムが最適焦点から遠く脱線する場合には損なわれる可能性がある。本開示は、画像ベース自動焦点と併せて反射位置決めを利用することによってこれを補正する手段を提供する。
図5は、3T3−L1細胞(上)と区別される脂肪細胞における脂質低減検定(新たな痩せ薬を発見するためのスクリーニングに利用され得る脂質形成防止化合物のスクリーニング用)用の96ウェルのマイクロタイター陽性対照プレートに関する、開口数0.75、20倍のNikon(登録商標)Plan Apo VCを備えたNikon(登録商標)完全焦点システムでの反射位置決め焦点誤差(左)を示す。画像ベース自動焦点を0.5μm毎に10μmのサーチ範囲でDAPIチャネルで実行し、16の視野/ウェルを走査した。図5のヒストグラムの反射位置決め誤差の包絡線は約−3〜+5μmである(図5のヒストグラム、中央右を参照)。中央左の色温度図は、プレート全体にわたって変動する反射位置決め誤差の予期不能な傾向(おそらく底厚の変動による)を最も良く実証している。この傾向は列1〜列8の誤差の傾斜として示され(図5下の熱マップと3D図を参照)、プレートのカバーガラス底全体にわたる2μm以内の厚さ変動に一致する。中央右のヒストグラム誤差分布が示すように、相当数の像が1.0μmを超えてピンぼけしている、すなわち、視覚的にぼやけている。下側の3D表面図は、反射位置決め誤差の局地的変動を最も良く実証している。脂質形成防止用の陽性対照プレートはイソプロテレノールでの細胞のβアドレナリン刺激によって作製され、ホルモン感受性リパーゼ(HSL)活性(脂質滴周囲のリングの抗HSL蛍光標識抗体(抗HSL)の輝度上昇を介して数量化される)と、その後の脂質減少(蛍光脂質標識の細胞輝度によって数量化される)を引き起こす。像の色は青(DAPI/細胞核)、緑(脂質滴)、赤(抗HSL)である。脂質滴周囲のHSLリングは、焦点誤差によるぼけに最も影響を受けると推定される種類の精細な細部(リングは特に抗HSL像で可視である)を示している。
3つの標本(図3〜図5)−カバースリップ上で培養された細胞、スライド上の組織部位、カバースリップ底マイクロタイタープレートで培養された細胞−すべてに関して、誤差分布が示すとおり、多くの像がオフセットでの反射位置決めでピンぼけしている。表4では、被写界深度基準と任意の解像度低下50%との両方を用いてピンぼけ画像のパーセントを照合する(図1と図2を比較する)。
NIH−3T3細胞は接着性を有し平坦であるため、オフセットでの反射位置決めにとってごく単純な試験となると予測される。それにもかかわらず、像の20%超が解像度の50%低下によって判定されるようにピンぼけしており、40%が被写界深度基準によって判定されるようにピンぼけしている。
図3〜図5の例では、画像ベース自動焦点は、差が目によって認知可能な「正常」視野では最適に合焦された像を確実にもたらす。「正常」視野とはピンぼけ組織片のない組織を伴う視野である。我々はこれらの実験に基づき3つの所見を述べる(図3〜図5)。第1に、画像ベース自動焦点は、組織の存在する「正常」視野では反射位置決めよりも高く合焦した像を提供し、対象組織の焦点面外の組織片によって損なわれない。第2に、反射位置決め(+オフセット)では、像の21〜80%がピンぼけした。最後に、反射位置決めは、焦点面を追跡し続け、組織が存在しなくても、何千もの視野の大部分に関して画像ベース自動焦点の10μmの検索範囲内の細胞を維持(keep)した。
概要
これらの課題は、反射位置決め手順が実行されて最初の「焦点推測」(または粗焦点)を取得し、次に画像ベース自動焦点手順が実行されて最初の焦点を参照して高精度焦点を取得する自動焦点シーケンスによって解決される。望ましくは、このシーケンス(手順)は、画像品質と自動焦点の頑強性を向上させる。複数の焦点関数を統合するため、このようなシーケンスは「多関数型自動焦点シーケンス」と称される。多関数型自動焦点シーケンスを含む自動焦点方法は多関数型自動焦点方法であり、自動顕微鏡使用システムに上記シーケンス(手順)を実行させることのできる機構は「多関数型自動焦点機構」と称される。多関数型自動焦点機構を備えた自動顕微鏡使用システムは多関数型自動焦点構成を有し、多関数型自動焦点方法を実行する。
対物レンズでは、被写界深度はNA(式1)と反比例して低下し、蛍光輝度はNAと比例し倍率2と反比例して向上する(Inoue、S.&Spring、K.R.、「ビデオ顕微鏡検査の基本」(Plenum、ニューヨーク、1997)。高コンテンツ検定およびスクリーン(HCA/S)では、高解像度は常に必要なわけではない。しかし、大規模な主要HCSは、十分な品質の画像をできる限り早く収集できる走査を促す。したがって、所与の倍率で最大開口数の対物レンズを使用できることが重要である。しかしながら、合焦像を確実に提供できない機器は被写界深度の大きい低開口数の対物レンズを使用して、さほど光を収集しない安定した測定を行うように促されることで、カメラの積分時間が長くなりスクリーニングが遅延される。あらゆる視野で正確な自動焦点を提供することによって、多関数型自動焦点シーケンスは、各撮像用途にとって可能な最善の光学素子セットの使用を可能にする。
いくつかの側面では、異なる色の光がレンズの屈折率の波長依存性のためにZ軸に沿った異なる点で合焦する、顕微鏡光学素子における色収差を利用することが望ましい。異なる色に対する焦点面の発散のため、Z軸に沿った多面画像(multi−planar image、多平面画像、複数面画像)の取得が可能になる。他のいくつかの側面では、色に依存する焦点面の数は、顕微鏡光学素子に非点収差を導入して色毎に少なくとも2つの異なる焦点面を形成することによって増加させることができる。
好ましくは、自動顕微鏡検査用の多関数型自動焦点システムは、画像ベース自動焦点システムを備えた高精度焦点機構と組み合わせた、反射位置決めシステムを有する粗焦点機構を含む。いくつかの側面では、画像ベース自動焦点システムは、Z軸に沿った多面画像取得用の非点収差光学機構と組み合わせた色収差光学機構を装備している。
好ましくは、自動顕微鏡検査用の多関数型自動焦点方法は、画像ベース自動焦点を採用する高精度焦点手順と組み合わせた、反射位置決めステップを採用する粗焦点手順を含む。いくつかの側面では、画像ベース自動焦点手順は、非点収差と組み合わせて色収差によって生成されるZ軸に沿った複数の画像を使用する。
図1は、2つの顕微鏡対物レンズでのピンぼけ距離を示す2つのグラフであり、左側のグラフは解像度の関数としてピンぼけ距離を示し、右側のグラフは解像度のパーセント低下の関数としてピンぼけ距離を示す。 図2は、市販の顕微鏡を通じて得られた拡大細胞核の像のスルーフォーカスシーケンスを示す。 図3は、DAPI標識NIH−3T3細胞の拡大画像に関する画像ベース自動焦点手順と反射位置決め手順間の合焦差の結果を示す1セットの図である。 図4は、FFPE前立腺癌組織から切断した5μm部位の拡大画像に関する画像ベース自動焦点手順と反射位置決め手順間の合焦差の結果を示す1セットの図である。 図5は、3T3−L1細胞と区別される脂肪細胞における脂質形成防止スクリーニング用の96ウェルのマイクロタイター陽性対照プレートから得られる拡大画像に関する、画像ベース自動焦点手順と反射位置決め手順間の合焦差の結果を示す1セットの図である。 図6は、仮定合焦差を伴う赤、緑、青波長での色収差を示す1セットの図である。 図7は、3つの対物レンズに関する色収差焦点移動の1セットの図である。 図8は、色収差の制御に使用されるリレーレンズの概略図であり、非点収差を誘発するのに光学素子が追加されている。 図9は、色収差の制御を示すため、図8のレンズと置き換えられる、異なる焦点距離および材料(異なる発散)のレンズの異なる組み合わせである2つの対物レンズの色収差を示す一対の図である。 図10は、傾斜(対物レンズ上)反射照明(上右)を用いて取得された細胞の図と、ポリ−L−リジン被覆カバースリップ上で懸架され遠心分離されたMDA−MB−435乳癌細胞の位相コントラスト(上左)との比較を示す1セットの図と、対応する焦点関数図(下)である。 図11は、傾斜(対物レンズ上)反射照明(右)を用いて取得された図と、384ウェルの膜底マイクロタイタープレートでβカテニンスクリーンからのヒーラー細胞の蛍光(左)との比較を示す1セットの図と、対応する焦点関数図(下)である。 図12は、リレーレンズによる非点収差が直交面を伝播する光線に対してどのように異なる焦点を形成するかを示す図である。 図13は、図8のリレーレンズに対する様々な波長での非点収差焦点を示す1セットの図である。 図14は、図8のリレーレンズの調節に関して2つの非点収差で区別されたRGB焦点のセット間の差を示す図である。 図15は、複数の色サブ帯域の分布と共に多面色モジュールのレイアウトを示す概略図である。 図16は、5色カメラを形成する5色プリズムの概略図である。 図17は、顕微鏡の筒レンズの画像面における自動焦点スクレ−パミラーのレイアウトを示す顕微鏡光学素子の概略図である。 図18は、多関数型自動焦点を備えた自動顕微鏡使用システムのブロック図である。 図19Aは、図18の自動顕微鏡使用システムを装備して多関数型自動焦点をサポートする自動焦点光学システムの代表的な実施形態を示す概略図である。 図19Bは、図18の自動顕微鏡使用システムを装備して多関数型自動焦点をサポートする自動焦点光学システムの別の代表的な実施形態を示す概略図である。 図20は、焦点面間隔の制御に使用される波長選択を示す図である。 図21Aは、増分走査中に多関数型自動焦点を使用する自動顕微鏡使用システムの動作方法を示すフロー図である。 図21Bは、連続走査中に多関数型自動焦点を使用する自動顕微鏡使用システムの動作方法を示すフロー図である。 図22は、自動顕微鏡使用システムの焦点を判定する方法を示すフロー図である。 図23は、照明とスクレ−パミラー出力ポートとを含むオープンフレーム顕微鏡構成の図である。 図24は、主光学および機械部品を標示したオープンフレーム顕微鏡構成の上面図と正面図を含む、図23の部品のレイアウト図である。 図25は、運動学的フィルタキューブマウントを示すオープンフレーム顕微鏡構成の詳細図である。 図26は、顕微鏡のカメラポートへのアダプタである収差自動焦点を示す図である。 図27は、BTL反射位置決め自動焦点用に倒立顕微鏡の隣接する対物レンズに搭載されたセンサの図であり、非TTL反射位置センサを含む。
多関数型自動焦点構成を有し、多関数型自動焦点方法を実行する多関数型自動焦点システムを備えた自動顕微鏡検査システムを、特定の好適な実施形態を参照して以下説明する。実施形態は特定の構成に関して説明するが、これらの構成は多関数型自動焦点の原理を例示することを目的とし、それらの原理を例示された例に限定することを目的としない。
多焦点面Z位置光学素子:画像ベース自動焦点は、様々なZ軸方向位置にカメラセンサを配置して、異なる焦点面で自動顕微鏡上の画像を同時に収集するという確立された原理を含む。どんなX−Y走査位置でも、標本が複数のZ位置で撮像されることによって、最適焦点画像を提供するZ位置の判定に有用な情報を提供する様々な鮮明度の像が提供される。例えば、米国特許第4,636,051号では、3つの焦点面−最終焦点位置、その前方位置、その後方位置−を撮像して画像ベース自動焦点を実行することが記載されている。米国特許第6,640,014号は、連続走査における画像ベース自動焦点のために同時に9つの異なる焦点面を収集する光ファイバ撮像バンドルに基づく多焦点面システムを記載している。この設計は時間遅延積分(TDI)カメラを用いて像を走査して絶えず移動する標本を撮像するが、取り扱いが難しく較正しづらい。米国特許第6,839,469号は、マイクロメートル単位で軸方向に配置される8つの異なるCCDカメラに像を中継する8つの経路に光を分配(分割)するビームスプリッタに基づくシステムを記載している。このシステムは連続走査中に自動焦点を維持し、米国特許第6,640,014号に記載のシステムよりも較正し使用し易い。Prabhatら(3Dでの細胞挙動研究用蛍光顕微鏡検査における複数焦点面の同時撮像、Proc.SPIE6090、60900L−60901−60907(2006))は、直接撮像による膜でのエキソサイトーシスまでのエンドソーム挙動など、3Dでの生細胞の高速事象を撮像する4カメラ多焦点面撮像システムを使用する。これらの実施例はそれぞれ複数の焦点面を同時に撮像するという目標を達成するが、実行が面倒であり、比較的高額で、実体的なガラスの長光路が画像品質を低下させる可能性がある。
色収差を利用する多面画像取得
別の画像ベース自動焦点方法は色収差を利用して、1セットのZ軸方向に変位した焦点面で取得される像から最適焦点位置を算出する。この方法は、引用により本文書に組み込む米国特許出願公開第2010/0172020号として公開されている相互参照米国特許出願第12/587,923号に記載されている(対応PCT出願第PCT/US2009/005633号はWO/US2010/044870として公開されている)。この方法によると、異なる色の光は、レンズの屈折率(発散)の波長依存のため、Z軸に沿った異なる点で合焦する。
色収差(または色消し性)とは、レンズの屈折率(発散)の波長依存のために異なる色の光が異なる点で合焦することである。これに関しては、仮定的合焦差を伴う赤、緑、青の波長での色収差を示す図6を参照されたい。差aおよびbはガラスサンプルを追加することによってa’およびb’に拡大されている。下側グラフは、対応する焦点関数曲線と追加の色収差による移動を概略的に示す。
米国特許出願公開第2010/0172020は、複数の焦点面を撮像し、自動焦点をスピードアップする色収差の使用について説明している。上記公開によると、焦点差は、CCDカメラ前方の光路に挿入される板状ガラスサンプルによって色収差を変更することで制御される。焦点関数算出では、板状ガラスサンプルを挿入した場合の各色の最適焦点の差は、0.35mm(青)、0.9mm(赤)、0.6mm(緑)であった。色収差をよりよく詳述するため、我々はコンピュータ制御のためにOneLight Spectra(商標)灯(http://www.onelightcorp.com)を使用し、様々な光学素子の色収差をマッピングした。図7は、図8のリレーレンズを使用し、および使用せずに測定した3つの異なるNikon(登録商標)の20倍対物レンズの色収差を示す。焦点移動は、10μm間隔のマイクロメートルで最適焦点に関して明視野で測定した。像は640×480カメラ(4画素/μmのサンプリング)のNikon(登録商標)ズームレンズで1.5倍に拡大した。A)Nikon(登録商標)Plan Fluor、20倍、開口数0.5、Ph1位相コントラスト、B)Nikon(登録商標)Plan Apo、20倍、開口数0.75、Ph2位相コントラスト、C)Nikon(登録商標)Plan Apo VC、20倍、開口数0.75が最も良く補正された。自動焦点は上述したように実行した。各曲線は5回作製し、分離距離標準偏差(「SD」)は図のデータドットよりも小さかった。これらのデータが示すように、1)色収差は各対物レンズに存在する、2)対物レンズ間で相当な差がある、3)波長の選択を利用して軸方向サンプリング距離を制御することができる。
図8は、図7のデータを生成する際に色収差の制御に使用されるリレーレンズの概略図である。顕微鏡サイドポート像を、レンズL1およびL2によって新たなカメラ画像面でカメラ上に撮像した。1000mmの円柱レンズL0を、レンズL1およびL2を通過する光の前方位置に追加して、後述するような結果を達成するように非点収差を誘発した。色収差(LOなし)を制御する図8のリレーレンズ構造を用いて、我々は図9に示す測定を行った。異なる発散を有する3つの異なる種類のガラス(bk7、sf11、溶融石英fs)の異なる焦点距離を図7の2つの対物レンズで使用した。Nikon(登録商標)Plan Apo VCは色収差を最も良く補正し、Nikon(登録商標)Plan Fluorは最も補正しなかった。2つの対物レンズ間の差異は、各対物レンズの色収差を最適化するように調節可能なシステムを設計する妥当性を実証するものである。これらのデータが示すとおり、高度に補正される対物レンズでもさほど補正されない対物レンズでも、自動焦点用多面軸方向サンプリングにとって十分以上の範囲で色収差を制御することができる。
色収差を利用する自動焦点性能
我々はBravo−Zanoguera、M.、Massenbach、B.kellner、A.& Price、J.、「生物学的顕微鏡検査用の高性能自動焦点回路」、Review of Scientific Instruments、69、3966−3977(1998)に記載の方法により、30fpsで動作する3チップRGBカメラとL1=L2=100mmの溶融石英レンズである図8のリレーレンズとを用いた増分走査を介して、カバーガラス上で培養されたNIH−3T3細胞の2つの自動焦点実験を実行した。2つの色対間の色収差分離は2.25μmだった。第1の実験に関しては、10μmの総焦点サーチ範囲で1.33μmの4つの軸ステップがあり、第2の実験に関しては、8μmの総焦点サーチ範囲で0.67μmの3つの軸ステップがある。100視野のそれぞれで20回の合焦を繰り返すことでそれぞれ157nmと132nmの合同SDが得られた。第2の実験では、大きな泡を含む2つの視野を排除することでSDが43.3nmに減少した。また、空視野がSDを上昇させることに気づいた。したがって、我々は空視野での焦点が変化することを防止するテストを追加した。
類似の実験を、60fpsでIMAGINGSOURCE(登録商標)DB21AF04ファイアワイヤバイエルカメラを用いて実行した。サンプルが6μmの総サンプリング範囲で0.75μmずつ離れた3つの異なる機械的位置で撮像され、空間周波数スペクトルの上半分によって測定されるように画像内容の4%未満を含む空視野が排除されることを除き、同一の実験パラメータを使用した。2つの走査でそれぞれ22.9nmと25.2nmの合同SDがもたらされた。
マイクロタイタープレートでの自動焦点用の傾斜(反射)白色光照明:いくつかの側面では、無染色細胞の位相コントラストを利用する透過照明が、自動焦点の蛍光顕微鏡検査よりも優れている。しかしながら、マイクロタイタープレートのウェルのメニスカスがレンズとして作用し、自動焦点に使用できないほど位相像を劣化させる。さらに、製薬業界では、創薬スクリーニングは、各プレートの不透明フィルムでの被覆を含むことが多い。これらの理由から、画像ベース自動焦点を利用するHCS機器は通常、蛍光で合焦する。図10は、カバースリップ上で培養されたNIH−3T3細胞の、同一視野での位相コントラストおよび傾斜反射照明像を示す。ここで、「傾斜照明」は対物レンズと標本間の顕微鏡側−「オーバー・ザ・レンズ」構造−から向けられる光として定義される。対応する焦点関数曲線が示すように、おそらく反射傾斜照明はより高い有効な開口数(部分暗視野効果)のためにより急な焦点関数曲線を生成することができる(Inoue、S.&Spring、K.R.、「ビデオ顕微鏡検査の基本」、(Plenum、ニューヨーク、1997))。図11はGreiner(登録商標)膜底マイクロタイタープレートでの蛍光および傾斜反射照明を比較する。セットアップが両実験の照明モード間で変更されたので、最適焦点(焦点関数ピーク)は同一ではない。図11に示すように、傾斜照明は、優れた自動焦点特性を示すハイコントラスト画像と正常焦点関数曲線とを生成する。
非点収差を用いる焦点面数の倍化
非点収差を用いる光学システムでは、2つの直交面で伝播する光線が異なる焦点を有する(図12を参照)。非点収差を有する光学システムを使用して交差の像を形成する場合、垂直および水平線は2つの異なる距離で鮮明に合焦する(http://en.wikipedia.org/wiki/Astigmatism)。したがって、画像ベース自動焦点のいくつかの側面では、自動焦点を算出するのに水平ビデオ線のみを利用する代わりに、我々は水平および垂直ビデオ線に関して異なる焦点面を形成するために非点収差を導入する。非点収差を利用することで、円柱レンズを挿入することによって2つのわずかに異なる焦点面を生成する確率光学再構成顕微鏡検査(STORM)による3D超解像度撮像が達成される(Huang、B.、Wang、W.、Bates、M.& Zhuang、X、「確率光学再構成顕微鏡検査による3次元超解像度撮像」、Science 319、810〜813(2008))。非点収差はCDROMディスクのレーザ照明による非撮像表面追跡(反射位置決め)でも使用される(例えば、G.Bouwhuis、J.Braatら「光ディスクシステムの原理」、Adam Hilger、ブリストル、ボストン、1985とS.G.Stan、「CD−ROMドライブ−システム概要」、Kluwar、ボストン、1998を参照)。複数の焦点面の画像特徴を同時に使用する自動顕微鏡検査用の自動焦点機構では、非点収差を利用してZ位置毎に2つの鮮明度測定を行う。反射位置決めと色収差を介して同時に複数の焦点面の画像特徴の使用とを組み合わせる自動顕微鏡検査用の多関数型自動焦点機構および手順のいくつかの側面で、我々は非点収差を利用し、色毎に2つの鮮明度測定を行う。
図13は、リレーレンズ(図8)からd=0cmとd=4cmでのRGB(450、520、600nm)の非点収差焦点を示す(左)。d=0cmでは、試験ターゲットのG焦点は8.3μm離れており、それら2つの位置のテストターゲット像は、焦点画像成分のf(中央)とf(右)が同一の像上で2つの焦点、RGBカメラ上で6つの焦点を測定できることを実証している。非点収差を誘発するため、我々は色収差誘導リレーレンズ(図8)の前に1,000mm焦点距離の円柱レンズを配置し、それぞれ水平像方向fと垂直像方向fに高域フィルタを適用することによってRGB波長の明視野を用いて焦点関数曲線を作製した。非点収差はL1に近いL0で最も大きく(例えば、d=0cm、図13の左上)、L1から最も遠いL0で最も小さい(d=4cm、図13の左下)。緑の場合、fおよびf焦点は8.3μm離れており(d=0)、方向焦点はそれらの位置でテストターゲット像において明瞭に可視である(図13の中央と右)。図13のデータが示すように、非点収差は自動焦点用の多面撮像を生成する有効な方法であり、非点収差と色収差は焦点度を測定する画像ベース自動焦点方法において組み合わせることができる。図14では、各波長での2セットのfおよびfRGB焦点間の差が、図8のL1からL0の距離dの関数として示されており、非点収差多面焦点分離の簡易な制御を実証するものである。
図13および図14のデータが示すように、非点収差は自動焦点用の多面撮像を生成する有効な方法であり、非点収差と色収差焦点度を測定する画像ベース自動焦点方法において組み合わせることができる。我々は、位置毎に鮮明度測定の12焦点面セットに対して2つの3チップRGBカメラと直列に非点収差を導入することによってこれらの表示を評価し、視野毎に1つのみの機械的位置(なお、必要に応じて2つ以上の機械的位置を使用することができる)を用いて前立腺癌組織部位の1,918の視野を走査した。2つのRGBカメラを軸方向にわずかにオフセットさせて、面の数の2倍の同時サンプリングを可能にした。粗焦点を実行する反射位置決めは接近した像の合焦を維持し、画像ベース自動焦点は各視野の焦点をさらに向上させた。12の面を6.9μmの範囲で約0.63μm離してサンプリングした。蛍光像は別個のHamamatsu(登録商標)Orca ERカメラで捕捉した。蛍光像の輝度が第1の視野の10%未満であった場合、反射位置決めのみが使用され、走査は予定通り推移した。色収差および非点収差を使用して12面の鮮明度測定を行い、取得された1,918の像すべてが検査により合焦しており、迅速かつ光学的に効率的な自動焦点が実証された。これらの結果が示すように、色収差および非点収差を組み合わせて多面鮮明度測定を行うことが有用である。
したがって、自動顕微鏡検査用の多関数型自動焦点システムまたは方法は、反射位置決めと組み合わせて非点収差を備えた多面画像取得を用いる多面画像鮮明度/解像度測定を行うことで、光学性能に悪影響を及ぼさずに自動顕微鏡検査の複雑さを低減する。
多関数型自動焦点の実施例
多関数型自動焦点の各種実施例は限定ではなく、以下の組み合わせを含む。
粗焦点用の反射位置決めと、別に記載される高精度焦点用の画像ベース自動焦点(例えば、Groen FCA、Young IT、Ligthart G、「自動焦点アルゴリズムで使用される様々な焦点関数の比較」、Cytometry、6:81〜91、1985;JH Price、DA Gough、「位相コントラスト顕微鏡および蛍光走査型顕微鏡のデジタル自動焦点関数の比較」、Cytometry、16(4):283〜297、1994;M Bravo−Zanoguera、B von Massenbach、AL Kellner、JH Price、「生物学的顕微鏡検査の高性能自動焦点回路」、Review of Scientific Instruments、69(11):3966〜3977、1998)との組み合わせ、
粗焦点用の反射位置決めと、図8のレンズ構造を用いる多面画像取得に基づく高精度焦点用の色収差を利用する画像ベース自動焦点との組み合わせであり、円柱レンズL0は使用せず、3つの光波長を使用して3色カメラで同時に3つの焦点面を撮像する組み合わせ、
粗焦点用の反射位置決めと、図8のレンズ構造を用いる多面画像取得に基づく高精度焦点用の色収差を利用する画像ベース自動焦点との組み合わせであり、円柱レンズL0が使用され、2つの焦点面がグレースケールカメラで同時に撮像され、カメラ毎に2つの追加焦点面が例えば、米国特許第4,636,051号の構造で3つのカメラから6つの焦点面を、Prabhatらの構造で4つのカメラから8つの焦点面を達成する(3Dでの細胞挙動研究用の蛍光顕微鏡検査における複数焦点面の同時撮像、Proc.SPIE6090、60900L−60901−60907(2006))組み合わせ、
粗焦点用の反射位置決めと、図8のレンズ構造を用いる多面画像取得に基づく高精度焦点用の色収差および非点収差を利用する画像ベース自動焦点との組み合わせであり、L0円柱レンズが使用され、6つの焦点面が3色カメラで同時に撮像される組み合わせ、
粗焦点用の反射位置決めと、光学を利用する多面画像取得に基づく高精度焦点用の色収差を用いる画像ベース自動焦点との組み合わせ。3つの3色カメラを使用する9色実施例を示す図15の構造はそれぞれ、3つの異なる焦点面での像を収集する。この組み合わせは、トリプル色マルチバンド干渉フィルタとビームスプリッタとを統合した特注のマルチバンドプリズムを使用する。図15は、9焦点面色モジュールのレイアウトを、3色プリズムのRGB帯域のそれぞれに分散される色サブ帯域の分布と共に示す。顕微鏡ポートからの9つの焦点面(9つの別々の色で標識付けされる)は分散リレー光学素子を通過する。各種リレー光学素子は、様々な光学素子を顕微鏡の構造に応じて選択できるように回転タレットに配置される。IR遮断フィルタが必要に応じて使用される。9色は統合薄膜干渉コーティングを施した3プリズム素子によって低、中、高帯域に分離される。各帯域は検出のために別個の3色カメラへと向かう。
粗焦点用の反射位置決めと、図8のレンズ構造を用いる多面画像取得に基づく色収差および高精度焦点用の非点収差を利用する画像ベース自動焦点との組み合わせであり、円柱レンズのリレーレンズ左への配置が、焦点面の数の2倍の鮮明度/解像度を測定する非点収差を導入し、図15の「9色モジュール」、光学素子、カメラで計18の焦点面をもたらす組み合わせ。
図16は、5つの面の鮮明度/解像度を測定するため直接利用可能な5色カメラを形成する5色プリズムを示す。図8の円柱レンズを用いて、10画像面の鮮明度/解像度を同時に測定することができる。
図15の9色構造は、光軸に沿ってカメラを移動させるアクチュエータにカメラが配置されるように変更することができる。この構造では、9色モジュールは光を3つに分割する(各カメラに光の33.3%)トリプルビームスプリッタと置き換えられ、トリプル帯域通過干渉フィルタがトリプルビームスプリッタの入力に配置される。その後、3つのカメラは米国特許第4,636,051号に記載の原理を利用して異なる焦点面まで移動させられる。
蛍光顕微鏡検査用の多関数型自動焦点において画像ベース自動焦点測定のために光を透過させるため、1つまたはそれ以上の自動焦点カメラまで顕微鏡を通過させるように蛍光色の発光帯域で波長が選択される。ある構成では、ストロボ照明器を使用して、科学グレード撮像カメラが蛍光像を収集していないときに自動焦点用の多面画像取得を実行する。自動焦点が完了する(蛍光カメラは合焦している)と、蛍光光源は(電子的に、またはシャッタを介して)オンになる。自動焦点光を自動焦点カメラへ分配して、蛍光を蛍光カメラに送る様々な実施例がある。例えば、自動焦点波長を反射し、蛍光波長を透過するためにダイクロイックミラーを使用することができる、あるいは可動ミラーを使用することができる。「スクレ−パ」(図17および図26)は、科学グレード撮像カメラの視野に隣接する視野を撮像するために使用することができる。また、スクレ−パ構造により、例えば、連続走査での多関数型自動焦点を実行する同時蛍光および反射暗視野撮像が可能になる(Bravo−Zanoguera、M.E.、Laris、C.A.、Nguyen、L.K.、Oliva、M.& Price、J.H.、「自動顕微鏡検査における連続走査時間遅延積分像取得のための動的自動焦点」、Journal of Biomedical Optics12、34011/34011〜34016、2007)。
ダイクロイックミラーは自動焦点用の光路の外に光を反射させるために使用することができる。ダイクロイックミラーを使用する際の光損失を回避するため、所定位置にスイングして自動焦点用の光を反射し、外れてスイングして細胞計算分析用の像を取得する科学カメラに光を邪魔させずに透過させることができる可動ミラーが使用可能である。もしくは、「スクレ−パ」ミラーを使用して、科学カメラによって撮像される視野に隣接する視野を撮像することができる。スクレ−パミラー位置は図17の顕微鏡光学システムの図に示されており、スクレ−パミラーは顕微鏡の筒レンズの画像面またはその近傍に配置される。スクレ−パミラーは、科学カメラの視野に隣接する自動焦点カメラの視野を反射する。
多関数型自動焦点の代表的な実施形態
多関数型自動焦点を有する自動顕微鏡使用システム200の代表的な実施形態を図18に示す。多関数型自動焦点システムには、粗焦点用の反射位置決めと、多面画像取得に基づき最適焦点を判定する色収差および/または非点収差を用いる画像ベース自動焦点とが提供される。いくつかの側面では、多面画像取得は、図8の構造に対応するレンズ構造を使用する色収差と非点収差の組み合わせである。図18では、自動顕微鏡使用システム200は特定の対物レンズ/ステージ配向と、両者間の相対運動モードとを有するように示されている。言い換えると、対物レンズはステージの下方に配置され、合焦のため、ステージに対して光軸に沿って移動させられる。これは本図に示す原理をそのように限定することを目的とするものではない。実際には、対物レンズ/ステージの配向は、対物レンズがステージの上方に来るように反転させることができる。さらに、ステージは、合焦のために対物レンズに対して光軸に沿って移動させることができる。さらに、対物レンズとステージはそれぞれ合焦のために光軸に沿って移動させることができる。さらに、細胞計算分析用の像を取得するのに使用される科学カメラまたはそれらのカメラ用の光学素子を始動して、合焦のための光路長を変更することができる。好ましくは、粗焦点は、ステージおよび/または対物レンズを移動させる反射位置決め手順を用いて達成され、高精度焦点はステージ、対物レンズ、カメラ、可動光学素子のうち1つまたはそれ以上を移動させる多面自動焦点手順を用いて達成される。
図18では、自動顕微鏡使用システム200は、可動対物レンズ203を通じて観察される標本202の1つまたはそれ以上の画像を取得する。光軸205は対物レンズ203を通る照準線を有する光路206を画定する。標本は電動ステージ207に支持される。合焦のため、対物レンズ203は光軸205(Z方向)に沿った2方向にZドライブ209によって移動させられる。好ましくは、だが限定ではなく、Zドライブ209はデジタル−アナログコンバータ(DAC)214から受信する信号に応答して、デジタル式コントローラ210によって駆動される高精度ステッパ(またはサーボ)モータを構成する。標本202は標本ホルダ212に載せることによりステージ207に支持される。例示のため、標本ホルダ212は顕微鏡スライドから成るが、これは本文書に記載され例示される原理を限定することを目的としていない。標本は、多ウェルマイクロタイタープレート、ペトリ皿、または任意の適切な等価物に載せることができる。標本を走査するため、電動ステージ207は、光軸205と交差する面の2次元(XおよびY次元)でX−Yドライブ213によって移動させられる。いくつかの側面では、面は光軸205に直交する。好ましくは、だが限定ではなく、X−Yドライブは、DACアセンブリ216から受信する信号に応答して、デジタル式コントローラアセンブリ215によって駆動される一対の高精度ステッパ(またはサーボ)モータである。
図18では、自動顕微鏡使用システム200は、撮像システム220による観察および分析のための拡大標本画像を取得する。好ましくは、だが必須ではなく、観察された標本は蛍光を発するようにされ、撮像システム220が1つまたはそれ以上の科学カメラ222を用いて蛍光動作モードにより光路221を介して拡大画像を取得する。いくつかの側面では、撮像システム220は、顕微鏡筒の少なくとも部分的に外側に置かれ(外部に配置される)、焦点のための光路長を変更するようにコントローラ224を介して始動させることができる可動光学素子223を含む。適切に合焦された像を取得するため、自動顕微鏡使用システム200は反射位置決めシステム230と画像ベース自動焦点システム240とを含む多関数型自動焦点システムが設けられる。システム220、230、240は光路206に光学的に接続される。好ましくは、だが必須ではなく、反射位置決めシステム230と画像ベース自動焦点システムは、ビームスプリッタ機構(図18には示さず)によって各光路231および241を通じて光路206に接続される。制御ユニット260は、多関数型自動焦点を含むシステム220、230、240の機能を制御するプログラム可能な制御機械を含む。制御ユニット260はホストコンピュータ(図示せず)の一部またはそれに接続される別個のユニットとすることができる。
図18の説明を続けると、反射位置決めシステム230は、反射位置決め(RP)光学素子232、CCD(電荷結合素子)センサ233、RPコントローラ235へのインタフェース234を含む。反射位置決めシステム230は、光路231、206、203を介して標本支持体212の表面212aなどの対象表面まで移動する光学像を生成する。光学像は対象面(例えば、スライド、カバースリップ、またはプレート底の下面または上面)で反射され、光路203、206、231、232を介してCCDセンサ233まで移動する。反射像はCCDセンサ233によってRP光学素子232から取得される。反射像はインタフェース234によって変換およびフォーマット化され、RPコントローラ235に送られる。閉ループモードで動作するRPコントローラ235は、214、210、209を介して対物レンズ203のZ位置を調節する。このように、対物レンズ203は、反射像の焦点角度が予め設定された閾値に達するまで±Z分、光軸に沿って移動させられる。予め設定された閾値に達すると、自動顕微鏡使用システム200は粗く焦点合わせされたとみなされる。粗焦点が達成されると、RPコントローラ235は対物レンズ203の現行Z位置を表す値を制御機械自動焦点プログラム261へと送る。
さらに図18を参照すると、画像ベース自動焦点システム240は、科学カメラ222による画像取得にとって最適な焦点位置を判定するために複数の焦点面から像を取得する。好適な構成は、多面光学素子242と1つまたはそれ以上の自動焦点カメラ245とを含む。多面光学素子242は好ましくは色収差光学素子および/または非点収差光学素子で構成される。好ましくは、各自動焦点カメラ245は、色画像を取得するカメラを含む。このようなカメラは、単独のCCDチップ「バイエル」カメラ(例えば、IMAGINGSOURCE(登録商標)DBK21AF04CCDカメラ)または多チップCCDカメラ(例えばSONY(登録商標)DXC−9000)で構成することができる。もしくは、単色(グレースケール)カメラを色光学素子なしで使用して、非点収差光学素子によって提供されるようにカメラ毎に2つの焦点の鮮明度を測定することができる。画像ベース自動焦点システム240は、それぞれの一連の焦点面から各自の画像セットを生成する。それぞれの一連の焦点面の構成要素は、光(Z)軸205によって分離される。好ましくは、それぞれの一連の焦点面のZ軸による分離は、MP光学素子244によって導入される色収差および/または非点収差から生じる。MP光学素子244はCCDカメラ245による多面焦点鮮明度測定を可能とするように光路を光学的に処理する。各カメラは1つまたはそれ以上の各自の焦点面から像を取得する。CCDカメラ245によって取得される画像はインタフェース246によって変換およびフォーマット化され、制御ユニット260のインタフェース247に搬送される。Z分離画像はインタフェース247を介して制御ユニット260に受信され、制御機械自動焦点プログラム261に提供される。自動焦点プログラム261は各画像面の焦点角度(非点収差では各画像に関し2つの焦点度)を判定し、最適焦点画像の焦点面を特定し、DAC262およびコントローラ210を介してZドライブ209を作動させる。Zドライブ209は特定された焦点面の位置まで対物レンズ203を±Z移動させる。特定された焦点面に到達すると、自動顕微鏡使用システム200は精細に合焦されたとみなされる。
図19Aおよび図19Bは、図18の自動顕微鏡使用システム200を装備して反射位置決めおよび画像ベース自動焦点部分を有する多関数型自動焦点システムをサポートする光学サブシステムの代表的な実施形態を示す。どちらの図も反射光学素子、多面光学素子、任意の暗視野照明システムを含む。図19Bは、撮像システム220用の外部高速焦点システムの素子をさらに含む。
図18および図19Aを参照すると、多関数型自動焦点光学システムは、反射位置決め(第1の)光学システム230と画像ベース多面(第2の)光学システム240とを備える。第1の光学システム230および第2の光学システム240は対物レンズ203を介して光路206から光学画像を取得する。対物レンズ203を介して合焦した光は、可視光を顕微鏡筒(図示せず)内へ透過させるダイクロイックミラー281へ送られる。顕微鏡筒内の光は顕微鏡筒レンズ282を通って顕微鏡の内側のプリズム283に送られる。好ましくは、だが必須ではなく、第1の光学システム230は、発光ダイオード(LED)などの赤外線(IR)源284によって提供される赤外線照明で動作する。LED284から発せられる赤外光は結像光学素子285によって画像に成形され、ダイクロイックミラー281によって対物レンズ203に反射される。IR光によって形成された画像は対物レンズ203を通って標本ホルダ212へと送られる。結像IR光は表面212aによって画定される焦点面から反射され、対物レンズ203を介してダイクロイックミラー281まで移動する。ダイクロイックミラー281は結像光学素子285を通って戻ってくるIR光を反射する。ミラー(図示せず)は戻ってくるIR光を、反射像を感知しデジタル化するIR検出器286へと反射させる。RPコントローラ235はデジタル反射画像を処理して、表面212aで反射像の焦点角度を判定する。表面212aは設計および動作要件に従い選択される。図19Aでは、表面212aは単に例示のために上面として示されており、限定を目的としていない。
図19Aをさらに参照すると、第2の光学システム240は、プリズム283からスクレ−パミラー291への反射を介して最適焦点判定のための焦点面の一連の画像を取得し、撮像システム220の科学カメラ222(図示せず)によって撮像される視野と隣接する視野を撮像する。いくつかの側面では、スクレ−パミラー291は図17に示されるように光軸に対して配置することができる。好ましくは、だが必須ではなく、標本ホルダ内または上に載せられた標本は暗視野モードによって照らされる。いくつかの側面では、標本は、対物レンズ203が標本に向けて光を合焦させるコンデンサと、標本から散乱する光を合焦して像を生成する対物レンズとの両方として機能する反射暗視野モードによって照らされる。好ましくは、だが必須ではなく、スクレーパレンズ291が採用されて、暗視野照明システム310によって生成される暗視野照明を、標本を照らすためにプリズム283を介して光路206へと導き、光路206からの画像を形成する暗視野照明を、プリズム283を介して第2の光学システム240へと送る。スクレーパレンズ291は科学グレードカメラ(図19Aには示さず)への光を劣化させず、取り除き置き換えるためのアクチュエータを必要としないという利点があるが、ビームスプリッタ(科学グレードカメラへの光を劣化させる可能性がある)または脱着可能な始動ミラーと置き換えることができる。
図19Aでは、画像を形成する暗視野光はスクレ−パミラー291からペリクルミラー292に反射して、そこで色消し球面レンズ293を通過して折畳みミラー294に至る。暗視野光はミラー294で反射され撮像マスク295を通り、色消し球面レンズ296を通過する。暗視野光は色消し球面レンズ296によって円柱レンズ297に送られる。暗視野光は円柱レンズ297から平凸球面レンズ298を通り50×50立方ビームスプリッタ299に移動する。暗視野光の半分はビームスプリッタ299から平凸球面レンズ300を介して一方のCCDカメラ245aに至る。暗視野光のもう半分は、ビームスプリッタ299から平凸球面レンズ301を通って他方のCCDカメラ245bへと移動する。
非点収差が、円柱レンズ297によってCCDカメラ245aおよび245bに到達する光に導入される。好ましくは、円柱レンズ297は平凸、平凹、両凸、または両凹レンズのうちの1つである。非点収差の効果は、多面光学素子が受光する光を、2つの直交(XおよびY)面でCCDカメラ245aおよび245bの少なくとも一方、しかし好ましくは両方に対して異なって伝播させることである。
色収差は、図8に示すレンズ関係に対応するレンズ関係によってCCDカメラに到達する光に導入される。これに関して、レンズ対298、300はCCDカメラ245aに送られる光に色収差を導入し、レンズ対298、301はCCDカメラ245bに送られる光に色収差を導入する。好ましくは、各カメラは6つの焦点面、すなわち3つの色収差誘発面それぞれに対して2つの非点収差誘発透過面画像を撮像する。さらに、レンズ/カメラ間隔300/245aと301/245bは、カメラ自体が異なる焦点面に位置するようにわずかに異なる。よって、各カメラは、他のカメラとは異なる6つの焦点面を生成する。結果的に12の異なる焦点面からの6つの拡大画像が生じ、6つの像はそれぞれ異なる焦点面からのfおよびf情報を含む。
図19Bに示す第2の光学システム240の別の実施形態は、(光学効率および像解像度を高めるため)図19Aの素子296および298を排除し、非点収差制御を向上させるため図19Aの素子297を2つの半円柱レンズ297aおよび297bに分割する。非点収差を導入する好適な実施形態では、相互に対して移動可能な1つの平凹円柱レンズと1つの平凸円柱レンズを用いてレンズ対297A/297Bを組み立てる。これにより、現在利用可能な円柱レンズよりも長い焦点距離の複合円柱レンズが形成される。当然ながら、円柱レンズが十分平坦に作製できる場合(十分に長い焦点距離)、好適な実施形態は1つのみの円柱レンズを使用する。
図19Aおよび図19Bの第2の光学システム240用の照明は、出力光が集光レンズ312によって平行になる白色光源311(好ましくは、発光ダイオード)を含む暗視野照明システム310によって提供することができる。平行白色光はマルチバンド送信フィルタ313によってフィルタリングされ、次にフィルタリングされた平行光は照明マスク314、絞り315、平凸球面レンズ316を通過する。フィルタリングされた平行光はレンズ316によってビームスプリッタ292を通ってスクレ−パミラー291まで送られ、そこで光路206で反射して対物レンズ203に向かう。
図19Aおよび図19Bでは、第2の光学システム240と暗視野照明システム310は、撮像システム220の動作を邪魔せずに、画像ベース自動焦点処理用の複数の焦点面からの像を取得するように協働する。これに関して、空間フィルタ314および295とビームスプリッタ292は対物レンズ203から高角照明を供給して、標本からの低角度散乱光を観察する。これに関して、レンズ316および293は、暗視野照明システム310において対物レンズ203の後焦点面と共役の焦点面を形成する。暗視野照明システム310において照明マスク314は標本の高角度(高開口数)照明に対応する環状照明プロファイルを透過させる。この透過された光リングの内側および外側半径は、使用される対物レンズ203と、対物レンズの後焦点面と共役の焦点面を生成するのに使用されるレンズ316に依存する。外側半径は、顕微鏡外部の共役焦点面で対物レンズ203の後焦点開口と同じくらいの大きさになるように設定される。内側半径は、環状リングが顕微鏡外側の共役焦点面で後焦点開口の面積の約50%となるように選択される。例えば、外部焦点面に形成される対物レンズ203の後焦点開口が半径r1を有する場合、環状リングは((r1)−(r2))/(r1)=0.5となり、r2/r1=√0.5=0.51/2=0.71を解くように外側半径r1および内側半径r2を有する。実質上、r2/r1は約0.4<r2/r1<0.8の範囲で実験的に最適化される。これは対物レンズ203の高開口数部のみでの照明に対応する。逆に、マスク/止め部の組み合わせ295は、すべての散乱光を透過させるが標本によって直接反射されない穴を含む。この穴の半径は、照明側の環状マスク314のr2よりもわずかに小さいはずなので、2つのマスク295、314は散乱光をできる限り多く収集しつつ、反射光を直接排除するように容易に位置合わせすることができる。理想的には、2つの半径は同一であるが、実際的には光学素子の配置と収差のために少なくとも0.1mm異なるはずである。これは、対物レンズ203の低角度(低開口数)部のみでの撮像に対応する。
反射暗視野照明の原理は、光が同一方向から来ることを除けば透過暗視野照明と基本的に同じである。したがって、ビームスプリッタ292が照明と撮像路を分割するために使用される。これに関し、我々は45/55(可能であれば、理想的には50/50)ペリクルビームスプリッタが好ましいと考える。光学素子の後方反射が撮像を邪魔する可能性があるため、このビームスプリッタの対物レンズ側の光学素子を最小限にとどめることが望ましい。我々は、プレートとキューブビームスプリッタの両方とも撮像およびマスク/止め部の位置合わせを妨害する後方反射および焼き付きを有するためペリクルビームスプリッタの方が好ましいと考える。
外部高精度焦点
図18を参照すると、自動顕微鏡使用システム200は、最適焦点に応答して科学カメラ222を精細に合焦する別の高精度焦点システムを含む。この高精度焦点システムは、顕微鏡筒の少なくとも部分的に外部の(外側に配置される)光学素子を含むため、外部高精度焦点(EFF)システム223と称される。図19Bに示すように、顕微鏡サイドポート268からEFFシステム223を通って移動する光は、撮像リレー光学システム333によって撮像システム220に、ひいては科学カメラ222に中継される。EFFシステム223は、矢印332で示されるようにミラーアセンブリ331をミラーアセンブリ330に対して移動させることによって科学カメラ222への光路を延長または短縮させて高精度焦点を提供する。好ましくは、ミラーアセンブリは、226を介して制御ユニット260とインタフェースをとるコントローラ225によって制御される音声コイルアクチュエータ(VCA)224により駆動される。少なくとも2つの利点がEFFから得られる。第1に、顕微鏡は定義では、拡大対物レンズとZ軸上で顕微鏡筒を介して位置合わせされるレンズ対とを使用して検出器(カメラ)上でサンプルの拡大画像を形成する。(Z軸に沿った)軸方向倍率は横方向倍率の二乗に比例するため(例えば、20倍の横方向倍率の対物レンズの場合、軸方向倍率は20×20で400倍である)、サンプル面での光路長の調節はサンプル面での極めて小さな調節(1/倍率2ずつ)となる。例えば、光路をサンプル面で100μm調節することは、サンプル面を((100μm)×(1/(20))=0.25μm調節することに相当する。この結果、対物レンズまたはステージを移動させる場合と比較してEFFで使用されるアクチュエータの機械的解像度要件は一層緩和される。第2に、自動焦点は、対物レンズまたはサンプルのZ位置を制御および調節するためのZ軸方向ポジショナ(保定装置)を必要とする。従来の顕微鏡検査プラットフォームでは、対物レンズ位置の迅速で確実な制御は、非規格化または特注制御機構のために難題である。EFFを使用して特定の顕微鏡プラットフォームに関係なく合焦させることは、同一のモジュールを他の顕微鏡プラットフォームのために使用できるという様式上の利点を提供する。さらに、EFFシステムの仕様は使用されるプラットフォームと無関係にすることができる。EFFシステムを使用することで、顕微鏡外の合焦を微細調整することができる。この機能は、多面自動焦点測定と組み合わせることで、プラットフォームに依存しない自動焦点モジュールの設計を可能にする。
多関数型自動焦点動作
画像ベース自動焦点は焦点指標を決定することと、通常は最適焦点に対応する最大値である点を焦点指標から選択することとを含む。好ましくは、焦点指標f(z)は、サンプルの様々なz位置に対してサンプル像に存在する中から高周波数コンテンツの相対量を算出することによって判定される。これに関しては、例えば、Bravo−Zanoguera、M.E.、Laris、C.A.、Nguyen、L.K.、Oliva、M.& Price、J.H.「自動顕微鏡検査における連続走査時間遅延積分像取得のための動的自動焦点」、Journal of Biomedical Optics12、34011/34011〜34016(2007)を参照されたい。その後、パワー加重平均(パワーウエイト平均、power−weighted average)を使用して最適焦点を算出する。

ただし、例えば、α=8はここで最適焦点の加重(重み付け)として使用される。焦点指標の算出は、各軸方向位置zで各画像i(x,y)の水平次元xに沿って帯域通過畳込みフィルタh(x)を用いて達成される。
較正
前の作業で、カメラが撮像システムのナイキスト遮断周波数の1.45倍でサンプリングしたという前提で多数のサンプルで上手く機能した31タップ帯域通過フィルタを設計した(Oliva、M.A.、Bravo−Zanoguera、M.& Price、J.H.「顕微鏡検査自動焦点のためのコントラスト反転の除去」、Applied Optics38、638〜646(1999))。しかし、対物レンズ、リレーレンズ、カメラの選択で異なる倍率と異なる実験セットアップのサンプリングが生じるため、我々は鮮明度測定にとって高周波数帯域の最適化を含む迅速な較正ステップを実行する。第1に、パワースペクトルは像の1次元全体で算出され、中高周波数が合計されて焦点指標(f)を求める。


ただし、fy,nは1次元に沿った像の各線のパワースペクトルであり、Nはx方向の画素数であり、wは各周波数nに使用される加重である(この例では、すべてのnでw=1)。
各線のパワースペクトルを用いて、我々は異なるサンプルおよび光学構造に対するフィルタリング特性の迅速な調節を実行することによって中高周波数を合計するという主要概念について詳述する。式4の合計に使用される周波数は、2つの基準:1.焦点関数が単峰形である(ピークが1つのみ)、2.数学的に判定された焦点が目で判定された最適焦点と一致する、に基づく各光学セットアップの周波数スペクトルの上半分とは異なって微調整される。
パワー加重平均は式2の場合と同じである。この技術により、異なるサンプル、対物レンズ、倍率、カメラの画素サイズに対して迅速にフィルタ条件を調節することができる。このことは、対物レンズまたはカメラの変更がナイキスト周波数に対して略異なるサンプリングレートをもたらす場合に特に便利である。
異なる色からの情報を利用して最適焦点を判定するため、較正は様々な色からの焦点情報を相互に関連付けるように実行される。これに関して、25nm刻みの412〜637nmの波長で図8のリレーレンズ構造(L1=L2=100mmの溶融石英レンズ)と組み合わせて使用されるNikon(登録商標)20倍、開口数0.75のPlan Apo VC対物レンズの関数曲線を示す図20を参照されたい。これらの図は、焦点面の間隔を制御するためにどのように波長を選択するかを示している。所与の色の場合、フルスルーフォーカス正規化率f(z)が測定されない限り、サンプルの特定のZ位置の焦点指標は無意味である。図20に示される正規化焦点関数曲線は、未加工の焦点指標f(z)の、0で曲線の最小値を設定するシフト(shift、移動、変換)と、1でピークを設定する倍率変更(scale、基準化)の両方を必要とする。これは次式で実行される。
シフトは最小値の減算であり、倍率変更は最大値マイナス最小値の除算である。異なる色のシフトと倍率変更は大幅に異なる値を有するために、何らかの形の較正がなければ、所与のサンプルz位置での色のより大きな焦点指標の値は必ずしも別の色よりも焦点が合っていることを示唆するものではない。
この較正は、各像での非点収差(図15のfおよびf)によって生成される各焦点面に対して実行される。上述したように、式3〜6が水平空間周波数(f)に適用される。非点収差を介する多面サンプリングの場合、それらの式は水平および垂直空間周波数の両方(fとf)に適用される。式3〜6は、最初に像を90度回転させることによって垂直周波数(f)に適用することができる。
多視野走査を較正するため、フルスルーフォーカス関数曲線が第1の視野で3つの波長に関して取得される。次に、これらの曲線からのシフトと倍率変更は、以降のすべての視野で対応する波長の焦点指標に適用される。同様に、較正は異なる色の相対的焦点移動を判定するのにも供する。この較正は以下の3つの推定を行う。1.各視野の内容が較正視野に匹敵する、2.各波長での画像内容が撮像される細胞の数に比例する、3.各波長での各焦点関数曲線の形状が類似する。
第2および第3の条件に関しては、所与の波長チャネルの情報が別のチャネルの情報と緊密に相関されていない場合、較正が失敗するおそれがあり、その場合、色収差を使用して次の視野の焦点を発見することができない。これはサンプルが波長依存の吸収を引き起こすほど不均等である場合に起こる可能性があり、こうした不均等性は視野毎に大きく変動する。
走査中、合焦される細胞がほとんどか全くない視野に偶然遭遇することがある。式8で使用される高周波数の合計が較正視野の最適焦点画像での高周波数の合計の4%未満であるとき、その視野は飛ばされ、空白として表示される。これにより、空視野に遭遇するときにスライド上で焦点位置の輪郭から離れすぎた走査が防止される。
多関数型自動焦点方法
図21Aは、多関数型自動焦点を備え、コントローラを含む制御機械によって制御される自動顕微鏡使用システムの動作方法を示す。図18の自動顕微鏡使用システム200は該方法を例示するために使用されるが、方法の他の自動顕微鏡使用システムへの適用を制限することを目的としていない。さらに、システムは増分走査モードでの動作として説明されるが、これは例示のためであって、方法の他の動作モードへの適用を阻むことを目的としていない。
図18および図21Aでは、制御ユニット260は、反射位置決めシステム230および画像ベース自動焦点システム240の使用により、粗焦点と高精度焦点の手順を含むシステム200の動作を制御するように構成される自動焦点プログラミング261を含む。標本は(手動で、あるいはロボットまたはその等価物によって)ステージ207に載せられ、制御ユニット260は、制御ユニット260の制御下で自動顕微鏡使用システムによって実行される以下のステップを含む図21Aの方法に従いシステム200を自動的に作動させる。
(1)粗焦点を取得する。反射位置決めシステム230は、対物レンズ203を通じて観察される反射対象に関する粗焦点度を取得するように始動される。例えば、対象は、標本202にすぐ隣接するカバースリップ214の下面214sなどの標本支持体212の表面から反射させることができる。動作時、反射位置決めシステム230用の照明源はオンにされ、RP光学素子が対物レンズ203を介して光から像を形成する。表面214sから対物レンズ203を通ってRP光学素子へと反射して戻った光を用いて、反射像が合焦するまでZドライブは光軸に沿ってステージ207を移動させ続ける。Zドライブの制御は閉ループであり、この合焦ステップは画像ベース自動焦点システム240からの寄与なしに実行される。
(2)X−Y走査を介してステージ207を標本の新たな視野に移動させる。
(3)高精度焦点用の拡大画像を取得する。画像ベース自動焦点システム240は、反射位置決めシステム230によって判定される粗焦点Z位置での焦点面を含む、光軸に沿った焦点面の群から取得された標本202の1つまたはそれ以上の拡大された一連の画像に関して最適焦点を判定するように作動される。これに関して、自動焦点照明が起動される。例えば、図19の反射暗視野照明システム310はステージ207の走査と同期化されるストロボパルスによって始動される。
標本の少なくとも1つの拡大された一連の画像が取得される。好ましくは、画像ベース自動焦点システム240は、色収差を伴う非点収差を用いて少なくとも2つの拡大された一連の画像を取得する。
(4)高精度焦点を取得する。拡大された一連の画像が取得され、焦点算出を実行して最適焦点を判定する図18の自動焦点プログラミング261に提供される。例えば、だが限定ではなく、最適焦点の算出は式(2)および(3)に従い実行される。
(5)光軸に沿ったステージの位置の制御は、自動焦点プログラミング261の高精度焦点関数によって推定される。
(6)高精度焦点は粗焦点位置から算出された最適焦点位置へとステージ207を光軸に沿って移動させることによって取得され、算出された最適焦点位置が粗焦点位置に置き換えられる。蛍光撮像を想定すると、各蛍光チャネルに関し、ステージ207がチャネルにとって算出された最適焦点値へと光軸に沿って移動され、顕微鏡のフィルタ/照明設定がチャネル毎に変更される。
(7)標本の蛍光像が撮像システム220を介してチャネルから取得される。もしくは、粗焦点位置は単独で残され、外部高精度焦点が使用されて各蛍光カメラの高精度焦点を実行する。各蛍光カメラの別個のEFFシステムは、色収差または各自の細胞部分の軸方向位置の差による合焦差を補正するために予め較正されたオフセットを利用する。よって、EFFでは、高精度焦点は粗焦点とは関係なく作動し、各EFF/フィルタ/カメラの組み合わせは速度多チャネル(多色)蛍光像取得と並行して調節される。
(8)走査が完了していない場合、ステージ207は次の視野に移動させられ、前のシーケンス(手順)が繰り返される。さもなければ、別の標本がない場合、手順を出る。もしくは別の標本がある場合、前の手順をロードし開始する。
図18および図21Bを参照すると、スクレ−パ291により、連続走査での多関数型自動焦点のために、反射暗視野照明310を光源311用のストロボ照明と共に使用することができる(または自動焦点カメラ245aおよび245bの代わりにTDIカメラ)。(Bravo−Zanoguera、M.E.、Laris、C.A.、Nguyen、L.K.、Oliva、M.& Price、J.H.「自動顕微鏡検査における連続走査時間遅延積分像取得のための動的自動焦点」、Journal of Biomedical Optics12、34011/34011〜34016、2007)を参照されたい。図21Bによると、システム200は位置感知により粗焦点を設定する画像ベース自動焦点ステップを用いて初期化し、その後、図21Aによりステップ(1)を実行する。ステップ(2)では、システム200はステージ207のX−Y移動による連続走査を開始し、画像の転写はステージエンコーダ213の動作と同期化される。走査中のステップ(3)で、画像は蛍光TDI(時間遅延積分)によって取得され、蛍光画像データが制御ユニット260によって取得され保存される。多面自動焦点はシステムによってステップ(4)および(5)(図21Aのステップ(3)および(4)にそれぞれ対応)で実行される。ステップ(6)では、粗焦点値がステップ(4)および(5)で判定された最適焦点値で更新される。連続走査中、サンプルが走査されている間、ステップ1〜6は連続的に実行される。常に実行されるステップ1〜3と異なり、ステップ4〜6は(例えば、500μm以下毎、または合焦を維持するために必要に応じて)段階的に実行させることができる。
図18および図22では、さらに自動焦点プログラミング261は、反射位置決めシステム230および画像ベース自動焦点システム240などのシステムの特定の部品を制御することによって、自動顕微鏡使用システムの焦点を決定する方法をコントローラに実行させるように構成される。標本はステージ207に載せられ、制御ユニット260は図22の方法によりシステム200を自動的に作動させる。
(370、371)較正値は式(4)および(5)により初期化される。好ましくは、だが必須ではなく、生(未処理)焦点値は、「スルーフォーカスZ群」、言い換えると、光軸に沿って延在し予め選択された焦点位置を含む一連の焦点面からの拡大された一連の画像から取得される。焦点位置は例えばユーザの目によって選択することができる。予め選択された焦点位置に対する代表的なスルーフォーカスZ群は−925、−800、−675、−550、−475、−400、−325、−275、−250、−225、−200、−192、−184、...(8のステップ)...、184、192、200、225、250、275、325、400、475、550、675、800、925である。これらのステップが25nm/ユニットの顕微鏡Z位置ユニットで表されるとき、総スルーフォーカスZ群は46μm以下である。これらの位置は単に例示であり、5μm組織部位に関して選択したものである。広範囲は正確なベースラインの推定を提供し、各焦点関数の幅に基づき8ユニット=0.2μmの最小ステップを選択した。より狭い範囲とより少ないステップをウェル−プレートに対して採用することもできる。蛍光モード例では、スルーフォーカスZ群が収集され、各色チャネルおよび各軸の焦点指標が算出される。よって、例えば、2つの自動焦点用CCDカメラ、3色、2非点収差軸の場合、群に関して12の焦点関数が算出される。焦点関数は式(6)による較正のために使用される生焦点関数である。
(372)反射位置決めが有効になり、粗焦点が取得される。色収差および非点収差を使用する画像ベース自動焦点はこの位置を補正する。次の反射位置決めの始動時(例えば、新たな標本がステージに置かれるとき、あるいはステージが新たなX−Y視野に移動されるとき)、反射位置決めシステムを安定させるのに一定の時間が必要となる場合がある。
(373)操作モード動作を想定し、ステージが新たなX−Y視野に移動する。
(374)新たな視野で、暗視野照明はストロボであり、単独の像が各自動焦点カメラ245aおよび245bで取得される。
(375)各カメラからの各色に関して、両非点収差軸の焦点指標を算出する。図18の例にしたがうと、2つの自動焦点用CCDカメラ、3色、2非点収差軸の場合、群に対して12の焦点関数が算出される。焦点関数は式(6)による較正のために使用される生焦点関数である。
(376)370、371で得られた較正情報を用いて焦点指標を較正する。例えば、式(6)を用いて、較正された各焦点指標に関して、その値に応じてシフトおよび倍率変更の生(未較正)値を較正開始スルーフォーカスZシリーズ中に記録した。これはf=(f_raw−shift)/scaleとなり、ここでのshiftとscaleは、各波長、カメラ、軸にとって固有である。
(377)画像内容に関して像の観察された視野をチェックする。これに関して、どの焦点指標も焦点指標の閾値より大きくない場合(例えば、0.1、較正視野と比較して焦点スペクトル帯域における像情報の10%未満)、視野は低コンテンツ(low content、少ない内容)を含むとみなされ、380で、焦点はデフォルトで反射位置決め(粗)焦点位置となり、反射位置決めシステムは無効にされる。蛍光像が粗焦点位置から所定のオフセット(ズレ量)で取得され、反射位置決めシステムが再度有効にされ(372)、ステージが次の視野位置に移動させられる(373)。少なくとも1つの焦点指標が0.1より大きい場合、新たな最適焦点が算出され、ステージが光軸に沿って最適焦点位置まで移動し(378)、粗関数値は、該方法が380、381等を通過する間、最適焦点値に更新される。なお、焦点指標の閾値を0.1とすることは任意であり、試行錯誤またはその他の方法によってその他の値を決定することもできる。
粗焦点とは無関係に動作する別の外部高精度焦点(EFF)223を使用し、ステップ380(粗焦点は不能になる)は省略され、高精度焦点がEFFシステム223によって実行され、EFFが各蛍光チャネル(色)に関して調節される。視野が低コンテンツを含むとみなされる場合、EFFは高精度焦点のために使用されず、単に各種蛍光チャネル間の予め較正された合焦差を調節する。
産業上の用途
図23および図24を参照すると、多関数型自動焦点素子を自動顕微鏡使用システムに組み込むオープンフレーム設計により、スルー・ザ・レンズ(TTL)反射位置感知などの追加や、位相コントラストおよび微分干渉コントラストなどのその他の顕微鏡様式の組込み用の光路に対する直接的かつ簡易なアクセスを提供することができる。この設計は3倍対物レンズを有する。第1に、光学的損失と光学的散乱を低減するために光学部品の数を制限することが望ましい。第2に、光路の様々な位置へのアクセスを向上させ、機器に機能を容易に追加できることが望ましい。最後に、光学機械システムとのマイクロタイタープレートの並進を容易に組み込めるように不要なマウントおよびアセンブリ(例えば、接眼鏡)を排除することが望ましい。
図23は、光学機械の一体化が低熱膨張カーボンファイバシャフトを有する6013アルミニウムマウントに基づくオープンフレーム顕微鏡を示す。照明ポートは右上側にある。自動焦点用のスクレ−パミラー出力ポートは右下に示される。
図24はオープンフレーム顕微鏡の上面図と前面図であり、主要光学および機械部品が標示されている。
オープンフレーム顕微鏡は広い範囲の市販のまたは特注の自動顕微鏡使用システムと共に使用されることを目的とする。例示のため、市販のNikon(登録商標)CFI60光学システム(「顕微鏡システム」)に関して設計されるオープンフレーム顕微鏡を説明しているが、これは記載され例示される通りに原理を適用することに制限するものではない。顕微鏡システムでは、対物レンズは筒レンズと接続されることによって、回折限界性能を取得しつつ収差を最小限に抑える一般的な光学設計を確立する。すべての対物レンズは同一焦点面を有し、前焦点面は対物レンズの後肩部から60mmに位置する。対物レンズと筒レンズ間には「無限大の」補正空間がある。これにより、部品、特にダイクロイックミラーや干渉フィルタなどの角度に影響を受けやすい部品をその空間に置くことができる。対物レンズと筒レンズ間の距離が200mm未満であれば、筒レンズの開口によって生じるケラレは無視できる程度である。筒レンズ(Nikon(登録商標)MXA22018)は後主面から200mm変位した像を生成する。矩形開口がこの面に形成されて、対象視野を画定し迷光を低減する。
筒レンズによって生成された像はSchneider(登録商標)Macro Varon(商標)MVR4.5/85リレーレンズ(85mmの焦点距離、f/4.5)を用いて3色TDI(時間遅延積分)カメラアレイと自動焦点システムに中継される。TDIカメラは例えば米国特許第6,839,469号に記載されるように連続走査で使用される。増分走査の場合、TDIカメラは3色2D科学グレードカメラに置き換えられる。当初はMVR4.5/85が超高解像度産業ラインの走査用とのために設計された。実際には、その性能は顕微鏡検査に適する。測定された多色変調伝達関数は、それがリレーレンズとして適切に機能することを示す。我々は、−1.5倍の倍率(β)で4つの異なる視野位置(0.0mm、17.2mm、25.2mm、31.0mm)でMVR4.5/85の多色MTF(変調伝達関数)をモデル化した。略回折限界性能が取得され、変調率はmm当たり100サイクルの空間周波数に関して0.25よりも優れている。変調率はいくつかの異なる空間周波数(mmにつき10、20、30、40、50、60サイクル)に関する横方向視野位置の関数としてモデル化し、同様に優れた略回折限界結果が取得された。LDLS(レーザダイオード光源)からの蛍光励起光は図23に示されるようにオープンフレームシステムに搭載されるリレー光学素子を介して送られる。
好ましくは、対物レンズは、20倍、開口数0.75のレンズ、Nikon(登録商標)CFI Plan Apochromat VCである。Nikon(登録商標)Ti−E倒立顕微鏡を使用する試験では、我々は極めて低い色収差の回折限界性能(図7および図9を参照)を得る。標準的なNikon(登録商標)フィルタキューブを対物レンズと筒レンズ間で使用することができる。標準的なキューブを使用することによって、異なる検定要件にとって様々な励起と放射のより経済的な選択が可能になる。
オープンフレーム顕微鏡の機械的構造
図23および図24によると、オープンフレーム(open frame)は従来の顕微鏡ベース(Nikon(登録商標)Ti−Eなど)の代替となる。好ましくは、だが必須ではなく、設計は4ロッドLINOS(登録商標)Microbench光学機械構成を利用する。オープンフレーム顕微鏡は、316のステンレス鋼シャフト(プロトタイピング用)または低熱膨張カーボンファイバシャフト(製造用)のいずれかに装着される6013のアルミニウムマウントから成る。この設計では、追加のフィルタキューブやレーザ切断用の走査ポートなどの追加の部品をより容易に挿入することができる。我々は、このシステムに基づくアセンブリが機械的にも熱的にも極めて安定していると分かった。また、我々のHTS機器は振動絶縁と熱制御に関して制御された環境で使用されるため、熱ドリフトまたはその他の不安定性は無視できる程度である。
マイクロタイタープレートは、電動ステージまたはマイクロリットルプレートロボットを用いて対物レンズ全体で走査される。環境汚染用の外部ケースのフレームワークは、押出成形された6105−T5アルミニウムフレーム(80/20 Inc.Tスロットフレーム)を用いて作製される。機械および光学機械システムの残留熱ドリフトは色収差画像ベース自動焦点によって補償される。
オープンフレーム設計は、標本走査のために、Nikon Ti−E倒立顕微鏡などの顕微鏡で通常使用される従来の電動ステージに加えていくつかのオプションを有する。例えば、2つのロボット選択肢がAerotech(登録商標)ガントリロボットと、ウェル長連続走査用の音声コイルアクチュエータを有するDenso(登録商標)SCARAロボットである。SCARAロボットはウェルからウェルに移動することができ、フィードバック制御された音声コイルは各ウェル全体にわたって正確な速度走査を提供する。高精度焦点は3つの機能:プレートローダ、プレートスキャナ、対物レンズセレクタを果たす。軸方向標本位置決め(焦点)の場合、圧電マイクロタイタープレート軸ポジショナを選択されたプレート移動ロボットに組み込むことができる。対物レンズとフィルタキューブは高精度玉軸受けと高精度ロッドの組み合わせを用いて運動学的に配置し、高強度NdFeB磁石で固定することができる。これに関して、図25は、載せプレートと結合するアダプタ(反転して図示される)から成る運動フィルタキューブマウントの詳細図である。キューブはアダプタ内に摺動する。励起は、TDIカメラによって撮像されるよりもわずかに大きな領域を照らすことによって励起出力密度を高めるように空間的に成形される。自動焦点とTDIカメラについて以下説明する。
図26によると蛍光撮像カメラと共に細部なしで示される収差自動焦点(AAF)ユニット(図19Aおよび図19Bの240から成る)は、Nikon Ti−Eなどの顕微鏡またはその他の光学システムのサイドポート(またはその他の任意のカメラポート)へのアダプタとして設け、多関数型自動焦点用のTTL(スルー・ザ・レンズ)またはBTL(ビサイド・ザ・レンズ)反射位置決めと併せて使用することができる。図示されるように、自動焦点モジュールは任意の顕微鏡に追加可能な独立型部品とすることができる。併用部品はストロボ反射暗視野または透過光源を含むことができる。暗視野撮像効果用の高角度反射照明は、図10〜図11のデータ撮像に利用される「傾斜照明」(オーバー・ザ・レンズ)構造または図19Aおよび図19Bに示すスルー・ザ・レンズ暗視野光学素子を用いて形成することができる。我々は、スルー・ザ・レンズ反射暗視野の方が傾斜オーバー・ザ・レンズ暗視野よりも通常すぐれた像を生成することを発見したが、どちらも自動焦点用に利用することができる。
本明細書による自動顕微鏡使用システム(microscopy system)の多関数型自動焦点素子のための位置感知システムは、TTL構造(例えば、Nikon(登録商標)完全焦点反射位置決めシステムを参照)として設けることができる、あるいは図27に示すようなBTL構造をとることができる。BTL構造は、撮像方向の前方の表面をプロファイルするという利点を備える。図27によると、LK−G15Keyence変位センサ位置の位置は、倒立顕微鏡の対物レンズの隣のステージの下である。装着ブラケットは、センサを対物レンズのできる限り近くに配置するために外側(右)にある。
さらに多数のサンプルをスクリーニングすべき場合、走査速度を高めることが重要である。増分ステージ動作の場合、走査速度は以下を含む走査プロセスで実証されるようにステップを並行して実行することによって高めることができる。
1.像取得カメラの最適焦点に反射感知位置(TTLまたはBTL)を較正する。
2.手動でまたはロボットで第1のサンプルを顕微鏡に置く。
3.走査領域を画定する、あるいは走査用ファイルからロードする。
4.上述し、式(4)〜(6)で定義されるように多面画像ベース自動焦点システムを較正する。
5.走査領域を画定する、あるいは走査用ファイルからロードする。
6.以下を含む自動走査を開始する(あるいは継続する)。
a.次の視野へのステージ移動を開始する(移動しつつ反射位置感知を介して表面をBTLプロファイルし、プロファイルを記録する)。
b.粗焦点:視野(TTL)へ移動しつつ、反射位置感知装置(BTL)または閉ループRPによって記録される位置までZ位置(焦点)を移動させ、焦点を調整する。
c.視野で停止し、自動焦点用の一連の画像を取得する。
d.式(2)および(3)を用いて最適焦点を算出する。
e.最適焦点(高精度焦点)へ移動する。
f.焦点画像を取得する。
i.像をハードドライブに保存する。
ii.次の視野の反射位置決めオフセット位置を更新して、基板および標本の変動厚を補償する。
g.走査が完了していない場合、
i.5を繰り返す。
h.操作が完了している場合、
i.別の標本がない場合、走査プログラムを出る。
ii.さもなければ、標本を取り出し次の標本を装填するようにロボットに信号を送り、第1の視野への移動を開始し、5に移る。
7.走査後または画像の取得および保存と並行して像分析を実行する。
代替的には、BTLまたはTTL反射位置決めで先行画像ベース自動焦点システムを使用することができる。図19のスクレ−パミラー光学構造を用いて、スクレ−パミラーは、自動焦点カメラが蛍光撮像システムカメラの前方に隣接する視野を取得するように配置される。走査プロセスは以下を含む。
1.反射感知位置を像取得カメラの最適焦点に較正する。
2.第1のサンプルを手動またはロボットでステージに置く。
3.走査領域を画定する、あるいは走査用ファイルからロードする。
4.上述し式(4)〜(6)に定義されるように画像ベース自動焦点システムを較正する。
5.以下を含む自動走査を実行する(あるいは継続する)。
a.次の視野が前の視野に隣接しない場合(例えば、標本の第1の視野、走査列の開始、新たなウェルの開始に当てはまる)。
i.視野の直前の水平位置へのステージ移動を開始し(自動焦点カメラが視野の中心に来る位置)、移動しつつ反射位置感知を介して表面をプロファイルし、プロファイルを記録する。
ii.第1の視野へ移動しつつ(前方を見る)反射位置感知装置から処理された位置へ軸方向位置(焦点)を移動させる。
iii.5.a.iおよび5.a.iiの水平方向および軸方向移動を完了させる。
iv.ストロボ照射して自動焦点カメラで一連の画像を生成し、以下を並行に実行する。
1.撮像視野への水平ステージ移動を開始する。
2.一連の画像を自動焦点カメラからコントローラへダウンロードする。
a.式(2)および(3)により最適焦点を算出する。
b.最終の最適な焦点位置への軸方向移動を開始する。
3.水平方向および軸方向移動を完了させる。
4.自動焦点カメラに一連の画像を生成させるためにストロボ照射する。
v.焦点画像の取得を開始する。
1.一連の画像を自動焦点カメラからダウンロードする。
a.式(2)および(3)により最適焦点を算出する。
b.最適焦点位置を記憶する。
vi.焦点画像の取得を完了する。
1.像をハードドライブに保存する。
2.次の視野の反射位置決めオフセット位置を更新して、標本ホルダおよび標本の厚さの変動を補償する。
b.次の視野が現行の視野に隣接する場合、
i.次の視野へのステージ移動を開始する。
ii.最適な焦点位置への軸方向移動を開始する。
iii.水平方向ステージおよび軸方向焦点の移動を完了させる。
iv.ストロボ照射して自動焦点カメラに隣接した視野の一連の画像を生成する。
v.焦点画像の取得を開始する。
vi.自動焦点カメラから一連の画像をダウンロードする。
1.式(2)および(3)を用いて最適焦点を算出する。
2.最適焦点位置を記憶する。
vii.焦点画像の取得を完了する。
1.画像をハードドライブに保存する。
2.次の視野の反射位置決めオフセット位置を更新して、基板および標本の厚さの変動を補償する。
c.走査が完了していない場合、
i.5を繰り返す。
d.操作が完了している場合、
i.別の標本がない場合、走査プログラムを出る。
ii.さもなければ、標本を取り出し、次の標本を装填するようにロボットに信号を送る。
a.5を繰り返す。
6.走査後または画像の取得および保存と並行して像分析を実行する
自動顕微鏡検査用の自動焦点システムおよび方法を好適な実施形態、構成、手順を参照して説明したが、提示される原理の精神から逸脱せずに様々な変更が可能であると理解すべきである。したがって、それらの原理から与えられる特許保護の範囲は以下の特許請求の範囲によってのみ限定される。

Claims (26)

  1. 画像ベース自動焦点システムを用いて、拡大された画像における複数の焦点面の画像特徴を同時に測定する自動顕微鏡使用システムであって、前記画像ベース自動焦点システムが前記拡大された画像を形成する光を伝達する少なくとも一つの光路を備えており、前記光路が、前記少なくとも一つの光路内の光に非点収差を導入する非点収差光学手段を備えている自動顕微鏡使用システム。
  2. 前記非点収差光学手段が円柱レンズを備えている請求項1に記載の自動顕微鏡使用システム。
  3. 前記非点収差光学手段が二つの半円柱レンズを備えている請求項1に記載の自動顕微鏡使用システム。
  4. 前記画像ベース自動焦点システムが、前記画像特徴に基づいて最適焦点を算出する手段をさらに備えている請求項1に記載の自動顕微鏡使用システム。
  5. 前記光路が光に色収差を導入して、異なる色の光を異なる焦点面で合焦させる請求項1に記載の自動顕微鏡使用システム。
  6. 前記非点収差光学手段が、円柱レンズである請求項5に記載の自動顕微鏡使用システム。
  7. 前記非点収差光学手段が、二つの半円柱レンズを備えている請求項5に記載の自動顕微鏡使用システム。
  8. 前記画像ベース自動焦点システムが拡大された一連の画像を同時に取得し、それぞれの拡大された画像が前記複数の焦点面の各焦点面から取得され、コントローラがそれぞれの拡大された画像の画像特徴を算出し、前記画像特徴から最適焦点を判定する請求項1に記載の自動顕微鏡使用システム。
  9. 前記画像ベース自動焦点システムが拡大された一連の画像を同時に取得し、それぞれの拡大された画像が前記複数の焦点面の各焦点面から取得され、コントローラが自動焦点の焦点指標を算出する請求項1に記載の自動顕微鏡使用システム。
  10. 前記画像ベース自動焦点システムが拡大された一連の画像を同時に取得し、それぞれの拡大された画像が特定の色の光を有し、各色の光が色収差により異なる焦点面で合焦する像を提供し、コントローラが各像に対して二つ以上の焦点面から画像特徴を算出する請求項1に記載の自動顕微鏡使用システム。
  11. 前記光路がカメラを有する各自の多面光学サブシステムに光を送り、前記カメラが異なる焦点面に位置決めされ、ビームスプリッタが前記多面光学サブシステム間に光を分配する請求項1に記載の自動顕微鏡使用システム。
  12. 各カメラが前記複数の焦点面に関して一連の画像特徴を生成し、コントローラが前記画像特徴を使用して前記複数の焦点面のそれぞれの焦点指標を算出する請求項11に記載の自動顕微鏡使用システム。
  13. 前記複数の焦点面が光軸に沿って分布しており、前記画像ベース自動焦点システムが前記複数の焦点面で複数の拡大された画像を同時に取得する請求項1に記載の自動顕微鏡使用システム。
  14. 対象面からの所定距離に対応する粗焦点を推定する手段と、前記複数の焦点面の各焦点面に対応する高精度焦点位置を推定する手段と、前記2つの推定を組み合わせて最適焦点位置を提供し、前記最適焦点位置へ焦点を調節するプログラム可能なコントローラと、を備えている請求項1に記載の自動顕微鏡使用システム。
  15. 標本を走査する手段と、複数の走査位置の各走査位置の前記標本に関して前記最適焦点位置を更新する多関数型自動焦点手段と、を備えている請求項14に記載の自動顕微鏡使用システム。
  16. 前記標本の測定を行う手段を備えている請求項15に記載の自動顕微鏡使用システム。
  17. 対物レンズと、ステージと、前記対物レンズおよび前記ステージを通過する光軸とを含む自動顕微鏡使用システムを合焦させる方法であって、
    反射位置決めシステムで粗焦点値を取得するステップと、
    前記粗焦点値に対応する粗焦点を取得するステップと、
    画像ベース自動焦点システムで高精度焦点値を取得するステップと、
    前記粗焦点値を前記高精度焦点値で更新するステップと、
    前記対物レンズと前記ステージ間の相対移動を生じさせて前記更新された粗焦点値に対応する高精度焦点を取得するステップと、を備えている方法。
  18. 画像ベース自動焦点システムで高精度焦点値を取得するステップが、標本からの光を前記画像ベース自動焦点システムに方向付けるステップと、光が前記画像ベース自動焦点システムに伝送されるときに光に非点収差を導入するステップと、光から前記標本の焦点面の画像群を同時に生成するステップと、前記群から最適焦点値を取得するステップと、を含んでおり、前記最適焦点値が前記高精度焦点値である請求項17に記載の方法。
  19. 光から前記標本の焦点面の画像群を同時に生成するステップが、光に前記非点収差と共に色収差を導入するステップを含む請求項18に記載の方法。
  20. 標本からの光を前記画像ベース自動焦点システムに方向付けるステップが、傾斜または暗視野反射照明を前記対物レンズを通じて前記標本に方向付けるステップと、前記標本によって散乱される傾斜または暗視野照明を前記対物レンズを通じて前記画像ベース自動焦点システムに方向付けるステップと、を含む請求項18に記載の方法。
  21. 光から前記標本の焦点面の画像群を同時に生成するステップが、前記標本によって散乱される前記暗視野照明に色収差を導入することを含む請求項20に記載の方法。
  22. 反射位置決めシステムで粗焦点値を取得するステップが、前記対物レンズと前記対物レンズの隣のセンサのうち一方を通じて反射画像を感知するステップを含む請求項21に記載の方法。
  23. 対物レンズと、ステージと、前記対物レンズおよび前記ステージを通過する光軸とを備えた自動顕微鏡使用システムを作動させる方法であって、
    前記自動顕微鏡使用システムが、
    対象面から反射される像に応答して粗焦点位置を取得するステップと、
    次に、非点収差を光学システムに導入する手段によって、画像内で同時に光軸に沿って延在する焦点面の群の一焦点面に関連付けられる最適焦点値により前記粗焦点位置を調節するステップと、
    前記対物レンズ、前記ステージ、外部高精度焦点機構のうち一つを前記最適焦点値に対応する焦点位置に位置決めするステップと、
    を実行する方法。
  24. 前記自動顕微鏡使用システムが前記ステージのX−Y走査を実行する間に実行される請求項23に記載の方法。
  25. 前記X−Y走査が増分走査と連続走査のうちの一方である請求項24の方法。
  26. 各像が前記焦点面の群の各焦点面から取得され、
    前記自動顕微鏡使用システムが
    各像の焦点指標を取得するステップと、
    各焦点指標を較正するステップと、
    較正された焦点指標毎に画像内容の存在を判定するステップと、
    十分な画像内容が少なくとも一つの焦点指標に関して存在する場合に前記最適焦点を算出するステップと、
    を実行する請求項25に記載の方法。
JP2014538923A 2011-10-25 2012-10-24 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法 Expired - Fee Related JP6158197B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/317,727 2011-10-25
US13/317,727 US10001622B2 (en) 2011-10-25 2011-10-25 Multifunction autofocus system and method for automated microscopy
PCT/US2012/061667 WO2013063096A1 (en) 2011-10-25 2012-10-24 Multifunction autofocus system and method for automated microscopy

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017111715A Division JP2017182086A (ja) 2011-10-25 2017-06-06 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法

Publications (2)

Publication Number Publication Date
JP2015502566A true JP2015502566A (ja) 2015-01-22
JP6158197B2 JP6158197B2 (ja) 2017-07-05

Family

ID=48135645

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014538923A Expired - Fee Related JP6158197B2 (ja) 2011-10-25 2012-10-24 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法
JP2017111715A Pending JP2017182086A (ja) 2011-10-25 2017-06-06 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017111715A Pending JP2017182086A (ja) 2011-10-25 2017-06-06 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法

Country Status (4)

Country Link
US (2) US10001622B2 (ja)
EP (1) EP2771882A4 (ja)
JP (2) JP6158197B2 (ja)
WO (1) WO2013063096A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016515718A (ja) * 2013-03-22 2016-05-30 ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー 点状物体の局在化のための光学顕微鏡法
WO2017090211A1 (ja) * 2015-11-27 2017-06-01 株式会社ニコン 顕微鏡装置
JP2018512609A (ja) * 2015-02-18 2018-05-17 アボット ラボラトリーズ 顕微鏡を基体上に自動的に合焦するための方法、システム、及び装置

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008029661A1 (de) * 2008-06-24 2009-12-31 Khs Ag Redundante Inspektion
JP5220172B2 (ja) * 2011-08-22 2013-06-26 キヤノン株式会社 画像取得装置、画像取得システム、および対物光学系
US10001622B2 (en) 2011-10-25 2018-06-19 Sanford Burnham Medical Research Institute Multifunction autofocus system and method for automated microscopy
TWI434022B (zh) * 2011-11-29 2014-04-11 Univ Nat Taipei Technology 彩色共焦顯微系統及其訊號處理方法
EP3466335A1 (en) * 2011-12-21 2019-04-10 Catherine M. Shachaf Fluorescence imaging autofocus method
JP2014056078A (ja) * 2012-09-12 2014-03-27 Canon Inc 画像取得装置、画像取得システム及び顕微鏡装置
CN103679687A (zh) * 2012-09-18 2014-03-26 杭州海康威视数字技术股份有限公司 一种智能跟踪高速球机的目标跟踪的方法
US9547160B2 (en) 2013-01-05 2017-01-17 Light Labs Inc. Methods and apparatus for capturing and/or processing images
AU2014292179B2 (en) * 2013-07-18 2017-12-07 Ventana Medical Systems, Inc. Auto-focus methods and systems for multi-spectral imaging
US9557519B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US9578252B2 (en) 2013-10-18 2017-02-21 Light Labs Inc. Methods and apparatus for capturing images using optical chains and/or for using captured images
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9426365B2 (en) 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
JP6317572B2 (ja) * 2013-11-26 2018-04-25 株式会社ミツトヨ 寸法測定装置、寸法測定方法及び校正用チャート
US9658444B2 (en) * 2013-12-18 2017-05-23 National Security Technologies, Llc Autofocus system and autofocus method for focusing on a surface
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US9462170B2 (en) * 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
JP6305175B2 (ja) * 2014-04-10 2018-04-04 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム
US9214011B2 (en) * 2014-05-05 2015-12-15 Sony Corporation Camera defocus direction estimation
US10473906B2 (en) * 2014-05-30 2019-11-12 Nikon Corporation Microscope
US9439568B2 (en) * 2014-07-03 2016-09-13 Align Technology, Inc. Apparatus and method for measuring surface topography optically
US10191356B2 (en) 2014-07-04 2019-01-29 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
WO2016022359A1 (en) * 2014-08-06 2016-02-11 Cellomics, Inc. Image-based laser autofocus system
EP3186778B1 (en) * 2014-08-27 2023-01-11 S.D. Sight Diagnostics Ltd. System and method for calculating focus variation for a digital microscope
WO2016050767A1 (en) 2014-09-29 2016-04-07 Biosurfit S.A. Focusing method
US10139608B2 (en) 2014-10-02 2018-11-27 The Regents Of The University Of California Selective plane illumination microscopy (SPIM) systems and methods
WO2016061565A1 (en) 2014-10-17 2016-04-21 The Lightco Inc. Methods and apparatus for using a camera device to support multiple modes of operation
EP3235243A4 (en) 2014-12-17 2018-06-20 Light Labs Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US9930233B2 (en) 2015-04-22 2018-03-27 Light Labs Inc. Filter mounting methods and apparatus and related camera apparatus
WO2016168941A1 (en) 2015-04-23 2016-10-27 The University Of British Columbia Multifocal method and apparatus for stabilization of optical systems
US10061972B2 (en) 2015-05-28 2018-08-28 Tokitae Llc Image analysis systems and related methods
US9836839B2 (en) 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US9816804B2 (en) * 2015-07-08 2017-11-14 Google Inc. Multi functional camera with multiple reflection beam splitter
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
TWI583919B (zh) * 2015-12-03 2017-05-21 財團法人金屬工業研究發展中心 非接觸式三維掃描系統及其方法
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
JP2017131559A (ja) * 2016-01-29 2017-08-03 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置、医療用画像取得システム及び内視鏡装置
KR101850363B1 (ko) * 2016-02-16 2018-04-20 주식회사 이오테크닉스 촬영장치 및 촬영방법
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
US10122975B2 (en) * 2016-05-19 2018-11-06 Panasonic Intellectual Property Management Co., Ltd. Endoscope and endoscope system
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
US10908072B2 (en) 2016-12-15 2021-02-02 The Board Of Regents Of The University Of Texas System Total internal reflection and transmission illumination fluorescence microscopy imaging system with improved background suppression
US10477097B2 (en) * 2017-01-03 2019-11-12 University Of Connecticut Single-frame autofocusing using multi-LED illumination
EP3396430B1 (en) * 2017-04-27 2023-08-16 Euroimmun Medizinische Labordiagnostika AG Optical scanning arrangement and method
GB201710294D0 (en) * 2017-06-28 2017-08-09 Infinitesima Ltd Scanning probe microscope
EP3441812B1 (en) 2017-08-11 2020-07-01 Tecan Trading Ag Pattern based autofocus method for a microscopy
DE102017214189A1 (de) * 2017-08-15 2019-02-21 Carl Zeiss Microscopy Gmbh Verfahren zum Betrieb einer Mikroskopieranordnung und Mikroskopieranordnung mit einem ersten Mikroskop und mindestens einem weiteren Mikroskop
CN107367829B (zh) * 2017-08-16 2023-10-31 桂林优利特医疗电子有限公司 单镜头分光变倍显微镜系统
US20200355900A1 (en) * 2017-10-30 2020-11-12 Wdi Wise Device Inc. Method and apparatus for autofocussing an optical microscope and dynamic focus tracking
GB201721430D0 (en) * 2017-12-20 2018-01-31 Q-Linea Ab Method and device for microscopy-based imaging of samples
EP3759540A4 (en) * 2018-02-26 2022-03-16 Caliber Imaging & Diagnostics, Inc. EX-VIVO MACROSCOPIC AND MICROSCOPIC TISSUE IMAGING SYSTEM AND METHOD
US11268829B2 (en) 2018-04-23 2022-03-08 Corephotonics Ltd Optical-path folding-element with an extended two degree of freedom rotation range
EP3614192A1 (en) 2018-08-20 2020-02-26 Till GmbH Microscope device
DK3709258T3 (da) * 2019-03-12 2023-07-10 L & T Tech Services Limited Generering af sammensat billede ud fra talrige billeder taget for objekt
US20220203361A1 (en) * 2019-04-26 2022-06-30 The Johns Hopkins University Methods and materials for treating cancer
US10694113B1 (en) * 2019-05-01 2020-06-23 Xiris Automation Inc. Dark field illumination for laser beam delivery system
CN110764244B (zh) * 2019-11-05 2022-03-18 安图实验仪器(郑州)有限公司 显微镜压片镜检自动对焦方法
US10880468B1 (en) * 2019-12-19 2020-12-29 Mitutoyo Corporation Metrology system with transparent workpiece surface mode
WO2021138633A1 (en) * 2019-12-31 2021-07-08 Illumina, Inc. Autofocus functionality in optical sample analysis
US11060138B1 (en) 2020-01-17 2021-07-13 Element Biosciences, Inc. Nucleic acid sequencing systems
EP3961280A1 (en) * 2020-08-27 2022-03-02 Leica Instruments (Singapore) Pte. Ltd. An autofocus system, an optical system, a method for an autofocus system and a computer program
CN112233040B (zh) * 2020-10-29 2024-02-20 南京理工大学智能计算成像研究院有限公司 一种自动离焦校正的傅里叶叠层显微成像方法
CN112697789B (zh) * 2020-12-09 2023-01-13 山东志盈医学科技有限公司 数字切片扫描仪的图像聚焦方法及装置
JP2022106529A (ja) * 2021-01-07 2022-07-20 株式会社Screenホールディングス 合焦位置検出方法、合焦位置検出装置および合焦位置検出用プログラム
KR102638173B1 (ko) * 2021-06-08 2024-02-19 코어포토닉스 리미티드 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라
CN117321466A (zh) * 2021-06-08 2023-12-29 核心光电有限公司 用于使超微距图像的焦平面倾斜的系统和相机
WO2023049504A1 (en) * 2021-09-27 2023-03-30 Thrive Bioscience, Inc Method and apparatus for calibrating an imaging system
CN113766139B (zh) * 2021-09-29 2023-07-18 广东朝歌智慧互联科技有限公司 一种调焦的装置和方法
SE2250140A1 (en) * 2022-02-11 2023-08-12 Cellink Bioprinting Ab Imaging apparatus and method for determning a focal point of a well-plate
WO2024006245A1 (en) * 2022-07-01 2024-01-04 Owl biomedical, Inc. Illumination and imaging system in tdi-based continuous line scanning microscopy
CN115190247B (zh) * 2022-09-07 2022-12-13 国仪量子(合肥)技术有限公司 消像散方法、消像散装置、电子设备和存储介质
CN117705775B (zh) * 2024-02-05 2024-04-26 中国科学院长春光学精密机械与物理研究所 多色荧光显微成像系统、成像方法、自动聚焦方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09281384A (ja) * 1996-04-17 1997-10-31 Citizen Watch Co Ltd オートフォーカス制御装置
WO2009085218A1 (en) * 2007-12-21 2009-07-09 President And Fellows Of Harvard College Sub-diffraction limit image resolution in three dimensions
JP2011501209A (ja) * 2007-10-11 2011-01-06 スリーエム イノベイティブ プロパティズ カンパニー 色共焦点センサ

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4025949A (en) * 1975-12-31 1977-05-24 Zenith Radio Corporation Symmetrical astigmatic focus sensing system
JPS56147350A (en) * 1980-04-16 1981-11-16 Nichidenshi Tekunikusu:Kk Correction method and performing device of astigmatism
JPS57158820A (en) * 1981-03-27 1982-09-30 Olympus Optical Co Ltd Method for focusing detection
JP2735220B2 (ja) * 1987-12-02 1998-04-02 株式会社日立製作所 非点収差を有する光束を用いた焦点ずれ検出方法及び光ディスク装置
US5161052A (en) 1991-03-29 1992-11-03 Tandem Scanning Corporation Steroscopic tandem scanning reflected light confocal microscope
US5790710A (en) 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
US5548661A (en) 1991-07-12 1996-08-20 Price; Jeffrey H. Operator independent image cytometer
JPH07177527A (ja) 1993-12-16 1995-07-14 Sony Corp 多板式電子カメラのオートフォーカス調整装置
US5790692A (en) 1994-09-07 1998-08-04 Jeffrey H. Price Method and means of least squares designed filters for image segmentation in scanning cytometry
KR0156800B1 (ko) * 1995-02-10 1998-12-15 이대원 레이저 다이오드를 이용한 자동 초점 조절 장치
JPH08289191A (ja) 1995-04-17 1996-11-01 Sony Corp 撮像装置
US6215892B1 (en) * 1995-11-30 2001-04-10 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US6718053B1 (en) * 1996-11-27 2004-04-06 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
DE19612846C2 (de) 1996-03-30 2000-04-20 Zeiss Carl Jena Gmbh Anordnung zur Erzeugung eines definierten Farblängsfehlers in einem konfokalen mikroskopischen Strahlengang
JP3673049B2 (ja) 1997-02-04 2005-07-20 オリンパス株式会社 共焦点顕微鏡
US5995143A (en) 1997-02-07 1999-11-30 Q3Dm, Llc Analog circuit for an autofocus microscope system
DE19713362A1 (de) 1997-03-29 1998-10-01 Zeiss Carl Jena Gmbh Konfokale mikroskopische Anordnung
JPH1152255A (ja) 1997-07-30 1999-02-26 Olympus Optical Co Ltd 拡大観察装置
JP2000009591A (ja) 1998-06-25 2000-01-14 Omron Corp 検査装置
US6640014B1 (en) 1999-01-22 2003-10-28 Jeffrey H. Price Automatic on-the-fly focusing for continuous image acquisition in high-resolution microscopy
JP4069545B2 (ja) * 1999-05-19 2008-04-02 株式会社日立製作所 電子顕微方法及びそれを用いた電子顕微鏡並び生体試料検査方法及び生体検査装置
US6734962B2 (en) 2000-10-13 2004-05-11 Chemimage Corporation Near infrared chemical imaging microscope
US6839469B2 (en) 2000-01-21 2005-01-04 Lam K. Nguyen Multiparallel three dimensional optical microscopy system
JP2001272708A (ja) 2000-03-28 2001-10-05 Fuji Photo Optical Co Ltd 可視/赤外両用撮像装置
US6547397B1 (en) * 2000-04-19 2003-04-15 Laser Projection Technologies, Inc. Apparatus and method for projecting a 3D image
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7518652B2 (en) * 2000-05-03 2009-04-14 Aperio Technologies, Inc. Method and apparatus for pre-focus in a linear array based slide scanner
JP3297423B2 (ja) * 2000-08-09 2002-07-02 株式会社東芝 フォーカステストマスク、並びにそれを用いたフォーカス及び収差の測定方法
US6875973B2 (en) * 2000-08-25 2005-04-05 Amnis Corporation Auto focus for a flow imaging system
US20030085334A1 (en) 2000-11-15 2003-05-08 Yakov Reznichenko Focusing system and method for use in imaging systems
US7151246B2 (en) * 2001-07-06 2006-12-19 Palantyr Research, Llc Imaging system and methodology
US7756305B2 (en) 2002-01-23 2010-07-13 The Regents Of The University Of California Fast 3D cytometry for information in tissue engineering
US6760154B1 (en) 2002-06-04 2004-07-06 Biotechs, Inc. Microscope system with continuous autofocus
JP4370554B2 (ja) 2002-06-14 2009-11-25 株式会社ニコン オートフォーカス装置およびオートフォーカス付き顕微鏡
GB0304568D0 (en) * 2003-02-27 2003-04-02 Isis Innovation Microscopic imaging device
JP4384446B2 (ja) * 2003-06-03 2009-12-16 オリンパス株式会社 オートフォーカス方法及びその装置
JP2005202092A (ja) 2004-01-15 2005-07-28 Hitachi Kokusai Electric Inc 合焦点検出方法及びそれを用いた光学顕微鏡
US7262419B2 (en) 2004-05-05 2007-08-28 1192062 Alberta Ltd. Fluorescence absorption microscopy
JP4782391B2 (ja) 2004-06-16 2011-09-28 オリンパス株式会社 顕微鏡システム
US7697750B2 (en) 2004-12-06 2010-04-13 John Castle Simmons Specially coherent optics
DE102005013152B4 (de) * 2005-03-22 2007-11-15 Leica Microsystems Cms Gmbh Automatisiertes Mikroskop
JP2007047228A (ja) 2005-08-05 2007-02-22 Olympus Corp 結像光学装置、及び光学ユニット
EP1930717B1 (en) * 2005-09-29 2019-06-19 Olympus Corporation Focal position determining method and apparatus
DE102006004232C5 (de) 2006-01-30 2013-08-01 Carl Zeiss Surgical Gmbh Mikroskopiesystem
JP2008116900A (ja) 2006-10-11 2008-05-22 Olympus Corp 干渉対物レンズと、その干渉対物レンズを備える干渉顕微鏡装置
TWI324015B (en) * 2006-12-22 2010-04-21 Ind Tech Res Inst Autofocus searching method
JP4951433B2 (ja) * 2007-07-24 2012-06-13 ペンタックスリコーイメージング株式会社 焦点調節方法及び焦点調節装置
US8878923B2 (en) * 2007-08-23 2014-11-04 General Electric Company System and method for enhanced predictive autofocusing
US7787112B2 (en) 2007-10-22 2010-08-31 Visiongate, Inc. Depth of field extension for optical tomography
JP4958812B2 (ja) * 2008-02-21 2012-06-20 パナソニック株式会社 カメラ装置およびフォーカス調整支援方法
WO2009113647A1 (ja) * 2008-03-14 2009-09-17 株式会社ニコン 顕微鏡システム
US7948630B2 (en) * 2008-10-08 2011-05-24 Tokyo Electron Limited Auto focus of a workpiece using two or more focus parameters
WO2010044870A1 (en) * 2008-10-14 2010-04-22 The Burnham Institute For Medical Research Automated scanning cytometry using chromatic aberration for multiplanar image acquisition
US8531581B2 (en) * 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
US10001622B2 (en) 2011-10-25 2018-06-19 Sanford Burnham Medical Research Institute Multifunction autofocus system and method for automated microscopy

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09281384A (ja) * 1996-04-17 1997-10-31 Citizen Watch Co Ltd オートフォーカス制御装置
JP2011501209A (ja) * 2007-10-11 2011-01-06 スリーエム イノベイティブ プロパティズ カンパニー 色共焦点センサ
WO2009085218A1 (en) * 2007-12-21 2009-07-09 President And Fellows Of Harvard College Sub-diffraction limit image resolution in three dimensions

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016515718A (ja) * 2013-03-22 2016-05-30 ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー 点状物体の局在化のための光学顕微鏡法
JP2018512609A (ja) * 2015-02-18 2018-05-17 アボット ラボラトリーズ 顕微鏡を基体上に自動的に合焦するための方法、システム、及び装置
WO2017090211A1 (ja) * 2015-11-27 2017-06-01 株式会社ニコン 顕微鏡装置
JPWO2017090211A1 (ja) * 2015-11-27 2018-09-06 株式会社ニコン 顕微鏡装置

Also Published As

Publication number Publication date
WO2013063096A1 (en) 2013-05-02
US20180307005A1 (en) 2018-10-25
EP2771882A4 (en) 2015-07-29
US10001622B2 (en) 2018-06-19
JP2017182086A (ja) 2017-10-05
US20130100272A1 (en) 2013-04-25
EP2771882A1 (en) 2014-09-03
JP6158197B2 (ja) 2017-07-05

Similar Documents

Publication Publication Date Title
JP6158197B2 (ja) 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法
US10330906B2 (en) Imaging assemblies with rapid sample auto-focusing
US8760756B2 (en) Automated scanning cytometry using chromatic aberration for multiplanar image acquisition
US9575308B2 (en) Slide scanner with dynamic focus and specimen tilt and method of operation
EP2758825B1 (en) Slide scanner with a tilted image plane
EP2256534B1 (en) In-vivo examination apparatus
JP4544904B2 (ja) 光学系
EP3368887B1 (en) Method with transillumination-based autofocusing for photoluminescence imaging
JP2012523583A (ja) 改良型予測オートフォーカスシステム及びその方法
JP6241858B2 (ja) 共焦点顕微鏡
JP6940696B2 (ja) 二次元および三次元の固定式z走査
WO2016089674A1 (en) Dynamic microscope with combined optical focus and aberrational correction
JP6327829B2 (ja) 顕微鏡の制御装置、顕微鏡システム、制御方法およびプログラム
US20120140057A1 (en) Microscope for Measuring Total Reflection Fluorescence
CN113039470B (zh) 显微镜装置
JP2010091739A (ja) 自動焦点合焦装置を備えた画像撮像装置
Liao Imaging Innovations for Whole-Slide and Hyperspectral Microscopy
JP2022522016A (ja) 斜面顕微鏡検査システムおよび方法
US20220113523A1 (en) Microscope
Felcher et al. Design and Build of a Customizable Light Sheet for Visualization of Cytoskeleton Networks
WO2022150396A1 (en) Methods and systems to compensate for substrate thickness error
JP2009192721A (ja) 共焦点顕微鏡

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170607

R150 Certificate of patent or registration of utility model

Ref document number: 6158197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees