JP2013531270A - オートフォーカスイメージング - Google Patents

オートフォーカスイメージング Download PDF

Info

Publication number
JP2013531270A
JP2013531270A JP2013510699A JP2013510699A JP2013531270A JP 2013531270 A JP2013531270 A JP 2013531270A JP 2013510699 A JP2013510699 A JP 2013510699A JP 2013510699 A JP2013510699 A JP 2013510699A JP 2013531270 A JP2013531270 A JP 2013531270A
Authority
JP
Japan
Prior art keywords
image sensor
autofocus
primary image
imaging system
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013510699A
Other languages
English (en)
Other versions
JP5809248B2 (ja
Inventor
バス フルスケン
スジョエルド スタリンガ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP10305559A external-priority patent/EP2390706A1/en
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2013531270A publication Critical patent/JP2013531270A/ja
Application granted granted Critical
Publication of JP5809248B2 publication Critical patent/JP5809248B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/1581Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation using linear image-sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/701Line sensors

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本発明はデジタルパソロジーの分野に、特に全スライドスキャナに関する。一次像センサの第1の数のピクセルをサンプリングし、オートフォーカスイメージセンサの第2の数のピクセルをサンプリングすることによってオートフォーカスイメージングが実行されることができ、第2の数は第1の数の1/4乃至3/4である。従って、高速光スキャンのための連続オートフォーカスが光軸に対して傾斜している追加イメージセンサに基づいて提供され得る。

Description

本発明はとりわけデジタルパソロジーの分野に関する。特に、本発明は顕微鏡のためのオートフォーカスイメージングシステム、オートフォーカスイメージングシステムを有する顕微鏡、顕微鏡のオートフォーカスイメージングのための方法、コンピュータ可読媒体及びプログラム要素に関する。
デジタルパソロジーにおいて、特に全スライドスキャンの場合、分析目的及び教育目的で標本がスライスされ撮像される。全組織スライドをスキャンするためにラインセンサが使用され得る。こうしたスライドスキャナは連続的機械的スキャンを実行し、それによってスティッチング問題を軽減し、照明の低照度に対応するためにいわゆる時間遅延積分(TDI)ラインセンサの使用を可能にする。
フォーカシングのために焦点マップが使用され得る。実際のスキャンの前に最適焦点位置がスライド上の複数の位置において決定される。これが"焦点マップ"を生じる。この手順は、図1に見られる通り組織層の軸方向位置がスライドにわたって数マイクロメートルで異なり得るため、必要であり得る。従って組織層の変動は顕微鏡対物レンズの焦点深度よりも大きくなり得る。スキャン中対物レンズの焦点位置は選択される測定位置上の測定される最適焦点設定間を補間する軌道上に設定される。この手順は誤差を生じやすいとともに時間も消費し得るので、システムのスループットを制限する。
WO2005/010495A2は顕微鏡スライドのデジタル画像を生成するためのシステムと方法を記載し、顕微鏡はメインカメラと、光軸に対して傾斜したフォーカスカメラを有する。
しかしながら、オートフォーカス機能の性能は不十分であり得る。
改良された性能を持つオートフォーカスイメージングシステムを持つことが望まれ得る。
本発明の第一の態様によれば、一次像センサとオートフォーカスイメージセンサを有する顕微鏡のためのオートフォーカスイメージングシステムが提供される。一次像センサは組織スライドなどの関心対象の一次像データを取得するのに適している。オートフォーカスイメージセンサは関心対象の斜め断面のオートフォーカスイメージデータを取得するのに適している。一次像センサはさらに対象空間内の距離当たり第1の数のピクセルをサンプリングするのに適しており、オートフォーカスイメージセンサはさらに対象空間内の距離当たり第2の数のピクセルをサンプリングするのに適しており、第2の数は第1の数の1/4乃至3/4である。
言い換えれば、オートフォーカスイメージセンサは一次像センサよりも対象空間内の距離当たり少ない数のピクセルをサンプリングする。少数のピクセルをサンプリングすることによって、計算負荷及びサンプリング時間も削減され得る。さらに、一次像センサによってサンプリングされるピクセルの1/4以上をサンプリングすることによって、オートフォーカスセンサ信号の品質が最適化され得る。
一実施形態例によれば、第2の数は第1の数の半分である。言い換えれば、オートフォーカスイメージセンサは一次像センサにおける対象空間内の距離当たりピクセル数の半分をサンプリングする。
一次像センサアセンブリは1つのラインセンサを有し得るか、又は1つよりも多くのラインセンサ、例えば3若しくはそれ以上のラインセンサを有し得る。各ラインセンサは異なる波長若しくは波長範囲を検出し得る。例えば、1つのラインセンサは緑色光を検出し、2つ目は赤色光を、及び3つ目のラインセンサは青色光(のみ)を検出し得る。
別の実施形態例によれば、オートフォーカスイメージセンサは関心対象からオートフォーカスイメージセンサの方へ放射の光軸に対して傾斜し、例えば一次像センサの光軸に対して傾斜している。このようにセンサ上の組織層の位置はデフォーカスの量の尺度である。
別の実施形態例によればオートフォーカスイメージセンサは可視スペクトルの周波数外の光周波数においてオートフォーカスイメージデータを取得するのに適している。
別の実施形態例によればオートフォーカスイメージングシステムはオートフォーカスイメージセンサの暗視野照明に適している。
言い換えれば、関心対象は伝搬方向のセットを有するビームで照射され、これらの伝搬方向の角度がオートフォーカスイメージングセンサの検出開口に対する角度よりも大きくなるようになっている。このように様々な面(空気、カバーガラス、カバーガラス‐組織層、組織層‐スライド、スライド‐空気)から反射される光は最後にオートフォーカスイメージセンサに行き着くことができない。実際、全ての低い対象空間周波数はブロックされ、組織から発する信号のみ(十分に高い空間周波数を持つ)がオートフォーカスイメージセンサにおいて検出され得る。これは組織層の軸方向位置が測定され得るロバスト性と精度を向上させ得る。
本発明の第2の態様によれば、上記及び下記のイメージングシステムを有する顕微鏡が提供される。
本発明の一実施形態例によれば、顕微鏡はデジタルパソロジー用スライドスキャナとして構成される。
本発明の別の態様によれば、顕微鏡のオートフォーカスイメージングのための方法が提供され、関心対象の一次像データが一次像センサによって取得され、関心対象の斜め断面のオートフォーカスイメージデータがオートフォーカスイメージセンサによって取得され、対象空間内の距離当たり第1の数のピクセルがサンプリングされ、第1の数のピクセルは一次像センサのピクセルであり、対象空間内の距離当たり第2の数のピクセルがサンプリングされ、第2の数のピクセルはオートフォーカスイメージセンサのピクセルである。第2の数は第1の数の1/4乃至3/4である。
本発明の別の態様によれば、顕微鏡のプロセッサによって実行されるときにプロセッサに上記及び/又は下記の方法ステップを実行させる顕微鏡のオートフォーカスイメージングのためのコンピュータプログラムが中に記憶される、コンピュータ可読媒体が提供される。
さらに、本発明の別の態様によれば、顕微鏡のプロセッサによって実行されるときにプロセッサに上記及び/又は下記の方法ステップを実行させる顕微鏡のオートフォーカスイメージングのためのプログラム要素が提供される。
コンピュータ可読媒体はフロッピーディスク、ハードディスク、CD、DVD、USB(ユニバーサルシリアルバス)記憶デバイス、RAM(ランダムアクセスメモリ)、ROM(リードオンリーメモリ)及びEPROM(消去・プログラム可能リードオンリーメモリ)であり得る。コンピュータ可読媒体はプログラムコードのダウンロードを可能にする例えばインターネットなどのデータ通信ネットワークであってもよい。
2次元センサであり得るオートフォーカスイメージングセンサが対象空間内の距離当たり少数のピクセルをサンプリングし、一次センサはラインセンサであり得るか若しくは1つよりも多くのラインセンサを有し得ることが本発明の一実施形態例の要点と見なされ得る。例えば、オートフォーカスセンサは一次センサのピクセル数の半分をサンプリングする。
本発明のこれらの及び他の態様は以下に記載の実施形態から明らかとなり、それらを参照して解明される。
本発明の実施形態例は以下の図面に関して以下に記載される。
組織スライドアセンブリの断面を示す。 傾斜したオートフォーカスイメージセンサを示す。 MTFに対するデフォーカスの効果を示す。 デフォーカスMTF対ゼロデフォーカスMTFの比を示す。 本発明の一実施形態例にかかるオートフォーカスイメージングシステムを持つ顕微鏡を示す。 本発明の別の実施形態例にかかるオートフォーカスイメージングシステムを持つ顕微鏡を示す。 本発明の別の実施形態例にかかるオートフォーカスイメージングシステムを持つ顕微鏡を示す。 本発明の一実施形態例にかかる顕微鏡システムを示す。 本発明の一実施形態例にかかる方法のフローチャートを示す。
図面の図は概略である。異なる図面において同様の若しくは同一の要素は同じ参照数字を与えられる。
以下、符号に伴うプライム記号(')は像空間が考慮される(例えばセンサ参照)ことを意味し、一方プライム記号なしの符号は対象空間が考慮される(典型的にはサンプル参照)ことを意味する。例えば、角度ベータプライム(β')がこの記載において使用されるときは、像空間内の回転、及びより具体的に記載される通り、物理的センサの回転が示される。また、角度ベータ(プライムなしのβ)は対象空間内の回転を示し、より具体的に記載される通り、オートフォーカスセンサによって撮像されるサンプルの斜め断面の回転を示す。
図1は1mmの典型的な厚さを持つ顕微鏡スライド1、0.17mmの典型的な厚さを持つカバーガラス2、組織層4を固定し密封するための封入剤3を有する組織スライドアセンブリの略断面図を示す。組織層は典型的には約5μmの厚さで、封入層は組織層を含み、典型的には10‐15μmの厚さである。封入剤はカバーガラスがスライドに取り付けられる前に液状で組織層とともにスライドに適用され、その後封入液は凝固し、従って劣化に対する安定性を与えるために組織層を機械的に固定し、外部環境から密封する。組織層の軸方向位置はスライドにわたって数μm以内で変動し得る。
組織層の軸方向位置が変動するため、スキャン中に最適分解能を提供するために焦点が連続的に調節されなければならない可能性がある。
"焦点マップ"法の使用の代替案は連続オートフォーカスシステム、すなわちデジタル画像を取得するための実際のスキャン中に最適焦点位置を連続的に測定し対物レンズの軸方向位置を適応させる追加システムの使用である。オートフォーカスシステムは取得画像におけるコントラストの最適化に基づき得る。コントラスト最適化のために様々な行列が使用され得る。しかしながら、焦点誤差(焦点以上若しくは以下)の正弦はこの方法では決定されることができず、すなわち焦点誤差信号は極性ではない。これは最適焦点設定の恒久的な更新を必要とする連続オートフォーカスシステムにとって不都合であり得る。
オートフォーカスシステムは光ディスク内など、対象面若しくはその付近の基準面において反射されるラインを使用し得る。しかしながら、組織スライドに適用されるときのこの方法の欠点は、関連インターフェース(顕微鏡スライドと組織層の間及び組織層とカバーガラスの間)が低い反射率を持ち、反射信号が組織層付近から生じる散乱によって変形され、従ってロバスト性を有するということであり得る。
よい代替案は光軸に対して傾斜した追加センサの使用である。このオートフォーカスイメージセンサは図2に図示の通り対象の斜め断面の像を作る。この断面は組織層の軸方向位置に依存して、若しくは対物レンズの焦点面に対して、いくつかの点において組織層を通過し得る。このようにセンサ上の組織層の位置はデフォーカスの量の尺度である。これらの態様についてのさらなる詳細については、読者は欧州特許出願No.09306350を参照すればよい。
図2から見られる通り傾斜したオートフォーカスイメージセンサは組織スライドアセンブリの斜め断面5の像を作る。傾斜はスキャン方向6にある。センサはNピクセルを持ち、スキャン方向にピクセル当たりΔxで、及び軸方向にピクセル当たりΔzで対象をサンプリングする。
例えば、オートフォーカスイメージングシステムは組織層の白色光イメージングを損なわないように可視スペクトル外の波長を用いて動作する。例えばオートフォーカスシステムは、紫外線放射が組織を損傷する可能性があり、赤外線放射よりも複雑な及び/又は高価な光学部品を必要とし得るため、可視スペクトルの赤外線側の波長を用いて動作する。
一実施形態例において、追加オートフォーカスイメージはいわゆる暗視野照明を用いることによって提供され得る。これによって、サンプルは既に上記した通り伝搬の方向のセットを有するビームで照射される。
傾斜したオートフォーカスセンサが高スループットイメージング用の時間遅延積分(TDI)ラインセンサ(一次像センサ)と組み合わされる場合問題が生じ得る。こうしたTDI‐ラインセンサは各対象ピクセルをL回記録し、ステージLの数は典型的には128までであることができる。これは総積分時間、及び従って信号レベルが従来のシングルラインセンサと比較してL倍に増加するという効果を持つ。これはシステムのスキャン速度を増加させるために使用される。
かかるシステムの設計における合理的な開始点は、像において同じレベルの鮮明さをテストすることができるようにするために(TDIベースの)イメージセンサの分解能Rimにおおよそ等しいオートフォーカスセンサの分解能Rafを持つことを必要とし得る。発明者らの新たな見識は、これが以下の考察から明らかになる通りオートフォーカスイメージセンサの信号レベルに関する問題を暗示するということである。線形スキャン速度νとするとイメージセンサのライン速度は:
Figure 2013531270
(注:ピクセルサイズ=分解能の半分)総積分時間LTimを作る。モーションブラーを防ぐために、オートフォーカスセンサは収集時間が
Figure 2013531270
となるようなシャッターを持たなければならない。
対物レンズ後のビームはビームスプリッタによって2つの部分に分けられ、割合ηはオートフォーカスセンサの方へ向けられ、割合1−ηはイメージセンサの方へ向けられる。スライドが強度B(面積当たり入射電力)で照射される場合、イメージセンサ及びオートフォーカスイメージセンサにおける信号レベルは次式によって与えられる:
Figure 2013531270
ηimはイメージセンサ(量子)効率であり、ηafはオートフォーカスセンサ(量子)効率である。これらのセンサ効率はおおよそ等しいと仮定され得る。2つの比は:
Figure 2013531270
=(1−η)Lがオートフォーカスセンサが使用されなかった場合に必要とされ得るステージの数である場合、
Figure 2013531270
及び
Figure 2013531270
とすると次式のようになる:
Figure 2013531270
明らかに、オートフォーカスセンサにおける信号レベルはイメージセンサにおける信号レベルよりもかなり小さい。結果として、オートフォーカスセンサ信号は比較的ノイズが多くなり、これはフォーカスエラー信号の精度を損なう。
イメージセンサに対する分解能要件と比較してオートフォーカスセンサに対する分解能要件にはかなりの冗長性が存在し得る。この見識はいわゆる変調伝達関数(MTF)に対するデフォーカスの効果の研究から得られ、これは空間周波数(周期pの逆数)の関数として周期的な対象の像における変調と対象自体における変調の比率である。等しいコンデンサと対物レンズNAを持つ簡略化した1Dケースの場合のデフォーカスの関数として、MTFは次式によって与えられる:
Figure 2013531270
sinc(x)=sin(x)/xとすると、q=λ/pNAは正規化空間周波数であり、β=ΔzNA/2nλがデフォーカスパラメータである。図3は公称インフォーカス状態301の場合とデフォーカス302の場合のMTFを示す。x軸303は正規化空間周波数を描きy軸304はMTF値を描く。
図4は2つのMTF関数301,302の比401を示す。y軸403はMTF比を描き;最小値402が1に等しいx値で観察され得る。両MTF関数は2NA/λにおいてカットオフを示し(これがいわゆる'回折限界')、これは従来の顕微鏡の極限分解能限界である。2つのMTF関数の比は中間空間周波数についての下落を示す。この分析からわれわれは以下のことを結論づけ得る:
‐一次像センサの分解能は好適には2NA/λ空間周波数カットオフに対するいわゆるナイキスト基準によってRim=λ/2NAに決定される(従ってピクセルサイズMimλ/4NA、Mimは対象から像センサへの倍率)。
‐オートフォーカスセンサの分解能は好適には空間周波数カットオフの半分に対するデフォーカス感度の最大値によってRaf=λ/NAに決定される(従ってピクセルサイズMafλ/2NA、Mafは対象からオートフォーカスセンサへの倍率)。
一実施形態例によればオートフォーカスイメージセンササンプリング(対象空間におけるピクセル/m)はイメージセンササンプリングよりも3/4乃至1/4、又は例えば少なくとも2倍小さく選択される。これはデフォーカス感度とオートフォーカス対イメージ信号比の間のよい妥協を与える。好適には、ビームスプリッタ割合ηはオートフォーカスセンサ信号がイメージセンサ信号と比較して十分に高くなるように適用される。好適には、パラメータ設定はTDIベースラインセンサが十分に高いイメージセンサ信号を維持するために十分な冗長性を持つようになっており、すなわちη>1−L/Lmax、LmaxはTDIステージの最大数である。
これは、分解能の差(特にオートフォーカスセンサの低分解能)が一次像撮像センサに対してオートフォーカスセンサの速度を増加するという唯一の目的にかなう、撮像されている対象内の面に対して傾斜していないオートフォーカス用専用イメージセンサの追加に基づく二次カメラオートフォーカス法の実施とは異なる。また、ピクセル数の削減はいくつかの実施形態について少なくとも3の倍数、及び少なくとも10の倍数として記載される。図3の下部のグラフにおける最小値に見られる通り、発明者らは特にちょうど2の分解能の減少において最適値を見つけた。しかしながら第2の実施形態の実際の範囲は4/3乃至倍数4の範囲であり得る。
オートフォーカスシステムの深度範囲Δztotは他のパラメータの現実的な設定のために十分に大きくなければならない。オートフォーカスイメージセンサはスキャン方向にNピクセルを持ち、ピクセルサイズbである。センサは横方向と軸方向のサンプリングが次式によって与えられるように角度β'で傾斜される:
Figure 2013531270
対象(組織スライド)における横方向と軸方向のサンプリングは次式によって与えられる:
Figure 2013531270
Mは倍率でありnは対象の屈折率である。対象における軸方向サンプリングは次式となる:
Figure 2013531270
ピクセル存在するので総深度範囲は次式となる:
Figure 2013531270
表1は本発明にかかるパラメータ設定の一実施例を示す。この実施例においてオートフォーカス分解能は2×0.9μmであり、イメージ分解能は好適には約2×0.25μmである(20×/NA0.75顕微鏡対物レンズを使う)。
限定されない実施例として、図5は顕微鏡の一部と特に光路の結像分岐を示す。エピモード暗視野照明についての実施形態が図6に示される。
スライド1とカバーガラス2(及び組織層4、不図示)を通過する光は背面開口21で対物レンズ20によって捕らえられ、非散乱ビームはブロックされる。カラースプリッタ22は、デジタル組織画像を生成するためのラインセンサ24の形で構成され得る第1、第2及び第3の一次像センサ24,32,33を有し得るイメージセンサ配列にチューブレンズ23によって結像される白色光を分離する。赤外光は第2のチューブレンズ25によってオートフォーカスイメージセンサ26に結像され、これは関心対象からオートフォーカスイメージセンサ26の方へ放射の光軸31に対して傾斜している。この開示の文脈において"一次像センサの光軸に対して傾斜している"とは、オートフォーカスイメージセンサに衝突する関心対象からの放射がオートフォーカスイメージセンサに垂直に衝突しないことを意味する。しかしながら、関心対象から一次像センサの方へ進む放射は一次像センサに垂直に衝突し得るが、これは既に本明細書で上記した通り必要ではない。組織によって散乱される光線は開口21を通過することができ、オートフォーカスイメージセンサ26に結像される。
図6はレーザダイオード14を持つオートフォーカスイメージングシステム500を備える顕微鏡のエピモード暗視野照明についての光学配置を示し、照明は結像分岐と統合されている。例えば0次の回折次数S'、a+1st次数S'+1及びa−1st次数S'−1の回折次数を生成するために2つの交差した格子15がレーザダイオード14の後に配置される。さらに、暗視野照明ビームの幅を制限するために視野絞り16が格子15の近くに配置され、コリメータレンズ17がレーザダイオード14からの光をコリメートする。
コリメータレンズ17を通過した後でビームを分離する偏光ビームスプリッタ28が設けられる。さらに、顕微鏡は1/4波長板29を有する。構成要素28と29の両方がレーザから発生するビームを対物レンズの方へ向け、組織から発生する散乱光をオートフォーカスイメージセンサの方へ垂直にすることを担当する。
図7は顕微鏡500のマルチスポット照明のための光学配置を示し、この照明は結像分岐と統合される。レンズ17はスポットのアレイ30を生じるためのスポット発生器に入射するビームをコリメートする。アセンブリ全体を傾斜させることによって、得られる入射スポットアレイとスライドも傾斜するようにスポットアレイが傾斜することができる。スポット発生器29は低NAビームのアレイを生じ、これは顕著な収差を導入することなくビームスプリッタ27を通過することができる。
図7の実施形態においてスポットのアレイはオートフォーカスイメージセンサによって撮像される斜め断面5を照射するために使用される。組織にフォーカスされるスポットは、スポットがフォーカスされる領域の吸収率と屈折率がスキャンとともに変化するため、時間依存性の散乱を経験し得る。オートフォーカスイメージセンサに結像されるスポットの時間依存性を調べることによって、組織層の軸方向位置が見つけられ得る。つまり、焦点近くでは高分解能情報が目に見え、焦点から離れるとこれはぼやける。結果として、比較的小さい時間スケールでの信号変動は組織層が焦点面と一致するときに最大となり得る。
図8はコンピュータなどのユーザインターフェース801に接続されるプロセッサ若しくは処理ユニット800に接続されるオートフォーカスイメージングシステム500を備える顕微鏡を有する顕微鏡システム802を示す。
図9は一実施形態例にかかる方法のフローチャートを示す。ステップ901において一次及び二次、すなわち関心対象のオートフォーカスイメージデータが一次像センサとオートフォーカスイメージセンサによってそれぞれ取得される。ステップ902において一次像センサのピクセルがサンプリングされる。ステップ903において(ステップ902の前、後若しくは同時であり得る)オートフォーカスイメージセンサの対象空間内の距離当たり所定数のピクセルがサンプリングされる。この数は一次像センサのサンプリングされたピクセルの数よりも小さい。そして、ステップ904において、顕微鏡の焦点がサンプリングに基づいて調節される。
従って、一次像センサの焦点は自動的に調節され得る。
本発明の別の実施形態において、本発明の原理は、本発明の出願人が既に欧州特許出願No.09306350の下で提案した、及び本明細書に引用によって組み込まれるセンサに有利に適用され得る。
結果として、この実施形態によれば一次像センサとオートフォーカスイメージセンサは同じ検出領域を共有し得る。言い換えれば、一次像センサとオートフォーカスイメージセンサはオートフォーカスと画像取得両方のために使用される検出領域(典型的にはピクセルから形成される)を持つ固有センサを一緒に形成し得る。
この実施形態によれば、大きなオートフォーカスピクセルは一次像ピクセルのアレイ若しくはアレイ群の隣に位置する若しくはその中に混合する実際の物理的ピクセルであり得るか、又はオートフォーカスピクセルは一次像ピクセルの2つ以上を大きなバーチャルオートフォーカスピクセルに組み合わせることによって得られるバーチャルピクセルであり得る。かかる組み合わせはセンサ自体において、若しくは別の処理ユニットにおいてなされ得る。
上記オートフォーカスシステムはデジタルパソロジー及び高速マイクロスキャンの他の分野に応用される。
本発明は図面と上記説明において詳細に図示され記載されているが、かかる図示と記載は例示若しくは説明であって限定ではないと見なされるものとし、本発明は開示の実施形態に限定されない。開示の実施形態への他の変更は図面、開示、及び添付のクレームの考察から、請求された発明を実践する当業者によって理解されもたらされることができる。クレームにおいて"有する"という語は他の要素若しくはステップを除外せず、不定冠詞"a"若しくは"an"は複数を除外しない。特定の手段が相互に異なる従属クレームに列挙されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。クレーム中の任意の参照符号は範囲を限定するものと解釈されてはならない。
Figure 2013531270
1 顕微鏡スライド
2 カバーガラス
3 封入剤
4 組織層
5 斜め断面
6 スキャン方向
14 レーザダイオード
15 2つの交差格子
16 視野絞り
17 コリメータレンズ
18 0次光線をブロックするための絞り
20 対物レンズ
21 背面開口
22 カラースプリッタ
23 チューブレンズ
24 第1の一次像センサ
25 チューブレンズ
26 オートフォーカスイメージセンサ
28 ビームスプリッタ
29 1/4波長板
31 光軸
32 第2の一次像センサ
33 第3の一次像センサ
301 公称インフォーカス状態のMTF
302 デフォーカス状態のMTF
303 x軸(正規化空間周波数)
304 y軸(MTF)
401 MTF関数301,302の比
402 最小値
403 y軸(MTF関数301,302の比)
500 オートフォーカスイメージングシステム
800 プロセッサ
801 ユーザインターフェース
802 顕微鏡システム
901 方法ステップ
902 方法ステップ
903 方法ステップ
904 方法ステップ

Claims (15)

  1. 顕微鏡のためのオートフォーカスイメージングシステムであって、
    関心対象の一次像データを取得するための一次像センサを有する一次像センサ配列と、
    前記関心対象の斜め断面のオートフォーカスイメージデータを取得するためのオートフォーカスイメージセンサとを有し、
    前記一次像センサは対象空間内の距離当たり第1の数のピクセルをサンプリングするように構成され、
    前記オートフォーカスイメージセンサは対象空間内の距離当たり第2の数のピクセルをサンプリングするように構成され、
    前記第2の数は前記第1の数の1/4乃至3/4である、
    オートフォーカスイメージングシステム。
  2. 前記第2の数が前記第1の数の半分である、請求項1に記載のオートフォーカスイメージングシステム。
  3. 前記一次像センサの分解能がλ/(2NA)であり、
    前記オートフォーカスイメージセンサの分解能がλ/(NA)である、
    請求項1又は2に記載のオートフォーカスイメージングシステム。
  4. 前記オートフォーカスイメージセンサが前記一次像センサの光軸に対して傾斜している、請求項1に記載のオートフォーカスイメージングシステム。
  5. 前記オートフォーカスイメージセンサが前記オートフォーカスイメージングシステムのスキャン方向に傾斜している、請求項1に記載のオートフォーカスイメージングシステム。
  6. 前記対象からのビームを前記一次像センサの方へ向かう第1のビームと前記オートフォーカスイメージセンサの方へ向かう第2のビームに分離するためのビームスプリッタをさらに有し、
    前記第2のビームの強度と前記第1のビームの強度の間の比が(1−L/Lmax)よりも大きく、Lmaxは前記一次像センサの時間遅延積分ステージの最大数である、請求項1に記載のオートフォーカスイメージングシステム。
  7. 前記オートフォーカスイメージセンサが可視スペクトルの周波数外の光周波数において前記オートフォーカスイメージデータを取得するように構成される、請求項1に記載のオートフォーカスイメージングシステム。
  8. 前記オートフォーカスイメージングシステムが前記オートフォーカスイメージセンサの暗視野照明のために構成される、請求項1に記載のオートフォーカスイメージングシステム。
  9. 前記一次像センサ配列が第2の一次像センサと第3の一次像センサをさらに有し、
    前記一次像センサ配列の一次像センサの各々が異なる波長の光を検出するように構成される、請求項1に記載のオートフォーカスイメージングシステム。
  10. 前記一次像センサがラインセンサであり、
    前記オートフォーカスイメージセンサが2次元センサである、請求項1に記載のオートフォーカスイメージングシステム。
  11. 前記一次像センサと前記オートフォーカスイメージセンサが同じ検出領域を共有する、請求項1に記載のオートフォーカスイメージングシステム。
  12. 請求項1に記載のオートフォーカスイメージングシステムを有する顕微鏡。
  13. 顕微鏡のオートフォーカスイメージングのための方法であって、
    一次像センサ配列の一次像センサによって関心対象の一次像データを取得するステップと、
    オートフォーカスイメージセンサによって前記関心対象の斜め断面のオートフォーカスイメージデータを取得するステップと、
    前記一次像センサのピクセルである、対象空間内の距離当たり第1の数のピクセルをサンプリングするステップと、
    前記オートフォーカスイメージセンサのピクセルである、対象空間内の距離当たり第2の数のピクセルをサンプリングするステップとを有し、
    前記第2の数が前記第1の数の1/4乃至3/4である、
    方法。
  14. 顕微鏡のオートフォーカスイメージングのためのコンピュータプログラムが記憶されるコンピュータ可読媒体であって、該コンピュータプログラムは前記顕微鏡のプロセッサによって実行されるときに、前記プロセッサに
    一次像センサ配列の一次像センサから関心対象の一次像データを取得するステップと、
    オートフォーカスイメージセンサから前記関心対象の斜め断面のオートフォーカスイメージデータを取得するステップと、
    前記一次像センサのピクセルである、対象空間内の距離当たり第1の数のピクセルをサンプリングするステップと、
    前記オートフォーカスイメージセンサのピクセルである、対象空間内の距離当たり第2の数のピクセルをサンプリングするステップとを実行させ、
    前記第2の数が前記第1の数の1/4乃至3/4である、
    コンピュータ可読媒体。
  15. 顕微鏡のオートフォーカスイメージングのためのプログラム要素であって、前記顕微鏡のプロセッサによって実行されるときに、前記プロセッサに
    一次像センサ配列の一次像センサから関心対象の一次像データを取得するステップと、
    オートフォーカスイメージセンサから前記関心対象の斜め断面のオートフォーカスイメージデータを取得するステップと、
    前記一次像センサのピクセルである、対象空間内の距離当たり第1の数のピクセルをサンプリングするステップと、
    前記オートフォーカスイメージセンサのピクセルである、対象空間内の距離当たり第2の数のピクセルをサンプリングするステップとを実行させ、
    前記第2の数が前記第1の数の1/4乃至3/4である、
    プログラム要素。
JP2013510699A 2010-05-18 2011-05-04 オートフォーカスイメージング Active JP5809248B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP10305520.8 2010-05-18
EP10305520 2010-05-18
EP10305559.6 2010-05-27
EP10305559A EP2390706A1 (en) 2010-05-27 2010-05-27 Autofocus imaging.
PCT/IB2011/051963 WO2011145016A1 (en) 2010-05-18 2011-05-04 Autofocus imaging

Publications (2)

Publication Number Publication Date
JP2013531270A true JP2013531270A (ja) 2013-08-01
JP5809248B2 JP5809248B2 (ja) 2015-11-10

Family

ID=44201782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013510699A Active JP5809248B2 (ja) 2010-05-18 2011-05-04 オートフォーカスイメージング

Country Status (6)

Country Link
US (3) US10061108B2 (ja)
EP (1) EP2572226A1 (ja)
JP (1) JP5809248B2 (ja)
CN (1) CN102893198B (ja)
BR (1) BR112012029152A8 (ja)
WO (1) WO2011145016A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018509640A (ja) * 2015-03-19 2018-04-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. デジタル病理学スキャンにおける照明
JP2020060770A (ja) * 2017-03-07 2020-04-16 イラミーナ インコーポレーテッド ハイブリッドモード光源を用いてフォーカストラッキングが改善したシステム及び方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2572226A1 (en) * 2010-05-18 2013-03-27 Koninklijke Philips Electronics N.V. Autofocus imaging
US9841590B2 (en) 2012-05-02 2017-12-12 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
HUE052489T2 (hu) 2013-04-26 2021-04-28 Hamamatsu Photonics Kk Képfelvevõ berendezés és eljárás és rendszer fókusztérkép elõállítására minta számára
HUE051846T2 (hu) * 2013-04-26 2021-03-29 Hamamatsu Photonics Kk Képfelvevõ berendezés és fókuszáló eljárás képfelvevõ berendezés számára
CN105143954B (zh) 2013-04-26 2018-06-19 浜松光子学株式会社 图像取得装置、取得试样的对准焦点信息的方法以及系统
CN103399397B (zh) * 2013-07-19 2015-11-18 香港应用科技研究院有限公司 用于图像扫描系统的预测聚焦
CN103592754B (zh) * 2013-11-07 2016-03-09 麦克奥迪实业集团有限公司 一种数字切片实时扫描自动聚焦跟踪方法
KR102125561B1 (ko) * 2013-12-03 2020-06-22 삼성전자주식회사 촬영 장치 및 이의 제어 방법
EP3353601A4 (en) 2015-09-24 2019-10-02 Leica Biosystems Imaging, Inc. REAL-TIME FOCUSING IN LINE-BUTASTING IMAGING
KR101898217B1 (ko) * 2016-12-29 2018-09-12 엘지디스플레이 주식회사 검사장비 및 이를 이용한 검사방법
US10459193B2 (en) * 2017-09-29 2019-10-29 Leica Biosystems Imaging, Inc. Real-time autofocus focusing algorithm
US10146041B1 (en) 2018-05-01 2018-12-04 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscope focus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6026311A (ja) * 1983-07-22 1985-02-09 Nippon Kogaku Kk <Nikon> 暗視野顕微鏡用焦点検出装置
JPH02136845A (ja) * 1988-11-18 1990-05-25 Canon Inc 画像読取装置
WO2005114293A1 (ja) * 2004-05-24 2005-12-01 Hamamatsu Photonics K.K. 顕微鏡装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3883689A (en) 1973-09-04 1975-05-13 Nasa Servo-controlled intravital microscope system
JPH08106040A (ja) 1994-10-04 1996-04-23 Tokuji Shibahara 位置検出装置
US6078681A (en) * 1996-03-18 2000-06-20 Marine Biological Laboratory Analytical imaging system and process
DE19746575A1 (de) * 1997-10-22 1999-04-29 Zeiss Carl Fa Optische Bildaufnahmeeinrichtung und Verfahren zu deren Nutzung
US6917377B2 (en) * 2000-02-04 2005-07-12 Olympus Optical Co., Ltd. Microscope system
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US6855733B2 (en) 2001-01-24 2005-02-15 Soft Gel Technologies, Inc. Formulation and manufacturing process for coenzyme Q10 soft gel capsules
DE10306970B4 (de) * 2003-02-19 2017-02-09 Carl Zeiss Microscopy Gmbh Elektronisches Mikroskop
US7330574B2 (en) 2003-05-08 2008-02-12 Ometrix, Inc. Best-focus estimation by lateral scanning
US20050089208A1 (en) 2003-07-22 2005-04-28 Rui-Tao Dong System and method for generating digital images of a microscope slide
US7813579B2 (en) * 2004-05-24 2010-10-12 Hamamatsu Photonics K.K. Microscope system
JP5403852B2 (ja) * 2005-08-12 2014-01-29 株式会社荏原製作所 検出装置及び検査装置
US7297910B2 (en) * 2005-12-30 2007-11-20 General Electric Company System and method for utilizing an autofocus feature in an automated microscope
DE102006027836B4 (de) * 2006-06-16 2020-02-20 Carl Zeiss Microscopy Gmbh Mikroskop mit Autofokuseinrichtung
US7576307B2 (en) 2007-04-30 2009-08-18 General Electric Company Microscope with dual image sensors for rapid autofocusing
WO2008137746A1 (en) 2007-05-04 2008-11-13 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
US8681736B2 (en) 2007-09-04 2014-03-25 Telefonaktiebolaget L M Ericsson (Publ) Time-to-trigger handling methods and apparatus
US8711473B2 (en) 2007-09-14 2014-04-29 Olympus Corporation Focus adjustment unit and optical scanning microscope
US7667169B2 (en) * 2008-05-22 2010-02-23 Omnivision Technologies, Inc. Image sensor with simultaneous auto-focus and image preview
JP5035702B2 (ja) * 2009-02-27 2012-09-26 カシオ計算機株式会社 撮像装置、オートフォーカス方法及びプログラム
BR112012015931A2 (pt) 2009-12-30 2021-03-02 Koninklijke Philips Eletronics N.V. método para formar imagem microscopicamente de uma amostra com um escaner, microscópio de escaneamento para formação de imagem de uma amostra, uso de um sensor de disposição bidimensional e disposição para formação de imagem de um corte trasnversal oblíquio de uma amostra
EP2572226A1 (en) * 2010-05-18 2013-03-27 Koninklijke Philips Electronics N.V. Autofocus imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6026311A (ja) * 1983-07-22 1985-02-09 Nippon Kogaku Kk <Nikon> 暗視野顕微鏡用焦点検出装置
JPH02136845A (ja) * 1988-11-18 1990-05-25 Canon Inc 画像読取装置
WO2005114293A1 (ja) * 2004-05-24 2005-12-01 Hamamatsu Photonics K.K. 顕微鏡装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018509640A (ja) * 2015-03-19 2018-04-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. デジタル病理学スキャンにおける照明
JP2020060770A (ja) * 2017-03-07 2020-04-16 イラミーナ インコーポレーテッド ハイブリッドモード光源を用いてフォーカストラッキングが改善したシステム及び方法

Also Published As

Publication number Publication date
US10371929B2 (en) 2019-08-06
US20180210182A1 (en) 2018-07-26
JP5809248B2 (ja) 2015-11-10
CN102893198B (zh) 2015-11-25
CN102893198A (zh) 2013-01-23
BR112012029152A2 (pt) 2017-12-12
US10365468B2 (en) 2019-07-30
BR112012029152A8 (pt) 2018-02-06
US20180203220A1 (en) 2018-07-19
WO2011145016A1 (en) 2011-11-24
EP2572226A1 (en) 2013-03-27
US10061108B2 (en) 2018-08-28
US20130057674A1 (en) 2013-03-07

Similar Documents

Publication Publication Date Title
JP5809248B2 (ja) オートフォーカスイメージング
JP6151824B2 (ja) 差分測定に基づき顕微鏡検査をスキャンするためのオートフォーカス
JP5015955B2 (ja) 自動顕微鏡の自動焦点調節法及びシステム
EP2316048B1 (en) Optical arrangement for oblique plane microscopy
US10353190B2 (en) Sensor for microscopy
JP5999121B2 (ja) 共焦点光スキャナ
JP6408543B2 (ja) 走査型光学ユニットを用いた光照射野の画像化
US8946619B2 (en) Talbot-illuminated imaging devices, systems, and methods for focal plane tuning
JP2016500849A (ja) 光学顕微鏡および顕微鏡観察方法
CN1511248A (zh) 共焦点显微镜、光学式高度测定方法及自动聚焦方法
JP2011530708A (ja) 多重スポット走査装置におけるレンズ歪みの測定及び補正
CN109425978A (zh) 具有改进的截面厚度的高分辨率2d显微镜检查
JP2016212154A (ja) 走査型顕微鏡システム
WO2018211601A1 (ja) 撮像装置および撮像システム
US10401604B2 (en) Resolution enhancement for light sheet microscopy systems and methods
JP6900066B2 (ja) 顕微鏡観察方法及び透過型顕微鏡装置
CN113424092A (zh) 显微镜系统、焦点调节程序和焦点调节系统
EP2390706A1 (en) Autofocus imaging.
JP2009053578A (ja) 共焦点顕微鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150910

R150 Certificate of patent or registration of utility model

Ref document number: 5809248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250