JP2015502566A - 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法 - Google Patents
自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法 Download PDFInfo
- Publication number
- JP2015502566A JP2015502566A JP2014538923A JP2014538923A JP2015502566A JP 2015502566 A JP2015502566 A JP 2015502566A JP 2014538923 A JP2014538923 A JP 2014538923A JP 2014538923 A JP2014538923 A JP 2014538923A JP 2015502566 A JP2015502566 A JP 2015502566A
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus
- autofocus
- light
- specimen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/08—Anamorphotic objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/242—Devices for focusing with coarse and fine adjustment mechanism
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Abstract
Description
本願は、2009年10月14日に提出された米国特許出願第12/587,923号の主題に関連する主題を含む。
本文書に記載の発明は、すべて国立衛生研究所から授与されたNIBIB Grant 5 R01 EB006200、NHGRI Grant 5 U54 HG003916、NHGRI Grant HG005033−CDP3の下、部分的に米国政府の支援を受けた。米国政府は本発明に一定の権利を有する。
当該分野は自動顕微鏡検査を含む。より具体的には、当該分野は、顕微鏡の対物レンズに対して配置された基準面からの反射と顕微鏡によって得られる拡大された画像(拡大画像)からの情報とを用いて顕微鏡を自動的に合焦させることを含む。特に、当該分野は、反射位置決めと一連の焦点面から得られる画像特徴の使用とを組み合わせる自動顕微鏡検査用の多関数型自動焦点機構を含む。
顕微鏡の最適焦点は像の最適な解像度を有するZ(軸方向)位置である。次いで、自動焦点誤差が最適焦点からの軸方向距離によって定義され、ピンぼけ度(焦点のずれた割合、out of focus)が解像度のパーセント損失として報告される。
1.スルーフォーカス解像度測定は、最適焦点を客観的に特定する。
2.画像ベース自動焦点が精密である(0.2〜6%の解像度損失は解像度測定ノイズに収まると思われる−表2も参照)。解像度測定はコントラスト反転に影響を受けないように設計される(Bravo−Zanoguera、M.E.、Laris、C.A.、Nguyen、L.K.、Oliva、M.& Price、J.H.、「自動顕微鏡検査における連続走査時間遅延積分像取得のための動的自動焦点」、Journal of Biomedical Optics、12、34011/34011−34016(2007)を参照)
3.サンプリングを低減することで(1.5倍筒レンズの代わりに1.0倍)、解像度の感度を焦点から遠く離れたピンぼけまで低下させずにピークの解像度が低減された。
4.低い開口数の対物レンズは高い開口数の対物レンズよりも最大解像度が低く、被写界深度が大きい。
ただし、λ0は光の波長、nは液浸媒体の屈折率、NAは開口数、Mは倍率、eは検出器によって分解可能な最小距離である(Inoue、S.& Spring K.R.、「ビデオ顕微鏡検査の基本」(Plenum、ニューヨーク、1997)。被写界深度および対応する焦点誤差データを表2にまとめる。
1)カバースリップ上に培養されたNIH−3T3細胞
2)ヒトの前立腺癌の組織部位
3)96ウェルのマイクロタイタープレートで培養された3T3−L1細胞と区別される脂肪細胞
これらの課題は、反射位置決め手順が実行されて最初の「焦点推測」(または粗焦点)を取得し、次に画像ベース自動焦点手順が実行されて最初の焦点を参照して高精度焦点を取得する自動焦点シーケンスによって解決される。望ましくは、このシーケンス(手順)は、画像品質と自動焦点の頑強性を向上させる。複数の焦点関数を統合するため、このようなシーケンスは「多関数型自動焦点シーケンス」と称される。多関数型自動焦点シーケンスを含む自動焦点方法は多関数型自動焦点方法であり、自動顕微鏡使用システムに上記シーケンス(手順)を実行させることのできる機構は「多関数型自動焦点機構」と称される。多関数型自動焦点機構を備えた自動顕微鏡使用システムは多関数型自動焦点構成を有し、多関数型自動焦点方法を実行する。
別の画像ベース自動焦点方法は色収差を利用して、1セットのZ軸方向に変位した焦点面で取得される像から最適焦点位置を算出する。この方法は、引用により本文書に組み込む米国特許出願公開第2010/0172020号として公開されている相互参照米国特許出願第12/587,923号に記載されている(対応PCT出願第PCT/US2009/005633号はWO/US2010/044870として公開されている)。この方法によると、異なる色の光は、レンズの屈折率(発散)の波長依存のため、Z軸に沿った異なる点で合焦する。
我々はBravo−Zanoguera、M.、Massenbach、B.kellner、A.& Price、J.、「生物学的顕微鏡検査用の高性能自動焦点回路」、Review of Scientific Instruments、69、3966−3977(1998)に記載の方法により、30fpsで動作する3チップRGBカメラとL1=L2=100mmの溶融石英レンズである図8のリレーレンズとを用いた増分走査を介して、カバーガラス上で培養されたNIH−3T3細胞の2つの自動焦点実験を実行した。2つの色対間の色収差分離は2.25μmだった。第1の実験に関しては、10μmの総焦点サーチ範囲で1.33μmの4つの軸ステップがあり、第2の実験に関しては、8μmの総焦点サーチ範囲で0.67μmの3つの軸ステップがある。100視野のそれぞれで20回の合焦を繰り返すことでそれぞれ157nmと132nmの合同SDが得られた。第2の実験では、大きな泡を含む2つの視野を排除することでSDが43.3nmに減少した。また、空視野がSDを上昇させることに気づいた。したがって、我々は空視野での焦点が変化することを防止するテストを追加した。
非点収差を用いる光学システムでは、2つの直交面で伝播する光線が異なる焦点を有する(図12を参照)。非点収差を有する光学システムを使用して交差の像を形成する場合、垂直および水平線は2つの異なる距離で鮮明に合焦する(http://en.wikipedia.org/wiki/Astigmatism)。したがって、画像ベース自動焦点のいくつかの側面では、自動焦点を算出するのに水平ビデオ線のみを利用する代わりに、我々は水平および垂直ビデオ線に関して異なる焦点面を形成するために非点収差を導入する。非点収差を利用することで、円柱レンズを挿入することによって2つのわずかに異なる焦点面を生成する確率光学再構成顕微鏡検査(STORM)による3D超解像度撮像が達成される(Huang、B.、Wang、W.、Bates、M.& Zhuang、X、「確率光学再構成顕微鏡検査による3次元超解像度撮像」、Science 319、810〜813(2008))。非点収差はCDROMディスクのレーザ照明による非撮像表面追跡(反射位置決め)でも使用される(例えば、G.Bouwhuis、J.Braatら「光ディスクシステムの原理」、Adam Hilger、ブリストル、ボストン、1985とS.G.Stan、「CD−ROMドライブ−システム概要」、Kluwar、ボストン、1998を参照)。複数の焦点面の画像特徴を同時に使用する自動顕微鏡検査用の自動焦点機構では、非点収差を利用してZ位置毎に2つの鮮明度測定を行う。反射位置決めと色収差を介して同時に複数の焦点面の画像特徴の使用とを組み合わせる自動顕微鏡検査用の多関数型自動焦点機構および手順のいくつかの側面で、我々は非点収差を利用し、色毎に2つの鮮明度測定を行う。
多関数型自動焦点の各種実施例は限定ではなく、以下の組み合わせを含む。
粗焦点用の反射位置決めと、別に記載される高精度焦点用の画像ベース自動焦点(例えば、Groen FCA、Young IT、Ligthart G、「自動焦点アルゴリズムで使用される様々な焦点関数の比較」、Cytometry、6:81〜91、1985;JH Price、DA Gough、「位相コントラスト顕微鏡および蛍光走査型顕微鏡のデジタル自動焦点関数の比較」、Cytometry、16(4):283〜297、1994;M Bravo−Zanoguera、B von Massenbach、AL Kellner、JH Price、「生物学的顕微鏡検査の高性能自動焦点回路」、Review of Scientific Instruments、69(11):3966〜3977、1998)との組み合わせ、
粗焦点用の反射位置決めと、図8のレンズ構造を用いる多面画像取得に基づく高精度焦点用の色収差を利用する画像ベース自動焦点との組み合わせであり、円柱レンズL0は使用せず、3つの光波長を使用して3色カメラで同時に3つの焦点面を撮像する組み合わせ、
粗焦点用の反射位置決めと、図8のレンズ構造を用いる多面画像取得に基づく高精度焦点用の色収差を利用する画像ベース自動焦点との組み合わせであり、円柱レンズL0が使用され、2つの焦点面がグレースケールカメラで同時に撮像され、カメラ毎に2つの追加焦点面が例えば、米国特許第4,636,051号の構造で3つのカメラから6つの焦点面を、Prabhatらの構造で4つのカメラから8つの焦点面を達成する(3Dでの細胞挙動研究用の蛍光顕微鏡検査における複数焦点面の同時撮像、Proc.SPIE6090、60900L−60901−60907(2006))組み合わせ、
粗焦点用の反射位置決めと、図8のレンズ構造を用いる多面画像取得に基づく高精度焦点用の色収差および非点収差を利用する画像ベース自動焦点との組み合わせであり、L0円柱レンズが使用され、6つの焦点面が3色カメラで同時に撮像される組み合わせ、
粗焦点用の反射位置決めと、光学を利用する多面画像取得に基づく高精度焦点用の色収差を用いる画像ベース自動焦点との組み合わせ。3つの3色カメラを使用する9色実施例を示す図15の構造はそれぞれ、3つの異なる焦点面での像を収集する。この組み合わせは、トリプル色マルチバンド干渉フィルタとビームスプリッタとを統合した特注のマルチバンドプリズムを使用する。図15は、9焦点面色モジュールのレイアウトを、3色プリズムのRGB帯域のそれぞれに分散される色サブ帯域の分布と共に示す。顕微鏡ポートからの9つの焦点面(9つの別々の色で標識付けされる)は分散リレー光学素子を通過する。各種リレー光学素子は、様々な光学素子を顕微鏡の構造に応じて選択できるように回転タレットに配置される。IR遮断フィルタが必要に応じて使用される。9色は統合薄膜干渉コーティングを施した3プリズム素子によって低、中、高帯域に分離される。各帯域は検出のために別個の3色カメラへと向かう。
粗焦点用の反射位置決めと、図8のレンズ構造を用いる多面画像取得に基づく色収差および高精度焦点用の非点収差を利用する画像ベース自動焦点との組み合わせであり、円柱レンズのリレーレンズ左への配置が、焦点面の数の2倍の鮮明度/解像度を測定する非点収差を導入し、図15の「9色モジュール」、光学素子、カメラで計18の焦点面をもたらす組み合わせ。
多関数型自動焦点を有する自動顕微鏡使用システム200の代表的な実施形態を図18に示す。多関数型自動焦点システムには、粗焦点用の反射位置決めと、多面画像取得に基づき最適焦点を判定する色収差および/または非点収差を用いる画像ベース自動焦点とが提供される。いくつかの側面では、多面画像取得は、図8の構造に対応するレンズ構造を使用する色収差と非点収差の組み合わせである。図18では、自動顕微鏡使用システム200は特定の対物レンズ/ステージ配向と、両者間の相対運動モードとを有するように示されている。言い換えると、対物レンズはステージの下方に配置され、合焦のため、ステージに対して光軸に沿って移動させられる。これは本図に示す原理をそのように限定することを目的とするものではない。実際には、対物レンズ/ステージの配向は、対物レンズがステージの上方に来るように反転させることができる。さらに、ステージは、合焦のために対物レンズに対して光軸に沿って移動させることができる。さらに、対物レンズとステージはそれぞれ合焦のために光軸に沿って移動させることができる。さらに、細胞計算分析用の像を取得するのに使用される科学カメラまたはそれらのカメラ用の光学素子を始動して、合焦のための光路長を変更することができる。好ましくは、粗焦点は、ステージおよび/または対物レンズを移動させる反射位置決め手順を用いて達成され、高精度焦点はステージ、対物レンズ、カメラ、可動光学素子のうち1つまたはそれ以上を移動させる多面自動焦点手順を用いて達成される。
図18を参照すると、自動顕微鏡使用システム200は、最適焦点に応答して科学カメラ222を精細に合焦する別の高精度焦点システムを含む。この高精度焦点システムは、顕微鏡筒の少なくとも部分的に外部の(外側に配置される)光学素子を含むため、外部高精度焦点(EFF)システム223と称される。図19Bに示すように、顕微鏡サイドポート268からEFFシステム223を通って移動する光は、撮像リレー光学システム333によって撮像システム220に、ひいては科学カメラ222に中継される。EFFシステム223は、矢印332で示されるようにミラーアセンブリ331をミラーアセンブリ330に対して移動させることによって科学カメラ222への光路を延長または短縮させて高精度焦点を提供する。好ましくは、ミラーアセンブリは、226を介して制御ユニット260とインタフェースをとるコントローラ225によって制御される音声コイルアクチュエータ(VCA)224により駆動される。少なくとも2つの利点がEFFから得られる。第1に、顕微鏡は定義では、拡大対物レンズとZ軸上で顕微鏡筒を介して位置合わせされるレンズ対とを使用して検出器(カメラ)上でサンプルの拡大画像を形成する。(Z軸に沿った)軸方向倍率は横方向倍率の二乗に比例するため(例えば、20倍の横方向倍率の対物レンズの場合、軸方向倍率は20×20で400倍である)、サンプル面での光路長の調節はサンプル面での極めて小さな調節(1/倍率2ずつ)となる。例えば、光路をサンプル面で100μm調節することは、サンプル面を((100μm)×(1/(20)2)=0.25μm調節することに相当する。この結果、対物レンズまたはステージを移動させる場合と比較してEFFで使用されるアクチュエータの機械的解像度要件は一層緩和される。第2に、自動焦点は、対物レンズまたはサンプルのZ位置を制御および調節するためのZ軸方向ポジショナ(保定装置)を必要とする。従来の顕微鏡検査プラットフォームでは、対物レンズ位置の迅速で確実な制御は、非規格化または特注制御機構のために難題である。EFFを使用して特定の顕微鏡プラットフォームに関係なく合焦させることは、同一のモジュールを他の顕微鏡プラットフォームのために使用できるという様式上の利点を提供する。さらに、EFFシステムの仕様は使用されるプラットフォームと無関係にすることができる。EFFシステムを使用することで、顕微鏡外の合焦を微細調整することができる。この機能は、多面自動焦点測定と組み合わせることで、プラットフォームに依存しない自動焦点モジュールの設計を可能にする。
画像ベース自動焦点は焦点指標を決定することと、通常は最適焦点に対応する最大値である点を焦点指標から選択することとを含む。好ましくは、焦点指標f(z)は、サンプルの様々なz位置に対してサンプル像に存在する中から高周波数コンテンツの相対量を算出することによって判定される。これに関しては、例えば、Bravo−Zanoguera、M.E.、Laris、C.A.、Nguyen、L.K.、Oliva、M.& Price、J.H.「自動顕微鏡検査における連続走査時間遅延積分像取得のための動的自動焦点」、Journal of Biomedical Optics12、34011/34011〜34016(2007)を参照されたい。その後、パワー加重平均(パワーウエイト平均、power−weighted average)を使用して最適焦点を算出する。
ただし、例えば、α=8はここで最適焦点の加重(重み付け)として使用される。焦点指標の算出は、各軸方向位置zで各画像iz(x,y)の水平次元xに沿って帯域通過畳込みフィルタh(x)を用いて達成される。
前の作業で、カメラが撮像システムのナイキスト遮断周波数の1.45倍でサンプリングしたという前提で多数のサンプルで上手く機能した31タップ帯域通過フィルタを設計した(Oliva、M.A.、Bravo−Zanoguera、M.& Price、J.H.「顕微鏡検査自動焦点のためのコントラスト反転の除去」、Applied Optics38、638〜646(1999))。しかし、対物レンズ、リレーレンズ、カメラの選択で異なる倍率と異なる実験セットアップのサンプリングが生じるため、我々は鮮明度測定にとって高周波数帯域の最適化を含む迅速な較正ステップを実行する。第1に、パワースペクトルは像の1次元全体で算出され、中高周波数が合計されて焦点指標(fz)を求める。
ただし、fy,nは1次元に沿った像の各線のパワースペクトルであり、Nはx方向の画素数であり、wnは各周波数nに使用される加重である(この例では、すべてのnでwn=1)。
図21Aは、多関数型自動焦点を備え、コントローラを含む制御機械によって制御される自動顕微鏡使用システムの動作方法を示す。図18の自動顕微鏡使用システム200は該方法を例示するために使用されるが、方法の他の自動顕微鏡使用システムへの適用を制限することを目的としていない。さらに、システムは増分走査モードでの動作として説明されるが、これは例示のためであって、方法の他の動作モードへの適用を阻むことを目的としていない。
(1)粗焦点を取得する。反射位置決めシステム230は、対物レンズ203を通じて観察される反射対象に関する粗焦点度を取得するように始動される。例えば、対象は、標本202にすぐ隣接するカバースリップ214の下面214sなどの標本支持体212の表面から反射させることができる。動作時、反射位置決めシステム230用の照明源はオンにされ、RP光学素子が対物レンズ203を介して光から像を形成する。表面214sから対物レンズ203を通ってRP光学素子へと反射して戻った光を用いて、反射像が合焦するまでZドライブは光軸に沿ってステージ207を移動させ続ける。Zドライブの制御は閉ループであり、この合焦ステップは画像ベース自動焦点システム240からの寄与なしに実行される。
(2)X−Y走査を介してステージ207を標本の新たな視野に移動させる。
(3)高精度焦点用の拡大画像を取得する。画像ベース自動焦点システム240は、反射位置決めシステム230によって判定される粗焦点Z位置での焦点面を含む、光軸に沿った焦点面の群から取得された標本202の1つまたはそれ以上の拡大された一連の画像に関して最適焦点を判定するように作動される。これに関して、自動焦点照明が起動される。例えば、図19の反射暗視野照明システム310はステージ207の走査と同期化されるストロボパルスによって始動される。
標本の少なくとも1つの拡大された一連の画像が取得される。好ましくは、画像ベース自動焦点システム240は、色収差を伴う非点収差を用いて少なくとも2つの拡大された一連の画像を取得する。
(4)高精度焦点を取得する。拡大された一連の画像が取得され、焦点算出を実行して最適焦点を判定する図18の自動焦点プログラミング261に提供される。例えば、だが限定ではなく、最適焦点の算出は式(2)および(3)に従い実行される。
(5)光軸に沿ったステージの位置の制御は、自動焦点プログラミング261の高精度焦点関数によって推定される。
(6)高精度焦点は粗焦点位置から算出された最適焦点位置へとステージ207を光軸に沿って移動させることによって取得され、算出された最適焦点位置が粗焦点位置に置き換えられる。蛍光撮像を想定すると、各蛍光チャネルに関し、ステージ207がチャネルにとって算出された最適焦点値へと光軸に沿って移動され、顕微鏡のフィルタ/照明設定がチャネル毎に変更される。
(7)標本の蛍光像が撮像システム220を介してチャネルから取得される。もしくは、粗焦点位置は単独で残され、外部高精度焦点が使用されて各蛍光カメラの高精度焦点を実行する。各蛍光カメラの別個のEFFシステムは、色収差または各自の細胞部分の軸方向位置の差による合焦差を補正するために予め較正されたオフセットを利用する。よって、EFFでは、高精度焦点は粗焦点とは関係なく作動し、各EFF/フィルタ/カメラの組み合わせは速度多チャネル(多色)蛍光像取得と並行して調節される。
(8)走査が完了していない場合、ステージ207は次の視野に移動させられ、前のシーケンス(手順)が繰り返される。さもなければ、別の標本がない場合、手順を出る。もしくは別の標本がある場合、前の手順をロードし開始する。
(370、371)較正値は式(4)および(5)により初期化される。好ましくは、だが必須ではなく、生(未処理)焦点値は、「スルーフォーカスZ群」、言い換えると、光軸に沿って延在し予め選択された焦点位置を含む一連の焦点面からの拡大された一連の画像から取得される。焦点位置は例えばユーザの目によって選択することができる。予め選択された焦点位置に対する代表的なスルーフォーカスZ群は−925、−800、−675、−550、−475、−400、−325、−275、−250、−225、−200、−192、−184、...(8のステップ)...、184、192、200、225、250、275、325、400、475、550、675、800、925である。これらのステップが25nm/ユニットの顕微鏡Z位置ユニットで表されるとき、総スルーフォーカスZ群は46μm以下である。これらの位置は単に例示であり、5μm組織部位に関して選択したものである。広範囲は正確なベースラインの推定を提供し、各焦点関数の幅に基づき8ユニット=0.2μmの最小ステップを選択した。より狭い範囲とより少ないステップをウェル−プレートに対して採用することもできる。蛍光モード例では、スルーフォーカスZ群が収集され、各色チャネルおよび各軸の焦点指標が算出される。よって、例えば、2つの自動焦点用CCDカメラ、3色、2非点収差軸の場合、群に関して12の焦点関数が算出される。焦点関数は式(6)による較正のために使用される生焦点関数である。
(372)反射位置決めが有効になり、粗焦点が取得される。色収差および非点収差を使用する画像ベース自動焦点はこの位置を補正する。次の反射位置決めの始動時(例えば、新たな標本がステージに置かれるとき、あるいはステージが新たなX−Y視野に移動されるとき)、反射位置決めシステムを安定させるのに一定の時間が必要となる場合がある。
(373)操作モード動作を想定し、ステージが新たなX−Y視野に移動する。
(374)新たな視野で、暗視野照明はストロボであり、単独の像が各自動焦点カメラ245aおよび245bで取得される。
(375)各カメラからの各色に関して、両非点収差軸の焦点指標を算出する。図18の例にしたがうと、2つの自動焦点用CCDカメラ、3色、2非点収差軸の場合、群に対して12の焦点関数が算出される。焦点関数は式(6)による較正のために使用される生焦点関数である。
(376)370、371で得られた較正情報を用いて焦点指標を較正する。例えば、式(6)を用いて、較正された各焦点指標に関して、その値に応じてシフトおよび倍率変更の生(未較正)値を較正開始スルーフォーカスZシリーズ中に記録した。これはf=(f_raw−shift)/scaleとなり、ここでのshiftとscaleは、各波長、カメラ、軸にとって固有である。
(377)画像内容に関して像の観察された視野をチェックする。これに関して、どの焦点指標も焦点指標の閾値より大きくない場合(例えば、0.1、較正視野と比較して焦点スペクトル帯域における像情報の10%未満)、視野は低コンテンツ(low content、少ない内容)を含むとみなされ、380で、焦点はデフォルトで反射位置決め(粗)焦点位置となり、反射位置決めシステムは無効にされる。蛍光像が粗焦点位置から所定のオフセット(ズレ量)で取得され、反射位置決めシステムが再度有効にされ(372)、ステージが次の視野位置に移動させられる(373)。少なくとも1つの焦点指標が0.1より大きい場合、新たな最適焦点が算出され、ステージが光軸に沿って最適焦点位置まで移動し(378)、粗関数値は、該方法が380、381等を通過する間、最適焦点値に更新される。なお、焦点指標の閾値を0.1とすることは任意であり、試行錯誤またはその他の方法によってその他の値を決定することもできる。
図23および図24を参照すると、多関数型自動焦点素子を自動顕微鏡使用システムに組み込むオープンフレーム設計により、スルー・ザ・レンズ(TTL)反射位置感知などの追加や、位相コントラストおよび微分干渉コントラストなどのその他の顕微鏡様式の組込み用の光路に対する直接的かつ簡易なアクセスを提供することができる。この設計は3倍対物レンズを有する。第1に、光学的損失と光学的散乱を低減するために光学部品の数を制限することが望ましい。第2に、光路の様々な位置へのアクセスを向上させ、機器に機能を容易に追加できることが望ましい。最後に、光学機械システムとのマイクロタイタープレートの並進を容易に組み込めるように不要なマウントおよびアセンブリ(例えば、接眼鏡)を排除することが望ましい。
図23および図24によると、オープンフレーム(open frame)は従来の顕微鏡ベース(Nikon(登録商標)Ti−Eなど)の代替となる。好ましくは、だが必須ではなく、設計は4ロッドLINOS(登録商標)Microbench光学機械構成を利用する。オープンフレーム顕微鏡は、316のステンレス鋼シャフト(プロトタイピング用)または低熱膨張カーボンファイバシャフト(製造用)のいずれかに装着される6013のアルミニウムマウントから成る。この設計では、追加のフィルタキューブやレーザ切断用の走査ポートなどの追加の部品をより容易に挿入することができる。我々は、このシステムに基づくアセンブリが機械的にも熱的にも極めて安定していると分かった。また、我々のHTS機器は振動絶縁と熱制御に関して制御された環境で使用されるため、熱ドリフトまたはその他の不安定性は無視できる程度である。
1.像取得カメラの最適焦点に反射感知位置(TTLまたはBTL)を較正する。
2.手動でまたはロボットで第1のサンプルを顕微鏡に置く。
3.走査領域を画定する、あるいは走査用ファイルからロードする。
4.上述し、式(4)〜(6)で定義されるように多面画像ベース自動焦点システムを較正する。
5.走査領域を画定する、あるいは走査用ファイルからロードする。
6.以下を含む自動走査を開始する(あるいは継続する)。
a.次の視野へのステージ移動を開始する(移動しつつ反射位置感知を介して表面をBTLプロファイルし、プロファイルを記録する)。
b.粗焦点:視野(TTL)へ移動しつつ、反射位置感知装置(BTL)または閉ループRPによって記録される位置までZ位置(焦点)を移動させ、焦点を調整する。
c.視野で停止し、自動焦点用の一連の画像を取得する。
d.式(2)および(3)を用いて最適焦点を算出する。
e.最適焦点(高精度焦点)へ移動する。
f.焦点画像を取得する。
i.像をハードドライブに保存する。
ii.次の視野の反射位置決めオフセット位置を更新して、基板および標本の変動厚を補償する。
g.走査が完了していない場合、
i.5を繰り返す。
h.操作が完了している場合、
i.別の標本がない場合、走査プログラムを出る。
ii.さもなければ、標本を取り出し次の標本を装填するようにロボットに信号を送り、第1の視野への移動を開始し、5に移る。
7.走査後または画像の取得および保存と並行して像分析を実行する。
1.反射感知位置を像取得カメラの最適焦点に較正する。
2.第1のサンプルを手動またはロボットでステージに置く。
3.走査領域を画定する、あるいは走査用ファイルからロードする。
4.上述し式(4)〜(6)に定義されるように画像ベース自動焦点システムを較正する。
5.以下を含む自動走査を実行する(あるいは継続する)。
a.次の視野が前の視野に隣接しない場合(例えば、標本の第1の視野、走査列の開始、新たなウェルの開始に当てはまる)。
i.視野の直前の水平位置へのステージ移動を開始し(自動焦点カメラが視野の中心に来る位置)、移動しつつ反射位置感知を介して表面をプロファイルし、プロファイルを記録する。
ii.第1の視野へ移動しつつ(前方を見る)反射位置感知装置から処理された位置へ軸方向位置(焦点)を移動させる。
iii.5.a.iおよび5.a.iiの水平方向および軸方向移動を完了させる。
iv.ストロボ照射して自動焦点カメラで一連の画像を生成し、以下を並行に実行する。
1.撮像視野への水平ステージ移動を開始する。
2.一連の画像を自動焦点カメラからコントローラへダウンロードする。
a.式(2)および(3)により最適焦点を算出する。
b.最終の最適な焦点位置への軸方向移動を開始する。
3.水平方向および軸方向移動を完了させる。
4.自動焦点カメラに一連の画像を生成させるためにストロボ照射する。
v.焦点画像の取得を開始する。
1.一連の画像を自動焦点カメラからダウンロードする。
a.式(2)および(3)により最適焦点を算出する。
b.最適焦点位置を記憶する。
vi.焦点画像の取得を完了する。
1.像をハードドライブに保存する。
2.次の視野の反射位置決めオフセット位置を更新して、標本ホルダおよび標本の厚さの変動を補償する。
b.次の視野が現行の視野に隣接する場合、
i.次の視野へのステージ移動を開始する。
ii.最適な焦点位置への軸方向移動を開始する。
iii.水平方向ステージおよび軸方向焦点の移動を完了させる。
iv.ストロボ照射して自動焦点カメラに隣接した視野の一連の画像を生成する。
v.焦点画像の取得を開始する。
vi.自動焦点カメラから一連の画像をダウンロードする。
1.式(2)および(3)を用いて最適焦点を算出する。
2.最適焦点位置を記憶する。
vii.焦点画像の取得を完了する。
1.画像をハードドライブに保存する。
2.次の視野の反射位置決めオフセット位置を更新して、基板および標本の厚さの変動を補償する。
c.走査が完了していない場合、
i.5を繰り返す。
d.操作が完了している場合、
i.別の標本がない場合、走査プログラムを出る。
ii.さもなければ、標本を取り出し、次の標本を装填するようにロボットに信号を送る。
a.5を繰り返す。
6.走査後または画像の取得および保存と並行して像分析を実行する
Claims (26)
- 画像ベース自動焦点システムを用いて、拡大された画像における複数の焦点面の画像特徴を同時に測定する自動顕微鏡使用システムであって、前記画像ベース自動焦点システムが前記拡大された画像を形成する光を伝達する少なくとも一つの光路を備えており、前記光路が、前記少なくとも一つの光路内の光に非点収差を導入する非点収差光学手段を備えている自動顕微鏡使用システム。
- 前記非点収差光学手段が円柱レンズを備えている請求項1に記載の自動顕微鏡使用システム。
- 前記非点収差光学手段が二つの半円柱レンズを備えている請求項1に記載の自動顕微鏡使用システム。
- 前記画像ベース自動焦点システムが、前記画像特徴に基づいて最適焦点を算出する手段をさらに備えている請求項1に記載の自動顕微鏡使用システム。
- 前記光路が光に色収差を導入して、異なる色の光を異なる焦点面で合焦させる請求項1に記載の自動顕微鏡使用システム。
- 前記非点収差光学手段が、円柱レンズである請求項5に記載の自動顕微鏡使用システム。
- 前記非点収差光学手段が、二つの半円柱レンズを備えている請求項5に記載の自動顕微鏡使用システム。
- 前記画像ベース自動焦点システムが拡大された一連の画像を同時に取得し、それぞれの拡大された画像が前記複数の焦点面の各焦点面から取得され、コントローラがそれぞれの拡大された画像の画像特徴を算出し、前記画像特徴から最適焦点を判定する請求項1に記載の自動顕微鏡使用システム。
- 前記画像ベース自動焦点システムが拡大された一連の画像を同時に取得し、それぞれの拡大された画像が前記複数の焦点面の各焦点面から取得され、コントローラが自動焦点の焦点指標を算出する請求項1に記載の自動顕微鏡使用システム。
- 前記画像ベース自動焦点システムが拡大された一連の画像を同時に取得し、それぞれの拡大された画像が特定の色の光を有し、各色の光が色収差により異なる焦点面で合焦する像を提供し、コントローラが各像に対して二つ以上の焦点面から画像特徴を算出する請求項1に記載の自動顕微鏡使用システム。
- 前記光路がカメラを有する各自の多面光学サブシステムに光を送り、前記カメラが異なる焦点面に位置決めされ、ビームスプリッタが前記多面光学サブシステム間に光を分配する請求項1に記載の自動顕微鏡使用システム。
- 各カメラが前記複数の焦点面に関して一連の画像特徴を生成し、コントローラが前記画像特徴を使用して前記複数の焦点面のそれぞれの焦点指標を算出する請求項11に記載の自動顕微鏡使用システム。
- 前記複数の焦点面が光軸に沿って分布しており、前記画像ベース自動焦点システムが前記複数の焦点面で複数の拡大された画像を同時に取得する請求項1に記載の自動顕微鏡使用システム。
- 対象面からの所定距離に対応する粗焦点を推定する手段と、前記複数の焦点面の各焦点面に対応する高精度焦点位置を推定する手段と、前記2つの推定を組み合わせて最適焦点位置を提供し、前記最適焦点位置へ焦点を調節するプログラム可能なコントローラと、を備えている請求項1に記載の自動顕微鏡使用システム。
- 標本を走査する手段と、複数の走査位置の各走査位置の前記標本に関して前記最適焦点位置を更新する多関数型自動焦点手段と、を備えている請求項14に記載の自動顕微鏡使用システム。
- 前記標本の測定を行う手段を備えている請求項15に記載の自動顕微鏡使用システム。
- 対物レンズと、ステージと、前記対物レンズおよび前記ステージを通過する光軸とを含む自動顕微鏡使用システムを合焦させる方法であって、
反射位置決めシステムで粗焦点値を取得するステップと、
前記粗焦点値に対応する粗焦点を取得するステップと、
画像ベース自動焦点システムで高精度焦点値を取得するステップと、
前記粗焦点値を前記高精度焦点値で更新するステップと、
前記対物レンズと前記ステージ間の相対移動を生じさせて前記更新された粗焦点値に対応する高精度焦点を取得するステップと、を備えている方法。 - 画像ベース自動焦点システムで高精度焦点値を取得するステップが、標本からの光を前記画像ベース自動焦点システムに方向付けるステップと、光が前記画像ベース自動焦点システムに伝送されるときに光に非点収差を導入するステップと、光から前記標本の焦点面の画像群を同時に生成するステップと、前記群から最適焦点値を取得するステップと、を含んでおり、前記最適焦点値が前記高精度焦点値である請求項17に記載の方法。
- 光から前記標本の焦点面の画像群を同時に生成するステップが、光に前記非点収差と共に色収差を導入するステップを含む請求項18に記載の方法。
- 標本からの光を前記画像ベース自動焦点システムに方向付けるステップが、傾斜または暗視野反射照明を前記対物レンズを通じて前記標本に方向付けるステップと、前記標本によって散乱される傾斜または暗視野照明を前記対物レンズを通じて前記画像ベース自動焦点システムに方向付けるステップと、を含む請求項18に記載の方法。
- 光から前記標本の焦点面の画像群を同時に生成するステップが、前記標本によって散乱される前記暗視野照明に色収差を導入することを含む請求項20に記載の方法。
- 反射位置決めシステムで粗焦点値を取得するステップが、前記対物レンズと前記対物レンズの隣のセンサのうち一方を通じて反射画像を感知するステップを含む請求項21に記載の方法。
- 対物レンズと、ステージと、前記対物レンズおよび前記ステージを通過する光軸とを備えた自動顕微鏡使用システムを作動させる方法であって、
前記自動顕微鏡使用システムが、
対象面から反射される像に応答して粗焦点位置を取得するステップと、
次に、非点収差を光学システムに導入する手段によって、画像内で同時に光軸に沿って延在する焦点面の群の一焦点面に関連付けられる最適焦点値により前記粗焦点位置を調節するステップと、
前記対物レンズ、前記ステージ、外部高精度焦点機構のうち一つを前記最適焦点値に対応する焦点位置に位置決めするステップと、
を実行する方法。 - 前記自動顕微鏡使用システムが前記ステージのX−Y走査を実行する間に実行される請求項23に記載の方法。
- 前記X−Y走査が増分走査と連続走査のうちの一方である請求項24の方法。
- 各像が前記焦点面の群の各焦点面から取得され、
前記自動顕微鏡使用システムが
各像の焦点指標を取得するステップと、
各焦点指標を較正するステップと、
較正された焦点指標毎に画像内容の存在を判定するステップと、
十分な画像内容が少なくとも一つの焦点指標に関して存在する場合に前記最適焦点を算出するステップと、
を実行する請求項25に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/317,727 | 2011-10-25 | ||
US13/317,727 US10001622B2 (en) | 2011-10-25 | 2011-10-25 | Multifunction autofocus system and method for automated microscopy |
PCT/US2012/061667 WO2013063096A1 (en) | 2011-10-25 | 2012-10-24 | Multifunction autofocus system and method for automated microscopy |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017111715A Division JP2017182086A (ja) | 2011-10-25 | 2017-06-06 | 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015502566A true JP2015502566A (ja) | 2015-01-22 |
JP6158197B2 JP6158197B2 (ja) | 2017-07-05 |
Family
ID=48135645
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014538923A Expired - Fee Related JP6158197B2 (ja) | 2011-10-25 | 2012-10-24 | 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法 |
JP2017111715A Pending JP2017182086A (ja) | 2011-10-25 | 2017-06-06 | 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017111715A Pending JP2017182086A (ja) | 2011-10-25 | 2017-06-06 | 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10001622B2 (ja) |
EP (1) | EP2771882A4 (ja) |
JP (2) | JP6158197B2 (ja) |
WO (1) | WO2013063096A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016515718A (ja) * | 2013-03-22 | 2016-05-30 | ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー | 点状物体の局在化のための光学顕微鏡法 |
WO2017090211A1 (ja) * | 2015-11-27 | 2017-06-01 | 株式会社ニコン | 顕微鏡装置 |
JP2018512609A (ja) * | 2015-02-18 | 2018-05-17 | アボット ラボラトリーズ | 顕微鏡を基体上に自動的に合焦するための方法、システム、及び装置 |
Families Citing this family (86)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008029661A1 (de) * | 2008-06-24 | 2009-12-31 | Khs Ag | Redundante Inspektion |
JP5220172B2 (ja) * | 2011-08-22 | 2013-06-26 | キヤノン株式会社 | 画像取得装置、画像取得システム、および対物光学系 |
US10001622B2 (en) | 2011-10-25 | 2018-06-19 | Sanford Burnham Medical Research Institute | Multifunction autofocus system and method for automated microscopy |
TWI434022B (zh) * | 2011-11-29 | 2014-04-11 | Univ Nat Taipei Technology | 彩色共焦顯微系統及其訊號處理方法 |
EP3466335A1 (en) * | 2011-12-21 | 2019-04-10 | Catherine M. Shachaf | Fluorescence imaging autofocus method |
JP2014056078A (ja) * | 2012-09-12 | 2014-03-27 | Canon Inc | 画像取得装置、画像取得システム及び顕微鏡装置 |
CN103679687A (zh) * | 2012-09-18 | 2014-03-26 | 杭州海康威视数字技术股份有限公司 | 一种智能跟踪高速球机的目标跟踪的方法 |
US9547160B2 (en) | 2013-01-05 | 2017-01-17 | Light Labs Inc. | Methods and apparatus for capturing and/or processing images |
AU2014292179B2 (en) * | 2013-07-18 | 2017-12-07 | Ventana Medical Systems, Inc. | Auto-focus methods and systems for multi-spectral imaging |
US9557519B2 (en) | 2013-10-18 | 2017-01-31 | Light Labs Inc. | Methods and apparatus for implementing a camera device supporting a number of different focal lengths |
US9578252B2 (en) | 2013-10-18 | 2017-02-21 | Light Labs Inc. | Methods and apparatus for capturing images using optical chains and/or for using captured images |
US9374514B2 (en) | 2013-10-18 | 2016-06-21 | The Lightco Inc. | Methods and apparatus relating to a camera including multiple optical chains |
US9467627B2 (en) | 2013-10-26 | 2016-10-11 | The Lightco Inc. | Methods and apparatus for use with multiple optical chains |
US9736365B2 (en) | 2013-10-26 | 2017-08-15 | Light Labs Inc. | Zoom related methods and apparatus |
US9426365B2 (en) | 2013-11-01 | 2016-08-23 | The Lightco Inc. | Image stabilization related methods and apparatus |
JP6317572B2 (ja) * | 2013-11-26 | 2018-04-25 | 株式会社ミツトヨ | 寸法測定装置、寸法測定方法及び校正用チャート |
US9658444B2 (en) * | 2013-12-18 | 2017-05-23 | National Security Technologies, Llc | Autofocus system and autofocus method for focusing on a surface |
US9554031B2 (en) | 2013-12-31 | 2017-01-24 | Light Labs Inc. | Camera focusing related methods and apparatus |
US9979878B2 (en) | 2014-02-21 | 2018-05-22 | Light Labs Inc. | Intuitive camera user interface methods and apparatus |
US9462170B2 (en) * | 2014-02-21 | 2016-10-04 | The Lightco Inc. | Lighting methods and apparatus |
JP6305175B2 (ja) * | 2014-04-10 | 2018-04-04 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム |
US9214011B2 (en) * | 2014-05-05 | 2015-12-15 | Sony Corporation | Camera defocus direction estimation |
US10473906B2 (en) * | 2014-05-30 | 2019-11-12 | Nikon Corporation | Microscope |
US9439568B2 (en) * | 2014-07-03 | 2016-09-13 | Align Technology, Inc. | Apparatus and method for measuring surface topography optically |
US10191356B2 (en) | 2014-07-04 | 2019-01-29 | Light Labs Inc. | Methods and apparatus relating to detection and/or indicating a dirty lens condition |
US10110794B2 (en) | 2014-07-09 | 2018-10-23 | Light Labs Inc. | Camera device including multiple optical chains and related methods |
WO2016022359A1 (en) * | 2014-08-06 | 2016-02-11 | Cellomics, Inc. | Image-based laser autofocus system |
EP3186778B1 (en) * | 2014-08-27 | 2023-01-11 | S.D. Sight Diagnostics Ltd. | System and method for calculating focus variation for a digital microscope |
WO2016050767A1 (en) | 2014-09-29 | 2016-04-07 | Biosurfit S.A. | Focusing method |
US10139608B2 (en) | 2014-10-02 | 2018-11-27 | The Regents Of The University Of California | Selective plane illumination microscopy (SPIM) systems and methods |
WO2016061565A1 (en) | 2014-10-17 | 2016-04-21 | The Lightco Inc. | Methods and apparatus for using a camera device to support multiple modes of operation |
EP3235243A4 (en) | 2014-12-17 | 2018-06-20 | Light Labs Inc. | Methods and apparatus for implementing and using camera devices |
US9544503B2 (en) | 2014-12-30 | 2017-01-10 | Light Labs Inc. | Exposure control methods and apparatus |
US9824427B2 (en) | 2015-04-15 | 2017-11-21 | Light Labs Inc. | Methods and apparatus for generating a sharp image |
US9967535B2 (en) | 2015-04-17 | 2018-05-08 | Light Labs Inc. | Methods and apparatus for reducing noise in images |
US10091447B2 (en) | 2015-04-17 | 2018-10-02 | Light Labs Inc. | Methods and apparatus for synchronizing readout of multiple image sensors |
US10075651B2 (en) | 2015-04-17 | 2018-09-11 | Light Labs Inc. | Methods and apparatus for capturing images using multiple camera modules in an efficient manner |
US9857584B2 (en) | 2015-04-17 | 2018-01-02 | Light Labs Inc. | Camera device methods, apparatus and components |
US9930233B2 (en) | 2015-04-22 | 2018-03-27 | Light Labs Inc. | Filter mounting methods and apparatus and related camera apparatus |
WO2016168941A1 (en) | 2015-04-23 | 2016-10-27 | The University Of British Columbia | Multifocal method and apparatus for stabilization of optical systems |
US10061972B2 (en) | 2015-05-28 | 2018-08-28 | Tokitae Llc | Image analysis systems and related methods |
US9836839B2 (en) | 2015-05-28 | 2017-12-05 | Tokitae Llc | Image analysis systems and related methods |
US10129483B2 (en) | 2015-06-23 | 2018-11-13 | Light Labs Inc. | Methods and apparatus for implementing zoom using one or more moveable camera modules |
US9816804B2 (en) * | 2015-07-08 | 2017-11-14 | Google Inc. | Multi functional camera with multiple reflection beam splitter |
US10491806B2 (en) | 2015-08-03 | 2019-11-26 | Light Labs Inc. | Camera device control related methods and apparatus |
US10365480B2 (en) | 2015-08-27 | 2019-07-30 | Light Labs Inc. | Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices |
US9749549B2 (en) | 2015-10-06 | 2017-08-29 | Light Labs Inc. | Methods and apparatus for facilitating selective blurring of one or more image portions |
TWI583919B (zh) * | 2015-12-03 | 2017-05-21 | 財團法人金屬工業研究發展中心 | 非接觸式三維掃描系統及其方法 |
US10003738B2 (en) | 2015-12-18 | 2018-06-19 | Light Labs Inc. | Methods and apparatus for detecting and/or indicating a blocked sensor or camera module |
US10225445B2 (en) | 2015-12-18 | 2019-03-05 | Light Labs Inc. | Methods and apparatus for providing a camera lens or viewing point indicator |
JP2017131559A (ja) * | 2016-01-29 | 2017-08-03 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用撮像装置、医療用画像取得システム及び内視鏡装置 |
KR101850363B1 (ko) * | 2016-02-16 | 2018-04-20 | 주식회사 이오테크닉스 | 촬영장치 및 촬영방법 |
US10306218B2 (en) | 2016-03-22 | 2019-05-28 | Light Labs Inc. | Camera calibration apparatus and methods |
US10122975B2 (en) * | 2016-05-19 | 2018-11-06 | Panasonic Intellectual Property Management Co., Ltd. | Endoscope and endoscope system |
US9948832B2 (en) | 2016-06-22 | 2018-04-17 | Light Labs Inc. | Methods and apparatus for synchronized image capture in a device including optical chains with different orientations |
US10908072B2 (en) | 2016-12-15 | 2021-02-02 | The Board Of Regents Of The University Of Texas System | Total internal reflection and transmission illumination fluorescence microscopy imaging system with improved background suppression |
US10477097B2 (en) * | 2017-01-03 | 2019-11-12 | University Of Connecticut | Single-frame autofocusing using multi-LED illumination |
EP3396430B1 (en) * | 2017-04-27 | 2023-08-16 | Euroimmun Medizinische Labordiagnostika AG | Optical scanning arrangement and method |
GB201710294D0 (en) * | 2017-06-28 | 2017-08-09 | Infinitesima Ltd | Scanning probe microscope |
EP3441812B1 (en) | 2017-08-11 | 2020-07-01 | Tecan Trading Ag | Pattern based autofocus method for a microscopy |
DE102017214189A1 (de) * | 2017-08-15 | 2019-02-21 | Carl Zeiss Microscopy Gmbh | Verfahren zum Betrieb einer Mikroskopieranordnung und Mikroskopieranordnung mit einem ersten Mikroskop und mindestens einem weiteren Mikroskop |
CN107367829B (zh) * | 2017-08-16 | 2023-10-31 | 桂林优利特医疗电子有限公司 | 单镜头分光变倍显微镜系统 |
US20200355900A1 (en) * | 2017-10-30 | 2020-11-12 | Wdi Wise Device Inc. | Method and apparatus for autofocussing an optical microscope and dynamic focus tracking |
GB201721430D0 (en) * | 2017-12-20 | 2018-01-31 | Q-Linea Ab | Method and device for microscopy-based imaging of samples |
EP3759540A4 (en) * | 2018-02-26 | 2022-03-16 | Caliber Imaging & Diagnostics, Inc. | EX-VIVO MACROSCOPIC AND MICROSCOPIC TISSUE IMAGING SYSTEM AND METHOD |
US11268829B2 (en) | 2018-04-23 | 2022-03-08 | Corephotonics Ltd | Optical-path folding-element with an extended two degree of freedom rotation range |
EP3614192A1 (en) | 2018-08-20 | 2020-02-26 | Till GmbH | Microscope device |
DK3709258T3 (da) * | 2019-03-12 | 2023-07-10 | L & T Tech Services Limited | Generering af sammensat billede ud fra talrige billeder taget for objekt |
US20220203361A1 (en) * | 2019-04-26 | 2022-06-30 | The Johns Hopkins University | Methods and materials for treating cancer |
US10694113B1 (en) * | 2019-05-01 | 2020-06-23 | Xiris Automation Inc. | Dark field illumination for laser beam delivery system |
CN110764244B (zh) * | 2019-11-05 | 2022-03-18 | 安图实验仪器(郑州)有限公司 | 显微镜压片镜检自动对焦方法 |
US10880468B1 (en) * | 2019-12-19 | 2020-12-29 | Mitutoyo Corporation | Metrology system with transparent workpiece surface mode |
WO2021138633A1 (en) * | 2019-12-31 | 2021-07-08 | Illumina, Inc. | Autofocus functionality in optical sample analysis |
US11060138B1 (en) | 2020-01-17 | 2021-07-13 | Element Biosciences, Inc. | Nucleic acid sequencing systems |
EP3961280A1 (en) * | 2020-08-27 | 2022-03-02 | Leica Instruments (Singapore) Pte. Ltd. | An autofocus system, an optical system, a method for an autofocus system and a computer program |
CN112233040B (zh) * | 2020-10-29 | 2024-02-20 | 南京理工大学智能计算成像研究院有限公司 | 一种自动离焦校正的傅里叶叠层显微成像方法 |
CN112697789B (zh) * | 2020-12-09 | 2023-01-13 | 山东志盈医学科技有限公司 | 数字切片扫描仪的图像聚焦方法及装置 |
JP2022106529A (ja) * | 2021-01-07 | 2022-07-20 | 株式会社Screenホールディングス | 合焦位置検出方法、合焦位置検出装置および合焦位置検出用プログラム |
KR102638173B1 (ko) * | 2021-06-08 | 2024-02-19 | 코어포토닉스 리미티드 | 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라 |
CN117321466A (zh) * | 2021-06-08 | 2023-12-29 | 核心光电有限公司 | 用于使超微距图像的焦平面倾斜的系统和相机 |
WO2023049504A1 (en) * | 2021-09-27 | 2023-03-30 | Thrive Bioscience, Inc | Method and apparatus for calibrating an imaging system |
CN113766139B (zh) * | 2021-09-29 | 2023-07-18 | 广东朝歌智慧互联科技有限公司 | 一种调焦的装置和方法 |
SE2250140A1 (en) * | 2022-02-11 | 2023-08-12 | Cellink Bioprinting Ab | Imaging apparatus and method for determning a focal point of a well-plate |
WO2024006245A1 (en) * | 2022-07-01 | 2024-01-04 | Owl biomedical, Inc. | Illumination and imaging system in tdi-based continuous line scanning microscopy |
CN115190247B (zh) * | 2022-09-07 | 2022-12-13 | 国仪量子(合肥)技术有限公司 | 消像散方法、消像散装置、电子设备和存储介质 |
CN117705775B (zh) * | 2024-02-05 | 2024-04-26 | 中国科学院长春光学精密机械与物理研究所 | 多色荧光显微成像系统、成像方法、自动聚焦方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09281384A (ja) * | 1996-04-17 | 1997-10-31 | Citizen Watch Co Ltd | オートフォーカス制御装置 |
WO2009085218A1 (en) * | 2007-12-21 | 2009-07-09 | President And Fellows Of Harvard College | Sub-diffraction limit image resolution in three dimensions |
JP2011501209A (ja) * | 2007-10-11 | 2011-01-06 | スリーエム イノベイティブ プロパティズ カンパニー | 色共焦点センサ |
Family Cites Families (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4025949A (en) * | 1975-12-31 | 1977-05-24 | Zenith Radio Corporation | Symmetrical astigmatic focus sensing system |
JPS56147350A (en) * | 1980-04-16 | 1981-11-16 | Nichidenshi Tekunikusu:Kk | Correction method and performing device of astigmatism |
JPS57158820A (en) * | 1981-03-27 | 1982-09-30 | Olympus Optical Co Ltd | Method for focusing detection |
JP2735220B2 (ja) * | 1987-12-02 | 1998-04-02 | 株式会社日立製作所 | 非点収差を有する光束を用いた焦点ずれ検出方法及び光ディスク装置 |
US5161052A (en) | 1991-03-29 | 1992-11-03 | Tandem Scanning Corporation | Steroscopic tandem scanning reflected light confocal microscope |
US5790710A (en) | 1991-07-12 | 1998-08-04 | Jeffrey H. Price | Autofocus system for scanning microscopy |
US5548661A (en) | 1991-07-12 | 1996-08-20 | Price; Jeffrey H. | Operator independent image cytometer |
JPH07177527A (ja) | 1993-12-16 | 1995-07-14 | Sony Corp | 多板式電子カメラのオートフォーカス調整装置 |
US5790692A (en) | 1994-09-07 | 1998-08-04 | Jeffrey H. Price | Method and means of least squares designed filters for image segmentation in scanning cytometry |
KR0156800B1 (ko) * | 1995-02-10 | 1998-12-15 | 이대원 | 레이저 다이오드를 이용한 자동 초점 조절 장치 |
JPH08289191A (ja) | 1995-04-17 | 1996-11-01 | Sony Corp | 撮像装置 |
US6215892B1 (en) * | 1995-11-30 | 2001-04-10 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
US6718053B1 (en) * | 1996-11-27 | 2004-04-06 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
DE19612846C2 (de) | 1996-03-30 | 2000-04-20 | Zeiss Carl Jena Gmbh | Anordnung zur Erzeugung eines definierten Farblängsfehlers in einem konfokalen mikroskopischen Strahlengang |
JP3673049B2 (ja) | 1997-02-04 | 2005-07-20 | オリンパス株式会社 | 共焦点顕微鏡 |
US5995143A (en) | 1997-02-07 | 1999-11-30 | Q3Dm, Llc | Analog circuit for an autofocus microscope system |
DE19713362A1 (de) | 1997-03-29 | 1998-10-01 | Zeiss Carl Jena Gmbh | Konfokale mikroskopische Anordnung |
JPH1152255A (ja) | 1997-07-30 | 1999-02-26 | Olympus Optical Co Ltd | 拡大観察装置 |
JP2000009591A (ja) | 1998-06-25 | 2000-01-14 | Omron Corp | 検査装置 |
US6640014B1 (en) | 1999-01-22 | 2003-10-28 | Jeffrey H. Price | Automatic on-the-fly focusing for continuous image acquisition in high-resolution microscopy |
JP4069545B2 (ja) * | 1999-05-19 | 2008-04-02 | 株式会社日立製作所 | 電子顕微方法及びそれを用いた電子顕微鏡並び生体試料検査方法及び生体検査装置 |
US6734962B2 (en) | 2000-10-13 | 2004-05-11 | Chemimage Corporation | Near infrared chemical imaging microscope |
US6839469B2 (en) | 2000-01-21 | 2005-01-04 | Lam K. Nguyen | Multiparallel three dimensional optical microscopy system |
JP2001272708A (ja) | 2000-03-28 | 2001-10-05 | Fuji Photo Optical Co Ltd | 可視/赤外両用撮像装置 |
US6547397B1 (en) * | 2000-04-19 | 2003-04-15 | Laser Projection Technologies, Inc. | Apparatus and method for projecting a 3D image |
US6711283B1 (en) * | 2000-05-03 | 2004-03-23 | Aperio Technologies, Inc. | Fully automatic rapid microscope slide scanner |
US7518652B2 (en) * | 2000-05-03 | 2009-04-14 | Aperio Technologies, Inc. | Method and apparatus for pre-focus in a linear array based slide scanner |
JP3297423B2 (ja) * | 2000-08-09 | 2002-07-02 | 株式会社東芝 | フォーカステストマスク、並びにそれを用いたフォーカス及び収差の測定方法 |
US6875973B2 (en) * | 2000-08-25 | 2005-04-05 | Amnis Corporation | Auto focus for a flow imaging system |
US20030085334A1 (en) | 2000-11-15 | 2003-05-08 | Yakov Reznichenko | Focusing system and method for use in imaging systems |
US7151246B2 (en) * | 2001-07-06 | 2006-12-19 | Palantyr Research, Llc | Imaging system and methodology |
US7756305B2 (en) | 2002-01-23 | 2010-07-13 | The Regents Of The University Of California | Fast 3D cytometry for information in tissue engineering |
US6760154B1 (en) | 2002-06-04 | 2004-07-06 | Biotechs, Inc. | Microscope system with continuous autofocus |
JP4370554B2 (ja) | 2002-06-14 | 2009-11-25 | 株式会社ニコン | オートフォーカス装置およびオートフォーカス付き顕微鏡 |
GB0304568D0 (en) * | 2003-02-27 | 2003-04-02 | Isis Innovation | Microscopic imaging device |
JP4384446B2 (ja) * | 2003-06-03 | 2009-12-16 | オリンパス株式会社 | オートフォーカス方法及びその装置 |
JP2005202092A (ja) | 2004-01-15 | 2005-07-28 | Hitachi Kokusai Electric Inc | 合焦点検出方法及びそれを用いた光学顕微鏡 |
US7262419B2 (en) | 2004-05-05 | 2007-08-28 | 1192062 Alberta Ltd. | Fluorescence absorption microscopy |
JP4782391B2 (ja) | 2004-06-16 | 2011-09-28 | オリンパス株式会社 | 顕微鏡システム |
US7697750B2 (en) | 2004-12-06 | 2010-04-13 | John Castle Simmons | Specially coherent optics |
DE102005013152B4 (de) * | 2005-03-22 | 2007-11-15 | Leica Microsystems Cms Gmbh | Automatisiertes Mikroskop |
JP2007047228A (ja) | 2005-08-05 | 2007-02-22 | Olympus Corp | 結像光学装置、及び光学ユニット |
EP1930717B1 (en) * | 2005-09-29 | 2019-06-19 | Olympus Corporation | Focal position determining method and apparatus |
DE102006004232C5 (de) | 2006-01-30 | 2013-08-01 | Carl Zeiss Surgical Gmbh | Mikroskopiesystem |
JP2008116900A (ja) | 2006-10-11 | 2008-05-22 | Olympus Corp | 干渉対物レンズと、その干渉対物レンズを備える干渉顕微鏡装置 |
TWI324015B (en) * | 2006-12-22 | 2010-04-21 | Ind Tech Res Inst | Autofocus searching method |
JP4951433B2 (ja) * | 2007-07-24 | 2012-06-13 | ペンタックスリコーイメージング株式会社 | 焦点調節方法及び焦点調節装置 |
US8878923B2 (en) * | 2007-08-23 | 2014-11-04 | General Electric Company | System and method for enhanced predictive autofocusing |
US7787112B2 (en) | 2007-10-22 | 2010-08-31 | Visiongate, Inc. | Depth of field extension for optical tomography |
JP4958812B2 (ja) * | 2008-02-21 | 2012-06-20 | パナソニック株式会社 | カメラ装置およびフォーカス調整支援方法 |
WO2009113647A1 (ja) * | 2008-03-14 | 2009-09-17 | 株式会社ニコン | 顕微鏡システム |
US7948630B2 (en) * | 2008-10-08 | 2011-05-24 | Tokyo Electron Limited | Auto focus of a workpiece using two or more focus parameters |
WO2010044870A1 (en) * | 2008-10-14 | 2010-04-22 | The Burnham Institute For Medical Research | Automated scanning cytometry using chromatic aberration for multiplanar image acquisition |
US8531581B2 (en) * | 2011-05-23 | 2013-09-10 | Ricoh Co., Ltd. | Focusing and focus metrics for a plenoptic imaging system |
US10001622B2 (en) | 2011-10-25 | 2018-06-19 | Sanford Burnham Medical Research Institute | Multifunction autofocus system and method for automated microscopy |
-
2011
- 2011-10-25 US US13/317,727 patent/US10001622B2/en active Active
-
2012
- 2012-10-24 EP EP12843732.4A patent/EP2771882A4/en not_active Withdrawn
- 2012-10-24 JP JP2014538923A patent/JP6158197B2/ja not_active Expired - Fee Related
- 2012-10-24 WO PCT/US2012/061667 patent/WO2013063096A1/en active Application Filing
-
2017
- 2017-06-06 JP JP2017111715A patent/JP2017182086A/ja active Pending
-
2018
- 2018-06-18 US US16/011,610 patent/US20180307005A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09281384A (ja) * | 1996-04-17 | 1997-10-31 | Citizen Watch Co Ltd | オートフォーカス制御装置 |
JP2011501209A (ja) * | 2007-10-11 | 2011-01-06 | スリーエム イノベイティブ プロパティズ カンパニー | 色共焦点センサ |
WO2009085218A1 (en) * | 2007-12-21 | 2009-07-09 | President And Fellows Of Harvard College | Sub-diffraction limit image resolution in three dimensions |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016515718A (ja) * | 2013-03-22 | 2016-05-30 | ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー | 点状物体の局在化のための光学顕微鏡法 |
JP2018512609A (ja) * | 2015-02-18 | 2018-05-17 | アボット ラボラトリーズ | 顕微鏡を基体上に自動的に合焦するための方法、システム、及び装置 |
WO2017090211A1 (ja) * | 2015-11-27 | 2017-06-01 | 株式会社ニコン | 顕微鏡装置 |
JPWO2017090211A1 (ja) * | 2015-11-27 | 2018-09-06 | 株式会社ニコン | 顕微鏡装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2013063096A1 (en) | 2013-05-02 |
US20180307005A1 (en) | 2018-10-25 |
EP2771882A4 (en) | 2015-07-29 |
US10001622B2 (en) | 2018-06-19 |
JP2017182086A (ja) | 2017-10-05 |
US20130100272A1 (en) | 2013-04-25 |
EP2771882A1 (en) | 2014-09-03 |
JP6158197B2 (ja) | 2017-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6158197B2 (ja) | 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法 | |
US10330906B2 (en) | Imaging assemblies with rapid sample auto-focusing | |
US8760756B2 (en) | Automated scanning cytometry using chromatic aberration for multiplanar image acquisition | |
US9575308B2 (en) | Slide scanner with dynamic focus and specimen tilt and method of operation | |
EP2758825B1 (en) | Slide scanner with a tilted image plane | |
EP2256534B1 (en) | In-vivo examination apparatus | |
JP4544904B2 (ja) | 光学系 | |
EP3368887B1 (en) | Method with transillumination-based autofocusing for photoluminescence imaging | |
JP2012523583A (ja) | 改良型予測オートフォーカスシステム及びその方法 | |
JP6241858B2 (ja) | 共焦点顕微鏡 | |
JP6940696B2 (ja) | 二次元および三次元の固定式z走査 | |
WO2016089674A1 (en) | Dynamic microscope with combined optical focus and aberrational correction | |
JP6327829B2 (ja) | 顕微鏡の制御装置、顕微鏡システム、制御方法およびプログラム | |
US20120140057A1 (en) | Microscope for Measuring Total Reflection Fluorescence | |
CN113039470B (zh) | 显微镜装置 | |
JP2010091739A (ja) | 自動焦点合焦装置を備えた画像撮像装置 | |
Liao | Imaging Innovations for Whole-Slide and Hyperspectral Microscopy | |
JP2022522016A (ja) | 斜面顕微鏡検査システムおよび方法 | |
US20220113523A1 (en) | Microscope | |
Felcher et al. | Design and Build of a Customizable Light Sheet for Visualization of Cytoskeleton Networks | |
WO2022150396A1 (en) | Methods and systems to compensate for substrate thickness error | |
JP2009192721A (ja) | 共焦点顕微鏡 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160927 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20161216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6158197 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |