JP2014089410A - 画像取得装置及び画像取得方法 - Google Patents

画像取得装置及び画像取得方法 Download PDF

Info

Publication number
JP2014089410A
JP2014089410A JP2012240493A JP2012240493A JP2014089410A JP 2014089410 A JP2014089410 A JP 2014089410A JP 2012240493 A JP2012240493 A JP 2012240493A JP 2012240493 A JP2012240493 A JP 2012240493A JP 2014089410 A JP2014089410 A JP 2014089410A
Authority
JP
Japan
Prior art keywords
optical path
image
imaging
optical
length difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012240493A
Other languages
English (en)
Other versions
JP5923026B2 (ja
Inventor
Masatoshi Okukawa
正利 奥河
Hideyori Oishi
英資 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012240493A priority Critical patent/JP5923026B2/ja
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to EP18151359.9A priority patent/EP3333612A3/en
Priority to CN201380057182.XA priority patent/CN104755989B/zh
Priority to EP18151361.5A priority patent/EP3333614A3/en
Priority to PCT/JP2013/070079 priority patent/WO2014069055A1/ja
Priority to US14/439,006 priority patent/US20150301327A1/en
Priority to EP13851604.2A priority patent/EP2916159B1/en
Priority to EP18151360.7A priority patent/EP3333613A3/en
Publication of JP2014089410A publication Critical patent/JP2014089410A/ja
Application granted granted Critical
Publication of JP5923026B2 publication Critical patent/JP5923026B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • G02B21/247Differential detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ダイナミックフォーカスによる画像取得を行う場合に、Zスタック画像を容易に取得できる画像取得装置及びその画像取得方法を提供する。
【解決手段】画像取得装置Mでは、第1の光路L1と第2の光路L2との光路長差を変更する光路長差変更手段を備えている。第1の撮像装置18による撮像の焦点位置は、光路長差変更手段により変更される上記光路長差に応じて試料Sの深さ方向に変化(移動)する。したがって、光路長差変更手段が所定の目標焦点間隔に基づいて上記光路長差を変更するごとに、焦点制御手段が第1の撮像装置18による撮像の焦点位置を制御しながらステージ制御手段がステージ1を走査して、第1の撮像装置18が第1の画像を取得することにより、上記光路長差の変更に応じた試料Sの深さ方向における複数の第1の画像からなるZスタック画像を容易に取得できる。
【選択図】図2

Description

本発明は、試料等の画像取得に用いられる画像取得装置及びその画像取得方法に関する。
画像取得装置として、例えば試料の撮像領域を予め複数の領域に分割し、各分割領域を高倍率で撮像した後、これらを合成するバーチャル顕微鏡装置がある。このようなバーチャル顕微鏡での画像取得では、従来、生体サンプルなどの試料の画像を取得する際の撮像条件として、試料の全領域を対象とする焦点マップが設定され、焦点マップに基づく焦点制御を行いつつ試料の画像取得が行われている。
焦点マップの作成には、まず、マクロ光学系を備える画像取得装置を用い、試料全体をマクロ画像として取得する。次に、取得したマクロ画像を用い、試料の撮像範囲を設定すると共に、撮像範囲を複数の分割領域に分割し、各分割領域に対して焦点取得位置を設定する。焦点取得位置の設定の後、ミクロ光学系を備える画像取得装置に試料を移し、設定された焦点取得位置における焦点位置を取得し、これらの焦点位置から焦点マップを作成する。
しかしながら、このような焦点マップを作成するにあたっては、処理に時間を要するという問題があった。また、取得する焦点の間隔や数を抑えれば処理に要する時間は短縮されるが、その場合にはフォーカス精度が低下するという問題があった。そのため、焦点位置を取得しつつ試料の高倍率画像を取得するダイナミックフォーカスの開発が進められている。この方式は、画像取得用の撮像装置に入射する光像よりも前に焦点が合った光像(前ピン)と、後に焦点が合った光像(後ピン)との光強度差或いはコントラスト差に基づいて現在の対物レンズの高さに対する焦点位置のずれ方向を検出し、ずれをキャンセルする方向に対物レンズを移動させて画像を取得する方式である(例えば特許文献1参照)。
他方、ダイナミックフォーカスを用いない従来のバーチャル顕微鏡において、厚みのある試料に対する焦点位置の異なる複数のZ平面画像(図16において破線で示す位置で焦点の合う平面の画像)のセット(Zスタック画像)を取得する方式がある。例えば、下記特許文献2では、対物レンズを試料台に対して相対的に移動(例えば、Z平面レベルを下方へと進行)させることで、Zスタック画像を取得する方式が開示されている。
特開2011−081211号公報 特開2008−500643号公報
上述した特許文献2のように対物レンズを試料台に対して相対的に移動させてZスタックを取得するには、焦点マップなどの対物レンズの基準位置の情報が必要となる。しかしながら、ダイナミックフォーカスでは焦点マップを取得しないため、このような対物レンズの基準位置の情報を持たない。したがって、ダイナミックフォーカスを用いる場合には、単純に対物レンズを試料台に対して相対的に移動させる方法を採用してZスタック画像を取得することは困難である。
本発明は、上記課題の解決のためになされたものであり、ダイナミックフォーカスによる画像取得を行う場合に、Zスタック画像を容易に取得できる画像取得装置及びその画像取得方法を提供することを目的とする。
上記課題の解決のため、本発明に係る画像取得装置は、試料が載置されるステージと、ステージを所定の速度で走査するステージ制御手段と、試料に向けて光を照射する光源と、試料の光像を画像取得用の第1の光路及び焦点制御用の第2の光路に分岐する光分岐手段を含む導光光学系と、第1の光路に分岐された第1の光像による第1の画像を取得する第1の撮像手段と、第2の光路に分岐された第2の光像による第2の画像を取得する第2の撮像手段と、第2の画像を解析し、その解析結果に基づいて第1の撮像手段による撮像の焦点位置を制御する焦点制御手段と、所定の目標焦点間隔に基づいて第1の光路と第2の光路との光路長差を変更する光路長差変更手段と、を備え、光路長差変更手段が上記光路長差を変更するごとに、焦点制御手段が上記焦点位置を制御しながらステージ制御手段がステージを走査して、第1の撮像手段が第1の画像を取得することにより、試料の深さ方向における複数の第1の画像からなるZスタック画像を取得することを特徴としている。
この画像取得装置では、第1の光路と第2の光路との光路長差を変更する光路長差変更手段を備えている。第1の撮像手段による撮像の焦点位置は、光路長差変更手段により変更される上記光路長差に応じて試料の深さ方向に変化(移動)する。したがって、光路長差変更手段が所定の目標焦点間隔に基づいて上記光路長差を変更するごとに、焦点制御手段が第1の撮像手段による撮像の焦点位置を制御しながらステージ制御手段がステージを走査して、第1の撮像手段が第1の画像を取得することにより、上記光路長差の変更に応じた試料の深さ方向における第1の画像からなるZスタック画像を容易に取得できる。なお、この手法では、上記光路長差を変更した上で焦点制御手段によるダイナミックフォーカスが実施されることにより、試料をステージ面と平行なXY平面で切った画像ではなく試料の表面形状(起伏)と略相似する曲面に沿って切った画像からなるZスタック画像が得られる。
また、光路長差変更手段は、下記式(1)により算出される移動距離に基づいて、第2の撮像手段を第2の光路の光軸方向に沿って移動させてもよい。このように、下記式(1)に基づいて第2の撮像手段を移動させることにより、第1の光路と第2の光路との光路長差を変更し、所定の目標焦点間隔ごとの複数の焦点位置における第1の画像を取得することができる。
また、光路長差変更手段は、下記式(2)により算出される移動距離に基づいて、第1の撮像手段を第1の光路の光軸方向に沿って移動させてもよい。このように、下記式(2)に基づいて第1の撮像手段を移動させることによっても、第1の光路と第2の光路との光路長差を変更し、所定の目標焦点間隔ごとの複数の焦点位置における第1の画像を取得することができる。
移動距離=所定の目標焦点間隔×(第2の光路における光学倍率の2乗)・・・(1)
移動距離=所定の目標焦点間隔×(第1の光路における光学倍率の2乗)・・・(2)
また、第2の撮像手段の撮像面に、第2の光像の一部画像を取得する第1の撮像領域及び第2の撮像領域を設定する領域制御手段と、第2の光路に配置され、撮像面の面内方向に沿って連続的に厚さが変化する部分を有し、撮像面の面内方向に沿って第2の光像に光路差を生じさせる光路差生成部材と、を更に備え、光路長差変更手段は、領域制御手段に、撮像面の面内方向に対する上記厚さの変化の割合と所定の目標焦点間隔とに基づいて第1の撮像領域及び第2の撮像領域の設定位置を変更させてもよい。このように第1の撮像領域及び第2の撮像領域の設定位置を変更することによっても、第1の光路と第2の光路との光路長差を変更し、所定の目標焦点間隔ごとの複数の焦点位置における第1の画像を取得することができる。
また、本発明に係る画像取得方法は、試料が載置されるステージと、ステージを所定の速度で走査するステージ制御手段と、試料に向けて光を照射する光源と、試料の光像を画像取得用の第1の光路及び焦点制御用の第2の光路に分岐する光分岐手段を含む導光光学系と、第1の光路に分岐された第1の光像による第1の画像を取得する第1の撮像手段と、第2の光路に分岐された第2の光像による第2の画像を取得する第2の撮像手段と、第2の画像を解析し、その解析結果に基づいて第1の撮像手段による撮像の焦点位置を制御する焦点制御手段と、所定の目標焦点間隔に基づいて第1の光路と第2の光路との光路長差を変更する光路長差変更手段と、を備えた画像取得装置による画像取得方法であって、光路長差変更手段によって上記光路長差を変更するごとに、焦点制御手段によって上記焦点位置を制御しながらステージ制御手段によってステージを走査して、第1の撮像手段によって第1の画像を取得することにより、試料の深さ方向における複数の第1の画像からなるZスタック画像を取得することを特徴としている。
この画像取得方法では、変更される第1の光路と第2の光路との光路長差に応じて第1の撮像手段による撮像の焦点位置が試料の深さ方向に変化(移動)することを利用して、第1の光路と第2の光路との光路長差を変更するごとに、第1の撮像手段による撮像の焦点位置を制御しながらステージを走査して、第1の撮像手段によって第1の画像を取得する。これにより、上記光路長差の変更に応じた試料の深さ方向における複数の第1の画像からなるZスタック画像を容易に取得できる。なお、この手法では、上記光路長差を変更するごとにダイナミックフォーカスを実施することにより、試料をステージ面と平行なXY平面で切った画像ではなく試料の表面形状(起伏)と略相似する曲面に沿って切った画像からなるZスタック画像が得られる。
また、光路長差変更手段によって、下記式(1)により算出される移動距離に基づいて、第2の撮像手段を第2の光路の光軸方向に沿って移動させてもよい。このように、下記式(1)に基づいて第2の撮像手段を移動させることにより、第1の光路と第2の光路との光路長差を変更し、所定の目標焦点間隔ごとの複数の焦点位置における第1の画像を取得することができる。
また、光路長差変更手段によって、下記式(2)により算出される移動距離に基づいて、第1の撮像手段を第1の光路の光軸方向に沿って移動させてもよい。このように、下記式(2)に基づいて第1の撮像手段を移動させることによっても、第1の光路と第2の光路との光路長差を変更し、所定の目標焦点間隔ごとの複数の焦点位置における第1の画像を取得することができる。
移動距離=所定の目標焦点間隔×(第2の光路における光学倍率の2乗)・・・(1)
移動距離=所定の目標焦点間隔×(第1の光路における光学倍率の2乗)・・・(2)
また、画像取得装置が、第2の撮像手段の撮像面に、第2の光像の一部画像を取得する第1の撮像領域及び第2の撮像領域を設定する領域制御手段と、第2の光路に配置され、撮像面の面内方向に沿って連続的に厚さが変化する部分を有し、撮像面の面内方向に沿って第2の光像に光路差を生じさせる光路差生成部材と、を更に備え、領域制御手段によって、撮像面の面内方向に対する上記厚さの変化の割合と所定の目標焦点間隔とに基づいて第1の撮像領域及び第2の撮像領域の設定位置を変更してもよい。このように第1の撮像領域及び第2の撮像領域の設定位置を変更することによっても、第1の光路と第2の光路との光路長差を変更し、所定の目標焦点間隔ごとの複数の焦点位置における第1の画像を取得することができる。
本発明によれば、ダイナミックフォーカスによる画像取得を行う場合に、Zスタック画像を容易に取得できる。
本発明に係る画像取得装置を構成するマクロ画像取得装置の一実施形態を示す図である。 本発明に係る画像取得装置を構成するミクロ画像取得装置の一実施形態を示す図である。 第2の撮像装置を示す図である。 光路差生成部材及び第2の撮像装置の組み合わせの一例を示す図である。 第2の撮像装置の撮像面の面内方向に沿って連続的に厚さが変化する光路差生成部材の例を示す図である。 画像取得装置の機能的な構成要素を示すブロック図である。 試料の表面までの距離が対物レンズの焦点距離に一致している場合のコントラスト値の解析結果を示す図である。 試料の表面までの距離が対物レンズの焦点距離よりも長い場合のコントラスト値の解析結果を示す図である。 試料の表面までの距離が対物レンズの焦点距離よりも短い場合のコントラスト値の解析結果を示す図である。 ステージの走査時間に対する対物レンズとステージとの距離の関係を示す図である。 ステージ制御部によるステージの走査方向の制御を示す図である。 ステージ制御部によるステージの走査速度の制御を示す図である。 本発明の一実施形態に係る画像取得装置により取得されるZスタック画像を説明するために用いる図である。 第1の撮像領域及び第2の撮像領域の位置を移動させることにより第1の光路と第2の光路との光路長差を変更する方法を説明するために用いる図である。 本発明の一実施形態に係る画像取得装置の動作を示すフローチャートである。 従来の画像取得装置により取得されるZスタック画像を説明するために用いる図である。
以下、図面を参照しながら、本発明に係る画像取得装置及びその画像取得方法の好適な実施形態について詳細に説明する。
図1は、本発明に係る画像取得装置を構成するマクロ画像取得装置の一実施形態を示す図である。また、図2は、本発明に係る画像取得装置を構成するミクロ画像取得装置の一実施形態を示す図である。図1及び図2に示すように、画像取得装置Mは、試料Sのマクロ画像を取得するマクロ画像取得装置M1と、試料Sのミクロ画像を取得するミクロ画像取得装置M2とによって構成されている。画像取得装置Mは、マクロ画像取得装置M1で取得したマクロ画像に対して例えばライン状の複数の分割領域40(図11参照)を設定し、各分割領域40をミクロ画像取得装置M2で高倍率に取得して合成することにより、バーチャルマイクロ画像を生成する装置である。
マクロ画像取得装置M1は、図1に示すように、試料Sが載置されるステージ1を備えている。ステージ1は、例えばステッピングモータ(パルスモータ)或いはピエゾアクチュエータなどのモータやアクチュエータによって水平方向に駆動するXYステージである。画像取得装置Mで観察する試料Sは、例えば細胞などの生体サンプルであり、スライドガラスに密封された状態でステージ1に載置される。このステージ1をXY面内で駆動させることにより、試料Sに対する撮像位置を移動させることができる。
ステージ1は、マクロ画像取得装置M1とミクロ画像取得装置M2との間を往復可能となっており、両装置間で試料Sを搬送する機能を有している。なお、マクロ画像取得においては、試料Sの全体画像を1度の撮像で取得してもよく、試料Sを複数の領域に分割して撮像してもよい。また、ステージ1は、マクロ画像取得装置M1及びミクロ画像取得装置M2の双方にそれぞれ設けておいてもよい。
ステージ1の底面側には、試料Sに向けて光を照射する光源2と、光源2からの光を試料Sに集光する集光レンズ3とが配置されている。光源2は、試料Sに向けて斜めに光を照射するように配置されていてもよい。また、ステージ1の上面側には、試料Sからの光像を導光する導光光学系4と、試料Sの光像を撮像する撮像装置5とが配置されている。導光光学系4は、試料Sからの光像を撮像装置5の撮像面に結像させる結像レンズ6を有している。また、撮像装置5は、例えば2次元画像を取得可能なエリアセンサである。撮像装置5は、導光光学系4を経て撮像面に入射した試料Sの光像の全体画像を取得し、後述のバーチャルマイクロ画像格納部39に格納する。
ミクロ画像取得装置M2は、図2に示すように、ステージ1の底面側にマクロ画像取得装置M1と同様の光源12及び集光レンズ13を有している。また、ステージ1の上面側には、試料Sからの光像を導光する導光光学系14が配置されている。光源12からの光を試料Sに照射させる光学系には、試料Sに励起光を照射するための励起光照射光学系や試料Sの暗視野画像を取得するための暗視野照明光学系を採用してもよい。
導光光学系4は、試料Sと対峙して配置された対物レンズ15と、対物レンズ15の後段に配置されたビームスプリッタ(光分岐手段)16とを有している。対物レンズ15には、ステージ1の載置面に直交するZ方向に対物レンズ15を駆動するステッピングモータ(パルスモータ)或いはピエゾアクチュエータなどのモータやアクチュエータが設けられている。これらの駆動手段によって対物レンズ15のZ方向の位置を変えることにより、試料Sの画像取得における撮像の焦点位置が調整可能になっている。なお、焦点位置の調整は、ステージ1のZ方向の位置を変えてもよく、対物レンズ15及びステージ1の双方のZ方向の位置を変えてもよい。
ビームスプリッタ16は、試料Sの光像を画像取得用の第1の光路L1と焦点制御用の第2の光路L2とに分岐する部分である。このビームスプリッタ16は、光源12からの光軸に対しておよそ45度の角度で配置されており、図2において、ビームスプリッタ16を通過する光路が第1の光路L1となっており、ビームスプリッタ16で反射する光路が第2の光路となっている。
第1の光路L1には、ビームスプリッタ16を通過した試料Sの光像(第1の光像)を結像させる結像レンズ17と、結像レンズ17の結像位置に撮像面を配置した第1の撮像装置(第1の撮像手段)18とが配置されている。第1の撮像装置18は、試料Sの第1の光像による1次元画像(第1の画像)を取得可能な装置であり、第1の光路L1の光軸方向に沿って両方向に任意の距離だけ移動可能なように構成されている。第1の撮像装置18は、例えばTDI(Time Delay Integration)駆動が可能な2次元CCDセンサやラインセンサが用いられる。また、ステージ1を一定の速度で制御しながら、試料Sの画像を順次取得する方式であれば、第1の撮像装置18は、CMOSセンサやCCDセンサなどの2次元画像を取得可能な装置であってもよい。第1の撮像装置18で撮像された第1の画像は、レーンバッファなどの一時保存メモリに順次保存された後、圧縮されて後述の画像生成部38に出力される。
一方、第2の光路L2には、ビームスプリッタ16で反射した試料の光像(第2の光像)を縮小する視野調整レンズ19と、第2の撮像装置(第2の撮像手段)20とが配置されている。また、第2の撮像装置20の前段には、第2の光像に光路差を生じさせる光路差生成部材21が配置されている。視野調整レンズ19は、第2の光像が第1の光像と同程度の大きさで第2の撮像装置20に結像するように構成されていることが好ましい。
第2の撮像装置20は、試料Sの第2の光像による2次元画像(第2の画像)を取得可能な装置であり、第2の光路L2の光軸方向に沿って両方向に任意の距離だけ移動可能なように構成されている。第2の撮像装置20は、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などのセンサが用いられる。また、ラインセンサを用いてもよい。
第2の撮像装置20の撮像面20aは、第2の光路L2に直交するXZ面と略一致するように配置されている。この撮像面20aには、図3に示すように、第2の光像の一部画像を取得する第1の撮像領域22A及び第2の撮像領域22Bが設定されている。第1の撮像領域22A及び第2の撮像領域22Bは、試料Sの走査に伴う撮像面20a上での第2の光像の移動方向(走査方向:Z方向)に対して垂直となる向きに設定される。第1の撮像領域22Aと第2の撮像領域22Bとは、所定の間隔をもって設定されており、いずれも第2の光像の一部をライン状に取得する。これにより、第1の撮像装置18で取得される試料Sの第1の光像と同じ領域の光像を第2の光像として第1の撮像領域22A及び第2の撮像領域22Bで取得できる。なお、第1の撮像領域22Aと第2の撮像領域22Bとを別々のラインセンサを用いて設定してもよい。この場合、各ラインセンサを別々に制御することで、第1の撮像領域22A及び第2の撮像領域22Bの設定に要する時間を短縮させることができる。
光路差生成部材21は、撮像面20aの面内方向に沿って第2の光像に光路差を生じさせるガラス部材である。図4に示す例では、光路差生成部材21Aは、断面三角形のプリズム状をなしており、撮像面20aのZ方向の中央部分に頂部が略一致するように配置されている。したがって、撮像面20aに入射する第2の光像は、撮像面20aにおけるZ方向の中央部分で最も光路が長くなり、撮像面20aにおけるZ方向の両端部分に向かうほど光路が短くなる。また、光路差生成部材21は、第2の撮像装置20と対向する面が第2の撮像装置の撮像面(受光面)20aと平行となるように配置されることが好ましい。これにより、第2の撮像装置20と対向する面による光の屈折を低減でき、第2の撮像装置20で受光する光量を確保することができる。
これにより、第2の撮像装置20では、第1の撮像領域22Aの位置と第2の撮像領域22Bの位置に基づいて、第1の撮像装置18に入射する第1の光像よりも前に焦点が合った光像(前ピン)と、後に焦点が合った光像(後ピン)とを取得できる。本実施形態では、例えば第1の撮像領域22Aが前ピンとなり、第2の撮像領域22Bが後ピンとなるように第1の撮像領域22Aの位置と第2の撮像領域22Bの位置とが設定される。前ピンと後ピンとの間のフォーカス差は、第1の撮像領域22Aに入射する第2の光像が通過する光路差生成部材21Aの厚さt1及び屈折率と、第2の撮像領域22Bに入射する第2の光像が通過する光路差生成部材21Aの厚さt2及び屈折率との差に依存する。
また、光路差生成部材21として、図5に示すような断面直角三角形のプリズム状をなす光路差生成部材21Bを用いて、撮像面20aの面内方向(Z方向)に沿って連続的に厚さが増加するように配置してもよい。
図6は、画像取得装置の機能的な構成要素を示すブロック図である。同図に示すように、画像取得装置Mは、CPU、メモリ、通信インタフェイス、ハードディスクといった格納部、キーボードなどの操作部31、モニタ32等を備えたコンピュータシステムを備え、制御部33の機能的な構成要素として、焦点制御部34と、領域制御部35と、対物レンズ制御部36と、ステージ制御部37と、画像生成部38と、バーチャルマイクロ画像格納部39と、光路長差変更部50とを備えている。
焦点制御部34は、第2の撮像装置20で取得した第2の画像を解析し、その解析結果に基づいて第1の撮像装置18による撮像の焦点位置を制御する部分である。より具体的には、焦点制御部34は、まず、第2の撮像装置20において、第1の撮像領域22Aで取得した画像のコントラスト値と、第2の撮像領域22Bで取得した画像のコントラスト値との差分を求める。
ここで、図7に示すように、試料Sの表面に対して対物レンズ15の焦点位置が合っている場合、第1の撮像領域22Aで取得した前ピンの画像コントラスト値と第2の撮像領域22Bで取得した後ピンの画像コントラスト値とが略一致し、これらの差分値はほぼゼロとなる。
一方、図8に示すように、試料Sの表面までの距離が対物レンズ15の焦点距離よりも長い場合、第1の撮像領域22Aで取得した前ピンの画像コントラスト値よりも第2の撮像領域22Bで取得した後ピンの画像コントラスト値の方が大きくなり、これらの差分値はプラスとなる。この場合、焦点制御部34は、対物レンズ制御部36に対し、対物レンズ15を試料Sに近づける向きに駆動する旨の指示情報を出力する。
また、図9に示すように、試料Sの表面までの距離が対物レンズ15の焦点距離よりも短い場合、第1の撮像領域22Aで取得した前ピンの画像コントラスト値よりも第2の撮像領域22Bで取得した後ピンの画像コントラスト値の方が小さくなり、これらの差分値はマイナスとなる。この場合、焦点制御部34は、対物レンズ制御部36に対し、対物レンズ15を試料Sに遠ざける向きに駆動する旨の指示情報を出力する。
領域制御部35は、第2の撮像装置20の撮像面20aにおける第1の撮像領域22Aの位置及び第2の撮像領域22Bの位置を制御する部分である。領域制御部35は、操作部31からの操作に基づき、予め設定された位置にまず第1の撮像領域22Aを設定し、第1の撮像領域22Aでの撮像が行われた後、第1の撮像領域22Aの設定を解除する。次に、第1の撮像領域22AからZ方向(走査方向)に所定の間隔をもって第2の撮像領域22Bを設定し、第2の撮像領域22Bでの撮像が行われた後、第2の撮像領域22Bの設定を解除する。
このとき、第1の撮像領域22Aでの撮像から第2の撮像領域22Bでの撮像までの待ち時間Wは、第1の撮像領域22Aと第2の撮像領域22Bとの間の間隔dと、ステージ1の走査速度vに基づいて設定される。例えば、待ち時間Wを第1の撮像領域22Aでの撮像開始から第2の撮像領域22Bでの撮像開始までの時間W1とすると、第1の撮像領域22Aでの撮像の露光時間el、第1の撮像領域22Aの設定を解除してから第2の撮像領域22Bを設定するまでの時間stを考慮して、W1=d/v−el−stで求めることができる。
また、待ち時間Wを第1の撮像領域22Aでの撮像開始から第2の撮像領域22Bでの撮像完了までの待ち時間W2とすると、第1の撮像領域22Aの設定を解除してから第2の撮像領域22Bを設定するまでの時間stを考慮して、W2=d/v−stで求めることができる。また、第1の撮像領域22Aと第2の撮像領域22Bとの間の間隔dは、光路差生成部材21によって生じる光路長差に基づいて設定される。ただし、この間隔dは、実際には試料Sのスライド上の距離に対応しており、最終的には間隔dを第2の撮像領域22Bの画素数に変換する必要がある。第2の撮像装置20の画素サイズをAFpsz、倍率をAFmagとした場合、間隔dに対応する画素数dpixは、dpix=d÷(AFpsz/AFmag)で求められる。
また、領域制御部35は、操作部31からの操作に基づき、第1の撮像領域22Aの位置と第2の撮像領域22Bの位置の少なくとも一方を撮像面20aの面内の走査方向(ここではZ方向)に沿って変更することができる。この場合、第1の撮像領域22Aの位置及び第2の撮像領域22Bの位置のいずれか一方のみを変更してもよく、第1の撮像領域22Aの位置及び第2の撮像領域22Bの位置の双方を変更してもよい。また、第1の撮像領域22Aと第2の撮像領域22Bとの間の間隔dを維持したまま、第1の撮像領域22Aの位置及び第2の撮像領域22Bの位置の双方を変更してもよい。
第1の撮像領域22Aの位置と第2の撮像領域22Bの位置を変更することにより、例えば図4及び図5に示したようなプリズム状の光路差生成部材21(21A及び21B)を用いる場合には、第1の撮像領域22Aに入射する第2の光像が通過する光路差生成部材21Aの厚さt1と、第2の撮像領域22Bに入射する第2の光像が通過する光路差生成部材21Aの厚さt2とを変化させることができる。これにより、前ピン及び後ピンの間隔が変わり、コントラスト値の差分を求める際の分解能を調整できる。
対物レンズ制御部36は、対物レンズ15の駆動を制御する部分である。対物レンズ制御部36は、焦点制御部34から出力される指示情報を受け取ると、指示情報の内容に従って、対物レンズ15をZ方向に駆動させる。これにより、試料Sに対する対物レンズ15の焦点位置が調整される。
なお、対物レンズ制御部36は、焦点制御部34による焦点位置の解析中は対物レンズ15の駆動は行わず、また、次の焦点位置の解析が開始されるまで、対物レンズ15をZ方向に沿って一方向にのみ駆動させる。図10は、ステージの走査時間に対する対物レンズとステージとの距離の関係を示す図である。同図に示すように、試料Sの走査中は、焦点位置の解析期間Aと、解析結果に基づく対物レンズ駆動期間Bとが交互に生じることとなる。このように、焦点位置の解析中に対物レンズ15と試料Sとの位置関係を変化させないことで、焦点位置の解析精度を担保できる。
ステージ制御部37は、ステージ1の駆動を制御する部分である。より具体的には、ステージ制御部37は、操作部31からの操作に基づき、試料Sが載置されたステージ1を所定の速度で走査させる。このステージ1の走査により、第1の撮像装置18及び第2の撮像装置20での試料Sの撮像視野が相対的に順次移動する。ステージ1の走査方向は、図11(a)に示すように、一つの分割領域40の走査が終了する度にステージ1の位置を走査開始位置まで戻してから次の分割領域40を同一方向に走査する一方向走査であってもよく、図11(b)に示すように、一つの分割領域40の走査が終了した後、ステージ1を走査方向と直交する方向に移動させて次の分割領域40を反対方向に走査する双方向走査であってもよい。
また、画像取得の間のステージ1の走査速度は一定であるが、実際には走査の開始直後にステージ1の振動等の影響によって走査速度が不安定な期間が存在する。このため、図12に示すように、分割領域40よりも長い走査幅を設定し、ステージ1が加速する加速期間C、ステージ1の走査速度が安定化するまでの安定化期間D、及びステージ1が減速する減速期間Fのそれぞれが、分割領域40よりも外側を走査しているときに生じるようにすることが好ましい。これにより、ステージ1の走査速度が一定となる一定速度期間Eに合わせて画像取得を行うことが可能となる。なお、安定化期間D中に撮像を開始し、画像取得後に安定化期間D中に取得したデータ部分を削除するようにしてもよい。このような手法は、データの空読みが必要な撮像装置を用いる場合に好適である。
画像生成部38は、取得した画像を合成してバーチャルマイクロ画像を生成する部分である。画像生成部38は、第1の撮像装置18から出力される第1の画像、すなわち、各分割領域40の画像を順次受け取り、これらを合成して試料Sの全体の画像を合成する。そして、この合成画像に基づいてこれよりも低い解像度の画像を作成し、高解像度の画像と低解像度の画像とを関連付けてバーチャルマイクロ画像格納部39に格納する。バーチャルマイクロ画像格納部39では、マクロ画像取得装置M1で取得した画像も更に関連付けてもよい。バーチャルマイクロ画像は、1枚の画像として格納してもよく、複数に分割された画像として格納してもよい。
光路長差変更部50は、第1の光路L1と第2の光路L2との光路長差を変更する部分である。光路長差変更部50は、第1の撮像装置18を第1の光路L1の光軸方向に沿って両方向に任意の距離だけ駆動させる機能を備える。また、光路長差変更部50は、第2の撮像装置20を第2の光路L2の光軸方向に沿って両方向に任意の距離だけ駆動させる機能を備える。また、光路長差変更部50は、領域制御部35に対して、第2の撮像装置20の撮像装置20の撮像面20aにおける第1の撮像領域22A及び第2の撮像領域22Bの設定位置を変更する旨の指示情報を出力する機能を備える。すなわち、光路長差変更部50は、領域制御部35を介して、第1の撮像領域22Aの位置及び第2の撮像領域22Bの設定位置を変更する機能を備える。
光路長差変更部50は、上述の機能を用いて、第1の撮像装置18の位置、第2の撮像装置20の位置、又は、第1の撮像領域22A及び第2の撮像領域22Bの設定位置を変更することにより、第1の光路L1と第2の光路L2との光路長差を変更することができる。光路長差変更部50による光路長差変更処理を予め定めた目標焦点間隔dzに基づいて行うことにより、第1の撮像装置18によって試料Sの深さ方向に目標焦点間隔dzずらした位置付近に焦点の合った第1の画像を取得することが可能となる。すなわち、画像取得装置Mが、試料Sの深さ方向(Z方向)における複数の第1の画像からなるZスタック画像を取得することが可能となる。以下、その具体的な方法について説明する。
図13は、画像取得装置Mにより取得されるZスタック画像を説明するために用いる図であり、ステージ1の走査方向(X方向)及び試料Sの深さ方向(Z方向)のいずれにも平行な平面(XZ平面)に沿って試料S及びステージ1を切断した断面形状を示す。同図において曲線で示されるラインZ0は、試料Sの表面形状(起伏)に沿ったラインを示す。また、ラインZ1及びZ2は、ラインZ0をZ方向に所定の目標焦点間隔dzずつ移動させたラインを示す。画像取得装置Mでは、上述したように、焦点制御部34が第1の撮像装置18による撮像の焦点位置を制御しながらステージ制御部37がステージ1を走査する(すなわち、ダイナミックフォーカスを実施する)。したがって、画像取得装置Mによれば、試料をステージ面と平行なXY平面で切った画像(図16参照)ではなく、試料Sの表面形状(起伏)と略相似する曲面(例えば、ラインZ0、Z1及びZ2等)に沿って切った画像からなるZスタック画像が得られる。このように、画像取得装置Mによれば、各層で焦点の合った画像を取得することができる。このように、試料S内部の各層で焦点が合った状態でダイナミックフォーカスを行うことで、試料S内部の細胞に対して合焦点のZスタック画像を取得できる。また、従来の画像取得装置により取得されるZスタック画像と比較して、少ない枚数の画像(例えば、ラインZ0、Z1及びZ2の3層)で試料Sの深さ方向についてより多くの情報を得ることができる。
以下、説明を簡単にするため、焦点制御部34が第1の撮像装置18による撮像における焦点位置を制御しながらステージ制御部37がステージ1を走査することで得られる第1の画像の焦点位置の軌跡(以下、「焦点軌跡」という。)がラインZ0に追従するように各装置が配置された状態を初期状態とする。そして、ラインZ0を試料Sの深さ方向に目標焦点間隔dzだけ平行移動したラインZ1が示す位置付近に焦点の合った第1の画像を第1の撮像装置18によって取得するために光路長差変更部50が行う光路長差変更処理について説明する。
(第1の例)
光路長差変更部50は、初期状態から、下記式(1)により算出される移動距離だけ光路差生成部材21及び第2の撮像装置20を第2の光路L2の光軸方向に沿って移動させる。例えば光軸に沿って光の進行方向に対して反対方向(図2の矢印A)にZスタック画像を取得する場合、光路差生成部材21及び第2の撮像装置20を光軸に沿って光の進行方向に対して反対方向(図2の矢印B)に移動させればよく、光軸に沿って光の進行方向(矢印Aと反対方向)にZスタック画像を取得する場合、光路差生成部材21及び第2の撮像装置20を光軸に沿って光の進行方向(矢印Bと反対方向)に移動させる。従って、光軸に沿った光の進行方向に対するZスタックの取得方向と、光路差生成部材21及び第2の撮像装置20の移動方向の関係は同じ方向となる。
移動距離=目標焦点間隔dz×(第2の光路L2における光学倍率の2乗)・・・(1)
ここで、第2の光路L2における光学倍率は、光源1から照射された光が、ビームスプリッタ16により反射され、第2の光路L2を通って第2の撮像装置20に至るまでに経由する対物レンズ15及び視野調整レンズ19の倍率の積により求まる。
(第2の例)
光路長差変更部50は、初期状態から、下記式(2)により算出される移動距離だけ第1の撮像装置18を第1の光路L1の光軸方向に沿って移動させる。例えば光軸に沿って光の進行方向に対して反対方向(矢印A)にZスタック画像を取得する場合、第1の撮像装置18を光軸に沿って光の進行方向に対して反対方向(図2の矢印C)に移動させればよく、光軸に沿って光の進行方向(矢印Aと反対方向)にZスタック画像を取得する場合、第1の撮像装置18を光軸に沿って光の進行方向(矢印Cと反対方向)に移動させる。従って、光軸に沿った光の進行方向に対するZスタックの取得方向と、第1の撮像装置18の移動方向の関係は同じ方向となる。
移動距離=目標焦点間隔dz×(第1の光路L1における光学倍率の2乗)・・・(2)
ここで、第1の光路L1における光学倍率は、光源1から照射された光が、ビームスプリッタ16を通過し、第1の光路L1を通って第1の撮像装置18に至るまでに経由する対物レンズ15及び結像レンズ17の倍率の積により求まる。
(第3の例)
光路差生成部材21として、撮像面20aの面内方向に沿って連続的に厚さが変化する部分を有する部材を用いる。また、光路長差変更部50は、初期状態から、領域制御部35を介して、撮像面20aの面内方向に対する光路差生成部材21の厚さの変化の割合と目標焦点間隔dzとに基づいて第1の撮像領域22A及び第2の撮像領域22Bの設定位置を変更する。例えば光路差生成部材21として図5に示す光路差生成部材21Bを用いる場合について、図14を用いて具体的に説明する。
図14(a)は、初期状態における第1の撮像領域22A及び第2の撮像領域22Bの設定位置を示す図である。距離S1は、撮像面20aの面内方向における、第2の撮像装置20の一方端部(撮像面20aと対向する光路差生成部材21Bの厚みが小さい側の端部)から第1の撮像領域22Aの中心位置までの距離を示す。角度θは、光路差生成部材21Bにおいて、第2の撮像装置20の撮像面20aと対向する平面と斜面とがなす角度(鋭角)を示す。ここで、角度θは、撮像面20aの面内方向に対する光路差生成部材21の厚さの変化の割合を示すパラメータとしての役割を果たす。
図14(b)は、初期状態から第1の撮像領域22A及び第2の撮像領域22Bの設定位置をそれぞれ、撮像面20aの面内方向(矢印A及び矢印Cと同方向)に沿って変更距離ΔS1だけ離れた位置に変更した後の状態を示す図である。距離S1´は、撮像面20aの面内方向における、第2の撮像装置20の一方端部から変更後の第1の撮像領域22Aの中心位置までの距離を示す。距離S1´は、距離S1と変更距離ΔS1との和で示される(S1´=S1+ΔS1)。また、厚さt1´は、変更後の第1の撮像領域22Aに入射する第2の光像が通過する光路差生成部材21Bの厚さを示す。厚さ差分Δt1は、変更後の厚さt1´と変更前の厚さt1との差分で示される(Δt1=t1´−t1)。
ここで、第1の撮像領域22A及び第2の撮像領域22Bの設定位置の変更距離ΔS1は、光路差生成部材21Bの屈折率を屈折率nとすると、下記式(3)により算出される。
ΔS1=A/B・・・(3)
A=目標焦点間隔dz×(第2の光路L2における光学倍率の2乗)
B=(1−1/n)×tanθ
光路長差変更部50が上述の第1の例から第3の例までに示したいずれかの方法によって第1の光路L1と第2の光路L2との光路長差を変更した後、焦点制御部34が第1の撮像装置18による撮像の焦点位置を制御しながらステージ制御部37がステージ1を走査すると、焦点軌跡は、ラインZ0から目標焦点間隔dzだけ試料Sの深さ方向にずれたラインZ1を追従するようになる。これにより、第1の撮像装置18が、試料Sの深さ方向に目標焦点間隔dzずらしたラインZ1が示す位置付近に焦点の合った第1の画像を取得することができる。
したがって、上述の例に示す方法により第1の光路L1と第2の光路L2との光路長差を変更するごとに、焦点制御部34による焦点制御、ステージ制御部37によるステージ走査、及び第1の撮像装置18による第1の画像の取得を行うことによって、試料Sの各層(例えばラインZ0、ラインZ1、ラインZ2等)で焦点の合った第1の画像を取得することができる。なお、第1の光路L1と第2の光路L2との光路長差を変更する光路長差変更部50としては、第1の例から第3の例に限らず、光路中に液晶レンズなどの光路長を変更できる光学部材を配置し、光学部材を制御する構成にしてもよいし、その他の構成でもかまわない。
また、上述の各例において示した式(1)〜(3)は理論式であり、第1の光路L1における光学倍率及び第2の光路L2における光学倍率等は、実際の装置構成によって微妙に異なり得る。したがって、いくつかのサンプルで測定を行って補正値を取得し、当該補正値に基づいてキャリブレーションを行ってもよい。
続いて、上述した画像取得装置Mの動作について説明する。
図15は、画像取得装置Mの動作を示すフローチャートである。同図に示すように、画像取得装置Mでは、まず、マクロ画像取得装置M1による試料Sのマクロ画像の取得がなされる(ステップS01)。取得したマクロ画像は、例えば所定の閾値を用いて二値化された後、モニタ32に表示され、所定のプログラムを用いた自動設定又は操作者による手動設定により、マクロ画像の中からミクロ画像を取得する範囲が設定される(ステップS02)。
次に、試料Sがミクロ画像取得装置M2側に移送され、焦点取得条件の設定がなされる(ステップS03)。ここでは、上述したように、ステージ1の走査速度vと、第1の撮像領域22Aと第2の撮像領域22Bとの間の間隔dとに基づいて、第2の撮像領域22Bでの撮像が開始されるまでの待ち時間Wを設定する。より好ましくは、第1の撮像領域22Aでの撮像の露光時間el、及び第1の撮像領域22Aの設定を解除してから第2の撮像領域22Bを設定するまでの時間st等を考慮する。
焦点取得条件を設定した後、ステージ1の走査を開始し、ミクロ画像取得装置M2による試料Sの各分割領域40のミクロ画像の取得がなされる(ステップS04)。第1の撮像装置18でのミクロ画像の取得の際、第2の撮像装置20では第1の撮像領域22A及び第2の撮像領域22Bによって前ピンのコントラスト値と後ピンのコントラスト値の差分に基づいて試料Sに対する対物レンズ15のずれ方向が解析され、対物レンズ15の位置の調整がリアルタイムで実行される。全ての分割領域40についてミクロ画像の取得が完了した後、取得したミクロ画像が合成され、バーチャルマイクロ画像が生成される(ステップS05)。ステップS04及びS05の処理により、Zスタック画像を構成する1つの層におけるバーチャルマイクロ画像(例えば、図13に示すラインZ0が示す位置付近に焦点の合った画像)が取得される。
続いて、Zスタック画像を構成する全ての画像(バーチャルマイクロ画像)を取得したか否かを判定する(ステップS06)。ここで、Zスタック画像を構成する全ての画像とは、例えば予め設定された所定の目標焦点間隔dzごとの試料Sの全ての深さ位置における画像を意味する。所望するZスタック画像を構成する全ての画像を取得していなければ(ステップS06:NO)、所定の目標焦点間隔dzに基づいて上述した任意の方法(又はその組み合わせ)によって第1の光路L1と第2の光路L2との光路長差を変更する(ステップS07)。その後、再度ステップS04及びS05による処理を行うことにより、試料Sについての異なる深さ位置において焦点の合った画像(例えば、図13に示すラインZ1が示す位置付近に焦点の合った画像)が取得される。Zスタック画像を構成する全ての画像を取得したら、処理を完了する(ステップS06:YES)。
以上説明したように、画像取得装置Mでは、第1の光路L1と第2の光路L2との光路長差を変更する光路長差変更部50を備えている。第1の撮像装置18による撮像の焦点位置は、光路長差変更部50により変更される上記光路長差に応じて試料Sの深さ方向に変化(移動)する。したがって、光路長差変更部50が所定の目標焦点間隔dzに基づいて上記光路長差を変更するごとに、焦点制御部34が第1の撮像装置18による撮像の焦点位置を制御しながらステージ制御部37がステージ1を走査して、第1の撮像装置18が第1の画像を取得することにより、上記光路長差の変更に応じた試料Sの深さ方向における第1の画像からなるZスタック画像を容易に取得できる。
具体的には、光路長差変更部50が、目標焦点間隔dzをパラメータに含む上述の式(1)により算出される移動距離だけ第2の撮像装置20を第2の光路L2の光軸方向に沿って移動させることにより、第1の光路L1と第2の光路L2との光路長差を変更し、目標焦点間隔dzごとの複数の焦点位置における第1の画像を取得することができる。
また、光路長差変更部50が、目標焦点間隔dzをパラメータに含む上述の式(2)により算出される移動距離だけ第1の撮像装置18を第1の光路L1の光軸方向に沿って移動させることによっても、第1の光路L1と第2の光路L2との光路長差を変更し、目標焦点間隔dzごとの複数の焦点位置における第1の画像を取得することができる。
また、光路差生成部材21として、撮像面20aの面内方向に沿って連続的に厚さが変化する部分を有し、撮像面20aの面内方向に沿って第2の光像に光路差を生じさせる光路差生成部材21(例えば光路差生成部材21B)を用いる場合、光路長差変更部50が、撮像面20aの面内方向に対する上記厚さの変化の割合と目標焦点間隔dzとに基づいて定まる変更距離だけ、第1の撮像領域22A及び第2の撮像領域22Bの設定位置を変更することによっても、第1の光路L1と第2の光路L2との光路長差を変更し、目標焦点間隔dzごとの複数の焦点位置における第1の画像を取得することができる。
上述した実施形態では、バーチャルマイクロ画像を生成する装置を例示したが、本発明に係る画像取得装置は、ステージ等によって試料を所定の速度で走査しながら画像を取得する装置であれば、種々の装置に適用することができる。
1…ステージ、12…光源、14…導光光学系、15…対物レンズ、16…ビームスプリッタ(光分岐手段)、18…第1の撮像装置(第1の撮像手段)、20…第2の撮像装置(第2の撮像手段)、20a…撮像面、21(21A、21B)…光路差生成部材、22A…第1の撮像領域、22B…第2の撮像領域、34…焦点制御部(焦点制御手段)、35…領域制御部(領域制御手段)、37…ステージ制御部(ステージ制御手段)、50…光路長差変更部(光路長差変更手段)、L1…第1の光路、L2…第2の光路、M…画像取得装置、M1…マクロ画像取得装置、M2…ミクロ画像取得装置、S…試料。

Claims (8)

  1. 試料が載置されるステージと、
    前記ステージを所定の速度で走査するステージ制御手段と、
    前記試料に向けて光を照射する光源と、
    前記試料の光像を画像取得用の第1の光路及び焦点制御用の第2の光路に分岐する光分岐手段を含む導光光学系と、
    前記第1の光路に分岐された第1の光像による第1の画像を取得する第1の撮像手段と、
    前記第2の光路に分岐された第2の光像による第2の画像を取得する第2の撮像手段と、
    前記第2の画像を解析し、その解析結果に基づいて前記第1の撮像手段による撮像の焦点位置を制御する焦点制御手段と、
    所定の目標焦点間隔に基づいて前記第1の光路と前記第2の光路との光路長差を変更する光路長差変更手段と、を備え、
    前記光路長差変更手段が前記光路長差を変更するごとに、前記焦点制御手段が前記焦点位置を制御しながら前記ステージ制御手段が前記ステージを走査して、前記第1の撮像手段が前記第1の画像を取得することにより、前記試料の深さ方向における複数の前記第1の画像からなるZスタック画像を取得することを特徴とする画像取得装置。
  2. 前記光路長差変更手段は、下記式(1)により算出される移動距離に基づいて、前記第2の撮像手段を前記第2の光路の光軸方向に沿って移動させることを特徴とする請求項1記載の画像取得装置。
    移動距離=前記目標焦点間隔×(前記第2の光路における光学倍率の2乗)・・・(1)
  3. 前記光路長差変更手段は、下記式(2)により算出される移動距離に基づいて、前記第1の撮像手段を前記第1の光路の光軸方向に沿って移動させることを特徴とする請求項1又は2記載の画像取得装置。
    移動距離=前記目標焦点間隔×(前記第1の光路における光学倍率の2乗)・・・(2)
  4. 前記第2の撮像手段の撮像面に、前記第2の光像の一部画像を取得する第1の撮像領域及び第2の撮像領域を設定する領域制御手段と、
    前記第2の光路に配置され、前記撮像面の面内方向に沿って連続的に厚さが変化する部分を有し、前記撮像面の面内方向に沿って前記第2の光像に光路差を生じさせる光路差生成部材と、を更に備え、
    前記光路長差変更手段は、前記領域制御手段に、前記撮像面の面内方向に対する前記厚さの変化の割合と前記目標焦点間隔とに基づいて前記第1の撮像領域及び前記第2の撮像領域の設定位置を変更させることを特徴とする請求項1〜3のいずれか一項記載の画像取得装置。
  5. 試料が載置されるステージと、
    前記ステージを所定の速度で走査するステージ制御手段と、
    前記試料に向けて光を照射する光源と、
    前記試料の光像を画像取得用の第1の光路及び焦点制御用の第2の光路に分岐する光分岐手段を含む導光光学系と、
    前記第1の光路に分岐された第1の光像による第1の画像を取得する第1の撮像手段と、
    前記第2の光路に分岐された第2の光像による第2の画像を取得する第2の撮像手段と、
    前記第2の画像を解析し、その解析結果に基づいて前記第1の撮像手段による撮像の焦点位置を制御する焦点制御手段と、
    所定の目標焦点間隔に基づいて前記第1の光路と前記第2の光路との光路長差を変更する光路長差変更手段と、を備えた画像取得装置による画像取得方法であって、
    前記光路長差変更手段によって前記光路長差を変更するごとに、前記焦点制御手段によって前記焦点位置を制御しながら前記ステージ制御手段によって前記ステージを走査して、前記第1の撮像手段によって前記第1の画像を取得することにより、前記試料の深さ方向における複数の前記第1の画像からなるZスタック画像を取得することを特徴とする画像取得方法。
  6. 前記光路長差変更手段によって、下記式(1)により算出される移動距離に基づいて、前記第2の撮像手段を前記第2の光路の光軸方向に沿って移動させることを特徴とする請求項5記載の画像取得方法。
    移動距離=前記目標焦点間隔×(前記第2の光路における光学倍率の2乗)・・・(1)
  7. 前記光路長差変更手段によって、下記式(2)により算出される移動距離に基づいて、前記第1の撮像手段を前記第1の光路の光軸方向に沿って移動させることを特徴とする請求項5又は6記載の画像取得方法。
    移動距離=前記目標焦点間隔×(前記第1の光路における光学倍率の2乗)・・・(2)
  8. 前記画像取得装置が、前記第2の撮像手段の撮像面に、前記第2の光像の一部画像を取得する第1の撮像領域及び第2の撮像領域を設定する領域制御手段と、
    前記第2の光路に配置され、前記撮像面の面内方向に沿って連続的に厚さが変化する部分を有し、前記撮像面の面内方向に沿って前記第2の光像に光路差を生じさせる光路差生成部材と、を更に備え、
    前記領域制御手段によって、前記撮像面の面内方向に対する前記厚さの変化の割合と前記目標焦点間隔とに基づいて前記第1の撮像領域及び前記第2の撮像領域の設定位置を変更することを特徴とする請求項5〜7のいずれか一項記載の画像取得方法。
JP2012240493A 2012-10-31 2012-10-31 画像取得装置及び画像取得方法 Active JP5923026B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2012240493A JP5923026B2 (ja) 2012-10-31 2012-10-31 画像取得装置及び画像取得方法
CN201380057182.XA CN104755989B (zh) 2012-10-31 2013-07-24 图像取得装置和图像取得方法
EP18151361.5A EP3333614A3 (en) 2012-10-31 2013-07-24 Image capturing apparatus and image capturing method
PCT/JP2013/070079 WO2014069055A1 (ja) 2012-10-31 2013-07-24 画像取得装置及び画像取得方法
EP18151359.9A EP3333612A3 (en) 2012-10-31 2013-07-24 Image capturing apparatus and image capturing method
US14/439,006 US20150301327A1 (en) 2012-10-31 2013-07-24 Image capturing apparatus and image capturing method
EP13851604.2A EP2916159B1 (en) 2012-10-31 2013-07-24 Image acquisition device and image acquisition method
EP18151360.7A EP3333613A3 (en) 2012-10-31 2013-07-24 Image capturing apparatus and image capturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012240493A JP5923026B2 (ja) 2012-10-31 2012-10-31 画像取得装置及び画像取得方法

Publications (2)

Publication Number Publication Date
JP2014089410A true JP2014089410A (ja) 2014-05-15
JP5923026B2 JP5923026B2 (ja) 2016-05-24

Family

ID=50626980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012240493A Active JP5923026B2 (ja) 2012-10-31 2012-10-31 画像取得装置及び画像取得方法

Country Status (5)

Country Link
US (1) US20150301327A1 (ja)
EP (4) EP3333613A3 (ja)
JP (1) JP5923026B2 (ja)
CN (1) CN104755989B (ja)
WO (1) WO2014069055A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056205A1 (en) * 2014-10-07 2016-04-14 Canon Kabushiki Kaisha Image acquisition device, image acquisition method, and program
JP2016520208A (ja) * 2013-04-30 2016-07-11 モレキュラー デバイシーズ, エルエルシー 顕微鏡システムにおいて平行撮像を用いて焦点の合った画像を生成するための装置および方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971140B2 (en) 2011-12-19 2018-05-15 Hamamatsu Photonics K.K. Image capturing apparatus and focusing method thereof
CN104937468B (zh) * 2013-01-17 2018-04-20 浜松光子学株式会社 图像取得装置以及图像取得装置的聚焦方法
EP2947489A4 (en) * 2013-01-17 2016-10-05 Hamamatsu Photonics Kk IMAGE-DEFINITION APPARATUS AND METHOD FOR FOCUSING AN IMAGE-DEFINITION DEVICE
EP2947488B1 (en) 2013-01-17 2019-02-27 Hamamatsu Photonics K.K. Image acquisition device and focus method for image acquisition device
CN117259959A (zh) 2015-02-12 2023-12-22 格罗弗治公司 用于激光加工的视觉预览
US10509390B2 (en) 2015-02-12 2019-12-17 Glowforge Inc. Safety and reliability guarantees for laser fabrication
WO2018098399A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Controlled deceleration of moveable components in a computer numerically controlled machine
WO2018098393A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Housing for computer-numerically-controlled machine
WO2018098398A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Preset optical components in a computer numerically controlled machine
WO2018098397A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Calibration of computer-numerically-controlled machine
WO2018098394A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Fabrication with image tracing
US20230377836A1 (en) * 2020-09-28 2023-11-23 Hitachi High-Tech Corporation Analysis System
CN112540527B (zh) * 2020-12-07 2021-07-27 江苏科技大学 一种同步采集双离焦衍射图样的快速收敛叠层成像装置
US11698622B2 (en) 2021-03-09 2023-07-11 Glowforge Inc. Previews for computer numerically controlled fabrication

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008500586A (ja) * 2004-05-27 2008-01-10 アペリオ・テクノロジーズ・インコーポレイテッド 仮想スライドの画質を評価するシステム及び方法
JP2010191000A (ja) * 2009-02-16 2010-09-02 Nikon Corp 顕微鏡および顕微鏡における画像取得方法
JP2011081211A (ja) * 2009-10-07 2011-04-21 Olympus Corp 顕微鏡システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992017805A1 (en) * 1991-03-29 1992-10-15 Olympus Optical Co., Ltd. Apparatus for sensing automatic focusing
JP2005202092A (ja) * 2004-01-15 2005-07-28 Hitachi Kokusai Electric Inc 合焦点検出方法及びそれを用いた光学顕微鏡
US7232980B2 (en) * 2004-05-24 2007-06-19 Hamamatsu Photonics K.K. Microscope system
US7813579B2 (en) * 2004-05-24 2010-10-12 Hamamatsu Photonics K.K. Microscope system
EP1756750A4 (en) 2004-05-27 2010-10-20 Aperio Technologies Inc SYSTEMS AND METHOD FOR PRODUCING AND LOOKING AT THREE-DIMENSIONAL VIRTUAL FOILS
JP2007232930A (ja) * 2006-02-28 2007-09-13 Toshiba Corp フォーカス合わせ装置及びフォーカス合わせ方法
JP4917331B2 (ja) * 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
JP5307539B2 (ja) * 2006-05-31 2013-10-02 オリンパス株式会社 生体試料撮像方法および生体試料撮像装置
CA2842723C (en) * 2009-10-19 2016-02-16 Ventana Medical Systems, Inc. Imaging system and techniques
US8288235B2 (en) * 2010-10-20 2012-10-16 Globalfoundries Singapore Pte. Ltd. Self-aligned body fully isolated device
JP5780865B2 (ja) * 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
GB201113071D0 (en) * 2011-07-29 2011-09-14 Ffei Ltd Method and apparatus for image scanning
JP5705096B2 (ja) * 2011-12-02 2015-04-22 キヤノン株式会社 画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008500586A (ja) * 2004-05-27 2008-01-10 アペリオ・テクノロジーズ・インコーポレイテッド 仮想スライドの画質を評価するシステム及び方法
JP2010191000A (ja) * 2009-02-16 2010-09-02 Nikon Corp 顕微鏡および顕微鏡における画像取得方法
JP2011081211A (ja) * 2009-10-07 2011-04-21 Olympus Corp 顕微鏡システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016520208A (ja) * 2013-04-30 2016-07-11 モレキュラー デバイシーズ, エルエルシー 顕微鏡システムにおいて平行撮像を用いて焦点の合った画像を生成するための装置および方法
WO2016056205A1 (en) * 2014-10-07 2016-04-14 Canon Kabushiki Kaisha Image acquisition device, image acquisition method, and program

Also Published As

Publication number Publication date
CN104755989A (zh) 2015-07-01
EP3333614A2 (en) 2018-06-13
CN104755989B (zh) 2017-02-15
EP3333612A2 (en) 2018-06-13
EP2916159A1 (en) 2015-09-09
EP2916159A4 (en) 2016-06-08
EP2916159B1 (en) 2020-04-22
WO2014069055A1 (ja) 2014-05-08
US20150301327A1 (en) 2015-10-22
EP3333614A3 (en) 2018-09-05
EP3333613A2 (en) 2018-06-13
EP3333613A3 (en) 2018-09-05
JP5923026B2 (ja) 2016-05-24
EP3333612A3 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
JP5923026B2 (ja) 画像取得装置及び画像取得方法
JP5941395B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP5307221B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
US10571664B2 (en) Image capturing apparatus and focusing method thereof
JP5301642B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP5848596B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
WO2014112085A1 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP5296861B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
WO2014112086A1 (ja) 画像取得装置及び画像取得装置のフォーカス方法
WO2014112083A1 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP6023012B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP5986041B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160415

R150 Certificate of patent or registration of utility model

Ref document number: 5923026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250