JP2015125195A

JP2015125195A - 撮影装置、並びに、画像処理装置およびその方法

Info

Publication number: JP2015125195A
Application number: JP2013268076A
Authority: JP
Inventors: 聡阿部; Satoshi Abe; 隆稲見; Takashi Inami; 荒木　信博; Nobuhiro Araki; 信博荒木
Original assignee: AREI KK
Current assignee: AREI KK
Priority date: 2013-12-25
Filing date: 2013-12-25
Publication date: 2015-07-06
Anticipated expiration: 2033-12-25
Also published as: JP6276024B2

Abstract

【課題】表面に凹凸がある試料の広い範囲や試料内部の構造に焦点を合わせて、試料の鮮明な顕微鏡画像を短時間に撮影する。【解決手段】ステージ11は、載置された試料12を水平方向に移動する。対物レンズ13を経た試料12からの光は、結像レンズ32を経て、ビームスプリッタ14により観察光軸および検出光軸に分岐される。観察光軸上に配置された観察センサ15と検出光軸に配置された焦点検出センサ16に、試料12からの光が結像する。焦点検出部18は、副走査ごとに、焦点検出センサ16によって得られる画像データに基づき合焦状態を検出して、結像レンズ32の移動量を決定する。焦点制御部19は、副走査ごとに、移動量に基づき結像レンズ32を移動して、焦点の位置を補正する。画像処理部31は、観察センサ15によって得られる画像データに、移動量に基づく画像処理を施す。【選択図】図1

Description

本発明は、光学顕微鏡によって試料を撮影する際に、試料に自動的に焦点を合わせる焦点制御を行う撮影装置に関する。

出願人は、表面に凹凸がある試料を光学顕微鏡によって観察する際に、試料面に自動的に焦点を合わせる自動焦点装置を提案している（特許文献1参照）。

特許文献1の自動焦点装置は有限光学系を有し、その焦点制御は、光学ユニットのz軸方向への移動、対物レンズのz軸方向への移動、または、ステージのz軸方向への移動によって実現される。なお、光軸をZ軸と定義する。

顕微鏡の光学系として無限遠補正光学系を用いることができる。無限遠補正光学系を用いる場合、焦点制御は結像レンズのz軸方向への移動によって実現可能である。しかし、結像レンズの移動により結像倍率が変化する問題がある。

特開2012-230195号公報

本発明は、表面に凹凸がある試料の広い範囲や試料内部の構造に焦点を合わせて、試料の鮮明な顕微鏡画像を短時間で撮影することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる撮影装置は、載置された試料を水平方向に移動するステージと、前記試料に焦点を結ぶための対物レンズと、前記対物レンズを経た前記試料からの光を結像するための結像レンズと、前記結像レンズを経た前記試料からの光を観察光軸および検出光軸に分岐する分岐手段と、前記観察光軸上に配置され、前記試料からの光が結像する、ラインセンサから構成される観察センサと、前記検出光軸上に配置され、前記試料からの光が結像する焦点検出センサと、副走査ごとに、前記焦点検出センサによって得られる画像データに基づき合焦状態を検出して、前記結像レンズの移動量を決定する検出手段と、前記副走査ごとに、前記移動量に基づき前記結像レンズを移動して、前記焦点の位置を補正する制御手段と、前記観察センサによって得られる画像データに、前記移動量に基づく画像処理を施す画像処理手段とを有する。

本発明にかかる画像処理装置は、副走査ごとに、結像レンズを移動して、焦点の位置を補正する撮影装置のための画像処理装置であって、前記副走査ごとに、前記結像レンズの移動量に基づき変倍係数を演算する演算手段と、前記副走査ごとに、前記撮影装置の観察センサによって得られるライン画像データを格納する第一の画像メモリの領域を前記変倍係数に基づき決定し、前記領域に前記ライン画像データを格納するメモリ制御手段と、前記変倍係数に基づき各副走査に対応する画像データを前記第一の画像メモリから読み出し、前記画像データに前記変倍係数に基づく主走査方向の拡大縮小処理を施し、前記拡大縮小処理後の画像データを前記副走査の順に第二の画像メモリに格納する変倍手段と、前記第二の画像メモリに格納された画像データを副走査方向に縮小処理する縮小手段とを有する。

本発明によれば、表面に凹凸がある試料の広い範囲や試料内部の構造に焦点を合わせて、試料の鮮明な顕微鏡画像を短時間で撮影することができる。

実施例の撮影装置の構成例を説明するブロック図。無限遠補正光学系における結像倍率Mを説明する図、画像処理部の構成例を説明するブロック図。結像レンズの移動量Δdと結像倍率Mの関係を示す図。画像処理部における画像データを示す図。

以下、本発明にかかる実施例の撮影装置、並びに、その焦点制御および画像処理を図面を参照して詳細に説明する。

［装置の構成］
図1のブロック図により実施例の撮影装置の構成例を説明する。

図1は撮影装置の光学ユニット17を側面から観た様子を示す。ステージ11は、試料12を搭載し、水平方向に自在に移動する。試料12からの光（透過光、蛍光、反射光を含む）は、対物レンズ13および結像レンズ32によって観察光の光路L1（観察光軸）に配置された観察画像の取得用のラインセンサ（以下、観察センサ）15上に結像する。

結像レンズ32と観察センサ15の間の観察光軸上に配置されたビームスプリッタ14は、観察光軸（z軸）に直交するy軸方向に検出光の光路L2（検出光軸）を分岐する。ビームスプリッタ14によって分岐された検出光は、検出光軸上に配置された焦点検出センサ16上に結像する。

焦点検出部18は、周知の位相差検出方式やコントラスト方式を用いて合焦状態の検出を行う。焦点制御部19は、合焦状態の検出結果に基づき結像レンズ32のz軸方向の位置を制御する。つまり、焦点検出部18と焦点制御部19は、ステージ11の動きに合わせて観察センサ15によって試料12の鮮明な画像が得られるように、リアルタイムに焦点を試料12に合わせる自動焦点制御を行う。なお、焦点を合わせる位置は、試料12の表面または内部構造である。

画像処理部31は、観察センサ15によって得られる画像をステージ11の移動に合わせて画像メモリに記録して顕微鏡画像を生成する。顕微鏡画像を生成する際、画像処理部31は、結像倍率の補正を行うが詳細は後述する。

焦点検出部18および焦点制御部19は、例えば、マイクロプロセッサなどのコンピュータに後述する処理を実行するプログラムを供給することで実現される。

［結像倍率の補正］
焦点制御においては、結像レンズ32の移動による結像倍率の変化を考慮する必要はない。しかし、観察センサ15によって得られる顕微鏡画像は結像倍率の変化の影響を受ける。従って、顕微鏡画像において結像倍率の変化の影響を補正する必要がある。

●結像倍率の変化
図2により無限遠補正光学系における結像倍率Mを説明する。なお、結像公式に基づく結像倍率の説明を容易にするために、図2には有限光学系のような記載を行う。

図2において、結像公式より次が成り立つ。
1/a + 1/b = 1/Fo …(1)
1/c + 1/d = 1/Fi …(2)
c = e - a …(3)
ここで、Foは対物レンズ13の焦点距離、
Fiは結像レンズ32の焦点距離、
eは対物レンズ13と結像レンズ32の間の距離。

b=Fo+Δb、結像倍率M=Fi/Fo（Fi=MFo）、d=Fi+Δd=MFo+Δdと定義すると、式(1)(2)(3)から次式が得られる。
Δd = [(MFo・eΔb - MFo³ - MFo²Δb)/{(e - Fo - MFo)Δb - Fo²}] - MFo
= M²Fo²Δb/{(e - Fo - MFo)Δb - Fo²} …(4)

対物レンズの合焦点からのずれ量Δbが非常に小さい場合、Fo²≫(e - Fo - MFo)Δbであり、式(4)を次式のように簡略化することができる。
Δd = M²Fo²Δb/(- Fo²)
= -M²Δb …(5)

つまり、結像レンズの移動量Δdは、対物レンズ13の合焦点からのずれ量-Δbに結像倍率Mの二乗を乗算した値にほぼ等しい。

例えば、対物レンズ13の焦点距離Foが10mm、結像レンズ32の焦点距離Fiが200mmの場合、結像倍率MはFi/Fo=20（20倍投影）になる。対物レンズ13の開口数NAが0.4の場合、焦点深度はおおよそ±2μmである（715ラインペア/mmで、光学伝達特性MTFが20%となる深度範囲と定義）。つまり、対物レンズ13によって焦点を制御する場合、±2μmの制御が必要になる。

一方、同じ焦点のずれを結像レンズ32によって補正する場合、式(10)からΔd=-20²×0.002=-0.8、つまり400倍の0.8mmの移動量にすることができ、制御精度は結像倍率Mの二乗倍で済むと言える。

上述したように、結像レンズ32の移動によって結像倍率Mが変化する。以下では、結像倍率Mの変化を説明する。

図2において、点Bが点Dに結像した場合を考える。この場合、結像倍率はM'=d/bと表すことができる。また、b=Fo+Δbであり、d=Fi+Δd=Fi-M²Δb、Fi=MFoであるから次式が得られる。
M' = d/b = (Fi - M²Δb)/(Fo+Δb)
= (MFo - M²Δb)/(Fo+Δb)
= (MFo + MΔb - M²Δb - MΔb)/(Fo+Δb)
= {M(Fo + Δb) - (M²-M)Δb}/(Fo+Δb)
= M - {M(M -1)Δb}/(Fo+Δb) …(6)

式(6)において、Δb=0の場合は結像倍率M'=Mであるが、Δb＞0の場合は結像倍率M'≠Mになる。言い替えれば、結像レンズ32の移動によって焦点のずれΔbを補正する場合、結像倍率Mが変化する。例えば、上記の20倍投影においてΔb=2、5、10μmの焦点のずれを結像レンズ32の移動によって補正した場合、結像倍率M'は下表のように変化する。
────┬─────
Δb │ M'
[μm] │
────┼─────
0 │ 20.000
2 │ 19.924
5 │ 19.810
10 │ 19.620
────┴─────

●画像処理部
図3のブロック図により画像処理部31の構成例を説明する。なお、画像処理部31の各構成は内部バス50を介して相互に接続されている。

インタフェイス49は、副走査ごとに、焦点検出部18から移動量（結像レンズ32の移動量Δd）を入力する。

変倍係数演算部46は、副走査ごとに、図4に一例を示すテーブルを参照して、移動量Δdから変倍係数mを算出し、変倍係数mをメモリ制御部42に出力するとともに変倍係数メモリ43に格納する。図4は20倍投影における結像レンズ32の移動量Δdと結像倍率Mの関係を示す。なお、20倍投影における変倍係数mは20/Mである。なお、変倍係数演算部46は、図4に示すような近似式を用いて、移動量Δdに対する結像倍率Mを計算した上で、変倍係数mを算出してもよい。

アナログディジタル変換器(ADC)45は、副走査ごとに、観察センサ15から入力される輝度信号をディジタルデータ（以下、ライン画像データ）に変換する。

メモリ制御部42は、副走査ごとに、次式により、画像メモリ41の格納領域を決定し、決定した格納領域にADC45が出力するライン画像データが格納されるように画像メモリ41を制御する。
if (n == 1) {
LNs₁ = 0；
LNe₁ = BW×m₁ - 1；
} else {
LNs_n = LNe_n-1 + 1；
LNe_n = LNs_n + BW×m_n - 1；
} …(7)
ここで、nは副走査回数（初回の副走査はn=1）、
LNsは領域の開始ライン番号、
LNeは領域の終了ライン番号、
BWは基本ライン数。

図5により画像処理部31における画像データを示す。図5(a)に示すように、同じライン画像データが、変倍係数m_nに対応するライン数BW×m_nの格納領域に格納される。

基本ライン数BWは、結像倍率Mの変動の許容レベルに応じて決定される。例えば、1%の結像倍率Mの変動を許容する場合はBW=100に設定され、0.1%の結像倍率Mの変動を許容する場合はBW=1000に設定される。言い換えれば、基本ライン数BWは、結像倍率Mの変動の許容レベルに応じた基本メモリサイズに相当する。なお、主走査方向のメモリサイズは、観察センサ15の画素数に等しい。従って、一副走査分のライン画像データを格納する領域は、結像倍率Mの変動の許容レベルに応じたメモリサイズになる。

主走査方向変倍部47は、順次、変倍係数メモリ43から変倍係数m_nを取得し、式(12)に基づき、各副走査に対応する画像データを画像メモリ41から読み出す。そして、変倍係数m_nに基づき、取得した画像データの主走査方向（観察センサ15のライン方向）の拡大縮小処理を行う（図5(b)）。主走査方向変倍部47は、ライン画像データの中央から主走査方向の外に向う拡大処理、または、ライン画像データの中央に向う縮小処理を行い、副走査方向への拡大縮小処理は行わない。

例えば、20倍投影において結像倍率Mが19から21の間で変動し、観察センサ15が1000画素を有する場合、拡大縮小処理後の主走査方向の有効な画素の数は1052から952画素である。主走査方向変倍部47は、有効な画素から構成される画像データ（有効画素領域）を切り出すために、拡大縮小処理後の画像データを、画像データが最も縮小される場合の主走査方向の画素数にクロップする（図5(c)）。上記の例においては、拡大縮小処理後の画像データの主走査方向の中央から左右にそれぞれ952/2=476画素分の画像データがクロップされることになる。

クロップ後の画像データは、順次、画像メモリ44に格納される。画像メモリ44への画像データの格納は副走査順に行われ、副走査が終了すると、画像メモリ44には副走査方向にBW倍に拡大された画像データが格納されている（図5(c)）。副走査方向縮小部48は、画像メモリ44に格納された画像データを副走査方向に1/BW倍に縮小処理して、縦横の倍率を基本倍率（例えば20倍投影ならば20）に補正した画像データを生成する（図5(d)）。

縮小処理後の画像データは顕微鏡画像の画像データとして、インタフェイス49を介して外部のコンピュータ機器に出力される。なお、主走査方向変倍部47の拡大縮小処理、および、副走査方向縮小部48の縮小処理には、周知の画像データの補間処理を利用すればよい。

変倍係数演算部46、主走査方向変倍部47、副走査方向縮小部48はそれぞれハードウェアとして構成してもよいが、各処理を並列実行または順次実行するためのプログラムをマイクロプロセッサに供給することで、マイクロプロセッサによって実現することもできる。また、図3には画像メモリ41と画像メモリ44を独立したメモリとして記載するが、それら画像メモリを一つのメモリに割り当てることも可能である。

結像レンズ32の開口数NAは対物レンズ13の開口数NAよりも小さく、結像レンズ32のレンズ数は対物レンズ13のレンズ数よりも少なく、結像レンズ32は対物レンズ13より軽量である。従って、結像レンズ32の移動による焦点制御は、移動する物体の軽量化を図ることができ、ステージ11や対物レンズ13をz軸方向に移動する場合に比べて応答性が改善され、合焦を速やかかつ安定に得ることができる。

さらに、実施例の撮影装置によれば、結像レンズ32の移動によって焦点制御を行うため、対物レンズ13を移動する場合に比べてレンズの移動量が結像倍率Mの二乗倍に増加し、焦点制御が容易になる。そして、焦点を補正するための結像レンズ32の移動による結像倍率の変動を除去、または、少なくとも抑制した顕微鏡画像を画像処理によって得ることができる。

このように、実施例の撮影装置によれば、表面に凹凸がある試料の広い範囲や試料内部の構造に焦点を合わせて、試料の鮮明な顕微鏡画像を短時間で撮影することができる。

Claims

載置された試料を水平方向に移動するステージと、
前記試料に焦点を結ぶための対物レンズと、
前記対物レンズを経た前記試料からの光を結像するための結像レンズと、
前記結像レンズを経た前記試料からの光を観察光軸および検出光軸に分岐する分岐手段と、
前記観察光軸上に配置され、前記試料からの光が結像する、ラインセンサから構成される観察センサと、
前記検出光軸上に配置され、前記試料からの光が結像する焦点検出センサと、
副走査ごとに、前記焦点検出センサによって得られる画像データに基づき合焦状態を検出して、前記結像レンズの移動量を決定する検出手段と、
前記副走査ごとに、前記移動量に基づき前記結像レンズを移動して、前記焦点の位置を補正する制御手段と、
前記観察センサによって得られる画像データに、前記移動量に基づく画像処理を施す画像処理手段とを有する撮影装置。
前記画像処理手段は、
前記副走査ごとに、前記移動量に基づき変倍係数を演算する演算手段と、
前記副走査ごとに、前記観察センサによって得られるライン画像データを格納する第一の画像メモリの領域を前記変倍係数に基づき決定し、前記領域に前記ライン画像データを格納するメモリ制御手段と、
前記変倍係数に基づき各副走査に対応する画像データを前記第一の画像メモリから読み出し、前記画像データに前記変倍係数に基づく主走査方向の拡大縮小処理を施し、前記拡大縮小処理後の画像データを前記副走査の順に第二の画像メモリに格納する変倍手段と、
前記第二の画像メモリに格納された画像データを副走査方向に縮小処理する縮小手段とを有する請求項1に記載された撮影装置。
副走査ごとに、結像レンズを移動して、焦点の位置を補正する撮影装置のための画像処理装置であって、
前記副走査ごとに、前記結像レンズの移動量に基づき変倍係数を演算する演算手段と、
前記副走査ごとに、前記撮影装置の観察センサによって得られるライン画像データを格納する第一の画像メモリの領域を前記変倍係数に基づき決定し、前記領域に前記ライン画像データを格納するメモリ制御手段と、
前記変倍係数に基づき各副走査に対応する画像データを前記第一の画像メモリから読み出し、前記画像データに前記変倍係数に基づく主走査方向の拡大縮小処理を施し、前記拡大縮小処理後の画像データを前記副走査の順に第二の画像メモリに格納する変倍手段と、
前記第二の画像メモリに格納された画像データを副走査方向に縮小処理する縮小手段とを有する画像処理装置。
前記演算手段は、前記移動量と結像倍率の関係を示すテーブルまたは近似式に基づき前記変倍係数を演算する請求項3に記載された画像処理装置。
前記メモリ制御手段は、前記結像倍率の変動の許容レベルに応じた基本メモリサイズに基づき、前記副走査ごとに、前記ライン画像データを格納する領域を決定する請求項4に記載された画像処理装置。
前記縮小手段は、前記基本メモリサイズに基づき前記副走査方向の縮小処理を行う請求項5に記載された画像処理装置。
前記変倍手段は、前記拡大縮小処理後の画像データから有効画素領域をクロップした画像データを前記第二の画像メモリに格納する請求項3から請求項6の何れか一項に記載された画像処理装置。
副走査ごとに、結像レンズを移動して、焦点の位置を補正する撮影装置のための画像処理装置の画像処理方法であって、
演算手段が、前記副走査ごとに、前記結像レンズの移動量に基づき変倍係数を演算し、
メモリ制御手段が、前記副走査ごとに、前記撮影装置の観察センサによって得られるライン画像データを格納する第一の画像メモリの領域を前記変倍係数に基づき決定し、前記領域に前記ライン画像データを格納し、
変倍手段が、前記変倍係数に基づき各副走査に対応する画像データを前記第一の画像メモリから読み出し、前記画像データに前記変倍係数に基づく主走査方向の拡大縮小処理を施し、前記拡大縮小処理後の画像データを前記副走査の順に第二の画像メモリに格納し、
縮小手段が、前記第二の画像メモリに格納された画像データを副走査方向に縮小処理する画像処理方法。
コンピュータを請求項3から請求項7の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。