JP2018205567A - ライトフィールド顕微鏡、観察方法 - Google Patents

Abstract

【課題】標本の位置座標の探索を容易に実行し、効率的に観察を行うことができるライトフィールド顕微鏡を提供する。【解決手段】標本Ｓの像共役位置に配置されるマイクロレンズアレイ１３を有する、標本Ｓからの光束を取り込む結像光学系２０と、マイクロレンズアレイ１３を通過した光束を検出するイメージセンサ１５と、を備えたライトフィールド顕微鏡１００を用いた標本Ｓの観察方法であって、イメージセンサ１５が検出した光束の情報からリフォーカス画像を生成する第１工程と、リフォーカス画像を表示媒体１８へ表示する第２工程と、ユーザからの、標本Ｓの結像光学系２０の光軸方向の画像構築範囲を設定する入力を受け付ける第３工程と、画像構築範囲内からイメージセンサ１５により検出された光束の情報を用いてデコンボリューション処理による画像構築を行う。【選択図】図１

Description

標本からの光束情報に対しデコンボリューション処理を実行するライトフィールド顕微鏡、及び、その顕微鏡を用いた観察方法に関する。

ライトフィールド顕微鏡では、一度の撮像により一定範囲の三次元情報を含む光情報を検出することができるため、撮像時における焦点位置を合わせるための調整作業の省略、撮像回数の削減等が可能となり、より効率的な観察を行うことができる。一般に、ライトフィールド顕微鏡では、検出した光情報から光線追跡に基づいて任意の焦点位置に対応したリフォーカス画像を作成する。

特許文献１には、従来のライトフィールド顕微鏡によるリフォーカス像構築方法に加えて３次元デコンボリューション処理を組み合わせることで、標本の３次元情報を高解像かつ広範囲に再構築する技術が記載されている。また、結像光学系の光路中に位相板を配置することで、対物レンズの焦点付近で発生する解像の劣化を防ぎ、Ｚ位置に依らず高解像な３次元像の再構築方法も開示されている。特許文献１に係る技術によれば、従来光線追跡によって作成していた画像と比較して、より解像度の高い画像を取得することができる。

米国特許出願公開第２０１６／００６２１００号明細書

一般にライトフィールド顕微鏡においても、他の顕微鏡と同じく、画像取得を行うための標本の位置座標の探索を行う。一方で、特許文献１に記載されるライトフィールド顕微鏡では、画像取得を行うための標本の位置座標を探すために、取得した光情報に対して逐一デコンボリューション処理を行うと、多大な時間を要してしまう。

また、ライトフィールド顕微鏡では、標本の像がカメラ（イメージセンサ）に結像されないため、カメラに映るライブ画像から目視により標本の位置を読みとることも難しい。

以上から、特許文献１に記載されるようなデコンボリューション処理により画像構築を行うライトフィールド顕微鏡において、画像取得を行うための標本の位置を探索する実用的な手法は、現状確立されていない。

以上の実情を踏まえ、本発明では、標本の位置の探索を容易に実行し、効率的に観察を行うことができるライトフィールド顕微鏡を提供することを目的とする。

本発明の一態様における観察方法は、標本の像共役位置に配置されるマイクロレンズアレイを有する、前記標本からの光束を取り込む結像光学系と、前記マイクロレンズアレイを通過した光束を検出するイメージセンサと、を備えたライトフィールド顕微鏡を用いた前記標本の観察方法であって、前記イメージセンサが検出した光束の情報からリフォーカス画像を生成する第１工程と、前記リフォーカス画像を表示媒体へ表示する第２工程と、ユーザからの、前記標本の前記結像光学系の光軸方向の画像構築範囲を設定する入力を受け付ける第３工程と、前記画像構築範囲内から前記イメージセンサにより検出された光束の情報を用いてデコンボリューション処理による画像構築を行う第４工程と、を有し、前記第１工程、前記第２工程、前記第３工程、前記第４工程、の順に行うことを特徴とする。

本発明の一態様におけるライトフィールド顕微鏡は、標本の像共役位置に配置されるマイクロレンズアレイを有する、前記標本からの光束を取り込む結像光学系と、前記マイクロレンズアレイを通過した光束を検出するイメージセンサと、前記イメージセンサが検出した光束の情報からリフォーカス画像を生成する演算装置と、前記リフォーカス画像を表示媒体へ表示させる表示制御部と、ユーザからの、前記標本の前記結像光学系の光軸方向の画像構築範囲を設定する入力を受け付ける入力部と、を備え、前記演算装置は、前記画像構築範囲内から前記イメージセンサにより検出された光束の情報を用いてデコンボリューション処理による画像構築を行うことを特徴とするライトフィールド顕微鏡。

本発明のライトフィールド顕微鏡によれば、標本の位置の探索を容易に実行し、効率的に観察を行うことができる。

第１の実施形態のライトフィールド顕微鏡の構成を示す図 制御装置の機能構成を示す図 各物点位置からの蛍光をイメージセンサにより検出する際の光束の状態と、検出された光情報を示す図 第１の実施形態のライトフィールド顕微鏡を用いて標本の観察を行う手順を示すフローチャート リフォーカス画像と位置情報を表示する例を示す図 第１の実施形態のライトフィールド顕微鏡を用いて標本Ｓの観察を行う別の手順を示すフローチャート 第１の実施形態の変形例におけるライトフィールド顕微鏡の構成を示す図 第２の実施形態のライトフィールド顕微鏡を用いて標本の観察を行う手順を示すフローチャート 画像取得範囲と、表示するリフォーカス画像に対応する標本上の位置を示す図 画像取得範囲に対応するリフォーカス画像を表示媒体の画面に表示する一例を示す図 画像取得範囲と、表示するリフォーカス画像に対応する標本上の位置を示す別の図 画像取得範囲と、表示するリフォーカス画像に対応する標本上の位置を示すさらに別の図

以下、本発明の第１の実施形態におけるライトフィールド顕微鏡１００、及び、その顕微鏡を用いた標本Ｓの観察方法について説明する。図１は、ライトフィールド顕微鏡１００の構成を示す図である。

ライトフィールド顕微鏡１００は、光源ユニット１、励起フィルタ２、蛍光フィルタ３、ダイクロイックミラー４、対物レンズ５、着脱可能なミラー６、双眼レンズ７、レンズ８、９、１０、及び、位相変調素子１１を含むターレット１２、マイクロレンズアレイ１３を含むターレット１４、イメージセンサ１５、制御装置１６、入力装置１７、表示媒体１８、を備えている。尚、標本Ｓからの蛍光を取り込み、イメージセンサ１５へ該蛍光を導光する一連の構成（対物レンズ５、ダイクロイックミラー４、蛍光フィルタ３、ミラー６、レンズ８、９、１０、及び、位相変調素子１１を含むターレット１２、マイクロレンズアレイ１３を含むターレット１４）を結像光学系２０とも称する。

光源ユニット１は、標本Ｓからの蛍光を発生させる励起光を含む光を出力する光源を含み、後段の光学系へその光を導光するユニットである。励起フィルタ２は、光源ユニット１からの照明光のうち励起光のみを通過させる素子である。励起フィルタ２としては、例えばバンドパスフィルタが用いられる。

ダイクロイックミラー４は、光源ユニット１、励起フィルタ２を通過した励起光を反射し、標本Ｓからの蛍光を透過するように設計される。具体的には、励起フィルタ２を通過した励起光は、ダイクロイックミラー４を反射し、対物レンズ５を介して標本Ｓへ照射される。標本Ｓから発生した蛍光は、対物レンズ５を介して取り込まれ、ダイクロイックミラー４を透過する。尚、標本Ｓは図示しないステージ等に設置される。

また、ライトフィールド顕微鏡１００には、観察時の倍率を変更するために、複数の対物レンズ５を光路上に切替可能に設けたリボルバが備えられてもよい。

蛍光フィルタ３は、標本Ｓからの蛍光のみを通過させ、その他散乱光等の不要光を除外する。

ミラー６は、図示しない駆動機構等により挿脱可能なミラーである。ミラー６が除外された状態では、標本Ｓからの蛍光が双眼レンズ７を通過するため、ユーザが肉眼による観察を行うことが可能となる。ミラー６が挿入された状態では、標本Ｓからの蛍光がイメージセンサ１５へ導光される。

ターレット１２は、位相変調素子１１を光路上で挿脱する。位相変調素子１１は、光路への設置時に、対物レンズ５の瞳共役位置（即ち、結像光学系１７の入射瞳と共役な位置）に配置され、光束（前述の蛍光を示す）を変調する。即ち、位相変調素子１１は、光路上で挿脱されることで、光束を変調する変調状態と、光束を変調させない非変調状態とを切替可能な光変調部（位相変調部とも記す）として機能するものである。

ターレット１４は、マイクロレンズアレイ１３を光路上で挿脱する。マイクロレンズアレイ１３は、光路への設置時に、標本Ｓの像共役位置に配置される。

尚、ターレット１２は、位相変調素子１１の他に異なる種類の位相変調素子を有し、ターレット１４は、マイクロレンズアレイ１３の他に異なる種類のマイクロレンズアレイを有しており、それぞれ挿脱可能（切替可能）な構成であってもよい。複数の対物レンズ５を設けた構成において、使用する対物レンズ５の倍率毎に適切なマイクロレンズアレイ、及び、位相変調素子を切替可能に有していることで、対物レンズ５を切り替えた際の標本Ｓの観察に対応できる。

また、マイクロレンズアレイ１３を含むマイクロレンズアレイがターレット１４により除外されている状態では、イメージセンサ１５が像共役な位置となるようにレンズ群が光路上に設置される構成であることが望ましい。そうすることで、マイクロレンズアレイが設置されない状態で、標本Ｓの蛍光像をイメージセンサ１５により取得することができる。

制御装置１６は、ミラー６の挿脱を行う駆動機構の制御、ターレット１２、１４の回転制御、イメージセンサ１５が取得した光束の情報に対する演算処理、画像の表示媒体１８への出力等を実行する。制御装置１６は、例えば、コンピュータである。

入力装置１７は、ユーザからの入力指示を受け付ける。入力装置１７は、例えば、キーボード等である。

表示媒体１８は、制御装置１６から受信した画像を表示する。

図２は、制御装置１６の機能構成を示す図である。制御装置１６は、光情報取得部２１、演算部２２、表示制御部２３、入力部２４、記憶部２５、駆動制御部２６を有している。

光情報取得部２１は、イメージセンサ１５が検出した標本Ｓからの蛍光の情報（光情報）を取得する。

演算部２２は、光情報取得部２１が取得した光情報に対し、演算処理を実行する。演算部２２は、光線の逆追跡により、特定の位置座標（Ｚ位置）の焦点画像に当たるリフォーカス画像を作成する処理と、光情報に対するデコンボリューション処理により画像構築を行う処理を実行する。以下、演算部２２が実行するデコンボリューション処理について説明する。

図３は、各物点位置からの蛍光を結像光学系２０が取り込み、イメージセンサ１５により検出する際の光束の状態と、検出された光情報を示す図である。尚、結像光学系２０が有する各構成要素については簡略化して記載している。

光情報Ｉは、マイクロレンズアレイ１３と共役な標本Ｓ上の位置（焦点位置）からの蛍光を取得したものである。即ち各物点の位置からの光束は、一つのマイクロレンズアレイ上に結像される。この状態では、焦点面上の位置によって結像パターンが変わらず、各物点の位置に依存する情報はマイクロレンズアレイのピッチによって制約を受ける。

一方で、光情報ＩＩ、ＩＩＩのように、マイクロレンズアレイ１３と共役でない標本上の位置（非焦点位置）から蛍光を取得した場合、蛍光は複数のマイクロレンズアレイを通り、イメージセンサ１５へ導光される。このとき、物点のＸＹ平面上の位置の情報は、複数のレンズアレイを通過した光束を取得して得られた情報であり、マイクロレンズアレイのピッチで決まるカットオフ周波数以上の情報を含んでいる。

このように、非焦点位置から検出した光情報は、物点のより多くの位置情報を含むものであり、デコンボリューション処理により標本Ｓの画像をより高解像に再構築することが可能である。また、位相変調素子１１を光路上に挿入した状態では、焦点位置からの光情報も光情報ＩＩ、ＩＩＩのように物点の位置の情報を含むものとなる。即ち、位相変調素子１１が光路上に配置されている状態で取得した光情報は、光軸方向の位置に依らずデコンボリューションによる高解像の画像の再構築を行うことが可能な情報となる。そのため、本実施形態では、デコンボリューション処理を行うための光情報の検出は、位相変調部が変調状態（位相変調素子１１が挿入されている状態）にて実行される。即ち、演算部２２は、位相変調部により変調されたイメージセンサ１５が検出した光束の情報を用いてデコンボリューション処理による画像構築を行う。

また、位相変調素子１１が光路上に設置されている状態では、光線追跡が正確に行えない。そのため、リフォーカス画像を作成するための光情報の検出は、位相変調部が非変調状態（位相変調素子１１が除外されている状態）にて実行されることが望ましい。即ち、リフォーカス画像の生成は、位相変調部により変調されていないイメージセンサ１５が検出した光束の情報を用いて行われることが望ましい。

表示制御部２３は、演算部２２が作成した画像を表示媒体１８へ表示出力する。

入力部２４は、入力装置１７からの入力を受信する。

記憶部２５は、光情報取得部２１が得た光情報や、演算部２２が作成した画像等を記憶する記憶媒体である。

駆動制御部２６は、ミラー６を移動する駆動機構、ターレット１２、１３の回転制御を行う。

以上の構成を有するライトフィールド顕微鏡１００を用いて標本Ｓの観察を行う方法を説明する。具体的には、標本Ｓの本撮影を行う前に標本Ｓの画像をプレビュー表示し、ユーザにより設定された画像取得範囲、撮影する条件（観察条件）を受信し、該画像取得範囲及び観察条件で標本Ｓの撮影を実行して所望の画像を得る。

図４は、ライトフィールド顕微鏡１００を用いて標本Ｓの観察を行う手順を示すフローチャートである。図４のフローチャートは、制御装置１６が実行する。尚、図４に示すフローチャートは、標本Ｓがステージ上に設置され、位相変調素子１１が光路上から除外され、マイクロレンズアレイ１３が光路上に設置されている状態から始まるものとする。

ステップＳ１では、制御装置１６が、入力部２４によりユーザからの撮影位置を設定する入力を受信する。ここで設定される撮影位置は、ユーザが、ミラー６が光路上から外された状態で、双眼レンズ７を介して標本Ｓの状態を確認することにより決められるものである。尚、本ステップにおける撮影位置の設定は、ライトフィールド画像を作成する上での光情報の検出を行う標本Ｓの位置を大まかに決めるものであり、対物レンズ５の光軸に直交する平面（ＸＹ平面）方向及び光軸方向（Ｚ方向）で位置調整が行われる。ＸＹ平面方向、Ｚ方向での撮影位置の変更は、例えばステージを駆動することで行われる。

ステップＳ２では、ミラー６を光路上へ挿入し、ステップＳ１で決められた撮影位置からの光情報をイメージセンサ１５が検出する。本実施形態では、一度の撮影をおこない、得た光情報を用いて以降のステップを行うものとする。

ステップＳ３では、演算部２２は、検出した光情報から光線の逆追跡によりリフォーカス画像を作成する。このとき、演算部２２は、Ｚ方向の複数のリフォーカス画像を作成する。

ステップＳ４では、表示制御部２３は、ステップＳ３で作成されたリフォーカス画像を、その位置情報とともに表示媒体１８へ表示する。ここでいう位置情報とは、作成したリフォーカス画像に対応する標本ＳのＺ方向の位置を示す情報である。位置情報は、例えば、光情報の検出時に、検出した光情報と対応付けられて記憶部２５に記憶される。

図５は、表示媒体１８の画面１８ａが、光情報に基づいたリフォーカス画像と位置情報を表示する例を示す図である。アイコンＰ６の上下のカーソルをマウスポインタ等により入力することで、選択された画像を、ステップＳ３で作成した複数のリフォーカス画像（Ｐ３、Ｐ４、Ｐ５）から切り替えて、画像Ｐ１へ表示する。現在は画像Ｐ４が選択され、画像Ｐ４に対応する画像が、画像Ｐ１として画面左に拡大表示されている。表記Ｐ２には、画像Ｐ１として表示される画像に対応する位置情報（Ｚ方向の位置情報）が表示される。

ステップＳ４で表示媒体１８へ画像と位置情報とが表示されることで、ユーザは、各位置における標本Ｓの状態を確認することができる。ユーザは、表示媒体１８へ表示された情報から、標本ＳのＺ方向の画像取得範囲を設定する。画像取得範囲とは、制御装置１６がデコンボリューション処理を行う標本ＳのＺ方向の範囲に該当する。即ち、ユーザは表示された画像Ｐ１及び表記Ｐ２から、標本Ｓの状態を確認した後、デコンボリューション処理を実行するための光情報を検出する画像取得範囲を設定する。また、画像取得範囲は、画像構築範囲とも表記する。

またこのとき、ユーザは、画像取得範囲の設定に伴い観察条件を設定してもよい。観察条件とは、イメージセンサ１５の露光時間、イメージセンサ１５の画素出力設定、イメージセンサ１５の検出波長、結像光学系２０の光路上に配置される構成、ライトフィールド顕微鏡１００が有する標本Ｓを照明する照明光学系２０の照明強度（即ち光源ユニット１の出力設定）、のいずれかである。

例えば、表示媒体１８へ表示されたリフォーカス画像が暗いと感じた場合、イメージセンサ１５の露光時間や、光源ユニット１の出力設定を変更することで、後に行う光情報の検出を良好に実行することができる。また、表示されたリフォーカス画像をより拡大して見たいと感じた場合、異なる対物レンズ５及びその対物レンズ５に対応するマイクロレンズアレイ１３を光路上に配置して、所望の倍率で観察を行うことができる。また、対物レンズ５の切替に伴いイメージセンサ１５への蛍光の投影面積が変わったときに、イメージセンサ１５の画素出力範囲の設定を行ってもよい。また、標本Ｓがそれぞれ異なる波長の蛍光を発する複数の蛍光体を含んでいる場合、イメージセンサ１５が検出する波長を切り替えることで、多波長観察に対応してもよい。ユーザは、入力装置１７への入力を行い、画像取得範囲及び観察条件の設定を行う。

以上のステップＳ１からステップＳ４が、デコンボリューションを行う標本ＳのＺ方向の範囲である画像取得範囲、観察条件の設定を行う工程である。尚、ステップＳ４で表示媒体１８へ表示された画像が、ユーザがデコンボリューションを行いたいＺ方向の範囲を含んでいなかった場合、ステップＳ１へ戻り、工程を再度繰り返してもよい。ステップＳ１からＳ４は、一度の撮影と、リフォーカス画像の作成及び表示を行うものであり、特段多くの時間を有する工程ではなく、短時間で行われるため、数度繰り返されても観察に支障はない。また、ユーザは、ステップＳ１で撮影位置を決めて撮影を行うだけで、制御装置１６により作成されて表示されるリフォーカス画像から標本Ｓの状態を確認できる。即ち、以上のステップＳ１からステップＳ４によれば、標本Ｓの位置の探索を容易なものとする。

ステップＳ５では、制御装置１６は、入力部２４を介して入力装置１７からの入力情報（画像取得範囲、観察条件）を受信する。

ステップＳ６では、駆動制御部２６により位相変調素子１１が光路上に挿入される。

ステップＳ７では、ステップＳ５で制御装置１６が受信した画像取得範囲及び観察条件に基づいて、その観察条件で且つその画像取得範囲からの光情報をイメージセンサ１５が検出する。このとき、設定された画像取得範囲内の全ての位置からの光情報を検出するように、標本ＳのＺ方向の撮影位置が決められるとよい。その際の撮影位置は、ユーザが設定して決めてもよく、解像度を保った状態でデコンボリューション処理による画像構築が可能な結像光学系（対物レンズ５）の光軸方向の範囲を予め測定を行う等により記憶しておき、その範囲に基づいた間隔毎にイメージセンサ１５が光検出を行う撮影位置が設定されてもよい。

ステップＳ８では、演算部２２が、ステップＳ７で検出した光情報を用いてデコンボリューション処理を行い、画像を構築する。ステップＳ９では、表示制御部２３が構築された画像を表示媒体１８へ表示する。

ステップＳ１０において、ユーザは、表示された画像の解像度、位置等が所望のものであるかを判断し、問題がない場合には（ステップＳ１０の判定がＹＥＳ）、制御装置１６は、ユーザからの新たな入力を受信せずフローチャートを終了する。撮り直しが必要な場合には、画像取得範囲、観察条件等の再設定を行うための入力装置１７への入力を行い、その入力を制御装置１６が受信し（ステップＳ１０の判定がＮＯ）、ステップＳ４へ戻り処理を繰り返す。

以上のように、図４のステップＳ１からＳ４において実行される工程により、ユーザは標本Ｓの任意の位置の状態を確認することができ、制御装置１６がデコンボリューション処理を実行するための画像取得範囲の探索、観察条件の設定を容易に行うことができる。そして、図４のステップＳ５からＳ１０において、所望の画像をデコンボリューション処理により高解像で取得することができる。このように、本実施形態のライトフィールド顕微鏡１００を用いた観察方法によれば、デコンボリューション処理により画像構築を行うようなライトフィールド顕微鏡においても、標本の位置の探索を容易に実行し、効率的に観察を行うことができる。

また、ステップＳ２でさらに、マイクロレンズアレイ１３が光路から除外された状態で、マイクロレンズアレイ１３を介さずに標本Ｓからの光束をイメージセンサ１５が検出することで画像（蛍光画像）を取得し、図４のステップＳ４で、リフォーカス画像が表示されるときに、その画像をリフォーカス画像と合わせて表示媒体１８に表示してもよい。尚、表示される蛍光画像及びリフォーカス画像は、それぞれ同じ標本Ｓの位置における画像である。通常の蛍光画像の方がリフォーカス画像と比べて解像感がよく、より正確に標本Ｓの状態を確認できる情報を提供することができる。

以下、ライトフィールド顕微鏡１００を用いて標本Ｓの観察を行う別の手法を説明する。具体的には、検出済みの光情報からリフォーカス画像を作成してプレビュー表示し、その中で選択された画像に対応する位置座標の光情報からデコンボリューション処理による画像構築を行う。

図６は、ライトフィールド顕微鏡１００を用いて標本Ｓの観察を行う図４とは別の手順を示すフローチャートである。尚、図６に示すフローチャートは、デコンボリューション処理を行うための画像構築範囲（及び観察条件）が既に定まっている状態から始まる。図６は、図４のフローチャート後に実施されてもよい。

ステップＳ１１では、イメージセンサ１５により、予め定まった画像構築範囲（及び観察条件）において一定時間のタイムラプス撮影を行う。ここで得られた光情報は、記憶部２５に記憶される。ステップＳ１１の処理は、ターレット１２により、位相変調素子１１が挿入されている状態で行われる。
ステップＳ１２では、演算部２２は、記憶部２５から光情報を抽出し、デコンボリューション処理により再構築画像を作成する。ここでは、任意のＺ方向の位置区間内からＺ方向の位置毎に、また、タイムラプス撮影時の任意の時間区間内から特定の時間毎において、デコンボリューション処理により画像構築を行う。尚、ステップＳ１２により得られる画像（再構築画像）は、後述するステップＳ１３でプレビュー画像として表示されるものであり、選択された間隔内の全ての光情報から画像を構築せずともよいため、ある一定間隔毎に間引かれた光情報を画像構築に用いている。
また、ステップＳ１１で位相変調素子１１を挿入せずにタイムラプス撮影を行った場合には、ステップＳ１２で、任意のＺ方向の位置区間内からＺ方向の位置毎に、また、タイムラプス撮影時の任意の時間区間内から特定の時間毎に抽出した光情報からリフォーカス画像を作成してもよい。

ステップＳ１３では、表示制御部２３により、ステップＳ１２で作成した画像（再構築画像やリフォーカス画像）をプレビュー画像として表示媒体１８へ表示する。例えば、表示制御部２３は、図５のようにＺ方向の位置毎に、作成した画像をユーザからの入力により切り替えて表示する。また、タイムラプス撮影時の時間毎の画像を確認したい場合、特定の時間（ｔ＝ｎ）における位置毎の画像を切替可能に表示するとともに、異なる時間を選択可能とし、選択された時間に対応する位置毎の画像を表示してもよい。また、Ｚ方向の位置、時間毎の画像を切替可能に表示するものであれば、表示方法は特に限定されない。

ここで、ユーザは、表示された情報からデコンボリューション処理を行う範囲（画像構築範囲）を設定入力する点において、図４のフローチャートと等しい。ユーザはさらに、デコンボリューション処理を行う時間範囲についても設定する。一方で、新たに光情報を検出することはないため、観察条件の設定は行わない。ユーザは、ステップＳ１３で表示媒体１８へ表示された画像を見ることで、標本Ｓの位置（Ｚ方向）毎、時間毎の状態を確認できる。これにより、デコンボリューション処理を実行したいＺ方向の画像構築範囲、及び、時間範囲を決定する。

ステップＳ１４では、制御装置１６は、入力部２４を介して入力装置１７からの入力情報（画像構築範囲、時間範囲）を受信する。ステップＳ１５では、ステップＳ１４で受信した画像構築範囲の光情報であって、受信した時間範囲の中の一部時間における光情報を記憶部２５から抽出する。

ステップＳ１６では、演算部２２が、ステップＳ１５で抽出した光束の情報を用いてデコンボリューション処理を行い、画像を構築する。ステップＳ１７では、表示制御部２３が構築された画像を表示媒体１８へ表示する。

ステップＳ１８では、ユーザは、表示された画像の解像度、位置等が所望のものであるかを判断し、問題がない場合には（ステップＳ１８の判定がＹＥＳ）、ステップＳ１９へ移行する。光情報の再取得が必要な場合には、画像構築範囲、時間範囲の再設定を行うための入力装置１７への入力を行い、その入力を制御装置１６が受信し（ステップＳ１８の判定がＮＯ）、ステップＳ１３へ戻り処理を繰り返す。

ステップＳ１９では、ステップＳ１４で受信した時間範囲内全ての光情報を記憶部２５から抽出し、デコンボリューション処理による画像構築を行う（ステップＳ２０）。以上で図６に示すフローチャートを終了する。

尚、ステップＳ１５の処理で時間範囲全ての光情報を抽出しない理由としては、デコンボリューション処理後に解像度、位置等が所望のものではない場合に撮り直しを行うと、フローチャート全体を通して数多くの画像にデコンボリューション処理を行うこととなり、処理時間が多くかかってしまうことが挙げられる。そのため、まず指定した時間範囲の一部の時間における光情報に対してデコンボリューション処理を行い、画像を表示することで、撮り直しが必要となった場合であっても多くの時間を要さない。

以上のように、図６に示した処理では、既に検出済みの光情報の中から所望の画像構築範囲（画像取得範囲）及び時間範囲の光情報を抽出し、デコンボリューション処理による画像構築を行うものである。このように、第１の実施形態に記載の観察方法によれば、既に観察を終え、数多くの光情報を記憶している状態であっても所望の情報を抽出することができる。

また、第１の実施形態における観察方法を行うライトフィールド顕微鏡は、ライトフィールド顕微鏡１００の構成に限定されるものではない。例えば、図７に示すライトフィールド顕微鏡２００を用いて行うこともできる。

ライトフィールド顕微鏡２００は、ターレット１２（位相変調素子１１含む）の代わりに、位相変調素子３１を備えている点でライトフィールド顕微鏡１００と異なっている。

位相変調素子３１は、ＬＣＯＳであり、制御装置１６からの制御により、位相変調状態と非変調の状態とを切り替える。即ち、位相変調素子３１は、光変調部（位相変調部）として機能する。

また、マイクロレンズアレイ３２は、ライトフィールド顕微鏡１００の構成と同様にターレットに備えられているものとしてもよい。

以上の構成によっても図４、６で示した観察方法を行うことができる。尚、ライトフィールド顕微鏡２００を用いる場合には、図４のステップＳ６は、ＬＣＯＳ（位相変調素子２１）を位相変調状態となるように制御する処理に置き換えればよい。

以下、第２の実施形態における標本Ｓの観察方法について説明する。尚、第２の実施形態において用いる顕微鏡装置は、ライトフィールド顕微鏡１００と同様の構成である。

図８は、ライトフィールド顕微鏡１００を用いて標本Ｓの観察を行う手順を示すフローチャートである。尚、ステップＳ２１からＳ２４までの手順は、ステップＳ１からＳ４までの手順と等しい。

ステップＳ２４（Ｓ４）で表示媒体１８へ表示された情報から、ユーザは、標本Ｓのデコンボリューション処理を行う光情報を検出するためのＺ方向の画像構築範囲を設定する。具体的には、ユーザは、図５に示すように表示された複数のリフォーカス画像から標本Ｓの状態を確認し、画像構築範囲の設定入力をし、ステップＳ２５へ移行する。

ステップＳ２５では、入力部２４がステップＳ２４における画像構築範囲の入力を受信し、ステップＳ２６では、表示制御部２３が、選択された画像構築範囲に対応するリフォーカス画像を表示媒体１８に表示する。以降のステップＳ２７からステップＳ３２は、図４のステップＳ５からステップＳ１０と等しい。

以下、図８のステップＳ２６に該当する、選択された画像構築範囲に対応するリフォーカス画像を表示することの一例を、図９を用いて説明する。

図９は、標本Ｓのデコンボリューション処理を行うための光情報を検出する画像構築範囲と、表示するリフォーカス画像の標本Ｓ上での位置を示す図である。例えば、画像構築範囲がＺ方向の範囲Ｄと決まったとき、範囲Ｄの上限と下限に対応するそれぞれの位置のリフォーカス画像を少なくとも表示する。図９では、範囲ｄ１内で、範囲Ｄの光軸方向の上限位置のリフォーカス画像を作成する。同様に範囲ｄ２内で、範囲Ｄの光軸方向の下限位置のリフォーカス画像を作成する。尚、範囲ｄ１、ｄ２は、解像度を保った状態でリフォーカス画像を生成可能なＺ方向の範囲を示している。

図１０は、画像構築範囲に対応するリフォーカス画像を表示媒体１８の画面１８ｂに表示する一例である。ここでは、範囲ＤのＺ方向における上限と下限に対応するそれぞれの位置のリフォーカス画像を表示する例を示している。画像Ｐ１１は、範囲Ｄの上限位置のリフォーカス画像であり、画像Ｐ１２は、範囲Ｄの下限位置のリフォーカス画像である。表記Ｐ１３は、範囲Ｄを示すものである。表記Ｐ１３における○○は、範囲Ｄの光軸方向の下限位置を示す位置情報であり、即ちＰ１２の位置情報である。また、表記Ｐ１３における××は、Ｐ１１の位置情報である。

また、アイコンＰ１４の上下のカーソルをマウスポインタ等により選択することで、デコンボリューション処理を行う光情報を検出する画像構築範囲を変更できるようにしてもよい。アイコンＰ１４への入力による変更に伴い、表記Ｐ１３の範囲が変更され、画像Ｐ１１、Ｐ１２が対応する画像構築範囲の上下限位置のものに置き換わる。

以上のように、画像構築範囲内の標本Ｓの情報をリフォーカス画像として表示しておくことで、デコンボリューション処理を実行する前に該当する範囲の情報をユーザが確認することができる。第１の実施形態における図４のフローチャートで説明したとおり、デコンボリューション処理後に画像表示し（ステップＳ９）、その画像から画像構築範囲が所望のものであるかをユーザが確認し、所望の範囲と位置がずれていた場合、再び画像構築範囲の設定等をやり直す必要がある。一方で、第２の実施形態における観察方法では、デコンボリューション処理による画像構築が行われる前の時点で、ユーザが画像構築範囲に対応する標本Ｓの状態を確認できるため、デコンボリューション処理後に所望の位置とのズレが生じることが起こりにくい。

以下、図８のステップＳ２６に該当する、選択された画像構築範囲に対応するリフォーカス画像を表示することの別の一例を、図１１を用いて説明する。

図１１は、画像構築範囲と、表示するリフォーカス画像の標本Ｓ上での位置を示す図である。図１１では、デコンボリューション処理を行う光情報を検出する画像構築範囲である範囲Ｄが設定されたとき、範囲Ｄの上限位置を含む範囲ｄ１と、範囲Ｄの下限位置を含む範囲ｄ２とに加え、異なる複数の範囲ｄ３、ｄ４、ｄ５からリフォーカス画像を作成し、作成したリフォーカス画像を表示媒体１８へ表示する。

このようにすれば、画像構築範囲内の標本Ｓの詳細な情報を、予めユーザが確認することができる。即ち、デコンボリューション処理後に所望の位置とズレが生じることを、より抑制することができる。

尚、解像度を保った状態でリフォーカス画像を生成可能な結像光学系（対物レンズ５）の光軸方向の範囲を予め測定を行う等により記憶しておき、その範囲に基づいた間隔毎にイメージセンサ１５が光検出を行うことで、範囲Ｄ内の全ての領域でリフォーカス画像を作成し、表示してもよい。

また、そのようにして隙間無く範囲Ｄ内から作成したリフォーカス画像を貼り合わせた三次元画像である統合リフォーカス画像を作成してもよい。図１２に示すように、デコンボリューション処理を実行する予定の範囲をカバーした統合リフォーカス画像を前もって作成することで、デコンボリューション処理後の後戻りをより抑制することが可能となる。

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述した観察方法は、特許請求の範囲に記載した本発明を逸脱しない範囲において、さまざまな変形、変更が可能である。

１００、２００ ライトフィールド顕微鏡
１ 光源ユニット
２ 励起フィルタ
３ 蛍光フィルタ
４ ダイクロイックミラー
５ 対物レンズ
６ ミラー
７ 双眼レンズ
８、９、１０ レンズ
１１ 位相変調素子
１２、１４ ターレット
１３、３２ マイクロレンズアレイ
１５ イメージセンサ
１６ 制御装置
１７ 入力装置
１８ 表示媒体
１８ａ、１８ｂ 画面
２０ 結像光学系
２１ 光情報取得部
２２ 演算部
２３ 表示制御部
２４ 入力部
２５ 記憶部
２６ 駆動制御部
３１ ＬＣＯＳ
Ｉ、ＩＩ、ＩＩＩ 光情報
Ｐ１、Ｐ３、Ｐ４、Ｐ５、Ｐ１１、Ｐ１２ 画像
Ｐ２、Ｐ１３ 表記
Ｐ６、Ｐ１４ アイコン
Ｄ、ｄ１、ｄ２、ｄ３、ｄ４、ｄ５ 範囲

Claims (15)

1. 標本の像共役位置に配置されるマイクロレンズアレイを有する、前記標本からの光束を取り込む結像光学系と、前記マイクロレンズアレイを通過した光束を検出するイメージセンサと、を備えたライトフィールド顕微鏡を用いた前記標本の観察方法であって、
   前記イメージセンサが検出した光束の情報からリフォーカス画像を生成する第１工程と、
   前記リフォーカス画像を表示媒体へ表示する第２工程と、
   ユーザからの、前記標本の前記結像光学系の光軸方向の画像構築範囲を設定する入力を受け付ける第３工程と、
   前記画像構築範囲内から前記イメージセンサにより検出された光束の情報を用いてデコンボリューション処理による画像構築を行う第４工程と、を有し、
   前記第１工程、前記第２工程、前記第３工程、前記第４工程、の順に行う
   ことを特徴とする観察方法。
2. 請求項１に記載の観察方法であって、
   前記第３工程では、さらに、ユーザからの、観察条件である、前記イメージセンサの露光時間、前記イメージセンサの画素出力設定、前記イメージセンサの検出波長、前記ライトフィールド顕微鏡が有する前記標本を照明する照明光学系の照明強度、のいずれかを設定する入力を受け付け、
   前記第４工程では、前記第３工程で設定された前記観察条件で前記画像構築範囲から前記イメージセンサにより検出された光束の情報を用いてデコンボリューション処理による画像構築を行う
   ことを特徴とする観察方法。
3. 請求項１または請求項２に記載の観察方法であって、
   前記第１工程では、記憶部に記憶された前記イメージセンサが検出した光束の情報から前記リフォーカス画像を生成し、
   前記第４工程では、前記記憶部に記憶された、前記画像構築範囲内から前記イメージセンサにより検出された光束の情報を用いてデコンボリューション処理による画像構築を行う
   ことを特徴とする観察方法。
4. 請求項３に記載の観察方法であって、
   前記第３工程では、さらに、ユーザからの時間範囲を設定する入力を受け付け、
   前記第４工程では、前記記憶部に記憶された、前記時間範囲内且つ前記画像構築範囲内から前記イメージセンサにより検出された光束の情報を用いてデコンボリューション処理による画像構築を行う
   ことを特徴とする観察方法。
5. 請求項１乃至請求項４のいずれか１項に記載の観察方法であって、
   さらに、前記結像光学系は、光束を変調する変調状態と、光束を変調させない非変調状態とを切替可能な光変調部を有し、
   前記リフォーカス画像の生成は、前記光変調部により変調されずに前記イメージセンサが検出した光束の情報を用いて行い、
   前記デコンボリューション処理による画像構築は、前記光変調部により変調された前記イメージセンサが検出した光束の情報を用いて行う
   ことを特徴とする観察方法。
6. 請求項５に記載の観察方法であって、
   前記光変調部として、前記結像光学系内で挿脱可能な位相変調素子を用いる
   ことを特徴とする観察方法。
7. 請求項５に記載の観察方法であって、
   前記光変調部として、ＬＣＯＳを用いる
   ことを特徴とする観察方法。
8. 請求項５乃至請求項７のいずれか１項に記載の観察方法であって、
   前記光変調部は、前記結像光学系の入射瞳と共役な位置に設けられる
   ことを特徴とする観察方法。
9. 請求項８に記載の観察方法であって、
   前記マイクロレンズアレイを介さずに、前記標本からの光束を前記イメージセンサが検出することで画像を取得し、
   前記リフォーカス画像と前記画像とを合わせて表示媒体へ表示する
   ことを特徴とする観察方法
10. 請求項１乃至請求項９に記載の観察方法であって、さらに、
    前記画像構築範囲内から検出された光束の情報から生成されたリフォーカス画像と、前記画像構築範囲と、を対応付けて前記表示媒体へ表示する第５工程と、を有し、
    前記第５工程は、前記第３工程と前記第４工程との間で行う
    ことを特徴とする観察方法。
11. 請求項１０に記載の観察方法であって、
    前記画像構築範囲内から検出された光束の情報から生成されたリフォーカス画像は、前記画像構築範囲内の前記結像光学系の光軸方向における複数の位置で検出された光束の情報から生成されたリフォーカス画像を含む
    ことを特徴とする観察方法。
12. 請求項１０または請求項１１に記載の観察方法であって、
    前記画像構築範囲内から検出された光束の情報から生成されたリフォーカス画像は、前記画像構築範囲の上限と下限に対応するそれぞれの位置で検出された光束の情報から生成されたリフォーカス画像を含む
    ことを特徴とする観察方法。
13. 請求項１０に記載の観察方法であって、
    前記画像構築範囲内から検出された光束の情報から生成されたリフォーカス画像は、前記画像構築範囲内の前記結像光学系の光軸方向における複数の位置で検出された光束の情報から生成されたリフォーカス画像を張り合わせた統合リフォーカス画像である
    ことを特徴とする観察方法。
14. 請求項１乃至請求項１３のいずれか１項に記載の観察方法であって、
    前記リフォーカス画像を生成可能な前記結像光学系の光軸方向の範囲に基づいた前記光軸方向の間隔毎に、前記イメージセンサが前記標本からの光検出を行う
    ことを特徴とする観察方法。
15. 標本の像共役位置に配置されるマイクロレンズアレイを有する、前記標本からの光束を取り込む結像光学系と、
    前記マイクロレンズアレイを通過した光束を検出するイメージセンサと、
    前記イメージセンサが検出した光束の情報からリフォーカス画像を生成する演算装置と、
    前記リフォーカス画像を表示媒体へ表示させる表示制御部と、
    ユーザからの、前記標本の前記結像光学系の光軸方向の画像構築範囲を設定する入力を受け付ける入力部と、を備え、
    前記演算装置は、前記画像構築範囲内から前記イメージセンサにより検出された光束の情報を用いてデコンボリューション処理による画像構築を行う
    ことを特徴とするライトフィールド顕微鏡。