JP2019204027A - 顕微鏡用光学システム及び処理装置 - Google Patents

Abstract

【課題】位相情報が復元した顕微鏡画像を簡便な構成でリアルタイムに取得できる顕微鏡用光学システム及びその処理装置を提供する。【解決手段】本開示に係る顕微鏡用光学システム１は、顕微鏡１０による観察像を光学的に２つに複写する光学ユニット４０と、光学ユニット４０から出力された２つの観察像を撮像する撮像部２０と、顕微鏡１０の焦点面を変化させる焦点面変更部２３と、焦点面の異なる２つの観察像を撮像部２０により並行して撮像させる処理装置３０と、を備え、処理装置３０は、撮像部２０により撮像された焦点面の異なる２つの観察像の画像に基づいて観察像の位相情報を復元する。【選択図】図１

Description

本開示は、顕微鏡用光学システム及びその処理装置に関する。

顕微鏡等による観察像の撮像及び画像処理に関する技術が従来から知られている。

例えば、特許文献１には、顕微鏡の焦点面の異なる画像を複数枚撮像し、それらの画像にフーリエ変換等の画像演算を行って位相情報を復元させた画像を得る技術が開示されている。

例えば、特許文献２には、レンズに加えて撮像素子を進退移動させることにより合焦を制御する光学素子移動装置が開示されている。

例えば、特許文献３には、撮像素子を進退移動させた画像を複数枚撮像することにより、被写界深度の深い画像を合成する撮像装置が開示されている。

特表２００２−５２９６８９号公報 特開平８−０２９６６８号公報 特開２００３−０７８８０２号公報

従来技術を用いて画像処理により位相差画像を形成する場合、画像処理に必要な複数の画像を顕微鏡の焦点面を変化させながら撮像する必要があり、リアルタイムでの位相差観察が困難である。

本開示は、位相情報が復元した顕微鏡画像を簡便な構成でリアルタイムに取得できる顕微鏡用光学システム及びその処理装置を提供することを目的とする。

幾つかの実施形態に係る顕微鏡用光学システムは、顕微鏡による観察像を光学的に２つに複写する光学ユニットと、前記光学ユニットから出力された２つの前記観察像を撮像する撮像部と、前記顕微鏡の焦点面を変化させる焦点面変更部と、前記焦点面の異なる２つの前記観察像を前記撮像部により並行して撮像させる処理装置と、を備え、前記処理装置は、前記撮像部により撮像された前記焦点面の異なる２つの前記観察像の画像に基づいて前記観察像の位相情報を復元する。これにより、顕微鏡用光学システムは、位相情報が復元した顕微鏡画像を簡便な構成でリアルタイムに取得できる。したがって、ユーザの利便性が向上する。

一実施形態において、前記撮像部は、異なる２つの撮像装置を備え、前記焦点面変更部は、２つの前記撮像装置それぞれにおいて前記観察像が入射する撮像面を光軸方向に移動させる移動機構を含み、前記処理装置は、前記焦点面変更部により、前記焦点面が異なるように２つの前記撮像装置の少なくとも一方の前記撮像面を移動させてもよい。これにより、顕微鏡用光学システムは、簡便な構成で、焦点面の異なる観察像からコントラストを付加した位相復元画像を構築することができるため、システムのコスト低減に寄与できる。

一実施形態において、前記焦点面変更部は、前記光学ユニット内に配置され、２つの前記観察像それぞれに対して光学的に作用する光学素子の操作機構を含み、前記処理装置は、前記焦点面変更部により、前記焦点面が異なるように２つの前記観察像の少なくとも一方に対して前記光学素子を操作してもよい。これにより、ユーザは、撮像素子に関する移動機構を省略して、従来の顕微鏡用カメラを使用できる。

一実施形態において、前記光学素子は、前記観察像を前記撮像部に転送するリレーレンズであり、前記操作機構は、前記リレーレンズを光軸方向に移動させる移動機構であり、前記処理装置は、前記移動機構により前記リレーレンズを移動させてもよい。これにより、顕微鏡用光学システムは、簡便な構成で、焦点面の異なる観察像からコントラストを付加した位相復元画像を構築することができるため、システムのコスト低減に寄与できる。

一実施形態において、前記光学素子は、厚さの異なる２つの平行平板であり、前記操作機構は、２つの前記平行平板のいずれかに切り替える切替機構であり、前記処理装置は、前記切替機構により前記平行平板を切り替えてもよい。これにより、顕微鏡用光学システムは、簡便な構成で、焦点面の異なる観察像からコントラストを付加した位相復元画像を構築することができるため、システムのコスト低減に寄与できる。

一実施形態において、前記光学素子は、前記観察像を前記撮像部に転送するリレーレンズとは別に配置される光学レンズであり、前記操作機構は、前記光学レンズを光軸方向に移動させる移動機構であり、前記処理装置は、前記移動機構により前記光学レンズを移動させてもよい。これにより、顕微鏡用光学システムは、簡便な構成で、焦点面の異なる観察像からコントラストを付加した位相復元画像を構築することができるため、システムのコスト低減に寄与できる。

一実施形態において、前記撮像部は、異なる２つの撮像装置を備え、２つの前記観察像を異なる２つの前記撮像装置によりそれぞれ検出してもよい。これにより、顕微鏡用光学システムは、２つの撮像装置それぞれに対して、撮像方法に最適な装置を個別に適用可能である。

一実施形態において、前記撮像部は、２つの前記観察像を撮像面における異なる部分でそれぞれ検出する撮像装置を備えてもよい。これにより、顕微鏡用光学システムは、１つの撮像装置のみで位相復元画像を撮像できるので、コストがさらに低減する。

一実施形態において、前記光学ユニットは、前記顕微鏡に内包され、前記顕微鏡の対物レンズと結像レンズとの間に、前記観察像に対応する観察光を２つに分岐させる分岐用光学素子を有してもよい。これにより、光学ユニットと顕微鏡とが一体化されるので、システム全体のサイズが低減する。すなわち、顕微鏡用光学システムは、システム全体の省スペース化に寄与できる。

幾つかの実施形態に係る処理装置は、上記のいずれかの顕微鏡用光学システムを制御する処理装置であって、前記焦点面変更部により前記顕微鏡の焦点面を変化させる焦点面変更制御部と、前記焦点面の異なる２つの前記観察像を前記撮像部により並行して撮像させる撮像制御部と、前記撮像部により撮像された前記焦点面の異なる２つの前記観察像の画像に基づいて前記観察像の位相情報を復元する画像処理部と、を備えてもよい。これにより、処理装置は、画像処理部により、従来より簡便且つ安価な構成で焦点面の異なる観察像からコントラストを付加した位相復元画像を構築することができる。

一実施形態において、処理装置は、前記撮像部により撮像された前記焦点面の異なる２つの前記観察像の画像のうち少なくとも一方の撮像画像の倍率を補正する倍率補正部をさらに備えてもよい。これにより、処理装置は、倍率補正部により、焦点面が異なることによって生じる撮像画像間の倍率変化の影響を抑制することができ、精細な画像を提供可能である。

本開示によれば、位相情報が復元した顕微鏡画像を簡便な構成でリアルタイムに取得できる顕微鏡用光学システム及び処理装置を提供可能である。

第１実施形態に係る顕微鏡用光学システムの構成の一例を示す模式図である。 第１実施形態に係る撮像部の構成の一例を示す模式図である。 図１の処理装置の処理の一例を示すフローチャートである。 撮像素子の位置と顕微鏡の焦点面との対応を示した模式図である。 図１の顕微鏡用光学システムに含まれる処理装置の機能構成の一例を示すブロック図である。 第２実施形態に係る顕微鏡用光学システムの構成の一例を示す模式図である。 第３実施形態に係る顕微鏡用光学システムの構成の一例を示す模式図である。 第４実施形態に係る顕微鏡用光学システムの構成の一例を示す模式図である。

例えば、特許文献１では、観察対象となる試料を載せる顕微鏡のステージをモータ等により移動させることで、焦点面を移動させながら画像を撮像する例が開示されている。これに対して、一般的に、生物を観察する顕微鏡では観察対象となる試料を下方から観察する倒立型顕微鏡が用いられる。このような倒立型顕微鏡では、観察対象に対して対物レンズをモータ等により上下させて撮像が行われる。

このように観察対象と対物レンズとの相対距離を変化させて画像を観察することが一般的である。このような方法で撮像された複数枚の画像から位相を回復させることによって従来の位相差観察法による画像に類似した画像が取得可能である。このような画像処理による位相差画像形成技術では、従来の位相差観察法に対応した顕微鏡のように特殊な照明光及び対物レンズを用いる必要が無く、光学系が簡便になる。加えて、位相差観察法による画像よりもコントラストが強く、画像解析に適した画像が撮像可能である。

しかしながら、画像処理による位相差画像形成技術における上記の構成では、観察対象となる試料を載せる顕微鏡のステージを駆動するモータと画像を撮像するカメラ等の撮像装置とを同期させながら撮像を行う必要があり、撮像システムの構成が煩雑となる。加えて、観察対象と対物レンズとの相対距離を変化させて複数の画像を撮像した後、これらの画像を用いて画像処理を行うことで初めて位相差画像が形成される。したがって、画像処理による位相差画像形成技術を用いた場合、位相差画像をリアルタイムに取得することは困難であり、撮像及び画像処理に関する作業を繰り返す必要がある。

本開示の一実施形態に係る顕微鏡用光学システム１は、上述の問題点を解決して、位相情報が復元した顕微鏡画像を簡便な構成でリアルタイムに取得できる。

以下、添付図面を参照しながら本開示の一実施形態について主に説明する。なお、以下の各実施形態に関する説明に用いる図面は、説明の簡便のために、要部となる構成を主に示し、他の構成の図示を適宜省略している。便宜上、要部となる構成を拡大して示している場合があり、各構成の寸法比率等については実際のものと同じであるとは限らない。各図において、共通する構成には同一の符号を付しており、繰り返しとなる説明を省略する。

（第１実施形態）
（顕微鏡用光学システム１の構成）
図１は、第１実施形態に係る顕微鏡用光学システム１の構成の一例を示す模式図である。第１実施形態に係る顕微鏡用光学システム１は、顕微鏡本体である顕微鏡１０と、顕微鏡１０による観察像を撮像する撮像部２０と、撮像部２０を制御する処理装置３０と、光学ユニット４０と、処理装置３０に付属するモニタ５０とを有する。

顕微鏡１０は、透過照明１１、試料ステージ１２、対物レンズ１３、折り曲げミラー１４、及び結像レンズ１５を有する。透過照明１１は、試料ステージ１２に対して透過光観察のための光を照射する。試料ステージ１２には、顕微鏡１０による観察対象となる試料が設置される。対物レンズ１３は、試料ステージ１２に設置された観察対象の像を拡大する。折り曲げミラー１４は、対物レンズ１３により拡大された観察対象の像の平行光を結像レンズ１５へ導く。対物レンズ１３から折り曲げミラー１４を介して導かれる平行光は、結像レンズ１５により結像される。

なお、人が顕微鏡１０を直接観察するのではなく、撮像部２０を用いて間接的に観察するため、結像レンズ１５の後段に接眼レンズは装着されていない。顕微鏡１０は、倒立顕微鏡の構成を有するとして図示されているが、正立顕微鏡であってもよい。

光学ユニット４０は、顕微鏡１０に装着され、顕微鏡１０による観察像を光学的に複数に複写して出力する。光学ユニット４０は、第１リレーレンズ４２、ハーフミラー４３、２つの第２リレーレンズ４４ａ、４４ｂを有する。観察光は、結像レンズ１５により中間結像面４１に一度結像される。ハーフミラー４３は、第１リレーレンズ４２により再び平行光となった観察光の略半分を透過させて第２リレーレンズ４４ａへ導き、残りの観察光を反射させて第２リレーレンズ４４ｂに導く。ハーフミラー４３を透過した観察光は、第２リレーレンズ４４ａにより結像される。一方で、ハーフミラー４３で反射した観察光は、第２リレーレンズ４４ｂにより結像される。以下の説明において、第２リレーレンズ４４ａ、４４ｂそれぞれにより結像される観察対象の像を観察像という。

図１には１組の第２リレーレンズ４４ａ、４４ｂ、及び１組の撮像素子２１ａ、２１ｂを図示しているが、各々区別する必要がない場合には、第２リレーレンズ４４、及び撮像素子２１と表記する。図１では、光学ユニット４０は、無限遠補正光学系を有する状態で図示されているが、有限補正光学系を有してもよい。

撮像部２０は、異なる２つの撮像装置２０ａ、２０ｂを有する。撮像装置２０ａ、２０ｂは、光学ユニット４０に装着され、光学ユニット４０から出力された顕微鏡１０による観察像を撮像する。撮像装置２０ａは、光学ユニット４０の第２リレーレンズ４４ａを介して観察像が入射する撮像素子２１ａを有する。撮像装置２０ｂは、光学ユニット４０の第２リレーレンズ４４ｂを介して観察像が入射する撮像素子２１ｂを有する。撮像装置２０ａ、２０ｂは、例えば、二次元のセンサアレイを含む顕微鏡用カメラであってよく、ＣＣＤ及びＣＭＯＳ等の任意の撮像素子２１を含む。

観察像は、第２リレーレンズ４４により撮像素子２１の撮像面に結像する。撮像部２０は、撮像素子２１を用いて顕微鏡１０による観察像を撮像する。撮像素子２１ａは、第２リレーレンズ４４ａの焦点位置を原点とする。撮像素子２１ｂは、第２リレーレンズ４４ｂの焦点位置を原点とする。対物レンズ１３、折り曲げミラー１４、結像レンズ１５、第１リレーレンズ４２、ハーフミラー４３、及び第２リレーレンズ４４ａ、４４ｂを介して撮像素子２１ａ、２１ｂにそれぞれ入射する光の光軸Ｋは、図１において一点鎖線により示されており、他の図でも同様である。

図２は、第１実施形態に係る撮像部２０の構成の一例を示す模式図である。図２を参照しながら、撮像部２０の構成について主に説明する。

撮像部２０は、撮像素子２１と、撮像素子２１を用いて顕微鏡１０による観察像を撮像する撮像処理部２２と、第２リレーレンズ４４から撮像素子２１までの光学的距離を変更可能な焦点面変更部２３とを有する。

焦点面変更部２３は、光軸方向に撮像素子２１を移動させることが可能な移動機構２３ａを含む。移動機構２３ａは、観察像が入射する撮像面を光軸方向に移動させる。これにより、移動機構２３ａは、第２リレーレンズ４４から撮像素子２１までの光学的距離を変更可能である。すなわち、移動機構２３ａは、後述するように顕微鏡１０の焦点面を変化させる。ここで、光軸方向とは、第２リレーレンズ４４を介して撮像素子２１に入射する光の光軸Ｋに沿った方向であり、第２リレーレンズ４４に対して撮像素子２１が近づく方向と遠ざかる方向との両方向を含む。

移動機構２３ａは、リニアガイド２３１、ステージ部２３２、ボールねじ２３３、固定ブロック２３４、及びステッピングモータ２３５を有する。撮像素子２１は、リニアガイド２３１のステージ部２３２に固定されており、矢印１００が示す方向、すなわち光軸方向に並進可能に拘束されている。リニアガイド２３１には、固定ブロック２３４が連結されている。固定ブロック２３４には、ステッピングモータ２３５が固定されている。固定ブロック２３４には、図示しないベアリングにより、ボールねじ２３３が回転自在に支持されている。ボールねじ２３３は、ステッピングモータ２３５と図示しないカップリングにより連結されている。ステージ部２３２内部には、図示しないボールナットが配置されており、ボールねじ２３３と螺合されている。これらの構成により、ステッピングモータ２３５を駆動させることによってボールねじ２３３が回転し、ステージ部２３２と共に撮像素子２１が矢印１００の方向、すなわち光軸方向へ並進可能となる。撮像素子２１を用いて撮像する撮像処理部２２とステッピングモータ２３５とは、処理装置３０に接続されている。

処理装置３０は、ユーザが利用するコンピュータ装置であり、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、スマートフォン及びフィーチャーフォン等の携帯電話機、並びに携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等を含む。

処理装置３０は、撮像部２０の撮像処理部２２とステッピングモータ２３５とを制御することにより、光軸方向に撮像素子２１を移動させる。例えば、処理装置３０は、第２リレーレンズ４４ａから撮像素子２１ａまでの光学的距離と、第２リレーレンズ４４ｂから撮像素子２１ｂまでの光学的距離とが互いに異なるように、光軸方向に撮像素子２１ａ、２１ｂをそれぞれ並進移動させる。このとき、処理装置３０は、光学的距離が異なることによって、顕微鏡１０の焦点面が異なる観察像を撮像装置２０ａ、２０ｂによりそれぞれ撮像する。処理装置３０は、撮像装置２０ａ、２０ｂにより撮像された焦点面の異なる複数の観察像の画像に基づいて観察像の位相情報を復元する。

（顕微鏡画像撮像処理の動作）
図３は、図１の処理装置３０の処理の一例を示すフローチャートである。図４は、撮像素子２１の位置と顕微鏡１０の焦点面との対応を示した模式図である。図３及び図４を参照しながら、顕微鏡１０の焦点面が異なる観察像を複数枚撮像させ、位相情報が復元した顕微鏡画像を構築する処理装置３０の顕微鏡画像撮像処理の動作について説明する。

図４を参照すると、顕微鏡用光学システム１は、透過照明１１を用いて、試料ステージ１２に設置された試料に光を照射させる。このとき、中間結像面４１に拡大像が形成される。その後、観察光は第１リレーレンズ４２を通過し、ハーフミラー４３に到達する。観察光の約半分はハーフミラー４３を透過し、第２リレーレンズ４４ａによって撮像素子２１ａの撮像面に拡大像を結ぶ。一方で、残りの観察光はハーフミラー４３を反射し、第２リレーレンズ４４ｂによって撮像素子２１ｂの撮像面に拡大像を結ぶ。撮像素子２１ａ、２１ｂが初期位置の場合、第２リレーレンズ４４ａの主点から撮像素子２１ａまでの距離、及び第２リレーレンズ４４ｂの主点から撮像素子２１ｂまでの距離は、Ｆｒ０であるとする。対物レンズ１３の主点から基準焦点面１２０までの距離はＦo０であるとする。このとき、拡大倍率はＦｒ０／Ｆo０となる。

図３に示すステップＳ１００では、処理装置３０は、ステッピングモータ２３５を駆動させて、図４に示すように、使用されている対物レンズ１３に応じて予め設定された所定量だけ初期状態から光軸方向の第２リレーレンズ４４ａ側に撮像素子２１ａを並進移動させる。この場合、第２リレーレンズ４４ａの主点から撮像素子２１ａまでの距離はＦｒ１となり、対物レンズ１３の主点から上方焦点面１２０ａまでの距離はＦo１となる。よって、拡大倍率は、Ｆｒ１／Ｆo１となり、撮像素子２１ａが原点位置にある場合よりも若干小さくなる。

ステップＳ１０１では、処理装置３０は、ステッピングモータ２３５を駆動させて、図４に示すように、使用されている対物レンズ１３に応じて予め設定された所定量だけ初期状態から光軸方向の第２リレーレンズ４４ｂと反対側に撮像素子２１ｂを並進移動させる。この場合、第２リレーレンズ４４ｂの主点から撮像素子２１ｂまでの距離はＦｒ２となり、対物レンズ１３の主点から下方焦点面１２０ｂまでの距離はＦo２となる。よって、拡大倍率は、Ｆｒ２／Ｆo２となり、撮像素子２１ｂが原点位置にある場合よりも若干大きくなる。

ステップＳ１０２では、処理装置３０は、撮像素子２１ａ及び撮像素子２１ｂが並進移動した状態で、顕微鏡１０による観察像を撮像装置２０ａ、２０ｂに撮像させる。

ステップＳ１０３では、処理装置３０は、ステップＳ１０２において撮像された各画像の倍率補正を行う。ステップＳ１０２において撮像された画像は、各々、本来の対物レンズ１３の倍率とは若干異なる画像となっているため、処理装置３０は、それらの倍率を本来の倍率に合わせるように補正する。例えば、処理装置３０は、撮像素子２１ａで撮像された画像を拡大し、撮像素子２１ｂで撮像された画像を縮小することで、本来の倍率になるように補正する。

ステップＳ１０４では、処理装置３０は、ステップＳ１０２において撮像された各画像に基づいて、フーリエ変換処理及び逆フーリエ変換処理等の画像演算処理を行い、位相情報が復元した顕微鏡画像を構築する。処理装置３０は、位相情報が復元した顕微鏡画像を任意の記憶装置に保存すると共に、モニタ５０に表示する。記憶装置は、処理装置３０に内蔵されてもよいし、ケーブル等で接続される外部装置であってもよい。記憶装置は、処理装置３０とインターネットを介して接続されるものであってもよい。

ステップＳ１０５では、処理装置３０は、ユーザによる決定操作を受け付けたか否かを判定する。より具体的には、ユーザは、ステップＳ１０４でモニタ５０に表示された顕微鏡画像を視認し、例えば観察を行うのに十分精細な画像が得られていると判断すると、Ｓ１００及びＳ１０１で調整された撮像素子２１ａ、２１ｂの位置を決定する決定操作を行う。例えば、決定操作は、モニタ５０に表示された「決定」という項目に対する、ユーザのクリック操作及びタップ操作等の任意の操作を含む。処理装置３０は、このようなユーザによる決定操作を受け付けたと判定すると、ステップＳ１０６に進む。処理装置３０は、このようなユーザによる決定操作を受け付けていないと判定すると、ステップＳ１００に戻り、撮像素子２１ａ、２１ｂの位置調整からフローを繰り返す。

ステップＳ１０６では、処理装置３０は、ステップＳ１０５で受け付けたユーザによる決定操作に基づいて、撮像素子２１ａ、２１ｂの位置を固定する。すなわち、処理装置３０は、位相情報を復元させた顕微鏡画像が精細であるとユーザが判断したときの位置条件で、撮像素子２１ａ、２１ｂを固定する。その後、フローは終了する。このとき、撮像素子２１ａ、２１ｂに対して得られた上記の位置条件と同一条件で顕微鏡画像の撮像を複数回ユーザが所望する場合、処理装置３０は、ステップＳ１０６の後に、ステップＳ１０２乃至ステップＳ１０４に相当する処理を繰り返してもよい。

（処理装置３０の構成）
図５は、図１の顕微鏡用光学システム１に含まれる処理装置３０の機能構成の一例を示すブロック図である。図５を参照しながら、処理装置３０の構成及びその機能について主に説明する。

処理装置３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１、記憶部３２、入力部３３、表示出力部３４、及び通信部３５を備えている。これらの構成部は、バス（Ｂｕｓ）を介して相互に通信可能に接続されている。ＣＰＵ３１は、記憶部３２に記憶された各種プログラムを実行し、処理装置３０の各構成部を制御する。

記憶部３２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含み、処理装置３０が処理する各種情報、画像、及びプログラム等を記憶する。記憶部３２は、処理装置３０に内蔵されるものに限らず、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。

入力部３３は、キーボード、マウス、タッチパッド、及び音声により各種の指示が入力されるマイクロホン等を含む。入力部３３は、タッチパネルとしてモニタ５０のディスプレイと一体に構成されてもよい。

表示出力部３４は、モニタ５０へ表示させる情報を出力する任意の出力インタフェースを含む。

通信部３５は、撮像部２０と有線又は無線で接続され、撮像部２０と各種データの送受信を行う任意の通信インタフェースを含む。例えば、通信部３５は、撮像部２０を制御する制御情報を送信したり、撮像部２０で撮像された画像の画像データを受信したりする。

また、処理装置３０は、不図示のスピーカ及び音声出力端子等を含んでもよい。

処理装置３０は、記憶部３２に記憶されている制御プログラム（撮像部２０を制御するプログラム）をＣＰＵ３１が実行することにより実現される機能構成として、移動機構制御部３１１と、撮像制御部３１２と、倍率補正部３１３と、画像処理部３１４とを有する。

移動機構制御部３１１は、光学ユニット４０の第２リレーレンズ４４から、観察像が入射する撮像素子２１までの光学的距離を変化させる制御を移動機構２３ａに対して行う。第１実施形態において、移動機構制御部３１１は、請求項に記載の「焦点面変更制御部」に対応する。例えば、移動機構制御部３１１は、ステッピングモータ２３５を駆動して撮像素子２１を光軸方向へ並進移動させることにより、第２リレーレンズ４４から撮像素子２１までの光学的距離を変化させる。

撮像制御部３１２は、移動機構制御部３１１による上記光学的距離の変更に応じて、撮像処理部２２を制御して、上記光学的距離が異なる観察像を複数枚撮像させる。より具体的には、撮像制御部３１２は、焦点面の異なる複数の観察像を撮像装置２０ａ、２０ｂにより並行して撮像させる。

倍率補正部３１３は、上記光学的距離が異なる観察像を撮像した複数枚の画像のうち少なくとも一部の撮像画像の倍率を補正する。例えば、倍率補正部３１３は、撮像素子２１ａを初期状態の位置より光軸方向の第２リレーレンズ４４ａ側へ並進移動させて撮像した画像に対しては拡大補正を行い、撮像素子２１ｂを初期状態の位置より光軸方向の第２リレーレンズ４４ｂと反対側に並進移動させて撮像した画像に対しては縮小補正を行う。

画像処理部３１４は、光学ユニット４０の第２リレーレンズ４４から撮像素子２１までの光学的距離が異なる観察像を撮像した複数枚の画像、例えば倍率補正部３１３による補正が施された後の画像に基づいて、画像処理により位相情報を復元する。これにより、画像処理部３１４は、コントラストを増強した撮像画像、より具体的には位相復元画像を構築する。

（顕微鏡用光学システム１の効果）
以上のような第１実施形態に係る顕微鏡用光学システム１によれば、位相情報が復元した顕微鏡画像を簡便な構成でリアルタイムに取得できる。顕微鏡用光学システム１は、図３に示すフローに沿って２つの撮像素子２１ａ、２１ｂが固定された後、顕微鏡１０の試料ステージ１２等を駆動しなくとも、汎用的な顕微鏡１０を用いて複数の焦点面の異なる観察像を複数の撮像装置２０ａ、２０ｂにより並行して撮像可能である。したがって、ユーザは、例えば安価な手動用顕微鏡に、光学ユニット４０と撮像部２０とを装着する作業を行うだけでよく、従来よりも簡便な構成で焦点面の異なる観察像から位相復元画像を取得可能である。従来の電動化された顕微鏡は一般的に高額であり、この電動顕微鏡を制御する信号を外部から送信しつつ一方では撮像用のカメラを制御して顕微鏡画像を取り込むシステムを構成するとコストが増大するという問題があった。しかしながら、本実施形態では、簡便な構成で焦点面の異なる観察像から位相復元画像を構築することができるため、システムのコストが低減する。

顕微鏡用光学システム１は、処理装置３０の画像処理部３１４により、従来より簡便且つ安価な構成で焦点面の異なる観察像からコントラストを付加した位相復元画像を構築することができる。

顕微鏡用光学システム１は、処理装置３０の倍率補正部３１３により、焦点面が異なることによって生じる撮像画像間の倍率変化の影響を抑制することができ、精細な画像を提供可能である。

（顕微鏡用光学システム１の変形例）
上記では、処理装置３０は、撮像素子２１ａを第２リレーレンズ４４ａ側に移動させ、撮像素子２１ｂを第２リレーレンズ４４ｂと反対側に移動させるとして説明したが、これに限定されない。処理装置３０は、焦点面の異なる複数の観察像を撮像可能であれば、移動機構２３ａにより、２つの撮像装置２０ａ、２０ｂの少なくとも一方の撮像面を光軸Ｋに沿った任意の方向に移動させてもよい。

以上のような第１実施形態では、焦点面の異なる複数の観察像を撮像するために、処理装置３０は、移動機構２３ａにより、焦点面が異なるように２つの撮像装置２０ａ、２０ｂの少なくとも一方の撮像面を移動させるとして説明した。焦点面の異なる複数の観察像を撮像する方法は、これに限定されない。例えば、焦点面変更部２３は、移動機構２３ａに代えて、光学ユニット４０内に配置され、複数の観察像それぞれに対して光学的に作用する光学素子の任意の操作機構を含んでもよい。このとき、処理装置３０は、焦点面変更部２３により、焦点面が異なるように２つの観察像の少なくとも一方に対して光学素子を操作してもよい。以下では、このような方法を、第２実施形態乃至第４実施形態において主に説明する。

（第２実施形態）
図６は、第２実施形態に係る顕微鏡用光学システム１ａの構成の一例を示す模式図である。以下では、図６を参照しながら、第２実施形態に係る顕微鏡用光学システム１ａの構成及び機能について主に説明する。第２実施形態に係る顕微鏡用光学システム１ａは、焦点面変更部２３として、移動機構２３ａに代えて、第２リレーレンズ４４を光軸方向に並進移動させる移動機構２３ｂを含む点で、第１実施形態と異なる。第１実施形態と同様の構成部については同一の符号を付し、その説明を省略する。第１実施形態と異なる点について主に説明する。

光学ユニット４０ａは、観察像を撮像装置２０ａに転送する第２リレーレンズ４４ａを光軸方向に並進移動させる移動機構２３ｂを有する。光学ユニット４０ａは、観察像を撮像装置２０ｂに転送する第２リレーレンズ４４ｂを光軸方向に並進移動させる移動機構２３ｂを有する。光学ユニット４０ａは、処理装置３０と接続されている。撮像装置２０ａ、２０ｂは、撮像素子２１ａ、２１ｂを光軸方向に並進移動させる機構を有さない。

移動機構２３ｂは、第２リレーレンズ４４を光軸方向に並進移動させることにより第２リレーレンズ４４から撮像素子２１までの光学的距離を変更可能である。移動機構２３ｂの構成及び機能は、例えば、第１実施形態における移動機構２３ａと同様である。例えば、移動機構２３ｂは、第２リレーレンズ４４を光軸方向（図の矢印方向）へ移動可能なように、各々に対応するステッピングモータ及びリニアガイド等を有する。

処理装置３０は、第２リレーレンズ４４ａ、４４ｂの各々に対応するステッピングモータを独立に駆動させることで、第２リレーレンズ４４ａ、４４ｂを光軸方向へ独立に移動させる。処理装置３０は、第２リレーレンズ４４ａ、４４ｂの各々を光軸方向に任意の位置へ並進移動させることで、観察像に対する焦点面を変更することができる。

以上のような第２実施形態に係る顕微鏡用光学システム１ａは、第１実施形態と同様の効果を奏する。例えば、従来より簡便かつ安価な構成で、焦点面の異なる観察像から位相復元画像が構築可能である。加えて、第１実施形態と異なり、ユーザは、撮像素子２１に関する移動機構２３ａを省略して、従来の顕微鏡用カメラを使用できる。

（第３実施形態）
図７は、第３実施形態に係る顕微鏡用光学システム１ｂの構成の一例を示す模式図である。以下では、図７を参照しながら、第３実施形態に係る顕微鏡用光学システム１ｂの構成及び機能について主に説明する。第３実施形態に係る顕微鏡用光学システム１ｂは、焦点面変更部２３として、移動機構２３ａ、２３ｂに代えて、厚さの異なる複数の平行平板のいずれかに切り替える切替機構４６ａ、４６ｂを含む点で、第１実施形態及び第２実施形態と異なる。第１実施形態及び第２実施形態と同様の構成部については同一の符号を付し、その説明を省略する。第１実施形態及び第２実施形態と異なる点について主に説明する。

光学ユニット４０ｂは、複数の平行平板４７ａ１乃至４７ａ３のいずれかに切り替えることにより、第２リレーレンズ４４ａから撮像素子２１ａまでの光学的距離を変更可能な切替機構４６ａを有する。同様に、光学ユニット４０ｂは、複数の平行平板４７ｂ１乃至４７ｂ３のいずれかに切り替えることにより、第２リレーレンズ４４ｂから撮像素子２１ｂまでの光学的距離を変更可能な切替機構４６ｂを有する。切替機構４６ａ、４６ｂ及び各平行平板は、第２リレーレンズ４４から撮像素子２１までの間に配置されている。

処理装置３０は、切替機構４６ａ、４６ｂ各々を独立に制御して、各々の光路に配置する平行平板を切り替える。例えば、処理装置３０は、第２リレーレンズ４４と撮像素子２１との間に厚さの異なる平行平板を配置することで、観察像に対する焦点面を変更することができる。

以上のような第３実施形態に係る顕微鏡用光学システム１ｂは、第２実施形態と同様の効果を奏する。

（第４実施形態）
図８は、第４実施形態に係る顕微鏡用光学システム１ｃの構成の一例を示す模式図である。以下では、図８を参照しながら、第４実施形態に係る顕微鏡用光学システム１ｃの構成及び機能について主に説明する。第４実施形態に係る顕微鏡用光学システム１ｃは、焦点面変更部２３として、移動機構２３ａ、２３ｂ、及び切替機構４６ａ、４６ｂに代えて、観察像を撮像部２０に転送するリレーレンズとは別に配置される光学レンズを光軸方向に移動させる移動機構２３ｃを含む点で、第１実施形態乃至第３実施形態と異なる。さらに、撮像部２０が１つの撮像装置のみを有する点で、第１実施形態乃至第３実施形態と異なる。第１実施形態乃至第３実施形態と同様の構成部については同一の符号を付し、その説明を省略する。第１実施形態乃至第３実施形態と異なる点について主に説明する。

撮像部２０を構成する１つの撮像装置の撮像面における異なる部分で焦点の異なる画像を結像させるために、顕微鏡用光学システム１ｃは、ハーフミラー４３を透過した観察光を反射し、結合ミラー５１に導く折り曲げミラー４８と、ハーフミラー４３で反射した観察光をさらに反射し、結合ミラー５１に導く折り曲げミラー４９と、を有する。結合ミラー５１は、折り曲げミラー４８、４９各々から導かれた観察光を結合する。顕微鏡用光学システム１ｃは、観察光を結像させる第２リレーレンズ４４ｃを有する。撮像素子２１は、中間結像面４１における大きさの像が２つ以上投影できる大きさを有する。ハーフミラー４３を透過した観察光に基づく観察像と、ハーフミラー４３で反射した観察光に基づく観察像とは、撮像素子２１の異なる部分に投影される。すなわち、撮像部２０を構成する１つの撮像装置は、２つの観察像を撮像面における異なる部分でそれぞれ検出する。

顕微鏡用光学システム１ｃは、撮像素子２１における試料の焦点面を変える構成部として、光学レンズ５１ａ１、５１ａ２、５１ｂ１、５１ｂ２を含む光学系を、第１リレーレンズ４２から第２リレーレンズ４４ｃまでの間に有する。第４実施形態では、第１リレーレンズ４２と第２リレーレンズ４４ｃの間に設けられたこれらの光学系を変更することで、撮像素子２１における試料の焦点面を変える。

例えば、光学ユニット４０ｃは、上記の光学系を変更することにより、撮像素子２１における試料の焦点面を変更可能な移動機構２３ｃを有する。移動機構２３ｃの構成及び機能は、例えば、第１実施形態における移動機構２３ａと同様である。移動機構２３ｃは、光学レンズ５１ａ１、５１ａ２、５１ｂ１、５１ｂ２を光軸方向（図の矢印方向）へ移動可能なように、各々に対応するステッピングモータ及びリニアガイド等を有する。

処理装置３０は、光学レンズ５１ａ１、５１ａ２、５１ｂ１、５１ｂ２それぞれに対応するステッピングモータを独立に駆動させることで、光学レンズ５１ａ１、５１ａ２、５１ｂ１、５１ｂ２を光軸方向へ独立に移動させる。処理装置３０は、光学レンズ５１ａ１、５１ａ２、５１ｂ１、５１ｂ２の各々を光軸方向に任意の位置へ並進移動させることで、観察像に対する焦点面を変更することができる。

以上のような第４実施形態に係る顕微鏡用光学システム１ｃは、第２実施形態と同様の効果を奏する。加えて、顕微鏡用光学システム１ｃは、第１実施形態乃至第３実施形態と異なり、１つの撮像装置のみで位相復元画像を撮像できるので、コストが低減する。

第４実施形態では、複数の観察像それぞれに対して光学的に作用する光学素子は光学レンズ５１ａ１、５１ａ２、５１ｂ１、５１ｂ２であるとして説明したが、これに限定されない。光学ユニット４０ｃは、撮像部２０の撮像面における異なる部分で焦点の異なる画像を結像可能な、任意の光学素子を有してもよい。

本開示は、その精神又はその本質的な特徴から離れることなく、上述した実施形態以外の他の所定の形態で実現できることは当業者にとって明白である。したがって、先の記述は例示的であり、これに限定されない。開示の範囲は、先の記述によってではなく、付加した請求項によって定義される。あらゆる変更のうちその均等の範囲内にあるいくつかの変更は、その中に包含されるとする。

例えば、上述した各構成部の形状、配置、向き、及び個数等は、上記の説明及び図面における図示の内容に限定されない。各構成部の形状、配置、向き、及び個数等は、その機能を実現できるのであれば、任意に構成されてもよい。

第４実施形態では、顕微鏡用光学システム１ｃは１つの撮像装置を有するとして説明したが、これに限定されない。第２実施形態及び第３実施形態同様に、顕微鏡用光学システム１ｃは２つの撮像装置２０ａ、２０ｂを有してもよい。

上記の各実施形態では、処理装置３０が、焦点面が異なる観察像から位相情報を復元した位相復元画像を構築するとして説明したが、当該処理を撮像部２０が行ってもよい。

光学ユニット４０、４０ａ、４０ｂ、４０ｃは顕微鏡１０と一体となっていてもよい。すなわち、光学ユニット４０、４０ａ、４０ｂ、４０ｃは、顕微鏡１０に内包されてもよい。この場合、第１実施形態乃至第４実施形態における光学ユニット４０、４０ａ、４０ｂ、４０ｃをそれぞれ顕微鏡１０と一体とする場合、顕微鏡１０は、結像レンズ１５を複数有する。図１、図６乃至図８におけるハーフミラー４３は、対物レンズ１３と結像レンズ１５との間に配置される。当該ハーフミラー４３は、観察像に対応する観察光を複数に分岐させる、請求項に記載の「分岐用光学素子」に対応する。

加えて、第２実施形態では、リレーレンズに代えて結像レンズ１５が光軸方向に並進移動することで、撮像画像の焦点面が変化する。第３実施形態では、各平行平板と、その切替機構４６ａ、４６ｂとは、結像レンズ１５と撮像素子２１との間にそれぞれ配置される。選択された１つの平行平板が結像レンズ１５と撮像素子２１との間に配置されることで、撮像画像の焦点面が変化する。第４実施形態では、図８における折り曲げミラー４８、折り曲げミラー４９、結合ミラー５１、及び光学レンズ５１ａ１、５１ａ２、５１ｂ１、５１ｂ２は、対物レンズ１３と結像レンズ１５との間に配置され、光学レンズ５１ａ１、５１ａ２、５１ｂ１、５１ｂ２が光軸方向に並進移動することで、撮像画像の焦点面が変化する。

撮像部２０は、光学ユニット４０、４０ａ、４０ｂ、４０ｃと一体となった位相差撮像カメラとして構成されてもよい。上記のように焦点面が異なる複数の観察像の画像を撮像する位相差撮像カメラの構成及び機能として、第１実施形態乃至第４実施形態におけるいずれかの構成及び機能が適用され得る。

上述した各実施形態における処理装置３０が有する各構成部の一部又は全ての機能をコンピュータで実現するようにしてもよい。その場合、上述の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって上述の機能を実現してもよい。ここでいう「コンピュータシステム」とは、処理装置３０に内蔵されたコンピュータシステムであってＯＳ及び周辺機器等のハードウェア等を含む。

「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境又は表示環境も含む。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、及びＣＤ−ＲＯＭ等の可搬媒体、並びにコンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワーク及び電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間かつ動的にプログラムを保持するもの、その場合のサーバ及びクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。上記のプログラムは、前述した機能の一部を実現するためのものであってよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

上述した実施形態における処理装置３０の一部又は全てを、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。処理装置３０の各機能ブロックは個別にプロセッサ化してもよいし、一部又は全てを集積してプロセッサ化してもよい。集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１、１ａ、１ｂ、１ｃ 顕微鏡用光学システム
１０ 顕微鏡
１１ 透過照明
１２ 試料ステージ
１３ 対物レンズ
１４ 折り曲げミラー
１５ 結像レンズ
２０ 撮像部
２０ａ、２０ｂ 撮像装置
２１、２１ａ、２１ｂ 撮像素子
２２ 撮像処理部
２３ 焦点面変更部
２３ａ、２３ｂ、２３ｃ 移動機構（焦点面変更部）
２３１ リニアガイド
２３２ ステージ部
２３３ ボールねじ
２３４ 固定ブロック
２３５ ステッピングモータ
３０ 処理装置
３１ ＣＰＵ
３１１ 移動機構制御部（焦点面変更制御部）
３１２ 撮像制御部
３１３ 倍率補正部
３１４ 画像処理部
３２ 記憶部
３３ 入力部
３４ 表示出力部
３５ 通信部
４０、４０ａ、４０ｂ、４０ｃ 光学ユニット
４１ 中間結像面
４２ 第１リレーレンズ
４３ ハーフミラー（分岐用光学素子）
４４、４４ａ、４４ｂ、４４ｃ 第２リレーレンズ（光学素子）
４６ａ、４６ｂ 切替機構（焦点面変更部）
４７ａ１、４７ａ２、４７ａ３、４７ｂ１、４７ｂ２、４７ｂ３ 平行平板（光学素子）
４８、４９ 折り曲げミラー
５０ モニタ
５１ 結合ミラー
５１ａ１、５１ａ２、５１ｂ１、５１ｂ２ 光学レンズ（光学素子）
１００ 矢印
１２０ 基準焦点面
１２０ａ 上方焦点面
１２０ｂ 下方焦点面
Ｋ 光軸

Claims (10)

1. 顕微鏡による観察像を光学的に２つに複写する光学ユニットと、
   前記光学ユニットから出力された２つの前記観察像を撮像する撮像部と、
   前記顕微鏡の焦点面を変化させる焦点面変更部と、
   前記焦点面の異なる２つの前記観察像を前記撮像部により並行して撮像させる処理装置と、
   を備え、
   前記処理装置は、前記撮像部により撮像された前記焦点面の異なる２つの前記観察像の画像に基づいて前記観察像の位相情報を復元する、
   顕微鏡用光学システム。
2. 前記撮像部は、異なる２つの撮像装置を備え、
   前記焦点面変更部は、２つの前記撮像装置それぞれにおいて前記観察像が入射する撮像面を光軸方向に移動させる移動機構を含み、
   前記処理装置は、前記焦点面変更部により、前記焦点面が異なるように２つの前記撮像装置の少なくとも一方の前記撮像面を移動させる、
   請求項１に記載の顕微鏡用光学システム。
3. 前記焦点面変更部は、前記光学ユニット内に配置され、２つの前記観察像それぞれに対して光学的に作用する光学素子の操作機構を含み、
   前記処理装置は、前記焦点面変更部により、前記焦点面が異なるように２つの前記観察像の少なくとも一方に対して前記光学素子を操作する、
   請求項１に記載の顕微鏡用光学システム。
4. 前記光学素子は、前記観察像を前記撮像部に転送するリレーレンズであり、
   前記操作機構は、前記リレーレンズを光軸方向に移動させる移動機構であり、
   前記処理装置は、前記移動機構により前記リレーレンズを移動させる、
   請求項３に記載の顕微鏡用光学システム。
5. 前記光学素子は、厚さの異なる２つの平行平板であり、
   前記操作機構は、２つの前記平行平板のいずれかに切り替える切替機構であり、
   前記処理装置は、前記切替機構により前記平行平板を切り替える、
   請求項３に記載の顕微鏡用光学システム。
6. 前記光学素子は、前記観察像を前記撮像部に転送するリレーレンズとは別に配置される光学レンズであり、
   前記操作機構は、前記光学レンズを光軸方向に移動させる移動機構であり、
   前記処理装置は、前記移動機構により前記光学レンズを移動させる、
   請求項３に記載の顕微鏡用光学システム。
7. 前記撮像部は、異なる２つの撮像装置を備え、
   ２つの前記観察像を異なる２つの前記撮像装置によりそれぞれ検出する、
   請求項３乃至６のいずれか１項に記載の顕微鏡用光学システム。
8. 前記撮像部は、２つの前記観察像を撮像面における異なる部分でそれぞれ検出する撮像装置を備える、
   請求項６に記載の顕微鏡用光学システム。
9. 前記光学ユニットは、前記顕微鏡に内包され、前記顕微鏡の対物レンズと結像レンズとの間に、前記観察像に対応する観察光を２つに分岐させる分岐用光学素子を有する、
   請求項１乃至８のいずれか１項に記載の顕微鏡用光学システム。
10. 請求項１乃至９のいずれか１項に記載の顕微鏡用光学システムを制御する処理装置であって、
    前記焦点面変更部により前記顕微鏡の焦点面を変化させる焦点面変更制御部と、
    前記焦点面の異なる２つの前記観察像を前記撮像部により並行して撮像させる撮像制御部と、
    前記撮像部により撮像された前記焦点面の異なる２つの前記観察像の画像に基づいて前記観察像の位相情報を復元する画像処理部と、
    を備える、
    処理装置。

Images