JP2023106642A - 観察装置及び観察方法 - Google Patents

Abstract

【課題】観察対象物の正確な画像を得ることができる観察装置及び観察方法を提供する。【解決手段】観察装置１は、変調信号Ｓ１、Ｓ２、及びＳ３で変調された励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに同時に照射する照射部１０と、試料Ｔからの検出光Ｌ１１、Ｌ１２、及びＬ１３を検出信号Ｓとして検出する検出部４０と、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像を生成する画像処理部７０と、を備え、画像処理部７０は、所定の復調タイミングで検出光Ｌ１３の画像を生成する際、所定の復調タイミングで生成された検出光Ｌ１３の画像と、異なる復調タイミングで生成された検出光Ｌ１３の画像との間の差分値を算出し、当該差分値が所定の閾値よりも小さくなった場合に、所定の復調タイミング以降において、検出光Ｌ１３に対応する励起光Ｌ３の照射をＯＦＦに設定する。【選択図】図１

Description

本開示は、観察装置及び観察方法に関する。

従来、観察対象物の蛍光観察を行う観察装置として、例えば特許文献１に記載された顕微鏡装置が知られている。この顕微鏡装置では、複数の蛍光物質により多重染色された試料に対して、複数の蛍光物質をそれぞれ励起する波長を有し且つ互いに異なる変調周波数で変調された複数の励起光が、同時に照射される。複数の励起光の照射に伴って、これら励起光に対応する複数の蛍光が試料から発生する。この顕微鏡装置では、これら蛍光が同時に検出され、各蛍光を示す信号が変調周波数に基づいて周波数分離されることによって、各蛍光の画像が蛍光毎に生成される。

特開２００５－０９１８９５号公報

上述した顕微鏡装置では、各蛍光の画像が生成される際、或る蛍光のショットノイズ成分が他の蛍光の画像に偽信号として現れてしまうことがある。このような現象は、当該或る蛍光の光量が当該他の蛍光に比して大きい場合に、特に顕著に現れる。このような現象が生じると、各蛍光の正確な画像を生成することが困難となり得る。

本開示は、上記課題の解決のためになされたものであり、観察対象物の正確な画像を得ることができる観察装置及び観察方法を提供する。

本開示の一側面に係る観察装置は、互いに異なる波長を有すると共に、互いに異なる変調条件による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射する照射部と、複数の励起光の照射に伴う観察対象物からの複数の検出光を検出信号として検出する検出部と、互いに異なる複数の復調タイミングで検出信号を復調することにより、各復調タイミングにおいて複数の検出光の画像を検出光毎に生成する画像処理部と、を備え、各変調パターンは、励起光の照射のＯＮ／ＯＦＦを切り替えるように励起光を変調させる変調パターンであり、各復調タイミングにおいて互いに直交条件を満たすように設定され、複数の復調タイミングは、第１の復調タイミングと、第１の復調タイミングよりも前の第２の復調タイミングと、を含み、画像処理部は、第１の復調タイミングにおいて複数の検出光のうちの第１の検出光の画像を生成する際、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像との間の差分値を算出し、差分値が所定の閾値よりも小さくなった場合に、第１の復調タイミング以降において、第１の検出光に対応する励起光の照射をＯＦＦに設定する。

上記の観察装置では、第１の復調タイミングで第１の検出光が生成される際、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像との間の差分値が、所定の閾値よりも小さくなった場合に、第１の復調タイミング以降において、第１の検出光に対応する励起光の照射がＯＦＦに設定される。このように第１の検出光に対応する励起光の照射がＯＦＦに設定されることによって、第１の復調タイミング以降に生成される他の検出光の画像に、第１の検出光のショットノイズ成分が現れる事態を抑制することができる。更に、第１の復調タイミング及び第２の復調タイミングでそれぞれ生成された第１の検出光の画像の間の差分値が所定の閾値よりも小さくなっていれば、これらの画像の変化が小さいと判断できるので、第１の復調タイミング以降において第１の検出光に対応する励起光の照射がＯＦＦに設定されても、生成された第１の検出光の画像の精度に与える影響は小さい。更に、各変調パターンは、各復調タイミングにおいて互いに直交条件を満たすように設定されているので、各変調パターンに対応する各検出光を示す検出信号を正確に復調することができる。したがって、上記の観察装置によれば、第１の検出光のショットノイズ成分が他の検出光の画像に現れる事態を抑制しつつ、各検出光の画像を正確に復調することができる。すなわち、各検出光の正確な画像を得ることができる。

照射部は、複数の変調パターンを記憶する記憶部を有してもよい。この場合、各変調パターンを生成する処理を行う必要がないので、各変調パターンを生成する場合と比べて、処理負担を軽減することができる。

照射部は、複数の変調パターンを生成する生成部を有してもよい。この場合、所望の各変調パターンを容易に得ることができる。

各変調パターンは、励起光の照射のＯＮ／ＯＦＦを切り替えるように励起光を変調させる矩形波状の変調パターンであってもよい。この場合、復調タイミングにおいて互いに直交条件を満たす各変調パターンを好適に設定することができる。

各変調パターンは、励起光の照射のＯＮ／ＯＦＦを切り替えるように励起光を変調させる正弦波状の変調パターンであってもよい。この場合、復調タイミングにおいて互いに直交条件を満たす各変調パターンを好適に設定することができる。

複数の検出光は、第１の検出光よりも小さい光量を有する第２の検出光を含んでもよい。ショットノイズ成分は、光量の大きい検出光から光量の小さい検出光の画像に現れやすい。これに対し、上記の観察装置によれば、光量の大きい第１の検出光のショットノイズ成分が、光量の小さい第２の検出光の画像に現れる事態を抑制することができるので、上述した効果を好適に奏することができる。

第１の検出光は、複数の検出光の中で最も大きい光量を有してもよい。ショットノイズ成分は、光量の大きい検出光から光量の小さい検出光の画像に現れやすく、それらの検出光の光量差が大きくなるほど大きくなる。これに対し、上記の観察装置によれば、光量の最も大きい第１の検出光のショットノイズ成分が、光量の小さい第２の検出光の画像に現れる事態を抑制することができるので、上述した効果をより好適に奏することができる。

画像処理部は、第１の復調タイミング以降において第１の検出光に対応する励起光の照射をＯＦＦに設定した場合に、第１の復調タイミング以降に検出された検出信号に含まれるデータを用いて、第２の検出光の画像を生成してもよい。この場合、第１の復調タイミング以降においては、第１の検出光に対応する励起光の照射がＯＦＦに設定されているので、第１の復調タイミング以降に検出された検出信号に含まれるデータには、第１の検出光が含まれないか、或いは、極めて小さい光量の第１の検出光が含まれる。したがって、このデータを用いて第２の検出光を生成すれば、第１の検出光のショットノイズ成分が第２の検出光の画像に現れる事態を効果的に抑制することができる。

画像処理部は、第１の復調タイミング以降において第１の検出光に対応する励起光の照射をＯＦＦに設定した場合に、第１の復調タイミング以前において、第１の検出光に対応する励起光の照射がＯＮになる期間以外の期間に検出された検出信号に含まれるデータを用いて、第２の検出光の画像を生成してもよい。この場合、第１の復調タイミング以前において、第１の検出光に対応する励起光の照射がＯＮになる期間以外の期間に検出された検出信号のデータには、第１の検出光が含まれないか、或いは、極めて小さい光量の第１の検出光が含まれる。したがって、このデータを用いて第２の検出光を生成すれば、第１の検出光のショットノイズ成分が第２の検出光の画像に現れる事態を効果的に抑制することができる。

第２の復調タイミングは、第１の復調タイミングの直前の復調タイミングであってもよい。この場合、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像と、の間の画像の変化が小さいか否かの判断を容易に行うことができる。

本開示の一側面に係る観察方法は、互いに異なる波長を有すると共に、互いに異なる変調条件による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射するステップと、複数の励起光の照射に伴う観察対象物からの複数の検出光を検出信号として検出するステップと、互いに異なる複数の復調タイミングで検出信号を復調することにより、各復調タイミングにおいて複数の検出光の画像を検出光毎に生成するステップと、を備え、各変調パターンは、励起光の照射のＯＮ／ＯＦＦを切り替えるように励起光を変調させる変調パターンであり、各復調タイミングにおいて互いに直交条件を満たすように設定され、複数の復調タイミングは、第１の復調タイミングと、第１の復調タイミングよりも前の第２の復調タイミングと、を含み、複数の検出光の画像を検出光毎に生成するステップでは、第１の復調タイミングにおいて複数の検出光のうちの第１の検出光の画像を生成する際、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像との間の差分値を算出し、差分値が所定の閾値よりも小さくなった場合に、第１の復調タイミング以降において、第１の検出光に対応する励起光の照射をＯＦＦに設定する。

この観察方法では、第１の復調タイミングで第１の検出光が生成される際、第１の復調タイミングで生成された第１の検出光の画像と、第２の復調タイミングで生成された第１の検出光の画像との間の差分値が、所定の閾値よりも小さくなった場合に、第１の復調タイミング以降において、第１の検出光に対応する励起光の照射がＯＦＦに設定される。このように第１の検出光に対応する励起光の照射がＯＦＦに設定されることによって、第１の復調タイミング以降に生成される他の検出光の画像に、第１の検出光のショットノイズ成分が現れる事態を抑制することができる。更に、第１の復調タイミング及び第２の復調タイミングでそれぞれ生成された第１の検出光の画像の間の差分値が所定の閾値よりも小さくなっていれば、これらの画像の変化が小さいと判断できるので、第１の復調タイミング以降において第１の検出光に対応する励起光の照射がＯＦＦに設定されても、生成された第１の検出光の画像の精度に与える影響は小さい。更に、各変調パターンは、各復調タイミングにおいて互いに直交条件を満たすように設定されているので、各変調パターンに対応する各検出光を示す検出信号を正確に復調することができる。したがって、上記の観察方法によれば、第１の検出光のショットノイズ成分が他の検出光の画像に現れる事態を抑制しつつ、各検出光の画像を正確に復調することができる。すなわち、各検出光の正確な画像を得ることができる。

本開示によれば、観察対象物の正確な画像を得ることができる。

図１は、観察装置の一実施形態を示す概略構成図である。 図２は、図１に示す各変調信号を示す図である。 図３は、図１に示す各変調信号が満たす直交条件を説明するための図である。 図４は、画像生成部による画像変化の判定を説明するためのグラフである。 図５は、観察方法の一実施形態を示すフローチャートである。 図６は、図５に示す画像処理ステップの詳細を示すフローチャートである。 図７は、実施例及び比較例のシミュレーション条件を説明するための図である。 図８は、比較例のシミュレーション条件を示す図である。 図９は、比較例のシミュレーション結果を示す図である。 図１０は、実施例のシミュレーション結果を示す図である。 図１１は、画像生成部による画像生成処理の変形例を示す図である。 図１２は、図１１の一部を拡大した拡大図である。 図１３は、図１１に示す変形例のシミュレーション結果を示す図である。 図１４は、図１１に示す変形例の更なる変形例を示す図である。 図１５は、図１４の一部を拡大した拡大図である。 図１６は、図１４に示す変形例のシミュレーション結果を示す図である。 図１７は、観察装置の変形例を示す概略構成図である。 図１８は、観察装置の別の変形例を示す概略構成図である。 図１９は、各変調信号の変形例を示す図である。

以下、本開示の一実施形態について、図面を参照しつつ詳細に説明する。以下の説明において、同一又は相当要素には同一符号を用い、重複する説明を適宜省略する。

図１は、本実施形態に係る観察装置１を示す概略構成図である。観察装置１は、観察対象物である試料Ｔの蛍光観察を行う。試料Ｔは、例えば、互いに異なる複数種類の蛍光物質を含む生体組織等のサンプルである。各蛍光物質は、所定の波長域の励起光が照射された場合に、励起光の波長に応じた波長を有する蛍光等の検出光を発生する。蛍光物質としては、例えば、インドシアニングリーン、メチレンブルー、フルオレセイン、及び５－アミノレブリン酸等の蛍光色素が挙げられる。観察装置１は、試料Ｔの複数の蛍光物質をそれぞれ励起する複数の励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに同時に照射し、それに伴って試料Ｔから発生する複数の検出光Ｌ１１、Ｌ１２、及びＬ１３を同時に撮像する。

図１に示すように、観察装置１は、例えば、照射部１０と、検出部４０と、画像処理部７０と、を備える。照射部１０は、互いに異なる波長λ１、λ２、及びλ３を有し、且つ互いに異なる変調条件Ｍ１、Ｍ２、及びＭ３でそれぞれ変調された複数の励起光Ｌ１、Ｌ２、及びＬ３を、試料Ｔに同時に照射する。照射部１０は、励起光Ｌ１、Ｌ２、及びＬ３をそれぞれ出力する複数の光源１１、１２、及び１３と、各励起光Ｌ１、Ｌ２、及びＬ３が互いに異なる変調条件Ｍ１、Ｍ２、及びＭ３で変調されるように各光源１１、１２、及び１３を制御する変調部１５と、各光源１１、１２、及び１３から出力された各励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに導光する導光光学系２０と、を有する。

各光源１１、１２、及び１３は、試料Ｔの蛍光物質を励起させる波長を含む光を生成可能なコヒーレント光源又はインコヒーレント光源である。光源１１は、波長λ１を有する励起光Ｌ１を生成可能である。光源１２は、波長λ２を有する励起光Ｌ２を生成可能である。光源１３は、波長λ３を有する励起光Ｌ３を生成可能である。コヒーレント光源としては、例えば、レーザダイオード（ＬＤ）といったレーザ光源等が挙げられる。インコヒーレント光源としては、例えば、発光ダイオード（ＬＥＤ）、スーパールミネッセントダイオード（ＳＬＤ）又はランプ系光源等が挙げられる。

変調部１５は、各光源１１、１２、及び１３と電気的に接続されている。変調部１５は、互いに異なる変調条件Ｍ１、Ｍ２、及びＭ３をそれぞれ有する複数の変調信号Ｓ１、Ｓ２、及びＳ３を用いて、複数の励起光Ｌ１、Ｌ２、及びＬ３をそれぞれ変調させる。変調部１５は、変調信号Ｓ１、Ｓ２、及びＳ３を生成する変調信号生成部１６（生成部）と、変調条件Ｍ１、Ｍ２、及びＭ３を設定する変調条件設定部１７と、を有する。

変調条件設定部１７は、変調信号Ｓ１、Ｓ２、及びＳ３毎に、互いに異なる変調条件（例えば、位相又は周波数）を設定する。本実施形態では、変調条件設定部１７は、例えば、変調条件Ｍ３を最も高い最速変調周波数に設定し、変調条件Ｍ２を変調条件Ｍ３よりも低い変調周波数に設定し、変調条件Ｍ１を最も低い変調周波数に設定する。例えば、変調条件設定部１７は、変調条件Ｍ３を変調条件Ｍ１の４倍の変調周波数に設定し、変調条件Ｍ２を変調条件Ｍ１の２倍の変調周波数に設定する。なお、変調条件設定部１７は、変調信号Ｓ１、Ｓ２、及びＳ３毎に互いに異なる位相を設定してもよい。変調条件Ｍ１、Ｍ２、及びＭ３は、予め変調条件設定部１７に記憶された値であってもよいし、入出力デバイス等を介して外部から入力された値であってもよい。

変調信号生成部１６は、変調条件設定部１７によって設定された変調条件Ｍ１、Ｍ２、及びＭ３をそれぞれ有する変調信号Ｓ１、Ｓ２、及びＳ３を生成する。各変調信号Ｓ１、Ｓ２、及びＳ３は、各光源１１、１２、及び１３から出力される各励起光Ｌ１、Ｌ２、及びＬ３を時間的に変調させるための変調パターンである。具体的には、変調信号Ｓ１は、励起光Ｌ１の照射のＯＮ／ＯＦＦが交互に切り替えられるように、励起光Ｌ１を変調条件Ｍ１で変調させる矩形波状のパルス信号である。変調信号Ｓ２は、励起光Ｌ２の照射のＯＮ／ＯＦＦが交互に切り替えられるように、励起光Ｌ２を変調条件Ｍ２で変調させる矩形波状のパルス信号である。変調信号Ｓ３は、励起光Ｌ３の照射のＯＮ／ＯＦＦが交互に切り替えられるように、励起光Ｌ３を変調条件Ｍ３で変調させる矩形波状のパルス信号である。各変調信号Ｓ１、Ｓ２、及びＳ３のより詳細な説明については、後述する。

変調信号生成部１６は、生成した変調信号Ｓ１、Ｓ２、及びＳ３を光源１１、１２、及び１３にそれぞれ出力する。各変調信号Ｓ１、Ｓ２、及びＳ３に従って、各光源１１、１２、及び１３から出力される各励起光Ｌ１、Ｌ２、及びＬ３が変調される。その結果、変調条件Ｍ１で変調された励起光Ｌ１が光源１１から出力され、変調条件Ｍ２で変調された励起光Ｌ２が光源１２から出力され、変調条件Ｍ３で変調された励起光Ｌ３が光源１３から出力される。

導光光学系２０は、コリメータレンズ２１、２２、及び２３と、ダイクロイックミラー２４、２５、及び２９と、フィルタ２６及び２７と、リレーレンズ２８と、対物レンズ３１と、を含む。コリメータレンズ２１は、光源１１から出力された励起光Ｌ１を平行化する。コリメータレンズ２２は、光源１２から出力された励起光Ｌ２を平行化する。コリメータレンズ２３は、光源１３から出力された励起光Ｌ３を平行化する。ダイクロイックミラー２４は、光源１３の光軸と光源１２の光軸とが交差する位置に配置されている。コリメータレンズ２２を経た励起光Ｌ２、及びコリメータレンズ２３を経た励起光Ｌ３は、ダイクロイックミラー２４に到達する。

ダイクロイックミラー２４は、波長λ２の励起光Ｌ２を反射し、波長λ３の励起光Ｌ３を透過するように構成されている。ダイクロイックミラー２４を経た励起光Ｌ２及びＬ３と、コリメータレンズ２１を経た励起光Ｌ１とは、ダイクロイックミラー２５に到達する。ダイクロイックミラー２５は、光源１２の光軸と光源１１の光軸とが交差する位置に配置されている。ダイクロイックミラー２５は、波長λ２の励起光Ｌ２、及び波長λ３の励起光Ｌ３を反射し、波長λ１の励起光Ｌ１を透過するように構成されている。ダイクロイックミラー２５を経た励起光Ｌ１、Ｌ２、及びＬ３は、対物レンズ３１に向かって進行する。

フィルタ２６及び２７は、ダイクロイックミラー２５と対物レンズ３１との間の光路上に並んで配置されている。フィルタ２６及び２７は、波長λ１の励起光Ｌ１、波長λ２の励起光Ｌ２、及び波長λ３の励起光Ｌ３のみを選択的に透過し、他の波長の光を遮断するバンドパスフィルタである。したがって、ダイクロイックミラー２５を経た励起光Ｌ１、Ｌ２、及びＬ３は、フィルタ２６及び２７を透過する。リレーレンズ２８は、フィルタ２６及び２７の間の光路上に配置されている。リレーレンズ２８は、励起光Ｌ１、Ｌ２、及びＬ３を対物レンズ３１まで効率よく導く役割を有する。

ダイクロイックミラー２９は、フィルタ２７と対物レンズ３１との間の光路上に配置されている。フィルタ２７を経た励起光Ｌ１、Ｌ２、及びＬ３は、ダイクロイックミラー２９に到達する。ダイクロイックミラー２９は、波長λ１の励起光Ｌ１、波長λ２の励起光Ｌ２、及び波長λ３の励起光Ｌ３を反射し、蛍光波長の検出光Ｌ１１、Ｌ１２、及びＬ１３を透過するように構成されている。ダイクロイックミラー２９を経た励起光Ｌ１、Ｌ２、及びＬ３は、対物レンズ３１に到達する。

対物レンズ３１は、励起光Ｌ１、Ｌ２、及びＬ３を集光し、集光した励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに同時に照射する。更に、対物レンズ３１は、励起光Ｌ１、Ｌ２、及びＬ３の照射に伴って試料Ｔから発生した検出光Ｌ１１、Ｌ１２、及びＬ１３を導光する。対物レンズ３１は、例えば、ピエゾアクチュエータ又はステッピングモータ等の駆動素子により、対物レンズ３１の光軸に沿って移動可能に構成されている。これにより、励起光Ｌ１、Ｌ２、及びＬ３の集光位置、及び検出光Ｌ１１、Ｌ１２、及びＬ１３の検出のための焦点位置が調整可能となっている。

検出光Ｌ１１、Ｌ１２、及びＬ１３は、励起光Ｌ１、Ｌ２、及びＬ３の照射に伴って試料Ｔからそれぞれ発生する蛍光である。本実施形態では、検出光Ｌ１１、Ｌ１２、及びＬ１３のうちの検出光Ｌ１３が最も大きい光量を有する検出光（第１の検出光）となっており、検出光Ｌ１１及びＬ１２のそれぞれは、検出光Ｌ１３よりも小さい光量を有する検出光（第２の検出光）となっている。検出光Ｌ１１の光量は、検出光Ｌ１２の光量よりも小さく、検出光Ｌ１１、Ｌ１２、及びＬ１３の中で最も小さい。最も大きい光量を有する検出光Ｌ１３は、最も高い変調周波数を有する励起光Ｌ３の照射に伴って発生した光である。

なお、検出光Ｌ１１、Ｌ１２、及びＬ１３の光量は、励起光Ｌ１、Ｌ２、及びＬ３の照射を一度行えば測定できるので、検出光Ｌ１１、Ｌ１２、及びＬ１３の光量が観察装置１に予め記憶されていてもよい。そして、各検出光Ｌ１１、Ｌ１２、及びＬ１３の光量の違いを考慮して、各励起光Ｌ１、Ｌ２、及びＬ３の変調条件が決定されてもよい。例えば、最も大きい光量を有する検出光Ｌ１３に対応する励起光Ｌ３の変調条件が最速変調周波数となるように、予め設定されていてもよい。

検出部４０は、試料Ｔから発生した検出光Ｌ１１、Ｌ１２、及びＬ１３を検出する。検出部４０は、検出光Ｌ１１、Ｌ１２、及びＬ１３を導光する導光光学系３０と、導光光学系３０によって導光された検出光Ｌ１１、Ｌ１２、及びＬ１３を検出するセンサ３５と、を有する。導光光学系３０は、対物レンズ３１と、ダイクロイックミラー２９と、フィルタ３２と、結像レンズ３３と、を有する。対物レンズ３１は、検出光Ｌ１１、Ｌ１２、及びＬ１３を結像レンズ３３に向けて導光する。ダイクロイックミラー２９及びフィルタ３２は、対物レンズ３１と結像レンズ３３との間の光路上に配置されている。フィルタ３２は、蛍光波長の検出光Ｌ１１、Ｌ１２、及びＬ１３のみを選択的に透過し、他の波長の光を遮断するバンドパスフィルタである。したがって、対物レンズ３１を経た検出光Ｌ１１、Ｌ１２、及びＬ１３は、ダイクロイックミラー２９及びフィルタ３２を透過し、結像レンズ３３に到達する。結像レンズ３３は、検出光Ｌ１１、Ｌ１２、及びＬ１３をセンサ３５に結像する。

センサ３５は、２次元的に配列された複数の画素によって構成された受光面を有している。センサ３５は、例えば、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等のエリアイメージセンサである。このようなイメージセンサとして、例えば、モノクロセンサ、カラーセンサ、マルチスペクトルセンサ、又はハイパースペクトルセンサ等を用いることができる。センサ３５は、導光光学系３０により導光された検出光Ｌ１１、Ｌ１２、及びＬ１３による光像を撮像し、検出光Ｌ１１、Ｌ１２、及びＬ１３のぞれぞれの光像を含む画像データとして検出信号Ｓを出力する。

センサ３５は、所定のフレームレート（例えば、１００ｆｐｓ）で撮像し、各フレームに対応する検出信号Ｓを繰り返し出力するように設定されている。センサ３５は、例えば、フレーム周期（フレームレートの逆数）以下の範囲で露光時間を可変に設定可能に構成されている。また、センサ３５は、変調信号生成部１６と通信可能に構成されており、センサ３５による撮像と、各変調信号Ｓ１、Ｓ２、及びＳ３に基づく励起光Ｌ１、Ｌ２、及びＬ３の変調と、が同期するように設定されている。

画像処理部７０は、例えば、コンピュータであり、物理的には、ＲＡＭ及びＲＯＭ等のメモリ、ＣＰＵ等のプロセッサ（演算回路）、通信インターフェイス、ハードディスク等の格納部、並びに、ディスプレイ等の表示部、を備えて構成されている。コンピュータとしては、例えばパーソナルコンピュータ、クラウドサーバ、又はスマートデバイス（スマートフォン或いはタブレット端末など）などが挙げられる。コンピュータは、コンピュータのメモリに格納されるプログラムをコンピュータシステムのＣＰＵで実行することにより、画像処理部７０としての機能の他、各構成を制御するコントローラとして機能してもよいし、変調部１５として機能してもよい。

画像処理部７０は、センサ３５と電気的に接続されており、センサ３５から出力された検出信号Ｓの処理を行う。画像処理部７０は、変調条件Ｍ１、Ｍ２、及びＭ３に基づいて検出信号Ｓを復調することにより、検出光Ｌ１１、Ｌ１２、及びＬ１３それぞれの光像に対応する画像データである復調信号Ｓ１１、Ｓ１２、及びＳ１３を出力する信号復調部７１と、各復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて各検出光Ｌ１１、Ｌ１２、及びＬ１３それぞれの光像を示す画像を生成する画像生成部７２と、を有する。信号復調部７１は、所定のフレームレートで出力される検出信号Ｓを復調タイミングＴＭ１、ＴＭ２、…（後述する図２参照）で復調する。また、復調タイミングＴＭ１、ＴＭ２、…は、他の変調信号Ｓ２及びＳ３の変調周期の整数倍になるように設定されている。したがって、画像処理部７０の信号復調部７１は、復調タイミングＴＭ１、ＴＭ２、…毎に、変調信号Ｓ１、Ｓ２、及びＳ３に基づいて検出信号Ｓを復調し、復調信号Ｓ１１、Ｓ１２、及びＳ１３を生成する。信号復調部７１における復調は、複数回（例えば、Ｎ回（Ｎは正の整数を示す））行われてもよい。この場合、信号復調部７１は、復調信号Ｓ１１、Ｓ１２、及びＳ１３の生成をＮ回行い、画像生成部７２は、生成されたＮ個の復調信号Ｓ１１、Ｎ個の復調信号Ｓ１２、及びＮ個の復調信号Ｓ１３に対して、それぞれ平均処理もしくは加算処理等を行う。これにより、画像生成部７２は、検出光Ｌ１１、Ｌ１２、及びＬ１３それぞれの光像に対応する画像を生成する。

信号復調部７１は、検出信号Ｓから復調信号Ｓ１１、Ｓ１２、及びＳ１３を復調する際、変調信号Ｓ１、Ｓ２、及びＳ３の変調条件Ｍ１、Ｍ２、及びＭ３に基づいて復調処理を行う。検出信号Ｓに含まれる各検出光Ｌ１１、Ｌ１２、及びＬ１３は、各励起光Ｌ１、Ｌ２、及びＬ３の照射に応じて発生する光であるため、各検出光Ｌ１１、Ｌ１２、及びＬ１３を示す各復調信号Ｓ１１、Ｓ１２、及びＳ１３についても、各変調信号Ｓ１、Ｓ２、及びＳ３の各変調条件Ｍ１、Ｍ２、及びＭ３で変調されている。そこで、信号復調部７１は、復調タイミングＴＭ１、ＴＭ２、…において、変調条件Ｍ１、Ｍ２、及びＭ３による検出信号Ｓの復調処理を行うことにより、検出信号Ｓから復調信号Ｓ１１、Ｓ１２、及びＳ１３を復調する。

具体的には、信号復調部７１は、センサ３５から出力される検出信号Ｓのうち、変調信号Ｓ１のＯＮ期間（すなわち、試料Ｔへの励起光Ｌ１の照射がＯＮになる期間）に対応する検出信号Ｓに係数（例えば、“１”）を乗じ、ＯＦＦ期間（すなわち、試料Ｔへの励起光Ｌ１の照射がＯＦＦになる期間）に対応する検出信号Ｓに別の係数（例えば、“－１”）を乗じ、これらに対し平均処理もしくは加算処理を行うことで、復調信号Ｓ１１を得る。また、信号復調部７１は、センサ３５から出力される検出信号Ｓのうち、変調信号Ｓ２のＯＮ期間（すなわち、試料Ｔへの励起光Ｌ２の照射がＯＮになる期間）に対応する検出信号Ｓに係数（例えば、“１”）を乗じ、ＯＦＦ期間（すなわち、試料Ｔへの励起光Ｌ２の照射がＯＦＦになる期間）に対応する検出信号Ｓに別の係数（例えば、“－１”）を乗じ、これらに対し平均処理もしくは加算処理を行うことで、復調信号Ｓ１２を得る。また、信号復調部７１は、センサ３５から出力される検出信号Ｓのうち、変調信号Ｓ３のＯＮ期間（すなわち、試料Ｔへの励起光Ｌ３の照射がＯＮになる期間）に対応する検出信号Ｓに係数（例えば、“１”）を乗じ、ＯＦＦ期間（すなわち、試料Ｔへの励起光Ｌ３の照射がＯＦＦになる期間）に対応する検出信号Ｓに別の係数（例えば、“－１”）を乗じ、これらに対し平均処理もしくは加算処理を行うことで、復調信号Ｓ１３を得る。なお、検出信号Ｓに乗じる係数は、変調信号Ｓ１、Ｓ２、及びＳ３の振幅に対応させてもよい。信号復調部７１は、復調タイミングＴＭ１、ＴＭ２、…毎に復調信号Ｓ１１，Ｓ１２、及びＳ１３を生成し、これら復調信号Ｓ１１、Ｓ１２、及びＳ１３を画像生成部７２に出力する。

画像生成部７２は、信号復調部７１から出力された復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて、検出光Ｌ１１、Ｌ１２、及びＬ１３それぞれに対応する画像を生成する。本実施形態のように複数の復調タイミングＴＭ１、ＴＭ２、…が設定されている場合、信号復調部７１は、復調タイミングＴＭ１、ＴＭ２、…毎に復調信号Ｓ１１、Ｓ１２、及びＳ１３を生成し、これら復調信号Ｓ１１、Ｓ１２、及びＳ１３を画像生成部７２に出力する。そのため、画像生成部７２には、復調タイミングＴＭ１、ＴＭ２、…毎に生成された複数の復調信号Ｓ１１が入力される。画像生成部７２は、複数の復調信号Ｓ１１を平均処理もしくは加算処理することにより、検出光Ｌ１１の画像を生成する。同様に、画像生成部７２には、復調タイミングＴＭ１、ＴＭ２、…毎に生成された複数の復調信号Ｓ１２が入力される。画像生成部７２は、複数の復調信号Ｓ１２を平均処理もしくは加算処理することにより、検出光Ｌ１２の画像を生成する。同様に、画像生成部７２には、復調タイミングＴＭ１、ＴＭ２、…毎に生成された複数の復調信号Ｓ１３が入力される。画像生成部７２は、複数の復調信号Ｓ１３を平均処理もしくは加算処理することにより、検出光Ｌ１３の画像を生成する。

なお、復調信号Ｓ１１、Ｓ１２、及びＳ１３は復調タイミングＴＭ１、ＴＭ２、…毎に復調されるため、復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて生成される検出光Ｌ１１、Ｌ１２、及びＬ１３の画像も、復調タイミングＴＭ１、ＴＭ２、…毎に生成されてもよい。この場合、画像生成部７２は、検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成される度に、それぞれの画像を更新して表示してもよい。つまり、画像生成部７２は、復調タイミングＴＭ１、ＴＭ２、…が到来する度に、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像を更新してもよい。また、画像生成部７２は、検出光Ｌ１１、Ｌ１２、及びＬ１３の画像をそれぞれ並べて表示してもよいし、これらの画像を互いに重ね合わせて表示してもよい。更に、画像生成部７２は、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像について更新前後の画像を比較し、その比較結果に基づいて励起光Ｌ１、Ｌ２、及びＬ３の照射の制御を行う。この処理の詳細については後述する。

ここで、図２及び図３を参照して、上述した変調信号Ｓ１、Ｓ２、及びＳ３について詳細に説明する。図２の（ａ）は、変調条件Ｍ１を有する変調信号Ｓ１を示している。図２の（ｂ）は、変調条件Ｍ２を有する変調信号Ｓ２を示している。図２の（ｃ）は、変調条件Ｍ３を有する変調信号Ｓ３を示している。図２の（ａ）、図２の（ｂ）、及び図２の（ｃ）において、横軸は時間を示しており、縦軸は変調信号Ｓ１、Ｓ２、及びＳ３の出力を示している。なお、図２の（ａ）、図２の（ｂ）、及び図２の（ｃ）には、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像の生成に用いられるフレームの範囲が、ドット柄のハッチングで併せて示されている。本実施形態では、各復調信号Ｓ１１、Ｓ１２、及びＳ１３の全フレームを用いて各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成される。すなわち、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像の生成には、画像の生成が開始されてから画像の生成が終了するまでの全期間のフレームが用いられる。図２の（ａ）における各プロットは、復調信号Ｓ１１に含まれるフレーム（すなわち、検出光Ｌ１１の光像を示す画像データ）に対応している。図２の（ｂ）における各プロットは、復調信号Ｓ１２に含まれるフレーム（すなわち、検出光Ｌ１２の光像を示す画像データ）に対応している。図２の（ｃ）における各プロットは、復調信号Ｓ１３に含まれるフレーム（すなわち、検出光Ｌ１３の光像を示す画像データ）に対応している。各復調信号Ｓ１１、Ｓ１２、及びＳ１３のフレームは、センサ３５から所定のフレームレートで出力される検出信号Ｓに含まれており、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像の生成に用いられる。

図２の（ａ）に示す変調信号Ｓ１は、例えば、試料Ｔへの励起光Ｌ１の照射がＯＮになる期間と、試料Ｔへの励起光Ｌ１の照射がＯＦＦになる期間とを含む期間を一周期Ｔ１として、変調条件Ｍ１の変調周波数で交互に繰り返すように励起光Ｌ１を変調させる。図２の（ｂ）に示す変調信号Ｓ２は、例えば、試料Ｔへの励起光Ｌ２の照射がＯＮになる期間と、試料Ｔへの励起光Ｌ２の照射がＯＦＦになる期間とを含む期間を一周期Ｔ２として、変調条件Ｍ２の変調周波数で交互に繰り返すように励起光Ｌ２を変調させる。本実施形態では、変調信号Ｓ２の変調条件Ｍ２は、変調信号Ｓ１の変調条件Ｍ１の２倍の変調周波数に設定されているので、変調信号Ｓ１の一周期Ｔ１の中に、変調信号Ｓ２の一周期Ｔ２が２つ含まれている。

図２の（ｃ）に示す変調信号Ｓ３は、例えば、試料Ｔへの励起光Ｌ３の照射がＯＮになる期間と、試料Ｔへの励起光Ｌ３の照射がＯＦＦになる期間とを含む期間を一周期Ｔ３として、変調条件Ｍ３の変調周波数で交互に繰り返すように励起光Ｌ３を変調させる。本実施形態では、変調信号Ｓ３の変調条件Ｍ３は、変調信号Ｓ１の変調条件Ｍ１の４倍の変調周波数に設定されているので、変調信号Ｓ１の一周期Ｔ１の中に、変調信号Ｓ３の一周期Ｔ３が４つ含まれている。

各変調信号Ｓ１、Ｓ２、及びＳ３によって各励起光Ｌ１、Ｌ２、及びＬ３の照射のＯＮ／ＯＦＦが切り替えられると、これに応じて、各検出光Ｌ１１、Ｌ１２、及びＬ１３の発光／非発光が切り替えられる。つまり、各励起光Ｌ１、Ｌ２、及びＬ３の照射がＯＮのときは、各検出光Ｌ１１、Ｌ１２、及びＬ１３が発光する一方、各励起光Ｌ１、Ｌ２、及びＬ３の照射がＯＦＦのときは、各検出光Ｌ１１、Ｌ１２、及びＬ１３が発光しないか、極めて小さい光量の各検出光Ｌ１１、Ｌ１２、及びＬ１３が発光する。したがって、各検出光Ｌ１１、Ｌ１２、及びＬ１３を示す各復調信号Ｓ１１、Ｓ１２、及びＳ１３は、各変調信号Ｓ１、Ｓ２、及びＳ３に応じて変化する信号となる。図２の（ａ）、図２の（ｂ）、及び図２の（ｃ）には、復調信号Ｓ１１、Ｓ１２、及びＳ１３が復調される復調タイミングＴＭ１、ＴＭ２、…が示されている。復調タイミングＴＭ１、ＴＭ２、…は、変調信号Ｓ１の一周期Ｔ１が経過するタイミングに一致している。

復調タイミングＴＭ１、ＴＭ２、…において、検出信号Ｓから復調信号Ｓ１１、Ｓ１２、及びＳ１３が正確に復調されるためには、各復調信号Ｓ１１、Ｓ１２、及びＳ１３に対応する各復調信号Ｓ１１、Ｓ１２、及びＳ１３が互いに直交条件を満たす必要がある。「直交条件を満たす」とは、復調タイミングＴＭ１、ＴＭ２、…において各変調信号Ｓ１、Ｓ２、及びＳ３の間の内積がゼロになることをいう。この直交条件について、図３を用いてより詳細に説明する。

図３は、変調信号Ｓ１及びＳ２が満たす直交条件を説明するための図である。図３に示す例では、変調信号Ｓ１及びＳ２の関係に着目し、励起光Ｌ１及びＬ２の照射がＯＮになるときの変調信号Ｓ１及びＳ２の出力を＋１とし、励起光Ｌ１及びＬ２の照射がＯＦＦになるときの変調信号Ｓ１及びＳ２の出力を－１とする。そして、各変調信号Ｓ１及びＳ２について、出力が切り替わるタイミングで時間領域Ｒ１、Ｒ２、Ｒ３及びＲ４に分割する。変調信号Ｓ１と変調信号Ｓ２とでは、変調信号Ｓ２の方が出力の切り替えが多いので、変調信号Ｓ２の出力が切り替わるタイミングで時間領域Ｒ１、Ｒ２、Ｒ３及びＲ４に分割する。その結果、時間領域Ｒ１及びＲ３は、変調信号Ｓ２に対応する励起光Ｌ２の照射がＯＮになる期間に相当し、時間領域Ｒ２及びＲ４は、励起光Ｌ２の照射がＯＦＦになる期間に相当することとなる。

そして、各時間領域Ｒ１、Ｒ２、Ｒ３及びＲ４について、変調信号Ｓ１の出力と変調信号Ｓ２の出力との積を計算する。時間領域Ｒ１においては、変調信号Ｓ１の出力が＋１であり、変調信号Ｓ２の出力も＋１であるので、これらの積は＋１である。一方、時間領域Ｒ２においては、変調信号Ｓ１の出力が＋１であり、変調信号Ｓ２の出力は－１であるので、これらの積は－１である。同様に計算すると、時間領域Ｒ３においては、変調信号Ｓ１及びＳ２の積は－１となり、時間領域Ｒ４においては、変調信号Ｓ１及びＳ２の積は＋１となる。そして、これら時間領域Ｒ１、Ｒ２、Ｒ３、及びＲ４における上記積の合計はゼロになる。これは、各変調信号Ｓ１及びＳ２の間の内積がゼロになることを意味する。したがって、時間領域Ｒ４が経過したタイミングである復調タイミングＴＭ１（すなわち、変調信号Ｓ１の一周期Ｔ１が経過するタイミング）において、変調信号Ｓ１及びＳ２が互いに直交条件を満たすこととなる。

上記の変調信号Ｓ１及びＳ２の関係は、変調信号Ｓ１、Ｓ２、及びＳ３のいずれの２つの変調信号の間においても成り立つ。したがって、各変調信号Ｓ１、Ｓ２、及びＳ３は、復調タイミングＴＭ１、ＴＭ２、…において互いに直交条件を満たす。復調タイミングＴＭ１、ＴＭ２、…は、上述したように、変調信号Ｓ１、Ｓ２、及びＳ３のうち、最も低い変調周波数を有する変調信号Ｓ１の一周期Ｔ１が経過するタイミングに一致する。このタイミングでは、変調信号Ｓ１、Ｓ２、及びＳ３の全てが常に互いに直交条件を満たす。なお、直交条件を満たす変調信号の組み合わせのパターンは、センサ３５の規定フレーム数だけ存在する。本実施形態のように矩形波状の変調信号を用いる場合において、例えば、センサ３５の規定フレーム数が１６であるとき、直交条件を満たす変調信号の組み合わせは最大で１６パターン存在する。つまり、規定フレーム数分だけ検出光を同時に検出することが可能である。

再び、図２を参照する。上述したように、復調タイミングＴＭ１、ＴＭ２、…においては、各復調信号Ｓ１１、Ｓ１２、及びＳ１３が正確に復調され、各復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成される。各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成されると、画像生成部７２（図１参照）は、生成した画像を更新して表示する。このとき、画像生成部７２は、更新前後の画像の比較結果に基づいて、励起光Ｌ１、Ｌ２、及びＬ３の照射の制御を行う。

具体的には、画像生成部７２は、復調タイミングＴＭ２、ＴＭ３…毎に、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像について更新時の画像と更新前の画像とを比較する。更新時とは、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成されるいずれかの復調タイミングＴＭ２、ＴＭ３…を意味する。更新前とは、更新時の復調タイミングよりも前のいずれかの復調タイミングＴＭ１、ＴＭ２、…を意味する。更新前の復調タイミングは、更新時の復調タイミングの直前の復調タイミングであってもよいし、更新時の復調タイミングの２つ前の復調タイミングであってもよいし、更新前後の画像の比較が最初に行われる復調タイミングＴＭ２に固定されてもよい。なお、復調タイミングＴＭ１においては、比較対象となる更新前の画像が存在しないため、更新前後の画像の比較は行われない。したがって、復調タイミングＴＭ２において、更新前後の画像の比較が最初に行われる。

本実施形態では、画像生成部７２は、更新時の復調タイミングに生成された画像と、更新時の復調タイミングの直前の復調タイミングに生成された画像とを比較する。本実施形態において、単に「画像」という場合、検出光Ｌ１１の画像、検出光Ｌ１２の画像、及び検出光Ｌ１３の画像のいずれかの画像を意味する。そして、比較対象となる更新前の画像は、更新時の画像中の検出光と同種の検出光の画像とする。例えば、「画像」が検出光Ｌ１１の画像を意図する場合、更新時の検出光Ｌ１１の画像と、更新前の検出光Ｌ１１の画像とが比較される。検出光Ｌ１２及びＬ１３についても同様である。

画像生成部７２は、更新前後の画像を比較する際、更新時の画像と更新前の画像との差分値を算出する。「差分値」は、更新時の画像と更新前の画像との間の変化の大きさを示す。したがって、「差分値」が大きい場合、更新前後の画像の変化が大きいと判断することができ、「差分値」が小さい場合、更新前後の画像の変化が小さいと判断することができる。「差分値」は、更新前後の画像の変化の大きさが判断可能な指標であれば、いかなる指標であってもよい。本実施形態では、画像生成部７２は、更新時の画像のコントラストと、更新前の画像のコントラストとの間の平均二乗誤差を「差分値」として算出する。「差分値」は、更新時の画像のコントラストと更新前の画像のコントラストとの間の平均二乗誤差に限らず、更新時の画像のコントラストと更新前の画像のコントラストとの間の平均絶対誤差（ＭＡＥ）、平均絶対誤差率（ＭＡＰＥ）又は平均平方二乗誤差率（ＲＭＳＰＥ）であってもよい。

したがって、本実施形態では、画像生成部７２は、更新時の復調タイミングに生成された画像のコントラストと、当該復調タイミングの直前の復調タイミングに生成された画像のコントラストとの間の平均二乗誤差を差分値として、復調タイミングＴＭ２、ＴＭ３、…毎に算出する。そして、画像生成部７２は、算出した差分値が所定の閾値よりも小さいか否かを復調タイミングＴＭ２、ＴＭ３、…毎に判定する。画像生成部７２は、差分値が所定の閾値よりも小さいと判定した場合には、更新前後の画像の変化が小さいと判断する。一方、画像生成部７２は、差分値が所定の閾値よりも大きいと判定した場合には、更新前後の画像の変化が大きいと判断する。この画像生成部７２による画像変化の判定について、図４を用いてより具体的に説明する。

図４は、画像生成部７２による画像変化の判定を説明するためのグラフである。図４は、検出光Ｌ１２の画像変化の判定が行われる場合を示している。図４に示すグラフＧ１は、復調タイミングＴＭ２、ＴＭ３、…毎に算出される差分値の変化を示している。ここでの「差分値」は、或る復調タイミングで生成された検出光Ｌ１２の画像のコントラストと、当該或る復調タイミングの直前の復調タイミングで生成された検出光Ｌ１２の画像のコントラストと、の間の平均二乗誤差である。図４において、縦軸は二乗平均誤差を示しており、横軸は時間を示している。図４には、差分値が算出される各復調タイミングＴＭ２、ＴＭ３、…が示されている。

図４に示す復調タイミングＴＭ２においては、画像生成部７２は、復調タイミングＴＭ２に生成された検出光Ｌ１２の画像と、復調タイミングＴＭ２の直前の復調タイミングＴＭ１に生成された検出光Ｌ１２の画像との差分値を最初に算出する。そして、画像生成部７２は、算出した差分値が所定の閾値Ｅｔよりも小さいか否かを判定する。閾値Ｅｔは、検出光Ｌ１２の更新前後の画像の変化が十分に小さいか否かを判定するための基準値である。図４に示す例では、閾値Ｅｔは２に設定されている。

復調タイミングＴＭ２では、画像生成部７２は、差分値は閾値Ｅｔ以上であると判定する。この場合、検出光Ｌ１２の画像について更新を繰り返せば、検出光Ｌ１２の画像の精度が向上する余地が大きいと考えられる。したがって、画像生成部７２は、差分値は閾値Ｅｔ以上であると判定した場合には、励起光Ｌ２の照射の制御を行わず、次の復調タイミングＴＭ３において同様に差分値を算出し、上述した画像変化の判定を繰り返す。

図４に示すように、算出された差分値は、復調タイミングＴＭ２、ＴＭ３、…が経過する度に徐々に小さくなっていることが分かる。つまり、検出光Ｌ１２の更新前後の画像の変化が徐々に小さくなっている。そして、復調タイミングＴＭ７において、差分値が閾値Ｅｔよりも小さくなっている。したがって、復調タイミングＴＭ７では、画像生成部７２は、復調タイミングＴＭ７（第１の復調タイミング）に生成された検出光Ｌ１２の画像と、復調タイミングＴＭ７の直前の復調タイミングＴＭ６（第２の復調タイミング）に生成された検出光Ｌ１２の画像との差分値が閾値Ｅｔよりも小さいと判定する。この場合、画像生成部７２は、検出光Ｌ１２の更新前後の画像の変化が十分に小さくなったと判断する。検出光Ｌ１２の更新前後の画像の変化が十分に小さくなれば、検出光Ｌ１２の画像について更新を繰り返しても、検出光Ｌ１２の画像の精度が向上する余地は小さいと考えられる。

そこで、画像生成部７２は、差分値が閾値Ｅｔよりも小さいと判定した復調タイミングＴＭ７以降、検出光Ｌ１２に対応する励起光Ｌ２の照射をＯＦＦに設定し、検出光Ｌ１２の画像の生成を終了する。画像生成部７２は、例えば、励起光Ｌ２のＯＮ／ＯＦＦを切り替える変調信号Ｓ２を調整することによって、復調タイミングＴＭ７以降における励起光Ｌ２の照射をＯＦＦに設定する。すなわち、図２の（ｂ）に示すように、画像生成部７２は、復調タイミングＴＭ７以降の期間において励起光Ｌ２の照射が全てＯＦＦに設定されるように、変調信号Ｓ２を調整する。これにより、復調タイミングＴＭ７以降、励起光Ｌ２の照射が全てＯＦＦになる。

以上、画像生成部７２による画像変化の判定について、検出光Ｌ１２の画像に着目して説明したが、他の検出光Ｌ１１及びＬ１３の画像についても同様に行われる。画像生成部７２は、検出光Ｌ１３の画像について画像変化の判定を行う場合、更新前後の画像の差分値の判定が最初に行われる復調タイミングＴＭ２において、復調タイミングＴＭ２（第１の復調タイミング）に生成された検出光Ｌ１３の画像と、復調タイミングＴＭ２の直前の復調タイミングＴＭ１（第２の復調タイミング）に生成された検出光Ｌ１３の画像との差分値が閾値Ｅｔよりも小さいと判定する。このため、画像生成部７２は、復調タイミングＴＭ２以降、検出光Ｌ１３に対応する励起光Ｌ３の照射をＯＦＦに設定する。したがって、図２の（ｃ）に示すように、励起光Ｌ３に対応する変調信号Ｓ３が、復調タイミングＴＭ２以降の期間において励起光Ｌ３の照射が全てＯＦＦになるように設定されている。

図２の（ｂ）及び図２の（ｃ）に示すように、励起光Ｌ３がＯＦＦに設定される復調タイミングＴＭ２は、励起光Ｌ２がＯＦＦに設定される復調タイミングＴＭ７よりも前である。これは、検出光Ｌ１３の光量が検出光Ｌ１２の光量よりも大きいことに起因する。つまり、大きな光量を有する検出光Ｌ１３の画像は、Ｓ／Ｎ比が高いので、比較的早いタイミングで画像の変化が小さくなる。このため、画像生成部７２は、復調タイミングＴＭ２以降、励起光Ｌ３の照射がＯＦＦになるように設定し、検出光Ｌ１３の画像の生成を終了する。

一方、検出光Ｌ１１の光量は、検出光Ｌ１２の光量よりも小さいため、画像の変化が小さくなるタイミングが比較的遅くなる。したがって、検出光Ｌ１１の画像については、図２の（ａ）に示すように、励起光Ｌ２がＯＦＦに設定される復調タイミングＴＭ７よりも後になる。検出光Ｌ１１の画像については、復調タイミングＴＭ７よりも後の復調タイミングで、励起光Ｌ１の照射がＯＦＦに設定されることもあるし、規定フレーム数に達するまで励起光Ｌ１の照射がＯＦＦに設定されないこともある。

したがって、検出光Ｌ１１の画像、検出光Ｌ１２の画像、及び検出光Ｌ１３の画像のうち、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２が最も早く到来し、検出光Ｌ１３の画像の生成が終了した後に、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７が到来する。画像生成部７２は、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２から、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７以前の期間においては、検出光Ｌ１１及びＬ１２の画像の生成を継続する。そして、画像生成部７２は、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７以降の期間においては、検出光Ｌ１１の画像の生成のみを継続する。

画像生成部７２は、復調タイミングＴＭ２以降の期間に検出光Ｌ１１の画像を生成する際、復調タイミングＴＭ２以降の期間に検出された検出信号Ｓに含まれる画像データ（すなわ、復調タイミングＴＭ２以降の期間に得られるフレーム）を用いて、検出光Ｌ１１の画像を生成する。画像生成部７２は、復調タイミングＴＭ２以降の期間に検出光Ｌ１２の画像を生成する際、復調タイミングＴＭ２から復調タイミングＴＭ７までの期間に検出された検出信号Ｓに含まれる画像データ（すなわち、復調タイミングＴＭ２から復調タイミングＴＭ７までの期間に得られるフレーム）を用いて、検出光Ｌ１２の画像を生成する。

続いて、上述した観察装置１を用いて実施される観察方法について説明する。図５は、本実施形態に係る観察方法を示すフローチャートである。図６は、図５に示す画像処理ステップの詳細を示すフローチャートである。

まず、照射部１０は、互いに異なる波長λ１、λ２、及びλ３を有し、且つ互いに異なる変調条件Ｍ１、Ｍ２、及びＭ３でそれぞれ変調された励起光Ｌ１、Ｌ２、及びＬ３を、試料Ｔに同時に照射する（照射ステップＰ１）。このとき、変調信号生成部１６は、各励起光Ｌ１、Ｌ２、及びＬ３を変調させる各変調信号Ｓ１、Ｓ２、及びＳ３を生成し、各変調信号Ｓ１、Ｓ２、及びＳ３を各光源１１、１２、及び１３に出力する。これにより、変調条件Ｍ１で変調された励起光Ｌ１が光源１１から出力され、変調条件Ｍ２で変調された励起光Ｌ２が光源１２から出力され、変調条件Ｍ３で変調された励起光Ｌ３が光源１３から出力される。これら励起光Ｌ１、Ｌ２、及びＬ３は、導光光学系２０によって試料Ｔに同時に照射される。

次に、検出部４０は、励起光Ｌ１、Ｌ２、及びＬ３の照射に伴って試料Ｔから発生した検出光Ｌ１１、Ｌ１２、及びＬ１３を同時に検出する（検出ステップＰ２）。具体的には、試料Ｔから発生した検出光Ｌ１１、Ｌ１２、及びＬ１３が導光光学系３０によってセンサ３５に導光され、センサ３５は、検出光Ｌ１１、Ｌ１２、及びＬ１３の光像を示す検出信号Ｓを出力する。

次に、画像処理部７０は、検出信号Ｓに基づいて検出光Ｌ１１、Ｌ１２、及びＬ１３の画像をそれぞれ生成する（画像処理ステップＰ３）。具体的には、信号復調部７１が、変調信号Ｓ１、Ｓ２、及びＳ３に基づいて、検出信号Ｓから復調信号Ｓ１１、Ｓ１２、及びＳ１３を復調タイミングＴＭ１、ＴＭ２、…毎に復調する。そして、画像生成部７２が、各復調信号Ｓ１１、Ｓ１２、及びＳ１３に基づいて、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像をそれぞれ生成する。複数の復調タイミングＴＭ１、ＴＭ２、…が設定されている場合、検出光Ｌ１１の画像は、各復調タイミングＴＭ１、ＴＭ２、…に対応する各復調信号Ｓ１１を平均処理もしくは加算処理することにより生成されてもよいし、復調タイミングＴＭ１、ＴＭ２、…毎に生成されてもよい。同様に、検出光Ｌ１２の画像は、各復調タイミングＴＭ１、ＴＭ２、…に対応する各復調信号Ｓ１２を平均処理もしくは加算処理することにより生成されてもよいし、復調タイミングＴＭ１、ＴＭ２、…毎に生成されてもよい。同様に、検出光Ｌ１３の画像は、各復調タイミングＴＭ１、ＴＭ２、…に対応する各復調信号Ｓ１３を平均処理もしくは加算処理することにより生成されてもよいし、復調タイミングＴＭ１、ＴＭ２、…毎に生成されてもよい。

検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が復調タイミングＴＭ１、ＴＭ２、…毎に生成される場合、図６に示すように、まず、画像生成部７２は、復調タイミングＴＭ２において各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像を更新する（ステップＰ３１）。次に、画像生成部７２は、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像について、更新前後の画像の差分値を復調タイミングＴＭ２に算出する（ステップＰ３２）。具体的には、画像生成部７２は、復調タイミングＴＭ２に生成された画像のコントラストと、復調タイミングＴＭ２の直前の復調タイミングＴＭ１に生成された画像のコントラストと、の間の平均二乗誤差を差分値として算出する。

次に、画像生成部７２は、復調タイミングＴＭ２において、算出した差分値が所定の閾値Ｅｔよりも小さいか否かを判定する（ステップＰ３３）。画像生成部７２は、差分値が閾値Ｅｔよりも小さいと判定した場合（ステップＰ３３においてＹｅｓ）、復調タイミングＴＭ２以降、判定した画像中の検出光に対応する励起光の照射をＯＦＦに設定し、その検出光の画像の生成を終了する（ステップＰ３４）。一方、画像生成部７２は、差分値が閾値Ｅｔ以上であると判定した場合（ステップＰ３３においてＮｏ）には、励起光の照射の制御は行わない。

本実施形態では、画像生成部７２は、復調タイミングＴＭ２において、検出光Ｌ１３の画像についての差分値が閾値Ｅｔよりも小さいと判定し、検出光Ｌ１３の画像の生成を終了する。一方、画像生成部７２は、他の検出光Ｌ１１及びＬ１２の画像については、差分値が閾値Ｅｔ以上であると判定し、検出光Ｌ１１及びＬ１２の画像の生成を継続する。その後、画像生成部７２は、全てのフレームが処理されたか否かを判定する（ステップＰ３５）。画像生成部７２は、全てのフレームが処理されたと判定した場合（ステップＰ３５においてＹｅｓ）には、全ての画像の生成を終了する。一方、画像生成部７２は、全てのフレームが処理されていないと判定した場合（ステップＰ３５においてＮｏ）には、次の復調タイミングＴＭ３においてステップＰ３１～ステップＰ３５が繰り返される。以上の過程を経て、最終的な各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が得られる。

続いて、図７、図８、図９、及び図１０に示すシミュレーションを参照しながら、上述した観察装置１及び観察方法の作用効果について説明する。図７は、実施例及び比較例のシミュレーション条件を説明するための図である。

図７に示すように、励起光Ｌ１、Ｌ２、及びＬ３の照射に伴って試料Ｔから発生する検出光Ｌ１１、Ｌ１２、及びＬ１３が順に左右に並んで配置されており、本実施形態と同様、検出光Ｌ１３の光量が最も大きく、検出光Ｌ１２の光量が検出光Ｌ１３の光量よりも小さく、検出光Ｌ１１の光量が最も小さくなっている場合をシミュレーションする。例えば、検出光Ｌ１３の光量が２００［光子/フレーム］に設定され、検出光Ｌ１２の光量が１０［光子/フレーム］に設定され、検出光Ｌ１１の光量が２［光子/フレーム］に設定される。

図８は、比較例のシミュレーション条件を示す図である。図８の（ａ）は、変調信号Ｓ１に相当する変調信号Ｓ１０１を示している。図８の（ｂ）は、変調信号Ｓ２に相当する変調信号Ｓ１０２を示している。図８の（ｃ）は、変調信号Ｓ３に相当する変調信号Ｓ１０３を示している。比較例では、上述した画像生成部７２による画像変化の判定が行われない。したがって、各変調信号Ｓ１０１、Ｓ１０２、及びＳ１０３には、各変調信号Ｓ１、Ｓ２、及びＳ３とは異なり、或る復調タイミング以降に励起光の照射が全てＯＦＦに設定される期間、が設けられていない。

図９は、比較例のシミュレーション結果を示す図である。図９の（ａ）は、変調信号Ｓ１０１に対応する検出光Ｌ１１の画像を示している。図９の（ｂ）は、変調信号Ｓ１０２に対応する検出光Ｌ１２の画像を示している。図９の（ｃ）は、変調信号Ｓ１０３に対応する検出光Ｌ１３の画像を示している。図９の（ａ）及び図９の（ｂ）に示すように、検出光Ｌ１１及びＬ１２の画像には、大きなショットノイズ成分Ｎ１１３がそれぞれ現れていることが分かる。これは、検出光Ｌ１１及びＬ１２の画像を生成する際に、検出光Ｌ１３のショットノイズ成分Ｎ１１３が、検出光Ｌ１１及びＬ１２の画像の生成に用いられる復調信号にそれぞれ重畳したことに起因する。

本シミュレーションのように、検出光Ｌ１３の光量と、検出光Ｌ１１及びＬ１２の光量との間に差がある場合、光量の大きい検出光Ｌ１３のショットノイズ成分Ｎ１１３が、光量の小さい検出光Ｌ１１及び検出光Ｌ１２の画像にそれぞれ現れる傾向がある（図９の（ａ）及び図９の（ｂ）参照）。更に、本シミュレーションのように、検出光Ｌ１２の光量と、検出光Ｌ１１の光量との間に差がある場合、光量の大きい検出光Ｌ１２のショットノイズ成分Ｎ１１２が、光量の小さい検出光Ｌ１１の画像に現れる傾向がある（図９の（ａ）参照）。

一方、図１０は、実施例のシミュレーション結果を示す図である。実施例では、本実施形態と同じ変調信号Ｓ１、Ｓ２、及びＳ３（図２参照）が用いられ、上述した画像生成部７２による画像変化の判定が行われる。したがって、図２の（ｂ）に示す変調信号Ｓ２のように、復調タイミングＴＭ７以降、励起光Ｌ２の照射がＯＦＦになるように設定されている。また、図２の（ｃ）に示す変調信号Ｓ３のように、復調タイミングＴＭ２以降、励起光Ｌ３の照射がＯＦＦになるように設定されている。その他の条件は比較例と同じである。図１０の（ａ）は、変調信号Ｓ１に対応する検出光Ｌ１１の画像を示している。図１０の（ｂ）は、変調信号Ｓ２に対応する検出光Ｌ１２の画像を示している。図１０の（ｃ）は、変調信号Ｓ３に対応する検出光Ｌ１３の画像を示している。

図１０の（ａ）及び図１０の（ｂ）に示すように、検出光Ｌ１１及びＬ１２の画像にそれぞれ現れる検出光Ｌ１３のショットノイズ成分Ｎ１３が、比較例のシミュレーション結果（すなわち、図９の（ａ）及び図９の（ｂ）に示すショットノイズ成分Ｎ１１３）と比べて、大きく低減されていることが分かる。同様に、図１０の（ａ）に示すように、検出光Ｌ１１の画像に現れる検出光Ｌ１２のショットノイズ成分Ｎ１２が、比較例のシミュレーション結果（すなわち、図９の（ａ）に示すショットノイズ成分Ｎ１１２）と比べて、大きく低減されていることが分かる。

検出光Ｌ１３のショットノイズ成分Ｎ１３は、検出光Ｌ１３の光量に応じて大きくなる。上述したように、検出光Ｌ１３に対応する励起光Ｌ３がＯＮになる期間では、検出光Ｌ１３が発光する一方、励起光Ｌ３がＯＦＦになる期間では、検出光Ｌ１３が発光しないか、極めて小さい光量の検出光Ｌ１３が発光する。したがって、励起光Ｌ３がＯＮになる期間では、検出光Ｌ１３の光量が比較的大きくなるため、これに応じて、検出光Ｌ１３のショットノイズ成分Ｎ１３も大きくなる。一方、励起光Ｌ３がＯＦＦになる期間では、検出光Ｌ１３の光量が極めて小さいため、これに応じて、検出光Ｌ１３のショットノイズ成分Ｎ１３も小さくなる。検出光Ｌ１２のショットノイズ成分Ｎ１２についても、同様である。

そこで、本実施形態に係る観察装置１及び観察方法では、上述したように、復調タイミングＴＭ２において検出光Ｌ１３の画像が生成される際、復調タイミングＴＭ２で生成された検出光Ｌ１３の画像と、復調タイミングＴＭ１で生成された検出光Ｌ１３の画像との間の差分値が、所定の閾値Ｅｔよりも小さくなったときに、復調タイミングＴＭ２以降において、検出光Ｌ１３に対応する励起光Ｌ３の照射がＯＦＦに設定される。このように励起光Ｌ３の照射がＯＦＦに設定されることによって、復調タイミングＴＭ２以降に検出される検出光Ｌ１３のショットノイズ成分Ｎ１３を低減することができる。これにより、図１０の（ａ）及び図１０の（ｂ）に示すように、復調タイミングＴＭ２以降に生成される他の検出光Ｌ１１及びＬ１２の画像に、検出光Ｌ１３のショットノイズ成分Ｎ１３が現れる事態を抑制することができる。

検出光Ｌ１２の画像についても同様に、復調タイミングＴＭ７において検出光Ｌ１２の画像が生成される際、復調タイミングＴＭ７で生成された検出光Ｌ１２の画像と、復調タイミングＴＭ６で生成された検出光Ｌ１２の画像と、の間の差分値が所定の閾値Ｅｔよりも小さくなったときに、復調タイミングＴＭ７以降において、検出光Ｌ１２に対応する励起光Ｌ２の照射がＯＦＦに設定される。このように励起光Ｌ２の照射がＯＦＦに設定されることによって、復調タイミングＴＭ７以降に検出される検出光Ｌ１２のショットノイズ成分Ｎ１２を低減することができる。これにより、図１０の（ａ）に示すように、復調タイミングＴＭ７以降に生成される検出光Ｌ１１の画像に、検出光Ｌ１２のショットノイズ成分Ｎ１２が現れる事態を抑制することができる。

更に、復調タイミングＴＭ２及び復調タイミングＴＭ１においてそれぞれ生成された検出光Ｌ１３の画像の間の差分値が所定の閾値Ｅｔよりも小さくなっていれば、これらの画像の変化が小さいと判断できるので、復調タイミングＴＭ２以降において検出光Ｌ１３に対応する励起光Ｌ３の照射がＯＦＦに設定されても、生成された検出光Ｌ１３の画像の精度に与える影響は小さい。検出光Ｌ１２の画像についても同様に、復調タイミングＴＭ７及び復調タイミングＴＭ６においてそれぞれ生成された検出光Ｌ１２の画像の間の差分値が所定の閾値Ｅｔよりも小さくなっていれば、これらの画像の変化が小さいと判断できるので、復調タイミングＴＭ７以降において検出光Ｌ１２に対応する励起光Ｌ２の照射がＯＦＦに設定されても、生成された検出光Ｌ１２の画像の精度に与える影響は小さい。

更に、各変調信号Ｓ１、Ｓ２、及びＳ３は、各復調タイミングＴＭ１、ＴＭ２、…において互いに直交条件を満たすように設定されているので、各変調信号Ｓ１、Ｓ２、及びＳ３に対応する各復調信号Ｓ１１、Ｓ１２、及びＳ１３を検出信号Ｓから正確に復調することができる。したがって、本実施形態に係る観察装置１及び観察方法によれば、検出光Ｌ１３のショットノイズ成分Ｎ１３が他の検出光Ｌ１１、Ｌ１２、及びＬ１３の画像に現れる事態を抑制しつつ、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像を正確に復調することができる。すなわち、各検出光Ｌ１１、Ｌ１２、及びＬ１３の正確な画像を得ることができる。

本実施形態では、照射部１０は、変調信号Ｓ１、Ｓ２、及びＳ３を生成する変調信号生成部１６を有している。この構成では、所望の各変調信号Ｓ１、Ｓ２、及びＳ３を容易に得ることができる。

本実施形態では、各変調信号Ｓ１、Ｓ２、及びＳ３は、各励起光Ｌ１、Ｌ２、及びＬ３の照射のＯＮ／ＯＦＦを切り替えるように各励起光Ｌ１、Ｌ２、及びＬ３を変調させる矩形波状の変調パターンである。この構成では、復調タイミングＴＭ１、ＴＭ２、…において互いに直交条件を満たす各変調信号Ｓ１、Ｓ２、及びＳ３を好適に設定することができる。

本実施形態では、検出光Ｌ１１及びＬ１２は、検出光Ｌ１３よりも小さい光量を有する。ショットノイズ成分は、光量の大きい検出光から光量の小さい検出光の画像に現れやすい。これに対し、本実施形態では、光量の大きい検出光Ｌ１３のショットノイズ成分Ｎ１３が、光量の小さい検出光Ｌ１１及びＬ１２の画像に現れる事態を抑制することができるので、上述した効果を好適に奏することができる。

本実施形態では、検出光Ｌ１３は、複数の検出光Ｌ１１、Ｌ１２、及びＬ１３の中で最も大きい光量を有している。ショットノイズ成分は、光量の大きい検出光から光量の小さい検出光の画像に現れやすく、それらの検出光の光量差が大きくなるほど大きくなる。これに対し、本実施形態では、光量の最も大きい検出光Ｌ１３のショットノイズ成分Ｎ１３が、光量の小さい検出光Ｌ１１及びＬ１２の画像に現れる事態を抑制することができるので、上述した効果をより好適に奏することができる。

本実施形態では、画像処理部７０は、復調タイミングＴＭ２以降において検出光Ｌ１３に対応する励起光Ｌ３の照射をＯＦＦに設定した場合に、復調タイミングＴＭ２以降に検出された検出信号Ｓに含まれる画像データを用いて、検出光Ｌ１１及びＬ１２の画像を生成している。上述したように、復調タイミングＴＭ２以降においては、検出光Ｌ１３に対応する励起光Ｌ３の照射がＯＦＦに設定されているので、復調タイミングＴＭ２以降に検出された検出信号Ｓに含まれる画像データには、検出光Ｌ１３が含まれないか、或いは、極めて小さい光量の検出光Ｌ１３が含まれる。したがって、この画像データを用いて検出光Ｌ１１及びＬ１２を生成すれば、検出光Ｌ１３のショットノイズ成分Ｎ１３が検出光Ｌ１１及びＬ１２の画像にそれぞれ現れる事態を効果的に抑制することができる。

本実施形態では、画像処理部７０は、復調タイミングＴＭ７以降において検出光Ｌ１２に対応する励起光Ｌ２の照射をＯＦＦに設定した場合に、復調タイミングＴＭ７以降に検出された検出信号Ｓに含まれる画像データを用いて、検出光Ｌ１１の画像を生成している。上述したように、復調タイミングＴＭ７以降においては、検出光Ｌ１２に対応する励起光Ｌ２の照射がＯＦＦに設定されているので、復調タイミングＴＭ７以降に検出された検出信号Ｓに含まれる画像データには、検出光Ｌ１２が含まれないか、或いは、極めて小さい光量の検出光Ｌ１２が含まれる。したがって、この画像データを用いて検出光Ｌ１１の画像を生成すれば、検出光Ｌ１２のショットノイズ成分Ｎ１２が検出光Ｌ１１の画像に現れる事態を効果的に抑制することができる。

本実施形態では、検出光Ｌ１３の画像変化の判定が行われる際、比較対象の検出光Ｌ１３の画像が生成される復調タイミングＴＭ１は、更新時の検出光Ｌ１３の画像が生成される復調タイミングＴＭ２の直前の復調タイミングである。これにより、復調タイミングＴＭ２で生成された検出光Ｌ１３の画像と、復調タイミングＴＭ１で生成された検出光Ｌ１３の画像と、の間の画像の変化が小さいか否かの判断を容易に行うことができる。同様に、検出光Ｌ１２の画像変化の判定が行われる際、比較対象の検出光Ｌ１２の画像が生成される復調タイミングＴＭ６は、更新時の検出光Ｌ１２の画像が生成される復調タイミングＴＭ７の直前の復調タイミングである。これにより、復調タイミングＴＭ７で生成された検出光Ｌ１２の画像と、復調タイミングＴＭ６で生成された検出光Ｌ１２の画像と、の間の画像の変化が小さいか否かの判断を容易に行うことができる。

以上、本開示の一実施形態について説明したが、本開示は上記実施形態に限定されず、種々の変更を行うことができる。

図１１は、画像生成部７２による画像生成処理の変形例を示す図である。図１１の（ａ）、図１１の（ｂ）、及び図１１の（ｃ）は、変調信号Ｓ１、Ｓ２、及びＳ３をそれぞれ示している。図１１の（ａ）、図１１の（ｂ）、及び図１１の（ｃ）には、各変調信号Ｓ１、Ｓ２、及びＳ３に対応する各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像の生成に用いられるフレームの範囲が、ドット柄のハッチングで併せて示されている。上述した実施形態では、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成される際、各検出光Ｌ１１、Ｌ１２、及びＬ１３に対応する各復調信号Ｓ１１、Ｓ１２、及びＳ１３の全フレームが用いられる場合を説明した。一方、本変形例では、各検出光Ｌ１１、Ｌ１２、及びＬ１３の画像が生成される際、各復調信号Ｓ１１、Ｓ１２、及びＳ１３の一部のフレームのみが用いられる。

図１１の（ｃ）に示すように、変調信号Ｓ３に対応する検出光Ｌ１３の画像が生成される際には、上記実施形態と同様、検出光Ｌ１３の画像が生成されてから検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２までの期間Ｔ３Ａ内の全てのフレームが用いられる。なお、復調タイミングＴＭ２以降の期間Ｔ３Ｂにおいては、検出光Ｌ１３の画像の生成が終了している。

一方、図１１の（ｂ）に示すように、変調信号Ｓ２に対応する検出光Ｌ１２の画像が生成される際には、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２から、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７までの期間Ｔ２Ｂについては全てのフレームが用いられるが、検出光Ｌ１２の画像が生成されてから、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２までの期間Ｔ２Ａについては一部のフレームのみが用いられる。当該一部のフレームは、図１１の（ｂ）に示す時間領域Ｒ１１内に得られたフレームであり、検出光Ｌ１２の画像の生成に用いられる。なお、復調タイミングＴＭ７以降の期間Ｔ２Ｃでは、検出光Ｌ１２の画像の生成が終了している。

同様に、図１１の（ａ）に示すように、変調信号Ｓ１に対応する検出光Ｌ１１の画像が生成される際には、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２以降の期間Ｔ１Ｂについては全てのフレームが用いられるが、検出光Ｌ１１の画像が生成されてから、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２までの期間Ｔ１Ａについては一部のフレームのみが用いられる。当該一部のフレームは、図１１の（ａ）に示す時間領域Ｒ１１内に得られたフレームであり、検出光Ｌ１１の画像の生成に用いられる。図１１の（ａ）に示す時間領域Ｒ１１は、図１１の（ｂ）に示す時間領域Ｒ１１と一致する。

図１２は、図１１の一部を拡大した拡大図である。なお、図１２では、図１２の（ａ）に示す変調信号Ｓ１と、図１２の（ｂ）に示す変調信号Ｓ３とが示され、変調信号Ｓ２は省略して示されている。図１２の（ａ）及び図１２の（ｂ）に示すように、時間領域Ｒ１１は、変調信号Ｓ３における期間ＴＡに一致している。期間ＴＡは、変調信号Ｓ３に対応する励起光Ｌ３の照射がＯＦＦに設定される期間である。したがって、検出光Ｌ１１の画像が生成される際、期間Ｔ１Ａにおいては、励起光Ｌ３の照射がＯＦＦに設定される時間領域Ｒ１１内のフレームのみが用いられ、励起光Ｌ３の照射がＯＦＦに設定されない時間領域（期間Ｔ１Ａのうち時間領域Ｒ１１以外の時間領域）内のフレームは用いられない。期間Ｔ１Ａのうちの時間領域Ｒ１１以外の時間領域内のフレームを用いない検出光Ｌ１１の画像の生成は、例えば、以下の手法によって行うことができる。信号復調部７１は、検出信号Ｓを復調する際、例えば、センサ３５から出力される検出信号Ｓのうち、変調信号Ｓ１における期間Ｔ１Ａ内の時間領域Ｒ１１以外の時間領域に対応する検出信号Ｓに、常に同一の係数（例えば、“０”）を乗じる。これにより、当該時間領域において変調信号Ｓ１がＯＮ／ＯＦＦのいずれであるかに関わらず、当該時間領域内のフレームを考慮せずに復調信号Ｓ１１を生成することができる。従って、この復調信号Ｓ１１に基づいて検出光Ｌ１１の画像の生成を行えば、期間Ｔ１Ａのうちの時間領域Ｒ１１以外の時間領域内のフレームを用いずに検出光Ｌ１１の画像を生成することができる。

図１２の（ａ）に示す時間領域Ｒ１１は、図１１の（ｂ）に示す変調信号Ｓ２に対応する検出光Ｌ１２を生成する際にも同様に設定される。したがって、検出光Ｌ１２の画像が生成される際、励起光Ｌ３の照射がＯＦＦになる時間領域Ｒ１１内のフレームのみが用いられ、励起光Ｌ３の照射がＯＦＦにならない時間領域（期間Ｔ２Ａのうち時間領域Ｒ１１以外の時間領域）のフレームは用いられない。時間領域Ｒ１１では、励起光Ｌ３の照射がＯＦＦになっているので、時間領域Ｒ１１に得られたフレームには、検出光Ｌ１３が含まれないか、或いは、極めて小さい光量の検出光Ｌ１３が含まれる。したがって、このフレームを用いて検出光Ｌ１１及びＬ１２の画像を生成すれば、検出光Ｌ１３のショットノイズ成分Ｎ１３が検出光Ｌ１１及びＬ１２の画像に現れる事態を効果的に抑制することができる。期間Ｔ２Ａのうちの時間領域Ｒ１１以外の時間領域内のフレームを用いない検出光Ｌ１２の画像の生成は、上述した手法（すなわち、期間Ｔ１Ａのうちの時間領域Ｒ１１以外の時間領域内のフレームを用いずに検出光Ｌ１１の画像を生成する手法）と同様に行うことができる。

図１３は、本変形例のシミュレーション結果を示す図である。このシミュレーションにおいても、図７に示すシミュレーションと同様の条件を設定する。図１３の（ａ）は、変調信号Ｓ１に対応する検出光Ｌ１１の画像を示している。図１３の（ｂ）は、変調信号Ｓ２に対応する検出光Ｌ１２の画像を示している。図１３の（ｃ）は、変調信号Ｓ３に対応する検出光Ｌ１３の画像を示している。図１３の（ａ）及び図１３の（ｂ）に示すように、検出光Ｌ１３のショットノイズ成分Ｎ１３は、図１０の（ａ）及び図１０の（ｂ）に示すシミュレーション結果よりも、更に低減されていることが分かる。このように、本変形例によれば、検出光Ｌ１３のショットノイズ成分Ｎ１３を大きく低減することができる。

図１４は、図１１に示す変形例の更なる変形例を示す図である。図１４の（ａ）及び図１４の（ｂ）に示す変形例では、図１１に示す変形例と同様、検出光Ｌ１１及びＬ１２の画像が生成される際、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２以前の期間Ｔ１Ａ及びＴ２Ａにおいて、一部の時間領域Ｒ１に得られたフレームが用いられる。更に、図１４に示す変形例では、検出光Ｌ１１の画像が生成される際、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２から検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７までの期間Ｔ１Ｃにおいても、一部の時間領域Ｒ１２に得られたフレームが用いられる。なお、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７以降の期間Ｔ１Ｄにおいては、図１１に示す変形例と同様、全てのフレームが用いられる。

図１５は、図１４の一部を拡大した拡大図である。図１５の（ａ）及び図１５の（ｂ）に示すように、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２以前の期間Ｔ１Ａ及びＴ２Ａにおいては、図１１に示す変形例と同一の時間領域Ｒ１１がそれぞれ設定されている。更に、本変形例では、図１５の（ａ）に示すように、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２から、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７までの期間Ｔ１Ｃに、時間領域Ｒ１２が設定されている。時間領域Ｒ１２は、期間Ｔ１Ｃのうち、検出光Ｌ１１の画像を生成するためのフレームが用いられる期間を示している。時間領域Ｒ１２は、図１５の（ｂ）に示す期間ＴＢに一致する。期間ＴＢは、変調信号Ｓ２に対応する励起光Ｌ２の照射がＯＦＦに設定される期間である。

したがって、本変形例では、検出光Ｌ１１の画像が生成される際、期間Ｔ１Ｃにおいては、励起光Ｌ２の照射がＯＦＦになる時間領域Ｒ１２内のフレームが用いられ、励起光Ｌ２の照射がＯＦＦにならない時間領域（期間Ｔ１Ｃのうち時間領域Ｒ１２以外の時間領域）のフレームは用いられない。なお、変調信号Ｓ２の変調周波数は、変調信号Ｓ３の変調周波数よりも低いため、変調信号Ｓ２に対応する励起光Ｌ２がＯＦＦになる期間ＴＢは、変調信号Ｓ３に対応する励起光Ｌ３がＯＦＦになる期間ＴＡよりも長くなる。このため、期間ＴＢに対応する時間領域Ｒ１２は、期間ＴＡに対応する時間領域Ｒ１１よりも長くなっている。期間Ｔ１Ｃのうちの時間領域Ｒ１２以外の時間領域内のフレームを用いない検出光Ｌ１１の画像の生成は、図１１に示す変形例における上述した手法（すなわち、期間Ｔ１Ａのうちの時間領域Ｒ１１以外の時間領域内のフレームを用いずに検出光Ｌ１１の画像を生成する手法）と同様に行うことができる。

本変形例によれば、図１１に示す変形例と同様、検出光Ｌ１１及びＬ１２の画像が生成される際、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２以降において、励起光Ｌ３の照射がＯＦＦになる時間領域Ｒ１１に得られたフレームが用いられるので、検出光Ｌ１３のショットノイズ成分Ｎ１３が検出光Ｌ１１及びＬ１２の画像に現れる事態を効果的に抑制することができる。更に、本変形例によれば、検出光Ｌ１１の画像が生成される際、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２から、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７までの期間Ｔ１Ｃにおいて、励起光Ｌ２の照射がＯＦＦになる時間領域Ｒ１１に得られたフレームが用いられるので、検出光Ｌ１２のショットノイズ成分Ｎ１２が検出光Ｌ１１の画像に現れる事態を効果的に抑制することができる。

図１６は、本変形例のシミュレーション結果を示す図である。このシミュレーションにおいても、図７に示すシミュレーションと同様の条件を設定する。図１６の（ａ）は、変調信号Ｓ１に対応する検出光Ｌ１１の画像を示している。図１６の（ｂ）は、変調信号Ｓ２に対応する検出光Ｌ１２の画像を示している。図１６の（ｃ）は、変調信号Ｓ３に対応する検出光Ｌ１３の画像を示している。図１６の（ａ）及び図１６の（ｂ）に示すように、検出光Ｌ１３のショットノイズ成分Ｎ１３は、図１０の（ａ）及び図１０の（ｂ）に示すシミュレーション結果よりも、更に低減されていることが分かる。更に、図１６の（ａ）に示すように、検出光Ｌ１２のショットノイズ成分Ｎ１２は、図１３の（ａ）に示すシミュレーション結果よりも、更に低減されている。このように、本変形例によれば、検出光Ｌ１３のショットノイズ成分Ｎ１３を大きく低減することができ、更に検出光Ｌ１２のショットノイズ成分Ｎ１２についても大きく低減することができる。

図１７は、観察装置１の変形例を示す概略構成図である。図１７に示す観察装置１Ａでは、照射部１０Ａの変調部１５Ａの構成が、上記実施形態に係る観察装置１とは異なる。すなわち、変調部１５Ａは、変調信号生成部１６及び変調条件設定部１７に代えて、変調信号記憶部１６Ａ（記憶部）を有している。変調信号記憶部１６Ａは、各変調条件Ｍ１、Ｍ２、及びＭ３を有する各変調信号Ｓ１、Ｓ２、及びＳ３を予め記憶しており、各変調信号Ｓ１、Ｓ２、及びＳ３を各光源１１、１２、及び１３に出力可能に構成されている。図１２に示す観察装置１Ａであっても、上述した実施形態に係る観察装置１と同様の効果が得られる。更に、観察装置１Ａによれば、各変調信号Ｓ１、Ｓ２、及びＳ３を生成する処理を行う必要がないので、各変調信号Ｓ１、Ｓ２、及びＳ３を生成する場合と比べて、処理負担を軽減することができる。

図１８は、観察装置１の別の変形例を示す概略構成図である。図１８に示す観察装置１Ｂは、照射部１０Ｂが光源１１、１２、及び１３に加えて、別の光源１８及び１９を有する点で、上記実施形態に係る観察装置１とは異なる。光源１８は、暗視野照明用の光源であり、波長λ８を有する暗視野照明Ｌ８を出力可能に構成されている。光源１９は、明視野照明用の光源であり、波長λ９を有する明視野照明Ｌ９を出力可能に構成されている。光源１８及び１９として、光源１１、１２、及び１３と同種の光源が用いられてもよい。光源１９は、試料Ｔを挟んで対物レンズ３１と対向する位置に配置されており、試料Ｔの背面から明視野照明Ｌ９を出力する。光源１８は、試料Ｔに対して対物レンズ３１側に配置され、対物レンズ３１の光軸に対して傾斜する方向から暗視野照明Ｌ８を出力する。暗視野照明Ｌ８及び明視野照明Ｌ９のそれぞれは、特定の波長帯域を有する光であってもよいし、ブロードな波長帯域を有する光であってもよい。

光源１８及び１９は、光源１１、１２、及び１３と同様、変調部１５と電気的に接続されている。変調部１５の変調信号生成部１６は、変調信号Ｓ１、Ｓ２、及びＳ３に加えて、変調条件Ｍ８を有する変調信号Ｓ８と、変調条件Ｍ９を有する変調信号Ｓ９と、を生成する。変調信号Ｓ８は、光源１８から出力される暗視野照明Ｌ８を時間的に変調させるための変調パターンである。具体的には、暗視野照明Ｌ８の照射のＯＮ／ＯＦＦを交互に切り替えるように、暗視野照明Ｌ８を変調条件Ｍ８で変調させる矩形波状のパルス信号である。変調信号Ｓ９は、光源１９から出力される明視野照明Ｌ９を時間的に変調させるための変調パターンである。具体的には、明視野照明Ｌ９の照射のＯＮ／ＯＦＦを交互に切り替えるように、明視野照明Ｌ９を変調条件Ｍ９で変調させる矩形波状のパルス信号である。

光源１８及び１９からそれぞれ出力された暗視野照明Ｌ８及び明視野照明Ｌ９は、導光光学系２０によって導光され、励起光Ｌ１、Ｌ２、及びＬ３と共に、試料Ｔに同時に照射される。明視野照明Ｌ９が試料Ｔに照射されると、試料Ｔを透過した明視野照明Ｌ９の透過光が検出光Ｌ１９として検出部４０に検出される。暗視野照明Ｌ８が試料Ｔに照射されると、試料Ｔにおいて生じる暗視野照明Ｌ８の散乱光が検出光Ｌ１８として検出部４０に検出される。検出部４０のセンサ３５は、各検出光Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１８、及びＬ１９を同時に検出し、検出信号ＳＢを出力する。そして、画像処理部７０は、変調条件Ｍ１、Ｍ２、Ｍ３、Ｍ８、及びＭ９に基づいて検出信号ＳＢを同時に復調することにより、各検出光Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１８、及びＬ１９の画像を同時に生成する。このような形態であっても、上述した実施形態と同様の効果が得られる。

図１９は、各変調信号Ｓ１、Ｓ２、及びＳ３の変形例を示す図である。図１９の（ａ）は、変調信号Ｓ１に対応する変調信号Ｓ１Ａを示している。図１９の（ｂ）は、変調信号Ｓ２に対応する変調信号Ｓ２Ａを示している。図１９の（ｂ）は、変調信号Ｓ３に対応する変調信号Ｓ３Ａを示している。図１９の（ａ）、図１９の（ｂ）、及び図１９の（ｃ）に示す各変調信号Ｓ１Ａ、Ｓ２Ａ、及びＳ３Ａは、各励起光Ｌ１、Ｌ２、及びＬ３の照射のＯＮ／ＯＦＦが交互に切り替えられるように各励起光Ｌ１、Ｌ２、及びＬ３を変調させる正弦波状の変調パターンとなっている。この場合、復調タイミングＴＭ１、ＴＭ２、…において互いに直交条件を満たす各変調信号Ｓ１Ａ、Ｓ２Ａ、及びＳ３Ａを好適に設定することができる。また、このような形態であっても、上記実施形態と同様の効果が得られる。

本開示は、他に様々な変形が可能である。例えば、上述した実施形態及び各変形例を、必要な目的及び効果に応じて互いに組み合わせてもよい。また、上述した実施形態では、検出光Ｌ１２の光量が検出光Ｌ１１の光量よりも大きくなっている場合を説明したが、検出光Ｌ１１及びＬ１２の光量は互いに同一であってもよい。或いは、全ての検出光Ｌ１１、Ｌ１２、及びＬ１３の光量が互いに同一であってもよい。また、上述した実施形態では、最も光量の大きい検出光Ｌ１３に対応する励起光Ｌ３の変調条件Ｍ３を最速変調周波数に設定する場合を説明したが、検出光Ｌ１３よりも光量の小さい検出光Ｌ１１に対応する励起光Ｌ１の変調条件Ｍ１を最速変調周波数に設定してもよいし、検出光Ｌ１２に対応する励起光Ｌ２の変調条件Ｍ２を最速変調周波数に設定してもよい。

上述した実施形態では、３つの励起光Ｌ１、Ｌ２、及びＬ３を試料Ｔに照射し、３つの検出光Ｌ１１、Ｌ１２、及びＬ１３を検出する場合を説明したが、励起光の数、及び検出光の数は、適宜変更可能である。励起光の数、及び検出光の数はそれぞれ、２つであってもよいし、４つ以上であってもよい。励起光を変調させる変調信号の変調条件の設定は、上述した実施形態及び各変形例に限られず、適宜変更可能である。

上述した実施形態では、各変調信号Ｓ１、Ｓ２、及びＳ３が周期的な変調パターンである場合を説明したが、各変調信号が非周期的な変調パターンであってもよい。この場合においても、各変調信号が直交条件を満たす復調タイミングにおいて、各変調信号に対応する各検出光の画像が生成される。非周期的な変調パターンの各変調信号を、図１１に示す変形例に適用する場合、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２までの期間Ｔ１Ａ及びＴ２Ａにおいて、各変調信号Ｓ１、Ｓ２、及びＳ３が必ずしも互いに直交するとは限らない。このため、検出光Ｌ１１及びＬ１２の画像を生成する際、復調タイミングＴＭ２以前のフレームは用いずに、復調タイミングＴＭ２以降の期間Ｔ１Ｂ及びＴ２Ｂのフレームのみを用いて、検出光Ｌ１１及びＬ１２の画像を生成してもよい。

非周期的な変調パターンの各変調信号を、図１４に示す変形例に適用する場合、検出光Ｌ１３の画像の生成が終了する復調タイミングＴＭ２から、検出光Ｌ１２の画像の生成が終了する復調タイミングＴＭ７までの期間Ｔ１Ｃ及びＴ２Ｂにおいても、変調信号Ｓ１及びＳ２が必ずしも互いに直交するとは限らない。このため、検出光Ｌ１１の画像を生成する際、復調タイミングＴＭ７以前のフレームは用いずに、復調タイミングＴＭ７以降の期間Ｔ１Ｄのフレームのみを用いて、検出光Ｌ１１の画像を生成してもよい。

上述した実施形態では、光源１１、１２、及び１３が導光光学系２０に直接設置される場合を説明した。しかし、光源１１、１２、及び１３は、装置外部に配置され、光ファイバ等を介して導光光学系２０に光学的に接続される構成であってもよい。照射部１０は、光源１１、１２、及び１３に代えて、多波長の励起光を出力可能な１つの光源を有してもよい。この場合は、この光源は、互いに異なる波長を有する励起光Ｌ１、Ｌ２、及びＬ３を同時に出力する。

上述した実施形態では、変調部１５が、変調信号Ｓ１、Ｓ２、及びＳ３を用いて光源１１、１２、及び１３を制御することによって、励起光Ｌ１、Ｌ２、及びＬ３を変調する場合を説明した。しかし、変調部による励起光の変調方法は上述した例に限られない。例えば、変調部は、励起光を機械的に変調させるオプティカルチョッパーであってもよい。この場合、各光源に対応して各オプティカルチョッパーが設置され、各オプティカルチョッパーによる各励起光の通過又は遮断の繰り返しによって各励起光が時間的に変調されてもよい。オプティカルチョッパーによる励起光の変調パターンは、上述した変調信号に応じたものとなるように設定される。この場合、オプティカルチョッパーは、その変調パターンに従って励起光の照射のＯＮ／ＯＦＦが切り替えられるように、励起光を変調する。

変調部は、ＤＭＤ（Digital Micro mirror Device）又は空間光変調器（ＳＬＭ：Spatial light modulator）等の光学的変調デバイスであってもよい。この場合、各光源に対応して各光学的変調デバイスが設置され、各光学的変調デバイスに各変調パターンを表示させることによって、各光源からの各励起光が時間的に変調される。各変調パターンは、上述した変調信号に応じたものとなるように設定される。この場合、光学的変調デバイスは、その変調パターンに従って励起光の照射のＯＮ／ＯＦＦが切り替えられるように、励起光を変調する。

１，１Ａ，１Ｂ…観察装置、１０，１０Ａ，１０Ｂ…照射部、１６…変調信号生成部（生成部）、１６Ａ…変調信号記憶部（記憶部）、４０…検出部、７０…画像処理部、Ｅｔ…閾値、Ｌ１，Ｌ２，Ｌ３…励起光、Ｌ１１，Ｌ１２…検出光（第２の検出光）、Ｌ１３…検出光（第１の検出光）、Ｌ１８，Ｌ１９…検出光、Ｓ，ＳＢ…検出信号、Ｓ１，Ｓ１Ａ，Ｓ２，Ｓ２Ａ，Ｓ３，Ｓ３Ａ，Ｓ８，Ｓ９…変調信号（変調パターン）、Ｔ…試料（観察対象物）、ＴＡ，ＴＢ…期間、ＴＭ１、ＴＭ６…復調タイミング（第２の復調タイミング）、ＴＭ２、ＴＭ７…復調タイミング（第１の復調タイミング）、ＴＭ３，ＴＭ４，ＴＭ５，ＴＭ８…復調タイミング。

Claims (11)

1. 互いに異なる波長を有すると共に、互いに異なる変調条件による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射する照射部と、
   前記複数の励起光の照射に伴う前記観察対象物からの複数の検出光を検出信号として検出する検出部と、
   互いに異なる複数の復調タイミングで前記検出信号を復調することにより、各前記復調タイミングにおいて前記複数の検出光の画像を前記検出光毎に生成する画像処理部と、を備え、
   各前記変調パターンは、前記励起光の照射のＯＮ／ＯＦＦを切り替えるように前記励起光を変調させる変調パターンであり、各前記復調タイミングにおいて互いに直交条件を満たすように設定され、
   前記複数の復調タイミングは、第１の復調タイミングと、前記第１の復調タイミングよりも前の第２の復調タイミングと、を含み、
   前記画像処理部は、前記第１の復調タイミングにおいて前記複数の検出光のうちの第１の検出光の画像を生成する際、前記第１の復調タイミングで生成された前記第１の検出光の画像と、前記第２の復調タイミングで生成された前記第１の検出光の画像との間の差分値を算出し、前記差分値が所定の閾値よりも小さくなった場合に、前記第１の復調タイミング以降において、前記第１の検出光に対応する前記励起光の照射をＯＦＦに設定する、観察装置。
2. 前記照射部は、前記複数の変調パターンを記憶する記憶部を有する、請求項１に記載の観察装置。
3. 前記照射部は、前記複数の変調パターンを生成する生成部を有する、請求項１に記載の観察装置。
4. 各前記変調パターンは、前記励起光の照射のＯＮ／ＯＦＦを切り替えるように前記励起光を変調させる矩形波状の変調パターンである、請求項１～３のいずれか一項に記載の観察装置。
5. 各前記変調パターンは、前記励起光の照射のＯＮ／ＯＦＦを切り替えるように前記励起光を変調させる正弦波状の変調パターンである、請求項１～３のいずれか一項に記載の観察装置。
6. 前記複数の検出光は、前記第１の検出光よりも小さい光量を有する第２の検出光を含む、請求項１～５のいずれか一項に記載の観察装置。
7. 前記第１の検出光は、前記複数の検出光の中で最も大きい光量を有する、請求項６に記載の観察装置。
8. 前記画像処理部は、前記第１の復調タイミング以降において前記第１の検出光に対応する前記励起光の照射をＯＦＦに設定した場合に、前記第１の復調タイミング以降に検出された前記検出信号に含まれるデータを用いて、前記第２の検出光の画像を生成する、請求項６又は７に記載の観察装置。
9. 前記画像処理部は、前記第１の復調タイミング以降において前記第１の検出光に対応する前記励起光の照射をＯＦＦに設定した場合に、前記第１の復調タイミング以前において、前記第１の検出光に対応する前記励起光の照射がＯＮになる期間以外の期間に検出された検出信号に含まれるデータを用いて、前記第２の検出光の画像を生成する、請求項６～８のいずれか一項に記載の観察装置。
10. 前記第２の復調タイミングは、前記第１の復調タイミングの直前の前記復調タイミングである、請求項１～８のいずれか一項に記載の観察装置。
11. 互いに異なる波長を有すると共に、互いに異なる変調条件による複数の変調パターンでそれぞれ変調された複数の励起光を、観察対象物に同時に照射するステップと、
    前記複数の励起光の照射に伴う前記観察対象物からの複数の検出光を検出信号として検出するステップと、
    互いに異なる複数の復調タイミングで前記検出信号を復調することにより、各前記復調タイミングにおいて前記複数の検出光の画像を前記検出光毎に生成するステップと、を備え、
    各前記変調パターンは、前記励起光の照射のＯＮ／ＯＦＦを切り替えるように前記励起光を変調させる変調パターンであり、各前記復調タイミングにおいて互いに直交条件を満たすように設定され、
    前記複数の復調タイミングは、第１の復調タイミングと、前記第１の復調タイミングよりも前の第２の復調タイミングと、を含み、
    前記複数の検出光の画像を前記検出光毎に生成するステップでは、
    前記第１の復調タイミングにおいて前記複数の検出光のうちの第１の検出光の画像を生成する際、前記第１の復調タイミングで生成された前記第１の検出光の画像と、前記第２の復調タイミングで生成された前記第１の検出光の画像との間の差分値を算出し、前記差分値が所定の閾値よりも小さくなった場合に、前記第１の復調タイミング以降において、前記第１の検出光に対応する前記励起光の照射をＯＦＦに設定する、観察方法。

Images