JP2020148857A - 光学系調整方法、画像取得方法、および画像取得装置 - Google Patents

Abstract

【課題】マルチスペクトル撮影により生体試料の観察用画像を取得する装置において、光学系の状態を適切に調整できる技術を提供する。【解決手段】まず、光学系の状態を変更する（Ｓ１１）。次に、生体試料に照明光を照射しつつ、中心波長の異なる複数の波長帯域において生体試料を撮影する（Ｓ１２）。続いて、取得した複数の撮影画像について、画素毎に、波長帯域の変化に対する輝度値の変化を表す波長プロファイルを得る（Ｓ１３）。そして、波長プロファイルに応じて、各画素を複数のクラスターに分類する（Ｓ１４）。さらに、複数のクラスターのそれぞれを代表する波長プロファイルである代表プロファイルを作成する（Ｓ１５）。その後、代表プロファイルに基づいて、光学系の状態の適否を判定する（Ｓ１６）。これにより、光学系の状態を適切に調整できる。【選択図】図３

Description

本発明は、生体試料を光学系を介して撮影して観察用画像を生成する装置における光学系調整方法に関する。

医療や生命科学の分野では、観察対象となる細胞の撮影を行う場合がある。しかしながら、細胞は、ほぼ透明であるため、鮮明な観察画像を取得することが難しい。そこで、従来、細胞の視認性を高めるために、細胞を染料で染色して撮影を行うことが知られている。しかしながら、染色を行うと、細胞がダメージを負うという問題がある。このため、無染色で細胞の鮮明な画像を取得する技術が求められている。無染色で細胞の画像を取得する従来の技術については、例えば、特許文献１に記載されている。

特許文献１の装置では、細胞をマルチスペクトル撮影し、取得した複数の画像について、画素毎に波長プロファイルを生成する。そして、得られた波長プロファイルに応じて、各画素を複数のクラスターに分類する。その後、各画素に、分類されたクラスターに対応する階調値を割り当てることにより、観察用画像を生成している。

特開２０１８−１６３２４８号公報

特許文献１の装置では、観察に適した画像を取得するために、光学系の状態を適切に調整することが重要である。例えば、光学系に含まれる対物レンズの補正環や、開口絞りの状態を、適切に調整する必要がある。しかしながら、特許文献１の装置において、光学系を調整するためには、光学系の状態を変更し、マルチスペクトル撮影を行い、波長プロファイルを作成し、観察用画像を生成し、観察用画像の状態を評価する、という複数の工程を繰り返して、最適な観察用画像が得られる光学系の状態を探す必要がある。また、マルチスペクトル撮影では、光学系の状態が同一であっても、波長毎に画像の状態が異なる。このため、作業者が目視で最適な光学系の状態を探すことは極めて難しい、という問題がある。

本発明は、このような事情に鑑みなされたものであり、マルチスペクトル撮影により生体試料の観察用画像を取得する装置において、光学系の状態を適切に調整できる技術を提供することを目的とする。

上記課題を解決するため、本願の第１発明は、生体試料を光学系を介して撮影して観察用画像を生成する装置における光学系調整方法であって、ａ）前記光学系の状態を変更する工程と、ｂ）前記生体試料に照明光を照射しつつ、中心波長の異なる複数の波長帯域において前記生体試料を撮影する工程と、ｃ）前記工程ｂ）で取得した複数の撮影画像について、画素毎に、前記波長帯域の変化に対する輝度値の変化を表す波長プロファイルを得る工程と、ｄ）前記波長プロファイルに応じて、各画素を複数のクラスターに分類する工程と、ｅ）前記複数のクラスターのそれぞれを代表する前記波長プロファイルである代表プロファイルを作成する工程と、ｆ）前記代表プロファイルに基づいて、前記光学系の状態の適否を判定する工程と、を有する。

本願の第２発明は、第１発明の光学系調整方法であって、前記代表プロファイルは、前記クラスターに属する複数の画素の前記波長プロファイルの輝度値の平均値のプロファイルである。

本願の第３発明は、第１発明または第２発明の光学系調整方法であって、前記工程ｆ）では、複数の前記代表プロファイルの第１の単一波長における輝度値の順序と、複数の前記代表プロファイルの前記第１の単一波長とは異なる第２の単一波長における輝度値の順序と、複数の前記代表プロファイルの第１の複数波長における輝度値の平均値の順序と、複数の前記代表プロファイルの前記第１の複数波長とは異なる第２の複数波長における輝度値の平均値の順序と、のうちの少なくとも２つの比較結果に基づいて、前記光学系の状態の適否を判定する。

本願の第４発明は、第１発明から第３発明までのいずれか１発明の光学系調整方法であって、前記工程ｆ）では、互いに近似する複数のクラスターの一部を、評価対象から除外する。

本願の第５発明は、第１発明から第４発明までのいずれか１発明の光学系調整方法であって、前記工程ｆ）では、前記複数のクラスターの全てにおいて、前記代表プロファイルの輝度値の最大値と最小値との差が、所定の閾値よりも小さい場合、前記光学系の状態を不適切と判定する。

本願の第６発明は、第１発明または第２発明の光学系調整方法であって、前記工程ｆ）では、予め機械学習または深層学習により生成された学習モデルに基づいて、前記光学系の状態の適否を判定する。

本願の第７発明は、第１発明から第６発明までのいずれか１発明の光学系調整方法であって、前記工程ｆ）において前記光学系の状態が不適切と判定された場合、前記工程ａ）に戻って前記光学系の状態を他の状態に変更し、前記工程ｂ）〜ｆ）を再び実行する。

本願の第８発明は、第１発明から第７発明までのいずれか１発明の光学系調整方法であって、前記工程ａ）では、前記光学系に含まれる対物レンズの補正環の状態を変更する。

本願の第９発明は、第１発明から第８発明までのいずれか１発明の光学系調整方法であって、前記工程ａ）では、前記光学系に含まれる開口絞りの状態を変更する。

本願の第１０発明は、第１発明から第９発明までのいずれか１発明の光学系調整方法であって、前記生体試料は細胞である。

本願の第１１発明は、生体試料を撮影して観察用画像を生成する画像取得方法であって、第１発明から第１０発明までのいずれか１発明の光学系調整方法の実行後、画素毎に、分類された前記クラスターに対応する階調値を割り当てることにより、前記観察用画像を生成する。

本願の第１２発明は、生体試料を光学系を介して撮影して観察用画像を生成する画像取得装置であって、前記光学系の状態を変更する光学系調整部と、前記生体試料に照明光を照射する照明部と、前記照明光が照射された前記生体試料を前記光学系を介して撮影する撮像部と、前記光学系調整部、前記照明部、および前記撮像部を制御するコンピュータと、を備え、前記コンピュータは、ａ）前記光学系調整部により、前記光学系の状態を変更する処理と、ｂ）前記照明部から前記生体試料に照明光を照射しつつ、前記撮像部により、中心波長の異なる複数の波長帯域において前記生体試料を撮影する処理と、ｃ）前記処理ｂ）において取得した複数の撮影画像について、画素毎に、前記波長帯域の変化に対する輝度値の変化を表す波長プロファイルを得る処理と、ｄ）前記波長プロファイルに応じて、各画素を複数のクラスターに分類する処理と、ｅ）前記複数のクラスターのそれぞれを代表する前記波長プロファイルである代表プロファイルを作成する処理と、ｆ）前記代表プロファイルに基づいて、前記光学系の状態の適否を判定する処理と、を実行する。

本願発明によれば、複数のクラスターの代表プロファイルに基づいて、光学系の状態の適否を判定する。これにより、光学系の状態を適切に調整できる。

画像取得装置の構成を示した図である。 培養容器の斜視図である。 光学系の調整処理の流れを示したフローチャートである。 マルチスペクトル撮影の流れを示したフローチャートである。 複数の撮影画像を概念的に示した図である。 複数の波長プロファイルの例を示したグラフである。 代表プロファイルの例を示したグラフである。 複数の代表プロファイルの例を示したグラフである。 光学系の状態の適否判定処理の流れを示したフローチャートである。 観察用画像の生成処理の流れを示したフローチャートである。 撮影画像の例を示した図である。 観察用画像の例を示した図である。 図８のグラフに対応する観察用画像を示した図である。 複数の代表プロファイルの例を示したグラフである。 図１４のグラフに対応する観察用画像を示した図である。 複数の代表プロファイルの例を示したグラフである。 図１６のグラフに対応する観察用画像を示した図である。

以下、本発明の実施形態について、図面を参照しつつ説明する。

＜１．画像取得装置の構成＞
図１は、本発明の一実施形態に係る画像取得装置１の構成を示した図である。本実施形態の画像取得装置１は、培養容器９内に保持された生体試料である細胞９２を撮影して、観察用画像Ｉｏを生成する装置である。図２は、培養容器９の斜視図である。

培養容器９は、複数の窪部９００を有するウェルプレートである。複数の窪部９００は、二次元的に規則的に配列されている。また、各窪部９００は、光を透過可能な底部を有する。培養容器９は、各窪部９００内に、培養液９１を貯留するとともに、観察対象である細胞９２を培養液９１中に保持する。窪部９００の内部において細胞９２を培養すると、細胞９２は、窪部９００の底部に沿って成長する。なお、培養容器９は、ウェルプレート以外の容器であってもよい。例えば、培養容器９として、光を透過可能なシャーレや、プレパラートを用いてもよい。

図１に示すように、画像取得装置１は、ステージ１０と、ステージ移動機構２０と、照明部３０と、撮像光学系４０と、光学系調整部４６と、撮像部５０と、コンピュータ６０とを備える。ステージ１０、ステージ移動機構２０、照明部３０、撮像光学系４０、および撮像部５０は、図示を省略したハウジングの内部に配置される。

ステージ１０は、培養容器９を支持する支持台である。ステージ１０の中央には、上下に貫通する開口部１１が設けられている。また、ステージ１０は、開口部１１の縁に、環状の支持面１２を有する。培養容器９は、開口部１１に嵌め込まれるとともに、支持面１２によって水平に支持される。したがって、各窪部９００の上部および下部は、ステージ１０に覆われることなく露出する。

ステージ移動機構２０は、ステージ１０を上下方向に移動させる機構である。ステージ移動機構２０には、例えば、モータの回転運動をボールネジにより上下方向の直進運動に変換する機構が用いられる。ステージ移動機構２０は、撮像光学系４０のフォーカス位置の付近において、ステージ１０の位置を、上下方向に細かく変化させることができる。これにより、細胞９２に対する撮像光学系４０のフォーカス位置が、相対的に移動する。すなわち、本実施形態では、このステージ移動機構２０が、細胞９２に対する撮像光学系４０のフォーカス位置を移動させるフォーカス移動機構として機能する。

照明部３０は、細胞９２の撮影時に、培養容器９内の細胞９２に対して照明光を照射するための機構である。本実施形態の照明部３０は、ステージ１０の上側に配置される。図１に示すように、照明部３０は、光源３１と、照明光学系３２とを有する。光源３１には、例えば、ハロゲンランプが用いられる。光源３１を点灯させると、光源３１から下方へ向けて、多数の波長の光が混在する白色光が出射される。

照明光学系３２は、光源３１とステージ１０との間に配置される光学系である。図１に示すように、本実施形態の照明光学系３２は、コレクタレンズ３２１、視野絞り３２２、バンドパスフィルタ３２３、開口絞り３２４、およびコンデンサレンズ３２５を有する。光源３１から出射された光は、これらのコレクタレンズ３２１、視野絞り３２２、バンドパスフィルタ３２３、開口絞り３２４、およびコンデンサレンズ３２５を順に通過して、細胞９２へ照射される。

コレクタレンズ３２１は、光源３１から出射された光の向きを調整する。視野絞り３２２は、コレクタレンズ３２１を通過した光の照明領域を調節する。開口絞り３２４は、照明光学系３２の開口数ＮＡを調整する。コンデンサレンズ３２５は、開口絞り３２４を通過した光を、培養容器９へ向けて集光させる。照明光学系３２の開口数ＮＡは、例えば、０．３以下とすることが好ましい。

バンドパスフィルタ３２３は、特定の波長帯域を通過帯域とする光学フィルタである。バンドパスフィルタ３２３は、光源３１から出射された広い波長帯域を有する白色光のうち、狭波長帯域の光（単色光）のみを通過させる。したがって、照明部３０は、バンドパスフィルタ３２３を通過した狭波長帯域の照明光を、開口絞り３２４およびコンデンサレンズ３２５を介して、培養容器９内の細胞９２へ照射する。

本実施形態のバンドパスフィルタ３２３には、コンピュータ６０から入力される電気信号に応じて通過する光の波長帯域を変化させることが可能なフィルタ（例えば、液晶チューナブルフィルタ）が用いられる。したがって、照明部３０は、バンドパスフィルタ３２３を通過する光の波長帯域を変化させることにより、培養容器９内の細胞９２へ照射される照明光の波長帯域を変更することができる。

撮像光学系４０は、ステージ１０と撮像部５０との間に配置される光学系である。撮像光学系４０は、対物レンズ４１、補正環４１Ｃ、開口絞り４２、結像レンズ４３、ビームスプリッタ４４、および接眼レンズ４５を有する。対物レンズ４１は、培養容器９内の細胞９２の像を拡大する。補正環４１Ｃは、培養容器９の厚み等に応じて、対物レンズ４１の収差補正を行うための部品である。開口絞り４２は、撮像光学系４０の開口数ＮＡを調整する。結像レンズ４３は、撮像部５０の受光面に、細胞９２の像を結像させる。ビームスプリッタ４４は、結像レンズ４３を通過した光を、撮像部５０側と接眼レンズ４５側とに分岐させる。

照明部３０から照射されて培養容器９を透過した光は、対物レンズ４１、開口絞り４２、および結像レンズ４３を介して下方へ進行する。そして、ビームスプリッタ４４により、接眼レンズ４５側へ向かう光と、撮像部５０側へ向かう光とに分岐される。なお、ビームスプリッタ４４は、接眼レンズ４５側へ向かう光の光量と、撮像部５０側へ向かう光の光量との比率を、変更可能であってもよい。

接眼レンズ４５は、観察者が観察を行う際に覗くレンズである。接眼レンズ４５は、結像レンズ４３による光の結像位置４５０よりも、ビームスプリッタ４４から離れた位置に配置される。観察者は、対物レンズ４１で拡大された像を、接眼レンズ４５でさらに拡大して観察できる。

なお、以下では、照明光学系３２および撮像光学系４０を、合わせて「光学系７０」と称する。図１の例では、光学系７０を構成する複数の光学部品が、光軸に沿って一直線状に配列されている。しかしながら、光学系７０を構成する複数の光学部品は、反射鏡等により屈折する光路に沿って、配置されていてもよい。

光学系調整部４６は、コンピュータ６０からの指令に応じて、光学系７０の状態を変更する機構である。本実施形態では、光学系調整部４６は、撮像光学系４０の補正環４１Ｃを回転させて、対物レンズ４１の収差補正を行う機構と、照明光学系３２の開口絞り３２４の開口数ＮＡを変更する機構とを含む。光学系調整部４６は、例えば、コンピュータ６０からの信号に応じて駆動する小型のモータにより、これらの部品を動作させる機構とすればよい。

撮像部５０は、培養容器９内の細胞９２を、光学系７０を介して撮影する装置である。撮像部５０には、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有するデジタルカメラが用いられる。撮像部５０は、細胞９２の二次元画像を、規則的に配列された多数の画素により構成されるデジタル画像データとして取得する。画像データの各画素は、多階調の輝度値（画素値）を有する。

この画像取得装置１では、上述の通り、照明部３０が、バンドパスフィルタ３２３を通過した狭波長帯域の照明光を照射する。また、バンドパスフィルタ３２３は、コンピュータ６０からの信号に応じて、通過する光の波長帯域を変化させることができる。このため、バンドパスフィルタ３２３および撮像部５０を制御することにより、同一の細胞９２を、照明光の波長帯域を変更しながら複数回撮影することができる。これにより、同一の視野について、照明光の波長帯域が異なる複数の画像を取得することができる。

なお、本実施形態では、ステージ１０の上側に照明部３０が配置され、ステージ１０の下側に撮像光学系４０および撮像部５０が配置されている。しかしながら、これらの位置関係は、上下に反転していてもよい。すなわち、照明部３０が、ステージ１０の下側から上方へ向けて照明光を照射し、撮像部５０が、ステージ１０の上側から下向きに撮影を行ってもよい。

コンピュータ６０は、画像取得装置１内の各部を動作制御する制御部としての機能と、撮像部５０により取得された撮影画像Ｉ１〜Ｉｎを加工する画像処理部としての機能と、を有する。図１中に概念的に示したように、コンピュータ６０は、ＣＰＵ等のプロセッサ６０１、ＲＡＭ等のメモリ６０２、およびハードディスクドライブ等の記憶部６０３を有する。記憶部６０３には、動作制御プログラムＰ１と画像処理プログラムＰ２とが、記憶されている。また、コンピュータ６０は、上述したステージ移動機構２０、光源３１、バンドパスフィルタ３２３、光学系調整部４６、および撮像部５０と、電気的に接続されている。

コンピュータ６０は、動作制御プログラムＰ１に従って動作することにより、上述したステージ移動機構２０、光源３１、バンドパスフィルタ３２３、光学系調整部４６、および撮像部５０を動作制御する。これにより、画像取得装置１における細胞９２の撮影動作が進行する。また、コンピュータ６０は、複数の撮影画像Ｉ１〜Ｉｎに、画像処理プログラムＰ２に基づく画像処理を行う。これにより、複数の撮影画像Ｉ１〜Ｉｎが、細胞９２の観察に適した１つの観察用画像Ｉｏに変換される。

＜２．光学系の調整について＞
続いて、上述した画像取得装置１における光学系７０の調整処理について、説明する。この調整処理は、後に実行される観察用画像Ｉｏの生成処理において、より観察に適した観察用画像Ｉｏを生成するために、事前処理として実行される。

図３は、光学系７０の調整処理の流れを示したフローチャートである。画像取得装置１において光学系７０の調整を行うときには、まず、細胞９２が保持された培養容器９を、ステージ１０にセットする。そして、コンピュータ６０に、光学系７０の調整処理を開始する旨の指示を入力する。すると、コンピュータ６０は、まず、光学系調整部４６を動作させて、補正環４１Ｃの回転角度と、開口絞り３２４の開口数ＮＡとを変更する。これにより、光学系７０の状態を初期状態とする（ステップＳ１１）。

次に、コンピュータ６０は、光源３１を点灯させて、培養容器９内の細胞９２に照明光を照射する。そして、コンピュータ６０は、バンドパスフィルタ３２３と撮像部５０とを制御して、細胞９２のマルチスペクトル撮影（多波長撮影）を行う（ステップＳ１２）。すなわち、バンドパスフィルタ３２３を通過する光の波長帯域を変化させつつ、撮像部５０による細胞９２の撮影を、複数回行う。

図４は、ステップＳ１２のマルチスペクトル撮影の流れを、より詳細に示したフローチャートである。図４に示すように、ステップＳ１２では、撮像部５０による１回の細胞９２の撮影（ステップＳ１２１）を実行した後、撮影すべき次の波長帯域があるか否かが、コンピュータ６０によって判断される（ステップＳ１２２）。撮影すべき波長帯域の数は、例えば、４つ以上とすればよい。撮影すべき次の波長帯域がある場合には（ステップＳ１２２：ｙｅｓ）、バンドパスフィルタ３２３を通過する光の波長帯域を、その波長帯域に切り替えて（ステップＳ１２３）、再び細胞９２の撮影を行う（ステップＳ１２１）。そして、予め設定された全ての波長帯域の撮影画像が取得されるまで、ステップＳ１２１〜Ｓ１２３の処理を繰り返す。やがて、撮影すべき波長帯域が無くなると（ステップＳ１２２：ｎｏ）、画像取得装置１は、細胞９２の撮影を終了する。これにより、中心波長の異なる複数の波長帯域において撮影された、複数の撮影画像Ｉ１〜Ｉｎ（ｎ：２以上の整数）が得られる。

図５は、ステップＳ１２で取得される複数の撮影画像Ｉ１〜Ｉｎを、概念的に示した図である。複数の撮影画像Ｉ１〜Ｉｎは、それぞれ、複数の画素ｐにより構成される。コンピュータ６０は、まず、複数の撮影画像Ｉ１〜Ｉｎについて、同一の座標に位置する画素ｐ同士（例えば、図５中に示した画素ｐ同士）を比較する。そして、画素ｐが存在する座標（以下、「画素座標Ｃ」と称する）毎に、波長プロファイルＷを作成する（ステップＳ１３）。具体的には、同一の画素座標Ｃに位置する画素ｐ同士を比較して、輝度値の変化を表す波長プロファイルＷを作成する。そして、このような波長プロファイルＷを、全ての画素座標Ｃについて作成する。

その結果、例えば、図６のように、波長帯域の変化に対する輝度値の変化を表す波長プロファイルＷが、画素座標Ｃ毎に得られる。図６の横軸は、撮影時の波長帯域の中心波長を示す。図６の縦軸は、輝度値を示す。なお、図６では、一部の画素座標Ｃの波長プロファイルＷのみを示しているが、実際には、評価すべき画素座標Ｃの数に応じて、このような波長プロファイルＷが多数作成される。

図３に戻る。複数の波長プロファイルＷが得られると、続いて、コンピュータ６０は、各画素座標Ｃを、複数のクラスターに分類する（ステップＳ１４）。ここでは、画素座標Ｃ毎に、ステップＳ１３で得られた波長プロファイルＷを参照する。そして、各画素座標Ｃを、波長プロファイルＷの特徴に応じて、予め用意された複数のクラスターの１つに分類する。このとき、コンピュータ６０は、波長プロファイルＷの特徴が近い画素座標Ｃを、同一のクラスターに分類する。例えば、波長プロファイルＷの傾き、変曲点の数、変曲点の位置、輝度値の平均値、輝度値の最大値、輝度値の最小値等の複数の要素を考慮して、画素座標Ｃを、複数のクラスターに分類する。

また、ステップＳ１４のクラスターの分類には、ｋ−ｍｅａｎｓ法を用いてもよい。ｋ−ｍｅａｎｓ法を用いる場合には、まず、複数の画素座標Ｃを、予め決められた数のクラスターに、ランダムまたは所定の法則に従って分類する。次に、各クラスターに属する波長プロファイルＷの中心を求める。その後、複数の画素座標Ｃを、波長プロファイルＷの中心が最も近いクラスターに分類し直す。コンピュータ６０は、このような処理を、各画素座標Ｃの分類結果が変動しなくなるまで、あるいは、所定の停止条件を満たすまで繰り返す。このようなｋ−ｍｅａｎｓ法を用いれば、各画素座標Ｃを、波長プロファイルＷに応じて、複数のクラスターに適切かつ自動的に分類できる。

続いて、コンピュータ６０は、複数のクラスターのそれぞれを代表する波長プロファイルである代表プロファイルＷｒを算出する（ステップＳ１５）。図７は、代表プロファイルＷｒの例を示したグラフである。図７では、１つのクラスターに属する複数の画素座標Ｃの波長プロファイルＷが、破線で示されている。コンピュータ６０は、これらの波長プロファイルＷの、各波長における輝度値の平均値を結ぶことによって、代表プロファイルＷｒを作成する。すなわち、代表プロファイルＷｒは、クラスターに属する複数の画素座標Ｃの波長プロファイルＷの輝度値の平均値のプロファイルとなる。

図８は、ステップＳ１５により作成される複数の代表プロファイルＷｒの例を示したグラフである。図８の例では、１６個のクラスターのそれぞれについて、代表プロファイルＷｒが作成されている。

その後、コンピュータ６０は、複数の代表プロファイルＷｒに基づいて、光学系７０の状態の適否を判定する（ステップＳ１６）。ここでは、コンピュータ６０は、複数の代表プロファイルＷｒの特徴量を比較することによって、光学系７０の現在の状態が、適切であるか、それとも不適切であるかを、判定する。

図９は、ステップＳ１６の判定処理の一例を示したフローチャートである。図９の例では、まず、コンピュータ６０は、複数の代表プロファイルＷｒのうち、全体的に輝度値が近似する２つ以上の代表プロファイルＷｒを特定する。そして、特定された２つ以上の代表プロファイルＷｒのうちの一部の代表プロファイルＷｒを、評価対象から除外する（ステップＳ１６１）。例えば、図８中の破線Ｂに囲まれた複数の代表プロファイルＷｒは、全ての波長帯域において、輝度値が近似している。これらの代表プロファイルＷｒのクラスターは、培養容器９内の培養液９１の部分に対応するものである。このように、観察対象ではない部分について、互いに近接した多数の代表プロファイルＷｒが存在すると、後述のステップＳ１６２〜Ｓ１６６の処理において、ノイズが発生しやすくなる。そこで、ステップＳ１６１では、これらの互いに近接した複数の代表プロファイルＷｒを間引いて、評価対象となる代表プロファイルＷｒの数を減らす。例えば、互いに近接する複数の代表プロファイルＷｒのうち、１つだけを残して、他の代表プロファイルＷｒを除外するとよい。

次に、コンピュータ６０は、複数の代表プロファイルＷｒを、いくつかの特徴量について順位付けする（ステップＳ１６２）。具体的には、コンピュータ６０は、各代表プロファイルＷｒについて、輝度値の平均値、最小波長における輝度値、および最大波長における輝度値を算出する。そして、コンピュータ６０は、複数の代表プロファイルＷｒの輝度値の平均値の順序と、最小波長における輝度値の順序と、最大波長における輝度値の順序と、をそれぞれ決定する。

その後、コンピュータ６０は、上述した輝度値の平均値の順序と、最小波長の輝度値の順序と、最大波長の輝度値の順序と、を互いに比較する（ステップＳ１６３）。そして、最小波長の輝度値の順序および最大波長の輝度値の順序のいずれかまたは両方が、輝度値の平均値の順序と所定数以上異なる場合（ステップＳ１６３：ｎｏ）、コンピュータ６０は、現在の光学系７０の状態が不適切であると判定する（ステップＳ１６６）。

一方、輝度値の平均値の順序に対する、最小波長の輝度値の順序および最大波長の輝度値の順序の相違点の数が、所定数未満である場合（ステップＳ１６３：ｙｅｓ）、コンピュータ６０は、次に、クラスターごとに、代表プロファイルＷｒの輝度値の最大値と最小値との差を算出する（ステップＳ１６４）。そして、全てのクラスターについて、最大値と最小値との差が、所定の閾値よりも小さい場合（ステップＳ１６４：ｎｏ）、コンピュータ６０は、所望のコントラストが得られていないものとして、現在の光学系７０の状態が不適切であると判定する（ステップＳ１６６）。

一方、少なくとも１つのクラスターについて、最大値と最小値との差が、所定の閾値以上である場合（ステップＳ１６４：ｙｅｓ）、コンピュータ６０は、現在の光学系７０の状態が適切であると判定して（ステップＳ１６５）、光学系７０の調整処理を終了する。

ステップＳ１６６において、現在の光学系７０の状態が不適切と判定された場合、コンピュータ６０は、ステップＳ１１に戻り、光学系調整部４６を動作させて、補正環４１Ｃの回転角度および開口絞り３２４の開口数ＮＡのいずれかまたは両方を変更する。これにより、光学系７０の状態を、他の状態に変更する（ステップＳ１１）。その後、コンピュータ６０は、上述したステップＳ１２〜Ｓ１６の処理を再び実行する。このように、画像取得装置１は、光学系７０の状態が適切と判定されるまで、光学系７０の調整処理を繰り返す。

＜３．観察用画像の生成について＞
上述した光学系７０の調整処理が完了すると、画像取得装置１は、細胞９２の観察用画像Ｉｏを生成する。図１０は、観察用画像Ｉｏの生成処理の流れを示したフローチャートである。

観察用画像Ｉｏを取得するときには、コンピュータ６０は、まず、最終的に適切と判定された光学系７０の状態における複数のクラスターの分類結果を、メモリ６０２から読み出す（ステップＳ２１）。この複数のクラスターの分類結果は、上述のステップＳ１４において取得されて、メモリ６０２に保存されていた分類結果である。ただし、最終的に適切と判定された光学系７０の状態において、上述したステップＳ１２〜Ｓ１４と同等の処理を再度実行して、複数のクラスターの分類結果を再取得してもよい。

次に、コンピュータ６０は、複数のクラスターの分類結果に基づいて、観察用画像Ｉｏを生成する（ステップＳ２２）。ここでは、観察用画像Ｉｏの各画素に（すなわち各画素座標Ｃに）、分類されたクラスターに対応する階調値を割り当てる。コンピュータ６０は、異なるクラスターには、異なる階調値を割り当てる。これにより、細胞９２の観察に適した観察用画像Ｉｏが得られる。

図１１は、ステップＳ１２において取得される撮影画像Ｉ１〜Ｉｎの例を示した図である。図１２は、ステップＳ２２において生成される観察用画像Ｉｏの例を示した図である。図１１と図１２とを比較すると、図１１の撮影画像よりも、図１２の観察用画像Ｉｏの方が、細胞９２の位置や形を明瞭に把握できる。すなわち、上述した波長プロファイルＷに基づくクラスター分けによって、撮影画像Ｉ１〜Ｉｎよりも細胞９２の観察に適した観察用画像Ｉｏが生成されていることが分かる。

なお、上述した階調値には、例えば、クラスターに属する複数の画素座標Ｃの波長プロファイルＷから算出される輝度値を用いるとよい。具体的には、クラスターに属する複数の画素座標Ｃの波長プロファイルＷの、所定の波長帯域における輝度値の平均値を、そのクラスターに対応する階調値とすればよい。上述した「所定の波長帯域」は、マルチスペクトル撮影に用いた全波長帯域であってもよいし、一部の波長帯域であってもよい。

このように、観察用画像Ｉｏの各画素の階調値は、撮影画像Ｉ１〜Ｉｎがもつ輝度値を使って算出されることが好ましい。これにより、撮影画像Ｉ１〜Ｉｎの輝度値分布を反映した、より自然な観察用画像Ｉｏを得ることができる。

上述した図８の代表プロファイルＷｒのグラフは、ステップＳ１６の判定処理において、光学系７０の状態が適切と判定され得る状態のグラフである。図１３は、その図８のグラフに対応する観察用画像Ｉｏを示した図である。図１３の観察用画像Ｉｏは、光学系７０の状態が適切であるため、細胞９２の観察に適した明瞭な画像となっている。

図１４は、ステップＳ１６の判定処理において、光学系７０の状態が不適切と判定され得る複数の代表プロファイルＷｒの例を示したグラフである。図１５は、図１４のグラフに対応する観察用画像Ｉｏを示した図である。図１４の例では、複数の代表プロファイルＷｒが、多くの箇所で互いに交差している。このような場合は、上述したステップＳ１６３で「ｎｏ」と判断される。したがって、コンピュータ６０は、光学系７０の状態が不適切であると判定する。

図１６は、ステップＳ１６の判定処理において、光学系７０の状態が不適切と判定され得る複数の代表プロファイルＷｒの他の例を示したグラフである。図１７は、図１６のグラフに対応する観察用画像Ｉｏを示した図である。図１６の例では、光学系７０の状態が大きくずれているため、全てのクラスターにおいて、代表プロファイルＷｒの最大値と最小値との差が小さくなっている。このような場合は、上述したステップＳ１６４で「ｎｏ」と判断される。したがって、コンピュータ６０は、光学系７０の状態が不適切であると判定する。

以上のように、この画像取得装置１では、複数のクラスターの代表プロファイルＷｒに基づいて、光学系７０の状態の適否を判定する。これにより、光学系７０の状態を適切に調整できる。また、上記の判定処理は、コンピュータ６０が自動的に行うことができるため、観察者の作業負担を軽減できる。そして、画像取得装置１は、最終的に適切と判定された光学系７０の状態において取得された撮影画像Ｉ１〜Ｉｎから得られる波長プロファイルＷに基づいて、観察用画像Ｉｏを生成する。これにより、細胞９２の観察に適した観察用画像Ｉｏを取得することができる。

＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。

＜４−１．第１変形例＞
上記の実施形態では、ステップＳ１６５において光学系７０の状態が適切と判定された場合、直ちに光学系７０の調整処理を終了していた。しかしながら、光学系７０の状態が適切と判定された場合も、ステップＳ１１に戻って光学系７０を他の状態に変更し、ステップＳ１２〜Ｓ１６の処理をさらに実行してもよい。そして、例えば、補正環４１Ｃおよび開口絞り３２４の予め決められた全ての状態の組み合わせを試して、各状態の適切さの度合いを数値化し、その数値が最も高い光学系７０の状態を採用することにしてもよい。

＜４−２．第２変形例＞
補正環４１Ｃの調整を行うと、培養容器９内の細胞９２に対する撮像光学系４０のフォーカス位置が、僅かに変化する。このため、補正環４１Ｃの調整を行う場合には、併せてフォーカス位置の調整を行うことが好ましい。フォーカス位置の調整も、上記実施形態の図３と同様の手順で行うことができる。すなわち、ステージ移動機構２０を動作させて、細胞９２に対する撮像光学系４０のフォーカス位置を変更した後、上記のステップＳ１２〜Ｓ１６と同様の処理を実行して、フォーカス位置の適否を判定すればよい。このように、光学系７０の調整だけでなく、フォーカス位置の調整を併せて実行することで、画像取得装置１の状態を、より適切に調整することが可能となる。

＜４−３．第３変形例＞
上記の実施形態におけるステップＳ１６の判定処理のフロー（図９のフロー）は、あくまで一例である。コンピュータ６０は、他の判定基準により、光学系７０の状態の適否を判定してもよい。例えば、上記の実施形態のステップＳ１６３では、（１）複数の代表プロファイルＷｒの輝度値の平均値の順序と、（２）複数の代表プロファイルＷｒの最小波長における輝度値の順序と、（３）複数の代表プロファイルＷｒの最大波長における輝度値の順序と、を全て使用して、光学系７０の状態の適否を判定していた。しかしながら、これらの（１）〜（３）のいずれか２つの比較結果のみに基づいて、光学系７０の状態の適否を判定してもよい。

また、上記（１）では、代表プロファイルＷｒの全波長の輝度値の平均値に着目していたが、これに代えて、代表プロファイルＷｒの一部の複数波長の輝度値の平均値に着目してもよい。また、上記（２），（３）では、代表プロファイルＷｒの最小波長または最大波長における輝度値に着目していたが、これに代えて、代表プロファイルＷｒの他の単一波長における輝度値に着目してもよい。すなわち、コンピュータ６０は、（ｉ）複数の代表プロファイルＷｒの第１の単一波長における輝度値の順序と、（ii）複数の代表プロファイルＷｒの第１の単一波長とは異なる第２の単一波長における輝度値の順序と、（iii）複数の代表プロファイルの第１の複数波長における輝度値の平均値の順序と、（iv）複数の代表プロファイルの第１の複数波長とは異なる第２の複数波長における輝度値の平均値の順序と、のうちのいずれか２つ以上の比較結果に基づいて、前記フォーカス位置の適否を判定してもよい。

＜４−４．第４変形例＞
また、上記の実施形態のステップＳ１６では、図９のように、予め固定的に設定された条件に基づいて、光学系７０の状態の適否を判定していた。しかしながら、光学系７０の状態の適否の判定は、機械学習または深層学習により生成された学習モデルに基づいて行ってもよい。機械学習または深層学習には、ニューラルネットワーク等の公知の学習モデルを用いることができる。例えば、最適な光学系７０の状態が既知のサンプルを多数入力し、コンピュータ６０による判定結果が、既知の結果に近づくように、学習モデルのパラメータ調整を、予め実行すればよい。

＜４−５．第５変形例＞
また、上記の実施形態では、１つのクラスターに属する複数の画素座標Ｃの波長プロファイルＷの輝度値の平均値のプロファイルを、代表プロファイルＷｒとしていた。しかしながら、代表プロファイルＷｒは、１つのクラスターに属する複数の画素座標Ｃの波長プロファイルＷから、他の計算方法により算出されるものであってもよい。

＜４−６．第６変形例＞
また、上記の実施形態では、光学系７０の調整として、補正環４１Ｃの状態と、開口絞り３２４の状態と、を調整した。しかしながら、光学系７０の他の部品の調整を、上記実施形態と同様の手順で行ってもよい。

＜４−７．他の変形例＞
照明光学系３２および撮像光学系４０の構成は、上記の実施形態と異なっていてもよい。例えば、照明光学系３２および撮像光学系４０が、他の要素を有していてもよいし、上記の実施形態に含まれる要素の一部が省略されていてもよい。また、バンドパスフィルタ３２３の位置は、上記の実施形態と異なっていてもよい。

上記の実施形態では、照明光学系３２にバンドパスフィルタ３２３が設けられていた。しかしながら、バンドパスフィルタ３２３は、撮像光学系４０に設けられていてもよい。その場合、細胞９２には、照明光として白色光が照射されるが、撮像光学系４０のバンドパスフィルタ３２３によって、撮像部５０に到達する光の波長帯域を変更することができる。したがって、撮像部５０において、複数の波長帯域における撮影画像Ｉ１〜Ｉｎを取得することができる。

また、上記の実施形態では、光源３１としてハロゲンランプを用い、バンドパスフィルタ３２３によって、照明光の波長帯域を変化させていた。しかしながら、光源３１として、波長変調が可能なレーザ発振器またはＬＥＤを用いてもよい。そうすれば、光源３１からの出射光自体の波長帯域を変化させることができるため、バンドパスフィルタ３２３を省略することができる。

また、上記の実施形態の画像取得装置１は、観察者が直接観察を行うための接眼レンズ４５を有していた。しかしながら、接眼レンズ４５は省略されていてもよい。

また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。

１ 画像取得装置
９ 培養容器
１０ ステージ
２０ ステージ移動機構
３０ 照明部
３１ 光源
３２ 照明光学系
４０ 撮像光学系
４１ 対物レンズ
４１Ｃ 補正環
４２ 開口絞り
４３ 結像レンズ
４４ ビームスプリッタ
４５ 接眼レンズ
４６ 光学系調整部
５０ 撮像部
６０ コンピュータ
７０ 光学系
９１ 培養液
９２ 細胞
３２１ コレクタレンズ
３２２ 視野絞り
３２３ バンドパスフィルタ
３２４ 開口絞り
３２５ コンデンサレンズ
Ｃ 画素座標
Ｉ１〜Ｉｎ 撮影画像
Ｉｏ 観察用画像
Ｐ１ 動作制御プログラム
Ｐ２ 画像処理プログラム
Ｗ 波長プロファイル
Ｗｒ 代表プロファイル

Claims (12)

1. 生体試料を光学系を介して撮影して観察用画像を生成する装置における光学系調整方法であって、
   ａ）前記光学系の状態を変更する工程と、
   ｂ）前記生体試料に照明光を照射しつつ、中心波長の異なる複数の波長帯域において前記生体試料を撮影する工程と、
   ｃ）前記工程ｂ）で取得した複数の撮影画像について、画素毎に、前記波長帯域の変化に対する輝度値の変化を表す波長プロファイルを得る工程と、
   ｄ）前記波長プロファイルに応じて、各画素を複数のクラスターに分類する工程と、
   ｅ）前記複数のクラスターのそれぞれを代表する前記波長プロファイルである代表プロファイルを作成する工程と、
   ｆ）前記代表プロファイルに基づいて、前記光学系の状態の適否を判定する工程と、
   を有する、光学系調整方法。
2. 請求項１に記載の光学系調整方法であって、
   前記代表プロファイルは、前記クラスターに属する複数の画素の前記波長プロファイルの輝度値の平均値のプロファイルである、光学系調整方法。
3. 請求項１または請求項２に記載の光学系調整方法であって、
   前記工程ｆ）では、
   複数の前記代表プロファイルの第１の単一波長における輝度値の順序と、
   複数の前記代表プロファイルの前記第１の単一波長とは異なる第２の単一波長における輝度値の順序と、
   複数の前記代表プロファイルの第１の複数波長における輝度値の平均値の順序と、
   複数の前記代表プロファイルの前記第１の複数波長とは異なる第２の複数波長における輝度値の平均値の順序と、
   のうちの少なくとも２つの比較結果に基づいて、前記光学系の状態の適否を判定する、光学系調整方法。
4. 請求項１から請求項３までのいずれか１項に記載の光学系調整方法であって、
   前記工程ｆ）では、
   互いに近似する複数のクラスターの一部を、評価対象から除外する、光学系調整方法。
5. 請求項１から請求項４までのいずれか１項に記載の光学系調整方法であって、
   前記工程ｆ）では、
   前記複数のクラスターの全てにおいて、前記代表プロファイルの輝度値の最大値と最小値との差が、所定の閾値よりも小さい場合、前記光学系の状態を不適切と判定する、光学系調整方法。
6. 請求項１または請求項２に記載の光学系調整方法であって、
   前記工程ｆ）では、
   予め機械学習または深層学習により生成された学習モデルに基づいて、前記光学系の状態の適否を判定する、光学系調整方法。
7. 請求項１から請求項６までのいずれか１項に記載の光学系調整方法であって、
   前記工程ｆ）において前記光学系の状態が不適切と判定された場合、前記工程ａ）に戻って前記光学系の状態を他の状態に変更し、前記工程ｂ）〜ｆ）を再び実行する、光学系調整方法。
8. 請求項１から請求項７までのいずれか１項に記載の光学系調整方法であって、
   前記工程ａ）では、前記光学系に含まれる対物レンズの補正環の状態を変更する、光学系調整方法。
9. 請求項１から請求項８までのいずれか１項に記載の光学系調整方法であって、
   前記工程ａ）では、前記光学系に含まれる開口絞りの状態を変更する、光学系調整方法。
10. 請求項１から請求項９までのいずれか１項に記載の光学系調整方法であって、
    前記生体試料は細胞である、光学系調整方法。
11. 生体試料を撮影して観察用画像を生成する画像取得方法であって、
    請求項１から請求項１０までのいずれか１項に記載の光学系調整方法の実行後、
    画素毎に、分類された前記クラスターに対応する階調値を割り当てることにより、前記観察用画像を生成する、画像取得方法。
12. 生体試料を光学系を介して撮影して観察用画像を生成する画像取得装置であって、
    前記光学系の状態を変更する光学系調整部と、
    前記生体試料に照明光を照射する照明部と、
    前記照明光が照射された前記生体試料を前記光学系を介して撮影する撮像部と、
    前記光学系調整部、前記照明部、および前記撮像部を制御するコンピュータと、
    を備え、
    前記コンピュータは、
    ａ）前記光学系調整部により、前記光学系の状態を変更する処理と、
    ｂ）前記照明部から前記生体試料に照明光を照射しつつ、前記撮像部により、中心波長の異なる複数の波長帯域において前記生体試料を撮影する処理と、
    ｃ）前記処理ｂ）において取得した複数の撮影画像について、画素毎に、前記波長帯域の変化に対する輝度値の変化を表す波長プロファイルを得る処理と、
    ｄ）前記波長プロファイルに応じて、各画素を複数のクラスターに分類する処理と、
    ｅ）前記複数のクラスターのそれぞれを代表する前記波長プロファイルである代表プロファイルを作成する処理と、
    ｆ）前記代表プロファイルに基づいて、前記光学系の状態の適否を判定する処理と、
    を実行する、画像取得装置。