以下、本発明の観察対象抽出処理装置の一実施形態を用いた顕微鏡システムについて、図面を参照しながら詳細に説明する。図1は、本発明の観察対象抽出処理装置の第1の実施形態を用いた顕微鏡システムの概略構成を示す図である。
第1の実施形態の顕微鏡システムは、顕微鏡本体1と、観察対象抽出処理装置50と、表示装置60とを備えている。
第1の実施形態の顕微鏡本体1は、図1に示すように、可視光照射部10と、励起光照射部20と、結像光学系30と、撮像部40とを備えている。
可視光照射部10と結像光学系30との間には、ステージ82が設けられており、このステージ82上に観察対象Sが収容された培養容器80が設置される。そして、本実施形態の顕微鏡システムは、ステージ82を、互いに直交するX方向およびY方向に移動させるステージ駆動機構(図示省略)を備えている。X方向およびY方向は、観察対象Sの設置面に並行な面上において互いに直交する方向である。
培養容器80としては、シャーレ、ディッシュまたはウェルプレートなどを用いることができる。また、培養容器80およびステージ82は、可視光照射部10から出射された可視光を透過する材料から形成されるものである。
培養容器80の底面には、観察対象Sを支持する観察対象支持部材81が設けられている。観察対象支持部材81としては、シート状の多孔質部材を用いることができる。特に、本実施形態の観察対象支持部材81は、励起光照射部20から出射された励起光の照射を受けて蛍光を発する材料から形成されたものである。観察対象支持部材81の材料としては、たとえば蛍光を発する蛍光体を含有させた蛍光体含有樹脂を用いるようにしてもよいし、蛍光を発する樹脂を用いるようにしてもよい。
また、観察対象支持部材81としては、上述したように、その平面方向に多数の孔が所定のパターンで配置された多孔質部材を用いることが望ましい。多数の孔は、不規則に配置されることが望ましい。この場合、観察対象支持部材81は、たとえば自己組織化作用によって形成されたものでもよいし、または、インクジェットプリンタや3Dプリンタなどの無版印刷の技術を用いて形成されたものでもよい。自己組織化作用による製法としては、たとえば疎水性溶媒系の溶液キャスト製膜法に水蒸気の結露現象を組み合わせた製法を用いることができる。また、多数の孔のパターンは必ずしも不規則なパターンでなくてもよく、規則的なパターンで孔が配置された樹脂シートを観察対象支持部材81として用いるようにしてもよい。具体的には、観察対象支持部材81として、たとえばハニカムフィルムなどを用いるようにしてもよい。
観察対象Sとしては、たとえば培養される細胞群があり、具体的には、たとえばiPS細胞およびES細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋または肝臓の細胞、もしくは人体から取り出された皮膚、網膜、心筋、血球、神経または臓器の細胞などがある。なお、観察対象Sは、上述したような細胞に限らず、微生物、食品または結晶などでもよい。
また、本実施形態の培養容器80内には、上述した観察対象支持部材81および観察対象Sと、観察対象Sを培養するための培養液Cとが収容される。
顕微鏡本体1の可視光照射部10は、培養容器80内に収容された観察対象Sおよび観察対象支持部材81に対して、いわゆる位相差計測のための照明光L1を照射するものであり、本実施形態では、その位相差計測用照明光としてリング状照明光L1を照射する。具体的には、本実施形態の可視光照射部10は、白色光を出射する白色光源11と、リング形状のスリットを有し、白色光源11から出射された白色光が入射されてリング状照明光L1を出射するスリット板12と、スリット板12から射出されたリング状照明光L1が入射され、その入射されたリング状照明光L1を観察対象Sに対して照射する第1の対物レンズ13とを備えている。
図2は、スリット板12の具体的な構成を示す図である。図2に示すように、スリット板12は、白色光源11から出射された白色光を遮光する遮光板12bに対して白色光を透過するリング形状のスリット12aが設けられたものであり、白色光がスリット12aを通過することによってリング状照明光L1が形成される。
励起光照射部20は、励起光L2を出射する励起光源21と、励起光源21から出射された励起光L2を平行光とするコリメートレンズ22とを備えている。励起光源21としては、たとえば発光ダイオード、レーザダイオード、高圧水銀光源およびハロゲン光源などを用いることができる。励起光源21から射出される励起光L2は、白色光源11から出射される白色光とは異なる分光特性を有する光である。
具体的には、たとえば励起光源21として発光ダイオードを用いる場合、340nm〜410nmに間にピーク波長を有する光を用いることができる。また、励起光源21として、発光ダイオードやレーザダイオードを用いた場合には、観察対象Sに与える熱を抑制することができ、また、照射のオンおよびオフを高速に安定して切り替えることができる。
結像光学系30は、第2の対物レンズ31と、位相板32と、ハーフミラー33と、結像レンズ34とを備えたものである。図3は、位相板32の具体的な構成を示す平面図である。図3に示すように、位相板32は、リング状照明光L1の波長に対して透明な透明板32bに対して位相リング32aを形成したものである。なお、上述したスリット12aの大きさは、この位相リング32aと共役な関係にある。
位相リング32aは、入射された光の位相を1/4波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相リング32aに入射された直接光は、位相リング32aを通過することによって位相が1/4波長ずれるとともに、その明るさが弱められる。一方、観察対象Sによって回折された回折光は大部分が位相板32の透明板32bを通過し、その位相および明るさは変化しない。
第2の対物レンズ31は、結像光学系駆動部(図示省略)によってZ方向に移動するものである。この第2の対物レンズ31のZ方向への移動によってオートフォーカス制御が行われ、撮像部40によって撮像される画像のコントラストが調整される。
ハーフミラー33は、観察対象Sおよび位相板32を通過した透過光L3(直接光および回折光)を透過し、かつ励起光照射部20から出射された励起光L2を観察対象Sの方向に反射する光学特性を有するものである。また、ハーフミラー33は、観察対象支持部材81への励起光L2の照射によって観察対象支持部材81から発せられた蛍光L4を透過する光学特性を有するものである。
結像レンズ34は、ハーフミラー33を通過した透過光L3または蛍光L4が入射され、これらの光を撮像部40に結像するものである。
撮像部40は、結像レンズ34によって結像された蛍光像および透過像を撮像する撮像素子を備えたものである。撮像素子としては、CCD(charge-coupled device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどが用いられる。本実施形態においては、撮像部40として、RGBのカラーフィルタが設けられた撮像素子が用いられる。ただし、撮像素子としては、カラーフィルタが設けられたものに限らず、モノクロの撮像素子を用いるようにしてもよい。
観察対象抽出処理装置50は、コンピュータに対して本発明の観察対象抽出処理プログラムの一実施形態がインストールされたものである。観察対象抽出処理装置50は、中央処理装置、半導体メモリおよびハードディスクなどを備えており、ハードディスクに観察対象抽出処理プログラムの一実施形態がインストールされている。そして、このプログラムが中央処理装置によって実行されることによって、図1に示すような、補正画像取得部51、補正係数算出部52、観察画像取得部53、抽出処理部54および表示制御部55が動作する。
補正画像取得部51は、観察対象Sが設置されていない観察対象支持部材81への励起光L2の照射によって、観察対象支持部材81から発せられた蛍光L4を検出することによって観察対象支持部材81を撮像した蛍光画像(以下、第1の画像という)と、観察対象Sが設置されていない観察対象支持部材81へのリング状照明光L1の照射によって、観察対象支持部材81を透過した透過光L3を検出することによって観察対象支持部材81を撮像した透過画像(以下、第2の画像という)とを取得するものである。
補正係数算出部52は、補正画像取得部51によって取得された第1および第2の画像に基づいて補正係数を算出するものである。補正係数の算出方法については、後で詳述する。
観察画像取得部53は、観察対象Sが設置された観察対象支持部材81への励起光L2の照射によって、観察対象支持部材81から発せられた蛍光L4を検出することによって観察対象Sが設置された観察対象支持部材81を撮像した蛍光画像(以下、第3の画像という)と、観察対象Sが設置された観察対象支持部材81への観察対象支持部材81へのリング状照明光L1の照射によって、観察対象支持部材81および観察対象Sを透過した透過光L3を検出することによって観察対象Sが設置された観察対象支持部材81を撮像した透過画像(以下、第4の画像という)とを取得するものである。
なお、第3の画像と第4の画像は、同視野で可視光L1の照射と励起光L2の照射を切り替えることによって撮像されるものである。これに対し、上述した第1の画像および第2の画像は、必ずしも同視野で撮像されたものでなくてもよく、別の視野で撮像された画像でもよい。
抽出処理部54は、蛍光を検出することによって撮像した第3の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と第4の画像とに基づいて、観察対象Sが抽出された抽出画像を生成するものである。なお、抽出画像の生成処理については、後で詳述する。
表示制御部55は、抽出処理部54において生成された抽出画像を表示装置60に表示させるものである。
観察対象抽出処理装置50には、表示装置60が接続されている。表示装置60は、液晶ディスプレイなどの表示デバイスから構成されるものであり、抽出処理部54において生成された抽出画像などを表示するものである。
次に、本実施形態の顕微鏡システムの作用について、図4に示すフローチャートを参照しながら説明する。
まず、観察対象Sが設置されていない観察対象支持部材81と培養液Cが収容された培養容器80がステージ82上に設置される。そして、励起光照射部20から観察対象支持部材81に向けて励起光L2が照射され、観察対象支持部材81の蛍光像が撮像部40によって撮像され、補正画像取得部51によって第1の画像が取得される(S10)。
次に、可視光照射部10から観察対象支持部材81に向けてリング状照明光L1が照射され、観察対象支持部材81の透過像が撮像部40によって撮像され、補正画像取得部51によって第2の画像が取得される(S12)。
補正画像取得部51によって取得された第1の画像と第2の画像は、補正係数算出部52に出力される。そして、補正係数算出部52は、第1の画像と第2の画像とに対してグレースケール変換処理を施してグレー化し、第1のグレー画像と第2のグレー画像とを生成する(S14)。なお、図5Iは、第1のグレー画像を模式的に示したものであり、図5IIは第2のグレー画像を模式的に示した図である。
次に、補正係数算出部52は、第1のグレー画像の濃度コントラストaと第2の画像の濃度コントラストbとを算出し、これらの比b/aを補正係数fとして算出する(S16)。
なお、観察対象支持部材81の蛍光画像は、エッジ部分がボケる場合がある。そこで、このボケを抑制するために、補正係数fを算出する前に、第1のグレー画像に対してアンシャープマスク処理などの鮮鋭度強調処理を施すようにしてもよい。また、たとえば培養液C(培地に相当する)として色が着いたものを利用した場合、観察対象支持部材81の透過画像内に培養液Cの色が現れる場合がある。そこで、この培養液Cの色を抑制するレベル補正処理を第2のグレー画像に施すようにしてもよい。培養液Cの色信号は、画像面内に均一に含まれるので、このようなレベル補正処理によって除去することができる。
また、本実施形態においては、上述したように補正係数fを算出する際、第1および第2の画像の濃度コントラストの比を算出するようにしたが、濃度コントラストの比に限らず、たとえば画像を構成する画素の値の平均値、最大値、最小値または中央値などの比を求めるようにしてもよい。また、2つの画像の対応する画素値の比を補正係数fとして算出するようにしてもよい。この場合、画素毎に補正係数fが算出される。
補正係数算出部52によって算出された補正係数fは、抽出処理部54に出力される。
次に、観察対象Sが設置された観察対象支持部材81と培養液Cが収容された培養容器80がステージ82上に設置される。そして、励起光照射部20から観察対象支持部材81に向けて励起光L2が照射され、観察対象支持部材81の蛍光像が撮像部40によって撮像され、観察画像取得部53によって第3の画像が取得される(S18)。
次に、可視光照射部10から観察対象Sが設置された観察対象支持部材81に向けてリング状照明光L1が照射され、観察対象支持部材81および観察対象Sの透過像が撮像部40によって撮像され、観察画像取得部53によって第4の画像が取得される(S20)。
そして、観察画像取得部53によって取得された第3の画像と第4の画像は、抽出処理部54に出力される。抽出処理部54は、第1の画像および第2の画像と同様に、第3の画像と第4の画像とに対してグレースケール変換処理を施してグレー化し、第3のグレー画像と第4のグレー画像とを生成する(S22)。
なお、図6Iは、第3のグレー画像を模式的に示したものであり、図6IIは第4のグレー画像を模式的に示した図である。図6Iおよび図6IIに示すように、本実施形態においては、観察対象Sの細胞群からは蛍光は発せられず、第3のグレー画像上には観察対象Sの画像は現れず、透過画像である第4のグレー画像上のみに観察対象Sの画像が現れるものとする。
なお、ここで、上述した第1のグレー画像と同様に、第3のグレー画像に対してアンシャープマスク処理などの鮮鋭度強調処理を施すようにしてもよい。また、第2のグレー画像と同様に、第4のグレー画像に対してレベル補正処理を施すようにしてもよい。
次いで、抽出処理部54は、第3のグレー画像に対して上述した補正係数fを乗算し、補正画像を生成する(S24)。そして、抽出処理部54は、第4のグレー画像から補正画像を減算することによって、観察対象支持部材81の画像が除かれた減算画像を生成する(S26)。図7は、減算画像を模式的に示した図であり、図7に示す点線は、上述した減算処理によって第4のグレー画像から除かれた観察対象支持部材81の画像の部分を示している。
図7に示すように、第4のグレー画像から補正画像を減算した場合、観察対象支持部材81の部分が除かれるため、この処理にともなって、観察対象支持部材81と観察対象Sとが重なった部分まで除かれてしまう。そこで、抽出処理部54は、第4のグレー画像から補正画像を減算した減算画像に対してモルフォロジー処理のクロージング処理などを施すことによって、観察対象支持部材81と観察対象Sとが重なった部分を埋める処理を行う。図8は、減算画像に対してクロージング処理を施すことによって生成された抽出画像を模式的に示した図である。
そして、抽出処理部54によって生成された抽出画像は表示制御部55に出力され、表示制御部55は、入力された抽出画像を表示装置60に表示させる(S28)。
上記第1の実施形態の顕微鏡システムによれば、観察対象Sが設置されていない観察対象支持部材81へ可視光および励起光を照射して、観察対象支持部材81を撮像した第1および第2の画像を取得し、第1および第2の画像に基づいて補正係数を算出し、観察対象Sが設置された観察対象支持部材81へ可視光および励起光を照射し、観察対象Sが設置された観察対象支持部材81を撮像した第3および第4の画像を取得する。そして、第3の画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と第4の画像とに基づいて、観察対象が抽出された抽出画像を生成するようにしたので、観察対象支持部材81が不規則なパターンを有する場合でも、観察対象支持部材81のパターンが適切に除かれ、観察対象Sが抽出された抽出画像を生成することができる。
なお、上記第1の実施形態の顕微鏡システム(観察画像撮像表示制御システムに相当する)において、図9に示すように、顕微鏡本体1(撮像装置に相当する)と観察対象抽出処理装置50とを自動的に制御する制御部500と、ユーザによる撮像開始指示の入力を受け付ける撮像開始指示受付部501とを設けるようにしてもよい。撮像開始指示受付部501は、たとえばキーボードやマウスなどの入力デバイスを備えたものである。
そして、制御部500が、撮像開始指示受付部501によって受け付けられた撮像開始指示の入力に応じて、上述した第1から第4の画像の撮像と、第1から第4の画像を用いた抽出画像の生成と、抽出画像の表示とを連続して自動的に行うようにしてもよい。なお、この際、第1および第2の画像の撮像から抽出画像の表示までの一例の動作を1分以内で完了することが望ましい。
また、上記第1の実施形態の顕微鏡システムにおいては、観察対象Sが設置されていない観察対象支持部材81を撮像した第1の画像と第2の画像を用いて補正係数を算出するようにしたが、画質は多少劣化する可能性はあるが、第1の画像と第2の画像の撮像を行うことなく、観察対象Sが設置された観察対象支持部材81を撮像した第3の画像と第4の画像を用いて補正係数を算出するようにしてもよい。また、この場合も、制御部500が、撮像開始指示受付部501によって受け付けられた撮像開始指示の入力に応じて、上述した第3および第4の画像の撮像と、第3および第4の画像を用いた抽出画像の生成と、抽出画像の表示とを連続して自動的に行うようにしてもよい。この場合も、第3および第4の画像の撮像から抽出画像の表示までの一例の動作を1分以内で完了することが望ましい。
次に、本発明の観察対象抽出処理装置の第2の実施形態を用いた顕微鏡システムについて説明する。図10は、本発明の観察対象抽出処理装置の第2の実施形態を用いた顕微鏡システムの概略構成を示す図である。
第2の実施形態の顕微鏡システムは、顕微鏡本体2と、観察対象抽出処理装置70と、表示装置60とを備えている。第2の実施形態の顕微鏡システムは、第1の実施形態の顕微鏡システムとは、顕微鏡本体2の構成が異なり、また、観察対象抽出処理装置70における抽出画像の生成処理が異なる。
第2の実施形態の顕微鏡本体2は、第1の実施形態の顕微鏡本体1のように可視光の照射による透過画像の撮像は行わず、励起光の照射によって観察対象Sおよび観察対象支持部材81から発せられた蛍光を、分光特性の異なる2種類のフィルタを用いて検出するものである。なお、本実施形態においては、観察対象支持部材81だけでなく、観察対象Sからも蛍光が発せられるものとする。観察対象Sは、それ自体が蛍光を発するものでもよいし、蛍光標識されたものでもよい。
第2の実施形態の顕微鏡本体2は、具体的には、図10に示すように、励起光照射部20と、結像光学系300と、撮像部40とを備えている。なお、図10に示す培養容器80と、培養容器80内に収容された観察対象S、培養液Cおよび観察対象支持部材81と、ステージ82とは、第1の実施形態とほぼ同様である。ただし、本実施形態の培養容器80およびステージ82は、励起光の照射によって観察対象Sおよび観察対象支持部材81から発せられた蛍光を透過する材料から形成されたものである。
励起光照射部20は、第1の実施形態と同様の構成であり、励起光L2を出射する励起光源21と、励起光源21から出射された励起光L2を平行光とするコリメートレンズ22とを備えている。
結像光学系300は、対物レンズ301と、ハーフミラー302と、結像レンズ303と、フィルタ部304とを備えたものである。
対物レンズ301は、結像光学系駆動部(図示省略)によってZ方向に移動するものである。この対物レンズ301のZ方向への移動によってオートフォーカス制御が行われ、撮像部40によって撮像される画像のコントラストが調整される。
ハーフミラー302は、励起光照射部20から出射された励起光L2を観察対象Sの方向に反射し、かつ励起光L2の照射によって観察対象Sおよび観察対象支持部材81から発せられた蛍光を透過する光学特性を有するものである。
結像レンズ303は、ハーフミラー302を通過した蛍光が入射され、その入射された蛍光を撮像部40に結像するものである。
フィルタ部304は、図10に示すように、結像レンズ303と撮像部40との間に設けられたものであり、分光特性が異なる2種類の蛍光フィルタを備えたものである。本実施形態のフィルタ部304は、具体的には、図10に示すように、第1の蛍光フィルタ304aと第2の蛍光フィルタ304bとこれらのフィルタを交換する交換機構(図示省略)とを備えている。第1の蛍光フィルタ304aと第2の蛍光フィルタ304bは、上述したようにそれぞれ異なる分光特性を有するものであり、たとえば第1の蛍光フィルタ304aとして、330nm〜385nmに透過ピーク波長を有するものを用い、第2の蛍光フィルタ304bとして、460nm〜495nmに透過ピーク波長を有するものを用いることができる。ただし、このような分光特性の蛍光フィルタの組み合わせに限らず、その他の組み合わせでもよい。
本実施形態においては、分光特性の異なる2種類の蛍光画像を取得するために、上述した第1の蛍光フィルタ304aと第2の蛍光フィルタ304bを切り替える構成としたが、このような構成に限らず、励起光を透過するフィルタと蛍光を吸収する吸収フィルタとダイクロイックミラーとを組み合わせた蛍光ミラーユニットを2種類用い、これらの蛍光ミラーユニットを交換する構成としてしてもよい。上記蛍光ミラーユニットとしては、たとえばU-MWIB3(オリンパス株式会社製)とU-MWU2(オリンパス株式会社製)との組み合わせを用いることができる。ただし、これらの組み合わせに限らず、その他の蛍光ミラーユニットの組み合わせを用いるようにしてもよい。
撮像部40は、第1の蛍光フィルタ304aを通過した蛍光像および第2の蛍光フィルタ304bを通過した蛍光像を撮像する撮像素子を備えたものである。撮像素子としては、たとえばRGBのカラーフィルタが設けられた撮像素子が用いられる。なお、RGBのカラーフィルタに限らず、分光特性の異なる複数のフィルタが設けられた撮像素子であれば、その他の撮像素子を用いるようにしてもよい。
第2の実施形態の観察対象抽出処理装置70は、第1の実施形態の観察対象抽出処理装置50と同様に、補正画像取得部71、補正係数算出部72、観察画像取得部73、抽出処理部74および表示制御部75を備えている。
補正画像取得部71は、観察対象Sが設置されていない観察対象支持部材81への励起光L2の照射によって、観察対象支持部材81から発せられた蛍光であって、第1の蛍光フィルタ304aを通過した蛍光L5を検出することによって観察対象支持部材81を撮像した蛍光画像(以下、第1の蛍光画像という)と、励起光L2の照射によって、観察対象支持部材81から発せられた蛍光であって、第2の蛍光フィルタ304bを通過した蛍光L6を検出することによって観察対象支持部材81を撮像した蛍光画像(以下、第2の蛍光画像という)とを取得するものである。
補正係数算出部52は、補正画像取得部51によって取得された第1および第2の蛍光画像に基づいて補正係数を算出するものである。補正係数の算出方法については、後で詳述する。
観察画像取得部53は、観察対象Sが設置された観察対象支持部材81への励起光L2の照射によって、観察対象支持部材81および観察対象Sから発せられた蛍光であって、第1の蛍光フィルタ304aを通過した第1の蛍光L5を検出することによって観察対象Sが設置された観察対象支持部材81を撮像した蛍光画像(以下、第3の蛍光画像という)と、励起光L2の照射によって、観察対象支持部材81および観察対象Sから発せられた蛍光であって、第2の蛍光フィルタ304bを通過した第2の蛍光L6を検出することによって観察対象Sが設置された観察対象支持部材81を撮像した蛍光画像(以下、第4の蛍光画像という)を取得するものである。
なお、第3の蛍光画像と第4の蛍光画像は、同視野での励起光L2の照射によって撮像されるものである。これに対し、上述した第1の蛍光画像および第2の蛍光画像は、必ずしも同視野で撮像されたものでなくてもよく、別の視野で撮像された画像でもよい。
抽出処理部74は、第1の蛍光フィルタ304aを通過した第1の蛍光L5を検出することによって観察対象Sが設置された観察対象支持部材81を撮像した第3の蛍光画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と第4の蛍光画像とに基づいて、観察対象Sが抽出された抽出画像を生成するものである。なお、抽出画像の生成処理については、後で詳述する。
表示制御部75は、抽出処理部74において抽出処理の施された抽出画像を表示装置60に表示させるものである。
次に、本実施形態の顕微鏡システムの作用について、図11に示すフローチャートを参照しながら説明する。
まず、観察対象Sが設置されていない観察対象支持部材81と培養液Cが収容された培養容器80がステージ82上に設置される。そして、第1の蛍光フィルタ304aが蛍光の光路上に配置された状態で、励起光照射部20から観察対象支持部材81に向けて励起光L2が照射される。この励起光L2の照射によって観察対象支持部材81から発せられた蛍光であって、第1の蛍光フィルタ304aを通過した蛍光像が撮像部40によって撮像され、補正画像取得部71によって第1の蛍光画像が取得される(S30)。
次に、フィルタ部304の交換機構によって、第1の蛍光フィルタ304aが蛍光の光路上から外され、その代わりに第2の蛍光フィルタ304bが蛍光の光路上に配置される。そして、第2の蛍光フィルタ304bが蛍光の光路上に配置された状態で、励起光照射部20から観察対象支持部材81に向けて励起光L2が再び照射される。この励起光L2の照射によって観察対象支持部材81から発せられた蛍光であって、第2の蛍光フィルタ304bを通過した蛍光像が撮像部40によって撮像され、補正画像取得部71によって第2の蛍光画像が取得される(S32)。なお、図12Iは、第1の蛍光画像を模式的に示したものであり、図12IIは第2の蛍光画像を模式的に示した図である。
補正画像取得部71によって取得された第1の蛍光画像と第2の蛍光画像は、補正係数算出部72に出力される。そして、本実施形態の補正係数算出部72は、カラー画像である第1の蛍光画像からR(red)成分の蛍光画像(以下、第1のR成分蛍光画像という)とG(green)成分の蛍光画像(以下、第1のG成分蛍光画像という)とB(blue)成分の蛍光画像(以下、第1のB成分蛍光画像という)とを生成する。また、カラー画像である第2の蛍光画像からR(red)成分の蛍光画像(以下、第2のR成分蛍光画像という)とG(green)成分の蛍光画像(以下、第2のG成分蛍光画像という)とB(blue)成分の蛍光画像(以下、第2のB成分蛍光画像という)とを生成する。
そして、補正係数算出部72は、第1のR成分蛍光画像の濃度コントラストa(R)と第2のR成分蛍光画像の濃度コントラストb(R)とを算出し、これらの比b(R)/a(R)を補正係数f(R)として算出する(S34)。また、同様に、第1のG成分蛍光画像の濃度コントラストと第2のG成分蛍光画像の濃度コントラストに基づいて補正係数f(G)を算出し、第1のB成分蛍光画像の濃度コントラストと第2のB成分蛍光画像の濃度コントラストに基づいて補正係数f(B)を算出する。
なお、補正係数f(R),f(G)およびf(B)を算出する前に、第1および第2の蛍光画像に対してアンシャープマスク処理などの鮮鋭度強調処理を施すようにしてもよい。また、本実施形態においては、上述したように補正係数f(R),f(G)およびf(B)を算出する際、濃度コントラストの比を算出するようにしたが、濃度コントラストの比に限らず、たとえば画像を構成する画素の値の平均値、最大値、最小値または中央値などの比を求めるようにしてもよい。また、2つの画像の対応する画素値の比を補正係数f(R),f(G)およびf(B)として算出するようにしてもよい。この場合、画素毎に補正係数f(R),f(G)およびf(B)が算出される。
補正係数算出部72によって算出された補正係数f(R),f(G)およびf(B)は、抽出処理部74に出力される。
次に、観察対象Sが設置された観察対象支持部材81と培養液Cが収容された培養容器80がステージ82上に設置される。そして、再び第1の蛍光フィルタ304aが蛍光の光路上に配置された状態で、励起光照射部20から観察対象Sが設置された観察対象支持部材81に向けて励起光L2が照射される。この励起光L2の照射によって観察対象支持部材81および観察対象Sから発せられた蛍光であって、第1の蛍光フィルタ304aを通過した蛍光像が撮像部40によって撮像され、観察画像取得部73によって第3の蛍光画像が取得される(S36)。
次に、フィルタ部304の交換機構によって、第1の蛍光フィルタ304aが蛍光の光路上から外され、その代わりに第2の蛍光フィルタ304bが蛍光の光路上に配置される。そして、第2の蛍光フィルタ304bが蛍光の光路上に配置された状態で、励起光照射部20から観察対象支持部材81および観察対象Sに向けて励起光L2が再び照射される。この励起光L2の照射によって観察対象支持部材81から発せられた蛍光であって、第2の蛍光フィルタ304bを通過した蛍光像が撮像部40によって撮像され、観察画像取得部73によって第4の蛍光画像が取得される(S38)。
そして、観察画像取得部73によって取得された第3の蛍光画像と第4の蛍光画像は、抽出処理部74に出力される。なお、図13Iは、第3の蛍光画像を模式的に示したものであり、図13IIは第4の蛍光画像を模式的に示した図である。図13Iおよび図13IIに示すように、本実施形態においては、観察対象Sの細胞群から蛍光が発せられるので、第3および第4の蛍光画像上には観察対象Sの画像が現れる。
なお、ここで、上述した第1および第2の蛍光画像と同様に、第3および第4の蛍光画像に対してアンシャープマスク処理などの鮮鋭度強調処理を施すようにしてもよい。
次いで、抽出処理部74は、カラー画像である第3の蛍光画像からR(red)成分の蛍光画像(以下、第3のR成分蛍光画像という)とG(green)成分の蛍光画像(以下、第3のG成分蛍光画像という)とB(blue)成分の蛍光画像(以下、第3のB成分蛍光画像という)とを生成する。また、カラー画像である第4の蛍光画像からR(red)成分の蛍光画像(以下、第4のR成分蛍光画像という)とG(green)成分の蛍光画像(以下、第4のG成分蛍光画像という)とB(blue)成分の蛍光画像(以下、第4のB成分蛍光画像という)とを生成する。
そして、抽出処理部74は、第3のR成分蛍光画像に対して上述した補正係数f(R)を乗算し、R成分の補正画像を生成し、第3のG成分蛍光画像に対して上述した補正係数f(G)を乗算し、G成分の補正画像を生成し、第3のB成分蛍光画像に対して上述した補正係数f(B)を乗算し、B成分の補正画像を生成する(S40)。
次いで、抽出処理部74は、第4のR成分蛍光画像からR成分の補正画像を減算することによってR成分減算画像を生成し、第4のG成分蛍光画像からG成分の補正画像を減算することによってG成分減算画像を生成し、第4のB成分蛍光画像からB成分の補正画像を減算することによってB成分減算画像を生成する。
上述したように減算処理を行うことによって、観察対象支持部材81のR成分、G成分およびB成分の画像は除かれるが、観察対象支持部材81の蛍光像と観察対象Sの蛍光像とはR成分、G成分およびB成分のバランスが異なるので、R成分減算画像、G成分減算画像およびB成分減算画像は、観察対象Sが抽出された画像となる。
そして、抽出処理部74は、上記第1の実施形態と同様に、R成分減算画像、G成分減算画像およびB成分減算画像に対してモルフォロジー処理のクロージング処理などを施すことによって、観察対象支持部材81と観察対象Sとが重なった部分を埋める処理を行って、R成分抽出画像、G成分抽出画像およびB成分抽出画像を生成する(S42)
抽出処理部74によって生成されたR成分抽出画像、G成分抽出画像およびB成分抽出画像は表示制御部75に出力され、表示制御部75は、入力されたG成分抽出画像およびB成分抽出画像に基づいて、表示装置60にカラーの抽出画像を表示させる(S44)。
上記第2の実施形態の顕微鏡システムによれば、観察対象Sが設置されていない観察対象支持部材81への励起光の照射によって、第1の蛍光フィルタ304aを通過した第1の蛍光画像と第2の蛍光フィルタ304bを通過した第2の蛍光画像とを取得し、第1および第2の蛍光画像に基づいて補正係数を算出し、観察対象Sが設置された観察対象支持部材81への励起光の照射によって、第1の蛍光フィルタ304aを通過した第3の蛍光画像と第2の蛍光フィルタ304bを通過した第4の蛍光画像とを取得する。そして、第3の蛍光画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と第4の蛍光画像とに基づいて、観察対象が抽出された抽出画像を生成するようにしたので、観察対象支持部材81が不規則なパターンを有する場合でも、観察対象支持部材81のパターンが適切に除かれ、観察対象Sが抽出された抽出画像を生成することができる。
なお、上記第2の実施形態の顕微鏡システム(観察画像撮像表示制御システムに相当する)においても、第1の実施形態と同様に、顕微鏡本体2(撮像装置に相当する)と観察対象抽出処理装置70とを自動的に制御する制御部と、ユーザによる撮像開始指示の入力を受け付ける撮像開始指示受付部とを設け、制御部が、撮像開始指示受付部によって受け付けられた撮像開始指示の入力に応じて、上述した第1から第4の蛍光画像の撮像と、第1から第4の蛍光画像を用いた抽出画像の生成と、抽出画像の表示とを連続して自動的に行うようにしてもよい。なお、この際、第1および第2の蛍光画像の撮像から抽出画像の表示までの一例の動作を1分以内で完了することが望ましい。
また、上記第2の実施形態の顕微鏡システムにおいては、観察対象Sが設置されていない観察対象支持部材81を撮像した第1の蛍光画像と第2の蛍光画像を用いて補正係数を算出するようにしたが、画質は多少劣化する可能性はあるが、第1の蛍光画像と第2の蛍光画像の撮像を行うことなく、観察対象Sが設置された観察対象支持部材81を撮像した第3の蛍光画像と第4の蛍光画像を用いて補正係数を算出するようにしてもよい。
また、この場合も、制御部が、撮像開始指示受付部によって受け付けられた撮像開始指示の入力に応じて、上述した第3および第4の蛍光画像の撮像と、第3および第4の蛍光画像を用いた抽出画像の生成と、抽出画像の表示とを連続して自動的に行うようにしてもよい。そして、この場合も、第3および第4の蛍光画像の撮像から抽出画像の表示までの一例の動作を1分以内で完了することが望ましい。
次に、本発明の観察対象抽出処理装置の第3の実施形態を用いた顕微鏡システムについて説明する。図14は、本発明の観察対象抽出処理装置の第3の実施形態を用いた顕微鏡システムの概略構成を示す図である。
第3の実施形態の顕微鏡システムは、顕微鏡本体3と、観察対象抽出処理装置90と、表示装置60とを備えている。第3の実施形態の顕微鏡システムは、第1の実施形態の顕微鏡システムとは、顕微鏡本体2の構成が異なり、また、観察対象抽出処理装置90における抽出画像の生成処理が異なる。
第3の実施形態の顕微鏡本体3は、第1の実施形態の顕微鏡本体1のように励起光の照射による蛍光画像の撮像は行わず、可視光の照射によって観察対象Sおよび観察対象支持部材81を透過した透過光を、分光感度の異なる撮像部によって撮像するものである。
第3の実施形態の顕微鏡本体3は、具体的には、図14に示すように、可視光照射部10と、結像光学系310と、撮像部400とを備えている。なお、図14に示す培養容器80と、培養容器80内に収容された観察対象S、培養液Cおよび観察対象支持部材81と、ステージ82とは、第1の実施形態と同様である。
可視光照射部10は、第1の実施形態と同様に、白色光源11と、スリット板12と、第1の対物レンズ13とを備え、培養容器80内に収容された観察対象Sおよび観察対象支持部材81に対して、リング状照明光L1を照射するものである。
結像光学系310は、第2の対物レンズ311と、位相板312と、結像レンズ313とを備えたものである。
第2の対物レンズ311は、結像光学系駆動部(図示省略)によってZ方向に移動するものである。この第2の対物レンズ311のZ方向への移動によってオートフォーカス制御が行われ、撮像部400によって撮像される画像のコントラストが調整される。
位相板312は、第1の実施形態の位相板32と同様の構成である。
結像レンズ313は、位相板312を通過した透過光L3(直接光および回折光)が入射され、この透過光L3を撮像部400に結像するものである。
撮像部400は、結像レンズ313によって結像された透過像を撮像するものであるが、本実施形態の撮像部400は、上述したように分光感度の異なる2種類の撮像部を備えたものである。
具体的には、本実施形態の撮像部400は、図14に示すように、第1の撮像部41と第2の撮像部42とこれらの撮像部を交換する交換機構(図示省略)とを備えている。第1の撮像部41と第2の撮像部42は、上述したようにそれぞれ異なる分光感度を有するものであり、たとえば第1の撮像部41は、可視光帯域以外の帯域に分光感度を有するものであり、第2の撮像部42は、可視光帯域に分光感度を有するものである。第1の撮像部41としては、たとえば赤外光または紫外光に分光感度を有するものを用いることができる。
なお、可視光帯域に分光感度を有するとは、可視光帯域に対する感度が可視光帯域以外の帯域に対する感度よりも相対的に高ければよい。また、逆に、可視光帯域以外の帯域に分光感度を有するとは、可視光帯域以外の帯域に対する感度が可視光帯域に対する感度よりも相対的に高ければよい。
第3の実施形態の観察対象抽出処理装置90は、第1の実施形態の観察対象抽出処理装置50と同様に、補正画像取得部91、補正係数算出部92、観察画像取得部93、抽出処理部94および表示制御部95を備えている。
補正画像取得部91は、観察対象Sが設置されていない観察対象支持部材81へのリング状照明光L1の照射によって、観察対象支持部材81を透過した透過光L3を第1の撮像部41により検出することによって観察対象支持部材81を撮像した透過画像(以下、第1の透過画像という)と、リング状照明光L1の照射によって、観察対象支持部材81を透過した透過光L3を第2の撮像部により検出することによって観察対象支持部材81を撮像した透過画像(以下、第2の透過画像という)とを取得するものである。
補正係数算出部92は、補正画像取得部91によって取得された第1および第2の透過画像に基づいて補正係数を算出するものである。補正係数の算出方法については、後で詳述する。
観察画像取得部93は、観察対象Sが設置された観察対象支持部材81へのリング状照明光L1の照射によって、観察対象支持部材81および観察対象Sを透過した透過光L3を第1の撮像部41により検出することによって観察対象Sが設置された観察対象支持部材81を撮像した透過画像(以下、第3の透過画像という)と、リング状照明光L1の照射によって、観察対象支持部材81および観察対象Sを透過した透過光L3を第2の撮像部42により検出することによって観察対象Sが設置された観察対象支持部材81を撮像した透過画像(以下、第4の透過画像という)とを取得するものである。
なお、第3の透過画像と第4の透過画像は、同視野でのリング状照明光L1の照射によって撮像されるものである。これに対し、上述した第1の透過画像および第2の透過画像は、必ずしも同視野で撮像されたものでなくてもよく、別の視野で撮像された画像でもよい。
抽出処理部94は、第1の撮像部41によって撮像された第3の透過画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と第4の透過画像とに基づいて、観察対象Sが抽出された抽出画像を生成するものである。なお、抽出画像の生成処理については、後で詳述する。
表示制御部95は、抽出処理部94において抽出処理の施された抽出画像を表示装置60に表示させるものである。
次に、本実施形態の顕微鏡システムの作用について、図15に示すフローチャートを参照しながら説明する。
まず、観察対象Sが設置されていない観察対象支持部材81と培養液Cが収容された培養容器80がステージ82上に設置される。そして、結像レンズ313の結像位置に第1の撮像部41が設置された状態で、可視光照射部10から観察対象支持部材81に向けてリング状照明光L1が照射され、観察対象支持部材81を透過した透過光L3が第1の撮像部41により検出され、補正画像取得部91によって第1の透過画像が取得される(S50)。
次に、撮像部400の交換機構によって、結像レンズ313の結像位置から第1の撮像部41が外され、その代わりに結像レンズ313の結像位置に第2の撮像部42が配置される。そして、結像レンズ313の結像位置に第2の撮像部42が配置された状態で、可視光照射部10から観察対象支持部材81に向けてリング状照明光L1が照射され、観察対象支持部材81を透過した透過光L3が第2の撮像部42によって検出され、補正画像取得部91によって第2の透過画像が取得される(S52)。
補正画像取得部91によって取得された第1の透過画像と第2の透過画像は、補正係数算出部92に出力される。そして、本実施形態の補正係数算出部92は、第1の透過画像からR(red)成分の透過画像(以下、第1のR成分透過画像という)とG(green)成分の透過画像(以下、第1のG成分透過画像という)とB(blue)成分の透過画像(以下、第1のB成分透過画像という)とを生成する。また、第2の透過画像からR(red)成分の透過画像(以下、第2のR成分透過画像という)とG(green)成分の透過画像(以下、第2のG成分透過画像という)とB(blue)成分の透過画像(以下、第2のB成分透過画像という)とを生成する。
そして、補正係数算出部92は、第1のR成分透過画像の濃度コントラストa(R)と第2のR成分透過画像の濃度コントラストb(R)とを算出し、これらの比b(R)/a(R)を補正係数f(R)として算出する(S54)。また、同様に、第1のG成分透過画像の濃度コントラストと第2のG成分透過画像の濃度コントラストに基づいて補正係数f(G)を算出し、第1のB成分透過画像の濃度コントラストと第2のB成分透過画像の濃度コントラストに基づいて補正係数f(B)を算出する。
なお、補正係数f(R),f(G)およびf(B)を算出する前に、第1および第2の透過画像に対して、上述した培養液Cの色を抑制するレベル補正処理を施すようにしてもよい。また、本実施形態においては、上述したように補正係数f(R),f(G)およびf(B)を算出する際、濃度コントラストの比を算出するようにしたが、濃度コントラストの比に限らず、たとえば画像を構成する画素の値の平均値、最大値、最小値または中央値などの比を求めるようにしてもよい。また、2つの画像の対応する画素値の比を補正係数f(R),f(G)およびf(B)として算出するようにしてもよい。この場合、画素毎に補正係数f(R),f(G)およびf(B)が算出される。
補正係数算出部92によって算出された補正係数f(R),f(G)およびf(B)は、抽出処理部94に出力される。
次に、観察対象Sが設置された観察対象支持部材81と培養液Cが収容された培養容器80がステージ82上に設置される。そして、結像レンズ313の結像位置に第1の撮像部41が再び設置された状態で、可視光照射部10から観察対象Sが設置された観察対象支持部材81に向けてリング状照明光L1が照射され、観察対象支持部材81および観察対象Sを透過した透過光L3が第1の撮像部41によって検出され、観察画像取得部93によって第3の透過画像が取得される(S56)。
次に、撮像部400の交換機構によって、結像レンズ313の結像位置から第1の撮像部41が外され、その代わりに結像レンズ313の結像位置に第2の撮像部42が配置される。そして、結像レンズ313の結像位置に第2の撮像部42が配置された状態で、可視光照射部10から観察対象Sが設置された観察対象支持部材81に向けてリング状照明光L1が照射され、観察対象支持部材81および観察対象Sを透過した透過光L3が第2の撮像部42によって検出され、観察画像取得部93によって第4の透過画像が取得される(S58)。
そして、観察画像取得部93によって取得された第3の透過画像と第4の透過画像は、抽出処理部94に出力される。なお、本実施形態においては、第3および第4の透過画像の両方に観察対象Sの画像が現れる。
なお、ここで、上述した第1および第2の透過画像と同様に、第3および第4の透過画像に対してレベル補正処理を施すようにしてもよい。
次いで、抽出処理部94は、第3の透過画像からR(red)成分の透過画像(以下、第3のR成分透過画像という)とG(green)成分の透過画像(以下、第3のG成分透過画像という)とB(blue)成分の透過画像(以下、第3のB成分透過画像という)とを生成する。また、第4の透過画像からR(red)成分の透過画像(以下、第4のR成分透過画像という)とG(green)成分の透過画像(以下、第4のG成分透過画像という)とB(blue)成分の透過画像(以下、第4のB成分透過画像という)とを生成する。
そして、抽出処理部94は、第3のR成分透過画像に対して上述した補正係数f(R)を乗算し、R成分の補正画像を生成し、第3のG成分透過画像に対して上述した補正係数f(G)を乗算し、G成分の補正画像を生成し、第3のB成分透過画像に対して上述した補正係数f(B)を乗算し、B成分の補正画像を生成する(S60)。
次いで、抽出処理部94は、第4のR成分透過画像からR成分の補正画像を減算することによってR成分減算画像を生成し、第4のG成分透過画像からG成分の補正画像を減算することによってG成分減算画像を生成し、第4のB成分透過画像からB成分の補正画像を減算することによってB成分減算画像を生成する。
上述したように減算処理を行うことによって、観察対象支持部材81のR成分、G成分およびB成分の画像は除かれるが、観察対象支持部材81の透過画像と観察対象Sの透過画像とはR成分、G成分およびB成分のバランスが異なるので、R成分減算画像、G成分減算画像およびB成分減算画像は、観察対象Sが抽出された画像となる。
そして、抽出処理部94は、上記第1の実施形態と同様に、R成分減算画像、G成分減算画像およびB成分減算画像に対してモルフォロジー処理のクロージング処理などを施すことによって、観察対象支持部材81と観察対象Sとが重なった部分を埋める処理を行って、R成分抽出画像、G成分抽出画像およびB成分抽出画像を生成する(S62)。
抽出処理部94によって生成されたR成分抽出画像、G成分抽出画像およびB成分抽出画像は表示制御部95に出力され、表示制御部95は、入力されたG成分抽出画像およびB成分抽出画像に基づいて、表示装置60にカラーの抽出画像を表示させる(S64)。
上記第3の実施形態の顕微鏡システムによれば、観察対象Sが設置されていない観察対象支持部材81への可視光の照射によって、第1の撮像部41によって撮像された第1の透過画像と第2の撮像部42によって撮像された第2の透過画像とを取得し、第1および第2の透過画像に基づいて補正係数を算出し、観察対象Sが設置された観察対象支持部材81への可視光の照射によって、第1の撮像部41によって撮像された第3の透過画像と第2の撮像部よって撮像された第4の透過画像とを取得する。そして、第3の透過画像を補正係数に基づいて補正して補正画像を生成し、その補正画像と第4の透過画像とに基づいて、観察対象が抽出された抽出画像を生成するようにしたので、観察対象支持部材81が不規則なパターンを有する場合でも、観察対象支持部材81のパターンが適切に除かれ、観察対象Sが抽出された抽出画像を生成することができる。
なお、上記第3の実施形態の顕微鏡システム(観察画像撮像表示制御システムに相当する)においても、第1の実施形態と同様に、顕微鏡本体3(撮像装置に相当する)と観察対象抽出処理装置90とを自動的に制御する制御部と、ユーザによる撮像開始指示の入力を受け付ける撮像開始指示受付部とを設け、制御部が、撮像開始指示受付部によって受け付けられた撮像開始指示の入力に応じて、上述した第1から第4の透過画像の撮像と、第1から第4の透過画像を用いた抽出画像の生成と、抽出画像の表示とを連続して自動的に行うようにしてもよい。なお、この際、第1および第2の透過画像の撮像から抽出画像の表示までの一例の動作を1分以内で完了することが望ましい。
また、上記第3の実施形態の顕微鏡システムにおいては、観察対象Sが設置されていない観察対象支持部材81を撮像した第1の透過画像と第2の透過画像を用いて補正係数を算出するようにしたが、画質は多少劣化する可能性はあるが、第1の透過画像と第2の透過画像の撮像を行うことなく、観察対象Sが設置された観察対象支持部材81を撮像した第3の透過画像と第4の透過画像を用いて補正係数を算出するようにしてもよい。
また、この場合も、制御部が、撮像開始指示受付部によって受け付けられた撮像開始指示の入力に応じて、上述した第3および第4の透過画像の撮像と、第3および第4の透過を用いた抽出画像の生成と、抽出画像の表示とを連続して自動的に行うようにしてもよい。この場合も、第3および第4の透過画像の撮像から抽出画像の表示までの一例の動作を1分以内で完了することが望ましい。
また、上記第1から第3の実施形態の顕微鏡システムにおいては、透過画像として位相差画像を撮像するようにしたが、これに限らず、明視野画像を撮像する構成としてもよい。
また、上記第1から第3の実施形態の顕微鏡システムにおいて、観察対象抽出処理装置が、抽出処理部において生成された抽出画像を保存する機能を有していることが望ましい。抽出画像を保存する場所としては、観察対象抽出処理装置内でもよいし、通信ネットワークを介してクラウドサーバなどに保存するようにしてもよい。
また、上記第1から第3の実施形態の顕微鏡システムにおいては、観察対象支持部材81に設置された観察対象Sの撮像範囲を複数の範囲に分割して撮像することによって複数の部分抽出画像を生成し、この複数の部分抽出画像をタイリングすることによって1つの抽出画像を生成するようにしてもよい。