JP2018000102A - 撮影装置および方法並びに撮影制御プログラム - Google Patents

Abstract

【課題】撮影時間を短縮することができ、かつ培養容器のステージに対する設置状態に関わらず、適切な合焦位置で各観察域の画像を撮像する撮影装置および方法並びに撮影制御プログラムを提供する。【解決手段】観察対象を複数回撮影する場合において、第１の撮影の際には、オートフォーカス制御によって容器内の観察域の合焦位置を検出し、その合焦位置を用いて各観察域の第１の撮影を行う。次いで、第１の撮影以降の第２の撮影の際には、オートフォーカス制御によって基準位置の合焦位置を検出し、その検出した合焦位置と、第１の撮影における基準位置の合焦位置とに基づいて、第１の撮影において検出された各観察域の合焦位置を補正する。【選択図】図８

Description

本発明は、観察対象が収容された容器が設置されたステージと観察対象の像を結像させる結像光学系とを相対的に移動させることによって、観察対象全体の像を観察する撮影装置および方法並びに撮影制御プログラムに関するものである。

従来、ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などで撮像し、その画像の特徴を捉えることで細胞の分化状態などを判定する方法が提案されている。

ＥＳ細胞およびｉＰＳ細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、病気の解明などにおいて応用が可能なものとして注目されている。

一方、上述したように細胞を顕微鏡で撮像する際、高倍率な広視野画像を取得するため、たとえばウェルプレートなどの培養容器の範囲内を結像光学系の観察域によって走査し、観察域毎の画像を撮像した後、その観察域毎の画像を結合する、いわゆるタイリング撮影を行うことが提案されている。

このようにタイリング撮影を行う際、培養容器の底面に焦点を合わせて各観察域の撮像を行うことが多いが、培養容器の底部はその面内において必ずしも均一な厚さではなく、観察域毎にばらつきがある。

したがって、観察域毎にオートフォーカス制御を行うことが望ましいが、１つの観察域のオートフォーカス制御には２００ｍｓ〜３ｓ程度を要する。そして、特にタイムラプス撮影を行う場合には、撮影を行う度に全ての観察域についてオートフォーカス制御を行ったのでは、撮影時間が長くなってしまう問題がある。

そこで、特許文献１から特許文献７においては、各観察域の合焦位置を予め取得しておき、その各観察域の合焦位置を複数の撮影において用いることが提案されている。たとえばタイムラプス撮影の際、１回目の撮影の際に得られた合焦位置の情報を２回目以降の撮影において使用することが提案されている。

特開２０１３−０２０１７２号公報 特開２０１２−１９００２８号公報 特開２００９−０２５３４９号公報 特開２００５−１２８４９３号公報 特開２００７−１０８２２３号公報 特開２０１２−１６３７６７号公報 特開昭６３−１６７３１３号公報

しかしながら、たとえば１回目の撮影の後に培養容器をステージから一旦取り外し、２回目以降の撮影において培養容器をステージに再設置した場合には、１回目の撮影と２回目以降の撮影とにおいて、培養容器のステージに対する設置状態が異なるため、１回目の撮影の際に取得された各観察域の合焦位置をそのまま使用することができない。

具体的には、たとえば培養容器の歪みなどに起因して、図１４に示すように２回目以降の撮影において培養容器１００の端部がステージ１５０上に接地せず、培養容器１００が部分的に浮いている状態（たとえばθは１°程度）となる場合がある。また、ステージ上における培養容器の水平方向の移動を規制するため、ステージ上にプレートホルダーなどの規制部材が設けられる場合があるが、この規制部材に培養容器をはめ込む際に、はめ込み方が十分でないために培養容器の端部が浮いてしまう場合がある。

すなわち、培養容器の取り外しおよび再設置が行われた場合には、同じ培養容器であっても撮影の度に設置状態が変化し、予め取得された合焦位置の情報の再利用ができなくなるという問題があった。

本発明は、上記の問題に鑑み、撮影時間を短縮することができ、かつ培養容器のステージに対する設置状態に関わらず、適切な合焦位置で各観察域の画像を撮像することができる撮影装置および方法並びに撮影制御プログラムを提供することを目的とする。

本発明の撮影装置は、観察対象が収容され、ステージ上に設置された容器内において観察域を走査し、容器内の各観察域の撮像を行う撮像部と、オートフォーカス制御によって観察域の合焦位置を検出し、撮像部を制御して上記検出した合焦位置に基づいて観察域の撮像を制御する制御部とを備え、撮像部によって観察対象を経時的に複数回撮影する場合において、制御部が、撮像部によって第１の撮影を行う場合には、オートフォーカス制御によって容器内の観察域の合焦位置を検出し、その検出した合焦位置を用いて各観察域の第１の撮影を行い、撮像部によって第１の撮影以降の第２の撮影を行う場合には、オートフォーカス制御によって、容器内に予め設定された複数の基準位置の合焦位置を検出し、その検出した合焦位置と、第１の撮影における基準位置の合焦位置とに基づいて、第１の撮影において検出された各観察域の合焦位置を補正し、その補正した各観察域の合焦位置を用いて第２の撮影を行う。

また、上記本発明の撮影装置においては、複数の培養容器にそれぞれ収容された観察対象をそれぞれ経時的に複数回撮影する場合において、培養容器の識別情報と、識別情報によって識別される培養容器内の観察対象の第１の撮影において検出された観察域の合焦位置と、観察対象の第１の撮影における基準位置の合焦位置とを対応付けて記憶する基準合焦位置記憶部を設け、制御部は、第２の撮影を行う際、第２の撮影の対象の培養容器の識別情報を取得し、その取得した識別情報に対応付けて記憶された観察域の合焦位置および基準位置の合焦位置を基準合焦位置記憶部から読み出して取得し、その取得した基準位置の合焦位置とオートフォーカス制御によって検出された基準位置の合焦位置とに基づいて、観察域の合焦位置を補正し、その補正した各観察域の合焦位置を用いて第２の撮影を行うことができる。

また、上記本発明の撮影装置において、制御部は、第２の撮影以降の第３の撮影を行う場合には、オートフォーカス制御によって基準位置の合焦位置を検出し、その検出した合焦位置と、第２の撮影において用いた基準位置の合焦位置とに基づいて、第２の撮影において補正によって取得された各観察域の合焦位置を補正し、その補正した各観察域の合焦位置を用いて第３の撮影を行うことができる。

また、上記本発明の撮影装置において、複数の基準位置は、容器内の一部の領域毎に設定され、制御部は、一部の領域毎について、各観察域の合焦位置の補正を行うことが好ましい。

また、上記本発明の撮影装置においては、基準位置を検出する基準位置検出部を設け、制御部は、基準位置検出部によって検出された基準位置を取得することが好ましい。

また、上記本発明の撮影装置において、基準位置検出部は、容器の端部または容器に設けられた指標を検出し、その検出結果に基づいて、基準位置を検出することができる。

また、上記本発明の撮影装置においては、上記指標として、容器に形成された穴部または容器に付されたマーカーを用いることができる。

また、上記本発明の撮影装置においては、基準位置検出部は、容器を撮像した画像に基づいて基準位置を検出することができる。

また、上記本発明の撮影装置においては、基準位置の設定入力を受け付ける基準位置受付部を設けることができる。

また、上記本発明の撮影装置において、撮像部は、位相差顕微鏡を備えることができる。

本発明の撮影方法は、観察対象が収容され、ステージ上に設置された容器内において観察域を走査し、オートフォーカス制御によって観察域の合焦位置を検出し、その検出した合焦位置に基づいて観察域の撮像を行う撮影方法であって、観察対象を経時的に複数回撮影する場合において、第１の撮影を行う場合には、オートフォーカス制御によって容器内の観察域の合焦位置を検出し、その検出した合焦位置を用いて各観察域の第１の撮影を行い、第１の撮影以降の第２の撮影を行う場合には、オートフォーカス制御によって、容器内に予め設定された複数の基準位置の合焦位置を検出し、その検出した合焦位置と、第１の撮影における基準位置の合焦位置とに基づいて、第１の撮影において検出された各観察域の合焦位置を補正し、その補正した各観察域の合焦位置を用いて第２の撮影を行う。

本発明の撮影制御プログラムは、観察対象が収容され、ステージ上に設置された容器内において観察域を走査する手順と、オートフォーカス制御によって観察域の合焦位置を検出する手順と、その検出した合焦位置に基づいて観察域の撮像を行う手順とをコンピュータに実行させる撮影制御プログラムであって、観察対象を経時的に複数回撮影する場合において、第１の撮影を行う場合には、オートフォーカス制御によって容器内の観察域の合焦位置を検出する手順と、その検出した合焦位置を用いて各観察域の第１の撮影を行う手順を実行させ、第１の撮影以降の第２の撮影を行う場合には、オートフォーカス制御によって、容器内に予め設定された複数の基準位置の合焦位置を検出する手順と、その検出した合焦位置と、第１の撮影における基準位置の合焦位置とに基づいて、第１の撮影において検出された各観察域の合焦位置を補正する手順と、その補正した各観察域の合焦位置を用いて第２の撮影を行う手順とを実行させる。

本発明の撮影装置および方法並びに撮影制御プログラムによれば、観察対象を経時的に複数回撮影する場合において、第１の撮影を行う場合には、オートフォーカス制御によって容器内の観察域の合焦位置を検出し、その検出した合焦位置を用いて各観察域の第１の撮影を行う。次いで、第１の撮影以降の第２の撮影を行う場合には、オートフォーカス制御によって、容器内に予め設定された複数の基準位置の合焦位置を検出し、その検出した合焦位置と、第１の撮影における基準位置の合焦位置とに基づいて、第１の撮影において検出された各観察域の合焦位置を補正し、その補正した各観察域の合焦位置を用いて第２の撮影を行う。

すなわち、第２の撮影においては、観察域のオートフォーカス制御を行わないので撮影時間を短縮することができる。そして、さらに第１の撮影における基準位置の合焦位置と、第２の撮影において検出した基準位置の合焦位置とに基づいて、第１の撮影において検出された各観察域の合焦位置を補正するようにしたので、培養容器のステージに対する設置状態に関わらず、適切な合焦位置で各観察域の画像を撮像することができる。

本発明の撮影装置の一実施形態を用いた顕微鏡撮影システムの概略構成を示す図 結像光学系の構成を示す模式図 ステージの構成を示す斜視図 培養容器に設定された基準位置の一例を示す図 培養容器に設けられた指標の一例を示す図 本発明の撮影装置の一実施形態を用いた顕微鏡撮影システムの概略構成を示すブロック図 培養容器内における観察域の走査位置を示す図 本発明の撮影装置の一実施形態を用いた顕微鏡撮影システムの作用を説明するためのフローチャート １回目の撮影における基準位置の合焦位置ＦＰ１と、２回目の撮影における基準位置の合焦位置ＦＰ２との３次元的な位置関係の一例を示す図 培養容器に設定された基準位置のその他の例を示す図 本発明の撮影装置のその他の実施形態を用いた顕微鏡撮影システムの概略構成を示すブロック図 ２つの基準点を設定した場合における各観察域の合焦位置の補正方法を説明するための図 ３つの基準点を設定した場合における各観察域の合焦位置の補正方法を説明するための図 培養容器の設置状態の違いを説明するための図

以下、本発明の撮影装置および方法並びに撮影制御プログラムの一実施形態を用いた顕微鏡観察システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の顕微鏡観察システムにおける顕微鏡装置１０の概略構成を示すブロック図である。

顕微鏡装置１０は、観察対象である培養された細胞の位相差画像を撮像するものである。具体的には、顕微鏡装置１０は、図１に示すように、白色光を出射する白色光源１１と、コンデンサレンズ１２と、スリット板１３と、結像光学系１４と、結像光学系駆動部１５と、撮像素子１６とを備えている。なお、本実施形態においては、顕微鏡装置１０が、本発明の撮像部に相当するものである。

スリット板１３は、白色光源１１から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状の照明光Ｌが形成される。

図２は、結像光学系１４の詳細な構成を示す図である。結像光学系１４は、図２に示すように、位相差レンズ１４ａおよび結像レンズ１４ｄを備えている。そして、位相差レンズ１４ａは、対物レンズ１４ｂおよび位相板１４ｃを備えている。位相板１４ｃは、照明光Ｌの波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板１３のスリットの大きさは、位相板１４ｃの位相リングと共役な関係にある。

位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相リングに入射された直接光は、位相リングを通過することによって位相が１／４波長ずれるとともに、その明るさが弱められる。一方、観察対象によって回折された回折光は大部分が位相板１４ｃの透明板を通過し、その位相および明るさは変化しない。

結像光学系１４は、図１に示す結像光学系駆動部１５によって対物レンズ１４ｂの光軸方向に移動するものである。なお、本実施形態においては、対物レンズ１４ｂの光軸方向とＺ方向（鉛直方向）とは同じ方向である。結像光学系１４のＺ方向への移動によってオートフォーカス制御が行われ、撮像素子１６によって撮像される位相差画像のコントラストが調整される。

また、位相差レンズ１４ａの倍率を変更可能な構成としてもよい。具体的には、異なる倍率を有する位相差レンズ１４ａまたは結像光学系１４を交換可能に構成するようにしてもよい。位相差レンズ１４ａまたは結像光学系１４の交換は、自動的に行うようにしてもよいし、ユーザが手動で行うようにしてもよい。

結像光学系駆動部１５は、たとえば圧電素子のようなアクチュエータを備えたものであり、後述する撮像制御部２１から出力された制御信号に基づいて駆動するものである。なお、結像光学系駆動部１５は、位相差レンズ１４ａを通過した位相差画像をそのまま通過させる構成となっている。また、結像光学系駆動部１５の構成は圧電素子に限らず、結像光学系１４をＺ方向に移動可能なものであればよく、その他の公知な構成を用いることができる。

結像レンズ１４ｄは、位相差レンズ１４ａを通過した位相差画像が入射され、これを撮像素子１６に結像するものである。

撮像素子１６は、結像レンズ１４ｄによって結像された位相差画像を撮像するものである。撮像素子１６としては、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどが用いられる。撮像素子としては、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。

スリット板１３と位相差レンズ１４ａとの間には、ステージ５１が設けられている。ステージ５１上には、観察対象である細胞が収容された培養容器５０が設置される。

培養容器５０としては、シャーレ、ディッシュまたはウェルプレートなどを用いることができる。また、培養容器５０に収容される細胞としては、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞などがある。

ステージ５１は、後述する水平方向駆動部１７（図６参照）によって互いに直交するＸ方向およびＹ方向に移動するものである。Ｘ方向およびＹ方向は、Ｚ方向に直交する方向であり、水平面内において互いに直交する方向である。本実施形態においては、Ｘ方向を主走査方向とし、Ｙ方向を副走査方向とする。

図３は、ステージ５１の一例を示す図である。ステージ５１の中央には、矩形の開口５１ａが形成されている。この開口５１ａを形成する部材の上に培養容器５０が設置され、培養容器５０内の細胞の位相差画像が開口５１ａを通過するように構成されている。

また、図１に示すように、顕微鏡装置１０は、基準位置検出部１８を備えている。基準位置検出部１８は、スリット板１３の近傍に設けられ、培養容器５０に設定された基準位置を検出するものである。基準位置検出部１８は、たとえばマクロカメラなどから構成されるものであり、培養容器５０を斜め上方から撮影して画像を取得し、その画像に基づいて、基準位置を検出するものである。

なお、本実施形態においては、上述したように培養容器５０を斜め上方から撮影するようにしたが、これに限らず、たとえば基準位置検出部１８の撮像面を真下に向け、培養容器５０を真上方向から撮影するようにしてもよい。その場合には、培養容器５０を撮影する際、ステージ５１を移動させることによって基準位置検出部１８の真下に培養容器５０を配置するようにすればよい。

また、基準位置検出部１８は、ステージ１５の下方向から培養容器５０自体または培養容器５０に設けられた後述する指標を撮影可能である場合には、ステージ１５の下方に配置するようにしてもよい。

具体的には、本実施形態においては、培養容器５０として、図４に示すような６つのウェルＷを有するウェルプレートを使用し、各ウェルＷの中心位置が基準位置ＣＰとして予め設定されている。

基準位置検出部１８は、たとえば培養容器５０を撮影した画像に対してエッジ検出などの画像処理を施して培養容器５０の端部ＥＤを検出し、この端部ＥＤの位置に基づいて、基準位置ＣＰを検出する。具体的には、培養容器５０の端部ＥＤと各基準位置ＣＰとの位置関係を予め設定しておき、その位置関係と画像から検出された端部ＥＤとに基づいて、各基準位置ＣＰを検出する。

なお、本実施形態においては、培養容器５０を撮像した画像から培養容器５０の端部ＥＤを検出するようにしたが、これに限らず、たとえば培養容器５０内の各ウェルＷの形状を検出するようにしてもよい。また、図５に示すように、培養容器５０の四隅に穴部ＭＫを指標として設け、この穴部ＭＫを画像処理によって画像から検出し、その穴部ＭＫの位置に基づいて、基準位置ＣＰを検出するようにしてもよい。培養容器５０に設ける指標としては、穴部に限らず、色が付けられたマーカーでもよいし、突起のようなものでもよく、画像から検出できるものであれば如何なるものでものよい。

次に、顕微鏡装置１０を制御する顕微鏡制御装置２０の構成について説明する。図６は、本実施形態の顕微鏡観察システムの構成を示すブロック図である。なお、顕微鏡装置１０については、顕微鏡制御装置２０の各部により制御される一部の構成のブロック図を示している。

顕微鏡制御装置２０は、顕微鏡装置１０全体を制御するものであり、特に、撮像制御部２１および表示制御部２２を備えたものである。なお、本実施形態においては、撮像制御部２１が、本発明の制御部に相当するものである。

顕微鏡制御装置２０は、中央処理装置、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものであり、ハードディスクに本発明の撮影制御プログラムの一実施形態がインストールされている。そして、この撮影制御プログラムが中央処理装置によって実行されることによって、図６に示す撮像制御部２１および表示制御部２２が機能する。

撮像制御部２１は、結像光学系駆動部１５、撮像素子１６および水平方向駆動部１７を制御することによって、顕微鏡装置１０による観察対象の撮影を制御するものである。

具体的には、撮像制御部２１は、結像光学系駆動部１５の駆動によって結像光学系１４をＺ方向（光軸方向）に移動させてオートフォーカス制御を行うものである。本実施形態においては、結像光学系１４をＺ方向に移動させながら各位置における位相差画像を撮像素子１６によって撮像し、位相差画像のコントラストが最も高くなる位置を合焦位置として検出することによってオートフォーカス制御を行う。

また、撮像制御部２１は、水平方向駆動部１７を駆動制御し、これによりステージ５１をＸ方向およびＹ方向に移動させるものである。水平方向駆動部１７は、圧電素子などを有するアクチュエータから構成されるものである。

本実施形態においては、撮像制御部２１による制御によってステージ５１をＸ方向およびＹ方向に移動させ、結像光学系１４の観察域を培養容器５０内において２次元状に走査し、各観察域の位相差画像を撮像する。図７は、培養容器５０内における観察域の走査位置を実線Ｍで示した図である。なお、本実施形態においては、培養容器５０として６つのウェルＷを有するウェルプレートを用いる。

図７に示すように、結像光学系１４の観察域は、走査開始点Ｓから走査終了点Ｅまで実線Ｍに沿って移動する。すなわち、観察域は、Ｘ方向の正方向（図５の右方向）に走査された後、Ｙ方向（図５の下方向）に移動し、Ｘ方向の負方向（図５の左方向）に走査される。次いで、観察域は、再びＹ方向に移動し、再びＸ方向の正方向に走査される。このように、観察域は、Ｘ方向についての往復移動とＹ方向への移動を繰り返し行うことによって、培養容器５０内を２次元状に走査される。

なお、上述したようにステージ５１をＸ方向に移動させることによって培養容器５０の範囲内において観察域を走査する場合、培養容器５０の範囲における観察域の移動速度は一定であることが望ましい。したがって、ステージ５１のＸ方向への移動開始時にはステージ５１が一定の速度になるまで加速する必要があり、ステージ５１のＸ方向への移動終了時には、ステージ５１を一定の速度から減速して停止させる必要がある。

また、ステージ５１のＸ方向への移動速度を一定の速度にする場合、加速域をほとんどもたせることなく急速に一定の速度に制御することは可能であるが、このような制御を行った場合、培養容器５０に細胞とともに収容された培養液などの液面が揺れてしまい、位相差画像の画質の低下を招く可能性がある。また、ステージ５１を停止する際にも同様の問題が発生する可能性がある。

そこで、本実施形態においては、図５に示す範囲Ｒ１および範囲Ｒ２をステージ５１のＸ方向への移動の加減速域に設定する。このように培養容器５０の範囲のＸ方向の両側に加減速域を設定することによって、培養容器５０の範囲において観察域を一定の速度で走査することができ、かつ培養液の液面の揺れも抑制することができる。

また、本実施形態においては、結像光学系１４の観察域がＸ方向およびＹ方向に走査され、各観察域が撮像されて位相差画像が取得されるが、この際、上述したように培養容器５０の底部はその面内において必ずしも均一な厚さではなく、観察域毎にばらつきがある。

したがって、観察域毎にオートフォーカス制御を行うことが望ましいが、培養容器５０内の観察対象のタイムラプス撮影を行う場合には、撮影を行う度に全ての観察域についてオートフォーカス制御を行ったのでは、撮影時間が長くなってしまう問題がある。

そこで、１回目の撮影においてオートフォーカス制御を行うことによって取得された各観察域の合焦位置を２回目以降の撮影において利用することも考えられるが、培養容器５０の歪みなどによる培養容器５０の設置状態の違いが問題となる。すなわち、１回目の撮影の後に培養容器５０をステージ５１から一旦取り外し、２回目以降の撮影において培養容器５０をステージ５１に再設置した場合には、１回目の撮影と２回目以降の撮影とにおいて、培養容器５０のステージ５１に対する設置状態が異なるため、１回目の撮影の際に取得された各観察域の合焦位置をそのまま使用することができない場合がある。

以下、撮影時間を短縮することができ、かつ培養容器５０のステージ５１に対する設置状態に関わらず、適切な合焦位置で各観察域の位相差画像を撮像する方法について、図８に示すフローチャートを参照しながら説明する。

まず、１回目の撮影（第１の撮影）を行う場合には（Ｓ１０）、培養容器５０がステージ５１上に設置され、基準位置検出部１８によって培養容器５０内に設定された基準位置が検出される（Ｓ１２）。具体的には、上述したように６つのウェルＷの各中心位置が基準位置ＣＰとして検出され、その位置情報がメモリなどの記憶媒体に記憶される。

次に、撮像制御部２１は、オートフォーカス制御によって培養容器５０内の全ての観察域の合焦位置を検出し、その検出した合焦位置を用いて結像光学系駆動部１５を制御して各観察域の位相差画像を撮像する（Ｓ１４）。なお、この際、各観察域の合焦位置はメモリなどの記憶媒体に記憶される。

次いで、Ｓ１２において検出された基準位置の合焦位置を取得する（Ｓ１６）。基準位置の合焦位置の取得については、たとえば基準位置ＣＰにおいてオートフォーカス制御を行って合焦位置を検出することによって取得するようにしてもよいし、または、Ｓ１４において各観察域の位相差画像を撮像する際に検出された合焦位置を用いるようにしてもよい。Ｓ１４において検出された合焦位置を用いる場合には、各基準位置ＣＰに最も近い観察域の合焦位置を取得するようにすればよい。また、基準位置ＣＰにおいてオートフォーカス制御を行って合焦位置を取得する場合には、Ｓ１２の基準位置の検出の際に合焦位置の取得まで行うようにしてもよい。Ｓ１６において取得された基準位置の合焦位置はメモリなどの記憶媒体に記憶され、培養容器５０がステージ５１上から外される。

次いで、２回目以降の撮影（第２の撮影）を行う場合には（Ｓ１８）、まず、培養容器５０がステージ５１上に再設置され、１回目の撮影と同様に、基準位置検出部１８によって培養容器５０内に設定された基準位置が検出される（Ｓ２０）。

そして、撮像制御部２１は、オートフォーカス制御によって培養容器５０内の基準位置ＣＰの合焦位置を検出する（Ｓ２２）。

次いで、Ｓ１６において取得された１回目の撮影における基準位置ＣＰの合焦位置が読み出され、この基準位置ＣＰの合焦位置とＳ２２において検出された２回目以降の撮影における基準位置ＣＰの合焦位置とに基づいて、射影行列が算出される（Ｓ２４）。

図９は、１回目の撮影における基準位置ＣＰの合焦位置ＦＰ１と、２回目の撮影における基準位置ＣＰの合焦位置ＦＰ２との３次元的な位置関係の一例を示すものである。撮像制御部２１は、図９において矢印で示すように、１回目の撮影における各合焦位置ＦＰ１と２回目の撮影における各合焦位置ＦＰ２とを対応付け、これらの対応関係から射影行列を求める。なお、射影行列を求めるには、少なくとも４つの基準位置の合焦位置を取得することが望ましい。本実施形態においては、６つのウェルＷの各基準位置の合焦位置を取得しているので、６つの基準位置の合焦位置の対応関係から射影行列を算出する。ただし、必ずしも６つの合焦位置を用いなくてもよく、６つの合焦位置のうちの隣接する４つの合焦位置を特定し、その４つの合焦位置から射影行列を算出することによって、培養容器５０内の一部の領域毎に射影行列を算出するようにしてもよい。さらに、たとえば図１０に示すように、各ウェルＷに対して４つの基準位置が設定されるように基準位置ＣＰ１〜ＣＰ１２を設定することによって、ウェルＷ毎に射影行列を算出するようにしてもよい。

具体的には、たとえば１回目の撮影と２回目以降の撮影とにおいて基準位置ＣＰ１，ＣＰ２，ＣＰ５，ＣＰ６の合焦位置をそれぞれ取得し、１回目の撮影の合焦位置と２回目以降の撮影の合焦位置の対応関係に基づいて、図１０に示す一番左上ウェルＷの射影行列を算出し、さらに１回目の撮影と２回目以降の撮影とにおいて基準位置ＣＰ５，ＣＰ６，ＣＰ９，ＣＰ１０の合焦位置をそれぞれ取得し、１回目の撮影の合焦位置と２回目以降の撮影の合焦位置の対応関係に基づいて、図１０に示す一番左下のウェルＷの射影行列を算出することによって、ウェルＷ毎の射影行列を算出するようにしてもよい。

次に、撮像制御部２１は、Ｓ１４において取得された１回目の撮影の各観察域の合焦位置を読み出し、上述したようにして算出された射影行列を用いて各観察域の合焦位置を補正する（Ｓ２６）。

具体的には、１回目の各観察域の合焦位置をＰ１（ｘ１，ｙ１，ｚ１）とし、射影行列をＨとし、補正後の合焦位置Ｐ２（ｘ１，ｙ１，ｚ１）とした場合、Ｐ２＝Ｈ×Ｐ１を算出することによって補正後の合焦位置Ｐ２を算出する。なお、培養容器５０全体ではなく、培養容器５０内の一部の領域毎に射影行列を算出した場合には、各観察域が属する領域について算出された射影行列を用いて、各観察域の合焦位置を補正するようにすればよい。

そして、撮像制御部２１は、各観察域の補正後の合焦位置Ｐ２を用いて結像光学系駆動部１５を制御して各観察域の位相差画像の撮像を行う（Ｓ２８）。位相差画像の撮像が終了した後、培養容器５０はステージ５１から取り外される。

なお、上記Ｓ２４では、１回目の撮影における各基準位置の合焦位置ＦＰ１と２回目の撮影における各基準位置の合焦位置ＦＰ２とを対応付け、これらの対応関係から射影行列を求めるようにしているが、たとえば画像処理によって基準位置を検出する場合には、基準位置が明確に検出できず、各基準位置の合焦位置ＦＰ１と２回目の撮影における各基準位置の合焦位置ＦＰ２とを対応づけられない場合が考えらえる。そこで、このような場合には、たとえばＲＡＮＳＡＣ（Random Sample Consensus）を用いて基準位置の外れ値を推定することによって、各基準位置の合焦位置の対応関係を求めるようにすればよい。

図６に戻り、表示制御部２２は、顕微鏡装置１０によって撮像された各観察域の位相差画像を結合することによって、１枚の合成位相差画像を生成し、その合成位相差画像を表示装置３０に表示させるものである。

表示装置３０は、表示制御部２２によって生成された合成位相差画像を表示するものであり、たとえば液晶ディスプレイなどを備えたものである。また、表示装置３０をタッチパネルによって構成し、入力装置４０と兼用するようにしてもよい。

入力装置４０は、マウスやキーボードなどを備えたものであり、ユーザによる種々の設定入力を受け付けるものである。本実施形態の入力装置４０は、たとえば位相差レンズ１４ａの倍率の変更指示などの設定入力を受け付けるものである。

上記実施形態の顕微鏡撮影システムによれば、タイムラプス撮影を行う場合において、第１の撮影を行う場合には、オートフォーカス制御によって培養容器５０内の全ての観察域の合焦位置を検出し、その検出した合焦位置を用いて各観察域の第１の撮影を行い、かつ培養容器５０内に設定された複数の基準位置の合焦位置を取得する。そして、第１の撮影以降の第２の撮影を行う場合には、オートフォーカス制御によって基準位置の合焦位置を検出し、その検出した合焦位置と、第１の撮影において取得した基準位置の合焦位置とに基づいて、第１の撮影において検出された各観察域の合焦位置を補正し、その補正した各観察域の合焦位置を用いて第２の撮影を行う。

すなわち、第２の撮影においては、全ての観察域のオートフォーカス制御を行わないので撮影時間を短縮することができる。そして、さらに第１の撮影における基準位置の合焦位置と、第２の撮影において検出した基準位置の合焦位置とに基づいて、第１の撮影において検出された各観察域の合焦位置を補正するようにしたので、培養容器５０のステージ５１に対する設置状態に関わらず、適切な合焦位置で各観察域の画像を撮像することができる。

なお、上記実施形態においては、１回目の撮影を第１の撮影とし、２回目の撮影を第２の撮影としたが、第１の撮影と第２の撮影は、必ずしも１回目と２回目の撮影に限定されるものではなく、たとえば２回目の撮影を第１の撮影とし、４回目の撮影を第２の撮影としてもよい。

また、上記実施形態においては、第１の撮影において検出された各観察域の合焦位置を補正し、その補正した各観察域の合焦位置を用いて第２の撮影を行うようにしたが、さらに第２の撮影の後の第３の撮影を行う場合には、再びオートフォーカス制御によって基準位置の合焦位置を検出し、その検出した合焦位置と、第２の撮影において用いた基準位置の合焦位置とに基づいて、第２の撮影において補正によって取得された各観察域の合焦位置をさらに補正し、その補正した各観察域の合焦位置を用いて第３の撮影を行うようにすればよい。また、第３の撮影において用いる基準位置の合焦位置を、第１の撮影において用いた基準位置の合焦位置に基づいて補正して取得してもよい。

また、上記実施形態では、第１の撮影において、培養容器５０内の全ての観察域の合焦位置を検出したが、合焦位置を検出しない観察域があってもよい。このような場合は、例えば、合焦位置を検出しなかった観察域の周辺の観察域において検出された合焦位置を、合焦位置を検出しなかった観察域の合焦位置として用いればよい。

また、上記実施形態では、第１の撮影において、培養容器５０をステージ５１上に設置した後、培養容器５０内に設定された基準位置の検出、オートフォーカス制御による観察域の合焦位置の検出、検出した合焦位置を用いた各観察域の位相差画像の撮像、基準位置の合焦位置の取得を行い、培養容器５０をステージ５１上から取り外すという一連の動作を行っているが、このような処理の流れに限らない。たとえば、培養容器５０内に設定された基準位置の検出、オートフォーカス制御による観察域の合焦位置の検出、基準位置の合焦位置の取得を行った後、一度、培養容器５０をステージ５１上から取り外し、その後、培養容器５０をステージ５１上に再度設置した後で、すでに取得している合焦位置を用いて各観察域の位相差画像の撮像を行うようにしてもよい。

つまり、各観察域の合焦位置を検出する動作と、各観察域の位相差画像を撮影する動作との間に培養容器５０をステージ５１から取り外す動作を行ってもよい。この場合、検出された基準位置の合焦位置の取得は、培養容器５０をステージ５１上から取り外す前でも後でもよい。

また、上記実施形態では、１つの培養容器５０に収容された観察対象をタイムラプス撮影行う場合について説明したが、これに限らず、たとえば単一の細胞株を２以上の培養容器５０に分割して培養し、培養容器５０を交換しながら各培養容器５０内の細胞をタイムラプス撮影する場合もある。このような場合、培養容器５０間で底部の厚さのばらつき具合が異なるため、培養容器５０毎に、１回目の撮影における基準位置の合焦位置と各観察域の合焦位置とを管理することが望ましい。

そこで、上記実施形態の顕微鏡観察システムの顕微鏡制御装置２０に対して、図１１に示すように、さらに基準合焦位置記憶部２３を設けるようにしてもよい。

基準合焦位置記憶部２３は、培養容器５０の識別情報と、その識別情報によって識別される培養容器５０内の観察対象の第１の撮影において検出された全ての観察域の合焦位置と、第１の撮影において取得された基準位置の合焦位置とを対応付けて記憶するものである。

そして、撮像制御部２１は、第２の撮影を行う際、第２の撮影の対象の培養容器５０の識別情報を取得する。そして、撮像制御部２１は、取得した識別情報に対応付けて記憶された全ての観察域の合焦位置および基準位置の合焦位置を基準合焦位置記憶部２３から読み出して取得する。次いで、撮像制御部２１は、基準合焦位置記憶部２３から読み出して取得した基準位置の合焦位置と、オートフォーカス制御によって検出された基準位置の合焦位置とに基づいて、全ての観察域の合焦位置を補正し、その補正した各観察域の合焦位置を用いて第２の撮影を行う。

上述したように培養容器５０毎に識別情報を付与し、基準合焦位置記憶部２３に記憶された個々の培養容器５０の１回目の撮影の合焦位置の情報に基づいて、個々の培養容器５０について、２回目以降の撮影の各観察域の合焦位置の補正を行うことによって、より適切な合焦位置の制御を行うことができる。

なお、培養容器５０の識別情報については、たとえばユーザが入力装置４０を用いて設定入力するようにしてもよいし、培養容器５０に対してバーコードまたはＲＦＩＣ（Radio Frequency Integrated Circuit）などの識別情報を記憶する記憶媒体を設け、撮像制御部２１が、記憶媒体から読み出された識別情報を取得するようにしてもよい。

また、上記実施形態においては、基準位置検出部１８が培養容器５０の画像を撮像し、その画像に基づいて基準位置を検出するようにしたが、必ずしも基準位置検出部１８を設けなくてもよい。たとえば培養容器５０を上方から撮影した画像を表示装置３０に表示させ、その表示された画像上においてユーザが基準位置を指定するようにしてもよい。基準位置は、たとえば入力装置４０を用いて設定入力される。入力装置４０は、本発明の基準位置受付部に相当するものである。

また、上記実施形態においては、１回目の撮影と２回目以降の撮影とで培養容器５０内の基準位置がＸ−Ｙ面内においてずれることを前提として、各撮影において基準位置を検出するようにしたが、たとえばステージ５１上に培養容器５０のＸ−Ｙ方向の移動を規制するような規制部材が設けられている場合には、１回目の撮影と２回目の撮影とで基準位置がずれることはない。したがって、このような場合には、基準位置検出部１８を設ける必要がなく、メモリなどの記憶媒体に予め基準位置を記憶しておけばよい。そして、１回目の撮影と２回目以降の撮影とにおいて、記憶媒体に予め記憶された基準位置を読み出し、その基準位置の合焦位置を取得するようにすればよい。

また、上記実施形態においては、２回目以降の撮影においては、基準位置の合焦位置に基づいて各観察域の合焦位置を推定しているため、合焦位置の補正が不足し、位相差画像にボケが発生する可能性もある。そのような場合には、基準位置の数を増加させるようにすればよい。具体的には、たとえば基準位置検出部１８によって検出された基準位置またはユーザによって指定された基準位置に対して補間演算を施すことによって、新しい基準位置を設定するようにすればよい。または、ユーザが入力装置４０を用いて新しい基準位置を設定入力するようにしてもよい。

また、上記実施形態においては、４つの基準位置を設定し、１回目の撮影の各基準位置の合焦位置と２回目の撮影の各基準位置との対応関係から射影行列を求め、その射影行列を用いて１回目の撮影の各観察域の合焦位置を補正するようにしたが、基準位置の数は必ずしも４つでなくてもよく、２つまたは３つでもよい。

図１２は、２つの基準点１および基準点２を設定した場合における各観察域の合焦位置の補正方法を説明するための図である。具体的には、ｎ回目（たとえば１回目）の撮影において検出された基準点１の合焦位置がＺｎ,１であり、基準点２の合焦位置がＺｎ,２である場合、この２つの合焦位置を結ぶ線分を求める。そして、ｎ回目の撮影において取得された各観察域（位置ｘ）の合焦位置について、上記線分からのＺ変位量ｄｎ,ｘを求める。次いで、ｎ＋１回目（たとえば２回目）の撮影の際、基準点１の合焦位置がＺｎ＋１,１であり、基準点２の合焦位置がＺｎ＋１,２である場合には、ｎ回目の撮影と同様に、この２つの合焦位置を結ぶ線分を求める。そして、上記線分から各観察域（位置ｘ）における合焦位置を線形で推定し、この推定値にＺ変位量ｄｎ,ｘを加算することで補正後の合焦位置Ｚｎ＋１,ｘを取得する。

図１３は、３つの基準点１，基準点２および基準点３を設定した場合における各観察域の合焦位置の補正方法を説明するための図である。具体的には、ｎ回目（たとえば１回目）の撮影において検出された基準点１の合焦位置がＺｎ,１であり、基準点２の合焦位置がＺｎ,２であり、基準点３の合焦位置がＺｎ,３である場合、この３つの合焦位置を通る平面を求める。そして、ｎ回目の撮影において取得された各観察域（位置ｘ）の合焦位置について、上記平面からのＺ変位量ｄｎ,ｘを求める。次いで、ｎ＋１回目（たとえば２回目）の撮影の際、基準点１の合焦位置がＺｎ＋１,１であり、基準点２の合焦位置がＺｎ＋１,２であり、基準点３の合焦位置がＺｎ＋１，３である場合には、ｎ回目の撮影と同様に、この３つの合焦位置を通る平面を求める。そして、上記平面から各観察域（位置ｘ）における合焦位置を線形で推定し、この推定値にＺ変位量ｄｎ,ｘを加算することで補正後の合焦位置Ｚｎ＋１,ｘを取得する。

また、上記実施形態においては、ステージ５１を移動させることによって観察域を走査するようにしたが、これに限らず、ステージ５１を固定とし、結像光学系１４およびその他の位相差画像の撮像に係る構成を移動させることによって観察域を走査するようにしてもよいし、ステージ５１と結像光学系１４およびその他の位相差画像の撮像に係る構成との双方を移動させることによって観察域を走査するようにしてもよい。

また、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡などのその他の顕微鏡に適用するようにしてもよい。

１０ 顕微鏡装置
１１ 白色光源
１２ コンデンサレンズ
１３ スリット板
１４ 結像光学系
１４ａ 位相差レンズ
１４ｂ 対物レンズ
１４ｃ 位相板
１４ｄ 結像レンズ
１５ 結像光学系駆動部
１６ 撮像素子
１７ 水平方向駆動部
１８ 基準位置検出部
２０ 顕微鏡制御装置
２１ 撮像制御部
２２ 表示制御部
２３ 基準合焦位置記憶部
３０ 表示装置
４０ 入力装置
５０ 培養容器
５１ ステージ
５１ａ 開口
１００ 培養容器
１５０ ステージ
ＣＰ 基準位置
ＣＰ１-ＣＰ１２ 基準位置
Ｅ 走査終了点
ＥＤ 端部
ＦＰ１，ＦＰ２ 合焦位置
Ｌ 照明光
Ｍ 観察域の走査位置
ＭＫ 穴部
Ｒ１，Ｒ２ 加減速域の範囲
Ｓ 走査開始点
Ｗ ウェル

Claims (12)

1. 観察対象が収容され、ステージ上に設置された容器内において観察域を走査し、前記容器内の各観察域の撮像を行う撮像部と、
   オートフォーカス制御によって前記観察域の合焦位置を検出し、前記撮像部を制御して前記検出した合焦位置に基づいて前記観察域の撮像を制御する制御部とを備え、
   前記撮像部によって前記観察対象を経時的に複数回撮影する場合において、
   前記制御部が、
   前記撮像部によって第１の撮影を行う場合には、前記オートフォーカス制御によって前記容器内の観察域の前記合焦位置を検出し、該検出した合焦位置を用いて前記各観察域の第１の撮影を行い、
   前記撮像部によって前記第１の撮影以降の第２の撮影を行う場合には、
   前記オートフォーカス制御によって、前記容器内に予め設定された複数の基準位置の合焦位置を検出し、該検出した合焦位置と、前記第１の撮影における前記基準位置の合焦位置とに基づいて、前記第１の撮影において検出された各観察域の合焦位置を補正し、該補正した各観察域の合焦位置を用いて第２の撮影を行うことを特徴とする撮影装置。
2. 複数の前記培養容器にそれぞれ収容された観察対象を経時的に複数回撮影する場合において、
   前記培養容器の識別情報と、該識別情報によって識別される培養容器内の観察対象の前記第１の撮影において検出された観察域の合焦位置と、前記観察対象の前記第１の撮影における基準位置の合焦位置とを対応付けて記憶する基準合焦位置記憶部を備え、
   前記制御部が、前記第２の撮影を行う際、該第２の撮影の対象の前記培養容器の識別情報を取得し、該取得した識別情報に対応付けて記憶された前記観察域の合焦位置および前記基準位置の合焦位置を前記基準合焦位置記憶部から読み出して取得し、該取得した前記基準位置の合焦位置と前記オートフォーカス制御によって検出された前記基準位置の合焦位置とに基づいて、前記観察域の合焦位置を補正し、該補正した各観察域の合焦位置を用いて第２の撮影を行う請求項１記載の撮影装置。
3. 前記制御部が、前記第２の撮影以降の第３の撮影を行う場合には、
   前記オートフォーカス制御によって前記基準位置の合焦位置を検出し、該検出した合焦位置と、前記第２の撮影において用いた前記基準位置の合焦位置とに基づいて、前記第２の撮影において補正によって取得された各観察域の合焦位置を補正し、該補正した各観察域の合焦位置を用いて第３の撮影を行う請求項１または２記載の撮影装置。
4. 前記複数の基準位置が、前記容器内の一部の領域毎に設定され、
   前記制御部が、前記一部の領域毎について、前記各観察域の合焦位置の補正を行う請求項１から３いずれか１項記載の撮影装置。
5. 前記基準位置を検出する基準位置検出部を備え、
   前記制御部が、前記基準位置検出部によって検出された基準位置を取得する請求項１から４いずれか１項記載の撮影装置。
6. 前記基準位置検出部が、前記容器の端部または前記容器に設けられた指標を検出し、該検出結果に基づいて、前記基準位置を検出する請求項５記載の撮影装置。
7. 前記指標が、前記容器に形成された穴部または前記容器に付されたマーカーである請求項６記載の撮影装置。
8. 前記基準位置検出部が、前記容器を撮像した画像に基づいて前記基準位置を検出する請求項５から７いずれか１項記載の撮影装置。
9. 前記基準位置の設定入力を受け付ける基準位置受付部を備えた請求項１から４いずれか１項記載の撮影装置。
10. 前記撮像部が、位相差顕微鏡を備えた請求項１から９いずれか１項記載の撮影装置。
11. 観察対象が収容され、ステージ上に設置された容器内において観察域を走査し、オートフォーカス制御によって前記観察域の合焦位置を検出し、該検出した合焦位置に基づいて前記観察域の撮像を行う撮影方法であって、
    前記観察対象を経時的に複数回撮影する場合において、
    第１の撮影を行う場合には、前記オートフォーカス制御によって前記容器内の観察域の前記合焦位置を検出し、該検出した合焦位置を用いて前記各観察域の第１の撮影を行い、
    前記第１の撮影以降の第２の撮影を行う場合には、
    前記オートフォーカス制御によって、前記容器内に予め設定された複数の基準位置の合焦位置を検出し、該検出した合焦位置と、前記第１の撮影における前記基準位置の合焦位置とに基づいて、前記第１の撮影において検出された各観察域の合焦位置を補正し、該補正した各観察域の合焦位置を用いて第２の撮影を行うことを特徴とする撮影方法。
12. 観察対象が収容され、ステージ上に設置された容器内において観察域を走査する手順と、オートフォーカス制御によって前記観察域の合焦位置を検出する手順と、該検出した合焦位置に基づいて前記観察域の撮像を行う手順とをコンピュータに実行させる撮影制御プログラムであって、
    前記観察対象を経時的に複数回撮影する場合において、
    第１の撮影を行う場合には、前記オートフォーカス制御によって前記容器内の観察域の前記合焦位置を検出する手順と、該検出した合焦位置を用いて前記各観察域の第１の撮影を行う手順を実行させ、
    前記第１の撮影以降の第２の撮影を行う場合には、
    前記オートフォーカス制御によって、前記容器内に予め設定された複数の基準位置の合焦位置を検出する手順と、該検出した合焦位置と、前記第１の撮影における前記基準位置の合焦位置とに基づいて、前記第１の撮影において検出された各観察域の合焦位置を補正する手順と、該補正した各観察域の合焦位置を用いて第２の撮影を行う手順とを実行させることを特徴とする撮影制御プログラム。