JP2013109119A - 顕微鏡制御装置およびプログラム - Google Patents

Abstract

【課題】 観察対象として良好な被検物をより容易に選抜する手段を提供する。
【解決手段】 顕微鏡制御装置の撮像制御部は、顕微鏡の光学系で結像された被検物の画像を取得する。位置調整部は、顕微鏡の光軸と交差する方向に顕微鏡の視野をシフトさせる。解析部は、予備観察で視野をシフトさせて取得した複数の画像を解析し、画像に含まれる被検物の特徴量を求める。決定部は、特徴量に応じて被検物のうちから観察対象を決定する。制御部は、位置調整部を制御して視野が観察対象を含むように設定するとともに、観察対象の画像取得を撮像制御部に実行させる。
【選択図】 図１

Description

本発明は、顕微鏡制御装置およびプログラムに関する。

遺伝子工学を含む生命科学分野の発達により、研究者は自分の研究にあった様々な被検物（細胞など）を自作することが可能になっている。現状では研究の大部分が被検物の作成に費やされており、被検物の中から適切な対象を選抜できるか否かで研究の質が大きく左右される。なお、特許文献１には、例えば血液検査において、顕微鏡で撮像された複数の細胞画像から細胞の分類・カウントを行う手法が開示されている。

特開２００５−２８３３７６号公報

研究時の被検物の選抜では、研究者が顕微鏡のごく僅かな視野で被検物を目視し、目視した被検物のうちから良好と評価されたものが選抜される。そのため、一般的には、作成した被検物の全体に対してごく僅かな範囲から観察対象が選抜されているのが実情であり、良好な被検物を選抜するための研究者の負担が非常に大きかった。

上記事情に鑑み、観察対象として良好な被検物をより容易に選抜する手段を提供する。

本発明の一態様である顕微鏡制御装置は、撮像制御部と、位置調整部と、解析部と、決定部と、観察制御部とを備える。撮像制御部は、顕微鏡の光学系で結像された被検物の画像を取得する。位置調整部は、顕微鏡の光軸と交差する方向に顕微鏡の視野をシフトさせる。解析部は、予備観察で視野をシフトさせて取得した複数の画像を解析し、画像に含まれる被検物の特徴量を求める。決定部は、特徴量に応じて被検物のうちから観察対象を決定する。制御部は、位置調整部を制御して視野が観察対象を含むように設定するとともに、観察対象の画像取得を撮像制御部に実行させる。

なお、コンピュータを上記の顕微鏡制御装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の顕微鏡制御装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。

本発明によれば、観察対象として良好な被検物を選抜することがより容易となる。

本実施形態の顕微鏡システムの構成例を示す図 本実施形態の顕微鏡システムの動作例を示す流れ図 予備観察および細胞画像の生成例を示す図 ソート結果の表示画面の一例を示す図 ソートの対象となる範囲の指定の例を示す図

＜実施形態の説明＞
図１は、本実施形態の顕微鏡システムの構成例を示す図である。

ここで、本実施形態では、観察対象の被検物（複数の細胞）が培地とともに収納された培養容器（例えば円形のディッシュ）を標本１とする。本実施形態での顕微鏡システムは、標本１の所定領域を予備観察して各被検物の特徴量をそれぞれ求め、特徴量に応じて所定領域に含まれる各被検物の画像をソートする。そして、本実施形態での顕微鏡システムは、ソートの結果を用いて絞り込まれた観察対象に対して詳細観察を実行する。

本実施形態において、予備観察では培養容器の全体を走査するように顕微鏡で画像が撮像される。一方、詳細観察では培養容器のうち、個々の観察対象の位置する領域のみ顕微鏡で画像が撮像されることとなる。なお、予備観察および詳細観察の内容については後述する。

顕微鏡システムは、標本１が載置されるシフトステージ１１と、顕微鏡装置１２と、顕微鏡制御装置の一例であるコンピュータ１３と、画像を表示する表示装置１４と、画像等を記憶する記憶装置１５と、ユーザの入力を受け付ける入力装置１６とを有する。シフトステージ１１、顕微鏡装置１２、表示装置１４、記憶装置１５、入力装置１６は、それぞれコンピュータ１３に接続されている。

シフトステージ１１は、顕微鏡の光学系の光軸ＡＸに対して垂直な方向（図１に示すＸ方向およびＹ方向）へそれぞれシフト可能である。このシフトにより、標本１に対する顕微鏡の視野（観察領域）の位置調節が行われる。シフトステージ１１のＸＹ方向への駆動は、コンピュータ１３に接続されたモータユニット２１によって行われる。また、シフトステージ１１には、ステージのＸＹ方向位置を検出するエンコーダ２２が設けられており、このステージのＸＹ方向の位置情報はコンピュータ１３に入力される。

顕微鏡装置１２は、対物レンズ３１、焦点調節機構３２、励起光照明装置３３、蛍光フィルタブロック３４、第２対物レンズ３５、光路切替器３６、撮像装置３７、透過照明装置４０、コンデンサレンズ４３を有している。このうち、透過照明装置４０およびコンデンサレンズ４３は、図１において培養容器の上方に配置され、それ以外の要素は図１において培養容器の下方に配置される。また、蛍光フィルタブロック３４には、ダイクロイックミラー、励起フィルタ、蛍光フィルタなどが装着されている。また、光路切替器３６は光路に対して挿脱可能なミラー３６ａを備えている。

対物レンズ３１は、焦点調節機構３２により光軸ＡＸの方向（図１に示すＺ方向）に移動可能である。このＺ方向への移動により、培養容器の細胞に対する対物レンズ３１の焦点調節が行われる。

透過照明装置４０は、光源４１およびコリメータレンズ４２を備え、明視野観察用の照明光束を出射する。なお、透過照明装置４０は、明視野観察時にオンされ、蛍光観察時にオフされる。また、励起光照明装置３３は、蛍光観察用の励起光束を出射する。励起光照明装置３３は、蛍光観察時にオンされ、明視野観察時にオフされる。

ここで、明視野観察時には、透過照明装置４０から射出した照明光束は、コンデンサレンズ４３を通り、標本１の観察領域を照明する。標本１を透過した光束は、対物レンズ３１に入射する。対物レンズ３１に入射した光束は、蛍光フィルタブロック３４、第２対物レンズ３５を通り、光路切替器３６へ入射する。光路切替器３６のミラー３６ａが光路に挿入されている場合、上記の光束はミラー３６ａで反射して不図示の接眼レンズへ導かれる。一方、光路切替器３６のミラー３６ａが光路から離脱されている場合、上記の光束は光路切替器３６を通過して撮像装置３７へ入射する。撮像装置３７へ入射した光束は、撮像装置３７内の撮像素子３７ａに観察領域の明視野像を形成する。撮像素子３７ａは、上記の明視野像を撮像して、画像のデータ（以下、「透過画像」と称する）を取得する。

蛍光観察時には、励起光照明装置３３から射出した励起光束は、調光フィルタ３３ａ、蛍光フィルタブロック３４を通り、像側から対物レンズ３１へ入射すると、対物レンズ３１を介して標本１の観察領域を照射する。上記の励起光束に応じて標本１で発生した蛍光は、物体側から対物レンズ３１へ入射し、蛍光フィルタブロック３４、第２対物レンズ３５を通り、光路切替器３６へ入射する。光路切替器３６のミラー３６ａが光路に挿入されている場合、上記の光束はミラー３６ａで反射して不図示の接眼レンズへ導かれる。一方、光路切替器３６のミラー３６ａが光路から離脱されている場合、上記の光束は光路切替器３６を通過して撮像装置３７へ入射する。撮像装置３７へ入射した光束は、撮像装置３７内の撮像素子３７ａに観察領域の蛍光像を形成する。撮像素子３７ａは、上記の蛍光像を撮像して、画像のデータ（以下、「蛍光画像」と称する）を取得する。なお、上記の顕微鏡装置１２の構成はあくまで一例であり、例えば、顕微鏡装置１２が共焦点レーザー顕微鏡を備えていてもよい（この場合の図示は省略する）。

コンピュータ１３は、ＣＰＵ１３ａと、不揮発性のメモリ１３ｂとを備えたモジュールである。ここで、本実施形態でのコンピュータ１３は、顕微鏡装置１２を制御して、指定された撮像座標における細胞の透過画像や蛍光画像を撮像する。

ＣＰＵ１３ａは、プログラムの実行により、撮像制御部５１、位置調整部５２、解析部５３、決定部５４、観察制御部５５としてそれぞれ機能する。なお、上記のプログラムは、例えばメモリ１３ｂに記憶される。

撮像制御部５１は、撮像装置３７を制御するドライバであって、上記の透過画像および蛍光画像を撮像装置３７によって取得する。

位置調整部５２は、モータユニット２１を制御するドライバであって、顕微鏡の光学系と被検物（細胞）との相対位置を、光軸ＡＸと交差するＸＹ方向に調整する。また、位置調整部５２は、被検物（細胞）を撮像したときの撮像座標（シフトステージ１１のＸＹ座標）の情報をエンコーダ２２から取得する。

解析部５３は、予備観察で取得した標本１の画像を解析し、標本１の所定領域に含まれる各被検物の特徴量をそれぞれ求める。

決定部５４は、特徴量の大きさに応じて複数の被検物の画像をソートし、ソートの結果を表示装置１４に表示させる。そして、決定部５４は、ソートの結果に基づいて複数の被検物のうちからユーザに指定された被検物を、詳細観察の観察対象に決定する。

観察制御部５５は、顕微鏡システムによる予備観察および詳細観察の動作を統括的に制御する。

以下、図２の流れ図を参照しつつ、本実施形態の顕微鏡システムの動作例を説明する。なお、図２の例では、シフトステージ１１に標本１が予め載置されている状態を前提として説明を行う。

ステップ＃１０１：コンピュータ１３の観察制御部５５は、ユーザの入力に基づいて、標本１の予備観察の条件を設定する。なお、観察制御部５５は、＃１０１の段階で詳細観察の条件の設定を同時に行っても良い。

ここで、予備観察および詳細観察の条件は、細胞の種類や実験の方法等に応じてそれぞれ相違する。例えば、予備観察において細胞の形態的な特徴から観察対象を絞り込む場合、予備観察で透過画像を取得すれば足りる。一方、予備観察において蛍光色素等を指標として観察対象を絞り込む場合、予備観察で蛍光画像を取得する必要が生じる。また、細胞の動的な変化から観察対象を絞り込む場合、予備観察でタイムラプス撮影を行う必要が生じる。同様に、詳細観察においても、ユーザが注目すべき現象に応じて蛍光画像やタイムラプス撮影の要否などが変化する。

また、詳細観察の前段階での光照射による細胞へのストレスを抑制するため、予備観察は詳細観察と異なる条件で行われる。例えば、予備観察は、詳細観察と比べて細胞への照明光の露光量が少なくなる条件で行われる。一例として、本実施形態では以下の（条件１）〜（条件３）の関係の少なくとも１つを満たすものとする。

（条件１）予備観察では、詳細観察と比べて顕微鏡の倍率が低く設定される。この場合、予備観察での視野は、詳細観察での視野に比べて広くなる。これにより、予備観察で培養容器全体を走査するときに画像の取得回数が少なくなるため、細胞への露光量が低下する。

（条件２）予備観察では、詳細観察と比べて顕微鏡の焦点深度の許容幅が大きく設定される。これにより、予備観察では詳細観察と比べて粗いピント合わせで足りるので、焦点調節の時間が短縮される分だけ細胞への露光量が低下する。

（条件３）透過光の輝度や細胞の形態的特徴で観察対象を絞り込める場合、予備観察では細胞の明視野観察を行い、詳細観察では細胞の明視野観察および蛍光観察を行う。これにより、予備観察の段階では蛍光顕微鏡のレーザー光が細胞に照射されないので、細胞への露光量が大きく低下する。

例えば、＃１０１での観察制御部５５は、以下の（１）〜（５）の項目の入力を入力装置１６から受け付ける。
（１）培養容器のサイズ
（２）予備観察・詳細観察での観察方法（明視野／蛍光）
（３）蛍光観察時のフィルタの指定
（４）予備観察・詳細観察での対物レンズの倍率（２倍，４倍，１０倍，２０倍等）
（５）予備観察・詳細観察でのタイムラプス撮影の有無
観察制御部５５は、予備観察での対物レンズの倍率により、予備観察での顕微鏡の視野のサイズを決定する。そして、観察制御部５５は、上記の培養容器のサイズに応じて、予備観察で培養容器を走査するときの撮像位置を決定する。なお、本実施形態での観察制御部５５は、培養容器の全体が正方形の画像で格子状に平面充填（タイリング）されるように、予備観察で培養容器を走査するものとする（図３参照）。

また、初期設定の状態では、観察制御部５５は、予備観察での対物レンズの倍率を詳細観察のときよりも低倍にし、予備観察での顕微鏡の焦点深度の許容幅を詳細観察と比べて大きくする。予備観察で蛍光観察を行うか否かはユーザの入力に応じて決定すればよい。

なお、＃１０１での観察制御部５５は、ユーザの入力に応じて、予め登録された観察の設定情報をメモリ１３ｂや記憶装置１５から読み込むようにしてもよい。

ステップ＃１０２：観察制御部５５は、培養容器の細胞の予備観察を実行する。

具体的には、位置調整部５２は、観察制御部５５の指示に応じて、シフトステージ１１の位置をＸＹ方向にシフトさせる。そして、撮像制御部５１は、観察制御部５５の指示に応じて、＃１０１で決定された予備観察の条件下で撮像装置３７を駆動させる。これにより、細胞の透過画像や蛍光画像が取得される。その後、観察制御部５５は、シフトステージ１１をＸＹ方向にシフトさせて培養容器を撮像する制御を繰り返し、培養容器全体の細胞を走査する（図３参照）。

ステップ＃１０３：解析部５３は、予備観察で取得した各画像から細胞の領域を抽出する。

一例として、解析部５３は、透過画像において輝度変化のパターンから細胞の領域を抽出すればよい。例えば、解析部５３は、透過画像の細胞領域と背景領域とをユーザに指定させて教師情報を生成する。そして、解析部５３は、教師情報の輝度変化のパターンを用いて、予備観察で取得した各透過画像からパターンマッチングで細胞の領域を抽出すればよい。

また、＃１０３での解析部５３は、画像を撮像したときのシフトステージ１１のＸＹ座標と、画像内での細胞の領域の座標とを用いて、培養容器内でその細胞の位置を示す位置情報を生成する。そして、解析部５３は、＃１０３で抽出した各細胞の領域と、上記の位置情報（培養容器内での細胞の位置）との対応関係を示すデータベースを生成する。

ステップ＃１０４：解析部５３は、各細胞の領域の位置情報（画像内での細胞の領域の座標）を用いて、予備観察で取得した画像（透過画像および蛍光画像）から細胞の領域の部分を矩形状にトリミングする（図３参照）。なお、トリミングされた部分画像を細胞画像と称する。上記の細胞画像は、それぞれデータベースに対応付けされた状態で記憶装置１５に記録される。

ステップ＃１０５：解析部５３は、各々の細胞画像を解析して各細胞の特徴量をそれぞれ求める。例えば、解析部５３は、特徴量として以下の（ａ）〜（ｆ）のパラメータを求めてもよい。なお、解析部５３は、各細胞の特徴量を記憶装置１５のデータベースに記録する。

（ａ）細胞の形態情報
解析部５３は、透過画像から取得した細胞画像を用いて、細胞の面積、細胞の外周の長さ、細胞の縦方向・横方向の長さ、細胞の円形度（細胞の丸さ）、細胞の輪郭と重心点との平均距離（突起の有無）などを求める。

例えば、細胞の形態情報を用いることで、分裂前の細胞（楕円状の連結細胞）や、細胞の突起の有無や、巨大化細胞などを抽出することが可能となる。

（ｂ）透過光の輝度情報
解析部５３は、透過画像から取得した細胞画像を用いて、細胞の透過光輝度の平均値を求める。

（ｃ）蛍光の輝度情報
解析部５３は、蛍光画像から取得した細胞画像を用いて、細胞内の蛍光輝度の平均値や、細胞の蛍光と背景との輝度比（背景と細胞内輝度との差）を求める。また、複数色の蛍光を検出できるときには、解析部５３は、蛍光間の輝度比（複数の蛍光間での輝度バランス）や、蛍光間の輝度重心の相対位置（蛍光の重なり方）を求めてもよい。

（ｄ）細胞の分布情報
解析部５３は、トリミング前の透過画像や蛍光画像を用いて、或る細胞を中心としたときの細胞の分布密度（分散値）や、隣接する細胞の数を求めてもよい。

（ｅ）立体情報
共焦点顕微鏡で蛍光画像を取得する場合、解析部５３は、細胞の光軸方向（Ｚ方向）の情報を特徴量に含めてもよい。例えば、解析部５３は、細胞のＺ方向の長さ、細胞のＺ方向への重なり、ニューロンやミトコンドリア等のＺ方向への長さ、ニューロンのＺ方向への分岐状態、Ｚ方向へのタンパク質の分布等を求めることができる。

（ｆ）細胞の動的変化の情報
予備観察時にタイムラプス撮影を行っている場合、解析部５３は、細胞の動的変化から以下の事項を特徴量として検出することができる。例えば、解析部５３は、試薬への応答、オルガネラの移動、膜電位の変動、心筋細胞の脈動などの有無を検出できる。

ステップ＃１０６：決定部５４は、ユーザの指定した特徴量の検索式に応じて、データベースの全ての細胞画像を検索式の条件との合致度が高い順にソートする。そして、決定部５４は、細胞画像をソートした結果を表示装置１４に一覧表示するとともに、観察対象の指定入力を受け付ける。なお、検索式は、予め登録されたものを用いてもよい。

図４は、ソート結果の表示画面の一例を示す図である。＃１０６での表示装置１４には、検索式の条件との合致度が高い順に、ＧＵＩ形式の細胞画像のアイコンが表示される。図４の例では、アイコンの表示領域（６１）において、細胞画像のアイコンが合致度の高い順に右上から横方向に配列されるものとする。また、本実施形態の例では、一覧表示される細胞画像のアイコンの総数は予め指定された数に制限される。或るアイコンがポイントされると、決定部５４の制御により、ステータスの表示領域（６２）において、拡大された細胞画像（６３）と、特徴量の数値情報（６４）と、培養容器上での細胞の位置（６５）とがそれぞれ表示される。
そして、ユーザによってアイコンが指定されると、決定部５４は指定されたアイコンに対応する細胞を詳細観察の観察対象に決定する。

その後、図４の表示画面で「詳細観察」のアイコン（６６）が指定されると、観察制御部５５は詳細観察を開始する。また、図４の表示画面で「再ソート」のアイコン（６７）が指定されると、決定部５４はユーザが再入力した検索式に応じて、細胞画像を再びソートする。これにより、ユーザは、例えば面積順で細胞画像をソートした後に蛍光強度順の条件を追加して、観察対象を絞り込むことができる。

ステップ＃１０７：ＣＰＵ１３ａは、「詳細観察」のアイコンが指定されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０９に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０８に処理が移行する。

ステップ＃１０８：ＣＰＵ１３ａは、「再ソート」のアイコンが指定されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０６に戻って、決定部５４は再入力された検索式に基づいて細胞画像のソートを行う。一方、上記要件を満たさない場合（ＮＯ側）には＃１０７に戻ってＣＰＵ１３ａは入力を待機する。

ステップ＃１０９：観察制御部５５は、ユーザの入力に基づいて、標本１（観察対象）の詳細観察の条件を設定する。＃１０１の段階で詳細観察の条件が設定されている場合、＃１０９の処理は省略してもよい。なお、詳細観察の条件については、予備観察の条件との対比で＃１０１で説明されているので重複説明は省略する。

ステップ＃１１０：観察制御部５５は、＃１０６で指定された観察対象の詳細観察を実行する。

まず、位置調整部５２は、観察制御部５５の指示により、顕微鏡の光軸ＡＸの位置が観察対象の細胞と合致するようにシフトステージ１１をＸＹ方向にシフトさせる。そして、撮像制御部５１は、観察制御部５５の指示に応じて、＃１０９（または＃１０１）で決定された詳細観察の条件下で撮像装置３７を駆動させる。これにより、観察対象の詳細観察が実行される。その後、観察制御部５５は、他の観察対象についても同様に詳細観察を実行する。

ステップ＃１１１：観察制御部５５は、詳細観察の条件の変更指示をユーザから受け付けたか否かを判定する。例えば、詳細観察の結果、同じ観察対象を異なる条件で再観察したいとユーザが考える場合があるからである。

上記要件を満たす場合（ＹＥＳ側）には＃１０９に戻って、観察制御部５５は、ユーザの入力に基づいて標本１の詳細観察の条件を再設定し、上記動作を繰り返す。一方、上記要件を満たさない場合（ＮＯ側）には＃１１２に処理が移行する。

ステップ＃１１２：観察制御部５５は、観察対象の再選択指示（再ソートの指示）をユーザから受け付けたか否かを判定する。例えば、詳細観察の結果、他の観察対象を観察したいとユーザが考える場合があるからである。

上記要件を満たす場合（ＹＥＳ側）には＃１０６に戻って、決定部５４は再入力された検索式に基づいて細胞画像のソートを行う。一方、上記要件を満たさない場合（ＮＯ側）には観察制御部５５は、図２の処理を終了させる。

次に、本実施形態の作用効果を述べる。本実施形態の顕微鏡システムは、培養容器の全体を走査して予備観察を行い（＃１０２）、予備観察の結果から求めた特徴量に応じて細胞画像をソートする（＃１０３〜＃１０６）。そして、ソートされた細胞画像を用いて詳細観察の対象が決定される（＃１０６）。これにより、本実施形態では、培養容器全体から観察の目的に合致した細胞画像がソートされて抽出されるので、詳細観察の観察対象を効率的に選抜することが可能となる。

以下、本実施形態における＃１０２〜＃１０６の処理の実施例を説明する。

（実施例１）
実施例１は、培養細胞内の蛍光強度比で細胞画像のソートを行う例である。実施例１での被検物は、２種類の蛍光タンパクを導入した細胞であって、実施例１では例えば各蛍光タンパクの関係の調査が目的となる。

この場合、＃１０２の予備観察において、細胞に励起光を照射しつつ撮像装置３７がタイリング撮影を行い、培養容器の全域で蛍光画像を取得する。そして、＃１０５での解析部５３は、各細胞の特徴量のパラメータとして、各蛍光の輝度平均値、各蛍光と背景との輝度比、蛍光間の輝度比、蛍光間の輝度重心の相対位置を求める。

＃１０６において、決定部５４は、ユーザの検索式に対応する細胞画像をソートして表示装置１４に一覧表示する。例えば、各蛍光の蛍光輝度がいずれも高いことを条件とする検索式の場合、２つの蛍光タンパクが発現した状態の細胞画像がソートで抽出される。また、一方の蛍光の蛍光輝度が高く、他方の蛍光の蛍光輝度が低いことを条件とする検索式の場合、一方の蛍光タンパクのみが発現した状態の細胞画像がソートで抽出される。

（実施例２）
実施例２は、骨の細胞やガン細胞に見られる多核化細胞を予備観察で判別する例である。実施例２では、核染色剤（Hoechst33342）で染色された細胞を被検物とする。

この場合、＃１０２の予備観察において、撮像装置３７は、培養容器の全域で透過画像および蛍光画像を取得する。そして、＃１０５での解析部５３は、各細胞の特徴量のパラメータとして、透過画像に基づいて各細胞の輪郭を求めるとともに、蛍光画像から細胞の輪郭内での蛍光の輝度を求める。

そして、＃１０６において、決定部５４は、Hoechst33342に対応する蛍光の輝度ピーク値が細胞の領域内に２点以上存在する細胞画像（つまり、１細胞中に核が複数ある細胞画像）をソートして抽出すればよい。

（実施例３）
実施例３は、幹細胞の分化誘導を予備観察で判別する例である。実施例３での被検物は、蛍光タンパクを導入したｉＰＳ細胞やＥＳ細胞である。

この場合、＃１０２の予備観察において、撮像装置３７は、培養容器の全域で透過画像および蛍光画像を取得する。そして、＃１０５での解析部５３は、各細胞の特徴量のパラメータとして、透過画像から細胞の形態情報を求めるとともに、蛍光画像から蛍光の輝度情報を求める。

＃１０６において、決定部５４は、ユーザの検索式に対応する細胞画像をソートして表示装置１４に一覧表示する。例えば、細胞の形態的な特徴と、分化の指標となる蛍光マーカーの輝度とを用いれば、分化した細胞の細胞画像と未分化の細胞の細胞画像とをソートで分別することができる。

（実施例４）
実施例４は、単離したオルガネラ・ビーズを用いた研究において、凝集するサンプルを予備観察で除外する例である。単離したオルガネラやビーズは、足場がない状態で培養容器に準備される場合が多く、これらが凝集してしまうことがある。そして、凝集したサンプルを避けて観察対象を決定することが要求されるケースがある。

この場合、＃１０２の予備観察において、撮像装置３７は、培養容器の全域で透過画像および蛍光画像を取得する。＃１０３での解析部５３は、透過画像からパターンマッチングでオルガネラ・ビーズを抽出する。＃１０５での解析部５３は、各サンプルの特徴量のパラメータとして、透過画像や蛍光画像からサンプルの分布情報を求める。そして、＃１０６において、決定部５４は、２つ以上のサンプルが隣接するものを除外するように細胞画像のソートを行えばよい。

（実施例５）
実施例５は、細胞死を予備観察で判別する例である。例えば、薬効評価や細胞毒性評価など様々な場面で細胞死の評価が必要とされている。細胞死にはアポトーシスとネクローシスの２種類が存在する。また、アポトーシスの発生初期・後期とネクローシスとの間には以下のような相違がある。

アポトーシス初期の細胞は球状であって、細胞膜上に突起状の凹凸が見られる。また、アポトーシス初期の細胞は、蛍光マーカーのAnnexinV-FITCに陽性反応を示し、蛍光マーカーのＰＩ（Propium Iodide）に陰性反応を示す。

アポトーシス後期の細胞は球状であって、細胞膜上に突起状の凹凸が見られる。また、アポトーシス後期の場合には細胞内の透過光の輝度が相対的に高くなる。また、アポトーシス後期の細胞は、蛍光マーカーのAnnexinV-FITCおよびＰＩにいずれも陽性反応を示す。

ネクローシスの細胞は球状であって、細胞膜の破裂により核が強調されて見える。そのため、ネクローシスの場合には細胞内の透過光の輝度が相対的に低くなる。また、ネクローシスの細胞は、蛍光マーカーのAnnexinV-FITCおよびＰＩにいずれも陽性反応を示す。

上記の特徴に注目すれば、アポトーシス初期／後期の細胞と、ネクローシスの細胞と、正常な細胞とを識別できることが分かる。

実施例５の場合、＃１０２の予備観察において、撮像装置３７は、培養容器の全域で透過画像および蛍光画像を取得する。そして、＃１０５での解析部５３は、各細胞の特徴量のパラメータとして、透過画像から細胞の円形度と細胞の透過光の輝度情報とを求めるとともに、蛍光画像から蛍光の輝度情報（AnnexinV-FITC、ＰＩに対応する蛍光の輝度）を求める。そして、＃１０６において、決定部５４は、以下の（検索式１）〜（検索式３）によって細胞画像のソートを行えばよい。
（検索式１）アポトーシス初期の細胞を抽出する場合、決定部５４は、「円形度が高く、AnnexinV-FITCの輝度が高く、ＰＩの輝度が高い」条件で細胞画像をソートする。
（検索式２）アポトーシス後期の細胞を抽出する場合、決定部５４は、「円形度が高く、透過光の輝度が高く、AnnexinV-FITCおよびＰＩの輝度が高い」条件で細胞画像をソートする。
（検索式３）ネクローシスの細胞を抽出する場合、決定部５４は、「円形度が高く、透過光の輝度が低く、AnnexinV-FITCおよびＰＩの輝度が高い」条件で細胞画像をソートする。

なお、死細胞をすべて抽出する場合、（検索式１）から（検索式３）の論理和を用いればよい。

＜実施形態の補足事項＞
（補足１）上記実施形態での透過画像は、位相差観察法、微分干渉観察法、偏光観察法などで撮像された画像であってもよい。また、上記実施形態において、観察対象となる被検物は細胞に限定されない。

（補足２）上記実施形態の顕微鏡システムは、恒温室内で細胞を培養する細胞培養装置（インキュベータ）に組み込まれたものであってもよい。

（補足３）上記実施形態では、細胞画像のソートの結果を一覧表示し、詳細観察の観察対象をユーザに指定させて決定させる例を説明した。しかし、決定部５４は、ソート結果の上位の細胞画像から順番に詳細観察の対象を自動的に決定してもよい。

（補足４）上記実施形態では、予備観察の結果に応じて細胞画像をソートし、詳細観察の観察対象を決定する例を説明した。しかし、本発明は、予備観察の結果に応じて細胞画像をソートし、ソートの結果を用いて培養容器からピペッター等でピックアップする細胞を決定するものであってもよい。

（補足５）上記実施形態では、撮像制御部５１、位置調整部５２、解析部５３、決定部５４、観察制御部５５の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明において、撮像制御部５１、位置調整部５２、解析部５３、決定部５４、観察制御部５５の機能をＡＳＩＣでハードウエア的に実現しても勿論かまわない。

（補足６）上記実施形態では、決定部５４が予備観察結果の全て範囲の細胞画像を対象としてソートを行う例を説明した。しかし、本発明の決定部５４は、ユーザの指定に応じて、上記のソートの対象となる培養容器上の範囲を絞り込んでもよい。

一例として、上記実施形態の＃１０６においてソートの対象となる培養容器上の範囲を絞り込む例を説明する。決定部５４は、各透過画像が培養容器上の位置にマッピングされるように、表示装置１４に透過画像を整列表示させる（タイリング表示）。これにより、ユーザは、培養容器全体で細胞の分布・細胞の育成状態を大局的に判断できる。そして、決定部５４は、タイリング表示の画面上でソートの対象となる範囲の指定をユーザから受け付ける。

図５は、ソートの対象となる範囲の指定の例を示す図である。決定部５４は、ソートの対象となる培養容器上の範囲（注目領域（Region Of Interest：ＲＯＩ））を指定するアイコン（枠表示）を、タイリング表示された透過画像にオーバーレイさせて表示装置１４に表示させる。なお、図５の例ではＲＯＩをハッチングで示す。決定部５４は、画像上のＲＯＩに対応する培養容器上の座標を求めるとともに、ＲＯＩの範囲外の細胞画像を除外して＃１０６でのソートを実行する。これにより、明らかに観察対象になり得ない細胞に対応する細胞画像をソートから除外することができ、実験の効率をより向上させることができる。

なお、図５（ａ）は、培養容器上の外周に細胞が密集しているときに、円形のＲＯＩで培養容器の中央部をソートの対象となる範囲として選択した例を示している。また、図５（ｂ）は、培養容器内の一部において、細胞の育成状態が非常に高い場合に矩形のＲＯＩでソート対象となる範囲を選択した例を示している。

また、本発明において、＃１０２での予備観察の前にさらに培養容器全体の透過画像をタイリング撮影等で取得し、＃１０２の予備観察の範囲をＲＯＩで事前に絞り込むようにしてもよい。

本発明の実施形態では、細胞を詳細観察の観察対象に決定する場合、算出した特徴量に基づいて細胞画像をソートして、観察対象を決定する例を説明したが、これに限定されず、例えば、予め所望の特徴量の閾値を入力しておき、決定部５４がその閾値以上の細胞画像をソートすることなく、抽出して自動的に観察対象を決定してもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１…標本、１１…シフトステージ、１２…顕微鏡装置、１３…コンピュータ、１３ａ…ＣＰＵ、１３ｂ…メモリ、１４…表示装置、１５…記憶装置、１６…入力装置、２１…モータユニット、２２…エンコーダ、３１…対物レンズ、３２…焦点調節機構、３３…励起光照明装置、３３ａ…調光フィルタ、３４…蛍光フィルタブロック、３５…第２対物レンズ、３６…光路切替器、３６ａ…ミラー、３７…撮像装置、３７ａ…撮像素子、４０…透過照明装置、４１…光源、４２…コリメータレンズ、４３…コンデンサレンズ、５１…撮像制御部、５２…位置調整部、５３…解析部、５４…決定部、５５…観察制御部

Claims (13)

1. 顕微鏡の光学系で結像された被検物の画像を取得する撮像制御部と、
   前記顕微鏡の光軸と交差する方向に前記顕微鏡の視野をシフトさせる位置調整部と、
   予備観察で前記視野をシフトさせて取得した複数の前記画像を解析し、前記画像に含まれる前記被検物の特徴量を求める解析部と、
   前記特徴量に応じて前記被検物のうちから観察対象を決定する決定部と、
   前記位置調整部を制御して前記視野が前記観察対象を含むように設定するとともに、前記観察対象の画像取得を前記撮像制御部に実行させる制御部と、
   を備えることを特徴とする顕微鏡装置。
2. 請求項１に記載の顕微鏡装置において、
   前記決定部は、取得した複数の前記画像を前記特徴量に応じてソートし、該ソート結果を用いて、前記観察対象を決定することを特徴とする顕微鏡装置。
3. 請求項１または請求項２に記載の顕微鏡装置において、
   前記決定部は、取得した複数の前記画像を表示装置に表示させるとともに、複数の前記画像のうちから指定した前記画像を前記特徴量に応じてソートし、該ソート結果を用いて、前記観察対象を決定することを特徴とする顕微鏡装置。
4. 請求項２または請求項３に記載の顕微鏡装置において、
   前記決定部は、前記画像のソート結果を表示装置に表示するとともに、前記表示装置に表示した前記画像に対して、所望の画像を指定することにより前記観察対象を決定する顕微鏡制御装置。
5. 請求項１から請求項４のいずれか１項に記載の顕微鏡装置において、
   前記観察対象は、前記観察とは異なる条件で画像取得が行われることを特徴とする顕微鏡装置。
6. 請求項５に記載の顕微鏡装置において、
   前記予備観察とは異なる条件として、前記予備観察は、前記観察対象の画像取得時に比べて前記被検物への照明光量が少ない条件で行われることを特徴とする顕微鏡装置。
7. 請求項５に記載の顕微鏡装置において、
   前記予備観察とは異なる条件として、前記予備観察では、前記観察対象の画像取得時に比べて前記顕微鏡の倍率が低く設定されることを特徴とする顕微鏡装置。
8. 請求項５に記載の顕微鏡装置において、
   前記予備観察とは異なる条件として、前記予備観察では、前記観察対象の画像取得時に比べて前記顕微鏡の焦点深度の許容幅が大きく設定されることを特徴とする顕微鏡装置。
9. 請求項1から請求項８のいずれか１項に記載の顕微鏡装置において、
   前記予備観察時は、前記被検物の明視野観察による画像取得を行い、
   前記観察対象の画像取得時は、前記被検物の蛍光観察による画像取得を行うことを特徴とする顕微鏡装置。
10. 請求項１から請求項９のいずれか１項に記載の顕微鏡装置において、
    前記決定部は、前記被検物の形態情報、蛍光の輝度情報、透過光の輝度情報の少なくとも１つを用いて前記画像のソートを行うことを特徴とする顕微鏡装置。
11. 請求項１０に記載の顕微鏡装置において、
    前記決定部は、前記被検物が細胞であるときに、前記蛍光の輝度、前記透過光の輝度、前記細胞の円形度を用いて、前記細胞の生死を判定することを特徴とする顕微鏡装置。
12. 請求項１１に記載の顕微鏡装置において、
    前記決定部は、前記細胞が死細胞であると判定した場合、前記死細胞の種類別に分類、抽出することを特徴とする顕微鏡装置。
13. 顕微鏡の光学系で結像された被検物の画像を取得する処理と、
    前記顕微鏡の光軸と交差する方向に前記顕微鏡の視野をシフトさせる処理と、
    予備観察で前記視野をシフトさせて取得した複数の前記画像を解析し、前記画像に含まれる前記被検物の特徴量を求める処理と、
    前記特徴量に応じて前記被検物のうちから観察対象を決定する処理と、
    前記顕微鏡の視野をシフトさせるときに前記視野が前記観察対象を含むように設定するとともに、前記観察対象の画像取得を実行する処理と、
    を顕微鏡を制御するコンピュータに実行させるプログラム。
    

Images