以下、本発明の実施形態を図1〜図15に基づき説明する。なおここでは、例えば細胞、細菌、微生物などの試料のうち細胞を試料とし、例えば培養液を溶液として説明する。また、複数の細胞が寄り集まった細胞塊を試料塊として説明する。
(第1の実施形態)
最初に、本発明の第1の実施形態に係る観察システムについて、図1〜図5を用いてその構造を説明する。図1は観察システムの構成図、図2は観察システムの観察装置の垂直断面側面図、図3は観察装置の垂直断面正面図、図4は観察装置の垂直断面側面図にして、容器を全体観察部に対応する箇所に移動させた状態を示すもの、図5は観察システムのコンピュータの構成を示すブロック図である。なお、以下の説明において、図2及び図3のx軸方向を左右方向、y軸方向を前後方向(+y方向を前方、−y方向を後方)、z軸方向を上下方向とする。
観察システムSは、図1に示すように観察装置1、制御装置100、及びコンピュータ200を備えている。
観察装置1は細胞などの試料を観察するための装置であって、制御装置100が接続されている。制御装置100は観察装置1を制御するための装置であって、観察装置1を駆動するための図示しないドライバやコントローラなどを内蔵している。そして、制御装置100はコンピュータ200に接続されている。コンピュータ200は、例えば所謂パーソナルコンピュータであって、細胞などの試料を観察するための図示しない観察プログラムなどを実行する。すなわち、コンピュータ200は制御装置100に指令を送って観察装置1を制御したり、観察時に撮像した画像の取得、保存などを実行したりすることが可能になっている。
観察装置1は、図1〜図4に示すようにその筐体である本体2に全体観察部10、拡大観察部20、搬送部30、及び駆動部40を備えている。
観察装置1はその正面中央部に配置された細胞と細胞の培養液とが入った容器C内の細胞の全体観察部10及び拡大観察部20を用いた観察が可能である。駆動部40によって容器Cを把持する搬送部30を前後、左右の所望の方向、位置に移動させることができる。本体2は床面に対して4箇所に設けられた脚部3よって支持されている。なお、容器Cは容器外部からの汚染や他の容器との間での汚染などを防止するために蓋が設けられている。
全体観察部10は本体2の密閉された筐体内部の前側の部分に設けられ、全体観察光学系であるレンズ11と、撮像部であるCMOSカメラ12と、全体観察照明であるリング照明13とを備えている。
レンズ11は容器Cを把持する搬送部30の移動空間の上方に配置され、下方に向かって容器C内を観察可能にして設けられている。CMOSカメラ12はレンズ11の鉛直上方に設けられ、その撮像素子面が下方のレンズ11の方を向くように配置されている。
リング照明13は斜め上方を向く形で取り付けられた複数のLEDがリング状に配列された構造をなし、搬送部30の移動空間の下方に配置されている。なお、リング照明13と搬送部30の容器Cとの間には所定距離離れた空隙Dを有している(図4参照)。これにより、リング照明13と容器Cとの間に空気が流通する空間が生じるので、リング照明13が発する熱が容器Cに伝わり難くなる。したがって、リング照明13の発熱による影響が細胞の成育に及ぶのを抑制できる。そして、リング照明13は斜め上方であってリングの中心に向かって光を照射し、リング照明13の上方に位置する搬送部30の観察対象である容器C内の細胞を照らす。なお、CMOSカメラ12及びレンズ11は互いの光軸が一致するように各々配置され、その光軸がリング照明13の中心を通過するようにリング照明13が配置されている。
このような構成により、全体観察部10はリング照明13を用いて容器Cに光を照射することによりレンズ11を経て得られる像がCMOSカメラ12の撮像素子面で結像し、容器C全体を撮像することで容器C内の細胞の画像を撮像する。そして、撮像した画像が記憶されるので、容器C内の複数の細胞が寄り集まった細胞塊の識別や特定が容易になる。
また、全体観察部10が容器Cの下方から斜め上方に容器Cに対して光を照射するので、容器Cの底面のうち、細胞の存在する箇所を通過する光は細胞によって散乱し、散乱した光の一部がカメラに入射して細胞が白く映り、細胞のない箇所を通過する光は散乱せず、光がカメラに入射せず黒く映る。このようにして、容器Cの内底面近傍で発現、成育する細胞を特定するのに適正な光を照射することができる。そして、細胞の外形状を白い塊として認識できるコントラストが得られる。なお、下方から光を照射することにより、容器Cの蓋による反射光で細胞が白つぶれして観察できなくなることを防ぐ効果が得られる。
拡大観察部20は所謂位相差顕微鏡であって本体2の密閉された筐体内部の全体観察部10より後方の箇所に設けられ、対物レンズ21、反射ミラー22、ズームレンズ23といった拡大観察光学系と、撮像部であるCCDカメラ24と、拡大観察照明である位相差照明部25とを備えている。
対物レンズ21は搬送部30の移動空間のすぐ下方に配置され、上方に向かって容器C内を観察可能にして設けられている。なお、容器Cの底面に最も接近するレンズ部である対物レンズ21の周辺には下部本体2内で発生する熱が容器Cに影響を及ぼすのを防止するためのカバー部材である対物レンズカバー26が設けられている。また、対物レンズカバー26の上部先端であって対物レンズ21と容器Cとの間の箇所には窓部27が設けられている。
ここで、熱は密閉された筐体内のモータやカメラ、照明から発生して充満し、対物レンズ21付近にも滞留して上方へ発散しようとする。少ない面積の対物レンズカバー26ではなく、拡大観察光学系全部を覆うカバーとした場合、拡大観察光学系と容器C底面との接近は筐体内の熱が伝達し易くなり、培養液温度が上昇し易くなってしまう。
これに対して、対物レンズカバー26は容器C底面に接近している箇所の面積をできるだけ少なくすることで、容器C底面と対物レンズカバー26との隙間がほとんどなく、空気が流通しないことに起因する熱影響を抑制している。同時に、対物レンズカバー26は対物レンズ21周辺のみを覆うことで対物レンズカバー26の表面積を増大することができるので、空気が流通し易い対物レンズカバー26の横方向へも熱発散することができ、容器Cへの熱伝達を抑制することが可能である。
このようにして、拡大観察光学系と容器Cとの間に、対物レンズ21周辺のみを覆う、窓部27を備えた対物レンズカバー26を構成することにより、拡大観察光学系が発する熱が容器Cに伝わり難くなる。したがって、レンズ駆動系の発熱による影響が細胞の成育に及ぶのを抑制できる。
反射ミラー22は対物レンズ21の下方に配置され、後方に向かって略水平に光を反射するよう傾斜させて設けられている。反射ミラー22は対物レンズ21から得られた像を後方のズームレンズ23に導く。ズームレンズ23は反射ミラー22の後方に前後方向に延びる形で配置され、対物レンズ21から得られた像を拡大する。CCDカメラ24はズームレンズ23のさらに後方に設けられ、その撮像素子面が前方のズームレンズ23の方を向くように配置されている。
位相差照明部25は本体2の上部に設けられ、LED25aと、反射ミラー25bとを備えている。LED25aは位相差照明部25の下方に位置する搬送部30の観察対象である容器C内の細胞を照らす光を照射する。反射ミラー25bは対物レンズ21の鉛直上方に配置され、LED25aが照射した光が容器Cを経て対物レンズ21に到達するよう光を反射させる。
このような構成により、拡大観察部20は位相差照明部25を用いて容器Cに光を照射することにより対物レンズ21、反射ミラー22、及びズームレンズ23を経て得られる像がCCDカメラ24の撮像素子面で結像し、容器C内の一部の領域を拡大して容器C内の細胞を画像として撮像する。そして、撮像した画像が記憶されるので、容器C内の細胞塊の識別や特定、詳細な観察が容易になる。
また、拡大観察部20は細胞を拡大して観察するための複数のレンズとそのズーム機構とを有する比較的重量が重い拡大観察光学系が下方に配置されるので、装置の重量バランスが適正になって安定した拡大観察が可能になる。そして、容器Cの内底面近傍で発現、成育する細胞に対して容器Cの下方から対物レンズ21を接近させることができるので、焦点距離を短くして比較的大きな拡大率で観察することが可能である。さらに、拡大観察部20は容器Cの下方から観察するので、容器Cの蓋の汚れの影響を受けることなく観察することが可能である。
搬送部30は本体2の正面中央部であって、下方の全体観察部10のリング照明13や拡大観察部20の拡大観察光学系と、上方の全体観察部10の全体観察光学系や拡大観察部20の位相差照明部25とに挟まれた形で設けられている。搬送部30はホルダ31を備え、このホルダ31が観察対象である細胞と細胞の培養液とが入った容器Cを把持している。ホルダ31は全体観察部10と拡大観察部20とに対して位置決めがなされ、容器Cはホルダ31に対して位置決めがなされている。これにより、容器Cとホルダ31とを一緒に取り外して培養液を交換したり、試薬を投入したりしても、全体観察部10と拡大観察部20とにおいて同一箇所の観察が容易である。
駆動部40は搬送部30の後方及び側方に設けられ、x軸駆動機構41、x軸モータ42、y軸駆動機構43、y軸モータ44、z軸モータ45、及びズームモータ46を備えている。なお、図2及び図3に示すように観察装置1に対して左右方向をx軸と、前後方向をy軸と、上下方向をz軸として説明する。
x軸駆動機構41は搬送部30のすぐ後方に配置されるとともに搬送部30を直接支持している。x軸駆動機構41は図示しないベルト、プーリ、スライドガイド部材、シャフト等を備えてx軸モータ42によって駆動され、搬送部30を左右方向に移動させる。y軸駆動機構43は搬送部30及び本体2の側面の箇所に配置され、x軸駆動機構41を支持している。y軸駆動機構43は図示しないベルト、プーリ、スライドガイド部材等を備えてy軸モータ44によって駆動され、x軸駆動機構41とともに搬送部30を前後方向に移動させる(図4参照)。
このような駆動機構を動作させることにより、搬送部30は全体観察部10から拡大観察部20まで、またはその逆方向に容器Cを搬送する。容器Cが移動されるので、全体観察部10と拡大観察部20とが離れた箇所に配置されていても容器C全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能になる。
また、搬送部30は上記のように全体観察部10と拡大観察部20の光軸方向と垂直をなす方向に容器Cを搬送するものであって、搬送方向の少なくとも一方向、すなわち前後方向を共通にしていることにより全体観察部10における観察視野内の座標を拡大観察部20における観察視野内の座標に一致させる。これにより、全体観察部10と拡大観察部20との互いの観察視野内における座標が一致するので、全体観察部10で容器C全体を観察して特定した細胞塊を拡大観察部20で容易に識別できる。したがって、目標の細胞塊を誤って識別することが防止され、高精度な観察が実現できる。
z軸モータ45及びズームモータ46は搬送部30後方の本体2内に配置されている。z軸モータ45は拡大観察光学系及びCCDカメラ24を上下方向に移動させるためのモータである。ズームモータ46はズームレンズ23の拡大倍率の変更させるためのモータであり、撮像する画像の倍率変更が可能である。
コンピュータ200は、図5に示すように演算部201を少なくとも備えている。なお、記憶部210、計時部202、入力部203、及び出力部204を備えてもよい。
演算部201は一般的なマイコンやその他の電子部品によって構成され、このマイコン内部や記憶部210等に記憶、入力された観察プログラム220やその他のデータ等に基づいて観察装置1に係る一連の観察動作を制御する。なお、全体観察部10または拡大観察部20によって撮像された画像の処理を行う画像処理部を別途設けても良い。
演算部201で実行される観察プログラム220は、図5に機能ブロック図でハードウェア的に示したように細胞塊識別部221、細胞塊ソート部222、座標検出部223、座標変換部224、細胞塊抽出部225、形状識別部226、及び形状判定部227を備えている。なお、観察プログラム220はこれら各々の処理ブロックのほか、観察装置1の全体観察部10に指令を送り容器C全体を撮像することで細胞の画像を撮像させる全体撮像処理と、拡大観察部20に指令を送り容器C内を拡大して細胞の画像を撮像させる拡大撮像処理とを実行する。
細胞塊識別部221はまずカラー画像の場合はグレー画像に変換した上で、全体撮像処理で撮像した画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する。これにより、細胞塊でない部分が黒に細胞塊の部分が白に二値化される。そして、細胞、すなわち白色の画素数を算出する。この白色の画素数を算出する方式としては、例えば白色の画素の連結領域を算出するラベリング方式や任意位置の予め定めた小領域内の白色の画素数ができるだけ多くなるように領域を算出する小領域方式などが掲げられる。
ラベリング方式は単一の白色画素領域の大きさや白色画素領域の密集度合いによって細胞塊を識別する方式であり、小領域方式は白色画素領域の数や多さ、密集度合いによって細胞塊を識別する方式である。この他に、細胞塊の単離度合い(個々の細胞塊同士が所定の距離を保って存在している度合い)によって識別しても良い。なお、ここではラベリング方式を採用することとする。
ラベリング処理は二値化処理された画像に関して、隣接する白色画素(または黒色画素)に同じ番号(ラベル)を割り振ることにより複数の画素をグループ化する処理のことである。ラベリング処理における隣接の判定では4連結(4近傍)と8連結(8近傍)とを用いる。4連結では注目画素の上下左右に連続していれば隣接と判定し、8連結ではさらに斜め4方向の連続も加味して隣接を判定する。このようにして、細胞塊識別部221は全体撮像処理で撮像した画像から二値化した白色画素の塊、すなわち細胞塊を識別する。
そして、細胞塊識別部221は識別した細胞塊のうち所定サイズ以上の細胞塊を拡大観察対象細胞塊として認識する。「所定サイズ」は細胞塊の予め設定したサイズであり、拡大観察の対象とすべきであると判断することができる程度のサイズである。ここでは、所定サイズを例えば画素数にして1000ピクセルと設定し、記憶部210などに記憶している。これにより、画素数にして1000ピクセル以上の細胞塊が拡大観察対象細胞塊として認識されるので、細胞塊の発現のときを見極めることができる。したがって、細胞塊の発現のときから成育完了まで継続して観察を行うことが可能になる。
細胞塊ソート部222は細胞塊識別部221で識別された細胞塊、すなわち白色の画素の塊のうち、画素数の多いものから順にソートを実行する。そして、例えば画素数の多いものから順に予め定められた個数の細胞塊が観察対象などとして選択される。
座標検出部223は細胞塊識別部221で識別され、細胞塊ソート部222でソートされた細胞塊、すなわち白色画素の塊の中心座標を検出する。
座標変換部224はまず全体撮像処理で撮像した画像上の画素による座標を算出する。そして、画像中心を原点とする実寸に変換する。ここで、画像の歪曲収差などの各種収差を補正しても良い。さらに、座標変換部224はこの実寸で表された画像上位置に整合するように、実寸を観察装置1の駆動部40のx軸モータ42及びy軸モータ44のモータパルス数に変換する。このようにして、座標変換部224は拡大撮像処理で撮像する画像上の座標が全体撮像処理で撮像した画像上の座標に一致する共通の座標系を形成する。
細胞塊抽出部225は拡大撮像処理で撮像された画像から座標検出部223が検出した座標の細胞塊を抽出する。
形状識別部226はまず拡大撮像処理で撮像した画像に対して予め準備したパッチ画像とのマッチングを行う。マッチング結果としては、拡大撮像処理で撮像した画像とパッチ画像との、濃淡で表現された距離画像が得られる。そして、形状識別部226はその距離画像を所定の閾値を用いて二値化処理を実行する。マッチングの手法としては、例えばテンプレートマッチングやヒストグラムマッチングなどが挙げられ、判定対象の画像、すなわち拡大撮像処理で撮像した画像をパッチ画像によりラスタスキャンして双方の距離を算出する。パッチ画像を多数準備する場合はマッチング結果の距離画像を積算する。なお、拡大撮像処理で撮像した画像内に複数個の細胞塊が存在する場合でも、形状識別部226は各々の細胞塊を別個のものとして識別できる。
続いて、形状識別部226は二値化処理された画像において、例えばエッジ抽出フィルタによる輪郭抽出と8連結探索による輪郭追跡を実行して輪郭を検出する。輪郭抽出の際のエッジ抽出フィルタとしては、例えば微分フィルタやプリューウィットフィルタ、ソーベルフィルタ、Canny Edge Detectorなどを用いることができる。輪郭追跡では輪郭の追跡開始点から一方向に順次輪郭点を追跡していくことで輪郭線を抽出でき、4連結探索を用いることもできる。
そして、形状識別部226は輪郭検出結果から円や楕円、矩形などの所定形状を検出する。輪郭やエッジから円を検出する手法としてはハフ変換などを用いることができる。輪郭やエッジから楕円を検出する手法としては一般化ハフ変換や最小二乗推定によって輪郭の点列に楕円をフィットさせる手法などを用いることができる。輪郭やエッジから矩形を検出する手法としては輪郭の点列を全て包含するように矩形をフィットさせる手法などを用いることができる。このようにして、形状識別部226は拡大撮像処理で撮像した画像から細胞塊の輪郭抽出し、形状を識別する。
形状判定部227は形状識別部226で識別された細胞塊の形状が所定形状であるか否かを判定する。「所定形状」は細胞塊の予め設定した形状であり、観察するに好適に成育し続ける可能性が高いと判断することができる程度の形状であってできるだけ円形に近いものが良い。
細胞塊の所定形状の判定条件としては形状のほか、例えば大きさや凹凸度合いといった条件を加味しても良い。形状の判定条件としては、例えば輪郭を囲む楕円の楕円形度、輪郭を囲む円の真円度などが挙げられる。大きさの判定条件としては、例えば白色画素塊の大きさ、白色画素塊の輪郭の長さ、白色画素塊の輪郭内部の面積、楕円の長軸長さ、楕円の短軸長さ、楕円の円周の長さ、円の直径、円周の長さ、輪郭を囲む矩形の長さ、輪郭を囲む矩形の面積などが挙げられる。凹凸度合い判定条件としては、例えば輪郭の面積と周囲長との比、輪郭の面積と輪郭を囲む矩形の面積との比、輪郭の長さと輪郭を囲む矩形の長さとの比、輪郭のコーナー数、輪郭の面積と輪郭を囲む円或いは楕円の面積との比、輪郭の長さと輪郭を囲む円の円周或いは楕円の円周の長さとの比、輪郭を囲む矩形の面積と輪郭を囲む円或いは楕円の面積との比、輪郭を囲む矩形の長さと輪郭を囲む円或いは楕円の長さとの比などが挙げられる。輪郭のコーナー数で判定する際のコーナー検出手法としては、例えばハリスのコーナー検出やSUSANオペレータなどを用いることができる。
ここでは、細胞塊の所定形状の判定条件を例えば楕円形度にして1.1以下と設定し、記憶部210などに記憶している。なお、楕円形度は楕円の短軸長さに対する長軸長さの比である。これにより、できるだけ円形に近い細胞塊が識別されるので、観察を続けるのに適正な形状の細胞塊を自動的に選別することができる。したがって、成育過程で歪な形状に成育した細胞塊の観察順位を低くしたり、観察を中止したりすることができ、適正な形状の細胞塊の観察をより一層効率良く進めることが可能になる。
また、形状判定を閾値(例えば楕円形度1.1)によって明示的に行う方法だけでなく、判定結果の優劣に基づいて細胞塊画像をソートしてモニタ204aに表示(楕円形度なら、楕円形度が小さい順に表示)し、どの細胞塊までを好適と判定するかをユーザに委ねるような方法でも良い。
記憶部210は細胞の観察や観察システムSの動作に関する様々なデータを記憶するためのものであって、例えば観察タイミング保持部211、観察位置保持部212、位置更新可否保持部213、閾値保持部214、形状保持部215、及び観察画像保持部216を備えている。
観察タイミング保持部211は観察に係る期間や日数、期限などといった日時に関する様々なデータを保持する。例えば、拡大観察対象細胞塊の識別を実行するタイミングについて設定した細胞塊の識別に関する所定期間である「所定識別期間」、拡大観察対象細胞塊の識別を終了するタイミングについて設定した所定日数である「所定識別日数」、拡大した細胞塊の撮像を実行するタイミングについて設定した拡大画像の撮像に関する所定期間である「所定撮像期間」、細胞の観察を終了するタイミングについての予め設定した所定期限である「所定観察期限」などといったデータである。これらのデータは観察プログラム220において適宜判定条件として使用され、計時部202で計測される日時と比較される。
観察位置保持部212は全体観察によって得られた細胞塊の観察位置(座標)や、手動で設定した観察位置(座標)といったデータを保持する。
位置更新可否保持部213は観察タイミング保持部211に記憶された所定識別期間に応じて、前回の全体観察時に得て観察位置保持部212に記憶された細胞塊の観察位置を更新するか否かのフラグを保持する。
閾値保持部214は観察に係る閾値に関する様々なデータを保持する。例えば、二値化処理の際に白色画素か黒色画素かを判定するための閾値、ラベリングされた白色画素塊を細胞塊として抽出するか否かを判定するための画素数についての閾値などといったデータである。
また、閾値保持部214は形状識別処理実行の際、好適に成育し得る細胞塊を識別するための閾値を保持する。例えば、白色画素塊の大きさで判定するための画素数の閾値、白色画素塊の輪郭の長さで判定するための輪郭の長さの閾値、白色画素塊の輪郭内部の面積で判定するための面積の閾値、輪郭を囲む円の真円度で判定するための真円度の閾値、輪郭を囲む楕円の楕円形度で判定するための楕円長軸と楕円短軸の比の閾値、円の直径で判定するための直径の閾値、円周の長さで判定するための円周の閾値、楕円の長軸長さで判定するための長軸の閾値、楕円の短軸長さで判定するための短軸の閾値、楕円の円周の長さで判定するための楕円円周の閾値、輪郭を囲む矩形の長さで判定するための矩形の長さの閾値、輪郭を囲む矩形の面積で判定するための矩形の面積の閾値、輪郭の面積と周囲長との比で判定するための輪郭の面積と周囲長との比の閾値、輪郭の面積と輪郭を囲む矩形の面積との比で判定するための面積比の閾値、輪郭の長さと輪郭を囲む矩形の長さとの比で判定するための長さ比の閾値、輪郭のコーナー数で判定するためのコーナー数の閾値、輪郭の面積と輪郭を囲む円或いは楕円の面積との比で判定するための面積比の閾値、輪郭の長さと輪郭を囲む円或いは楕円の長さとの比で判定するための長さ比の閾値、輪郭を囲む矩形の面積と輪郭を囲む円或いは楕円の面積との比で判定するための面積比の閾値、輪郭を囲む矩形の長さと輪郭を囲む円或いは楕円の長さとの比で判定するための長さ比の閾値などといったデータである。
形状保持部215は形状識別処理の全ての方法について、細胞塊の形状識別処理結果を保持する。
観察画像保持部216は拡大観察画像、全体観察画像を保持する。
なお、観察タイミング保持部211や閾値保持部214は観察プログラム220に関する諸設定をユーザが適宜変更できる設定部としても機能する。観察タイミング保持部211を用いて設定可能な事項としては、例えば全体観察部10や拡大観察部20において画像を撮像するタイミングや、観察に係る期間や日数、期限などといった設定事項である。閾値保持部214を用いて設定可能な事項としては、例えば拡大観察対象細胞塊の判定基準である細胞塊の所定サイズ、細胞塊が観察を続けるのに適正な形状であるか否かの判定基準である細胞塊の所定形状などといった設定事項である。
計時部202は細胞の観察開始からの日時や観察システムSの動作制御に関する時間を計測するためのものであって、各種時間を把握できる。
入力部203は、例えばキーボード203aやマウス203bなどのポインティングデバイスで構成されている。ユーザはキーボード203aを用いて文字や数値などの入力を行う。また、ユーザはマウス203bを用いて出力部204のモニタ204aの画面上でカーソルを任意の方向に移動させ、メニューやその他選択肢の選択を行う。演算部201は入力部203から得られる情報に基づき演算部201や記憶部210に記憶、入力されたプログラム、データ、ファイルに対して各種処理を実行したり、出力部204に対して出力処理を実行したりする。
出力部204は、例えば液晶ディスプレイ、CRT等のモニタ204aやスピーカ204bで構成されている。演算部201は実行されるプログラムの処理に基づいてモニタ204aにウィンドウやアイコン、メニューなどを表示させたり、スピーカ204bから発音させたりする。また、演算部201は入力部203からの情報に基づいてモニタ204aにユーザが入力した文字や数値などを表示させ、ユーザが移動させるカーソルを表示させる。
続いて、容器C内の細胞の観察に係るユーザによる観察システムSの操作について、図6に示すフローに沿って説明する。図6は観察システムSの操作に係るフローを示す説明図である。
ユーザは最初に観察装置1、制御装置100、及びコンピュータ200の電源をオンにして観察システムSを起動させる(図6のステップ#101)。そして、ユーザは搬送部30のホルダ31に細胞と細胞の培養液とが入った容器Cをセットする(ステップ#102)。続いて、ユーザはコンピュータ200において観察プログラム220を起動させると(ステップ#103)、モニタ204a上に操作画面が表示される。
観察プログラム220はプログラムの起動と連動して自動的に、搬送部30の原点復帰動作を実行するようになっている(ステップ#104)。そして、観察プログラム220はカメラによる撮像を開始し(ステップ#105)、モニタ204aにカメラからのリアルタイム画像を表示させる。
続いて、ユーザはモード設定操作を実行する(ステップ#106)。このモード設定操作では通常タイムラプス探索操作(ステップ#107)と、全体観察操作(ステップ#108)とが選択できる。タイムラプス観察とは所定期間ごとに予め設定された位置を観察する手法である。
通常タイムラプス探索操作(ステップ#107)ではユーザがモニタ204a上やキーボード203aの矢印キーで容器Cを移動させながら容器C内を観察し、目標の細胞を確認する。そして、キャプチャ画像の取得や表示、保存、さらに座標設定、座標保存などを実行する。
全体観察操作(ステップ#108)ではユーザが全体観察における所定識別期間や所定識別日数の設定を行う。画像の取得や表示、保存、さらに観察位置表示などは設定に基づき自動的に実行される。
次に、目的別操作(ステップ#109)では終了(ステップ#110)、目視継続(ステップ#111)、及びタイムラプス(ステップ#112)の操作が選択できる。
終了(ステップ#110)を選択すると、カメラによる撮像が停止され、設定が保存される。目視継続(ステップ#111)を選択すると、カメラによって撮像された画像の手動によるキャプチャ保存が可能である。
タイムラプス(ステップ#112)を選択すると、さらにタイムラプス観察開始、タイムラプス一時停止、及びタイムラプス再開の操作が可能である。タイムラプスを一時停止させた場合、容器Cの取り出しや培養液の交換といった作業が可能である(ステップ#113)。
このような観察プログラム220を用いてタイムラプス観察を実行すると、全体撮像処理で撮像した画像から発現した細胞塊を識別してその位置を特定し、さらに拡大撮像処理で撮像した画像から細胞塊の形状識別して観察を続けるのに適正な形状の細胞塊を選別するといった一連の処理を自動的に行うことが可能である。
続いて、観察システムSにおける観察処理に係る動作について、図7に示すフローに沿って説明する。図7は観察システムSにおける観察処理に係る動作を示すフローチャートである。
観察プログラム220を実行させると(図7のスタート)、観察プログラム220はまず所定識別期間に合致しているか否かを判定する(ステップ#201)。なおこれに関して、観察プログラム220は計時部202に対して播種後、例えば細胞の観察開始からの日時と、拡大観察部20を用いた前回の拡大観察対象細胞塊の識別からの期間とを予め計測させている。そして、所定識別期間は拡大観察対象細胞塊の識別を実行するタイミングについての予め設定した期間であり、例えば1日と設定され記憶部210の観察タイミング保持部211に記憶されている。所定識別期間は適宜設定することが可能である。
ステップ#201において所定識別期間に合致していない場合(ステップ#201のNo)、観察プログラム220は拡大観察部20に拡大画像を撮像させ(ステップ#202)、観察処理に係る動作についての一連のフローを終了する(図7のエンド)。
一方、ステップ#201において所定識別期間に合致している場合(ステップ#201のYes)、観察プログラム220は観察装置1の全体観察部10に指令を送り容器C全体を撮像することで細胞の画像を撮像させる(ステップ#203)。次に、観察プログラム220は撮像された全体画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する二値化処理を実行する(ステップ#204)。これにより、細胞塊でない部分が黒に細胞塊の部分が白に二値化される。
さらに、観察プログラム220は収縮膨張処理を実行する(ステップ#205)。収縮膨張処理とは黒色画素に接する白色画素を剥ぎ取る処理である収縮処理、それとは逆に黒色画素に接する白色画素を加える処理である膨張処理からなる。収縮処理では微小な白色画素の塊を黒色画素に反転し、膨張処理では白色画素領域内に存在する微小な黒色画素の塊を白色画素に反転できるため、ノイズを除去する効果がある。
そして、観察プログラム220はラベリング処理を実行し(ステップ#206)、任意位置の予め定めた小領域ごとに白色の画素数を算出し、白色画素の塊、すなわち細胞塊を識別する。さらに、観察プログラム220は識別された細胞塊、すなわち白色画素の塊のうち、画素数の多いものから順にソートを実行する(ステップ#207)。
次に、観察プログラム220は最大の白色画素の塊(細胞塊)のサイズが閾値、すなわち所定サイズ以上か否かを判定する(ステップ#208)。この閾値としての所定サイズは、例えば画素数にして1000ピクセルと設定し、記憶部210の閾値保持部214に記憶している。最大の細胞塊が所定サイズ未満である場合(ステップ#208のNo)、観察プログラム220は全体観察部10が撮像した全体画像の任意の座標を検出して拡大観察位置としてセットし(ステップ#209)、拡大観察部20に拡大画像を撮像させる(ステップ#202)。そして、観察プログラム220は観察処理に係る動作についての一連のフローを終了する(図7のエンド)。
一方、ステップ#208において最大の細胞塊が所定サイズ以上である場合(ステップ#208のYes)、観察プログラム220は再度選択した細胞塊が所定サイズ以上であるか否かを判定する(ステップ#210)。細胞塊が所定サイズ以上である場合(ステップ#210のYes)、観察プログラム220は白色画素の塊(細胞塊)を拡大観察対象細胞塊として認識してその中心座標を検出する(ステップ#211)。さらに、観察プログラム220はその中心座標を拡大画像観察用に座標変換する(ステップ#212)。
次に、観察プログラム220は座標変換した細胞塊の中心座標を拡大観察位置としてセットし(ステップ#213)、拡大観察部20に拡大画像を撮像させる(ステップ#214)。そして、観察プログラム220は次の白色画素の塊(細胞塊)を拡大観察対象細胞塊であるか否かの判定対象として選択し(ステップ#215)、ステップ#210に戻って選択した細胞塊が所定サイズ以上であるか否かを判定する。
ステップ#206で識別された細胞塊が所定サイズ未満となるまで(ステップ#210のNo)、ステップ#210〜ステップ#215までのフローが繰り返され、拡大観察対象として認識された細胞塊の拡大観察位置のセットが続けられる。ステップ#206で識別された細胞塊が所定サイズ未満となると(ステップ#210のNo)、観察プログラム220は観察処理に係る動作についての一連のフローを終了する(図7のエンド)。
そして、タイムラプス観察では拡大観察対象となる細胞塊の位置をユーザが手動で設定するか、全体観察結果から細胞塊の位置設定(位置特定)を行う。位置が特定された細胞塊に対して、観察プログラム220は所定撮像期間ごとに拡大観察部20に指令を送り容器C内を拡大してその細胞の画像を撮像させ、所定観察期限に到達したことを条件として撮像を中止する。
なお、所定観察期限は細胞の観察を終了するタイミングについての予め設定した期限であり、例えば10日と設定され観察タイミング保持部211に記憶されている。所定観察期限は適宜設定することが可能である。
このようにして、容器C全体を撮像した画像から細胞塊が識別されてその座標が検出され、検出された座標を中心に拡大することでその細胞塊の詳細を観察することが可能になる。また、所定撮像期間ごとに拡大された細胞の画像が撮像され、観察期限に到達したことでその撮像が終了されるので、細胞塊の発現のときから成育完了まで継続してタイムラプス観察を行うことが可能になる。
本発明の実施形態の構成によれば、容器C内で培養中の細胞を観察するにあたって、容器C全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察装置1を提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察プログラム220、観察方法及び観察システムSを提供することができる。
(第2の実施形態)
次に、本発明の第2の実施形態に係る観察プログラムについて、その観察処理に係る動作を図8に示すフローに沿って説明する。図8は観察プログラムにおける観察処理に係る動作を示すフローチャートである。なお、この実施形態の基本的な構成は図1〜図7を用いて説明した前記第1の実施形態と同じであるので、第1の実施形態と共通する構成要素については図面の記載及びその説明を省略するものとする。
第2の実施形態に係る観察プログラム220を実行させると(図8のスタート)、観察プログラム220はまず所定識別期間に合致しているか否かを判定する(ステップ#301)。所定識別期間に合致している場合(ステップ#301のYes)、観察プログラム220は観察装置1の全体観察部10に指令を送り容器C全体を撮像することで細胞の画像を撮像させる(ステップ#303)。
次に、観察プログラム220は容器Cに細胞を播種後、所定識別日数が経過したか否かを判定する(ステップ#304)。なおこれに関して、観察プログラム220は計時部202に対して播種後、例えば細胞の観察開始からの日時を予め計測させている。そして、所定識別日数は拡大観察対象細胞塊の識別を終了するタイミングについての予め設定した日数であり、例えば5日と設定され記憶部210の観察タイミング保持部211に記憶されている。
ステップ#304において播種後、例えば細胞の観察開始からの日時が所定識別日数である5日を経過している場合(ステップ#304のYes)、観察プログラム220は拡大観察部20に拡大画像を撮像させ(ステップ#302)、観察処理に係る動作についての一連のフローを終了する(図8のエンド)。すなわち、観察開始から5日を経過すると、拡大観察対象となる細胞塊の識別を中止してその位置情報を更新しない。
ステップ#304において播種後、例えば細胞の観察開始からの日時が所定識別日数である5日を経過していない場合(ステップ#304のNo)、観察プログラム220は撮像された全体画像の細胞塊でない部分と細胞塊の部分とを所定の閾値を用いて区別する二値化処理を実行する(ステップ#305)。以下、ステップ#305〜ステップ#316の動作フローは第1の実施形態のステップ#204〜ステップ#215の動作フローと同じであるので、説明を省略する。
そして、タイムラプス観察では所定識別期間ごとに拡大観察対象細胞塊を認識できるまで上記の拡大観察対象細胞塊の識別を繰り返し、且つ所定識別日数(5日)を経過したことを条件として拡大観察対象細胞塊の識別を中止する。所定識別期間は計時部202で計測される拡大観察対象細胞塊の識別を実行するタイミングについての予め設定した期間であり、例えば1日と設定され記憶部210の観察タイミング保持部211に記憶されている。所定識別期間及び所定識別日数は適宜設定することが可能である。
このようにして、拡大観察対象細胞塊を認識する、すなわち細胞塊の発現のときを見極められるまで所定識別期間(1日)ごとに拡大観察対象細胞塊の識別を繰り返すので、自動的に細胞塊の発現のときを見極められる。そして、細胞の観察開始から所定識別日数(5日)経過後は拡大観察対象細胞塊の識別が中止されるので、全体観察で特定した細胞塊の拡大観察のみが実行されて成育完了まで観察を効率良く進めることができる。
なお、拡大観察対象細胞塊の識別を継続するか否かの判定はステップ#304のように日数に基づき自動的に実行させる方法のほか、ユーザが自由に設定できるようなウィンドウやユーザインターフェースを設け、拡大観察対象細胞塊の識別を継続するか否かの判定をユーザに委ねる方法にしても良い。
(第3の実施形態)
次に、本発明の第3の実施形態に係る観察プログラムについて、その観察処理に係る動作を図9及び図10に示すフローに沿って説明する。図9は観察プログラムにおける観察処理に係る動作を示すフローチャート、図10は図9に示す観察処理に係る動作を示すフローチャートの続きである。なお、この実施形態の基本的な構成は前記第1及び第2の実施形態と同じであるので、これらの実施形態と共通する構成要素については図面の記載及びその説明を省略するものとする。
第3の実施形態において、図9の動作フローのステップ#401〜ステップ#410及び図10の動作フローのステップ#411〜ステップ#413は図7及び図8の動作フローと同じであるので、説明を省略する。
観察プログラム220は図10のステップ#413で拡大観察用に座標変換した細胞塊の中心座標を拡大観察位置として仮セットする(ステップ#414)。そして、観察プログラム220は拡大観察部20に指令を送り容器C内の拡大観察位置に関して拡大して細胞の画像を撮像させる(ステップ#415)。
続いて、観察プログラム220は拡大撮像処理で撮像された画像から細胞塊の輪郭を抽出し(ステップ#416)、形状を識別する(ステップ#417)。そして、観察プログラム220は識別された細胞塊の形状が所定形状、すなわち楕円形度の閾値以下であるか否かを判定する(ステップ#418)。この所定形状を示す楕円形度の閾値としては、例えば1.1と設定され記憶部210の閾値保持部214に記憶されている。細胞塊の所定形状を示す楕円形度の閾値は適宜設定することが可能である。また、楕円形度に代わる細胞塊の所定形状の判定条件、例えば真円度を設定することも可能である。
ステップ#418において細胞塊の楕円形度が閾値以下である場合(ステップ#418のYes)、観察プログラム220は細胞塊の中心座標を拡大観察位置として正式にセットする(ステップ#419)。一方、細胞塊の楕円形度が閾値を超えている場合(ステップ#418のNo)、観察プログラム220は仮セットした拡大観察位置を消去する(ステップ#420)。そして、観察プログラム220は次の白色画素の塊(細胞塊)を拡大観察対象細胞塊であるか否かの判定対象として選択し(ステップ#421)、ステップ#411に戻って選択した細胞塊が所定サイズ以上であるか否かを判定する。
このようにして、所定形状の細胞塊が識別されるので、観察を続けるのに適正な形状の細胞塊を自動的に選別することができる。その結果、成育過程で歪な形状に成育した細胞塊の観察を中止することができ、適正な形状の細胞塊の観察をより一層効率良く進めることが可能になる。
なお、ステップ#418の細胞塊の形状判定は閾値(例えば楕円形度1.1)によって明示的に行う方法だけでなく、判定結果の優劣に基づいて細胞塊画像をソートしてモニタ204aに表示(楕円形度なら、楕円形度が小さい順に表示)し、どの細胞塊までを好適と判定するかをユーザに委ねるような方法でも良い。
(第4の実施形態)
次に、本発明の第4の実施形態に係る観察装置について、図11を用いてその構成を説明する。図11は観察装置の垂直断面側面図である。なお、この実施形態の基本的な構成は図1〜図7を用いて説明した前記第1の実施形態と同じであるので、第1の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
第4の実施形態に係る観察装置1は、図11に示すように全体観察部10がレンズ11、反射ミラー14といった全体観察光学系と、撮像部であるCMOSカメラ12と、全体観察照明であるリング照明13と、環状窓部15とを備えている。
反射ミラー14は容器Cを把持する搬送部30の移動空間の上方に配置され、容器Cに対して照射された光が前方に向かって略水平に反射するよう傾斜させて設けられている。反射ミラー14は容器Cに対して照射された光を前方のレンズ11に導く。CMOSカメラ12はレンズ11のさらに前方に設けられ、その撮像素子面が後方のレンズ11の方を向くように配置されている。
リング照明13は搬送部30の移動空間の下方に配置され、且つ拡大観察部20の対物レンズ21部分がリング照明13の内側を貫通するように配置されている。そして、リング照明13は斜め上方であってリングの中心に向かって光を照射し、リング照明13の上方に位置する搬送部30の観察対象である容器C内の細胞を照らす。このため、リング照明13の上方の本体2筐体に環状窓部15が設けられている。環状窓部15は対物レンズカバー26をぐるりと取り囲むように配置されている。これにより、リング照明13の光が環状窓部15を透過して容器Cに到達する。
そして、リング照明13の中心から容器Cを経て反射ミラー14に到達するその光軸が、拡大観察部20の位相差照明部25の反射ミラー25bから容器Cを経て対物レンズ21に到達する光軸とがともに一致し、さらに軸線が一致するように全体観察部10が構成、配置されている。なお、反射ミラー14はハーフミラーであって、リング照明13からの光を反射してレンズ11、CMOSカメラ12に到達させ、位相差照明部25からの光を透過して対物レンズ21などに到達させる。
これにより、全体観察部10と拡大観察部20との互いの観察視野内における座標を容易に一致させることができる。また、全体観察の後、容器Cを比較的狭い範囲で移動させるだけで拡大観察位置に到達させることができるので、観察作業の時間短縮を図りながらより高精度な観察が可能である。
(第5の実施形態)
次に、本発明の第5の実施形態に係る観察装置システムについて、図12を用いてその構成を説明する。図12は観察装置システムの構成図である。なお、この実施形態の基本的な構成は図1〜図7を用いて説明した前記第1の実施形態と同じであるので、第1の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
第5の実施形態に係る観察システムSの観察装置1は、図12に示すようにインキュベータ300の内部に収容されている。インキュベータ300は細胞を培養または保存するための保存庫の一例であって、生物学的及び/または物理学的に密閉された保存空間Eを形成している。観察装置1はインキュベータ300の内部に設けられた棚301上に設置されて使用される。
ここで、インキュベータ300の内部は、例えば室温37°C、湿度100%といった庫内環境に保たれていることが多い。このような環境ではその湿気に起因した光学系の曇りによる画質劣化、駆動機構やカメラ、照明等における電装部短絡などといった不具合が発生する可能性が高い。このため、インキュベータ300の内部に配置する場合は特に、観察装置1に密閉された筐体(本体2)が必要となる。
観察装置1の密閉された筐体内部では、駆動機構やカメラ、照明等から発生した熱が充満し、対物レンズ21付近にも滞留してさらに上方へ発散しようとする。これに対して、対物レンズカバー26の窓部27は照明の光量を減衰させずに面積を最小にできる範囲である1mm〜10mm程度であって、対物レンズカバー26も窓部27に合わせて容器C底面に接近している箇所の面積をできるだけ少なくしたことで、容器C底面と対物レンズカバー26との隙間がほとんどなく、空気が流通しないことに起因する熱影響を抑制している。同時に、対物レンズカバー26は対物レンズ21周辺のみを覆うことで対物レンズカバー26の表面積を増大することができるので、空気が流通し易い対物レンズカバー26の横方向へも熱発散することができ、容器Cへの熱伝達を抑制することが可能である。
このような作用も含めて、観察装置1をインキュベータ300内部に設置した構成であっても、容器C内で培養中の細胞を観察するにあたって、容器C全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察装置1を提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察システムSを提供することができる。
(第6の実施形態)
次に、本発明の第6の実施形態に係る観察装置システムについて、図13及び図14を用いてその構成を説明する。図13は観察装置システムの構成図、図14は図13に示すアイソレータの部分断面側面図である。なお、この実施形態の基本的な構成は図1〜図7を用いて説明した前記第1の実施形態と同じであるので、第1の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
第6の実施形態に係る観察システムSの観察装置1は、図13及び図14に示すようにアイソレータ400の内部に収容されている。
アイソレータ400は本体401の略中央部にケース402を備えている。ケース402は細胞の培養や処置、観察に係る作業を実施するための生物学的及び/または物理学的に密閉された作業空間Fを形成している。ケース402の正面側には正面扉403が開閉可能に設けられている。正面扉403は外から作業空間F内を見るためのガラスなどで構成された窓部404を備えている。
正面扉403の窓部404には作業空間Fで作業を行うためのグローブ405が備えられている。グローブ405はケース402の窓部404から作業空間Fに向かって延びる形で設けられている。窓部404に対するグローブ405の取り付け箇所には開口部406が設けられている。作業者は開口部406からグローブ405に手を挿入して装着し、窓部404から密閉されたケース402内の作業空間Fを見ながら作業空間F内で作業を行う。グローブ405は横方向に2個並べて設けられている。なお、グローブ405やその開口部406は2個の場合だけでなく、3個や4個或いはそれ以上の個数の場合もある。
アイソレータ400はそのほか、ケース402の上部に気体調整部407を、ケース402を正面から見た右側に本体操作部408を、左側にインキュベータ409を備えている。
このように観察装置1をアイソレータ400内部に設置した構成であっても、容器C内で培養中の細胞を観察するにあたって、容器C全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察装置1を提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察システムSを提供することができる。なお、観察装置1はインキュベータ409の内部に設置しても良い。
(第7の実施形態)
次に、本発明の第7の実施形態に係る観察装置システムについて、図15を用いてその構成を説明する。図15は観察装置システムの構成図である。なお、この実施形態の基本的な構成は図1〜図7を用いて説明した前記第1の実施形態と同じであるので、第1の実施形態と共通する構成要素には前と同じ符号を付し、図面の記載及びその説明を省略するものとする。
第7の実施形態に係る観察システムSには、図15に示すように全体観察部10、拡大観察部20、及び搬送部30が備えられ、これら各々が独立して設けられている。そして、全体観察部10、拡大観察部20、及び搬送部30に対しては、各々を個別に制御する制御装置501〜503と、それらに個別に指令を送るコンピュータ601〜603とが備えられている。3台のコンピュータ601〜603間には互いに通信ができるようにネットワークケーブルが接続され、全体観察と拡大観察と容器Cの搬送とを連携して実行できるようになっている。
なお、3台のコンピュータの連携を統合して行う別のコンピュータがある構成としても良い。また、コンピュータを1台とし、この1台のコンピュータから制御装置501〜503に指令を送る構成としても良い。さらに、コンピュータ、制御装置を1台とし、この1台のコンピュータ、制御装置から全体観察部、拡大観察部、搬送部を制御する構成としても良い。
また、図15に示す搬送部30は回転移動して全体観察部10と拡大観察部20との間で容器Cを搬送するようにしているが、第1の実施形態同様、水平移動して容器Cを搬送するようにしても良い。容器Cは全体観察部10と拡大観察部20とに共通の載置トレー32に載置されている。載置トレー32は全体観察部10と拡大観察部20とに対して位置決めがなされ、容器Cは載置トレー32に対して位置決めがなされている。
このように全体観察部10、拡大観察部20、及び搬送部30を各々独立させて個別に制御する構成であっても、容器C内で培養中の細胞を観察するにあたって、容器C全体を観察して発現した細胞塊を特定でき、さらにこの特定した細胞塊を拡大して詳細を観察することが可能な観察システムSを提供することができる。また、このような特定した細胞塊の発現のときから成育完了まで継続して観察を行うことが可能な観察システムSを提供することができる。
なお、インキュベータやアイソレータなどの狭い作業空間内では全体観察部、拡大観察部、搬送部を機構的に別体とすることで各部の柔軟な配置構成が可能となり、作業空間を有効に使用できる。
以上、本発明の実施形態につき説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。
例えば、上記実施形態では培養容器1枚を観察するという内容で説明したが、培養容器複数枚を載置できるトレーを用いて複数枚を同時に観察しても良い。
また、上記実施形態では全体観察部10の撮像部にCMOSカメラ12を、拡大観察部20の撮像部にCCDカメラ24を用いることとしたが、カメラの種類としてはCMOSカメラ、CCDカメラいずれを用いても良い。