JP2009207416A - 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置 - Google Patents

Abstract

【課題】細胞観察における生細胞とそれ以外の異物との判別を広い観察条件下で可能とする手段を提供する。
【解決手段】観察視野内に位置する物体を所定時間を隔てて撮影した第１画像及び第２画像を取得するステップＳ１０と、取得された各画像から写し込まれた物体の像を抽出するステップＳ２０と、画像平面上における物体の回転角度姿勢を揃えて相関値を算出するステップＳ６０，Ｓ６５と、算出された相関値に基づいて物体が生細胞であるか否かを判断するステップＳ７０と、物体に対する判断結果を出力するステップＳ８０，Ｓ８５とを備えて細胞観察の画像処理プログラムが構成される。
【選択図】図１

Description

本発明は、細胞観察において取得された画像から生細胞と異物とを自動判別する画像処理手段に関するものである。

生細胞を培養しながら状況を観察する装置の例として、培養顕微鏡があげられる。培養顕微鏡は、細胞の培養に好適な環境を形成する培養装置（インキュベータ）と、培養装置に収容された培養容器内の細胞の状態を顕微観察する顕微観察系とを備え、予め設定された所定時間ごとに細胞の観察画像を撮影して取得し、撮影された画像を、例えばタイムラプスイメージング等の手法により連続的な映像として再生し、細胞の活動状況を視覚的に容易に把握できるように構成される（例えば特許文献１を参照）。

このような装置において、培養容器の中に観察対象である生細胞以外に、ゴミや気泡、細胞の屍骸などのような異物（非対象物）が混在することがある。そのため、例えば細胞のトラッキングを行う際に、観察対象と非対象物とを判別する手法として、細胞の核や細胞質などの有無を検出して、生細胞であるか否かを判断していた。
特開２００４−２２９６１９号公報

しかしながら、観察視野内の細胞全体の運動解析を行うなど比較的低倍での観察や、細胞の内部構造がはっきりしない観察系などでは、細胞核などのテクスチャ検出が困難である場合が多く、上記のような手法では対応することができなかった。

本発明は、上記のような課題に鑑みてなされたものであり、細胞観察における生細胞とそれ以外の異物との判別を、広い観察条件下で可能とする手段を提供することを目的とする。

本発明を例示する第１の態様に従えば、観察視野内に位置する物体（例えば、実施形態におけるオブジェクトＯ）を撮像装置により所定時間を隔てて撮影した第１画像及び第２画像を取得し、第１画像に写し込まれた物体の第１像及び第２画像に写し込まれた物体の第２像を抽出して画像平面上における物体の回転角度姿勢を揃え、回転角度姿勢が揃えられた第１像と第２像との相関値または差分を算出し、算出された相関値または差分に基づいて物体が生細胞であるか否かを判断することを特徴とする細胞観察における生細胞の判別手法が提供される。

本発明を例示する第２の態様に従えば、観察視野内に位置する物体（例えば、実施形態におけるオブジェクトＯ）を撮像装置により所定時間を隔てて撮影した第１画像及び第２画像を取得するステップと、取得された第１画像及び第２画像から第１画像に写し込まれた物体の第１像及び第２画像に写し込まれた物体の第２像を抽出して画像平面上における物体の回転角度姿勢を揃えるステップと、回転角度姿勢が揃えられた第１像と第２像との相関値または差分を算出するステップと、算出された相関値または差分に基づいて物体が生細胞であるか否かを判断するステップと物体に対する判断結果を出力するステップとを備えてなることを特徴とする細胞観察の画像処理プログラムが提供される。

本発明を例示する第３の態様に従えば、物体（例えば、実施形態におけるオブジェクトＯ）を撮影する撮像装置と、撮像装置により所定時間を隔てて物体が撮影された第１画像及び第２画像を取得して第１画像に写し込まれた物体の第１像と第２画像に写し込まれた物体の第２像とから物体が生細胞であるか否かを判断する画像解析部と、画像解析部により判断された判断結果を外部に出力する出力部とを備え、画像解析部が、第１像及び第２像を抽出して画像平面上における物体の回転角度姿勢を揃え、回転角度姿勢が揃えられた第１像と第２像との相関値または差分を算出して、算出された相関値または差分に基づいて物体が生細胞であるか否かを判断するように構成したことを特徴とする細胞観察の画像処理装置が提供される。

上記のような細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム、及び細胞観察の画像処理装置によれば、時系列の観察画像に含まれる物体の像同士の相関により生細胞であるか否かが判別される。従って、比較的低倍での観察や、細胞の内部構造がはっきりしない観察系などであっても、生細胞とそれ以外の異物とを識別可能な手段を提供することができる。

以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の細胞観察の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。

この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。

培養室２は、培養する細胞の種別や目的等に応じた培養環境を形成し及び維持する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ₂ガスやＮ₂ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。

ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚がＡ−５のように設定される。

培養容器１０は、フラスコやディッシュ、ウェルプレートなどの種類、丸型や角型などの形態、及びサイズがあり、培養する細胞の種別や目的に応じて適宜なものを選択し使用することができる。本実施形態ではディッシュを用いた構成を例示している。細胞などの試料は、フェノールレッドなどのｐＨ指示薬が入った液体培地とともに培養容器１０に注入される。培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。なお、培養容器１０には、容器の種類や形態等に応じて形成された搬送用の容器ホルダが装着された状態で各棚に収容保持される。

搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｙステージに対して左右移動されるＸステージ４３の先端側に、培養容器１０を持ちあげ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５の試料台１５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。

観察ユニット５は、第１照明部５１、第２照明部５２及び第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。試料台１５は透光性を有する材質で構成されるとともに、顕微観察系５５の観察領域に透明な窓部１６が設けられている。

第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を出射する複数のＬＥＤや水銀ランプ等の光源と、各光源から出射された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。

マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。

顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、例えば２倍〜８０倍等の範囲で変倍可能になっている。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光、を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。

画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や細胞の移動量算出、細胞の運動状態の解析等を行う。画像処理装置１００は、具体的には、次述する制御装置６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、画像処理装置１００については、後に詳述する。

制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや各部を制御するためのデータが設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４及び環境センサ２５、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構、観察ユニット５における第１，第２，第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、ＲＯＭ６２に予め設定された制御プログラムに従って上記各部を制御する。

操作盤７には、キーボードやシートスイッチ、磁気記録媒体や光ディスク等から情報を読み込み及び書き込みするリード／ライト装置などの入出力機器が設けられた操作パネル７１と、種々の操作画面や画像データ等を表示する表示パネル７２とが設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラム（動作条件）の設定や条件選択、動作指令等を入力することで、ＣＰＵ６１を介して培養観察システムＢＳの各部を動作させる。すなわち、ＣＰＵ６１は操作パネル７１からの入力に応じて培養室２の環境調整、培養室２内での培養容器１０の搬送、観察ユニット５による試料の観察、取得された画像データの解析及び表示パネル７２への表示などを実行する。表示パネル７２には、作動指令や条件選択等の入力画面のほか、培養室２の環境条件の各数値や、解析された画像データ、異常発生時の警告などが表示される。また、ＣＰＵ６１は有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。

ＲＡＭ６３には、操作パネル７１において設定された観察プログラムの動作条件、例えば培養室２の温度や湿度等の環境条件や、培養容器１０ごとの観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等の観察条件などが記録される。また、培養室２に収容された各培養容器１０のコード番号、各コード番号の培養容器１０が収容されたストッカー３の収納番地などの培養容器１０の管理データや、画像解析に用いる各種データが記録される。ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域（後述する画像記憶部１１０）が設けられ、各画像データには培養容器１０のコード番号と撮影日時等を含むインデックス・データとが対応付けて記録される。

このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。

また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御装置６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。

また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御装置６に入力された信号は、画像処理装置１００により処理されて顕微観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。

ＣＰＵ６１は、上記のような観察を、ストッカー３に収容された複数の培養容器の試料について、観察プログラムに基づいた３０分〜２時間程度の時間間隔の観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。なお、本実施形態では、撮影の時間間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、培養容器１０のコード番号とともにＲＡＭ６３の画像データ記憶領域（画像記憶部１１０）に記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは指定時間領域の全体観察像や顕微観察像のタイムラプス画像が操作盤７の表示パネル７２に表示される。

以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、細胞の運動解析や細胞トラッキングなどの機能に加えて、これらの機能を効率的に実行するため、観察対象である生細胞と、それ以外のゴミや泡、細胞の屍骸等の異物（非対象物）とを判別する機能を備えている。

画像処理装置１００による生細胞の判別手法は、観察ユニット５の観察視野内に位置する物体を撮像装置により所定時間を隔てて撮影した２枚の画像を取得し、これらの画像に写し込まれた物体の像を抽出して画像平面上における物体の回転角度姿勢（細胞の方位角）を揃えたうえで両者の相関値または差分を算出し、算出された相関値または差分に基づいて物体が生細胞であるか否かを判断するように構成される。

（前処理）
生細胞の判別処理に先立って、画像内に含まれる物体(生細胞及びゴミ等の異物を含む物の領域、以下オブジェクトという)Ｏの最外輪郭を抽出する。図４は、この最外輪郭抽出処理の状況を例示した模式図であり、撮像装置５５ｃ（５４ｃ）によって撮影された時刻ｔの画像(説明の便宜上、第１画像という)(ａ)、及び第１画像よりも所定時間前に撮影された時刻ｔ−１の画像(同様に、第２画像という)を取得し、これらの画像に対して(ｂ)に示すようにオブジェクトＯの最も外側の輪郭を抽出する。この最外輪郭抽出処理には、例えば輝度値により二値化させる手法、分散フィルタを施したのち二値化させる手法、SnakesやLevel Set法などの動的輪郭抽出手法などが挙げられる。上記所定時間は、観察対象である生細胞の運動状況に応じて設定され、例えば生細胞の運動が比較的活発な場合には１０分〜１時間程度、生細胞の運動が比較的低調な場合には３０分〜２時間程度の時間が設定される。

こうしてセグメント化された各オブジェクトＯに対してラベリングを施し、第１画像に含まれるオブジェクトＯ₁,Ｏ₂,Ｏ₃…Ｏ_nと、第２画像に含まれるオブジェクトＯ₁´,Ｏ₂´,Ｏ₃´…Ｏ_n´の対応関係をとる。例えば、図５に第１画像における各オブジェクトを実線で示し、第２画像における各オブジェクトを点線で示すように、ラベリングを施した各オブジェクトについて最近傍にあたるラベル同士を同じオブジェクトであるとして対応関係をとり、Ｏ₁とＯ₁´、Ｏ₂とＯ₂´、Ｏ₃とＯ₃´…Ｏ_nとＯ_n´のように対応づける。

（生細胞の判別）
次に、対応づけられた各オブジェクトについて、第１画像のオブジェクトの像(第１像という)と、第２画像のオブジェクトの像(第２像という)の、画像平面上における回転角度姿勢（細胞の方位角）を揃える。その具体的手法として、対応づけられた各オブジェクト（例えば、Ｏ₁とＯ₁´）について、図心（重心）を通る軸廻りの断面二次モーメント（慣性モーメント）を算出し、第１像の断面二次モーメントＩ₁と、第２像の断面二次モーメントＩ₂との相関値が最大となる角度位置で、第１像と第２像の回転角度姿勢が揃えられる。なお、各オブジェクトＯを楕円形近似して近似された楕円モデルの長軸方向を揃えるように構成してもよい。また、オブジェクトの輪郭形状が円形に近い場合には、第１像または第２像の一方について、図心を通る軸廻りに一定角度ずつ回転させながら二つの像の相関を計算し、相関値が最大となる角度で揃えられる。

なお、第１像の断面二次モーメントＩ₁と第２像の断面二次モーメントＩ₂との差分が最小となる角度で回転角度姿勢を揃えるように構成してもよい。また、第１像または第２像の一方について、図心を通る軸廻りに一定角度ずつ回転させながら二つの像の差分を計算し、第１像と第２像との差分が最小となる角度で揃えるように構成してもよい。

ここで、相関計算の対象となるオブジェクトＯ_xが生細胞の場合には、図６に示すように、時間の経過とともに外形だけでなく内部構造もＯ_x→Ｏ_x´で変化している。そのため、第１像と第２像の相関値はさほど大きな値にはならず、一般的には0.7以下の値をとる。これに対し、相関計算の対象となるオブジェクトＯ_yがゴミや細胞の屍骸、気泡などの異物である場合には、図７に示すように、Ｏ_y→Ｏ_y´で時間的な構造の変化がほとんど生じない。そのため回転角度姿勢を揃えた第１像と第２像の相関値は大きく、１に近い値となる。

従って、対応づけられたオブジェクトの回転角度姿勢を揃えて相関値を計算し、算出された相関値が所定のしきい値よりも小さいか否かを判断することにより、そのオブジェクトが生細胞であるか、ゴミや細胞の屍骸、気泡などの異物であるかを判断することができる。なお、上記「所定のしきい値」は、細胞の種別や活動状況、観察を行う時間間隔等に応じて適宜な値を選択でき、例えば0.5〜0.8程度の範囲で選択設定可能に構成する。

なお、判別精度を高める手段として、時系列として扱う区間（時間間隔）を長めにとり、十分な時間をかけたトラッキングののちに互いに相関をとる手法を提案する。このような手法によれば、図８に示すようにオブジェクトＯが生細胞である場合に、時間の経過とともに相関値が小さくなる一方、図９に示すようにオブジェクトＯが異物である場合には、時間が経過しても相関値は１に近い値のままであり、生細胞と異物の相関値の差が顕著に表れる。従って、しきい値を挟んで生細胞と異物とを明確に分離することができ、判別精度を向上させることができる。

次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて、図１０及び図１を併せて参照しながら説明する。ここで、図１０は生細胞判別の画像処理を実行する画像処理装置１００の概要構成を示すブロック図、図１は生細胞判別の画像処理プログラムＧＰのフローチャートである。

画像処理装置１００は、撮像装置５５ｃ（５４ｃ）により所定時間を隔てて撮影された第１画像及び第２画像を取得して記憶する画像記憶部１１０と、第１画像に写し込まれたオブジェクトＯの第１像と第２画像に写し込まれたオブジェクトＯの第２像とから、オブジェクトＯが生細胞であるか否かを判断する画像解析部１２０と、画像解析部１２０により判断された判断結果を外部に出力する出力部１３０とを備え、画像解析部１２０により判断された生細胞であるか否かの判断結果を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。

画像解析部１２０による画像解析処理は、所定時間を隔てて撮影され既に画像記憶部１１０（ＲＡＭ６３の画像記憶領域）に保存されている複数の画像データを読み出して実行可能であるほか、現に観察実行中の観察画像を撮像装置から取得して実行することも可能である。本実施例では、予め設定された観察プログラムに従って、指定された培養容器１０内の細胞の顕微観察を所定時間ごとに実行している過程で、撮像装置により撮影された画像に含まれるオブジェクトが生細胞であるか否かの判別を行う場合について説明する。

既述したように、培養観察システムＢＳでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器内の細胞観察が行われる。具体的には、ＣＰＵ６１は、搬送ユニット４の各軸の駆動機構を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送し、顕微観察系５５による観察像を撮像装置５５ｃにより撮影させる。

画像処理装置１００は、撮像装置５５ｃにより撮影された観察画像をステップＳ１０において取得し、取得した観察画像を、培養容器のコード番号や観察位置、観察時刻などのインデックス・データとともにステップＳ１５で画像記憶部１１０に保存し、ステップＳ２０に進む。なお、画像処理装置１００は、観察プログラムに従って上記観察画像の取得（ステップＳ１０）と画像記憶部１１０への保存（ステップＳ１５）を、所定時間ごとに繰り返し実行する。

ステップＳ２０では、撮像装置５５ｃから取得された時刻ｔの観察画像（第１画像）と、所定時間前の時刻ｔ−１に撮像装置により撮影され画像記憶部１１０に保存された観察画像（第２画像）に対し、画像解析部１２０においてオブジェクトの最外輪郭抽出処理が実行され、図４(ｂ)に示したように、各観察画像に含まれるオブジェクトＯの最外輪郭が抽出され、ステップＳ３０に進む。

ステップＳ３０では、最外輪郭が抽出された第１画像及び第２画像の各オブジェクトＯに対してラベリングが施されるとともに、例えば、図５に示したように、第１画像における各オブジェクト（実線表記：Ｏ₁,Ｏ₂,Ｏ₃…Ｏ_n）と、第２画像における各オブジェクト（点線表記：Ｏ₁´,Ｏ₂´,Ｏ₃´…Ｏ_n´）との対応関係を、最近傍にあたるラベル同士（Ｏ₁とＯ₁´、Ｏ₂とＯ₂´、Ｏ₃とＯ₃´…Ｏ_nとＯ_n´）を同じオブジェクトであるとして対応付けが行われる。

次に、対応づけられた各オブジェクト、例えば、Ｏ_nとＯ_n´について、第１画像のオブジェクトＯ_nの第１像と、第２画像のオブジェクトＯ_n´の第２像の、画像平面上における回転角度姿勢が揃えられ、第１像と第２像の相関値が算出される。

図１に例示する構成例では、ステップＳ４０において、オブジェクトＯ_nの第１像及びオブジェクトＯ_n´の第２像について楕円近似を行って、近似された楕円の長軸方向（または短軸方向）を算出するとともに、近似された楕円の長短軸比を算出し、ステップＳ５０において算出された楕円の長短軸比が十分大きいか否かが判断される。これは、ステップＳ４０において算出された楕円の長短軸比（長軸の長さ／短軸の長さ）が、１に対して十分大きい場合（例えば２以上である場合）には、生細胞の外形変形を考慮しても、近似された楕円の長軸方向を揃えることによりオブジェクトの回転角度姿勢（方位角）を高い精度で一致させることが可能である。

しかしながら、長短軸比が１に近い場合には、オブジェクトの輪郭形状が円形に近く、楕円の長軸方向を揃える手法では、生細胞の回転角度姿勢を一致させる精度が十分とはいえない。そこで、ステップＳ５０において近似楕円の長短軸比が十分大きいか否かが判断され、長短軸比が十分大きい場合にはステップＳ６０に進み、そうでない場合にはステップＳ６５に進む。長短軸比の判断基準値は、ＲＡＭ６３のパラメータ設定領域１１５に記憶されており、操作パネル７１において観察対象に応じて変更設定可能になっている。なお、楕円近似の判断基準について、長軸と端軸の単純比率ではなく、長軸と短軸の差分や、短軸または長軸の長さ／（短軸の長さ＋長軸の長さ）など、楕円と円とを判別可能な他の基準を適用してもよい。

ステップＳ６０では、オブジェクトＯ_nの第１像を近似した楕円（第１楕円という）と、オブジェクトＯ_n´の第２像を近似した楕円（第２楕円という）との長軸方向を揃え、これにより第１像の回転角度姿勢と第２像の回転角度姿勢とを揃えた状態で、相関値を算出する。この際、楕円の長軸方向は図心を中心に左右２方向あり、細胞の頭と足が反対方向を向いている場合があるため、０度方向と１８０度方向の二通りについて相関値を算出し、相関値が大きい方を第１像と第２像の相関値として採用し、ステップＳ７０に進む。

ステップＳ６５では、第１像または第２像の一方を、図心廻りに一定角度間隔で回転させながら各角度位置での相関値を算出する。例えば、時刻ｔのオブジェクトＯ_nの第１像を図心廻りに５度〜１０度程度の一定角度ずつ３６０度回転させて、各角度位置においてｔ−１のオブジェクトＯ_n´の第２像と相関値を算出する。そして相関値が最大となった角度位置の相関値を第１像と第２像の相関値として採用し、ステップＳ７０に進む。

ステップＳ７０では、ステップＳ６０またはステップＳ６５において採用された第１像と第２像の相関値が所定のしきい値よりも小さいか否かが判断される。図６及び図７を対比参照しながら説明したように、オブジェクトＯ_n，Ｏ_n´が生細胞の場合には、時間の経過とともに外形形状も内部構造も変化するため、第１像と第２像は同一細胞として一定の相関を有するものの相関値はさほど大きな値にはならず、一般的に0.7以下の値となる。一方、オブジェクトＯ_n，Ｏ_n´がゴミや細胞の屍骸、気泡などである場合には、時間が経過しても外形及び内部構造がほとんど変化せず、第１像と第２像の相関値は１に近い値となる。

上記「所定のしきい値」は、このような生細胞とその他の異物との相関値の差異に着目して設定された判別基準値であり、一般的な生細胞のタイムラプス観察においては、0.6〜0.7程度のしきい値が選択され、ＲＡＭ６３のパラメータ設定領域１１５に設定記憶される。なお、最適なしきい値は、観察対象の生細胞の種別や活動状況、顕微観察を行う時間間隔等の観察条件に応じて微妙に変化する。そのため、画像処理装置１００では、観察条件に応じてしきい値を変更設定可能に構成されており、操作パネル７１により判別基準のしきい値を呼び出して変更操作を行うことにより、例えば0.5〜0.8程度の範囲で変更設定可能に構成されている。

なお、生細胞の判別基準について、第１像と第２像との相関値ではなく、第１像と第２像との差分などの基準を適用してもよい。差分を用いる場合も、観察条件に応じてしきい値を経験的に設定すればよい。

このように、ステップＳ７０において、オブジェクトＯ_nの第１像とオブジェクトＯ_n´の第２像の相関値が所定のしきい値よりも小さいか否かが判断され、相関値が所定のしきい値よりも小さいと判断された場合にはステップＳ８０においてオブジェクトＯ_n，Ｏ_n´が生細胞であるとの判定結果が出力部１３０から出力され、相関値が所定のしきい値に等しいかそれよりも大きいと判断された場合にはステップＳ８５においてオブジェクトＯ_n，Ｏ_n´が生細胞ではないとの判定結果が出力部１３０から出力される。

画像表示装置１００は、上記の処理を第１画像及び第２画像に含まれる各オブジェクトＯ₁,Ｏ₂,Ｏ₃…Ｏ_nについて実行し、出力部１３０から各オブジェクトごとの判定結果が出力される。出力部１３０から出力された各オブジェクトに対する判定結果は、操作盤７の表示パネル７２に表示され、時刻ｔに撮影された第１画像、または時刻ｔの第１画像及び時刻ｔ−１の第２画像の両方に、各オブジェクトＯ₁,Ｏ₂,Ｏ₃…Ｏ_nが生細胞であるか否かが表示される。

具体的な表示態様として、例えば図１１に示すように生細胞であることを示す記号Ｌと異物であることを示す記号Ｄを付加して表示し、あるいは生細胞とそれ以外の異物とを異なる色彩で表示したり図１２に示すように異物を塗りつぶして表示し、または異物を除去した画像を表示する等により、生細胞とそれ以外の異物とを判別して表示する、などのインターフェースが例示される。なお、出力部１３０から出力される上記のような判別データを、通信部６５を介して外部接続されるコンピュータ等に送信し、同様の画像を表示させたり、細胞の運動解析や細胞トラッキング等を実行するための基礎データとして用いたりするように構成することができる。

これにより、観察者は、表示パネル７２に表示された画像や外部接続されたコンピュータ等の表示装置に表示された画像を参照することにより、観察中の（またはすでに観察画像の取得を終了した）各画像に含まれるオブジェクトが生細胞であるか否かを直ちに判断することができる。また、このようにして生細胞と異物とが判別されたデータを用いることにより、生細胞の運動解析やトラッキングを、異物と分離して効率的に画像処理することができる。

以上説明したように、本発明の画像処理プログラムＧＰ、この画像処理プログラムが実行されることより構成される生細胞の判別方法及び画像処理装置１００によれば、時系列の観察画像に含まれる像同士の相関により生細胞であるか否かが判別されるため、比較的低倍での観察や、細胞の内部構造がはっきりしない観察系などであっても、生細胞とゴミや細胞の屍骸等の異物とを識別することができる。従って、細胞観察における生細胞とそれ以外の異物との判別を、広い観察条件下で可能とする手段を提供することができる。

生細胞判別の画像処理プログラムＧＰのフローチャートである。 本発明の適用例として示す培養観察システムの概要構成図である。 上記培養観察システムのブロック図である。 細胞の輪郭抽出を行う輪郭抽出処理の状況を例示する模式図である。 時刻ｔ−１の画像に含まれるオブジェクトと時刻ｔの画像に含まれるオブジェクトとの対応付けを説明するための説明図である。 時刻ｔ−１から時刻ｔでの生細胞の変化状態を例示する模式図である。 時刻ｔ−１から時刻ｔでの生細胞以外の物体の変化状態を例示する模式図である。 時間経過に伴う生細胞の変化状態を例示する模式図である。 時間経過に伴う生細胞以外の物体の変化状態を例示する模式図である。 画像処理装置の概要構成を示すブロック図である。 生細胞と異物との判別表示を例示する模式図(１)である。 生細胞と異物との判別表示を例示する模式図(２)である。

符号の説明

ＢＳ 培養観察システム
ＧＰ 画像処理プログラム
Ｃ 観察細胞
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
１００ 画像処理装置 １２０ 画像解析部
１３０ 出力部

Claims (15)

1. 観察視野内に位置する物体を撮像装置により所定時間を隔てて撮影した第１画像及び第２画像を取得し、
   前記第１画像に写し込まれた前記物体の第１像、及び前記第２画像に写し込まれた前記物体の第２像を抽出して画像平面上における前記物体の回転角度姿勢を揃え、
   前記回転角度姿勢が揃えられた前記第１像と前記第２像との相関値または差分を算出し、
   算出された前記相関値または差分に基づいて前記物体が生細胞であるか否かを判断することを特徴とする細胞観察における生細胞の判別手法。
2. 前記物体の回転角度姿勢は、前記第１像の断面二次モーメントと前記第２像の断面二次モーメントとの相関値が最大となる角度で揃えられることを特徴とする請求項１に記載の細胞観察における生細胞の判別手法。
3. 前記物体の回転角度姿勢は、前記第１像の断面二次モーメントと前記第２像の断面二次モーメントとの差分が最小となる角度で揃えられることを特徴とする請求項１に記載の細胞観察における生細胞の判別手法。
4. 前記物体の回転角度姿勢は、前記第１像または前記第２像を図心を通る軸廻りに回転させながら前記第１像と前記第２像との相関を計算したときに、前記第１像と前記第２像との相関値が最大となる角度で揃えられることを特徴とする請求項１に記載の細胞観察における生細胞の判別手法。
5. 前記物体の回転角度姿勢は、前記第１像または前記第２像を図心を通る軸廻りに回転させながら前記第１像と前記第２像との差分を計算したときに、前記第１像と前記第２像との差分が最小となる角度で揃えられることを特徴とする請求項１に記載の細胞観察における生細胞の判別手法。
6. 観察視野内に位置する物体を撮像装置により所定時間を隔てて撮影した第１画像及び第２画像を取得するステップと、
   取得された前記第１画像及び前記第２画像から、第１画像に写し込まれた前記物体の第１像及び前記第２画像に写し込まれた前記物体の第２像を抽出して画像平面上における前記物体の回転角度姿勢を揃えるステップと、
   前記回転角度姿勢が揃えられた前記第１像と前記第２像との相関値または差分を算出するステップと、
   算出された前記相関値または差分に基づいて前記物体が生細胞であるか否かを判断するステップと、
   前記物体に対する判断結果を出力するステップと
   を備えてなることを特徴とする細胞観察の画像処理プログラム。
7. 前記物体の回転角度姿勢は、前記第１像の断面二次モーメントと前記第２像の断面二次モーメントとの相関値が最大となる角度で揃えられることを特徴とする請求項６に記載の細胞観察の画像処理プログラム。
8. 前記物体の回転角度姿勢は、前記第１像の断面二次モーメントと前記第２像の断面二次モーメントとの差分が最小となる角度で揃えられることを特徴とする請求項６に記載の細胞観察の画像処理プログラム。
9. 前記物体の回転角度姿勢は、前記第１像または前記第２像を図心を通る軸廻りに回転させながら前記第１像と前記第２像との相関を計算したときに、前記第１像と前記第２像との相関値が最大となる角度で揃えられることを特徴とする請求項６に記載の細胞観察の画像処理プログラム。
10. 前記物体の回転角度姿勢は、前記第１像または前記第２像を図心を通る軸廻りに回転させながら前記第１像と前記第２像との差分を計算したときに、前記第１像と前記第２像との差分が最小となる角度で揃えられることを特徴とする請求項６に記載の細胞観察の画像処理プログラム。
11. 物体を撮影する撮像装置と、
    前記撮像装置により所定時間を隔てて前記物体が撮影された第１画像及び第２画像を取得して、前記第１画像に写し込まれた前記物体の第１像と前記第２画像に写し込まれた前記物体の第２像とから、前記物体が生細胞であるか否かを判断する画像解析部と、
    前記画像解析部により判断された判断結果を外部に出力する出力部とを備え、
    前記画像解析部が、前記第１像及び前記第２像を抽出して画像平面上における前記物体の回転角度姿勢を揃え、前記回転角度姿勢が揃えられた前記第１像と前記第２像との相関値または差分を算出して、算出された前記相関値または差分に基づいて前記物体が生細胞であるか否かを判断するように構成したことを特徴とする細胞観察の画像処理装置。
12. 前記物体の回転角度姿勢は、前記第１像の断面二次モーメントと前記第２像の断面二次モーメントとの相関値が最大となる角度で揃えられることを特徴とする請求項１１に記載の細胞観察の画像処理装置。
13. 前記物体の回転角度姿勢は、前記第１像の断面二次モーメントと前記第２像の断面二次モーメントとの差分が最小となる角度で揃えられることを特徴とする請求項１１に記載の細胞観察の画像処理装置。
14. 前記物体の回転角度姿勢は、前記第１像または前記第２像を図心を通る軸廻りに回転させながら前記第１像と前記第２像との相関を計算したときに、前記第１像と前記第２像との相関値が最大となる角度で揃えられることを特徴とする請求項１１に記載の細胞観察の画像処理装置。
15. 前記物体の回転角度姿勢は、前記第１像または前記第２像を図心を通る軸廻りに回転させながら前記第１像と前記第２像との差分を計算したときに、前記第１像と前記第２像との差分が最小となる角度で揃えられることを特徴とする請求項１１に記載の細胞観察の画像処理装置。