JP2014075999A - 心筋細胞の運動検出方法、画像処理プログラム及び画像処理装置、心筋細胞の培養方法、心筋細胞の薬剤評価方法及び薬剤製造方法 - Google Patents

Abstract

【課題】細胞観察において取得された時系列画像から心筋細胞の周期的な運動を正確に検出可能な手段を提供する。
【解決手段】画像処理方法、画像処理プログラム、及び画像処理装置は、所定時間を隔てて心筋細胞が撮影された時系列画像を取得するステップと、該取得した時系列画像から動きのある領域を抽出するステップと、時系列画像から動き領域の細胞の形態的特徴量を算出するステップと、画像特徴量の時系列変化に基づいて心筋細胞の周期的な拍動運動を検出するステップと、前記心筋細胞の拍動運動の中心を検出するステップとをコンピュータに実現させる構成である。
【選択図】図１

Description

本発明は、幹細胞から分化した心筋細胞の運動解析するために最適な運動検出方法、画像処理プログラム、画像処理装置、心筋細胞の培養方法、心筋細胞の薬剤評価方法及び薬剤製造方法に関する。

心筋疾患などを対象とした再生医療や創薬の分野では、胚性幹細胞（embryonic stem cell：ＥＳ細胞）や人工多能性幹細胞（induced pluripotent stem cell：ｉＰＳ細胞）などの幹細胞から分化誘導した心筋細胞が再生医療や創薬のリソースとして利用が期待されている。このような心筋細胞などの培養細胞の状況を観察する装置の例として、培養顕微鏡が挙げられる。また、培養容器中の心筋細胞をモニターする方法としては、心筋細胞を含む培養容器中の細胞または細胞集団を一定時間ごとに撮像し、撮像して得た細胞または細胞集団の画像を比較することにより、心筋細胞をそれ以外の細胞から区別してモニターするものがある（例えば、特許文献１を参照）。

特開２００７−１２１１０６号公報

上記特許文献１に記載されているように、心筋細胞を培養する過程において、幹細胞が自律的に収縮・弛緩の拍動運動を周期的に繰り返す心筋細胞を特定する方法が提供されている。しかしながら、上記特許文献１では、心筋細胞の拍動する領域を検出できるものの、拍動領域内にある拍動中心の細胞（ペースメーカー細胞）まで正確に特定できていない。

本発明は、上記のような課題に鑑みてなされたものであり、細胞観察において取得された時系列画像から細胞の周期的な運動を正確に検出可能な手段を提供することを目的とする。

本発明を例示する第１の態様に従えば、所定時間を隔てて観察細胞が撮影された時系列画像を取得し、前記取得した前記時系列画像から心筋細胞の候補となる細胞コロニーを抽出し、前記抽出した細胞コロニーの中で動きのある動き領域を抽出し、前記時系列画像から前記動き領域の細胞の形態的特徴量を算出し、前記形態的特徴量の時系列変化に基づいて、前記観察細胞の周期的な運動を検出して拍動領域を抽出し、前記拍動領域の細胞の動きを検出して、前記拍動領域の中心に位置する細胞を特定することを特徴とする心筋細胞の運動検出方法が提供される。

本発明を例示する第２の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、前記撮像装置によって所定時間を隔てて観察細胞を撮影し、前記観察細胞の時系列画像を取得するステップと、前記取得した前記時系列画像から、前記画像処理装置によって心筋細胞の候補となる細胞コロニーを抽出するステップと、前記画像処理装置によって、前記抽出した細胞コロニーの中で動きのある動き領域を抽出するステップと、前記画像処理装置によって、前記時系列画像から前記動き領域の細胞の形態的特徴量を算出するステップと、前記画像処理装置によって、前記形態的特徴量の時系列変化に基づいて、前記観察細胞の周期的な運動を検出して拍動領域を抽出するステップと、前記画像処理装置によって、前記拍動領域の細胞の動きを検出して、前記拍動領域の中心に位置する細胞を特定することを前記コンピュータに実現させることを特徴とする画像処理プログラムが提供される。

本発明を例示する第３の態様に従えば、撮像装置により所定時間を隔てて観察細胞が撮影された時系列画像を取得して画像を解析する画像解析部と、前記画像解析部による解析結果を出力する出力部とを備えた画像処理装置であって、前記画像解析部は、前記取得した前記時系列画像から心筋細胞の候補となる細胞コロニーを抽出するコロニー検出部と、前記抽出した細胞コロニーの中で動きのある動き領域を抽出する動き領域検出部と、前記時系列画像から前記動き領域の細胞の形態的特徴量を算出する特徴量算出部と、前記形態的特徴量の時系列変化に基づいて、前記観察細胞の周期的な運動を検出して拍動領域を抽出する拍動領域抽出部と、前記拍動領域の細胞の動きを検出して、前記拍動領域の中心に位置する細胞を特定する中心細胞特定部とを備えことを特徴とする画像処理装置が提供される。

本発明の細胞の運動検出方法、画像処理プログラム、画像処理装置、心筋細胞の培養方法、心筋細胞の薬剤評価方法及び薬剤製造方法によれば、心筋細胞の周期的な運動を正確に検出して、該細胞運動を定量的に評価・判断することが可能である。

画像処理プログラムの概要を示すフローチャートである。 本発明の適用例として示す培養観察システムの概要構成図である。 上記培養観察システムのブロック図である。 心筋細胞の拍動の様子を説明するための模式図である。 所定時間を隔てて撮影された心筋細胞コロニーの観察画像であり、（ａ）は弛緩時の第１画像、（ｂ）は収縮時の第２画像を示す模式図である。 動きベクトルの検出を実行する処理を説明するための模式図である。 画像処理装置の概要構成を示すブロック図である。 拍動中心検出手法の流れを説明するための模式図である。 注目点及び小領域窓を算出する処理を説明するための模式図である。 コロニー内の拍動中心領域を示す模式図である。 拍動中心検出手法の概要を示すフローチャートである。 心筋細胞の拍動領域を特定するための細胞・細胞コロニーの形態的特徴を示す表である。

以下、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示しており、まず培養観察システムＢＳの全体構成について概要説明する。その後、この培養観察システムＢＳによって心筋細胞のペースメーカー細胞の特定までの一連の画像処理について説明する。このペースメーカー細胞を特定するには、培養細胞や細胞コロニーの形態的特徴に基づき、培養細胞（心筋細胞）の「細胞コロニー」を抽出し、その抽出された細胞コロニーに画像中から「動きのある領域」を特定し、さらに動きのある領域から心筋細胞の「拍動する領域」を特定して拍動中心の「細胞（ペースメーカー細胞）」を特定する（図１２の表１を参照）。なお、この「動きのある領域」には心筋細胞の拍動運動に直接的に係りのない細胞も含まれ、いわゆるノイズも含まれることになる。更に、この心筋細胞の拍動領域の評価が再生医療や創薬に適用できる例を説明する。

培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を統括的に制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。

培養室２は、培養環境を形成する部屋であり、断熱材で覆われた恒温室となっている。この培養室２に付随して、培養室２内の温度を調整する温度調整装置２１、湿度を調整する加湿器２２、ＣＯ₂ガスやＮ₂ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度、二酸化炭素濃度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。

ストッカー３は、前後及び上下に仕切られた棚状に形成され、各棚に固有の番地が設定されており、例えば、前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚が「Ａ−５」のように設定される。培養容器１０は、培養する細胞の種別や目的に応じてディッシュやウェルプレート、フラスコなど適宜なものが選択され、例えばディッシュタイプの培養容器に細胞試料（以下で詳述する「心筋細胞」）が所定の培地とともに注入保持される。各培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応付けられて収容されている。

搬送ユニット４は、培養室２内の内部に設けられて上下移動可能なＺステージ４１、前後移動可能なＹステージ４２、左右移動可能なＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ち上げ支持する支持アーム４５が設けられている。搬送ユニット４は、ストッカー３の全棚と観察ユニット５との間を培養容器１０が移動可能となるように構成されている。

観察ユニット５は、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、マクロ観察系５４の光軸に沿って試料台１５の下方から試料を照明する第１照明部５１、顕微観察系５５の光軸に沿って試料台１５の上方から試料を照明する第２照明部５２及び下方から試料を照明する第３照明部５３、観察系５４，５５の撮像装置により撮影した画像を取得して各種の画像処理を施す画像処理装置１００などから構成される。試料台１５は、透光性を有する材質で形成されるとともに観察領域に透明な窓部１６が設けられている。また、試料台１５は、制御ユニット６からの駆動制御によりＸＹ方向（水平面内方向）及びＺ方向（上下方向）に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器１０をＸＹＺ方向に移動させることにより、培養容器１０の被観察領域をマクロ観察系５４や顕微観察系５５の観察視野内へ位置決めすることが可能になっている。

第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下方から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ（Light Emitting Diode）やハロゲンランプ等の光源５２ａと、輪帯絞りやコンデンサレンズ等からなる照明光学系５２ｃとを有しており、試料台１５の上方から顕微観察系５５の光軸に沿って培養容器１０内の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のＬＥＤや水銀等の光源５３ａと、各光源５３ａから射出された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系５３ｃとを有しており、試料台１５の下方から顕微観察系５５の光軸に沿って培養容器１０内の試料を照明する。各光源５２ａ，５３ａの照明光量は、制御ユニット６からの駆動信号（電流／電圧）に基づいて制御される。

マクロ観察系５４は、観察光学系５４ａと、この観察光学系５４ａにより結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有しており、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ画像）を撮影する。

顕微観察系５５は、対物レンズや位相リング等を有する観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤ等の撮像装置５５ｃとを有している。対物レンズは、レンズ駆動機構８７により光軸に沿う方向（Ｚ方向）に往復移動可能に構成されており、対物レンズと試料面との光軸方向の相対位置（光学的距離）を変化させることにより焦点調節が可能になっている。また、対物レンズは複数設けられるとともに、レボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では、少なくとも低倍観察用（例えば２倍観察用）と高倍観察用（例えば１０倍観察用）との２種類の倍率の間で変倍可能なように切り換えられる。顕微観察系５５は、第２照明部５２により照明された試料の位相差画像、第３照明部５３により照明された試料の反射像、第３照明部５３により照明された試料の蛍光画像など、培養容器１０内の試料を顕微鏡観察した顕微観察画像（ミクロ画像）を撮影する。

画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ、顕微観察系５５の撮像装置５５ｃにより撮影され、これらの撮像装置から入力された信号を処理して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像（画像データ）に対して画像解析を施し、タイムラプス画像の生成、細胞運動の動きベクトルの検出、画像特徴量の算出、細胞の拍動運動の解析、などを実行する。なお、画像処理装置１００については、後に詳述する。

制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送装置４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記録領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。

操作盤７には、キーボードやマウス、スイッチ等の入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。

このように概要構成される培養観察システムＢＳは、操作盤７において設定された観察プログラムに従ってＣＰＵ６１が各部の作動を制御し、培養容器１０内の試料の撮影を自動的に実行する。観察プログラムがスタートされると、ＣＰＵ６１はＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。

また、ＣＰＵ６１はＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４１，４２，４３を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。

また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０内の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２又は第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御ユニット６に入力された信号は、画像処理装置１００により処理されて顕微観察画像（位相差画像、蛍光画像等）が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。

［心筋細胞の細胞コロニーの抽出］
以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、撮像装置５４ｃ，５５ｃにより所定時間の時間間隔ごとに培養容器１０内の培養細胞の画像が時系列で取得される（タイムラプス撮影）。このように、幹細胞から分化した心筋細胞の細胞集団（コロニー）が撮影された時系列画像に基づいて、心筋細胞の細胞コロニーの形態的特徴を検出し、心筋細胞の細胞コロニーを抽出する。この取得した時系列画像を解析して、例えば、図１２の表１にあるように、細胞コロニーの形態的特徴（輪郭、厚み、面積、特徴点（重心、始点、終点、屈曲点、分岐点など）、形状（細胞内部構造の変化も含む）、明るさ等）から抽出できる。
具体的には、図１２の表１に記載するように、細胞コロニーは、細胞の形態的特徴量に基づき特定される。
I． 細胞コロニーの輪郭を用いる場合には、例えば、（i）細胞コロニーの輪郭帯（輪郭線に沿って内側に所定幅の帯状）の平均輝度や輝度の分散値が所定値以上のものを細胞コロニーと特定する。また、（ii）輪郭帯の平均輝度や輝度の分散値とそのコロニー内部の平均輝度や輝度の分散値との輝度比較から細胞コロニーと特定する。
II． 細胞コロニーの厚さを考慮して、細胞コロニー全体を適正露光量で撮像するために、例えば、（i）撮像装置５４ｃは、異なる露光量ごとに取得した画像から細胞コロニーを特定する。また、露光量を変える代わりに、撮像措置のセンサゲインを調整した画像を使用してもよい。なお、後述する・動き領域・拍動部位・ペースメーカー細胞の特定においても同様に露光両、センサゲインを調整した画像を用いることが可能である。またさらに、前述（i）の代わりに、撮像装置のダイナミックレンジの広いセンサにより画像取得しても良い。
III． 細胞コロニーの面積を用いる場合には、（i）面積が所定値以上のものを細胞コロニーと特定する。あるいは、（ii）所定の面積範囲以上のものを細胞コロニーと特定する。
IV． 細胞コロニーの形状を用いる場合には、（i）所定の形状のもの（例えば真円度が所定値以上）を細胞コロニーと特定する。あるいは、（ii）内部構造変化が、所定の構造変化より大きいものを細胞コロニーと特定する（詳しくは後述する）。あるいは、（iii）細胞コロニーの周囲に存在する周辺細胞と細胞コロニーとの空間周波数の違いを利用し、細胞コロニーが有する空間周波数を透過する空間フィルタ（ローパスフィルタ）を適用して、細胞コロニーを特定する。尚、空間フィルタは光学的なフィルタを用いてもよいし、画像を計算処理してフィルタリングしてもよい。
V． 細胞コロニーの明るさ情報（輝度情報）を用いる場合には、（i）細胞コロニーの輪郭内の輝度分布が所定輝度分布以上のものを細胞コロニーと特定する。あるいは、（ii）細胞コロニーの輪郭帯が所定の輝度をもつものを細胞コロニーと特定する。

［心筋細胞の拍動運動の検出］
以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、撮像装置５４ｃ，５５ｃにより所定時間を隔てて心筋細胞の細胞集団（コロニー）が撮影された時系列画像を取得し、この取得した時系列画像を解析して心筋細胞の拍動運動を検出する機能を有している。

心筋細胞は、例えば、心臓疾患などを対象とした再生医療や創薬のリソースとして、胚性幹細胞（embryonic stem cell：ＥＳ細胞）や人工多能性幹細胞（induced pluripotent stem cell：ｉＰＳ細胞）から分化誘導されたものであり、自律的に収縮・弛緩の拍動運動を所定の時間間隔で周期的に繰り返す。心筋細胞は、細胞同士が接着し合い細胞集団（コロニー）を形成しており、フィーダ細胞とともにディッシュ（培養容器１０）内に散布されている。

画像処理装置１００では、取得した時系列画像から動きベクトルを検出し、動きベクトルが検出された動きのある領域の画像特徴量を順次算出し、この算出された画像特徴量の時系列変化に基づいて心筋細胞の拍動を検出する構成になっている。それでは、以下にこの画像処理装置１００が実行する画像処理方法（細胞の運動検出方法）について基本的な概念から説明する。なお、以降の説明では、第２照明部５２及び顕微観察系５５等によって構成される位相差顕微鏡によって撮影される位相差画像（顕微観察画像）に基づいて観察を行う場合を例示する。なお、細胞の観察を行う事が可能であれば、位相差観察以外の観察手法を用いても構わない。このとき、顕微観察系５５では、観察光学系５５ａの観察倍率を切り換えることにより低倍観察及び高倍観察が可能である。

（動き領域の抽出）
図４に示すように、心筋細胞ＭＣの拍動運動は、収縮・弛緩を繰り返す周期的な動きであることから、まず、細胞集団（コロニー）を撮影した時系列画像から動きベクトルを検出し、この動きベクトルの検出された領域を動きのある領域（「動き領域」）として抽出する。図１２の表１に記載したように、細胞コロニーの「特徴点（重心、始点、終点、屈曲点、分岐点など）」を求めることで動きベクトルを検出する。以下に具体的に説明する。

先ず、心筋細胞ＭＣのコロニーＣが撮影された時系列画像（時刻ｔ＝１，２，３，…，Ｔ−１，Ｔ，…）を取得し、この時系列画像における第１の時刻ｔ−１に撮影された第１画像（例えば、図５（ａ）を参照）と、第１の時刻ｔ−１よりも所定時間後の第２の時刻ｔに撮影された第２画像（例えば、図５（ｂ）を参照）と、に注目する。

図６に示すように、動きベクトル（図中では符号「Ｖ」で示す）は、時刻ｔ−１の第１画像と、次時刻ｔの第２画像との間で、例えばオプティカルフロー（ブロックマッチング法、勾配法など）等の既知の手法を利用して推定する。この動きベクトルは、例えば各画像において画素単位で検出され、第１画像での注目画素の中心座標（始点）から、この注目画素に対応する第２画像での対応画素の中心座標（終点）までのベクトルとして算出される。より詳細には、動きベクトルは、２つの画像間（第１画像及び第２画像間）における各検出点での動きの向きと大きさを表すベクトル（「速度ベクトル」とも称される）であり、このベクトルの向きが動きの方向を表し、ベクトルの長さが動き量を表している。なお、ここでは、動きベクトルが検出された各画素を動き領域として定義するが、視野画像をＮ×Ｍ画素（複数画素）からなるブロック毎に分割して、動きベクトルをこのブロック単位で検出し、このブロックを動き領域として定義してもよい。

以下では、第１の時刻ｔ−１と第２の時刻ｔとの間の時間間隔Δｔを収縮・弛緩のタイミングに合わせ、第１の時刻ｔ−１を弛緩時とし、第２の時刻ｔを収縮時として時系列画像を撮影した場合を例示して説明する。なお、取得した時系列画像の中から、少なくとも弛緩時を撮影した第１の画像と収縮時を撮影した第２の画像とを選択することができるならば、時系列画像を取得するサンプリング間隔は特に限定されない。

ここで、心筋細胞ＭＣのコロニーＣを時系列で観察した場合、動きベクトルが検出された領域（動き領域）の全てが必ずしも収縮・弛緩を交互に繰り返す拍動部位（拍動領域）であるとは限らない。すなわち、動きベクトルの検出では、拍動している心筋細胞のみが動き領域として検出されるだけでなく、この心筋細胞の収縮・弛緩に引っ張られて移動する周辺細胞（フィーダ細胞を含む）ＦＣや、ディッシュ内の培地に浮遊して動きを伴っている浮遊細胞ＮＣやゴミＧなども動き領域として検出されてしまう。しかしながら、本目的においては、拍動に加担している心筋細胞のみを他と区別して正確に検出されることが好ましい。このとき、心筋細胞ＭＣには核や内部繊維などの内部構造（テクスチャ）が存在し、心筋細胞が収縮・弛緩の拍動（形態変化）を繰り返す際に内部構造が顕著に変化する。より具体的には、収縮時には内部構造が密になり、弛緩時には内部構造が元の状態（収縮時に比して疎）となる。つまり、位相差観察において拍動部位に照射される照明光は、この部位を通過する直接光と回折光とに分かれるが、この回折現象は屈折率に変化がある部位で発生するため、当該回折光は拍動部位の内部構造（位相物体）の形状情報を含み、心筋細胞が収縮・弛緩の拍動を繰り返す際に内部構造の顕著な変化として捉えることが可能である。一方、それ以外の細胞（周辺細胞、浮遊細胞）やゴミなどの異物は動きを伴っていても内部構造の変化が極めて乏しいといえる。そこで、動きベクトルの検出された動き領域に対して、内部構造の変化に関する画像特徴量を時系列で算出し、この画像特徴量の時系列変化に基づいて心筋細胞のコロニーから拍動部位を検出する手法（拍動検出手法）を考える。

（形態的特徴量の時系列変化）
時系列画像における第１画像と第２画像との間で動きベクトルが検出された動き領域につき画像特徴量（形態的特徴量）を算出し、この画像特徴量の時系列変化を算出する。具体的には、各動き領域に対して動きベクトルの始点と終点とに注目し、第１画像に関して当該始点に対応する点近傍（画素近傍）の小領域と、第２画像に関して当該終点に対応する点近傍（画素近傍）の小領域と、で画像の特徴量をそれぞれ算出する。ここで、同一対象について、始点の小領域は時刻ｔ−１での動き領域（又は動き領域を含む領域）を意味し、終点の小領域は時刻ｔでの動き領域（又は動き領域を含む領域）を意味する。従って、始点の小領域と終点の小領域との画像特徴量の差分をとることにより、第１画像及び第２画像間での動き領域の画像特徴量の時系列変化を導出できる。

画像の特徴量は、公知の種々の指標を用いることができ、例えば以下のようなものを列挙することができる。すなわち、細胞コロニーの内部構造を示すテクスチャ特徴量として、（１）微分の総和、（２）輝度値の分散、（３）空間周波数、などである。

（１）微分の総和
小領域（動き領域）内の輝度の空間方向に対する微分（縦、横、斜め方向の輝度値の差分、Sobel Filterなども含む）により、エッジ強度を算出する。

（２）輝度値の分散
小領域（動き領域）内の輝度値のバラツキをみることで、値が大きければバラツキがあることから、例えば、細胞内の顆粒の増減や核の数や大きさ、密度によるムラを概算できる。

（３）空間周波数
フーリエ変換による空間周波数のスペクトル強度は、前記までのシンプルな特徴量とは違い、より詳細なテクスチャパターンを解析した多次元特徴量である。この相関値を算出することによって、より詳細な情報を捉えることができる。

また、図１２の表１に記載するように、細胞コロニーの動き領域を検出するために、時系列画像に基づき細胞コロニーの面積の変化率（収縮・拡張の変化）を算出し、所定値以上の変化率を示す場合にその画素群を動き領域として特定する。更にまた、動き領域は、細胞コロニーのエッジ部分に存在する確率が高く、エッジ部分の輝度変化領域を抽出することで動き領域を特定することも可能である。なお、細胞コロニーの厚みを考慮するためには、前述した通り、露光量などを調整すればよい。

（拍動領域（拍動部位）の抽出）
こうして得られた第１画像におけるテクスチャ特徴量と第２画像におけるテクスチャ特徴量との差分を算出し、この差分を時系列変化量とする。前述したように、拍動部位では収縮・弛緩の繰り返しによって内部構造が密→疎→密→疎→…と交互に形態変化するため、これに応じてテクスチャ特徴量（画像特徴量）も変化する。つまり、内部構造が密になる収縮時にはテクスチャ特徴量は増加し、内部構造が疎になる弛緩時にはテクスチャ特徴量は減少する。そのため、拍動部位に関してテクスチャ特徴量の差分は、ある一定の大きさを有した変化量として表れる。これに対して、非拍動部位である周辺細胞やゴミ等の異物では、動きがあった場合でも内部構造の変化がほとんど見られず、テクスチャ特徴量の変化は乏しい。そこで、テクスチャ特徴量の変化量と予め設定した所定の閾値とを比較し、テクスチャ特徴量の変化量が所定の閾値以上である場合に、そのテクスチャ変化を持つ領域（動き領域）を拍動領域として判別する。

所定の閾値は、例えば拍動検出に先立って、代表的な心筋細胞のコロニーを観察し、このコロニーに存在する拍動部位をサンプリングして得られたテクスチャ特徴量の時系列変化を基準として予め算出しておくことが好ましい。なお、例えばユーザインターフェースにより所定の閾値を任意に変更できるようにしてもよい。このユーザインターフェースでは、操作パネル７１において「閾値設定」が選択されると、表示パネル７２に「スライドレバー」が表示されて、マウスやキーボード等を用いたスライドレバーのドラッグ操作を行うことにより（スライドレバーを移動させることにより）、所望の閾値を選択可能に構成する。

なお、画像特徴量としては、前述のテクスチャ特徴量に限定されず、他の指標を採用してもよく、例えば単純な輝度値（平均輝度値）を用いても同様の効果が得られる。前述したように、拍動部位では収縮・弛緩の繰り返しにより、内部構造が密→疎→密→疎→…と交互に形態変化するため、これに応じて輝度値も変化する。つまり、内部構造が密になる収縮時には照明光が吸収され暗くなり（輝度値が低下し）、内部構造が疎になる弛緩時には透過光が増加して明るくなる（輝度値が増加する）。そのため、拍動部位に関してテクスチャ特徴量の差分は、ある一定の大きさを有した変化量として表れる。これに対して、周辺細胞やゴミ等では、内部構造の変化がほとんど見られず、輝度値の変化も乏しいといえる。このように、輝度値を画像特徴量として採用した場合でも、拍動部位にのみ輝度値の時系列変化が顕著に表れるため、この画像特徴量の変化に基づいて拍動部位を検出することができる。

また、上述のように、心筋細胞は拍動（収縮・弛緩）のタイミングで内部構造が形態変形して画像の特徴量（テクスチャ特徴量、輝度値など）も変化するため、拍動の判別手法として、収縮・弛緩の時間的周期（動きベクトルの往復運動）と、画像の特徴量の時系列変化とが同期していることを条件に追加してもよく、この手法を利用することにより拍動部位をより正確に検出することが可能になる。

また、図１２の表１に記載のように、拍動領域は細胞コロニーのエッジ部分に存在する確率が高いため、エッジ幅に合わせた分散フィルタを適用して輝度の分散値を求め、この分散値が所定値以上のものを拍動領域に特定する。また、上記動きベクトルの大小によって動き領域内から拍動部位を特定する。あるいは、動き領域内において、上述のごとく輝度変化・輝度分布を捉え、拍動領域を特定する。あるいは、細胞コロニーの動き領域内の内部構造の空間周波数のスペクトル強度に基づき拍動領域を特定する。

次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて図１及び図７を併せて参照しながら説明する。ここで、図１は画像処理プログラムＧＰ１における処理の概要を示すフローチャート、図７は画像処理装置１００の概要構成を示すブロック図である。

画像処理装置１００は、撮像装置５４ｃ，５５ｃにより撮影された画像を記憶する画像記憶部１１０と、画像記憶部１１０に記憶された画像を取得して解析する画像解析部１２０と、画像解析部１２０により解析された解析結果を出力する出力部１３０とを備えて構成される。画像解析部１２０は、オプティカルフロー（ブロックマッチング法、勾配法など）等の既知の手法を用いて時系列画像から第１画像及び第２画像間の動きベクトルを検出する動きベクトル検出部１２１と、動きベクトルが検出された動き領域について画像特徴量の時系列変化を算出する特徴量算出部１２２と、を備える。出力部１３０からは、画像解析部１２０による解析結果、例えば、動きベクトルの検出結果、画像特徴量の時系列変化の情報、拍動運動する心筋細胞の判別結果、などが出力され、表示パネル７２への表示や記憶媒体への記録、通信部６５を介して外部へのデータ送信等が行われる。

画像処理装置１００は、ＲＯＭ６２に設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。換言すれば、画像処理プログラムＧＰはハードウェア資源であるＣＰＵ６１（コンピュータ）を画像処理装置として機能させるためのソフトウェアである。

既述したように、培養観察システムＢＳでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器１０内の心筋細胞集団（コロニー）の観察が行われる。具体的に、ＣＰＵ６１は、搬送ユニット４の各ステージ４１，４２，４３を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送（本実施形態では、顕微観察系５５の光軸上に配置）する。ＣＰＵ６１は、試料台１５を面内方向（Ｘ，Ｙ方向）に移動させるとともに、レンズ駆動機構８７により対物レンズを光軸方向に沿って移動させて、培養容器１０内の試料と対物レンズとの位置決めを行う。なお、ここでは高倍観察用（例えば１０倍）の対物レンズを用いていており、これにより解像度の高い画像に基づいて心筋細胞の内部構造に関する特徴をより定量的に判断できる。

画像解析部１２０は、画像処理プログラムＧＰに基づき、撮像装置（説明では顕微観察系の撮像装置５５ｃとする）により撮影され、画像記憶部１１０に記憶された心筋細胞のコロニーの画像を以下のように画像処理する。

先ず始めにステップＳ１０１では、画像解析部１２０は、画像記憶部１１０に記憶された時刻ｔ−１の第１画像（例えば、図５（ａ）に示す弛緩時の画像）と、所定時間を隔てた次時刻ｔの第２画像（例えば、図５（ｂ）に示す収縮時の画像）とを取得する。

ステップＳ１０２では、動きベクトル検出部１２１は、オプティカルフロー法などの既知の手法を用いて、第１画像及び第２画像間の動きベクトルを画素単位（もしくは複数画素のブロック単位）で検出する。具体的には、図６に示す如く、第１画像及び第２画像間において動きが検出された動き領域（画素またはブロック）に動きベクトルを示す矢印が割り付けられる。

ステップＳ１０３では、特徴量算出部１２２は、動きベクトルが検出された画素近傍の小領域（動き領域）について画像特徴量の時系列変化を算出する。具体的には、動きベクトルごとに、第１画像において動きベクトルの始点にあたる小領域と、第２画像において動きベクトルの終点にあたる小領域とで画像特徴量をそれぞれ算出し、その差分を画像特徴量の変化量として導出する。画像特徴量としては種々の指標を用いることができるが、ここでは前述のようにテクスチャ特徴量や平均輝度値などが例示される。

ステップＳ１０４では、画像解析部１２０は、画像特徴量の変化量と所定の閾値とを比較して、画像特徴量の変化量が所定の閾値以上である小領域を拍動領域（拍動検出領域）として検出する。

ステップＳ１０５では、判定結果を出力部１３０から出力し、表示パネル７２等に表示させる。具体的な表示方法として、例えば、拍動検出領域とそれ以外の領域（非拍動領域）とを異なる色相や輝度で表示したり、非拍動領域を塗り潰して表示したり、非拍動領域を除去した画像を表示する等により、拍動検出領域と非拍動領域とを判別可能に表示する。また、出力部１３０から出力される上記判定結果を、通信部６５を介して外部接続されるコンピュータ等に送信して、同様の画像を表示させたり、心筋細胞の状態を観察するための基礎データとして用いたりすることができる。

［心筋細胞コロニーの拍動中心の検出］
ところで、心筋細胞のコロニー内には、その拍動中心にペースメーカー細胞（歩調取り細胞）が存在しており、このペースメーカー細胞から発生した電気信号が心筋細胞同士、異なる細胞間を経て伝達されることで拍動経路を形成していると推測される。そのため、心筋細胞の拍動のメカニズムを解明するためにも、心筋細胞のコロニー内から拍動領域だけではなく拍動中心をも検出することが求められる。

そこで、上記実施形態で例示した拍動検出手法の応用手法として、図８〜図１０、図１２の表１を追加参照しながら、以下において拍動中心検出手法について説明する。ここで、図８は拍動中心検出手法の流れを説明するための模式図、図９は注目点及び小領域窓を算出する処理を説明するための模式図、図１０はコロニー内の拍動中心領域を示す模式図である。

先ず、心筋細胞ＭＣのコロニーＣの時系列画像（時刻ｔ＝１，２，３，…，Ｔ−１，Ｔ，…）から動きベクトルを検出し、このコロニーＣ内において弛緩〜収縮の運きを伴う時刻ｔ−１〜時刻ｔを捉える。時系列画像から時刻ｔ−１の第１画像と次時刻ｔの第２画像とを取得し、そのうちの時刻ｔ−１の第１画像に対してコロニーＣの最も外側の輪郭を抽出してセグメンテーションを行い、そのコロニーＣの内部領域Ｉを設定する。このような最外輪郭抽出処理には、例えば、分散フィルタを施したのち二値化させる手法や、動的輪郭法（SnakesやLevel Set法）などが挙げられる。

そして、オプティカルフロー法などの既知の手法を利用して第１画像及び第２画像間の動きベクトルを検出し、この検出された動きベクトルのうちから収縮方向の動きベクトル群（図中では符号「ＶＧ」で示す）のみを抽出する。ここで、収縮方向の動きベクトル群とは、画像内のある一点（中心）に収束するように配向する複数のベクトルの集まりをいう。

次いで、収縮方向の動きベクトルが検出された或る画素Ｇ（ｍ）を注目画素として、注目点Ｐ（０）又はこの注目点Ｐ（０）を中心とする小領域窓（複数画素のブロック）Ｗ（０）を考え、注目点Ｐを採用する場合にはその位置Ｐ（０）での動きベクトルＶ（Ｐ０）を検出し、小領域窓Ｗの場合にはこのブロックＷ（０）内での平均ベクトルＶ（Ｗ０）を検出する。この動きベクトルＶ（Ｐ０）又は平均ベクトルＶ（Ｗ０）の向き及び大きさに従って、注目点Ｐ（０）を移動させ、新たな注目点Ｐ（１）を設定する。

同様に、この注目点Ｐ（１）又はこの注目点Ｐ（１）を中心とする小領域窓Ｗ（１）について動きベクトルＶ（Ｐ１）又は平均ベクトルＶ（Ｗ１）を検出していき、注目点Ｐ（ｎ）の移動がなくなるような終着点Ｐendまで処理を繰り返す。これを内部領域Ｉ内で収縮方向の動きベクトルが検出された全ての画素Ｇ（ｍ）について実行し、注目点Ｐ（ｎ）の移動があった場合の終着点Ｐendのみを抽出する。図１０に示すように、この終着点Ｐendの集合領域（図中では点線で囲まれた領域）と、上述した拍動検出手法にて検出された拍動検出領域（図中では網掛けの領域）と、で重なる領域を算出することにより、コロニーＣの拍動中心領域を検出することができる。

ここで、単に終着点Ｐendの集合より導出された領域では、動きによる滞留点（細胞は拍動していない）でしかない場合があるが、終着点Ｐendの集合領域と、前述の拍動検出手法で導出された拍動検出領域と、を組み合わせることにより、詳細な拍動中心（収縮中心）を推定することが可能である。なお、上述の説明では、コロニーＣの収縮時に着目して収縮方向の動きベクトルに基づいて拍動中心領域を推定したが、コロニーＣの弛緩時においても動きベクトルの向きを逆にすれば同様の効果が得られる。

また、例えば、図８，１０から明らかなように、動きベクトルの方向（各部位の位置の変化の方向）を検出すると、複数の動きベクトルの向かう位置（動きベクトルの中心）が拍動領域の中心となる為、複数の動きベクトルの方向が重なる部分（つまり動きベクトルの中心）から直接的に拍動領域の中心を求める事も可能である。この場合、拍動領域を特定せずに、拍動中心を推定することもできる。なお、コロニーＣが弛緩している時にはベクトルの方向は図８、１０と逆になり、拍動中心から遠ざかる方向に動きベクトルが向かうが、同様に動きベクトルの長さをを延長させて重なる領域が拍動中心となる。

続いて、画像処理装置１００において実行される拍動中心検出手法の画像処理方法について図１１を追加参照して説明する。ここで、図１１は画像処理プログラムＧＰ２における処理の概要を示すフローチャートである。

ステップＳ２０１では、ディッシュ内で観察対象となるコロニーＣの時系列画像（ｔ＝１，２，３，…，Ｔ−１，Ｔ，…）を撮像装置５５ｃにて撮影する。この時系列画像は画像処理装置１００の画像記憶部１１０に記憶される。

ステップＳ２０２では、画像解析部１２０は、オプティカルフロー法などの既知の手法を利用して時系列画像から動きベクトルを算出することで、コロニーＣの収縮状態を検出し、この収縮時の時刻＝ｔを検出する。

ステップＳ２０３では、画像解析部１２０は、ステップＳ２で設定した時刻ｔに基づき、画像記憶部１１０から時刻ｔ−１の第１画像と次時刻ｔの第２画像とを取得する。なお、先のステップＳ２０２で第１画像及び第２画像間の動きベクトルは既に検出されており、コロニーＣが弛緩状態から収縮状態へ変形する際の動きベクトルが第１画像上に割り付けられている。

ステップＳ２０４では、画像解析部１２０は、時刻ｔの第１画像に対して分散フィルタを施したのち二値化させる手法や動的輪郭法（SnakesやLebelSet法）などを利用して、コロニーＣのセグメンテーションを行い、コロニーＣの内部領域Ｉを設定する。

ステップＳ２０５では、動きベクトル検出部１２１は、第１画像においてコロニーＣの内部領域Ｉ内で検出された複数の動きベクトルの中から、収縮方向の動きベクトル群ＶＧを検出する。

ステップＳ２０６では、動きベクトル検出部１２１は、コロニーＣの内部領域Ｉ内で収縮方向の動きベクトルが検出された画素Ｇ（ｍ）、（画素番号ｍ＝１，２，３，…Ｍ）を動きベクトルの検出点として抽出する。

ステップＳ２０７では、画像解析部１２０は、繰り返し数ｎに初期値０を設定し、ある画素Ｇ（ｍ）の位置を注目点Ｐ（ｎ）の初期位置Ｐ（０）として設定するとともに、この注目点Ｐ（ｎ）を中心とする矩形ブロック状の小領域窓Ｗ（０）を設定する。

ステップＳ２０８では、画像解析部１２０は、注目点Ｐ（ｎ）を中心とする小領域窓Ｗ（ｎ）内で検出された収縮方向の動きベクトルを演算処理して、小領域窓Ｗ（ｎ）内の平均ベクトルＶ（Ｗｎ）を算出する。

ステップＳ２０９では、画像解析部１２０は、注目点Ｐ（ｎ）を平均ベクトルＶ（Ｗｎ）に従って移動させて次の注目点Ｐ（ｎ＋１）を設定するとともに、この注目点Ｐ（ｎ＋１）を中心とする小領域窓Ｗ（ｎ＋１）を設定する。

ステップＳ２１０では、画像解析部１２０は、次の注目点Ｐ（ｎ＋１）が元の注目点Ｐ（ｎ）から移動したものであるか否か、換言すれば、次の注目点Ｐ（ｎ＋１）が元の注目点Ｐ（ｎ）と異なる位置にあるか否かを判定する。

ステップＳ２１０で肯定判定（Ｙｅｓ）の場合、すなわち、次の注目点Ｐ（ｎ＋１）が元の注目点Ｐ（ｎ）から移動したものである場合には、次のステップＳ２１１において、繰り返し数ｎを１インクリメントして、ステップＳ２０８に移行する。ステップＳ２１０で否定判定（Ｎｏ）の場合、すなわち、次の注目点Ｐ（ｎ＋１）が元の注目点Ｐ（ｎ）と一致する場合には、注目点Ｐ（ｎ）の移動が終了したものとみなし、ステップＳ２１２において、この注目点Ｐ（ｎ）を終着点Ｐendとして設定する。

ステップＳ２１３では、画像解析部１２０は、内部領域Ｉ内で全ての画素Ｇ（ｍ）に対して処理を完了したか否かを判定する。ステップＳ２１３で否定判定（Ｎｏ）の場合には、ステップＳ２１４において、処理対象となる注目画素Ｇ（ｍ）の画素番号ｍを１インクリメントして、ステップＳ２０７に移行する。ステップＳ２１３で肯定判定（Ｙｅｓ）の場合には、ステップ１５において、終着点Ｐendの集合領域と、上述の実施形態（拍動検出手法）にて検出された拍動検出領域とが重なる領域を抽出する。

ステップＳ２１６では、画像解析部１２０は、ステップＳ２１５で算出した抽出領域をコロニーＣの拍動中心領域（つまり、この領域内にペースメーカー細胞が存在する）として決定する。

以上説明したように、本実施形態に係る画像処理プログラムＧＰ、この画像処理プログラムＧＰが実行されることにより構成される画像処理方法（運動検出方法：拍動検出手法）及び画像処理装置１００によれば、時系列画像から動きのある領域を抽出して、この動き領域の画像特徴量の時系列変化に基づいて拍動領域を判別するため、ゴミ等の異物や浮遊細胞などを誤検出することなく、心筋細胞の拍動運動を正確に検出することができ、心筋細胞の拍動運動を定量的に評価・判断することが可能となる。

また、拍動検出手法において検出されたコロニーの拍動領域の中から、収縮方向又は弛緩方向の動きベクトル群の流れを利用して拍動中心を検出することで、拍動運動のメカニズムの究明に資することができる。

（心筋細胞の拍動運動の評価に基づく再生医療及び創薬への応用）
上述した実施形態の如く、分化した心筋細胞の拍動中心細胞（ペースメーカー細胞）を特定することで、少なくとも拍動中心細胞の特定された前記細胞コロニーの育成状態を拍動周期から評価する。この評価の結果に基づき心筋細胞の細胞コロニーの培養条件を変更して、心筋細胞の培養条件を最適化することができる。具体的には、心筋細胞の細胞コロニーの培養条件の変更は拍動周期が所定周期と比較されて、その比較結果に基づき培養条件の最適化が行われる。また、上述した実施形態の如く、分化した心筋細胞の拍動中心細胞（ペースメーカー細胞）を特定することで、少なくとも拍動中心細胞の特定された細胞コロニーに所定タイミングで薬剤を滴下し、心筋細胞の薬剤の効果を拍動周期から評価することができる。具体的には、拍動周期と所定周期とを比較して、心筋細胞の薬剤の効果を評価する。また、薬剤の製造方法において、薬剤の上記評価方法を用いて心筋細胞の薬剤の効果を評価し、評価結果を薬剤の成分の調合割合に用いる。

（心筋細胞コロニーのピックアップへの応用）
さらに、上述した実施形態の如く、分化した拍動中心細胞（ペースメーカー細胞心筋細胞）を特定することで、拍動中心細胞の周囲のみを切り出す（ピックアップ）ことで、心筋細胞コロニーの製品化が可能になり、心筋細胞コロニーとしての質の向上や出荷の効率を上げることができる。この拍動中心細胞の周囲のみを切り出す画像処理は、細胞コロニーの輪郭抽出の画像処理、既に説明した最外輪郭抽出処理が適用され、抽出された輪郭線から所定の幅を切り出すことで行う。この所定の幅は実験的に求められたペースメーカー細胞を十分に包含する量が設定される。このように拍動中心細胞の周囲の細胞が特定されると、図３の制御ユニット６において培養容器が載置されたステージ上の座標系（ＸＹＺ）が計算される。この座標系に基づき、ピッキングされる拍動中心細胞が特定され、その周囲の細胞とともに自動的にピッキング装置（不図示）によってピッキングされる。ピッキング装置の細胞ピックアップ用針の針先は、ピッキング装置内のＣＰＵ（制御部）によって自動駆動されるが、このＣＰＵによって培養容器（シャーレ）内の特定された細胞の座標（ステージ座標系）情報を入力することで所望の細胞の位置に針先を駆動制御する。ピッキング装置は培養容器内の特定された細胞をピッキングし、新たな培養容器に移し替える。また、ピッキング装置は操作者の操作によってもピッキング用針を電動駆動できる。この場合には図３の表示パネル７２には培養容器内の細胞コロニーとピッキング用針の針先が同時に映し出され、操作者がその画面を見ながら所望の細胞をピックアップできる構成となっている。

なお、以上説明した本実施形態に係る画像処理プログラムＧＰ，画像処理方法（拍動検出手法）及び画像処理装置１００は、上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

上述の実施形態では、培養観察システムＢＳにおいて撮像装置にて撮影され、ＲＡＭ６３に記憶された時系列画像（画像データ）を読み出して心筋細胞の拍動運動を解析する構成を例示したが、これに限定されるものではなく、撮像装置により撮影されて画像を第１、第２画像としてリアルタイムで解析し現時点における拍動運動を解析して表示するように構成してもよく、また、他の観察システムにおいて撮影され磁気記憶媒体等に記録された時系列画像や、通信回線を通じて転送されてきた時系列画像を読み込んで、拍動運動を解析するように構成してもよい。さらに、観察者が観察画像の所定範囲（例えば、特定のコロニーや、コロニー内の特定部位）をマウス等により解析範囲として設定し、この設定された解析範囲について画像処理装置が拍動運動の解析を実行するように構成してもよい。

また、上述の実施形態では、時系列画像における２枚の画像間の動きベクトルを利用して動きのある領域を抽出する構成を例示しているが、これに限定されるものではなく、例えば、移動体追尾等で利用するトラッキング手法や、画像の差分処理、などの他の既知の手法を利用して動きのある領域を抽出してもよい。

なお、上述の実施形態では、コロニーの特定、動き領域の特定、拍動領域の特定、拍動中心の特定を全て実施しているが、全てを必ずしも実施しなければ他の領域の推定ができないわけではなく、いずれか一つの特定を行っても良いし、適宜複数種類の領域の特定を組合わせて実施しても良い。

また、上述の実施形態では、画像特徴量として心筋細胞の内部構造に基づく特徴量（テクスチャ特徴量）を算出する構成を例示しているが、これに限定されるものではなく、例えば、心筋細胞の外形に基づく画像特徴量を用いてもよい。外形に基づく画像特徴量としては、領域の幅や長さ、面積、周囲長、形状の複雑度（周囲長²／面積）などが例示される。

Ｃ コロニー
Ｖ 動きベクトル
ＭＣ 心筋細胞
ＢＳ 培養観察システム
ＧＰ 画像処理プログラム
５ 観察ユニット ６ 制御ユニット
５４ マクロ観察系 ５４ｃ 撮像装置
５５ 顕微観察系 ５５ｃ 撮像装置
６１ ＣＰＵ ６２ ＲＯＭ
６３ ＲＡＭ １００ 画像処理装置
１２０ 画像解析部 １２１ 動きベクトル検出部
１２２ 特徴量算出部 １３０ 出力部

Claims (21)

1. 所定時間を隔てて観察細胞が撮影された時系列画像を取得し、
   前記取得した前記時系列画像から心筋細胞の候補となる細胞コロニーを抽出し、
   前記抽出した細胞コロニーの中で動きのある動き領域を抽出し、
   前記時系列画像から前記動き領域の細胞の形態的特徴量を算出し、
   前記形態的特徴量の時系列変化に基づいて、前記観察細胞の周期的な運動を検出して拍動領域を抽出し、
   前記拍動領域の細胞の動きを検出して、前記拍動領域の中心に位置する細胞を特定することを特徴とする心筋細胞の運動検出方法。
2. 前記時系列画像における二以上の画像間の動きベクトルを検出し、
   前記時系列画像において前記動きベクトルが検出された領域を前記動き領域として抽出することを特徴とする請求項１に記載の心筋細胞の運動検出方法。
3. 前記形態的特徴量が、前記観察細胞の内部構造に関するテクスチャ特徴を利用したものであることを特徴とする請求項１又は２に記載の心筋細胞の運動検出方法。
4. 前記時系列画像における二以上の画像間の動きベクトルを検出し、
   前記時系列画像において、前記動き領域の前記動きベクトルの時系列変化と、前記形態的特徴量の時系列変化と、が同期的に検出されたときに、当該動き領域の中の周期的な運動を繰り返す細胞部位を前記拍動領域として判別することを特徴とする請求項１に記載の心筋細胞の運動検出方法。
5. 前記拍動領域の時系列画像における二以上の画像間の動きベクトルを検出し、
   収縮方向の前記動きベクトルから前記拍動領域の画像中の注目点を算出し、前記注目点中心の小領域から拍動中心を算出することを特徴とする請求項４に記載の心筋細胞の運動検出方法。
6. 前記細胞コロニーの画像に基づき、前記細胞コロニーのエッジ領域を抽出し、前記エッジ領域の画像から前記動き領域を抽出することを特徴とする請求項２に記載の心筋細胞の運動検出方法。
7. コンピュータにより読み取り可能であり、撮像装置により撮影された画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、
   前記撮像装置によって所定時間を隔てて観察細胞を撮影し、前記観察細胞の時系列画像を取得するステップと、
   前記取得した前記時系列画像から、前記画像処理装置によって心筋細胞の候補となる細胞コロニーを抽出するステップと、
   前記画像処理装置によって、前記抽出した細胞コロニーの中で動きのある動き領域を抽出するステップと、
   前記画像処理装置によって、前記時系列画像から前記動き領域の細胞の形態的特徴量を算出するステップと、
   前記画像処理装置によって、前記形態的特徴量の時系列変化に基づいて、前記観察細胞の周期的な運動を検出して拍動領域を抽出するステップと、
   前記画像処理装置によって、前記拍動領域の細胞の動きを検出して、前記拍動領域の中心に位置する細胞を特定することを前記コンピュータに実現させることを特徴とする画像処理プログラム。
8. 前記時系列画像における二以上の画像間の動きベクトルを検出するステップと、
   前記時系列画像において前記動きベクトルが検出された領域を前記動き領域として抽出するステップとを備えたことを特徴とする請求項７に記載の画像処理プログラム。
9. 前記時系列画像における二以上の画像間の動きベクトルを検出するステップと、
   前記時系列画像において、前記動き領域の前記動きベクトルの時系列変化と、前記形態的特徴量の時系列変化と、が同期的に検出されたときに、当該動き領域の中の周期的な運動を繰り返す細胞部位を前記拍動領域として判別するステップとを備えたことを特徴とする請求項７に記載の画像処理プログラム。
10. 前記拍動領域の時系列画像における二以上の画像間の動きベクトルを検出するステップと、
    収縮方向の前記動きベクトルから前記拍動領域の画像中の注目点を算出し、前記注目点中心の小領域から拍動中心を算出するステップとを備えたことを特徴とする請求項９に記載の画像処理プログラム。
11. 撮像装置により所定時間を隔てて観察細胞が撮影された時系列画像を取得して画像を解析する画像解析部と、前記画像解析部による解析結果を出力する出力部とを備えた画像処理装置であって、
    前記画像解析部は、前記取得した前記時系列画像から心筋細胞の候補となる細胞コロニーを抽出するコロニー検出部と、前記抽出した細胞コロニーの中で動きのある動き領域を抽出する動き領域検出部と、前記時系列画像から前記動き領域の細胞の形態的特徴量を算出する特徴量算出部と、前記形態的特徴量の時系列変化に基づいて、前記観察細胞の周期的な運動を検出して拍動領域を抽出する拍動領域抽出部と、前記拍動領域の細胞の動きを検出して、前記拍動領域の中心に位置する細胞を特定する中心細胞特定部とを備えたことを特徴とする画像処理装置。
12. 前記動き領域検出部は、前記時系列画像における二以上の画像間の動きベクトルを検出し、前記時系列画像において前記動きベクトルが検出された領域を前記動き領域として抽出することを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像解析部は、前記時系列画像における二以上の画像間の動きベクトルを検出する動きベクトル検出部と、前記時系列画像において、前記動き領域の前記動きベクトルの時系列変化と前記形態的特徴量の時系列変化とが同期的に検出されたときに、当該動き領域の中の周期的な運動を繰り返す細胞部位を前記拍動領域として判別する判別部とを備えたことを特徴とする請求項１１に記載の画像処理装置。
14. 所定時間を隔てて観察細胞が撮影された時系列画像を取得し、
    前記取得した前記時系列画像から心筋細胞の候補となる細胞コロニーを抽出し、
    前記抽出した細胞コロニーの中で動きのある動き領域を抽出し、
    前記時系列画像から前記動き領域の細胞の形態的特徴量を算出し、
    前記形態的特徴量の時系列変化に基づいて、前記観察細胞の周期的な運動を検出して拍動領域を抽出し、
    前記拍動領域の細胞の動きを検出して、前記拍動領域の中心に位置する中心細胞を特定し、
    少なくとも前記拍動中心細胞の特定された前記細胞コロニーの育成状態を前記拍動周期から評価し、
    前記評価の結果に基づき前記細胞コロニーの培養条件を変更する
    ことを特徴とする心筋細胞の培養方法。
15. 前記心筋細胞の細胞コロニーの培養条件の変更は前記拍動周期が所定周期と比較されて、その比較結果に基づき行われることを特徴とする請求項１４に記載の心筋細胞の培養方法。
16. 所定時間を隔てて観察細胞が撮影された時系列画像を取得し、
    前記取得した前記時系列画像から心筋細胞の候補となる細胞コロニーを抽出し、
    前記抽出した細胞コロニーの中で動きのある動き領域を抽出し、
    前記時系列画像から前記動き領域の細胞の形態的特徴量を算出し、
    前記形態的特徴量の時系列変化に基づいて、前記観察細胞の周期的な運動を検出して拍動領域を抽出し、
    前記拍動領域の細胞の動きを検出して、前記拍動領域の中心に位置する拍動中心細胞を特定し、
    少なくとも前記拍動中心細胞の特定された細胞コロニーに所定タイミングで薬剤を滴下し、前記心筋細胞の薬剤の効果を前記拍動周期から評価する
    ことを特徴とする薬剤評価方法。
17. 前記拍動周期と所定周期とを比較して、前記心筋細胞の薬剤の効果を評価することを特徴とする請求項１６に記載の薬剤評価方法。
18. 前記請求項１６または請求項１７に記載の薬剤評価方法を用いて前記心筋細胞の薬剤の効果を評価し、前記評価結果を薬剤の成分の調合割合に用いることを特徴とする薬剤の製造方法。
19. 時間を隔てて心筋細胞を含む画像を複数取得し、
    前記複数の画像から、時間と共に位置が変化する部位を複数検出し、
    前記複数部位の位置の変化方向に基づいて前記心筋細胞の動きの中心に位置する細胞を推定する心筋細胞の運動検出方法。
20. 前記複数の部位の位置変化の大きさに基づいて前記心筋細胞の拍動領域を推定し、
    前記拍動領域内に位置する前記複数部位の位置の変化方向に基づいて前記心筋細胞の動きの中心に位置する細胞を推定する請求項１９に記載の心筋細胞の運動検出方法。
21. 前記複数の画像から心筋細胞の候補となる細胞コロニーを抽出し、
    前記細胞コロニー内に位置する前記複数部位の位置の変化方向に基づいて前記心筋細胞の動きの中心に位置する細胞を推定する請求項１９または２０に記載の心筋細胞の運動検出方法。