JP2006350739A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】観測画像に含まれる生細胞の経時変化が容易に観測可能なように画像を表示できること。
【解決手段】画像処理装置１は、複数の観測時点で撮像された生細胞を含む一連の観測画像内の各観測画像の中から生細胞に対応する細胞画像領域を検出し、検出した各細胞画像領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、特徴量算出手段によって算出された細胞特徴量を観測時点に対応付けて記憶する特徴量記憶手段と、特徴量算出手段によって算出された細胞特徴量を観測時点ごとに画像化した細胞特徴画像を生成する特徴画像生成手段と、観測画像間の細胞特徴量の変化量を算出し、算出した変化量をもとに各観測画像に含まれる生細胞に同一性があるか否かを判断し、同一性があると判断した各生細胞を対応付ける対応付け手段と、異なる観測時点に対応する細胞特徴量同士を単一の表示画像として画像化して表示する制御を行う画像表示制御手段と、を備える。
【選択図】 図１

Description

本発明は、一連の画像を処理して表示する画像処理装置および画像処理プログラムに関し、特に複数の観測時点で撮像された生細胞を含む一連の観測画像を処理して表示する画像処理装置および画像処理プログラムに関するものである。

従来、顕微鏡等を利用して種々の細胞を標本とする観測が行われている。顕微鏡を用いた生細胞の経時的な観測では、通常、複数の時点で生細胞を撮像して得た各観測画像の中から目視作業と手作業とによって個々の生細胞を認識し、認識した各生細胞を時系列に連続した観測画像間で比較して、特徴量の経時変化を観測するようにしている。

このような従来の観測手法では、観測細胞数、観測頻度、観測範囲、観測時間等の増大にともなって観測者にかかる負荷が増大するなどの問題があった。これに対して、観測画像の中から個々の細胞を検出し、検出した各細胞の位置、形状等に関する特徴量を抽出し、抽出した特徴量をグラフ化あるいは画像化して観測しやすく表示することによって、観測者への負荷を軽減する技術が提案されている（たとえば、特許文献１および２参照）。

特許文献１に開示されている画像処理装置では、細胞を撮像した位相差画像と蛍光画像とを用い、ＧＶＦ（Gradient Vector Flow）を加えたＳｎａｋｅｓの手法を利用して細胞の特徴量としての輪郭を抽出し、抽出した輪郭を画像化した輪郭画像を表示するようにしている。ここで、Ｓｎａｋｅｓの手法とは、動的輪郭モデルを用いて撮像対象の輪郭を抽出する輪郭抽出法である。また、特許文献２に開示されている細胞形状抽出装置では、細胞を撮像した観測画像から濃度勾配を利用して細胞の輪郭を抽出し、抽出した輪郭を示す輪郭画像を観測画像に重ね合わせて表示するようにしている。

特開２００４−５４３４７号公報 特許第３３１４７５９号公報

しかしながら、上述した従来の画像処理装置では、特徴量としての輪郭を画像化して表示しているものの、一時点の輪郭画像を単独で表示しているため、輪郭の経時変化の観測や観測画像と輪郭画像との対応関係の把握が困難であるという問題があった。また、上述した従来の細胞形状抽出装置では、重ね合わせる観測画像と輪郭画像とが同一時点の画像に限られていたため、輪郭の経時変化の観測が困難であるという問題があった。

本発明は、上記に鑑みてなされたものであって、観測画像に含まれる生細胞の特徴量の経時変化および観測画像と特徴量との対応関係が容易に観測可能なように画像を表示することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上記の目的を達成するために、請求項１にかかる画像処理装置は、複数の観測時点で撮像された生細胞を含む一連の観測画像を処理して表示する画像処理装置において、前記一連の観測画像内の各観測画像の中から前記生細胞に対応する細胞画像領域を検出し、該検出した各細胞画像領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された細胞特徴量を前記観測時点に対応付けて記憶する特徴量記憶手段と、異なる観測時点に対応する前記細胞特徴量同士を、単一の表示画像として画像化して表示する制御を行う画像表示制御手段と、を備えたことを特徴とする。

また、請求項２にかかる画像処理装置は、上記の発明において、前記特徴量算出手段によって算出された前記細胞特徴量を前記観測時点ごとに画像化した細胞特徴画像を生成する特徴画像生成手段を、更に備え、前記画像表示制御手段は、異なる観測時点の前記細胞特徴画像同士を重ね合わせて前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項３にかかる画像処理装置は、複数の観測時点で撮像された生細胞を含む一連の観測画像を処理して表示する画像処理装置において、前記一連の観測画像内の各観測画像の中から前記生細胞に対応する細胞画像領域を検出し、該検出した各細胞画像領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された細胞特徴量を前記観測時点に対応付けて記憶する特徴量記憶手段と、ある観測時点で撮像された前記観測画像と、当該観測画像とは異なる観測時点に対応する前記細胞特徴量とを、単一の表示画像として画像化して表示する制御を行う画像表示制御手段と、を備えたことを特徴とする。

また、請求項４にかかる画像処理装置は、上記の発明において、前記画像表示制御手段は、ある観測時点で撮像された前記観測画像と、当該観測画像とは異なる２つ以上の観測時点それぞれに対応する前記細胞特徴量とを、前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項５にかかる画像処理装置は、上記の発明において、前記特徴量算出手段によって算出された前記細胞特徴量を前記観測時点ごとに画像化した細胞特徴画像を生成する特徴画像生成手段を、更に備え、前記画像表示制御手段は、ある観測時点で撮像された前記観測画像と、当該観測画像とは異なる少なくとも１時点以上の観測時点の前記細胞特徴画像とを重ね合わせて前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項６にかかる画像処理装置は、上記の発明において、前記画像表示制御手段は、前記観測時点に応じた区別をつけて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項７にかかる画像処理装置は、上記の発明において、前記画像表示制御手段は、前記観測時点ごとに表示輝度値および表示色相の少なくとも一方を異ならせて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項８にかかる画像処理装置は、上記の発明において、前記画像表示制御手段は、前記観測時点の時系列順序に従って前記観測時点ごとに表示輝度値および表示色相の少なくとも一方を段階的に変化させて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項９にかかる画像処理装置は、上記の発明において、前記観測時点が異なる観測画像間の前記細胞特徴量の変化量を算出し、該算出した変化量をもとに、該観測時点が異なる各観測画像に含まれる前記生細胞に同一性があるか否かを判断し、同一性があると判断した各生細胞を対応付ける対応付け手段を備え、前記特徴量算出手段は、細胞特徴量として少なくとも前記細胞画像領域の領域位置を算出し、前記画像表示制御手段は、前記単一の表示画像内の各細胞画像領域の前記領域位置をもとに、前記対応付け手段によって対応付けられた各生細胞の相対距離を算出し、該算出した相対距離に応じて表示輝度値および表示色相の少なくとも一方を異ならせて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項１０にかかる画像処理装置は、上記の発明において、前記観測時点が異なる観測画像間の前記細胞特徴量の変化量を算出し、該算出した変化量をもとに、該観測時点が異なる各観測画像に含まれる前記生細胞に同一性があるか否かを判断し、同一性があると判断した各生細胞を対応付ける対応付け手段を備え、前記特徴量算出手段は、細胞特徴量として少なくとも前記細胞画像領域の輝度総和または面積を算出し、前記画像表示制御手段は、各細胞画像領域の前記輝度総和または面積をもとに、前記対応付け手段によって対応付けられた各生細胞間の前記輝度総和または面積の変化量を算出し、該算出した変化量に応じて表示輝度値および表示色相の少なくとも一方を異ならせて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項１１にかかる画像処理装置は、上記の発明において、前記生細胞を選択する選択情報を受け付ける選択情報入力手段を備え、前記画像表示制御手段は、前記単一の表示画像の中から、前記選択情報によって選択された生細胞に対応する画像領域を抽出して表示する制御を行うことを特徴とする。

また、請求項１２にかかる画像処理装置は、上記の発明において、前記特徴量算出手段は、細胞特徴量として前記生細胞の位置または形状の特徴を示す位置特性を算出し、前記特徴画像生成手段は、前記特徴量算出手段によって算出された位置特性を前記単一の表示画像として画像化することを特徴とする。

また、請求項１３にかかる画像処理装置は、上記の発明において、前記位置特性は、前記生細胞の輪郭、重心位置および細胞核重心位置の少なくとも１つであることを特徴とする。

また、請求項１４にかかる画像処理装置は、上記の発明において、前記各観測画像の輝度値の補正を行う輝度補正手段を備えたことを特徴とする。

また、請求項１５にかかる画像処理プログラムは、複数の観測時点で撮像された生細胞を含む一連の観測画像を処理して表示する画像処理装置に、前記観測画像を処理して表示させるための画像処理プログラムであって、前記画像処理装置に、前記一連の観測画像内の各観測画像の中から前記生細胞に対応する細胞画像領域を検出し、該検出した各細胞画像領域の特徴を示す細胞特徴量を算出する特徴量算出手順と、前記特徴量算出手順によって算出された細胞特徴量を前記観測時点に対応付けて記憶する特徴量記憶手順と、異なる観測時点に対応する前記細胞特徴量同士を、単一の表示画像として画像化して表示する制御を行う画像表示制御手順と、を実行させることを特徴とする。

また、請求項１６にかかる画像処理プログラムは、上記の発明において、前記特徴量算出手段によって算出された前記細胞特徴量を前記観測時点ごとに画像化した細胞特徴画像を生成する特徴画像生成手順を、更に実行させ、前記画像表示制御手順は、異なる観測時点の前記細胞特徴画像同士を重ね合わせて前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項１７にかかる画像処理プログラムは、複数の観測時点で撮像された生細胞を含む一連の観測画像を処理して表示する画像処理装置に、前記観測画像を処理して表示させるための画像処理プログラムであって、前記画像処理装置に、前記一連の観測画像内の各観測画像の中から前記生細胞に対応する細胞画像領域を検出し、該検出した各細胞画像領域の特徴を示す細胞特徴量を算出する特徴量算出手順と、前記特徴量算出手順によって算出された細胞特徴量を前記観測時点に対応付けて記憶する特徴量記憶手順と、ある観測時点で撮像された前記観測画像と、当該観測画像とは異なる観測時点に対応する前記細胞特徴量とを、単一の表示画像として画像化して表示する制御を行う画像表示制御手順と、を実行させることを特徴とする。

また、請求項１８にかかる画像処理プログラムは、上記の発明において、前記画像表示制御手順は、ある観測時点で撮像された前記観測画像と、当該観測画像とは異なる２つ以上の観測時点それぞれに対応する前記細胞特徴量とを、前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項１９にかかる画像処理プログラムは、上記の発明において、前記特徴量算出手順によって算出された前記細胞特徴量を前記観測時点ごとに画像化した細胞特徴画像を生成する特徴画像生成手順を、更に備え、前記画像表示制御手順は、ある観測時点で撮像された前記観測画像と、当該観測画像とは異なる少なくとも１時点以上の観測時点の前記細胞特徴画像とを重ね合わせて前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項２０にかかる画像処理プログラムは、上記の発明において、前記画像表示制御手順は、前記観測時点に応じた区別をつけて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項２１にかかる画像処理プログラムは、上記の発明において、前記画像表示制御手順は、前記観測時点ごとに表示輝度値および表示色相の少なくとも一方を異ならせて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項２２にかかる画像処理プログラムは、上記の発明において、前記画像表示制御手順は、前記観測時点の時系列順序に従って前記観測時点ごとに表示輝度値および表示色相の少なくとも一方を段階的に変化させて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項２３にかかる画像処理プログラムは、上記の発明において、前記観測時点が異なる観測画像間の前記細胞特徴量の変化量を算出し、該算出した変化量をもとに、該観測時点が異なる各観測画像に含まれる前記生細胞に同一性があるか否かを判断し、同一性があると判断した各生細胞を対応付ける対応付け手順を実行させ、前記特徴量算出手順は、細胞特徴量として少なくとも前記細胞画像領域の領域位置を算出し、前記画像表示制御手順は、前記単一の表示画像内の各細胞画像領域の前記領域位置をもとに、前記対応付け手順によって対応付けられた各生細胞の相対距離を算出し、該算出した相対距離に応じて表示輝度値および表示色相の少なくとも一方を異ならせて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項２４にかかる画像処理プログラムは、上記の発明において、前記観測時点が異なる観測画像間の前記細胞特徴量の変化量を算出し、該算出した変化量をもとに、該観測時点が異なる各観測画像に含まれる前記生細胞に同一性があるか否かを判断し、同一性があると判断した各生細胞を対応付ける対応付け手順を実行させ、前記特徴量算出手順は、細胞特徴量として少なくとも前記細胞画像領域の輝度総和または面積を算出し、前記画像表示制御手順は、各細胞画像領域の前記輝度総和または面積をもとに、前記対応付け手順によって対応付けられた各生細胞間の前記輝度総和または面積の変化量を算出し、該算出した変化量に応じて表示輝度値および表示色相の少なくとも一方を異ならせて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする。

また、請求項２５にかかる画像処理プログラムは、上記の発明において、前記生細胞を選択する選択情報を受け付ける選択情報入力手順を実行させ、前記画像表示制御手順は、前記単一の表示画像の中から、前記選択情報によって選択された生細胞に対応する画像領域を抽出して表示する制御を行うことを特徴とする。

また、請求項２６にかかる画像処理プログラムは、上記の発明において、前記特徴量算出手順は、細胞特徴量として前記生細胞の位置または形状の特徴を示す位置特性を算出し、前記特徴画像生成手順は、前記特徴量算出手順によって算出された位置特性を前記単一の表示画像として画像化することを特徴とする。

本発明にかかる画像処理装置および画像処理プログラムによれば、観測画像に含まれる生細胞の特徴量の経時変化および観測画像と特徴量との対応関係が容易に観測可能なように画像を表示することができる。

以下、添付図面を参照して、本発明にかかる画像処理装置の好適な実施の形態を詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。

（実施の形態１）
まず、本発明の実施の形態１にかかる画像処理装置について説明する。図１は、この実施の形態１にかかる画像処理装置１の構成を示すブロック図である。図１に示すように、画像処理装置１は、入力された画像を処理する画像処理部２と、各種情報を表示する表示部３と、各種情報の入力を受け付ける入力部４と、各種情報を記憶する記憶部５と、画像処理装置１の各部の処理および動作を制御する制御部６と、を備える。画像処理部２、表示部３、入力部４および記憶部５は、制御部６に電気的に接続されている。

画像処理部２は、輝度補正部２ａ、特徴量算出部２ｂ、特徴画像生成部２ｃおよび対応付け手段としての細胞追跡部２ｄを備え、観測画像記憶部５ａに記憶された画像である複数の時点に撮像された生細胞を含む一連の観測画像を処理する。画像処理部２が備える各部は、画像処理制御部６ａによって制御される。

輝度補正部２ａは、公知のガンマ変換等の階調変換処理により、一連の観測画像の輝度値を調整する輝度補正処理を行う。これによって、輝度補正部２ａは、観測画像のコントラストを向上させ、目視認識が困難であった生細胞の目視観察を可能にさせることができるとともに、特徴量算出部２ｂによる特徴量の算出精度を向上させることができる。

輝度補正処理後の観測画像は、画像処理制御部６ａによって、観測画像記憶部５ａに記録される。このとき、画像処理制御部６ａは、原画像である観測画像を更新するように輝度補正処理後の観測画像を記録する。なお、画像処理制御部６ａは、原画像を記憶させたまま、輝度補正処理後の観測画像を記録するようにしてもよい。

特徴量算出部２ｂは、観測画像記憶部５ａに記憶された一連の観測画像内の各観測画像の中から、撮像された生細胞に対応する画像領域である細胞領域を検出し、検出した各細胞領域の特徴を示す細胞特徴量を生細胞の特徴量として算出する。具体的には、特徴量算出部２ｂは、細胞特徴量として生細胞の位置または形状の特徴を示す位置特性である輪郭、重心位置、細胞核重心位置等を算出する。

また、特徴量算出部２ｂは、その他の細胞特徴量として、細胞領域の面積、円形度、細胞領域中の輝度値の総和である輝度総和等を算出する。なお、特徴量算出部２ｂは、生細胞の位置特性として、生細胞の重心位置を算出してもよく、あるいは細胞領域内の所定の特徴点等の位置を算出するようにしてもよい。

また、特徴量算出部２ｂは、通常、観測される生細胞が複数であるため、各観測画像中の個々の生細胞について細胞領域を検出するとともに細胞特徴量を算出する。このとき、特徴量算出部２ｂは、検出した各細胞領域に固有の領域標識としてのラベルを付与し、付与したラベルと算出した種々の細胞特徴量とを対応付けて、各細胞領域に固有の細胞特徴量データとする。この細胞特徴量データは、画像処理制御部６ａによって、各観測画像の観測時点に対応付けられ、各細胞特徴量とラベルと観測時点とが対応付けられた状態で特徴量記憶部５ｃに記録される。なお、特徴量算出部２ｂによって付与される各ラベルは、固有のものであれば、番号、アルファベット、記号等を用いた任意の表記でよい。

特徴画像生成部２ｃは、特徴量算出部２ｂによって算出された各観測画像における位置特性を画像化して細胞特徴画像を生成する。特に、特徴画像生成部２ｃは、種々の位置特性毎に細胞特徴画像を生成し、たとえば、生細胞の輪郭を示す輪郭画像、生細胞の重心位置を示す重心画像、細胞核の重心位置を示す細胞核重心画像等を生成する。そして、特徴画像生成部２ｃは、生成した各細胞特徴画像に、この各細胞特徴画像で表される細胞特徴量（位置特性）に対応する観測時点を対応付ける。このようにして生成され各細胞特徴画像は、画像処理制御部６ａによって、特徴画像記憶部５ｂに記録される。

細胞追跡部２ｄは、観測時点が異なる観測画像間の細胞特徴量の変化量を算出し、算出した変化量をもとに、この観測時点が異なる各観測画像に含まれる生細胞に同一性があるか否かを判断し、同一性があると判断した各生細胞を対応付ける対応付け処理を行う。このとき、細胞追跡部２ｄは、同一性があると判断した各生細胞の細胞領域に同一のラベルを付与することによって対応付けを行う。具体的には、細胞追跡部２ｄは、特徴量算出部２ｂによって各細胞領域に付与されたラベルを参照し、たとえば、同一性があるとした各生細胞のうち観測時点が前の生細胞に付与されたラベルを、観測時点が後の生細胞に付与する。

このような対応付け処理を、細胞追跡部２ｄは、一連の観測画像に含まれる任意の２つ以上の観測画像間で各生細胞が対応付けられるように実行する。たとえば、細胞追跡部２ｄは、時系列で連続する２つ以上の観測画像間、または、所定の時間間隔離れた観測時点に対応する２つ以上の観測画像間で対応付け処理を行うようにし、この対応付け処理を時系列で先頭の観測画像から順次、処理対象の観測画像を観測時点順にシフトして繰り返すことによって、一連のすべての観測画像で生細胞の対応付けを行う。この結果、細胞追跡部２ｄは、各観測時点の個々の生細胞を時系列に沿って追跡することができる。

対応付け処理によって各細胞領域に新たに付与されたラベルは、画像処理制御部６ａによって、特徴量記憶部５ｃに記憶された対応する細胞特徴量データに付加され記録される。このとき、画像処理制御部６ａは、特徴量記憶部５ｃによって付与されたラベルを更新するように、対応付け処理によって付与されたラベルを記録する。

表示部３は、ＣＲＴ、液晶ディスプレイ等を備え、画像処理部２によって処理された画像を含む各種情報を表示する。特に、表示部３は、画像表示制御部６ｂからの指示をもとに、一連の観測画像および細胞特徴画像のうち観測時点が互いに異なる複数の画像を重ね合わせて表示する。

入力部４は、ＵＳＢ，ＩＥＥＥ１３９４等の通信用インターフェース、各種スイッチ、入力キー、マウス、タッチパネル等を備え、画像処理装置１で処理する画像、各種処理情報等の入力を受け付ける。入力部４は、特に、観測画像入力部４ａおよび表示画像選択部４ｂを備える。観測画像入力部４ａは、通信用インターフェースを介して外部装置から一連の観測画像の入力を受け付ける。表示画像選択部４ｂは、表示部３に表示する観測画像および細胞特徴画像を選択する画像選択情報の入力を受け付ける。観測者は、表示画像選択部４ｂを介して画像選択情報を入力することによって、表示させる観測画像および細胞特徴画像を選択することができる。

なお、観測画像入力部４ａは、フラッシュメモリ、ＣＤ、ＤＶＤ、ハードディスク等の携帯型記憶媒体に対応するインターフェースを備え、この携帯型記憶媒体から一連の観測画像の入力を受け付けるようにしてもよい。また、観測画像入力部４ａは、撮像レンズと、ＣＣＤ等の撮像素子と、Ａ／Ｄ変換器とを用いて実現される撮像装置を備え、この撮像装置によって生細胞を撮像して生成した一連の観測画像を取得するようにしてもよい。

記憶部５は、各種処理プログラム等があらかじめ記憶されたＲＯＭと、各処理の処理パラメータ、処理データ等を記憶するＲＡＭとによって実現される。記憶部５は、特に、制御部６が実行するプログラムである、一連の観測画像を処理して表示させるための画像処理プログラムを記憶する。また、記憶部５は、一連の観測画像を記憶する観測画像記憶部５ａと、特徴画像生成部２ｃによって生成された細胞特徴画像を記憶する特徴画像記憶部５ｂと、特徴量算出部２ｂによって生成された特徴量データを記憶する特徴量記憶部５ｃとを備える。なお、記憶部５は、フラッシュメモリ、ＣＤ、ＤＶＤ、ハードディスク等の携帯型記憶媒体を着脱可能な記憶部として備えるようにしてもよい。

制御部６は、記憶部５に記憶された各種処理プログラムを実行するＣＰＵ等によって実現される。制御部６は、特に、記憶部５に記憶された画像処理プログラムを実行し、この画像処理プログラムにおける各処理に対応する各構成部位を制御する。また、制御部６は、画像処理制御部６ａおよび画像表示制御部６ｂを備え、画像処理制御部６ａは、画像処理部２が行う処理および動作を制御し、画像表示制御部６ｂは、観測画像記憶部５ａに記憶された各観測画像および特徴画像記憶部５ｂに記憶された各細胞特徴画像のうち、観測時点が異なる複数の画像を重ね合わせて単一の画像として表示部３に表示させる制御を行う。

画像表示制御部６ｂによって１つの画像として重畳して表示させる画像は、観測画像及び細胞特徴画像のうち、表示画像選択部４ｂから入力される画像選択情報によって選択された複数の画像である。これら複数の画像は、異なる観測時点に対応する細胞特徴画像同士であったり、観測画像と、その観測画像とは異なる観測時点に対応する少なくとも１つ以上の細胞特徴画像であったりする。画像表示制御部６ｂは、異なる観測時点に対応する細胞特徴画像同士を単一の画像として重畳表示することで、異なる観測時点に対応する細胞特徴量同士を、観測者が容易に対比できるようにしている。また、画像表示制御部６ｂは、異なる観測時点に対応する観測画像と細胞特徴画像を単一の画像として重畳して表示することで、ある時点での観測画像とその他の観測時点での細胞特徴量とを、観測者が容易に対比できるようにしている。

細胞特徴画像同士や、観測画像と細胞特徴画像を１つの画像として重畳して表示させるための画像の生成は、公知のアルファブレンディング処理や、マスク合成処理等の手法を用いて行う。このとき、画像表示制御部６ｂは、複数の細胞特徴画像等を１つの画像として重ね合わせる際に、各細胞特徴画像の区別を付けることで、細胞特徴量を対応する観測時点毎に区別をつけて表示する。例えば、アルファブレンディング処理であれば、アルファブレンディング処理における重み付け係数の値を観測時点に応じて偏重させることで、各観測時点に対応する細胞特徴画像における細胞特徴量同士の表示輝度および表示色相の少なくとも一方を異ならせて表示する。マスク合成処理であれば、より新しい観測時点の細胞特徴画像の細胞特徴量が優先的に表示されるようにしたマスク画像を用いるとともに、細胞特徴画像の表示輝度を観測時点毎に段階的に変化させた上でマスク合成処理する。

このとき、画像表示制御部６ｂは、重畳させる各細胞特徴画像に対応する観測時点の時系列順序に従って、細胞特徴量の表示輝度および表示色相の少なくとも一方が段階的に変化するようにするとよい。具体的には、たとえば、より新しい観測時点の細胞特徴量ほど表示輝度が大きくなるように、観測時点の時系列順序に従って表示輝度を段階的に変化させ、観測時点が新しいものほど明るく表示する。これにより、観測時点の変化と共に移り変わる細胞特徴量の様子を観測者に把握させやすくすることができる。表示輝度に限らず、表示色相を変化させたり、表示輝度と表示色相を変化させてもよい。

また、画像表示制御部６ｂは、たとえば、重ね合わせて表示する各細胞特徴画像間における、細胞追跡部２ｄによって対応付けられた各生細胞の相対距離に応じて、対応する生細胞ごとに、各細胞特徴量の表示輝度および表示色相の少なくとも一方を異ならせて表示するように制御してもよい。この際、画像表示制御部６ｂは、特徴量算出部２ｂによって算出された各細胞領域の位置特性で定まる領域位置をもとに、表示する各画像間での生細胞の相対距離を算出する。

また、画像表示制御部６ｂは、たとえば、重ね合わせて表示する各画像間における、細胞追跡部２ｄによって対応付けられた各生細胞の輝度総和または面積の変化量に応じて、対応する生細胞ごとに、各細胞特徴量の表示輝度および表示色相の少なくとも一方を異ならせて表示するように制御してもよい。この際、画像表示制御部６ｂは、特徴量算出部２ｂによって算出された各細胞領域の輝度総和または面積をもとに、表示する各画像間での対応する生細胞の輝度総和または面積の変化量を算出する。

なお、画像表示制御部６ｂは、表示する各画像がモノクロ画像である場合、表示輝度を異ならせるようにするとよく、表示する各画像がカラー画像である場合、表示色相を異ならせるようにするとよい。カラー画像である場合には、画像表示制御部６ｂは、さらに表示輝度を異ならせるようにしてもよく、たとえば、細胞追跡部２ｄによって対応付けられた生細胞ごとに表示色相を異ならせ、かつ、観測時点ごとに表示輝度を異ならせるようにしてもよい。

ここで、画像処理装置１が行う処理および動作について説明する。図２は、画像処理装置１に入力された一連の観測画像を示す模式図であり、図３は、制御部６が画像処理プログラムを実行することによって、画像処理装置１が、この入力された一連の観測画像を処理し表示する処理手順を示すフローチャートである。

図２に示すように、入力された一連の観測画像は、暗い背景の中に観測対象である複数の生細胞を含む。この各生細胞は、たとえば、観測時点ｔ_i-1〜ｔ_i+1の各時点間で移動、膨張、収縮、変形、分裂等を起こして状態を変化させている。この一連の観測画像は、観測画像記憶部５ａに記憶されている。

図３に示すように、画像処理制御部６ａは、観測画像記憶部５ａに記憶された一連の観測画像を順次読み込み（ステップＳ１０１）、輝度補正が必要か否かを判断し（ステップＳ１０３）、輝度補正が必要な場合（ステップＳ１０３：Ｙｅｓ）、輝度補正部２ａは、各観測画像を順次取得して輝度補正処理を行う（ステップＳ１０５）。輝度補正部２ａによって処理された各観測画像は、観測画像記憶部５ａに上書きして記録される。

つづいて、特徴量算出部２ｂは、各観測画像について細胞特徴量を算出するとともに細胞領域にラベルを付与し、細胞特徴量データを生成する特徴量算出処理を行い（ステップＳ１０７）、特徴画像生成部２ｃは、生成された細胞特徴量データをもとに各観測時点の細胞特徴画像を生成し（ステップＳ１０９）、細胞追跡部２ｄは、各観測時点間の生細胞の対応付けを行い（ステップＳ１１１）、画像表示制御部６ｂは、画像選択情報によって選択された複数の細胞特徴画像を重ね合わせて表示し（ステップＳ１１３）、一連の処理を終了する。

なお、画像処理制御部６ａは、ステップＳ１０３で、輝度補正が必要ではないと判断した場合（ステップＳ１０３：Ｎｏ）、直ちにステップＳ１０７を実行する。また、ステップＳ１１３では、画像処理制御部６ａは、たとえば、所定の処理終了の指示情報を受け付けるまで、画像選択情報が更新されるごとに、更新された画像選択情報に対応する複数の画像の表示を繰り返すようにしてもよい。また、ステップＳ１１３では、画像処理制御部６ａは、複数の細胞特徴画像とともに、これらの細胞特徴画像と観測時点の異なる観測画像をさらに重ね合わせて表示するようにしてもよい。

つぎに、図３に示したステップＳ１０７の特徴量算出処理について説明する。図４は、特徴量算出処理の処理手順を示すフローチャートである。図４に示すように、画像処理制御部６ａが、観測画像記憶部５ａに記憶された一連の観測画像のうち時系列で先頭の画像を読み込み（ステップＳ１２１）、特徴量算出部２ｂは、この読み込まれた観測画像の中からエッジを検出する（ステップＳ１２３）。なお、特徴量算出２ｂは、画像中のランダムノイズを除去するため、ステップＳ１２３を行う前に、読み込まれた観測画像に対してガウシアンフィルタ等による平滑化処理を行うようにしてもよい。

つづいて、特徴量算出部２ｂは、検出したエッジに囲まれた各画像領域を細胞領域として抽出し（ステップＳ１２５）、抽出した各細胞領域に固有のラベルを付与するラベリングを行い（ステップＳ１２７）、抽出した各細胞領域について種々の細胞特徴量を算出する（ステップＳ１２９）。そして、特徴量算出部２ｂは、抽出した細胞領域ごとに、付与したラベルと算出した細胞特徴量とを対応付けて細胞特徴量データを生成し（ステップＳ１３１）、画像処理制御部６ａは、この生成された各細胞特徴量データを、処理対象の観測画像の観測時点と対応付けて、特徴量記憶部５ｃに記録する（ステップＳ１３３）。

その後、画像処理制御部６ａは、一連のすべての観測画像を処理したか否かを判断し（ステップＳ１３５）、すべての観測画像を処理していない場合（ステップＳ１３５：Ｎｏ）、処理していない観測画像に対してステップＳ１２１からの処理を繰り返し、すべて観測画像を処理している場合（ステップＳ１３５：Ｙｅｓ）、ステップＳ１０７にリターンする。

ステップＳ１２９では、特徴量算出部２ｂは、細胞特徴量として、各細胞領域の重心位置、細胞領域の輪郭、面積、円形度および輝度総和を算出する。なお、特徴量算出部２ｂは、ステップＳ１２３で検出した閉じたエッジを細胞領域の輪郭とみなす。そして、ステップＳ１３１では、特徴量算出部２ｂは、算出した細胞特徴量に輪郭を含めてラベルと対応付け、細胞特徴量データとする。

なお、ステップＳ１２９では、特徴量算出部２ｂは、細胞特徴量として生細胞の細胞核重心位置を算出してもよい。この場合、細胞核に反応する試薬、あるいは細胞核と他の細胞材料との間のコントラストを強調することができる試薬を用いてあらかじめ生細胞を染色するとよい。これによって、ステップＳ１２３では、細胞核のエッジを検出することができ、ステップＳ１２５では、細胞領域として細胞核に対応する画像領域を抽出することができる。

図５は、図２に示した観測時点ｔ_i-1の観測画像について、特徴量算出部２ｂが抽出した細胞領域を示す図である。図５に示すように、特徴量算出部２ｂは、観測時点ｔ_i-1の観測画像をもとに、太線で示す閉じたエッジに囲まれた５つの領域を細胞領域として抽出し、抽出した各細胞領域に「ラベル１」〜「ラベル５」を付与している。特徴量算出部２ｂは、この「ラベル１」〜「ラベル５」に対応する各細胞領域について細胞特徴量を算出し、細胞特徴量データを生成する。画像処理制御部６ａは、この生成された各細胞特徴量データを観測時点ｔ_i-1と対応付けて記録する。

つぎに、図３に示したステップＳ１０９について説明する。ステップＳ１０９では、特徴画像生成部２ｃは、特徴量算出部２ｂによって算出された細胞特徴量をもとに、図６−１および図６−２に示すような細胞特徴画像を生成する。図６−１および図６−２は、それぞれ図２に示した観測時点ｔ_i-1の観測画像に対応して生成される細胞特徴画像としての輪郭画像および重心画像を示す図である。輪郭画像では、図５に示した各細胞領域のエッジがそのまま輪郭として示されている。また、重心画像では、十字マーク中の交点が各細胞領域の重心位置を示している。なお、重心位置を示すマークは、十字マークに限らず、指示点が明確なマークであれば任意でよい。

つぎに、図３に示したステップＳ１１１について説明する。ステップＳ１１１では、細胞追跡部２ｄは、観測時点が異なる２つの観測画像に含まれる各細胞領域について評価値Ｊを算出し、算出した評価値Ｊの値に応じて、各細胞領域に対応する生細胞の同一性を判断する。評価値Ｊは、観測時点ｔ₁，ｔ₂の各観測画像中でラベルＲ_t1,m，R_t2,nが付与された各細胞領域に対して、重心間の距離δ_d、面積の差δ_a、円形度の差δ_c、所定の重み付け係数ｋ_d，ｋ_a，ｋ_cを用い、次式（１）で定義される。
Ｊ＝Ｊ（Ｒ_t1,m，R_t2,n）＝ｋ_dδ_d＋ｋ_aδ_a＋ｋ_cδ_c ・・・（１）
ここで、変数ｍ，ｎは、観測時点ｔ₁，ｔ₂の各観測画像で抽出された細胞領域数Ｍ，Ｎに対して、１≦ｍ≦Ｍ，１≦ｎ≦Ｎの関係にある。なお、評価値Ｊは、式（１）の右辺の各項の中から任意の１項または２項を用いて算出するようにしてもよい。

細胞追跡部２ｄは、式（１）によって、変数ｍ，ｎの可能なすべての組み合わせについて評価値Ｊを算出し、算出した評価値Ｊが所定のしきい値θ以下である場合、ラベルＲ_t1,m，R_t2,nが付与された各細胞領域の生細胞に同一性があると判断し、時点ｔ₁より後の時点である時点ｔ₂のラベルR_t2,nをラベルＲ_t1,mに更新する。同様に、細胞追跡部２ｄは、観測時点ｔ₁，ｔ₂以外の各観測画像についても評価値Ｊを算出し、算出した評価値Ｊがしきい値θ以下となる各生細胞を同一の生細胞と判断し、ラベルを更新して対応付ける。

つぎに、図３に示したステップＳ１１３について説明する。ステップＳ１１３では、画像表示制御部６ｂは、表示画像選択部４ｂから入力された画像選択情報によって選択される複数の画像を図７−１および図７−２に示すように表示する制御を行う。図７−１および図７−２は、各観測画像および各細胞特徴画像から選択された複数の画像を重ね合わせて表示した表示例を示す図である。図７−１に示すように、画像表示制御部６ｂは、観測時点ｔ_i-1の観測画像と観測時点ｔ_iの輪郭画像とを重ね合わせて単一の画像として表示する。このように異なる観測時点の観測画像と細胞特徴画像とを重ね合わせて表示することによって、画像表示制御部６ｂは、観測画像と、この観測画像と異なる観測時点での細胞特徴画像との対応関係を観測者に容易に把握させることができる。

また、画像表示制御部６ｂは、図７−２に示すように、画像選択情報で観測時点ｔ_i-1〜ｔ_i+1の各輪郭画像を重ね合わせて単一の画像として表示する。このように異なる観測時点の複数の細胞特徴画像を重ね合わせて表示することによって、画像表示制御部６ｂは、細胞特徴量の経時変化を観測者に一見して観測させることができる。この場合、画像表示制御部６ｂは、図７−２に示すように、観測時点ごとに各細胞特徴画像の表示輝度を異ならせ、特に、観測時点の時系列順序に従って表示輝度を段階的に変化させるとよい。

このように表示することによって、画像表示制御部６ｂは、細胞特徴量の経時変化を観測者に一層容易に観測させることができる。なお、図７−２の上述の例では、時系列で最も後の観測時点ｔ_i+1の細胞特徴画像を最も明るく表示し、観測時点をｔ_i，ｔ_i-1と遡るごとに表示輝度を低下させているが、観測時点に対応する明るさの順序は逆転させてもよい。

また、画像表示制御部６ｂは、観測時点に応じて表示輝度を異ならせる替わりに、各画像間で対応付けられた生細胞の輝度総和もしくは面積の変化量、または相対距離に応じて、表示輝度を変化させるようにしてもよい。この場合、画像表示制御部６ｂは、たとえば、相対距離δと所定の重み係数ｋδを用いて次式（２）で算出される表示輝度値Ｃに従って表示輝度を変化させるようにするとよい。なお、輝度総和もしくは面積の変化量に対応させる場合にも、同様の関係式を用いて表示輝度を変化させることができる。
Ｃ＝ｋδ・δ ・・・（２）

このように表示することによって、画像表示制御部６ｂは、生細胞の輝度総和もしくは面積の変化量、または生細胞間の相対距離のいずれかの経時変化を観測者に容易に観測させることができる。なお、画像表示制御部６ｂは、カラー画像の場合、表示輝度に替えて表示色相を変化させるようにして、同様の効果を得ることができる。

また、図７−１および図７−２では、細胞特徴画像として輪郭画像を表示するように示したが、輪郭画像に替えて重心画像もしくは細胞核重心画像について同様に表示することで、重心位置や細胞核重心位置の経時変化を表示するようにしてもよい。さらに、図７−１および図７−２では、同種の細胞特徴画像を表示するように示したが、複数種類の細胞特徴画像を重ね合わせて表示するようにしてもよい。

なお、画像表示制御部６ｂは、画像選択情報で選択されれば、同一の観測時点の観測画像と細胞特徴画像とを重ね合わせて表示することも可能である。たとえば、図８−１に示すような観測時点ｔ_i-1の観測画像と輪郭画像の重ね合わせ表示、図８−２に示すような観測時点ｔ_i-1の観測画像と重心画像の重ね合わせ表示等を行うこともできる。また、画像表示制御部６ｂは、単独の観測画像または細胞特徴画像、あるいは図５に示したような細胞領域を抽出した段階の処理途中の画像を表示することもできる。

以上説明したように、この実施の形態１にかかる画像処理装置では、特徴量算出部２ｂが、各観測画像について細胞特徴量を算出するとともに細胞領域にラベルを付与して細胞特徴量データを生成し、特徴画像生成部２ｃが、生成された細胞特徴量データをもとに各観測時点の細胞特徴画像を生成し、画像表示制御部６ｂが、各観測画像および各細胞特徴画像の中から画像選択情報によって選択される、観測時点の異なる複数の画像を重ね合わせて表示するようにしているため、細胞特徴量の経時変化および観測画像と細胞特徴画像との対応関係が容易に観測可能なように画像を表示することができる。

また、この実施の形態１にかかる画像処理装置では、画像表示制御部６ｂが、観測時点ごとに表示輝度または表示色相を異ならせるようにしているため、細胞特徴量の経時変化および観測画像と細胞特徴画像との対応関係が一層容易に観測可能なように画像を表示することができる。

さらに、この実施の形態１にかかる画像処理装置では、細胞追跡部２ｄが、各観測時点間の生細胞の対応付けを行い、画像表示制御部６ｂが、各画像間で対応する生細胞の輝度総和もしくは面積の変化量、または相対距離に応じて、表示輝度または表示色相を異ならせるようにしているため、生細胞の輝度総和もしくは面積の変化量、または相対距離のいずれかの経時変化が容易に観測可能なように画像を表示することができる。

以上説明した本発明の実施の形態１では、特徴画像生成部２ｃを用いて観測時点それぞれに対する細胞特徴画像を生成して、特徴画像記憶部５ｂに記録し（ステップＳ１０９）、表示画像選択部４ｂから入力された画像選択情報に応じて細胞特徴画像等を表示する（ステップＳ１１３）構成であった。しかし、本発明はこの構成に限定されるものではない。例えば、観測者の指示によって細胞特徴画像を生成する構成としてもよい。この構成を以下の変形例１および２で説明する。なお、以下の変形例１および２に示すように、画像選択情報で指示された観測時点についての細胞特徴画像のみを作成するように構成すれば、処理負荷の軽減を図ることができる。

（変形例１）
画像処理装置１の基本構成は図１に示したとおりである。ただし、制御部６による特徴画像生成部２ｃ、画像表示制御部６ｂの制御に関する処理内容が、上述の実施形態と若干異なる。表示画像選択部４ｂでは、観測者から細胞特徴画像の表示を希望する観測時点の指示を受け付け、この指示を画像選択情報とする。画像処理制御部６ａは、特徴画像生成部２ｃに対して画像選択情報で指示されている観測時点に対応する細胞特徴画像の生成を指示する。特徴画像生成部２ｃは、指示された観測時点に対応する細胞特徴量データを特徴量記憶部５ｃから読み出して、この細胞特徴量データ用いて細胞特徴画像を生成する。そして、画像処理制御部６ａは、指示された観測時点に対応付けて生成した細胞特徴画像を特徴画像記憶部５ｂに記録する。このように、本変形例１では、画像選択情報で指示された観測時点に対応する細胞特徴画像のみを作成する構成である。

その後、画像表示制御部６ｂは、特徴画像記憶部５ｂに記録された細胞特徴画像を用いて画像選択情報で指示されている観測時点の細胞特徴画像同士や、指示されている観測時点の細胞特徴画像と観測画像との重畳表示を上述のように行う（図７−１、図７−２参照）。画像表示制御部６ｂによるこのような重畳表示の処理は、例えば上述のステップＳ１１３（図３）のタイミングで行えばよい。

（変形例２）
画像処理装置１の基本構成は図１に示したとおりである。ただし、制御部６による特徴画像生成部２ｃ、画像表示制御部６ｂの制御に関する処理内容が、上述の実施形態と若干異なる。表示画像選択部４ｂでは、観測者から細胞特徴画像の表示を希望する観測時点の指示を受け付け、この指示を画像選択情報とする。画像処理制御部６ａは、特徴画像生成部２ｃに対して画像選択情報で指示されている観測時点の細胞特徴量を画像化した細胞特徴画像の生成を指示する。本変形例２の場合、複数の観測時点のそれぞれについて細胞特徴画像を個別に生成するのではなく、画像選択情報で指示されている複数の観測時点に対応するそれぞれの細胞特徴量をまとめて単一の画像として画像化した細胞特徴画像を生成する。

特徴画像生成部２ｃは、画像選択情報で指示された観測時点に対応する細胞特徴量データを特徴量記憶部５ｃから読み出す。そして、読み出した細胞特徴量を１つの画像にまとめて画像化した細胞特徴画像を生成する。すなわち、画像選択情報で指示された各観測時点に対応する細胞特徴量が単一の画像内で重畳して表示されるように、各観測時点の細胞特徴量を反映した画素値を定め、１つの細胞特徴画像を作成する。このとき、異なる観測時点の細胞特徴量の表示位置（画素位置）同士が表示上重なる部分については、より新しい観測時点の細胞特徴量が優先的に表示されるように画素値を定める。

さらに、より新しい観測時点の細胞特徴量ほど表示輝度が大きくなるように、観測時点の時系列順序に従って表示輝度を段階的に変化させ、観測時点が新しいものほど明るく表示するように画素値を定める。このように生成された細胞特徴画像は、例えば細胞特徴量として輪郭を表示する場合、上述の実施形態で生成した図７−２と同様の画像となる。これにより、観測時点の変化と共に移り変わる細胞特徴量の様子を観測者に把握させやすくすることができる。表示輝度に限らず、表示色相を変化させたり、表示輝度と表示色相を変化させてもよい。そして、画像処理制御部６ａは、生成した細胞特徴画像を特徴画像記憶部５ｂに記録する。このように、本例では、画像選択情報で指示された観測時点に対応する細胞特徴量だけを特徴量記憶部５ｃから読出し、当該観測時点の細胞特徴量を示した単一の細胞特徴画像のみを作成する構成である。

その後、画像表示制御部６ｂが、特徴画像記憶部５ｂに記録された細胞特徴画像を表示する。なお、観測画像との重畳表示も指示されていれば、特徴画像生成部２ｃで生成した細胞特徴画像を観測画像に重畳して表示する。

（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、画像選択情報によって選択された、観測時点の異なる複数の細胞特徴画像の細胞特徴量を表示するようにしていたが、この実施の形態２では、さらに、選択された生細胞に対応する画像領域を抽出して表示するようにしている。

図９は、本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。図９に示すように、この実施の形態２にかかる画像処理装置１１は、画像処理装置１が備えた入力部４および制御部６に換えて入力部１４および制御部１６を備える。入力部１４は、入力部４の構成に加えて表示細胞選択部１４ｃを備える。制御部１６は、制御部６が備えた画像表示制御部６ｂに換えて画像表示制御部１６ｂを備える。その他の構成は、実施の形態１と同じであり、同一構成部分には同一符号を付している。

表示細胞選択部１４ｃは、観測画像に含まれる生細胞のうち少なくとも１つの生細胞を選択する細胞選択情報の入力を受け付ける。画像表示制御部１６ｂは、画像選択情報によって選択された複数の画像の中から、細胞選択情報によって選択された生細胞に対応する画像領域と、細胞追跡部２ｄによってこの選択された生細胞に対応付けられた各生細胞に対応する画像領域と、を抽出して表示する制御を行う。

具体的には、画像表示制御部１６ｂは、たとえば図１０−１に示すように、観測時点ｔ_i-1の観測画像と観測時点ｔ_iの輪郭画像とから、細胞選択情報によって選択された「ラベル１」の生細胞に対応する画像領域を抽出し、抽出した各画像を重ね合わせて表示する。また、画像表示制御部１６ｂは、たとえば図１０−２に示すように、観測時点ｔ_i-1〜ｔ_i+1の各輪郭画像から「ラベル１」の生細胞に対応する画像領域を抽出し、重ね合わせて表示する。さらに、画像表示制御部１６ｂは、輪郭画像に替えて重心画像もしくは細胞核重心画像を同様に重ね合わせて表示するようにしてもよい。

このように表示することによって、画像表示制御部１６ｂは、観測者が注目する生細胞に対応した画像領域に対応する細胞特徴量のみを表示させることができ、観測者に一層容易に観測を行わせることができる。なお、観測者は、表示細胞選択部１４ｃを介して細胞選択情報を入力することによって、表示させる観測画像および細胞特徴画像の中から、注目する生細胞を任意に選択することができる。

以上説明したように、この実施の形態２にかかる画像処理装置では、表示細胞選択部１４ｃから入力される細胞選択情報をもとに、画像表示制御部１６ｂが、細胞選択情報によって選択された生細胞に対応する画像領域を各画像から抽出し、抽出した各画像領域に対応する細胞特徴量を重ね合わせて表示するようにしているため、注目する生細胞に関する細胞特徴量の経時変化および観測画像と細胞特徴画像との対応関係が容易に観測可能なように画像を表示することができる。

なお、上述した実施の形態１および２では、観測画像入力部４ａから入力され観測画像記憶部５ａに記憶された一連の観測画像を処理するように示したが、観測画像入力部４ａから観測画像が入力されるごとに適宜処理を行うようにしてもよい。

また、本発明には、複数の観測時点で撮像された生細胞を含む一連の観測画像を処理して表示する画像処理装置において、前記一連の観測画像内の各観測画像の中から前記生細胞に対応する細胞画像領域を検出し、該検出した各細胞画像領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された各細胞特徴量を画像化して細胞特徴画像を生成するとともに、該生成した各細胞特徴画像に前記観測時点を対応付ける特徴画像生成手段と、前記各観測画像および前記各細胞特徴画像のうち前記観測時点が異なる複数の画像を重ね合わせて表示する制御を行う画像表示制御手段と、を備えたことを特徴とする画像処理装置、が含まれる。

本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。 図１に示した画像処理装置に入力される観測画像の一例を示す図である。 図１に示した画像処理装置が行う処理手順を示すフローチャートである。 図３に示した特徴算出処理の処理手順を示すフローチャートである。 観測画像から抽出される細胞領域の一例を示す図である。 観測画像から生成される細胞特徴画像の一例を示す図である。 観測画像から生成される細胞特徴画像の一例を示す図である。 図１に示した画像処理装置によって重ね合わせて表示される画像の一例を示す図である。 図１に示した画像処理装置によって重ね合わせて表示される画像の一例を示す図である。 図１に示した画像処理装置によって重ね合わせて表示される画像の他の一例を示す図である。 図１に示した画像処理装置によって重ね合わせて表示される画像の他の一例を示す図である。 本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。 図９に示した画像処理装置によって重ね合わせて表示される画像の一例を示す図である。 図９に示した画像処理装置によって重ね合わせて表示される画像の一例を示す図である。

符号の説明

１，１１ 画像処理装置
２ 画像処理部
２ａ 輝度補正部
２ｂ 特徴量算出部
２ｃ 特徴画像生成部
２ｄ 細胞追跡部
３ 表示部
４，１４ 入力部
４ａ 観測画像入力部
４ｂ 表示画像選択部
５ 記憶部
５ａ 観測画像記憶部
５ｂ 特徴画像記憶部
５ｃ 特徴量記憶部
６ 制御部
６ａ 画像処理制御部
６ｂ，１６ｂ 画像表示制御部
１４ｃ 表示細胞選択部

Claims (26)

1. 複数の観測時点で撮像された生細胞を含む一連の観測画像を処理して表示する画像処理装置において、
   前記一連の観測画像内の各観測画像の中から前記生細胞に対応する細胞画像領域を検出し、該検出した各細胞画像領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段によって算出された細胞特徴量を前記観測時点に対応付けて記憶する特徴量記憶手段と、
   異なる観測時点に対応する前記細胞特徴量同士を、単一の表示画像として画像化して表示する制御を行う画像表示制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記特徴量算出手段によって算出された前記細胞特徴量を前記観測時点ごとに画像化した細胞特徴画像を生成する特徴画像生成手段を、更に備え、
   前記画像表示制御手段は、異なる観測時点の前記細胞特徴画像同士を重ね合わせて前記単一の表示画像として表示する制御を行うことを特徴とする請求項１に記載の画像処理装置。
3. 複数の観測時点で撮像された生細胞を含む一連の観測画像を処理して表示する画像処理装置において、
   前記一連の観測画像内の各観測画像の中から前記生細胞に対応する細胞画像領域を検出し、該検出した各細胞画像領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段によって算出された細胞特徴量を前記観測時点に対応付けて記憶する特徴量記憶手段と、
   ある観測時点で撮像された前記観測画像と、当該観測画像とは異なる観測時点に対応する前記細胞特徴量とを、単一の表示画像として画像化して表示する制御を行う画像表示制御手段と、
   を備えたことを特徴とする画像処理装置。
4. 前記画像表示制御手段は、ある観測時点で撮像された前記観測画像と、当該観測画像とは異なる２つ以上の観測時点それぞれに対応する前記細胞特徴量とを、前記単一の表示画像として表示する制御を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記特徴量算出手段によって算出された前記細胞特徴量を前記観測時点ごとに画像化した細胞特徴画像を生成する特徴画像生成手段を、更に備え、
   前記画像表示制御手段は、ある観測時点で撮像された前記観測画像と、当該観測画像とは異なる少なくとも１時点以上の観測時点の前記細胞特徴画像とを重ね合わせて前記単一の表示画像として表示する制御を行うことを特徴とする請求項３に記載の画像処理装置。
6. 前記画像表示制御手段は、前記観測時点に応じた区別をつけて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記画像表示制御手段は、前記観測時点ごとに表示輝度値および表示色相の少なくとも一方を異ならせて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記画像表示制御手段は、前記観測時点の時系列順序に従って前記観測時点ごとに表示輝度値および表示色相の少なくとも一方を段階的に変化させて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記観測時点が異なる観測画像間の前記細胞特徴量の変化量を算出し、該算出した変化量をもとに、該観測時点が異なる各観測画像に含まれる前記生細胞に同一性があるか否かを判断し、同一性があると判断した各生細胞を対応付ける対応付け手段を備え、
   前記特徴量算出手段は、細胞特徴量として少なくとも前記細胞画像領域の領域位置を算出し、
   前記画像表示制御手段は、前記単一の表示画像内の各細胞画像領域の前記領域位置をもとに、前記対応付け手段によって対応付けられた各生細胞の相対距離を算出し、該算出した相対距離に応じて表示輝度値および表示色相の少なくとも一方を異ならせて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
10. 前記観測時点が異なる観測画像間の前記細胞特徴量の変化量を算出し、該算出した変化量をもとに、該観測時点が異なる各観測画像に含まれる前記生細胞に同一性があるか否かを判断し、同一性があると判断した各生細胞を対応付ける対応付け手段を備え、
    前記特徴量算出手段は、細胞特徴量として少なくとも前記細胞画像領域の輝度総和または面積を算出し、
    前記画像表示制御手段は、各細胞画像領域の前記輝度総和または面積をもとに、前記対応付け手段によって対応付けられた各生細胞間の前記輝度総和または面積の変化量を算出し、該算出した変化量に応じて表示輝度値および表示色相の少なくとも一方を異ならせて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
11. 前記生細胞を選択する選択情報を受け付ける選択情報入力手段を備え、
    前記画像表示制御手段は、前記単一の表示画像の中から、前記選択情報によって選択された生細胞に対応する画像領域を抽出して表示する制御を行うことを特徴とする請求項１〜１０のいずれか一つに記載の画像処理装置。
12. 前記特徴量算出手段は、細胞特徴量として前記生細胞の位置または形状の特徴を示す位置特性を算出し、
    前記特徴画像生成手段は、前記特徴量算出手段によって算出された位置特性を前記単一の表示画像として画像化することを特徴とする請求項１〜１１のいずれか一つに記載の画像処理装置。
13. 前記位置特性は、前記生細胞の輪郭、重心位置および細胞核重心位置の少なくとも１つであることを特徴とする請求項１２に記載の画像処理装置。
14. 前記各観測画像の輝度値の補正を行う輝度補正手段を備えたことを特徴とする請求項１〜１３のいずれか一つに記載の画像処理装置。
15. 複数の観測時点で撮像された生細胞を含む一連の観測画像を処理して表示する画像処理装置に、前記観測画像を処理して表示させるための画像処理プログラムであって、
    前記画像処理装置に、
    前記一連の観測画像内の各観測画像の中から前記生細胞に対応する細胞画像領域を検出し、該検出した各細胞画像領域の特徴を示す細胞特徴量を算出する特徴量算出手順と、
    前記特徴量算出手順によって算出された細胞特徴量を前記観測時点に対応付けて記憶する特徴量記憶手順と、
    異なる観測時点に対応する前記細胞特徴量同士を、単一の表示画像として画像化して表示する制御を行う画像表示制御手順と、
    を実行させることを特徴とする画像処理プログラム。
16. 前記特徴量算出手段によって算出された前記細胞特徴量を前記観測時点ごとに画像化した細胞特徴画像を生成する特徴画像生成手順を、更に実行させ、
    前記画像表示制御手順は、異なる観測時点の前記細胞特徴画像同士を重ね合わせて前記単一の表示画像として表示する制御を行うことを特徴とする請求項１５に記載の画像処理プログラム。
17. 複数の観測時点で撮像された生細胞を含む一連の観測画像を処理して表示する画像処理装置に、前記観測画像を処理して表示させるための画像処理プログラムであって、
    前記画像処理装置に、
    前記一連の観測画像内の各観測画像の中から前記生細胞に対応する細胞画像領域を検出し、該検出した各細胞画像領域の特徴を示す細胞特徴量を算出する特徴量算出手順と、
    前記特徴量算出手順によって算出された細胞特徴量を前記観測時点に対応付けて記憶する特徴量記憶手順と、
    ある観測時点で撮像された前記観測画像と、当該観測画像とは異なる観測時点に対応する前記細胞特徴量とを、単一の表示画像として画像化して表示する制御を行う画像表示制御手順と、
    を実行させることを特徴とする画像処理プログラム。
18. 前記画像表示制御手順は、ある観測時点で撮像された前記観測画像と、当該観測画像とは異なる２つ以上の観測時点それぞれに対応する前記細胞特徴量とを、前記単一の表示画像として表示する制御を行うことを特徴とする請求項１７に記載の画像処理プログラム。
19. 前記特徴量算出手順によって算出された前記細胞特徴量を前記観測時点ごとに画像化した細胞特徴画像を生成する特徴画像生成手順を、更に備え、
    前記画像表示制御手順は、ある観測時点で撮像された前記観測画像と、当該観測画像とは異なる少なくとも１時点以上の観測時点の前記細胞特徴画像とを重ね合わせて前記単一の表示画像として表示する制御を行うことを特徴とする請求項１７に記載の画像処理プログラム。
20. 前記画像表示制御手順は、前記観測時点に応じた区別をつけて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする請求項１５〜１９のいずれか一つに記載の画像処理プログラム。
21. 前記画像表示制御手順は、前記観測時点ごとに表示輝度値および表示色相の少なくとも一方を異ならせて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする請求項２０に記載の画像処理プログラム。
22. 前記画像表示制御手順は、前記観測時点の時系列順序に従って前記観測時点ごとに表示輝度値および表示色相の少なくとも一方を段階的に変化させて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする請求項２１に記載の画像処理プログラム。
23. 前記観測時点が異なる観測画像間の前記細胞特徴量の変化量を算出し、該算出した変化量をもとに、該観測時点が異なる各観測画像に含まれる前記生細胞に同一性があるか否かを判断し、同一性があると判断した各生細胞を対応付ける対応付け手順を実行させ、
    前記特徴量算出手順は、細胞特徴量として少なくとも前記細胞画像領域の領域位置を算出し、
    前記画像表示制御手順は、前記単一の表示画像内の各細胞画像領域の前記領域位置をもとに、前記対応付け手順によって対応付けられた各生細胞の相対距離を算出し、該算出した相対距離に応じて表示輝度値および表示色相の少なくとも一方を異ならせて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする請求項１５〜１９のいずれか一つに記載の画像処理プログラム。
24. 前記観測時点が異なる観測画像間の前記細胞特徴量の変化量を算出し、該算出した変化量をもとに、該観測時点が異なる各観測画像に含まれる前記生細胞に同一性があるか否かを判断し、同一性があると判断した各生細胞を対応付ける対応付け手順を実行させ、
    前記特徴量算出手順は、細胞特徴量として少なくとも前記細胞画像領域の輝度総和または面積を算出し、
    前記画像表示制御手順は、各細胞画像領域の前記輝度総和または面積をもとに、前記対応付け手順によって対応付けられた各生細胞間の前記輝度総和または面積の変化量を算出し、該算出した変化量に応じて表示輝度値および表示色相の少なくとも一方を異ならせて前記細胞特徴量を前記単一の表示画像として表示する制御を行うことを特徴とする請求項１５〜１９のいずれか一つに記載の画像処理プログラム。
25. 前記生細胞を選択する選択情報を受け付ける選択情報入力手順を実行させ、
    前記画像表示制御手順は、前記単一の表示画像の中から、前記選択情報によって選択された生細胞に対応する画像領域を抽出して表示する制御を行うことを特徴とする請求項１５〜２４のいずれか一つに記載の画像処理プログラム。
26. 前記特徴量算出手順は、細胞特徴量として前記生細胞の位置または形状の特徴を示す位置特性を算出し、
    前記特徴画像生成手順は、前記特徴量算出手順によって算出された位置特性を前記単一の表示画像として画像化することを特徴とする請求項１５〜２５のいずれか一つに記載の画像処理プログラム。

Images