JP2011002995A - 細胞認識装置、インキュベータおよびプログラム - Google Patents
細胞認識装置、インキュベータおよびプログラム Download PDFInfo
- Publication number
- JP2011002995A JP2011002995A JP2009145198A JP2009145198A JP2011002995A JP 2011002995 A JP2011002995 A JP 2011002995A JP 2009145198 A JP2009145198 A JP 2009145198A JP 2009145198 A JP2009145198 A JP 2009145198A JP 2011002995 A JP2011002995 A JP 2011002995A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cell
- state
- label
- cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Microscoopes, Condenser (AREA)
Abstract
【課題】 細胞を撮像した画像から細胞の状態をより効率的に認識するための手段を提供する。
【解決手段】 細胞認識装置の領域設定部は、処理対象の画像に所定サイズの局所領域を設定する。推定部は、局所領域に対応する部分画像から求めた特徴量を用いて、部分画像に含まれる細胞形状が正常な形態を示す第1状態および細胞形状が異常な形態を示す第2状態のいずれに対応するかを推定する。ラベリング処理部は、各々の局所領域に対して、推定部の推定結果に基づいて第1状態を示す第1ラベルまたは第2状態を示す第2ラベルを付与する。また、ラベリング処理部は、処理対象の画像上での第1ラベルおよび第2ラベルの分布を示すラベル分布情報を生成する。認識処理部は、ラベル分布情報の示す第1ラベルおよび第2ラベルの位置関係に基づいて、処理対象の画像から第1状態の細胞および第2状態の細胞をそれぞれ抽出する。
【選択図】 図1
【解決手段】 細胞認識装置の領域設定部は、処理対象の画像に所定サイズの局所領域を設定する。推定部は、局所領域に対応する部分画像から求めた特徴量を用いて、部分画像に含まれる細胞形状が正常な形態を示す第1状態および細胞形状が異常な形態を示す第2状態のいずれに対応するかを推定する。ラベリング処理部は、各々の局所領域に対して、推定部の推定結果に基づいて第1状態を示す第1ラベルまたは第2状態を示す第2ラベルを付与する。また、ラベリング処理部は、処理対象の画像上での第1ラベルおよび第2ラベルの分布を示すラベル分布情報を生成する。認識処理部は、ラベル分布情報の示す第1ラベルおよび第2ラベルの位置関係に基づいて、処理対象の画像から第1状態の細胞および第2状態の細胞をそれぞれ抽出する。
【選択図】 図1
Description
本発明は、細胞認識装置、インキュベータおよびプログラムに関する。
今日において、細胞の分化誘導やアポトーシスなどの状態を認識する技術は、再生医療などの先端医療分野や医薬品のスクリーニングを含む幅広い分野での基盤技術となっている。特に、細胞の観察をより的確に行う観点から、個々の細胞に対して染色や遺伝子導入を行わずに、細胞を撮像した画像のみに基づいて、細胞の状態を非侵襲で効率的に認識する技術が強く要請されている。
一例として、特許文献1には、焦点位置の異なる複数の細胞観察画像にWavelet変換を行ない、各画像での周波数成分を用いて細胞の構造的特徴を抽出する技術が開示されている。
しかし、上記の従来技術では、細胞の状態を認識するために複数回の撮像が必要となる点でなお改善の余地があった。
そこで、本発明の目的は、細胞を撮像した画像から細胞の状態をより効率的に認識するための手段を提供することにある。
一の態様の細胞認識装置は、領域設定部と、推定部と、ラベリング処理部と、認識処理部とを備える。領域設定部は、細胞を撮像した処理対象の画像に所定サイズの局所領域を設定する。推定部は、処理対象の画像のうちで局所領域に対応する部分画像から求めた特徴量を用いて、部分画像に含まれる細胞形状が正常な形態を示す第1状態および細胞形状が異常な形態を示す第2状態のいずれに対応するかを推定する。ラベリング処理部は、処理対象の画像内で順次設定される各々の局所領域に対して、推定部の推定結果に基づいて第1状態を示す第1ラベルまたは第2状態を示す第2ラベルを付与する。また、ラベリング処理部は、処理対象の画像上での第1ラベルおよび第2ラベルの分布を示すラベル分布情報を生成する。認識処理部は、ラベル分布情報の示す第1ラベルおよび第2ラベルの位置関係に基づいて、処理対象の画像から第1状態の細胞および第2状態の細胞をそれぞれ抽出する。
なお、上記の細胞認識装置を組み込んだインキュベータや、コンピュータを上記の細胞認識装置として動作させるプログラムおよびプログラム記憶媒体や、上記の細胞認識装置の動作を方法のカテゴリで表現したものも、本発明の具体的態様として有効である。
本発明では、部分画像の特徴量に基づいて部分画像に対応する細胞の種類を推定し、この推定結果に基づく画像全体でのラベルの分布から、処理対象の画像に含まれる細胞の状態をより効率的に認識できる。
<一の実施形態の構成例>
図1は、一の実施形態に係る細胞認識装置の構成例を示すブロック図である。一の実施形態の細胞認識装置は、細胞認識処理用のプログラムがインストールされたパーソナルコンピュータで構成される。
図1は、一の実施形態に係る細胞認識装置の構成例を示すブロック図である。一の実施形態の細胞認識装置は、細胞認識処理用のプログラムがインストールされたパーソナルコンピュータで構成される。
一の実施形態での細胞認識装置は、顕微鏡を介して細胞を撮像した画像(処理対象の画像や教師画像など)のデータを外部から読み込む。そして、一の実施形態の例では、細胞認識装置が、上記の処理対象の画像から円形の正常細胞と非円形のアポトーシス細胞とを抽出する。なお、一の実施形態の例では、処理対象の画像の画像サイズが2560画素×1920画素に設定されている。また、処理対象の画像には、正常細胞およびアポトーシス細胞が1画像当たり100個−200個程度混在しているものとする。
図1に示すコンピュータ11は、データ読込部12、記憶装置13、CPU14、メモリ15および入出力I/F16、バス17を有している。データ読込部12、記憶装置13、CPU14、メモリ15および入出力I/F16は、バス17を介して相互に接続されている。さらに、コンピュータ11には、入出力I/F16を介して、入力デバイス18(キーボード、ポインティングデバイスなど)とモニタ19とがそれぞれ接続されている。なお、入出力I/F16は、入力デバイス18からの各種入力を受け付けるとともに、モニタ19に対して表示用のデータを出力する。
データ読込部12は、上記の処理対象の画像のデータや、上記のプログラムを外部から読み込むときに用いられる。例えば、データ読込部12は、着脱可能な記憶媒体からデータを取得する読込デバイス(光ディスク、磁気ディスク、光磁気ディスクの読込装置など)や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス(USBインターフェース、LANモジュール、無線LANモジュールなど)で構成される。
記憶装置13は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置13には、プログラム(例えば、後述する推定部22の構築処理用プログラムや、細胞認識処理用プログラムなど)と、プログラムの実行に必要となる各種のデータとが記録されている。なお、記憶装置13には、データ読込部12から読み込んだ画像のデータを記憶しておくこともできる。
CPU14は、コンピュータ11の各部を統括的に制御するプロセッサである。このCPU14は、上記のプログラムの実行によって、領域設定部21、推定部22、ラベリング処理部23、認識処理部24として機能する。
領域設定部21は、処理対象の画像のうち、後述の特徴ベクトルを求める範囲となる所定サイズの局所領域を設定する。なお、領域設定部21は、細胞認識処理のときに、局所領域の位置を所定量ずつ順次シフトさせていくことで、処理対象の画像を走査する。ここで、上記の局所領域は、少なくとも1個の細胞を内包しうる大きさに設定されている。なお、一の実施形態の例では、局所領域のサイズは128画素×128画素の大きさに設定される。
推定部22は、局所領域に対応する部分画像の低周波数成分に基づいて、部分画像の特徴を示す特徴ベクトルを求める。そして、推定部22は、上記の特徴ベクトルを用いて、部分画像が円形の正常細胞および非円形のアポトーシス細胞のいずれに対応するかを推定する。なお、一の実施形態での推定部22は、教師付き学習により構築されたサポートベクターマシン(SVM)を含んでいる。
ラベリング処理部23は、処理対象の画像内で順次設定される各々の局所領域に対して、推定部22の推定結果に基づいてラベリング処理を行う。一の実施形態でのラベリング処理部23は、推定部22の推定結果が正常細胞の場合、現在の局所領域に正常細胞であることを示す第1ラベルを付与する。同様に、ラベリング処理部23は、推定部22の推定結果がアポトーシス細胞の場合、現在の局所領域にアポトーシス細胞であることを示す第2ラベルを付与する。そして、ラベリング処理部23は、処理対象の画像上での第1ラベルおよび第2ラベルの分布を示すラベル分布情報を生成する。
認識処理部24は、ラベル分布情報の示す第1ラベルおよび第2ラベルの位置関係に基づいて、処理対象の画像から正常細胞およびアポトーシス細胞をそれぞれ抽出する。
メモリ15は、上記のプログラムの演算結果(ラベル分布情報など)を一時的に記憶する。このメモリ15は、例えば揮発性のSDRAMなどで構成される。
<一の実施形態の動作例>
次に、一の実施形態における細胞認識装置の動作例を説明する。一の実施形態では、正常細胞とアポトーシス細胞との識別を行うためには、前処理として推定部22に教師付き学習で細胞の判別ルールを獲得させる必要がある。まず、図2の流れ図を参照しつつ、推定部22におけるSVMの構築処理の動作例を説明する。なお、図2の流れ図の処理は、プログラムの実行指示に応じてCPU14が実行する。
次に、一の実施形態における細胞認識装置の動作例を説明する。一の実施形態では、正常細胞とアポトーシス細胞との識別を行うためには、前処理として推定部22に教師付き学習で細胞の判別ルールを獲得させる必要がある。まず、図2の流れ図を参照しつつ、推定部22におけるSVMの構築処理の動作例を説明する。なお、図2の流れ図の処理は、プログラムの実行指示に応じてCPU14が実行する。
(SVMの構築処理の説明)
ステップS101:CPU14は、予め用意された1組の教師画像のデータをデータ読込部12から読み込んで取得する。ここで、1組の教師画像は、処理対象の画像と同様に、顕微鏡を介して細胞を撮像した2枚の画像(それぞれ2560画素×1920画素の画像サイズ)で構成される(図3参照)。
ステップS101:CPU14は、予め用意された1組の教師画像のデータをデータ読込部12から読み込んで取得する。ここで、1組の教師画像は、処理対象の画像と同様に、顕微鏡を介して細胞を撮像した2枚の画像(それぞれ2560画素×1920画素の画像サイズ)で構成される(図3参照)。
一方の教師画像(図3(a))は、正常細胞およびアポトーシス細胞を撮像した元画像である。他方の教師画像(図3(b))は、観察者の目視によって、上記の元画像(一方の教師画像)の各細胞に識別マーカーを付与した画像である。他方の教師画像において、各正常細胞の中心位置には識別マーカー(図中黒色の+印)が予め付与されている。また、他方の教師画像において、各アポトーシス細胞の中心位置には識別マーカー(図中白色の+印)が予め付与されている。
S101で取得された教師画像のデータは、CPU14の制御によって、記憶装置13またはメモリ15に記録される。なお、CPU14は、教師画像のデータが予め記憶装置13に記憶されている場合にはS101の処理を省略してもよい。
ステップS102:CPU14は、「正常細胞の画像」および「アポトーシス細胞の画像」を教師画像から抽出する。例えば、CPU14は、他方の教師画像から各識別マーカーの中心座標(各細胞の中心位置)を求める。なお、他方の教師画像から識別マーカーを抜き出した画像を図4に示す。
そして、CPU14は、上記の識別マーカーの中心座標に基づいて、一方の教師画像から「正常細胞の画像」および「アポトーシス細胞の画像」を個別に切り出して分離する。「正常細胞の画像」および「アポトーシス細胞の画像」の識別は、各画像に対応する識別マーカーの種類に応じてCPU14が行えばよい。
また、図5(a)にアポトーシス細胞の画像の例を示し、図5(b)に正常細胞の画像の例を示す。各々の「正常細胞の画像」および「アポトーシス細胞の画像」は、128画素×128画素の画像サイズに設定されている。そして、「正常細胞の画像」および「アポトーシス細胞の画像」の中心はいずれも識別マーカーの中心座標と一致する。
ステップS103:CPU14は、以下の(1)−(3)の処理により、細胞を含まない部分である「背景画像」を他方の教師画像から抽出する。
(1)CPU14の領域設定部21は、他方の教師画像において局所領域を設定する。なお、領域設定部21は、最初に局所領域を設定するときには、画像左上隅に局所領域を設定するものとする(図6参照)。
(2)CPU14は、現在の局所領域の中心と識別マーカーとの位置関係に基づいて、背景画像の抽出を行う。一の実施形態では、背景画像を128画素×128画素の画像サイズに設定し、かつ背景画像の定義を「全ての識別マーカーから32画素以上離れている領域」とした。よって、現在の局所領域の中心を基準として、全ての識別マーカーの各距離がいずれも32画素よりも大きければ、CPU14は、現在の局所領域内にある部分画像を背景画像として抽出する。換言すれば、現在の局所領域の中心から32画素以内の距離にいずれかの識別マーカーが存在する場合、CPU14は、現在の局所領域から背景画像を抽出せずに次の処理に移行する。
図7は、背景画像の抽出例を示す図である。図7の上側の例のように、局所領域の中心と識別マーカーとの距離が73画素の場合、CPU14は局所領域から背景画像を抽出する。一方、図7の下側の例のように、局所領域の中心と識別マーカーとの距離が20画素の場合には許容範囲から外れるため、CPU14は局所領域から背景画像を抽出しない。
(3)CPU14の領域設定部21は、局所領域の位置を所定量だけシフトさせて再設定する。そして、CPU14は、再設定された局所領域において上記(2)の動作を繰り返す。
ここで、領域設定部21は、左から右に10画素ずつ局所領域を水平方向にシフトさせてゆく。また、現在の局所領域が画像右端である場合には、領域設定部21は、10画素下の画像左端の位置に局所領域を再設定する(図6参照)。これにより、他方の教師画像上において10画素刻みで局所領域の走査が行われることとなる。そして、画像右下隅の局所領域で上記(2)の処理が終了したときには、CPU14はS103の抽出動作を終了する。
ステップS104:CPU14は、「正常細胞の画像」、「アポトーシス細胞の画像」、「背景画像」(S102、S103で抽出した全ての部分画像)を、学習機械の入力ベクトルとして利用するために、画像の形態的特徴を示す特徴ベクトルにそれぞれ変換する。一の実施形態でのCPU14は、各々の部分画像を以下の処理で特徴ベクトルに変換した。
第1に、CPU14は、部分画像をグレースケール化し、その後に離散Wavelet変換を3回適用する(図8(a)、(b)参照)。第2に、CPU14は、離散Wavelet変換で求めた部分画像のLL3成分(16画素×16画素の画像サイズ)を選択する(図8(c)参照)。第3に、CPU14は、上記のLL3成分の画像の濃度値を1列に並べ替えて、要素数256の特徴ベクトルに変換する。
このとき、CPU14は、LL3成分の画像の濃度値を、左上隅から右下隅まで1行ずつ左から右へ順に並べて特徴ベクトルに変換する(図9参照)。なお、画像の低周波数成分を用いることで、各々の特徴ベクトルは部分画像に含まれる細胞等の形態の大局的な特徴をよく反映したものとなる。
ここで、一の実施形態において、特徴ベクトルとして部分画像のLL3成分を選択した理由を説明する。第1の実施例として、発明者は、離散Wavelet変換のステージ数による特徴ベクトルの特性の変化を以下の要領で評価した。
第1の実施例では、正常細胞の画像(128画素×128画素)400枚およびアポトーシス細胞の画像(128画素×128画素)400枚をサンプルとして用意した。そして、各サンプルの画像につき離散Wavelet変換のステージ数nを0−5回の幅で変化させて、ステージnでの低周波数成分であるLLn成分からサンプルの特徴ベクトルをそれぞれ求めた。
第1の実施例では、上記のステージ別にサンプルの特徴ベクトル(LL0−LL5)を6つに分類した。そして、分類された各々の特徴ベクトルに対して主成分分析を行うことで、各特徴ベクトルの第1主成分(PCA1)および第2主成分(PCA2)を計算した。図10(a)−(f)は、各ステージにおける特徴ベクトルの2次元座標の分布(横軸:PCA1、縦軸:PCA2)を示している。また、第1の実施例では、各々のステージにおいて、2次元座標上での正常細胞とアポトーシス細胞との分離度を、以下の式(1)から式(3)によって求めた。
但し、「dLLn」はLLn(ステージnでのLL成分)における分離度を示す。「CLLn_Apo」は2次元座標上におけるアポトーシス細胞群の中心座標を示す。「CLLn_Normal」は2次元座標上における正常細胞群の中心座標を示す。「LLnx」は2次元座標上のX座標を示す。「LLny」は2次元座標上のY座標を示す。「NApo」はアポトーシス細胞の画像数を示す。「NNormal」は正常細胞の画像数を示す。
また、図11は、図10(d)における分離度を示す図である。図12は、上記の式(1)で求めたLL0−LL5の各分離度を示すグラフである。
図10の各図から明らかなように、離散Wavelet変換を行っていない入力画像そのままの情報(LL0)では、アポトーシス細胞と正常細胞との分布には全く差が見られない(図10(a))。しかし、離散Wavelet変換後において、LL3の2次元座標分布図(図10(d))からはアポトーシス細胞と正常細胞との分布の差をよく確認できる。このことは、アポトーシス細胞および正常細胞を区別する情報として、LL3以降の低周波数成分の画像が適していることを示唆する。一の実施形態では、図12にも示すように、上記の式(1)の演算結果に基づいて、分離度が最大となるLL3の画像を特徴ベクトルとして選出した。
なお、一の実施形態ではLL3成分を用いて特徴ベクトルを求めたが、これはあくまで一例にすぎない。例えば部分画像の画像サイズの設定が異なれば、特徴ベクトルの生成に適したLLn成分が変化することはいうまでもない。
ステップS105:CPU14は、「正常細胞の画像」、「アポトーシス細胞の画像」、「背景画像」の各特徴ベクトル(S104で求めたもの)を用いて、推定部22に細胞の判別ルールを獲得させる(SVMの構築)。
ここで、通常のSVMは2クラス分類を対象とするが、一の実施形態の推定部22は、正常細胞、アポトーシス細胞、背景の3クラスに画像を分類する必要がある。よって、一の実施形態では推定部22に2つのSVM(SVM1、SVM2)を構築し、2段階の判別で3クラス分類を実施する構成とした。一の実施形態での推定部22は、第1段階(SVM1)で「正常細胞」と「その他」とを判別し、第2段階(SVM2)で「アポトーシス細胞」と「背景」とを判別する(図13参照)。
また、S105でのSVMの構築では、以下のパラメータを適用した。
・Kernelの種類:動径基底関数カーネルd(x,y)=exp(-gamma*/x-y/2)
・gamma(カーネル中の変数):0.000001
・C(一般化SVMの最適化問題におけるパラメータ):10
また、第2の実施例として、発明者は、以下の要領でSVMの性能評価を行った。第2の実施例では、教師となる「正常細胞の画像」、「アポトーシス細胞の画像」、「背景画像」をそれぞれ8000枚ずつ用意し、かつ上記のパラメータを適用することで上記の推定部22(SVM1、SVM2)を構築した。
・Kernelの種類:動径基底関数カーネルd(x,y)=exp(-gamma*/x-y/2)
・gamma(カーネル中の変数):0.000001
・C(一般化SVMの最適化問題におけるパラメータ):10
また、第2の実施例として、発明者は、以下の要領でSVMの性能評価を行った。第2の実施例では、教師となる「正常細胞の画像」、「アポトーシス細胞の画像」、「背景画像」をそれぞれ8000枚ずつ用意し、かつ上記のパラメータを適用することで上記の推定部22(SVM1、SVM2)を構築した。
また、第2の実施例では、評価対象となる「正常細胞の画像」、「アポトーシス細胞の画像」、「背景画像」をそれぞれ1000枚ずつ用意した。そして、第2の実施例では、上記の評価対象のクラスを推定部22が推定した結果と、上記の評価対象を目視判定した結果とを比較して、これらのSVMの性能を評価した。
図14に第2の実施例の実験結果を示す。図14の縦軸は推定部22の推定結果(推定値)を示し、図14の横軸は実測値(目視判定結果)を示す。また、図14において、正常細胞、アポトーシス細胞、背景は、それぞれ順に「Nrm」、「Apop」、「Back」と表記する。なお、図14の見方を説明すると、例えば、推定部22がNrmと推定した画像のうち、実際にNrmであるもの(Nrm/Nrm)が90.6%、誤ってApopと推定されたもの(Nrm/Apop)が8.8%、誤ってBackと推定されたもの(Nrm/Back)が0.6%であることをそれぞれ示している。
図14に示すように、第2の実施例の推定部22は、Nrm/Nrmの場合に90.6%、Apop/Apopの場合に91.3%、Back/Backの場合に97.6%の値をそれぞれ示した。よって、推定部22は、各画像のクラスを高い精度で適切に分類できることが分かる。以上で、図2に示すSVMの構築処理の説明を終了する。
(細胞認識処理の説明)
次に、図15の流れ図を参照しつつ、細胞認識処理の動作例を説明する。なお、図15の流れ図の処理は、プログラムの実行指示に応じてCPU14が実行する。
次に、図15の流れ図を参照しつつ、細胞認識処理の動作例を説明する。なお、図15の流れ図の処理は、プログラムの実行指示に応じてCPU14が実行する。
ステップS201:CPU14は、処理対象の画像のデータをデータ読込部12から読み込んで取得する。この処理対象の画像のデータは、CPU14の制御によって、記憶装置13またはメモリ15に記録される。
また、図16に、一の実施形態における処理対象の画像の例を示す。なお、CPU14は、処理対象の画像のデータが予め記憶装置13に記憶されている場合にはS201の処理を省略してもよい。
ステップS202:領域設定部21は、処理対象の画像の左上隅に最初の局所領域を設定する。領域設定部21は、局所領域の位置を変更するときには、上記のS103の場合(図6参照)と同様に、10画素刻みで1行ずつ左から右に局所領域の位置を変化させていくものとする。
ステップS203:推定部22は、現在の局所領域に対応する部分画像(128画素×128画素)を特徴ベクトルに変換する。なお、S203での特徴ベクトルの変換処理は、上記のS104の処理と同様であるため重複説明は省略する。
ステップS204:推定部22は、部分画像の特徴ベクトル(S203で取得したもの)を用いて、現在の局所領域に対応する部分画像がいずれの種類(正常細胞、アポトーシス細胞、背景)に対応するかを推定する。
ステップS205:ラベリング処理部23は、推定部22の推定結果(S204)に基づいてラベリング処理を行う。
一例として、推定部22の推定結果が正常細胞の場合、ラベリング処理部23は、現在の局所領域の中心位置に10画素×10画素のサイズの第1ラベルを付与する。また、推定部22の推定結果がアポトーシス細胞の場合、ラベリング処理部23は、現在の局所領域の中心位置に10画素×10画素のサイズの第2ラベルを付与する。なお、ラベリング処理部23は、推定部22の推定結果が背景の場合、現在の局所領域の位置にラベルを付与せずに次の処理へ移行する。なお、処理対象の画像に付与される各ラベルの情報は、ラベリング処理部23によってメモリ15に記録される。
ステップS206:CPU14は、現在の局所領域が最後の位置(画像右下隅)にあるか否かを判定する。上記要件を満たす場合(YES側)にはS208に処理が移行する。一方、上記要件を満たさない場合(NO側)にはS207に処理が移行する。
ステップS207:領域設定部21は、局所領域を次の位置へシフトさせる。その後、CPU14はS203に戻って上記動作を繰り返す。
このS203からS207のループによって、処理対象の画像上では10画素刻みで局所領域の走査が行われることから、各々の局所領域でラベリング処理(S205)が行われる。そして、メモリ15には、処理対象の画像での第1ラベルおよび第2ラベルの分布を示すラベル分布情報が、ラベリング処理部23によって生成されることとなる。
なお、図17は、ラベル分布情報に基づいて、図16の画像に各ラベルをマッピングした例を示している。図17では第1ラベルを黒色画素で示し、第2ラベルを白色画素で示している。なお、図17を後述のラベル分布マップとしてもよい。
ステップS208:認識処理部24は、ラベル分布情報の示す第1ラベルおよび第2ラベルの位置関係に基づいて、処理対象の画像から正常細胞とアポトーシス細胞とをそれぞれ抽出する。一例として、S208での認識処理部24は以下の処理を行う。
まず、認識処理部24は、ラベル分布情報の画像(ラベル分布マップ)において、「第1ラベルが4つ以上隣接して配置された領域」を正常細胞の1つのクラスタとする。そして、認識処理部24は、ラベル分布情報における正常細胞のクラスタの位置に基づいて、処理対象の画像から正常細胞を抽出する。
また、認識処理部24は、上記のラベル分布マップにおいて、第2ラベルが9つ以上隣接して配置された領域であって、かつ領域の中心座標から縦横64画素以内に正常細胞のクラスタがない領域をアポトーシス細胞の1つのクラスタとする。そして、認識処理部24は、ラベル分布情報におけるアポトーシス細胞のクラスタの位置に基づいて、処理対象の画像からアポトーシス細胞を抽出する。
ここで、1つの正常細胞を走査してラベリングを行った場合には、ラベルの配置は以下のようになる。局所領域の中心に正常細胞が位置する状態では、推定部22は部分画像を正常細胞と推定して第1ラベルを付与する。一方、局所領域の外縁に正常細胞が位置する状態では、部分画像の細胞が円形とならないため、推定部22は部分画像をアポトーシス細胞と推定して第2ラベルを付与する。
よって、上記のラベル分布マップでは、正常細胞の中央近傍には複数の第1ラベルが隣接して付与されるとともに、正常細胞の外縁部には第2ラベルが付与される。なお、アポトーシス細胞を走査してラベリングした場合には、正常細胞と推定される箇所がないことから、上記のラベル分布マップでは、アポトーシス細胞の位置に第2ラベルのみが付与される。したがって、上記の識別ルールによれば、処理対象の画像から、正常細胞とアポトーシス細胞とを精度よく抽出できることが分かる。
なお、図18は、図17の画像に細胞の抽出結果を重畳表示した例を示している。図18では、認識処理部24が抽出した正常細胞を黒色の枠で示し、認識処理部24が抽出した正常細胞を白色の枠で示す。
ステップS209:CPU14は、正常細胞およびアポトーシス細胞の抽出結果(S208)を出力する。例えば、CPU14は、処理対象の画像に細胞の抽出結果を重畳させた結果表示画像をモニタ19に出力する。図19は、S209の結果表示画像の例を示す図である。図19の画像では、処理対象の画像(図16)に、図18で示した枠表示が重畳されている。
また、CPU14は、以下の式(4)により、処理対象の画像におけるアポトーシス進行度(処理対象の画像におけるアポトーシス細胞の割合)を演算し、演算結果をモニタ19に出力してもよい。
以上で、図15に示す細胞認識処理の説明を終了する。
また、第3の実施例として、発明者は、上記の細胞認識装置におけるアポトーシス進行度の予測精度を10枚分の画像を用いて評価した。なお、第3の実施例では、計算時間の高速化のため、1/4スケールに縮小し、予め背景除去を行った画像を処理対象とした。
図20は、細胞認識装置での評価結果を示している。図21は、細胞認識装置によるアポトーシス細胞の割合の予測値と、目視カウントによるアポトーシス細胞の割合の実測値との相関を示すグラフである。上記のアポトーシス細胞の割合の予測値と実測値との相関係数(R2)は0.93であった。よって、上記の予測値と実測値との間には高い相関があり、細胞認識装置が高い精度でアポトーシス進行度を予測できていることが分かる。
以下、一の実施形態の作用効果を述べる。細胞認識処理での推定部22は、部分画像の低周波数成分から特徴ベクトルを求める(S203)とともに、教師付き学習で獲得した判別ルールにより部分画像の細胞の種類を推定する(S204)。ラベリング処理部23は、推定部22の推定結果に基づくラベリング処理(S205)を実行することで、ラベル分布情報を生成する。そして、認識処理部24は、ラベル分布情報の示す第1ラベルおよび第2ラベルの位置関係に基づいて、処理対象の画像から正常細胞とアポトーシス細胞とを抽出する(S208)。
よって、一の実施形態の細胞認識装置は、1枚の処理対象の画像から正常細胞およびアポトーシス細胞を精度よく抽出でき、処理対象の画像に含まれる細胞の状態を効率的に認識できる。
また、一の実施形態の細胞認識装置は、染色や遺伝子導入を必要とせずに細胞の状態を非侵襲で評価できる。よって、例えば医薬品のスクリーニングや再生医療の用途で培養される細胞を評価するときに極めて有用である。
(一の実施形態の変形例)
上記の実施形態では、離散Wavelet変換による特徴ベクトルを、推定部22の入力ベクトルとして利用する例を説明した。しかし、CPU14は、上記の特徴ベクトルを用いて、主成分分析による細胞形態の解析を行うこともできる。
上記の実施形態では、離散Wavelet変換による特徴ベクトルを、推定部22の入力ベクトルとして利用する例を説明した。しかし、CPU14は、上記の特徴ベクトルを用いて、主成分分析による細胞形態の解析を行うこともできる。
例えば、推定部22は、正常細胞の画像およびアポトーシス細胞の画像から特徴ベクトルを求める。CPU14は、各々の特徴ベクトルの主成分分析を実施し、第1主成分(PCA1)および第2主成分(PCA2)から2次元座標上に各画像をマッピングする。そして、CPU14は、一方の主成分に注目して細胞形態を解析すればよい。
図22(a)は、正常細胞の画像およびアポトーシス細胞の画像(各400枚)の特徴ベクトルを主成分分析して得た2次元マップに、各細胞の画像を重畳させた図である。なお、図22(a)では、簡単のため、正常細胞およびアポトーシス細胞をそれぞれ30個ずつランダムに抽出して表示した。
図22(a)では、アポトーシス末期細胞は2次元マップの右上に位置し、アポトーシス初期細胞および正常細胞は、2次元マップの左下に位置する分布となる。したがって、図22(a)の2次元マップは、細胞の形態変化を反映した分布であることが分かる。また、図22(b)は、図22(a)の第2主成分(PCA2)の軸に注目して細胞の画像を配列した図である。図22(b)では、第2主成分の値が高くなるにつれて、正常細胞からアポトーシスが進行していくような形態を示した。
したがって、上記の特徴ベクトルの主成分分析によれば、アポトーシス細胞と正常細胞との二者択一的な分類を補完する分布情報を取得しうる。
なお、上記の手法は、例えば、分化前の細胞と分化後の細胞を2値でラベル化した場合にも分化の経路を補完できると推測できる。よって、上記の手法の応用範囲は、アポトーシス細胞の判定に限らず多岐に渡る。
<他の実施形態の説明>
次に、他の実施形態として、上記の細胞認識装置を組み込んだインキュベータ(細胞培養装置)の構成例を説明する。図23は、他の実施形態に係るインキュベータの概要正面図である。また、図24は、他の実施形態に係るインキュベータのブロック図である。
次に、他の実施形態として、上記の細胞認識装置を組み込んだインキュベータ(細胞培養装置)の構成例を説明する。図23は、他の実施形態に係るインキュベータの概要正面図である。また、図24は、他の実施形態に係るインキュベータのブロック図である。
他の実施形態のインキュベータ111は、上部ケーシング112と下部ケーシング113とを有している。図23に示すインキュベータ111の組立状態において、上部ケーシング112は下部ケーシング113の上に載置されている。なお、上部ケーシング112と下部ケーシング113との内部空間は、ベースプレート114によって上下に仕切られている。また、インキュベータ111の正面には、培養容器119や機材を搬出入するための扉が設けられている(図23では扉が開放された状態を示すとともに、簡単のために扉の図示は省略する)。
上部ケーシング112の内部には、細胞の培養を行う恒温室115が形成されている。この恒温室115には温度調整装置115a、湿度調整装置115bおよび温度・湿度センサ115cが配置されており、恒温室115内は細胞の培養に適した環境(例えば温度37℃、湿度90%の雰囲気)に維持されている(なお、図23では温度調整装置115a、湿度調整装置115b、温度・湿度センサ115cの図示は省略する)。
また、恒温室115には、ストッカー116、顕微鏡ユニット117、容器搬送装置118が配置されている。
ストッカー116は、上部ケーシング112の正面からみて恒温室115の左側(図23の左側)に配置される。ストッカー116は複数の棚を有しており、各々の棚には培養容器119を複数収納することができる。そして、各々の培養容器119には細胞が培地とともに収容されている。
顕微鏡ユニット117は、上部ケーシング112の正面からみて恒温室15の右側(図23の右側)に配置される。この顕微鏡ユニット117では、培養容器119の細胞のタイムラプス観察を実行することができる。
この顕微鏡ユニット117は、上部ケーシング112のベースプレート114の開口部に嵌め込まれて設置される。顕微鏡ユニット117は、試料台121と、試料台121の上方に張り出したスタンドアーム122と、本体部123とを有している。試料台121およびスタンドアーム122は恒温室115に配置される一方で、本体部123は下部ケーシング113に収納される。かかる構成により、環境条件を変化させずに顕微鏡ユニット117で培養容器119内の細胞の観察を行うことが可能となる。
試料台121は透光性の材質で構成されており、試料台121の上面には培養容器119を載置できる。また、試料台121は水平方向へ移動可能に構成されており、上面に載置した培養容器119の位置を調整することができる。
容器搬送装置118は、上部ケーシング112の正面からみて恒温室115の中央に配置される。容器搬送装置118は、多関節アームをもつ垂直ロボットに、培養容器119を挟持するアームをさらに取り付けて構成されている。この容器搬送装置118は、ストッカー116、試料台121との間で培養容器119の受け渡しを行う。
さらに、下部ケーシング113には、制御装置124が収納されている。この制御装置124は、温度調整装置115a、湿度調整装置115b、温度・湿度センサ115c、顕微鏡ユニット117、容器搬送装置118にそれぞれ接続されており、インキュベータ111の統括的な制御を行う。
また、制御装置124は、一の実施形態の細胞認識装置を内蔵しており、顕微鏡ユニット117の撮像した画像を処理対象として、正常細胞およびアポトーシス細胞の抽出を行う。
他の実施形態のインキュベータによれば、培養細胞のタイムラプス観察を行いつつ、一の実施形態と同様の手法でアポトーシス進行度を評価することができる。
<実施形態の補足事項>
(1)上記実施形態では、円形の正常細胞と非円形のアポトーシス細胞とを判別する例を説明した。しかし、本発明は上記実施形態の例に限定されず、他の細胞の判別に適用してもよい。例えば、本発明の細胞認識装置は、浮遊細胞と付着細胞との判別や、通常細胞と分裂時の連結細胞との判別などにも応用できる。
(1)上記実施形態では、円形の正常細胞と非円形のアポトーシス細胞とを判別する例を説明した。しかし、本発明は上記実施形態の例に限定されず、他の細胞の判別に適用してもよい。例えば、本発明の細胞認識装置は、浮遊細胞と付着細胞との判別や、通常細胞と分裂時の連結細胞との判別などにも応用できる。
(2)上記実施形態では、離散Wavelet変換によって部分画像から特徴ベクトルを求める例を説明した。しかし、上記実施形態はあくまで一例にすぎず、例えば、推定部は、離散コサイン変換で求めた部分画像の低周波数成分を用いて特徴ベクトルを求めてもよい。また、上記実施形態での分離度の計算も中心座標間の距離に限らず、分布の差を判別する他の検定法を利用してもよい。
(3)上記実施形態では、領域設定部21、推定部22、ラベリング処理部23、認識処理部24の各機能をプログラムによってソフトウエア的に実現する例を説明したが、ASICなどによってこれらの各構成をハードウエア的に実現しても勿論かまわない。
(4)なお、上記実施形態で記憶装置に記憶されているプログラムは、バージョンアップなどで更新されるファームウエアプログラムであってもよい。すなわち、既存のコンピュータやインキュベータのファームウエアを更新することで、本発明の細胞認識装置の機能を事後的に提供してもよい。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
11…コンピュータ、14…CPU、21…領域設定部、22…推定部、23…ラベリング処理部、24…認識処理部、111…インキュベータ、115…恒温室、117…顕微鏡ユニット、124…制御装置
Claims (8)
- 細胞を撮像した処理対象の画像に所定サイズの局所領域を設定する領域設定部と、
前記処理対象の画像のうちで前記局所領域に対応する部分画像から求めた特徴量を用いて、前記部分画像に含まれる細胞形状が正常な形態を示す第1状態および前記細胞形状が異常な形態を示す第2状態のいずれに対応するかを推定する推定部と、
前記処理対象の画像内で順次設定される各々の前記局所領域に対して、前記推定部の推定結果に基づいて前記第1状態を示す第1ラベルまたは前記第2状態を示す第2ラベルを付与し、前記処理対象の画像上での前記第1ラベルおよび前記第2ラベルの分布を示すラベル分布情報を生成するラベリング処理部と、
前記ラベル分布情報の示す前記第1ラベルおよび前記第2ラベルの位置関係に基づいて、前記処理対象の画像から前記第1状態の細胞および前記第2状態の細胞をそれぞれ抽出する認識処理部と、
を備えることを特徴とする細胞認識装置。 - 請求項1に記載の細胞認識装置において、
前記第1状態の細胞形状が円形であり、
前記第2状態の細胞形状が非円形であることを特徴とする細胞認識装置。 - 請求項1または請求項2に記載の細胞認識装置において、
前記推定部は、前記部分画像の低周波数成分を用いて前記特徴量を求めることを特徴とする細胞認識装置。 - 請求項1から請求項3のいずれか1項に記載の細胞認識装置において、
前記推定部は、前記部分画像に含まれる細胞が前記第1状態および前記第2状態のいずれに対応するかを教師付き学習により推定することを特徴とする細胞認識装置。 - 請求項1から請求項4のいずれか1項に記載の細胞認識装置において、
前記認識処理部は、前記処理対象の画像のうち、前記第1ラベルが所定数以上隣接して配置されている第1領域から前記第1状態の細胞を抽出することを特徴とする細胞認識装置。 - 請求項5に記載の細胞認識装置において、
前記認識処理部は、前記処理対象の画像のうち、前記第2ラベルが所定数以上隣接して配置されており、かつ一定範囲内に前記第1領域が存在しない第2領域から前記第2状態の細胞を抽出することを特徴とする細胞認識装置。 - 細胞を培養する培養容器を収納するとともに、内部を所定の環境条件に維持可能な恒温室と、
前記恒温室内で前記培養容器に含まれる前記細胞の画像を撮像する撮像装置と、
請求項1から請求項6のいずれか1項に記載の細胞認識装置と、
を備えることを特徴とするインキュベータ。 - コンピュータを、請求項1から請求項6のいずれか1項に記載の細胞認識装置として動作させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009145198A JP2011002995A (ja) | 2009-06-18 | 2009-06-18 | 細胞認識装置、インキュベータおよびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009145198A JP2011002995A (ja) | 2009-06-18 | 2009-06-18 | 細胞認識装置、インキュベータおよびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011002995A true JP2011002995A (ja) | 2011-01-06 |
Family
ID=43560906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009145198A Withdrawn JP2011002995A (ja) | 2009-06-18 | 2009-06-18 | 細胞認識装置、インキュベータおよびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011002995A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016517515A (ja) * | 2013-03-15 | 2016-06-16 | ホロジック, インコーポレイテッドHologic, Inc. | 細胞診標本を観察および解析するためのシステムおよび方法 |
WO2016203956A1 (ja) * | 2015-06-17 | 2016-12-22 | 株式会社Screenホールディングス | 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体 |
WO2017082048A1 (ja) * | 2015-11-10 | 2017-05-18 | 株式会社Screenホールディングス | 分類器構成方法およびこれを用いた細胞の生死判定方法 |
WO2019180833A1 (ja) * | 2018-03-20 | 2019-09-26 | 株式会社島津製作所 | 細胞観察装置 |
JP2021018531A (ja) * | 2019-07-18 | 2021-02-15 | 富士フイルム株式会社 | 機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラム |
CN115830025A (zh) * | 2023-02-16 | 2023-03-21 | 南昌大学 | 白细胞分类计数方法、系统、存储介质及计算机设备 |
-
2009
- 2009-06-18 JP JP2009145198A patent/JP2011002995A/ja not_active Withdrawn
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016517515A (ja) * | 2013-03-15 | 2016-06-16 | ホロジック, インコーポレイテッドHologic, Inc. | 細胞診標本を観察および解析するためのシステムおよび方法 |
US20180189606A1 (en) * | 2015-06-17 | 2018-07-05 | SCREEN Holdings Co., Ltd. | Method and device for supporting creation of teaching data, program and program recording medium |
WO2016203956A1 (ja) * | 2015-06-17 | 2016-12-22 | 株式会社Screenホールディングス | 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体 |
JP2017009314A (ja) * | 2015-06-17 | 2017-01-12 | 株式会社Screenホールディングス | 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体 |
CN108350410A (zh) * | 2015-11-10 | 2018-07-31 | 株式会社斯库林集团 | 分类器构成方法、以及用其进行的判定细胞生死的方法 |
JP2017085966A (ja) * | 2015-11-10 | 2017-05-25 | 株式会社Screenホールディングス | 分類器構成方法および細胞の生死判定方法 |
WO2017082048A1 (ja) * | 2015-11-10 | 2017-05-18 | 株式会社Screenホールディングス | 分類器構成方法およびこれを用いた細胞の生死判定方法 |
US10803290B2 (en) | 2015-11-10 | 2020-10-13 | SCREEN Holdings Co., Ltd. | Classifier construction method and method for determining life or death of cell using same |
WO2019180833A1 (ja) * | 2018-03-20 | 2019-09-26 | 株式会社島津製作所 | 細胞観察装置 |
JPWO2019180833A1 (ja) * | 2018-03-20 | 2020-12-03 | 株式会社島津製作所 | 細胞観察装置 |
JP2021184766A (ja) * | 2018-03-20 | 2021-12-09 | 株式会社島津製作所 | 細胞観察装置及び細胞観察方法 |
JP7428173B2 (ja) | 2018-03-20 | 2024-02-06 | 株式会社島津製作所 | 細胞観察装置及び細胞観察方法 |
JP2021018531A (ja) * | 2019-07-18 | 2021-02-15 | 富士フイルム株式会社 | 機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラム |
JP7195233B2 (ja) | 2019-07-18 | 2022-12-23 | 富士フイルム株式会社 | 機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラム |
CN115830025A (zh) * | 2023-02-16 | 2023-03-21 | 南昌大学 | 白细胞分类计数方法、系统、存储介质及计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11754392B2 (en) | Distance determination of a sample plane in a microscope system | |
EP2053535B1 (en) | Automated detection of cell colonies and coverslip detection using hough transforms | |
JP6402717B2 (ja) | 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の製造装置、細胞の培養方法、および細胞の培養装置 | |
JP5333570B2 (ja) | 画像処理装置、プログラム及び画像処理システム | |
JP2011002995A (ja) | 細胞認識装置、インキュベータおよびプログラム | |
EP3407258B1 (en) | Image processing device, image processing system, and program | |
EP3088511A1 (en) | Image processing device, program, information storage medium, and image processing method | |
WO2011021391A1 (ja) | 培養細胞評価装置、インキュベータおよびプログラム | |
JPWO2010143420A1 (ja) | 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
EP3624053B1 (en) | Image analysis device | |
CN111415364B (zh) | 一种计算机视觉中图像分割样本的转换方法、系统及存储介质 | |
JP2012073684A (ja) | 画像認識方法及び装置並びにプログラム | |
EP3770853B1 (en) | Image processing method, computer program, and recording medium | |
Cicconet et al. | Mirror symmetry histograms for capturing geometric properties in images | |
JP2024501642A (ja) | 画像内の注釈付きの関心領域の検出 | |
WO2013148485A2 (en) | Detection of tissue regions in microscope slide images | |
Bahadir et al. | Artificial intelligence applications in histopathology | |
JP6070420B2 (ja) | 画像処理装置及びプログラム | |
US9589360B2 (en) | Biological unit segmentation with ranking based on similarity applying a geometric shape and scale model | |
Schönmeyer et al. | Automated whole slide analysis of differently stained and co-registered tissue sections | |
JP5907125B2 (ja) | 画像処理装置、プログラム及び画像処理システム | |
CN105637344A (zh) | 图像处理设备、程序、存储介质和图像处理方法 | |
EP3588435B1 (en) | Image processing method, computer program and recording medium | |
WO2023078527A1 (en) | Method for providing position information for retrieving a target position in a microscopic sample, method for examining and/or processing such a target position and means for implementing these methods | |
Chang et al. | Integrative analysis on histopathological image for identifying cellular heterogeneity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120904 |