JP2011044016A - 三次元細胞画像解析装置 - Google Patents

三次元細胞画像解析装置 Download PDF

Info

Publication number
JP2011044016A
JP2011044016A JP2009192049A JP2009192049A JP2011044016A JP 2011044016 A JP2011044016 A JP 2011044016A JP 2009192049 A JP2009192049 A JP 2009192049A JP 2009192049 A JP2009192049 A JP 2009192049A JP 2011044016 A JP2011044016 A JP 2011044016A
Authority
JP
Japan
Prior art keywords
dimensional
dimensional cell
cell image
coordinate
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009192049A
Other languages
English (en)
Other versions
JP5513038B2 (ja
Inventor
Kosuke Takagi
浩輔 高木
Genta Amakawa
玄太 天川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2009192049A priority Critical patent/JP5513038B2/ja
Publication of JP2011044016A publication Critical patent/JP2011044016A/ja
Application granted granted Critical
Publication of JP5513038B2 publication Critical patent/JP5513038B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】細胞質、細胞核あるいは、細胞小器官などが存在する解析対象領域の特定を、データ量を極力少なくして、高速に、実現することが可能な三次元細胞画像解析装置を提供する。
【解決手段】試料の合焦位置がZ方向に所定ピッチで連続的に異なった状態でZ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像を解析する、コンピュータを備えた三次元細胞画像解析装置であって、前記コンピュータを、三次元の細胞画像に対して、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域の所定の位置情報を検出する位置情報検出手段2a、該三次元の細胞画像に対して、位置情報検出手段2aが検出した夫々の細胞器官の領域の所定の位置情報を用いて、三次元の細胞器官の領域を構築する三次元領域構築手段2b、として機能させる画像解析ソフトウェアを有する。
【選択図】図1

Description

本発明は、三次元の細胞画像を解析するための三次元細胞画像解析装置に関する。
従来、三次元の細胞画像を解析するための装置としては、次の非特許文献1に記載の細胞画像解析装置がある。
取り扱い説明書、「CELAVIEW RS100 解析ソフトウェア操作編」、ver1.4、3-6〜3-18頁、発行者:オリンパス株式会社
三次元細胞画像の解析、さらにはこれらの時間変化の解析においては、解析に用いる細胞画像のデータ量が膨大になることから、効率よく、解析対象領域を特定することが求められる。つまり、データ量を極力少なくして、高速に、解析対象領域を特定する解析処理方法が望まれる。
しかし、従来の三次元細胞画像解析装置は、一般的に、三次元細胞画像データ中の解析対象領域を特定するには、三次元細胞画像データにおける全てのXYZ座標領域に対し、輝度値の精査を行う必要がある。このため、解析対象領域の特定に際し、データ量が膨大化し、処理速度が遅くなっていた。
本発明は、このような従来の問題点に鑑みてなされたものであり、細胞質、細胞核あるいは、細胞小器官などが存在する解析対象領域の特定を、データ量を極力少なくして、高速に、実現することが可能な三次元細胞画像解析装置を提供することを目的としている。
上記目的を達成するため、本発明による三次元細胞画像解析装置は、試料の合焦位置がZ方向に所定ピッチで連続的に異なった状態でZ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像を解析する、コンピュータを備えた三次元細胞画像解析装置であって、前記コンピュータを、前記三次元の細胞画像に対して、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域の所定の位置情報を検出する位置情報検出手段、該三次元の細胞画像に対して、前記位置情報検出手段が検出した夫々の細胞器官の領域の所定の位置情報を用いて、三次元の細胞器官の領域を構築する三次元領域構築手段、として機能させる画像解析ソフトウェアを有することを特徴としている。
また、本発明による三次元細胞画像解析装置は、試料の合焦位置がZ方向に所定ピッチで連続的に異なった状態でZ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像を解析する、コンピュータを備えた三次元細胞画像解析装置であって、前記コンピュータを、前記三次元の細胞画像に対して、第1の輝度の閾値を用いて、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域に分割するとともに、分割した夫々の細胞器官の領域の中心部を検出する中心部検出手段、該三次元の細胞画像に対して、前記中心部検出手段が検出した夫々の細胞器官の領域の中心部からその周囲に向けて、第2の輝度の閾値を用いて、該夫々の細胞器官の領域の境界部を検出する境界部検出手段、として機能させる画像解析ソフトウェアを有し、前記中心部検出手段が検出した夫々の細胞器官の領域の中心部のデータを用いて、前記境界部検出手段が夫々の細胞器官の領域の境界部を検出することにより、該三次元の細胞器官の領域を構築することを特徴としている。
また、本発明の三次元細胞画像解析装置においては、前記中心部検出手段は、前記Z方向に順に蓄積された夫々の二次元の細胞画像に対して、前記第1の輝度の閾値以上であり、且つ、X,Y,Zのいずれかの方向に近接する領域同士を同じ種類の細胞器官の領域として検出するとともに、前記第1の輝度の閾値以上であり、且つ、X,Y,Zのいずれの方向にも近接しない領域同士を異なる種類の細胞器官の領域として検出し、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行い、前記Z方向に順に蓄積された夫々の二次元の細胞画像において同じ種類の細胞器官として検出した領域の座標の集合体を用いて、前記三次元の細胞画像における個々の細胞器官の領域の中心部を検出するのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記中心部検出手段は、前記Z方向に順に蓄積された夫々の二次元の細胞画像において同じ種類の細胞器官として検出した領域の座標の集合体における重心座標を、前記三次元の細胞画像における個々の細胞器官の領域の中心部として検出するのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記中心部検出手段は、前記三次元の細胞画像に対して前記第1の輝度の閾値を用いて種類の異なる夫々の細胞器官の領域に分割する際に、該三次元の細胞画像の輝度値を二次元又は三次元の所定の局所領域ごとに平均化するのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記中心部検出手段は、前記Z方向に順に蓄積された夫々の二次元の細胞画像において同じ種類の細胞器官として検出した領域の座標の集合体に対して前記所定の局所領域ごとに平均化した輝度値の変化量又は輝度値が極大又は極小となる座標又は座標の集合体を、前記三次元の細胞画像における個々の細胞器官の領域の中心部として検出するのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記中心部検出手段は、同一の試料を対象として経時的に得られる三次元の細胞画像を解析する場合において、異なる時間に得られた三次元の細胞画像における個々の細胞器官の領域の中心部を既に検出済みであるときに、該既に検出済みのいずれかの三次元の細胞画像における個々の細胞器官の領域の中心部を、現在解析対象となっている三次元の細胞画像における個々の細胞器官の領域の中心部として検出するのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記境界部検出手段は、前記Z方向に順に蓄積された二次元の細胞画像の集合体に対して、前記中心部検出手段が検出した前記個々の細胞器官の領域の中心部からその周囲に向けて、第2の輝度の閾値以上であり、且つ、X,Y,Zのいずれかの方向に連続する領域と、前記第2の輝度の閾値を下回る領域との境界を、三次元の細胞画像における個々の細胞器官の領域の境界部として検出するのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記境界部検出手段は、前記第2の輝度の閾値として、前記第1の輝度の閾値と同じ値を用いるのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記境界部検出手段は、前記第2の輝度の閾値として、輝度値の変化量の最大値を用い、Z方向に順に蓄積されてなる二次元の細胞画像の集合体を用いて、前記中心部検出手段が検出した前記個々の細胞器官の領域の中心部からその周囲に向けて、1画素ずつ輝度値の変化量を計算し、計算した輝度値の変化量が前記第2の輝度の閾値を下回り、且つ、X,Y,Zのいずれかの方向に連続する領域と、前記第2の輝度の閾値以上の領域との境界を、三次元の細胞画像における個々の細胞器官の領域の境界部として検出するのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記画像解析ソフトウェアが、前記コンピュータを、さらに、前記境界部検出手段が検出した境界部の内側領域に、前記中心部検出手段が検出した前記個々の細胞器官の領域の中心部が複数存在する場合に、これらの中心部同士の間における輝度値の変化量が最大となる領域を、三次元の細胞画像における個々の細胞器官の領域の境界部として補正する境界部補正手段として機能させるのが好ましい。
また、本発明による三次元細胞画像解析装置は、試料の合焦位置がZ方向に所定ピッチで連続的に異なった状態でZ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像を解析する、コンピュータを備えた三次元細胞画像解析装置であって、前記コンピュータを、前記三次元の細胞画像を用いて各XY座標に対して所定の輝度値を持つZ座標の集合体を示すXY方向の二次元射影データを作成する二次元射影データ作成手段、前記二次元射影データ作成手段が作成したXY方向の二次元射影データにおけるZ座標の集合体において、Z座標の値が互いに不連続となる領域を特定する不連続領域特定手段、前記不連続領域特定手段が特定した個々の不連続となる領域におけるXY方向への広がりを検出するXY方向検出手段、前記不連続領域特定手段が特定した個々の不連続となる領域におけるZ座標の平均値を算出するZ座標平均値算出手段、として機能させる画像解析ソフトウェアを有し、前記二次元射影データ作成手段が作成した二次元射影データを用いて、前記不連続領域特定手段が前記個々の不連続となる領域を特定し、前記XY方向検出手段及び前記Z座標平均値算出手段が前記個々の不連続となる領域におけるXY方向への広がりとZ座標の平均値を算出することにより、細胞自体あるいは、核、小器官などの三次元の細胞器官の領域を構築することを特徴としている。
また、本発明の三次元細胞画像解析装置においては、前記二次元射影データ作成手段は、前記Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、検出した輝度値を用いて各XY座標に対して前記所定の輝度値として最大の輝度値を持つZ座標を抽出し、抽出したZ座標を用いて、各XYの点に対して最大の輝度値を持つZ座標の集合体を示すXY方向の二次元射影データを作成するのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記二次元射影データ作成手段は、前記Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、検出した輝度値を用いて各XY座標に対して前記所定の輝度値として任意の輝度値に最も近い輝度値を持つZ座標を抽出し、抽出したZ座標を用いて、各XY座標に対して任意の輝度値に最も近い輝度値を持つZ座標の集合体を示すXY方向の二次元射影データを作成するのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記二次元射影データ作成手段は、前記Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、検出した輝度値を用いて各XY座標に対して前記所定の輝度値として任意の輝度値以上の輝度値を持つ少なくとも一つのZ座標を取得し、各XY座標に対して取得したZ座標のうちの中心となるZ座標を抽出し、抽出した中心となるZ座標を用いて、各XY座標に対して任意の輝度値以上の輝度値を持つZ座標のうちの中心となるZ座標の集合体を示すXY方向の二次元射影データを作成するのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記二次元射影データ作成手段は、前記各XY座標に対して任意の輝度値以上の輝度値を持つZ座標のうちの中心となるZ座標の集合体の個数を、前記各XY座標に対して任意の輝度値以上の輝度値を持つZ座標のうちの中心となるZ座標の集合体を示すXY方向の二次元射影データに付加するのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記二次元射影データ作成手段は、前記Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、検出した輝度値を用いて各XY座標に対してZ方向に対する輝度値の変化量を算出し、算出した輝度値の変化量が極小又は極大となるZ座標を抽出し、抽出したZ座標を用いて、各XY座標に対して輝度値の変化量が極小又は極大となるZ座標の集合体を示すXY方向の二次元射影データを作成するのが好ましい。
また、本発明の三次元細胞画像解析装置においては、前記各XY座標に対して輝度値の変化量が極小又は極大となるZ座標の集合体の個数を、前記各XY座標に対して輝度値の変化量が極小又は極大となるZ座標の集合体を示すXY方向の二次元射影データに付加するのが好ましい。
本発明によれば、細胞質、細胞核あるいは、細胞小器官などが存在する位置情報を検出して、輝度値の精査を行う領域をあらかじめ絞り込むようにしたので、三次元細胞画像データを解析する際には、三次元細胞画像データにおける全てのXYZ座標領域に対して、輝度データの精査を行うことなく、細胞小器官などが存在する解析対象領域を特定できる。このため、本発明によれば、細胞質、細胞核あるいは、細胞小器官などが存在する解析対象領域の特定を、データ量を極力少なくして、高速に、実現することが可能な三次元細胞画像解析装置が得られる。その結果、効率よく、三次元の細胞画像の解析、さらにはそれらの三次元の細胞画像の経時的な解析をすることが可能になる。
本発明の三次元細胞画像装置を用いた三次元細胞画像解析システムの全体構成の一例を示すブロック図である。 図1の三次元細胞画像解析システムにおける処理手順を示す図で、(a)は全体の処理の流れを概略的に示すフローチャート、(b)は図1の三次元細胞画像装置による解析及び出力処理の流れを示すフローチャートである。 本発明の第一実施形態にかかる三次元細胞画像解析装置を用いた三次元細胞画像解析システムの全体構成を示すブロック図である。 第一実施形態の三次元細胞画像解析装置における三次元の細胞器官の領域の構築までの処理手順を示すフローチャートである。 第一実施形態の三次元細胞画像解析装置における三次元の細胞器官の領域の構築までの処理を模式的に示す説明図で、(a)は三次元の細胞画像におけるZ方向に添う断面図、(b)は(a)の細胞画像を種類の異なる夫々の細胞器官の領域に分割した状態を示す図、(c)は(b)の状態から夫々の細胞器官の領域の中心部を検出した状態を示す図、(e)は(c)の状態から夫々の細胞器官の領域の境界部を検出した状態を示す図である。 第一実施形態の三次元細胞画像解析装置における中心部検出手段2a1の具体的な処理手順の一例を示すフローチャートである。 第一実施形態の三次元細胞画像解析装置における中心部検出手段2a1の具体的な処理手順の他の例を示すフローチャートである。 第一実施形態の三次元細胞画像解析装置における中心部検出手段2a1の具体的な処理手順のさらに他の例を示すフローチャートである。 第一実施形態の三次元細胞画像解析装置における境界部検出手段2b1の具体的な処理手順の一例を示すフローチャートである。 第一実施形態の三次元細胞画像解析装置における境界部検出手段2b1の具体的な処理手順の他の例を示すフローチャートである。 第一実施形態の変形例にかかる三次元細胞画像解析装置を備えた三次元細胞画像解析システムの全体構成を示すブロック図である。 本発明の第二実施形態にかかる三次元細胞画像装置を用いた三次元細胞画像解析システムの全体構成を示すブロック図である。 第二実施形態の三次元細胞画像装置における三次元の細胞器官の領域を構築するまでの処理手順を示すフローチャートである。 第二実施形態の三次元細胞画像解析装置において作成する二次元射影データを概念的に示す説明図で、(a)は三次元の細胞画像におけるZ方向に添う断面図、図(b)は本実施形態の二次元射影データ作成手段を用いて、各XY座標に対して最大の輝度値を持つZ座標の集合体を示す射影図である。 三次元細胞画像から二次元射影データを作成する原理を概念的に示す説明図で、(a)は図14(a)の細胞器官の領域Aの一部の局所領域(領域O)における、Y座標がY5であるときのZX面上での細胞画像の輝度値の一例を示す図、(b)は(a)におけるY座標がY5であるときのZX面上での細胞画像の輝度値の最大値をXY面上に示す図、(c)は(a)におけるY座標がY5であるときのZX面上での細胞画像の輝度値が最大値となるZ座標をXY面上に示す図である。 第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段2a1’の具体的な処理手順の一例を示すフローチャートである。 第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段2a1’の具体的な処理手順の他の例を示すフローチャートである。 第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段2a1’の具体的な処理手順のさらに他の例を示すフローチャートである。 第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段2a1’の具体的な処理手順のさらに他の例を示すフローチャートである。 図19の例の二次元射影データ作成手段2a1’の処理を模式的に示す説明図で、(a)は三次元細胞画像においてZ方向に2つの細胞器官の領域が重なった状態を示すZ方向に沿う断面図、(b)は(a)の三次元細胞画像からZ座標の集合体を示す二次元射影データを作成した状態を示す説明図、(c)は(a)の三次元細胞画像における重なった2つの細胞器官の領域に対し同一の所定のXY座標を示す図、(d)は(c)に示すXY座標上で一定の輝度値以上の輝度値が得られた座標の集合体を抽出した状態を示す図、(e)は(d)に示す座標の集合体の個数を示す二次元射影データを示す図である。 図16の例の二次元射影データ作成手段2a1’のように輝度値が最大となるZ座標の値を射影データとして、三次元の細胞画像から二次元射影データを作成したときの射影データの説明図で、(a)は三次元細胞画像において大きさ又はXY座標の位置が一部で異なる2つの細胞器官の領域がZ方向に重なった状態を示すZ方向に沿う断面図、(b)は(a)の三次元細胞画像からZ座標の集合体を示す二次元射影データを作成した状態の一例を示す説明図、(c)は(a)の三次元細胞画像からZ座標の集合体を示す二次元射影データを作成した状態の一例を示す説明図、(d)は三次元細胞画像において大きさ及びXY座標の位置が同じ2つの細胞器官の領域がZ方向に重なった状態を示すZ方向に沿う断面図、(e)は(d)は(a)の三次元細胞画像からZ座標の集合体を示す二次元射影データを作成した状態の一例を示す説明図である。 第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段2a1’の具体的な処理手順のさらに他の例における一部の処理手順を示すフローチャートである。 図22に示した処理に続く処理手順を示すフローチャートである。 図22及び図23の例の二次元射影データ作成手段2a1’の処理を模式的に示す説明図で、(a)は三次元細胞画像において中心部の輝度が低くなっている細胞器官の領域を示すZ方向に沿う断面図、(b)は(a)の三次元細胞画像から所定の輝度値以上の輝度値を持つZ座標の集合体を示す二次元射影データを作成した状態を示す説明図、(c)は(a)の三次元細胞画像におけるZ方向の輝度断面を示す図、(d)は(c)の輝度断面を用いて(a)の三次元細胞画像における細胞器官の領域の輝度値(又は輝度値の変化量)が極小となるZ座標を抽出した状態を示す図、(e)は(d)に示す細胞器官の領域の輝度値(又は輝度値の変化量)が極小となるZ座標を示す二次元射影データを示す図である。 第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段2a1’の具体的な処理手順のさらに他の例における、図22に示した処理に続く処理手順を示すフローチャートである。
図1は本発明の三次元細胞画像装置を用いた三次元細胞画像解析システムの全体構成の一例を示すブロック図、図2は図1の三次元細胞画像解析システムにおける処理手順を示す図で、(a)は全体の処理の流れを概略的に示すフローチャート、(b)は図1の三次元細胞画像装置による解析及び出力処理の流れを示すフローチャートである。
図1の三次元細胞画像解析システムは、三次元細胞画像撮像装置1と第一実施形態の三次元細胞画像解析装置2を有する。
三次元細胞画像撮像装置1は、例えば、コンフォーカル顕微鏡で構成されており、観察光学系1aと、撮像素子1bを有する。
観察光学系1aは、光源、照明レンズ、複数種類の励起フィルタをターレット等に備えた励起光切換手段、対物レンズ、吸収フィルタ、結像レンズ、ピンホール等、一般的なコンフォーカル蛍光顕微鏡における照明光学系及び観察光学系(図示省略)で構成され、蛍光たんぱく質又は蛍光分子で標識された特定のたんぱく質の細胞内挙動を蛍光観察可能であるとともに、試料に対する合焦位置をZ方向に所定ピッチで連続的に変えて、各合焦位置における試料の像を撮像素子1bの撮像面に結像する。
撮像素子1bは、観察光学系1aを介して結像された細胞像を撮像する。
このように構成された三次元細胞画像撮像装置1を用いて、試料に対する合焦位置をZ方向に所定ピッチで連続的に変えて、各合焦位置における試料の像を撮像することにより、試料の合焦位置がZ方向に所定ピッチで連続的に異なった状態でZ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像が得られる。
三次元細胞画像解析装置2は、コンピュータと、画像解析ソフトウェアを備えて構成されている。
画像解析ソフトウェアは、コンピュータを、位置情報検出手段2a、三次元領域構築手段2bとして機能させるように構成されている。
位置情報検出手段2aは、三次元の細胞画像に対して、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域の所定の位置情報を検出する。
三次元領域構築手段2bは、三次元の細胞画像に対して、位置情報検出手段2aが検出した夫々の細胞器官の領域の所定の位置情報を用いて、三次元の細胞器官の領域を構築する。
また、図1の三次元画像解析装置では、画像解析ソフトウェアは、コンピュータを、さらに、特徴量抽出手段2c、領域分類手段2d、定量・出力手段2eとしても機能させるように構成されている。
特徴量抽出手段2cは、三次元領域構築手段2bを介して特定された三次元座標上での各細胞内領域に対して、各蛍光の輝度の総和、輝度の平均などの蛍光情報や、大きさ、位置、丸み度などの形態情報を、三次元座標上での各細胞内領域の特徴量として抽出する。
領域分類手段2dは、特徴量抽出手段2cを介して抽出された三次元座標上での各細胞内領域の特徴量に基づき、三次元座標上での各細胞内領域を細胞膜、核、小器官などに分類する。
定量・出力手段2eは、領域分類手段2dを介して分類された細胞内器官等の各細胞内領域における蛍光量を定量し、結果の出力を行う。
次に、このように構成された図1の三次元細胞画像解析システムを用いた細胞の撮像から画像解析までの全体の処理手順について説明する。
全体の処理は、図2(a)に示すように、三次元細胞画像撮像装置1による細胞像の撮像(ステップS1)、三次元細胞画像解析装置2による細胞画像の解析(ステップS2)、解析結果の出力(ステップS3)の順で行われる。
撮像処理段階(ステップS1)
撮像処理段階では、コンフォーカル顕微鏡で構成された三次元細胞画像撮像装置1の観察光学系1aが、各チャネルの蛍光ごとに、試料に対する合焦位置をZ方向に所定ピッチで連続的に変えて、各合焦位置における試料の像を結像し、撮像素子1bが観察光学系1aを介して結像された細胞像を撮像する。
解析処理段階(ステップS2)
細胞器官の領域の位置情報の検出(ステップS2 1
解析処理段階では、まず、位置情報検出手段2aが、三次元の細胞画像に対して、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域の所定の位置情報を検出する。
三次元の細胞器官の領域の構築(ステップS2 2
次いで、三次元領域構築手段2bが、三次元の細胞画像に対して、位置情報検出手段2aを介して検出された夫々の細胞器官の領域の所定の位置情報を用いて、三次元座標上での細胞器官の領域を構築する。
三次元細胞内領域の特徴量抽出(ステップS2 3
次いで、特徴量抽出手段2cが、三次元領域構築手段2bを介して特定された三次元座標上での各細胞内領域に対して、各蛍光の輝度の総和、輝度の平均などの蛍光情報や、大きさ、位置、丸み度などの形態的な情報を、三次元座標上での各細胞内領域の特徴量として抽出する。
三次元細胞内領域の分類(ステップS2 4
次いで、領域分類手段2dが、あらかじめ操作者が設定した値に基づき、三次元座標上での各細胞内領域を、細胞膜、核、小器官などの細胞内器官等に分類する。あるいは、特徴量抽出手段を介して抽出された特徴量の統計的な分布を取得し、三次元座標上での各細胞内領域の特徴量に基づき、三次元座標上での各細胞内領域を、細胞膜、核、小器官などの細胞内器官等に分類する。
蛍光量の定量・出力(ステップS2 5 、ステップS3)
次いで、定量・出力手段2eが、領域分類手段2dにより分類された細胞内器官等の各細胞内領域における蛍光量を定量する(ステップS25)。蛍光量の定量は、領域の総蛍光量、平均蛍光量、最大蛍光量、最小蛍光量や、あるいは、ドット(極小領域)として認識できる蛍光の数など、を測定することによって行う。
次いで、細胞内器官等に分類された個々の細胞内領域における蛍光情報、あるいは細胞内器官等に分類された細胞内領域ごとの特徴量の統計量(例えば、複数細胞膜の蛍光量の平均値)、さらにこれらの時間変化などを出力する(ステップS3)。
ここで、本発明の三次元細胞画像解析装置では、位置情報検出手段2aが、三次元の細胞画像における夫々の細胞器官の位置情報を検出しておき、三次元領域構築手段2bが、位置情報検出手段2aを介して検出された夫々の細胞器官の領域の所定の位置情報を用いて、三次元の細胞器官の領域を構築するので、三次元の細胞画像を解析する際、三次元の細胞画像における全てのXYZ座標に対して輝度値の精査を行わずに済む。その結果、データ量を膨大化させることなく効率的に、少ない計算量で高速に、三次元の細胞器官の領域を特定することができる。
以下、本発明の三次元細胞画像解析装置における要部の構成及び効果を示す具体的な実施形態について、図面を用いて説明する。
第一実施形態
図3は本発明の第一実施形態にかかる三次元細胞画像解析装置を用いた三次元細胞画像解析システムの全体構成を示すブロック図、図4は第一実施形態の三次元細胞画像解析装置における三次元の細胞器官の領域の構築までの処理手順を示すフローチャートである。図5は第一実施形態の三次元細胞画像解析装置における三次元の細胞器官の領域の構築までの処理を模式的に示す説明図で、(a)は三次元の細胞画像におけるZ方向に添う断面図、(b)は(a)の細胞画像を種類の異なる夫々の細胞器官の領域に分割した状態を示す図、(c)は(b)の状態から夫々の細胞器官の領域の中心部を検出した状態を示す図、(e)は(c)の状態から夫々の細胞器官の領域の境界部を検出した状態を示す図である。なお、第一実施形態の三次元細胞画像解析装置を用いた三次元細胞画像解析システムにおける要部以外の構成であって図1に示した三次元細胞画像解析システムと同じ構成については同じ符号を付し、説明は省略する。
三次元細胞画像解析システムは、三次元細胞画像撮像装置1と第一実施形態の三次元細胞画像解析装置2を有する。
三次元細胞画像解析装置1は、図1に示したものと同様に構成されている。
三次元細胞画像解析装置2は、コンピュータと、画像解析ソフトウェアを備えて構成されている。
画像解析ソフトウェアは、コンピュータを、位置情報検出手段としての中心部検出手段2a1、三次元領域構築手段としての境界部検出手段2b1として機能させるように構成されている。
中心部検出手段2a1は、三次元の細胞画像に対して、第1の輝度の閾値を用いて、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域に分割するとともに、分割した夫々の細胞器官の領域の中心部を検出するように構成されている。
境界部検出手段2b1は、三次元の細胞画像に対して、中心部検出手段2a1が検出した夫々の細胞器官の領域の中心部からその周囲に向けて、第2の輝度の閾値を用いて、該夫々の細胞器官の領域の境界部を検出するように構成されている。
そして、第一実施形態の三次元細胞画像解析装置2では、図4に示すように、図2(b)に示した細胞器官の領域の位置情報を検出するステップ(ステップS21)において、中心部検出手段2a1が、三次元細胞画像データを用いて個々の細胞器官の領域の中心部を検出(ステップS210)する。また、図2(b)に示した三次元の細胞器官の領域を構築するステップ(ステップS22)において、境界部検出手段2b1が、中心部検出手段2a1が検出した夫々の細胞器官の領域の中心部のデータを用いて、夫々の細胞器官の領域の境界部を検出する(ステップS221)。これにより、細胞自体あるいは、核、小器官などの三次元の細胞器官の領域が構築される。
ここで、中心部検出手段2a1、境界部検出手段2b1の機能について、より詳しく説明する。
中心部検出手段2a1は、三次元の細胞画像(図5(a))を構成している、Z方向に順に蓄積された夫々の二次元の細胞画像に対して、第1の輝度の閾値以上であり、且つ、X,Y,Zのいずれかの方向に近接する領域同士を同じ種類の細胞器官の領域として検出するとともに、第1の輝度の閾値以上であり、且つ、X,Y,Zのいずれの方向にも近接しない領域同士を異なる種類の細胞器官の領域として検出する。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行い、Z方向に順に蓄積された夫々の二次元の細胞画像において同じ種類の細胞器官として検出した領域の座標の集合体(図5(b))を用いて、三次元の細胞画像における個々の細胞器官の領域の中心部(図5(c))を検出する。
例えば、中心部検出手段2a1は、三次元細胞画像データを構成する夫々の二次元の細胞画像における、各XY座標上の輝度値が第1の輝度の閾値以上となっている領域を“1”、それ以外の領域を“0”として出力する。次いで、その二次元の細胞画像において、“1”が出力される領域であって、XY方向に近接する領域同士、及び、隣接する二次元の細胞画像同士において、“1”が出力される領域であって、Z方向に近接する領域同士を同じ種類の細胞器官の領域として検出する。また、これにより、その二次元の細胞画像において、“1”が出力される領域であって、X,Y,Zのいずれの方向にも近接しない領域同士が異なる種類の細胞器官の領域として検出される。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う。
これにより、三次元細胞画像データから個々の細胞器官の領域が絞り込まれる。
次いで、中心部検出手段2aは、Z方向に順に蓄積された夫々の二次元の細胞画像において同じ種類の細胞器官として検出した領域の座標の集合体における重心座標を、三次元の細胞画像における個々の細胞器官の領域の中心部として検出する。
これにより、三次元の細胞画像に対して、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域の所定の位置情報として、三次元の細胞画像における個々の細胞器官の領域の中心部が抽出される。
図6は第一実施形態の三次元細胞画像解析装置における中心部検出手段2a1の具体的な処理手順の一例を示すフローチャートである。
図6の例では、中心部検出手段2a1は、三次元細胞画像データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS12)。次いで、抽出画像があるか否かをチェックする(ステップS13)。抽出画像がある場合、抽出した二次元細胞画像における各XY座標の輝度値を第1の輝度の閾値と比較し、第1の輝度の閾値以上のXY座標を抽出する(ステップS14)。次いで、抽出したXY座標のうち、互いに近接するXY座標同士を同じ種類の細胞器官の領域として検出する(ステップS15)。次いで、現在抽出している二次元細胞画像が2番目以降の画像であるか否かをチェックする(ステップS16)。2番目以降の画像である場合、その一つ前の二次元細胞画像において夫々の種類の細胞器官の領域として検出したXY座標と、現在抽出している二次元細胞画像において夫々の種類の細胞器官の領域として検出したXY座標とで、Z方向に互いに近接する座標同士を同じ種類の細胞器官の領域として検出する(ステップS17)。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS11〜ステップS18)。次いで、検出した夫々の種類の細胞器官の領域の座標の集合体の重心座標を、三次元細胞画像における個々の細胞器官の領域の中心部として検出する(ステップS19)。
ところで、一般に、観察対象となる細胞領域は、一定の輝度値を持つとは限らない。通常は、実験条件や撮像条件等により、或いは時間の経過によって、輝度値が変化する。このため、上述のように、第1の輝度の閾値により“1”と“0”の領域に分けて、個々の細胞器官の領域を認識させるようにする構成においては、実験条件や撮像条件、或いは時間の経過によって、細胞器官の領域の輝度が大きく変化した場合、細胞器官の領域の大きさや形状を誤認識してしまうという問題がある。
また、この構成においては、輝度の染色ムラなどの、局所的に輝度が高くなったり、低くなったりするという現象に対応できず、単一の領域を複数の領域と誤認識してしまう問題もある。
そこで、このような誤認識の問題を除去するために、中心部検出手段2a1は、例えば、図7のフローチャートに示すように、三次元の細胞画像に対して第1の輝度の閾値を用いて複数の領域に分割する際に、三次元の細胞画像の輝度値を二次元又は三次元の所定の局所領域ごとに平均化するように構成するのが好ましい。
図7は第一実施形態の三次元細胞画像解析装置における中心部検出手段2a1の具体的な処理手順の他の例を示すフローチャートである。
図7の例では、中心部検出手段2a1は、三次元細胞画像データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS12’)。次いで、抽出画像があるか否かをチェックする(ステップS13’)。抽出画像がある場合、抽出した二次元細胞画像における各XY座標の輝度値を所定の局所領域ごとに平均化する(ステップS14’)。次いで、抽出した二次元細胞画像における各XY座標の平均化した輝度値を第1の輝度の閾値と比較し、第1の輝度の閾値以上のXY座標を抽出する(ステップS15’)。次いで、抽出したXY座標のうち、互いに近接するXY座標同士を同じ種類の細胞器官の領域として検出する(ステップS16’)。次いで、現在抽出している二次元細胞画像が2番目以降の画像であるか否かをチェックする(ステップS17’)。2番目以降の画像である場合、その一つ前の二次元細胞画像において夫々の種類の細胞器官の領域として検出したXY座標と、現在抽出している二次元細胞画像において夫々の種類の細胞器官の領域として検出したXY座標とで、Z方向に互いに近接する座標同士を同じ種類の細胞器官の領域として検出する(ステップS18’)。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS11’〜ステップS19’)。次いで、検出した夫々の種類の細胞器官の領域の座標の集合体の重心座標を、三次元細胞画像における個々の細胞器官の領域の中心部として検出する(ステップS20’)。
図7の例のように、中心部検出手段2a1を、三次元の細胞画像に対して第1の輝度の閾値を用いて複数の領域に分割する際に、三次元の細胞画像の輝度値を二次元又は三次元の所定の局所領域ごとに平均化するように構成すれば、細胞画像の全体にわたって輝度の変化が小さくなり、同一の細胞器官の領域内において偶発的に輝度が大きく変化する画素領域が除かれる。このため、単一の細胞器官の領域を複数の細胞器官の領域として誤認識するおそれを除去することができる。
また、実験条件や撮像条件、時間変化などによって、輝度の絶対値は変化しても、個々の細胞器官の領域及びその背景の領域の相対的な輝度変化特性はそれほど変化しない。
このため、中心部検出手段2a1は、例えば、図8のフローチャートに示すように、三次元の細胞画像に対して所定の局所領域ごとに平均化した輝度値の変化量又は輝度値が極大又は極小となる座標又は座標領域を、三次元の細胞画像における個々の細胞器官の領域の中心部として検出するように構成するのが好ましい。
図8は第一実施形態の三次元細胞画像解析装置における中心部検出手段2a1の具体的なの処理手順のさらに他の例を示すフローチャートである。
図8の例では、中心部検出手段2a1は、三次元細胞画像データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS12”)。次いで、抽出画像があるか否かをチェックする(ステップS13”)。抽出画像がある場合、抽出した二次元細胞画像における各XY座標の輝度値を所定の局所領域ごとに平均化する(ステップS14”)。次いで、抽出した二次元細胞画像における各XY座標の平均化した輝度値を第1の輝度の閾値と比較し、第1の輝度の閾値以上のXY座標を抽出する(ステップS15”)。次いで、抽出したXY座標のうち、互いに近接するXY座標同士を同じ種類の細胞器官の領域として検出する(ステップS16”)。次いで、現在抽出している二次元細胞画像が2番目以降の画像であるか否かをチェックする(ステップS17”)。2番目以降の画像である場合、その一つ前の二次元細胞画像において夫々の種類の細胞器官の領域として検出したXY座標と、現在抽出している二次元細胞画像において夫々の種類の細胞器官の領域として検出したXY座標とで、Z方向に互いに近接する座標同士を同じ種類の細胞器官の領域として検出する(ステップS18”)。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS11”〜ステップS19”)。次いで、検出した夫々の種類の細胞器官の領域の座標の集合体に対して所定の局所領域ごとに平均化した輝度値の変化量又は輝度値が極大又は極小となる座標又は座標の集合体を、三次元細胞画像における個々の細胞器官の領域の中心部として検出する(ステップS20”)。
図8の例のようにすれば、細胞器官の領域の大きさや形状を誤認識するおそれを除去することができる。
また、経時的な解析を行う場合は、直前あるいは直後のすでに解析されたデータをもとに、それらの個々の細胞器官の領域の中心部を、現時点の解析における個々の細胞器官の領域の中心部として用いるようにしてもよい。
即ち、中心部検出手段2a1は、同一の試料を対象として経時的に得られる三次元の細胞画像を解析する場合において、異なる時間に得られた三次元の細胞画像における個々の細胞器官の領域の中心部を既に検出済みであるときに、既に検出済みのいずれかの三次元の細胞画像における個々の細胞器官の領域の中心部を、現在解析対象となっている三次元の細胞画像における個々の細胞器官の領域の中心部として検出するように構成してもよい。
このように構成すれば、時間変化によって、輝度の絶対値は変化しても、細胞器官の領域の大きさや形状を誤認識するおそれを除去することができる。また、細胞器官の領域の中心部の検出は、最初の1回(に要する時間)だけとなるので、全体の処理がさらに高速化する。
境界部検出手段2b1は、例えば、図9のフローチャートに示すように、Z方向に順に蓄積された二次元の細胞画像の集合体に対して、中心部検出手段2a1が検出した個々の細胞器官の領域の中心部からその周囲に向けて、第2の輝度の閾値以上であり、且つ、X,Y,Zのいずれかの方向に連続する領域と、第2の輝度の閾値を下回る領域との境界を、三次元の細胞画像における個々の細胞器官の領域の境界部(図5(d))として検出する。
第2の輝度の閾値としては、例えば、第1の輝度の閾値と同じ値を用いることができる。
図9は第一実施形態の三次元細胞画像解析装置における境界部検出手段2b1の具体的な処理手順の一例を示すフローチャートである。
図9の例では、境界部検出手段2b1は、Z方向に順に蓄積された二次元細胞画像の集合体において、中心部検出手段2a1が検出した個々の細胞器官の領域の中心部のうちの一つの細胞器官の領域の中心部に、Z座標が位置する二次元細胞画像データを抽出する(ステップS11”’)。次いで、抽出した二次元細胞画像における当該細胞器官の領域の中心部からその周囲に向けて順にXY座標の輝度を第2の輝度の閾値と比較し、第2の輝度の閾値以上であり、且つ、XY方向に連続する座標の領域と、第2の輝度の閾値を下回る座標の領域との境界を二次元細胞画像における当該細胞器官の領域の境界部として検出する(ステップS12”’)。次いで、Z方向に順に蓄積された二次元細胞画像の集合体において、現在、抽出している二次元細胞画像データに前後して蓄積された二次元細胞画像データを抽出する(ステップS13”’)。次いで、抽出画像があるか否かをチェックする(ステップS14”’)。抽出画像がある場合、現在抽出している二次元細胞画像において、該二次元細胞画像の直前に検出した二次元細胞画像における当該細胞器官の境界部内のXY座標に対応するXY座標の領域からその周囲に向けて順にXY座標の輝度を第2の輝度の閾値と比較し、第2の輝度の閾値以上であり、且つ、XY方向に連続するとともに、その一部が現在抽出している二次元細胞画像の直前に検出した二次元細胞画像における当該細胞器官の境界部とZ方向に連続する座標の領域と、現在及び直前に抽出した二次元細胞画像における第2の輝度の閾値を下回る座標の領域との境界を現在抽出している二次元細胞画像における当該細胞器官の領域の境界部として検出する(ステップS15”’)。次いで、全ての細胞器官の領域の境界部を検出したか否かをチェックする(ステップS16”’)。境界部が未検出の細胞器官の領域が存在する場合、Z方向に順に蓄積された二次元細胞画像の集合体において、中心部検出手段が検出した個々の細胞器官の領域の中心部のうちの次の細胞器官の領域の中心部に、Z座標が位置する二次元細胞画像データを抽出する(ステップS17”’)。以下、全ての細胞器官の領域の境界部を検出するまで、ステップS12”’〜ステップS17”’の処理を繰り返す。
あるいは、「細胞画像における細胞器官の領域の境界は、輝度変化が大きい」という特性を用いて、境界部検出手段2b1は、例えば、図10のフローチャートに示すように、第2の輝度の閾値として、輝度値の変化量の最大値を用い、Z方向に順に蓄積された二次元の細胞画像の集合体を用いて、中心部検出手段2a1が検出した個々の細胞器官の領域の中心部からその周囲に向けて、1画素ずつ輝度値の変化量を計算し、計算した輝度値の変化量が第2の輝度の閾値を下回り、且つ、X,Y,Zのいずれかの方向に連続する領域と、第2の輝度の閾値以上の領域との境界を、三次元の細胞画像における個々の細胞器官の領域の境界部として検出するようにしてもよい。
図10は第一実施形態の三次元細胞画像解析装置における境界部検出手段2b1の具体的な処理手順の他の例を示すフローチャートである。
図10の例では、境界部検出手段2b1は、Z方向に順に蓄積された二次元細胞画像の集合体において、中心部検出手段2a1が検出した個々の細胞器官の領域の中心部のうちの一つの細胞器官の領域の中心部に、Z座標が位置する二次元細胞画像データを抽出する(ステップS11””)。次いで、抽出した二次元細胞画像における当該細胞器官の領域の中心部からその周囲に向けて、1画素ずつ輝度値の変化量を計算し、計算した輝度値の変化量を第2の輝度の閾値としての輝度値の変化量の最大値と比較し、計算した輝度値の変化量が第2の輝度の閾値を下回り、且つ、XY方向に連続する座標の領域と、第2の輝度の閾値以上の座標の領域との境界を、二次元細胞画像における当該細胞器官の領域の境界部として検出する(ステップS12””)。次いで、Z方向に順に蓄積された二次元細胞画像の集合体において、現在、抽出している二次元細胞画像データに前後して蓄積された二次元細胞画像データを抽出する(ステップS13””)。次いで、抽出画像があるか否かをチェックする(ステップS14””)。抽出画像がある場合、現在抽出している二次元細胞画像において、該二次元細胞画像の直前に検出した二次元細胞画像における当該細胞器官の境界部内のXY座標に対応するXY座標の領域からその周囲に向けて、1画素ずつ輝度値の変化量を計算し、計算した輝度値の変化量を第2の輝度の閾値としての輝度値の変化量の最大値と比較し、計算した輝度値の変化量が第2の輝度の閾値を下回り、且つ、XY方向に連続するとともに、その一部が現在抽出している二次元細胞画像の直前に検出した二次元細胞画像における当該細胞器官の境界部とZ方向に連続する座標の領域と、現在及び直前に抽出した二次元細胞画像における第2の輝度の閾値を下回る座標の領域との境界を、現在抽出している二次元細胞画像における当該細胞器官の領域の境界部として検出する(ステップS15””)。次いで、全ての細胞器官の領域の境界部を検出したか否かをチェックする(ステップS16””)。境界部が未検出の細胞器官の領域が存在する場合、Z方向に順に蓄積された二次元細胞画像の集合体において、中心部検出手段が検出した個々の細胞器官の領域の中心部のうちの次の細胞器官の領域の中心部に、Z座標が位置する二次元細胞画像データを抽出する(ステップS17””)。以下、全ての細胞器官の領域の境界部を検出するまで、ステップS12””〜ステップS17””の処理を繰り返す。
この構成は、特に、細胞領域内の輝度値が一定しないような場合に有効である。輝度の絶対値自体は変化が大きいが、細胞器官の領域の境界は、一般にある程度の輝度差を持って認識できるものであるから、この構成を用いれば、ほとんどの細胞器官の領域に対してその境界を抽出することが可能となる。
また、第一実施形態の細胞画像解析装置においては、画像解析ソフトウェアが、コンピュータを、さらに、境界部補正手段2b2として機能させるとより好ましい。
図11は第一実施形態の変形例にかかる三次元細胞画像解析装置を備えた三次元細胞画像解析システムの全体構成を示すブロック図である。なお、本変形例の三次元細胞画像解析装置を用いた三次元細胞画像解析システムにおける要部以外の構成であって図3に示した三次元細胞画像解析システムと同じ構成については同じ符号を付し、説明は省略する。
境界部補正手段2b2は、境界部検出手段2b1が検出した境界部の内側領域に、中心部検出手段2a1が検出した個々の細胞器官の領域の中心部が複数存在する場合に、これらの中心部同士の間における輝度値の変化量が最大となる領域を、三次元の細胞画像における個々の細胞器官の領域の境界部として補正する。
図3〜図11に示した第一実施形態の三次元細胞画像解析装置によれば、三次元の細胞画像においてあらかじめ特徴的な構造を持つ領域の中心部を特定するようにしたので、三次元の細胞画像の解析において個々の三次元の細胞器官の領域を特定する際には、三次元の細胞画像における中心部の領域周辺の精査のみ行えば済む。そのため、従来の三次元細胞画像解析装置における三次元領域すべてを精査する一般的な方法に比べて、効率のよい画像解析処理が可能となる。
特に経時的な解析を行う場合、以前検出した細胞器官の領域の重心を中心部とするなどの方法により、効率よく個々の細胞器官の領域に対する経時的な解析を行うことができる。
また、個々の細胞器官の領域が近接している場合には、個々の細胞器官の領域の境界部が不明確な場合が多く、特に、複数の細胞器官の領域を単一の細胞器官の領域として誤認識することは、解析結果に与える悪影響が大きいため避けなくてはならない。
細胞画像内に境界部が存在するか否か?(即ち、細胞画像において領域を分割すべきか否か?)という判断は一般的に難しい。これに対し、存在するとわかっている境界部であれば、その領域内において最も輝度差が大きい画素領域等というように境界部を相対的に定義することが可能であるので、比較的容易にその境界部を探し出すことができる。
しかるに、第一実施形態の三次元細胞画像解析装置によれば、あらかじめ個々の細胞器官の領域の中心部を特定するようにしたので、個々の細胞器官の領域が近接している場合におけるこれらの細胞器官の領域の境界部を誤認識するおそれを除去することが可能となる。
第二実施形態
図12は本発明の第二実施形態にかかる三次元細胞画像装置を用いた三次元細胞画像解析システムの全体構成を示すブロック図、図13は第二実施形態の三次元細胞画像装置における三次元の細胞器官の領域を構築するまでの処理手順を示すフローチャートである。図14は第二実施形態の三次元細胞画像解析装置において作成する二次元射影データを概念的に示す説明図で、(a)は三次元の細胞画像におけるZ方向に添う断面図、図(b)は本実施形態の二次元射影データ作成手段を用いて、各XY座標に対して最大の輝度値を持つZ座標の集合体を示す射影図である。なお、第二実施形態の三次元細胞画像解析装置を用いた三次元細胞画像解析システムにおける要部以外の構成であって図1に示した三次元細胞画像解析システムと同じ構成については同じ符号を付し、説明は省略する。
三次元細胞画像解析システムは、三次元細胞画像撮像装置1と第二実施形態の三次元細胞画像解析装置2’を有する。
三次元細胞画像解析装置1は、図1に示したものと同様に構成されている。
三次元細胞画像解析装置2’は、コンピュータと、画像解析ソフトウェアを備えて構成されている。
画像解析ソフトウェアは、コンピュータを、位置情報検出手段としての二次元射影データ作成手段2a1’、三次元領域構築手段としての不連続領域特定手段2b1’、XY方向検出手段2b2’、Z座標平均値算出手段2b3’として機能させるように構成されている。
二次元射影データ作成手段2a1’は、三次元の細胞画像を用いて各XY座標に対して所定の輝度値を持つZ座標の集合体を示すXY方向の二次元射影データを作成する。
不連続領域特定手段2b1’は、二次元射影データ作成手段2a1’が作成したXY方向の二次元射影データにおけるZ座標の集合体において、Z座標の値が互いに不連続となる領域を特定する。
XY方向検出手段2b2’は、不連続領域特定手段2b1’が特定した個々の不連続となる領域におけるXY方向への広がりを検出する。
Z座標平均値算出手段2b3’は、不連続領域特定手段2b1が特定した個々の不連続となる領域におけるZ座標の平均値を算出する。
そして、第二実施形態の三次元細胞画像解析装置2’では、図13に示すように、図2(b)に示した細胞器官の領域の位置情報を検出するステップ(ステップS21)において、二次元射影データ作成手段2a1’が、三次元細胞画像データを用いて二次元射影データを作成する(ステップS211’)。また、図2(b)に示した三次元の細胞器官の領域を構築するステップ(ステップS22)において、不連続領域特定手段2b1’が、二次元射影データ作成手段2a1’が作成した二次元射影データを用いて、個々の不連続となる領域を特定(ステップS221’)し、次いで、XY方向検出手段2b2’が、個々の不連続となる領域におけるXY方向への広がりを検出し(ステップS222’)、次いで、座標平均値算出手段2b3’が、個々の不連続となる領域におけるZ座標の平均値を算出する(ステップS223’)。これにより、細胞自体あるいは、核、小器官などの三次元の細胞器官の領域が構築される。
ここで、二次元射影データ作成手段2a1’、不連続領域特定手段2b1’、XY方向検出手段2b2’、Z座標平均値算出手段2b3’の機能について、より詳しく説明する。
二次元射影データ作成手段2a1’は、Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、検出した輝度値を用いて各XY座標に対して所定の輝度値として最大の輝度値を持つZ座標を抽出し、抽出したZ座標を用いて、各XYの点に対して最大の輝度値を持つZ座標の集合体を示すXY方向の二次元射影データを作成する。
三次元の細胞画像は、上述したように、試料の合焦位置がZ方向に所定ピッチで連続的に異なった状態でZ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる。図14(a)はこの二次元の細胞画像の集合体におけるZ方向に沿う断面を示したものである。ここで、図14(a)においてXY座標に対して輝度値が最大となるZ座標の集合体をXY面上に示したものが図14(b)である。なお、図14(b)では、便宜上、輝度値が最大となるZ座標(Zn1,Zn2,Zn3)を各Z座標の集合体a,b,cに引出し線を付けて示し、また、輝度値が最大となるZ座標を、図14(a)における細胞器官の領域A,B,Cのそれぞれにおける代表的な高さに位置する一つのZ座標で示してある。実際の二次元射影データには、各Z座標の集合体a,b,c内の各XY座標上に複数のZ座標が示される。
この点に関し、図15を用いてさらに詳しく説明する。
図15は三次元細胞画像から二次元射影データを作成する原理を概念的に示す説明図で、(a)は図14(a)の細胞器官の領域Aの一部の局所領域(領域O)における、Y座標がY5であるときのZX面上での細胞画像の輝度値の一例を示す図、(b)は(a)におけるY座標がY5であるときのZX面上での細胞画像の輝度値の最大値をXY面上に示す図、(c)は(a)におけるY座標がY5であるときのZX面上での細胞画像の輝度値が最大値となるZ座標をXY面上に示す図である。なお、図15(a)における座標上に示される輝度値は、細胞器官Aの領域の外側の輝度値を1として相対的に示してある。また、ここでは便宜上、図15(a)に示されるZ座標に輝度の最大値が存在し、図15(a)に示されていないZ座標には輝度の最大値が存在しないものとする。
図15(a)に示す各Z座標(Z1〜Z9)は、それぞれの二次元細胞画像に撮像されている試料(細胞)の合焦位置を示している。また、図15(a)に示すZX座標上の数値は、このようにZ位置の異なる二次元細胞画像を蓄積してなる三次元細胞画像の領域Oに対し、Y座標がY5であるときのZX面の輝度値を示している。
図15(a)の例の場合、同一のXY座標上における輝度の最大値は、座標(X1,Y5)においては“1”、座標(X2,Y5)においては“9”、座標(X3,Y5)においては“10”、座標(X4,Y5)においては“10”、座標(X5,Y5)においては“11”、座標(X6,Y5)においては“11”、座標(X7,Y5)においては“11”、座標(X8,Y5)においては“11”、座標(X9,Y5)においては“11”、座標(X10,Y5)においては“11”となっている。
そこで、二次元射影データ作成手段2a1’は、まず、この三次元細胞画像における各XY座標上における輝度の最大値を検出する。
検出した輝度の最大値をXY平面上に示すと図15(b)のようになる。
また、図15(a)の例の場合、夫々のXY座標上において輝度値が最大となるZ座標は、座標(X1,Y5)においては不特定、座標(X2,Y5)においては“Z4”,“Z5”、座標(X3,Y5)においては“Z4”,“Z5”、座標(X4,Y5)においては“Z4”〜“Z6”、座標(X5,Y5)においては“Z5”、座標(X6,Y5)においては“Z4”,“Z5”、座標(X7,Y5)においては“Z4”〜“Z6”、座標(X8,Y5)においては“Z3”〜“Z6”、座標(X9,Y5)においては“Z3”〜“Z7”、座標(X10,Y5)においては“Z3”〜“Z7”となっている。
そこで、二次元射影データ作成手段2a1’は、次いで、この三次元細胞画像における各XY座標上において輝度値が最大となるZ座標を検出する。
検出した輝度値が最大となるZ座標をXY平面上に示すと図15(c)のようになる。
二次元射影データ作成手段は、このようなZ座標の作成を三次元細胞画像における全てのXY座標に対して行う。これにより、各XYの点に対して最大の輝度値を持つZ座標の集合体を示すXY方向の二次元射影データが作成される。
図16は第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段2a1’の具体的な処理手順の一例を示すフローチャートである。
図16の例では、二次元射影データ作成手段2a1’は、三次元細胞画像データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS22)。次いで、抽出画像があるか否かをチェックする(ステップS23)。抽出画像がある場合、現在抽出している二次元細胞画像が2番目以降の画像であるか否かをチェックする(ステップS24)。現在抽出している二次元細胞画像が1番目の画像である場合、二次元細胞画像における各XY座標の輝度値及びZ座標を、射影データ候補領域において対応するXY座標の輝度値及びZ座標の格納領域にセットし(ステップS26)、次の二次元細胞画像データを対象として(ステップS27)、ステップS22〜ステップS24の処理を繰り返す。現在抽出している二次元細胞画像が2番目以降の画像である場合、現在抽出している二次元細胞画像における各XY座標の輝度値と、現時点で射影データ候補領域にセットされている、各XY座標における輝度値とを比較する。そして、現在抽出している二次元細胞画像における各XY座標の輝度値の方が大きい場合、そのXY座標の輝度値及びZ座標を射影データ候補領域において対応するXY座標の輝度値及びZ座標の格納領域にセットする(ステップS25)。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS21〜ステップS27)。次いで、射影データ候補領域にセットされている各XY座標上でのZ座標を用いて、各XY座標上に最大の輝度値を持つZ座標の集合体を示す二次元射影データを作成する(ステップS28)。
次に、不連続領域特定手段2b1’について説明する。
上述したように、図14は、細胞のZ方向の断面図(図14(a))と、各XY座標にお
いてZ方向に最大の輝度値を持つZ座標の位置をXY面上に射影した図(図14(b))を示している。
ここで、図14(b)に示す射影画像上のa,b,cの領域は、図14(a)に示すZ方向の断面図の特定領域A,B,Cにおける最大の輝度値を持つZ座標を射影したものである。また、図14(b)は、これらa,b,cの領域を取り囲むように細胞膜の領域dを示している。
ここで、細胞膜Dに対応した領域dは、最大の輝度値を持つZ座標の値が細胞膜の構造に応じて、図14(b)のXY面上において連続的に変化する。
これに対して、細胞内の特定小器官A,B,Cに対応した領域a,b,cは、最大の輝度値を持つZ座標の値を、それぞれ代表的な高さ付近のZ座標の値として持ち、それらの領域の境界ではZ座標の値は不連続となっている。
そこで、不連続領域特定手段2b1’が、XY方向の二次元射影データにおけるZ座標の集合体において、Z座標の値が互いに不連続となる領域を特定する。これにより、XY方向の二次元射影データの領域が個々の細胞器官の領域に分割されることになる。
不連続領域特定手段2b1’により、これら不連続面で分割した個々の細胞器官の領域a,b,cに対し、XY方向検出手段2b2’が、XY射影面上での広がりを検出する。
また、座標平均値算出手段2b3’が、個々の細胞器官の領域a,b,cにおけるZ座標の平均値を算出する。
これにより、個々の細胞器官のおおよその高さ位置を知ることができる。
これらの情報をもとに、個々の細胞器官の領域(領域a,b,c)周辺近傍の三次元細胞画像データを詳細に解析することによって、正確な三次元の細胞器官の領域の構築が可能となる。
すなわち、XY平面上に射影されたZ座標値を解析することで、特定小器官の存在する
おおよその領域を特定することが可能となり、この情報をもとに各領域の三次元領域の特定が可能となる。
第一実施形態の細胞画像解析装置のように、中心部検出手段2a1を用いて個々の細胞器官の領域の中心部を検出し、境界部検出手段2b1が中心部から個々の細胞器官の境界部を検出することで、三次元の細胞領域を構築する構成の場合、例えば、隣接する領域の輝度値の変化が小さいときに、細胞領域を実際の大きさよりも大きく特定してしまうおそれが内在する。
これに対し、第二実施形態の細胞画像解析装置によれば、二次元射影データにおいて、あらかじめ細胞器官の領域のXY方向の範囲がほぼ特定できるので、このXY領域を参照
することによって細胞器官の領域を正確な大きさに特定した状態で、三次元の細胞器官の領域の構築が可能となる。
なお、図16の例では、二次元射影データ作成手段2a1’は、最大輝度を持つZ座標をXY方向の二次元射影データを作成するように構成されているが、射影データとしては、次の変形例に示すものを用いてもよい。
例えば、二次元射影データ作成手段2a1’は、図17のフローチャートに示すように、Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、各XY座標に対して前記所定の輝度値として任意の輝度値に最も近い輝度値を持つZ座標の集合体を示すXY方向の二次元射影データを作成するようにしてもよい。
図17は第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段2a1’の具体的な処理手順の他の例を示すフローチャートである。
図17の例では、二次元射影データ作成手段2a1’は、三次元細胞画像データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS22’)。次いで、抽出画像があるか否かをチェックする(ステップS23’)。抽出画像がある場合、現在抽出している二次元細胞画像が2番目以降の画像であるか否かをチェックする(ステップS24’)。現在抽出している二次元細胞画像が1番目の画像である場合、二次元細胞画像における各XY座標の輝度値及びZ座標を、射影データ候補領域において対応するXY座標の輝度値及びZ座標の格納領域にセットし(ステップS26’)、次の二次元細胞画像データを対象として(ステップS27’)、ステップS22’〜ステップS24’の処理を繰り返す。現在抽出している二次元細胞画像が2番目以降の画像である場合、現在抽出している二次元細胞画像における各XY座標の輝度値と、現時点で射影データ候補領域にセットされている、各XY座標における輝度値とを、予め設定された任意の輝度値との近さの点で比較する。そして、現在抽出している二次元細胞画像における各XY座標の輝度値の方がこの任意の輝度値に近い場合、そのXY座標の輝度値及びZ座標を射影データ候補領域において対応するXY座標の輝度値及びZ座標の格納領域にセットする(ステップS25’)。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS21’〜ステップS27’)。次いで、射影データ候補領域にセットされている各XY座標上でのZ座標を用いて、各XY座標上に任意の輝度値に最も近い輝度値を持つZ座標の集合体を示す二次元射影データを作成する(ステップS28’)。
また、例えば、二次元射影データ作成手段2a1’は、図18のフローチャートに示すように、Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、各XY座標に対して前記所定の輝度値として任意の輝度値以上の輝度値を持つ複数のZ座標の集合体を取得し、取得したZ座標の集合体のうちの一つのZ座標の集合体を抽出し、抽出したZ座標の集合体を示すXY方向の二次元射影データを作成するようにしてもよい。
図18は第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段2a1’の具体的な処理手順のさらに他の例を示すフローチャートである。
図18の例では、二次元射影データ作成手段2a1’は、三次元細胞画像データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS22”)。次いで、抽出画像があるか否かをチェックする(ステップS23”)。抽出画像がある場合、現在抽出している二次元細胞画像における各XY座標の輝度値を、予め設定された任意の輝度値と比較する。そして、任意の輝度値以上の輝度値を持つXY座標の輝度値及びZ座標を、射影データ候補領域において対応するXY座標の輝度値及びZ座標の格納領域にセットする(ステップS24”)。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS21”〜ステップS25”)。次いで、射影データ候補領域にセットされている各XY座標上でのZ座標を用いて、中心となる(代表的な)Z座標を抽出し、抽出したZ座標を用いて、各XY座標上に任意の輝度値以上の輝度値を持つZ座標のうちの中心となる(代表的な)Z座標の集合体を示す二次元射影データを作成する(ステップS26”)。
また、例えば、二次元射影データ作成手段2a1’は、図19のフローチャートに示すように、各XY座標に対して任意の輝度値以上の輝度値を持つZ座標のうちの中心となるZ座標の集合体の個数を、各XY座標に対して任意の輝度値以上の輝度値を持つZ座標のうちの中心となるZ座標の集合体を示すXY方向の二次元射影データに付加するようにするのが好ましい。
図19は第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段2a1’の具体的な処理手順のさらに他の例を示すフローチャートである。
図19の例では、二次元射影データ作成手段2a1’は、図18の例におけるステップS21”〜ステップS26”と同様の処理(ステップS21”’〜ステップS26”’)を行い二次元射影データを作成し、次いで、Z座標の集合体の個数を二次元射影データに付加する(ステップS27”’)。
図19の例の二次元射影データ作成手段2a1’は、例えば、図20に示すような、細胞器官の領域がZ方向に複数重なった場合に有効である。図19の例の二次元射影データ作成手段2a1’を用いれば、上下に重なった複数の細胞器官の領域を夫々別領域として特定することができる。
図20は図19の例の二次元射影データ作成手段2a1’の処理を模式的に示す説明図で、(a)は三次元細胞画像においてZ方向に2つの細胞器官の領域が重なった状態を示すZ方向に沿う断面図、(b)は(a)の三次元細胞画像からZ座標の集合体を示す二次元射影データを作成した状態を示す説明図、(c)は(a)の三次元細胞画像における重なった2つの細胞器官の領域に対し同一の所定のXY座標を示す図、(d)は(c)に示すXY座標上で一定の輝度値以上の輝度値が得られた座標の集合体を抽出した状態を示す図、(e)は(d)に示す座標の集合体の個数を示す二次元射影データを示す図である。
この点に関し、さらに補足説明する。
二次元射影データを用いて細胞器官の領域を構築する構成においては、細胞画像中の細胞器官の領域がZ方向に重なった場合の処理が問題となる。
図21は図16の例の二次元射影データ作成手段2a1’のように輝度値が最大となるZ座標の値を射影データとして、三次元の細胞画像から二次元射影データを作成したときの射影データの説明図で、(a)は三次元細胞画像において大きさ又はXY座標の位置が一部で異なる2つの細胞器官の領域がZ方向に重なった状態を示すZ方向に沿う断面図、(b)は(a)の三次元細胞画像からZ座標の集合体を示す二次元射影データを作成した状態の一例を示す説明図、(c)は(a)の三次元細胞画像からZ座標の集合体を示す二次元射影データを作成した状態の一例を示す説明図、(d)は三次元細胞画像において大きさ及びXY座標の位置が同じ2つの細胞器官の領域がZ方向に重なった状態を示すZ方向に沿う断面図、(e)は(d)は(a)の三次元細胞画像からZ座標の集合体を示す二次元射影データを作成した状態の一例を示す説明図である。
図21(c)の例(例1)は、細胞器官の領域A,細胞器官の領域Bよりも大きさが小さく、かつ、XY座標上で細胞器官の領域Aが細胞器官の領域Bの内部に位置する場合において、輝度値が最大となるZ座標の集合体a,bを射影データとして作成したときの状態を示している。
また、図21(d)の例(例2)は、細胞器官の領域A,細胞器官の領域Bよりも大きさが小さく、かつ、XY座標上で細胞器官の領域Aの一部が細胞器官の領域Bの外部に位置する場合において、輝度値が最大となるZ座標の集合体a,bを射影データとして作成したときの状態を示している。
図21における例1はあるいは例2の場合は、作成された二次元射影データを用いて三次元の細胞器官を解析可能である。これらの例1,例2では、領域aと領域bとではZ座標の値が大きく異なるため、不連続領域特定手段2b1’を介して二次元射影データにおける個々の不連続となる領域を検出することが可能である。これにより、これらの二次元射影データから、三次元の個々の細胞器官の領域A,Bの構築を行うことができる。
これに対し、図21(e)の例(例3)の場合は、2つの領域A,A’が同じXY座標上に位置しZ方向に完全に領域が重なっているような状態にある。このような場合、輝度値が最大となるZ座標の値を用いて二次元射影データを作成すると、輝度が相対的に低い上部の細胞器官の領域A’の存在を検出することができない。
このような場合に、上述した図19の例の二次元射影データ作成手段2a1’を用いて作成した図20(e)に示す二次元射影データを用いれば、輝度が相対的に低い上部の細胞器官の領域A’の存在を検出することが可能となる。
図20(e)に示す二次元射影データは、図20(b)や図21(e)に示す二次元射影データとは別の射影データであり、例えば、一定の輝度値以上の輝度を持つZ座標の集合体の個数を示すように作成してある。図20の例では重なっている細胞器官の領域の個数が2つであり、図20(e)において作成される射影データは「2」の値を持つ(即ち、細胞器官の領域が2つ存在することを意味する)。なお、この射影データの値が「1」であるときは、そのXY 座標上に存在している細胞器官の領域の個数は1である。
このようにして作成した射影データを用いた三次元細胞器官の領域の構築は次のようにして行う。
まず、図19に示す例の二次元射影データ作成手段2a1’を用いて作成した二次元射影データのうち、図20(b)に示すような、所定の輝度値以上の値を持つZ座標の集合体のうちの1つの集合体aを示す二次元射影データを用いて、不連続領域特定手段2b1’、XY方向検出手段2b2’、Z座標平均値算出手段2b3’を介して、図20(a)に示す2つの細胞器官の領域A,A’のうち、一方(例えば、図20(a)の下側)の細胞器官の領域Aを構築する。
また、図20の例においては、図19の例の二次元射影データ作成手段2a1’は、Z座標の集合体の個数として2を示す、別の射影データを作成している。Z座標の集合体の個数が2であるということは、図20(b)に二次元射影データで示される細胞器官の領域Aの上方(又は下方)に別の細胞器官の領域A’が存在していることになる。そこで、不連続領域特定手段2b1’、XY方向検出手段2b2’、Z座標平均値算出手段2b3’は、例えば、既に三次元の細胞器官の領域Aとして構築した領域のZ座標の上限(又は下限)よりも上方(又は下方)の三次元の細胞画像の領域を範囲として、XY座標に対して、例えば、輝度の最大値となるZ座標の集合体を射影データとして検出する。検出したZ座標の集合体を用いることで、上方(又は下方)の三次元の細胞器官の領域A’も構築することができる。
また、例えば、二次元射影データ作成手段2a1’は、図22、図23のフローチャートに示すように、Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、所定の輝度値として任意の輝度値以上の輝度値を持つ少なくとも一つのZ座標を取得し、取得したZ座標の範囲において各XY座標に対してZ方向に対する輝度値の変化量を算出し、算出した輝度値の変化量が極小又は極大となるZ座標を抽出し、抽出したZ座標を用いて、各XY座標に対して輝度値の変化量が極小又は極大となるZ座標の集合体を示すXY方向の二次元射影データを作成するようにしてもよい。
図22は第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段2a1’の具体的な処理手順のさらに他の例における一部の処理手順を示すフローチャート、図23は図22に示した処理に続く処理手順を示すフローチャートである。
本例では、二次元射影データ作成手段2a1’は、まず、図22に示すように、三次元細胞画像データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS22””)。次いで、抽出画像があるか否かをチェックする(ステップS23””)。抽出画像がある場合、現在抽出している二次元細胞画像における各XY座標の輝度値を、予め設定された任意の輝度値と比較する。そして、任意の輝度値以上の輝度値を持つZ座標を、XY座標ごとに設けられているZ座標の格納領域における当該XY座標に対応する領域にセットする(ステップS24””)。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS21””〜ステップS25””)。
次いで、二次元射影データ作成手段2a1’は、図23に示すように、二次元細胞画像に存在する1番目のXY座標を処理対象とし、変化量格納領域に初期値(最大値又はゼロ)をセットの後、当該XY座標に対応するZ座標の格納領域にセットされているZ座標のうち、1番目にセットされているZ座標に対応する二次元細胞画像データを三次元細胞画像データから抽出する(ステップS26””〜ステップS29””)。次いで、抽出画像があるか否かをチェックする(ステップS30””)。1番目の抽出画像がある場合、二次元細胞画像データにおける当該XY座標に対応するZ座標を、XY座標ごとに設けられている射影データ候補領域における当該XY座標に対応する領域にセットする(ステップS31””)。次いで、当該XY座標に対応するZ座標の格納領域にセットされている次の二次元細胞画像データを三次元細胞画像データから抽出する(ステップS32””,33””)。次いで、抽出画像があるか否かをチェックする(ステップS34””)。当該抽出画像がある場合、抽出した当該Z座標に対応する二次元細胞画像データと、当該Z座標の一つ前のZ座標に対応する二次元細胞画像データとの輝度の変化量(差)を算出し(ステップS35””)、次いで、算出した変化量と、変化量格納領域に格納されている変化量とを比較する(ステップS36””)。なお、算出した変化量が、変化量格納領域に格納されている変化量よりも小さい(又は大きい)場合、算出した変化量及び当該Z座標を、現在セットされている変化量及び当該Z座標に差し替えて変化量格納領域にセットする(ステップS37””)とともに、当該座標を射影データ候補領域における当該XY座標に対応する領域にセットする(ステップS38””)。そして、これらの処理を当該XY座標に対応するZ座標の格納領域にセットされている全てのZ座標に対応する二次元細胞画像データに対して行う(ステップS32””〜ステップS38””)。
当該XY座標に対応するZ座標の格納領域にセットされている全てのZ座標に対応する二次元細胞画像データに対する処理が終了したときには、次のXY座標を処理対象とし(ステップS39””)、ステップS27””〜ステップS38””の処理を、全てのXY座標を処理対象としたステップS27””〜ステップS38””の処理が終了するまで繰り返す(ステップS27””〜ステップS40””)。全てのXY座標を処理対象としたステップS27””〜ステップS38””の処理が終了したとき、射影データ候補領域にセットされている各XY座標に対応するZ座標を用いて、各XY座標上に対して輝度の変化量が極小(又は極大)となるZ座標の集合体を示す二次元射影データを作成する(ステップS41””)。
図22及び図23の例の二次元射影データ作成手段2a1’は、例えば、図24に示すような、細胞器官の領域の中心部の輝度値が低く(又は高く)なっているような場合に有効である。図23の例の二次元射影データ作成手段2a1’を用いれば、例えば、領域の中心部の輝度が極大でなく、周辺の輝度のほうが高くなっているような細胞器官の領域に対して、その輝度が低い中心部を効率よく検出することができる。
図24は図22及び図23の例の二次元射影データ作成手段2a1’の処理を含む射影データの作成処理の模式的に示す説明図で、(a)は三次元細胞画像において中心部の輝度が低くなっている細胞器官の領域を示すZ方向に沿う断面図、(b)は(a)の三次元細胞画像から所定の輝度値以上の輝度値を持つZ座標の集合体を示す二次元射影データを作成した状態を示す説明図、(c)は(a)の三次元細胞画像におけるZ方向の輝度断面を示す図、(d)は(c)の輝度断面を用いて(a)の三次元細胞画像における細胞器官の領域の輝度値(又は輝度値の変化量)が極小となるZ座標を抽出した状態を示す図、(e)は(d)に示す細胞器官の領域の輝度値(又は輝度値の変化量)が極小となるZ座標を示す二次元射影データを示す図である。
なお、図24の例では、図24(b)に示すように、図22の処理によりZ座標の格納領域に格納された任意の輝度値以上の輝度値を持つZ座標の集合体に対してもXY方向の二次元射影データを作成している。また、便宜上、図24(e)に示すように、図23の処理により作成される細胞器官の領域の輝度値(又は輝度値の変化量)が極小となるZ座標の集合体のうちの1つのZ座標のみを星印で示してある。
また、例えば、二次元射影データ作成手段2a1’は、図22のフローチャートに示す処理の後に、図25のフローチャートに示すように、各XY座標に対して輝度値の変化量が極小又は極大となるZ座標の集合体の個数を、各XY座標に対して輝度値の変化量が極小又は極大となるZ座標の集合体を示すXY方向の二次元射影データに付加するようにするのが好ましい。
図25は第二実施形態の三次元細胞画像解析装置における二次元射影データ作成手段2a1’の具体的な処理手順のさらに他の例における、図22に示した処理に続く処理手順を示すフローチャートである。
図25の例では、二次元射影データ作成手段は、図23の例におけるステップS26””〜ステップS41””と同様の処理(ステップS26””’〜ステップS41””’)を行い、行い二次元射影データを作成し、次いで、Z座標の集合体の個数を二次元射影データに付加する(ステップS42””’)。
本発明の三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置は、大量の細胞画像データを用いて、細胞内小器官や細胞膜など特定の細胞部位の蛍光量を正確に精度良く定量することが求められる細胞画像の自動解析分野に有用である。
1 三次元細胞画像撮像装置
1a 観察光学系
1b 撮像素子
2 三次元細胞画像解析装置
2a 位置情報検出手段
2a1 中心部検出手段
2a1’ 二次元射影データ作成手段
2b 三次元領域構築手段
2b1 境界部検出手段
2b1’ 不連続領域特定手段
2b2’ XY方向検出手段
2b3’ Z座標平均値算出手段
2c 特徴量抽出手段
2d 領域分類手段
2e 定量・出力手段

Claims (18)

  1. 試料の合焦位置がZ方向に所定ピッチで連続的に異なった状態でZ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像を解析する、コンピュータを備えた三次元細胞画像解析装置であって、
    前記コンピュータを、
    前記三次元の細胞画像に対して、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域の所定の位置情報を検出する位置情報検出手段、
    該三次元の細胞画像に対して、前記位置情報検出手段が検出した夫々の細胞器官の領域の所定の位置情報を用いて、三次元の細胞器官の領域を構築する三次元領域構築手段、
    として機能させる画像解析ソフトウェアを有することを特徴とする三次元細胞画像解析装置。
  2. 試料の合焦位置がZ方向に所定ピッチで連続的に異なった状態でZ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像を解析する、コンピュータを備えた三次元細胞画像解析装置であって、
    前記コンピュータを、
    前記三次元の細胞画像に対して、第1の輝度の閾値を用いて、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域に分割するとともに、分割した夫々の細胞器官の領域の中心部を検出する中心部検出手段、
    該三次元の細胞画像に対して、前記中心部検出手段が検出した夫々の細胞器官の領域の中心部からその周囲に向けて、第2の輝度の閾値を用いて、該夫々の細胞器官の領域の境界部を検出する境界部検出手段、
    として機能させる画像解析ソフトウェアを有し、
    前記中心部検出手段が検出した夫々の細胞器官の領域の中心部のデータを用いて、前記境界部検出手段が夫々の細胞器官の領域の境界部を検出することにより、該三次元の細胞器官の領域を構築することを特徴とする三次元細胞画像解析装置。
  3. 前記中心部検出手段は、前記Z方向に順に蓄積された夫々の二次元の細胞画像に対して、前記第1の輝度の閾値以上であり、且つ、X,Y,Zのいずれかの方向に近接する領域同士を同じ種類の細胞器官の領域として検出するとともに、前記第1の輝度の閾値以上であり、且つ、X,Y,Zのいずれの方向にも近接しない領域同士を異なる種類の細胞器官の領域として検出し、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行い、前記Z方向に順に蓄積された夫々の二次元の細胞画像において同じ種類の細胞器官として検出した領域の座標の集合体を用いて、前記三次元の細胞画像における個々の細胞器官の領域の中心部を検出することを特徴とする請求項2に記載の三次元細胞画像解析装置。
  4. 前記中心部検出手段は、前記Z方向に順に蓄積された夫々の二次元の細胞画像において同じ種類の細胞器官として検出した領域の座標の集合体における重心座標を、前記三次元の細胞画像における個々の細胞器官の領域の中心部として検出することを特徴とする請求項2又は3に記載の三次元細胞画像解析装置。
  5. 前記中心部検出手段は、前記三次元の細胞画像に対して前記第1の輝度の閾値を用いて種類の異なる夫々の細胞器官の領域に分割する際に、該三次元の細胞画像の輝度値を二次元又は三次元の所定の局所領域ごとに平均化することを特徴とする請求項2〜4のいずれかに記載の三次元細胞画像解析装置。
  6. 前記中心部検出手段は、前記Z方向に順に蓄積された夫々の二次元の細胞画像において同じ種類の細胞器官として検出した領域の座標の集合体に対して前記所定の局所領域ごとに平均化した輝度値の変化量又は輝度値が極大又は極小となる座標又は座標の集合体を、前記三次元の細胞画像における個々の細胞器官の領域の中心部として検出することを特徴とする請求項2又は3に従属する請求項4に記載の三次元細胞画像解析装置。
  7. 前記中心部検出手段は、同一の試料を対象として経時的に得られる三次元の細胞画像を解析する場合において、異なる時間に得られた三次元の細胞画像における個々の細胞器官の領域の中心部を既に検出済みであるときに、該既に検出済みのいずれかの三次元の細胞画像における個々の細胞器官の領域の中心部を、現在解析対象となっている三次元の細胞画像における個々の細胞器官の領域の中心部として検出することを特徴とする請求項2〜6のいずれかに記載の三次元細胞画像解析装置。
  8. 前記境界部検出手段は、前記Z方向に順に蓄積された二次元の細胞画像の集合体に対して、前記中心部検出手段が検出した前記個々の細胞器官の領域の中心部からその周囲に向けて、第2の輝度の閾値以上であり、且つ、X,Y,Zのいずれかの方向に連続する領域と、前記第2の輝度の閾値を下回る領域との境界を、三次元の細胞画像における個々の細胞器官の領域の境界部として検出することを特徴とする請求項2〜7のいずれかに記載の三次元細胞画像解析装置。
  9. 前記境界部検出手段は、前記第2の輝度の閾値として、前記第1の輝度の閾値と同じ値を用いることを特徴とする請求項8に記載の三次元細胞画像解析装置。
  10. 前記境界部検出手段は、前記第2の輝度の閾値として、輝度値の変化量の最大値を用い、Z方向に順に蓄積されてなる二次元の細胞画像の集合体を用いて、前記中心部検出手段が検出した前記個々の細胞器官の領域の中心部からその周囲に向けて、1画素ずつ輝度値の変化量を計算し、計算した輝度値の変化量が前記第2の輝度の閾値を下回り、且つ、X,Y,Zのいずれかの方向に連続する領域と、前記第2の輝度の閾値以上の領域との境界を、三次元の細胞画像における個々の細胞器官の領域の境界部として検出することを特徴とする請求項2〜7のいずれかに記載の三次元細胞画像解析装置。
  11. 前記画像解析ソフトウェアが、前記コンピュータを、さらに、前記境界部検出手段が検出した境界部の内側領域に、前記中心部検出手段が検出した前記個々の細胞器官の領域の中心部が複数存在する場合に、これらの中心部同士の間における輝度値の変化量が最大となる領域を、三次元の細胞画像における個々の細胞器官の領域の境界部として補正する境界部補正手段として機能させることを特徴とする請求項8〜10のいずれかに記載の三次元細胞画像解析装置。
  12. 試料の合焦位置がZ方向に所定ピッチで連続的に異なった状態でZ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像を解析する、コンピュータを備えた三次元細胞画像解析装置であって、
    前記コンピュータを、
    前記三次元の細胞画像を用いて各XY座標に対して所定の輝度値を持つZ座標の集合体を示すXY方向の二次元射影データを作成する二次元射影データ作成手段、
    前記二次元射影データ作成手段が作成したXY方向の二次元射影データにおけるZ座標の集合体において、Z座標の値が互いに不連続となる領域を特定する不連続領域特定手段、
    前記不連続領域特定手段が特定した個々の不連続となる領域におけるXY方向への広がりを検出するXY方向検出手段、
    前記不連続領域特定手段が特定した個々の不連続となる領域におけるZ座標の平均値を算出するZ座標平均値算出手段、
    として機能させる画像解析ソフトウェアを有し、
    前記二次元射影データ作成手段が作成した二次元射影データを用いて、前記不連続領域特定手段が前記個々の不連続となる領域を特定し、前記XY方向検出手段及び前記Z座標平均値算出手段が前記個々の不連続となる領域におけるXY方向への広がりとZ座標の平均値を算出することにより、細胞自体あるいは、核、小器官などの三次元の細胞器官の領域を構築することを特徴とする三次元細胞画像解析装置。
  13. 前記二次元射影データ作成手段は、前記Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、検出した輝度値を用いて各XY座標に対して前記所定の輝度値として最大の輝度値を持つZ座標を抽出し、抽出したZ座標を用いて、各XYの点に対して最大の輝度値を持つZ座標の集合体を示すXY方向の二次元射影データを作成することを特徴とする請求項12に記載の三次元細胞画像解析装置。
  14. 前記二次元射影データ作成手段は、前記Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、検出した輝度値を用いて各XY座標に対して前記所定の輝度値として任意の輝度値に最も近い輝度値を持つZ座標を抽出し、抽出したZ座標を用いて、各XY座標に対して任意の輝度値に最も近い輝度値を持つZ座標の集合体を示すXY方向の二次元射影データを作成することを特徴とする請求項12に記載の三次元細胞画像解析装置。
  15. 前記二次元射影データ作成手段は、前記Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、検出した輝度値を用いて各XY座標に対して前記所定の輝度値として任意の輝度値以上の輝度値を持つ少なくとも一つのZ座標を取得し、各XY座標に対して取得したZ座標のうちの中心となるZ座標を抽出し、抽出した中心となるZ座標を用いて、各XY座標に対して任意の輝度値以上の輝度値を持つZ座標のうちの中心となるZ座標の集合体を示すXY方向の二次元射影データを作成することを特徴とする請求項12に記載の三次元細胞画像解析装置。
  16. 前記二次元射影データ作成手段は、前記各XY座標に対して任意の輝度値以上の輝度値を持つZ座標のうちの中心となるZ座標の集合体の個数を、前記各XY座標に対して任意の輝度値以上の輝度値を持つZ座標のうちの中心となるZ座標の集合体を示すXY方向の二次元射影データに付加することを特徴とする請求項15に記載の三次元細胞画像解析装置。
  17. 前記二次元射影データ作成手段は、前記Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、前記所定の輝度値として任意の輝度値以上の輝度値を持つ少なくとも一つのZ座標を取得し、取得したZ座標の範囲において各XY座標に対してZ方向に対する輝度値の変化量を算出し、算出した輝度値の変化量が極小又は極大となるZ座標を抽出し、抽出したZ座標を用いて、各XY座標に対して輝度値の変化量が極小又は極大となるZ座標の集合体を示すXY方向の二次元射影データを作成することを特徴とする請求項12に記載の三次元細胞画像解析装置。
  18. 前記二次元射影データ作成手段は、前記各XY座標に対して輝度値の変化量が極小又は極大となるZ座標の集合体の個数を、前記各XY座標に対して輝度値の変化量が極小又は極大となるZ座標の集合体を示すXY方向の二次元射影データに付加することを特徴とする請求項17に記載の三次元細胞画像解析装置。
JP2009192049A 2009-08-21 2009-08-21 三次元細胞画像解析装置 Active JP5513038B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009192049A JP5513038B2 (ja) 2009-08-21 2009-08-21 三次元細胞画像解析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009192049A JP5513038B2 (ja) 2009-08-21 2009-08-21 三次元細胞画像解析装置

Publications (2)

Publication Number Publication Date
JP2011044016A true JP2011044016A (ja) 2011-03-03
JP5513038B2 JP5513038B2 (ja) 2014-06-04

Family

ID=43831403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009192049A Active JP5513038B2 (ja) 2009-08-21 2009-08-21 三次元細胞画像解析装置

Country Status (1)

Country Link
JP (1) JP5513038B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014066702A (ja) * 2012-09-06 2014-04-17 Olympus Corp 積層構造体中の細胞の画像解析方法、及び角膜移植用積層構造体の評価方法
JP2016146752A (ja) * 2015-01-23 2016-08-18 株式会社イッコーズ ハイコンテントアナリシス及びスクリーニングのための高呼吸性環境での3次元細胞培養モデルの生成方法
JP2016223893A (ja) * 2015-05-29 2016-12-28 オリンパス株式会社 細胞評価方法
JP2019070729A (ja) * 2017-10-10 2019-05-09 オリンパス株式会社 観察システム
JP2019215766A (ja) * 2018-06-14 2019-12-19 オリンパス株式会社 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム
JP2020112552A (ja) * 2019-01-09 2020-07-27 国立大学法人九州大学 三次元形状情報生成装置、細胞判定システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261894A (ja) * 1993-01-18 1994-09-20 Hitachi Ltd 骨塩定量方法
JPH07175913A (ja) * 1993-07-22 1995-07-14 Philips Electron Nv 画像処理方法及び装置
JPH08272993A (ja) * 1995-03-31 1996-10-18 Hitachi Electron Service Co Ltd 図形オブジェクトの深さ制御方法および深さ表示方法
WO2002045018A1 (fr) * 2000-12-01 2002-06-06 Japan Science And Technology Corporation Procede de determination des zones nucleaires et procede d'etablissement de genealogie nucleaire
JP2003187263A (ja) * 2001-12-17 2003-07-04 Fujitsu Ltd 投影制御処理装置およびコンピュータプログラム
JP2007229023A (ja) * 2006-02-28 2007-09-13 Ge Medical Systems Global Technology Co Llc 放射線断層撮影装置および画像処理装置
JP2009122115A (ja) * 2009-01-05 2009-06-04 Olympus Corp 細胞画像解析装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261894A (ja) * 1993-01-18 1994-09-20 Hitachi Ltd 骨塩定量方法
JPH07175913A (ja) * 1993-07-22 1995-07-14 Philips Electron Nv 画像処理方法及び装置
JPH08272993A (ja) * 1995-03-31 1996-10-18 Hitachi Electron Service Co Ltd 図形オブジェクトの深さ制御方法および深さ表示方法
WO2002045018A1 (fr) * 2000-12-01 2002-06-06 Japan Science And Technology Corporation Procede de determination des zones nucleaires et procede d'etablissement de genealogie nucleaire
JP2003187263A (ja) * 2001-12-17 2003-07-04 Fujitsu Ltd 投影制御処理装置およびコンピュータプログラム
JP2007229023A (ja) * 2006-02-28 2007-09-13 Ge Medical Systems Global Technology Co Llc 放射線断層撮影装置および画像処理装置
JP2009122115A (ja) * 2009-01-05 2009-06-04 Olympus Corp 細胞画像解析装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014066702A (ja) * 2012-09-06 2014-04-17 Olympus Corp 積層構造体中の細胞の画像解析方法、及び角膜移植用積層構造体の評価方法
JP2016146752A (ja) * 2015-01-23 2016-08-18 株式会社イッコーズ ハイコンテントアナリシス及びスクリーニングのための高呼吸性環境での3次元細胞培養モデルの生成方法
JP2016223893A (ja) * 2015-05-29 2016-12-28 オリンパス株式会社 細胞評価方法
JP2019070729A (ja) * 2017-10-10 2019-05-09 オリンパス株式会社 観察システム
JP2019215766A (ja) * 2018-06-14 2019-12-19 オリンパス株式会社 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム
JP7085909B2 (ja) 2018-06-14 2022-06-17 オリンパス株式会社 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム
JP2020112552A (ja) * 2019-01-09 2020-07-27 国立大学法人九州大学 三次元形状情報生成装置、細胞判定システム
JP7420346B2 (ja) 2019-01-09 2024-01-23 国立大学法人九州大学 三次元形状情報生成装置、細胞判定システム

Also Published As

Publication number Publication date
JP5513038B2 (ja) 2014-06-04

Similar Documents

Publication Publication Date Title
US8350905B2 (en) Microscope system, image generating method, and program for practicing the same
JP6594294B2 (ja) 顕微鏡画像の画像品質評価
JP5513038B2 (ja) 三次元細胞画像解析装置
JP2018180635A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
EP1986046B1 (en) A method for determining an in-focus position and a vision inspection system
CN114868010A (zh) 用于多重荧光原位杂化图像的获取及处理的系统及方法
JP5549345B2 (ja) 画像収集装置に用いる天空検出装置及び方法
EP3124967B1 (en) Image-processing device and image-processing program
KR102084535B1 (ko) 결함 검사 장치, 결함 검사 방법
JP6160187B2 (ja) 分析装置、分析プログラム及び分析システム
JP2017539076A (ja) 構造情報を用いた欠陥検出
US11334743B2 (en) System and method for image analysis of multi-dimensional data
JP6765791B2 (ja) パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体
US20120249770A1 (en) Method for automatically focusing a microscope on a predetermined object and microscope for automatic focusing
US10921252B2 (en) Image processing apparatus and method of operating image processing apparatus
JP2006208339A (ja) 領域抽出装置、顕微鏡システムおよび領域抽出プログラム
JP5278984B2 (ja) 画像解析装置及び画像解析プログラム
JP6045292B2 (ja) 細胞計数装置及び細胞計数プログラム
US10721413B2 (en) Microscopy system, microscopy method, and computer readable recording medium
JP2011227748A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び欠陥検出装置
JP5530126B2 (ja) 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
JP2014063019A (ja) 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
JP2014157158A (ja) 細胞観察方法、三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
JP2009168725A (ja) スポット定量装置、スポット定量方法及びプログラム
JP2014142213A (ja) 撮影パラメータ決定装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130731

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130731

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131204

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20131212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140327

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250