JP2017120229A - 細胞領域決定方法、細胞撮像システム、細胞画像の処理装置及びコンピュータプログラム - Google Patents

Abstract

【課題】細胞画像から細胞領域を求めるための新たな手法を提供する。【解決手段】細胞領域を決定する方法は、第１観察法で細胞を撮像した第１細胞画像を取得すること、第１観察法とは異なる第２観察法で細胞を撮像した第２細胞画像を取得すること、及び、第１細胞画像及び第２細胞画像に基づいて、前記細胞の領域を決定することを含む。【選択図】図１Ａ

Description

本発明は、細胞領域決定方法、細胞撮像システム、細胞画像の処理装置及びコンピュータプログラムに関する。

特許文献１は、培養過程の細胞画像から細胞の輪郭と細胞のテクスチャ情報を取得し、取得した情報の解析を行って細胞構造の特徴を決定する方法を開示している。

米国特許第７，７１１，１７４号公報

機械的に細胞の特徴を決定するには、細胞を撮像した細胞画像における細胞領域を、背景領域などの非細胞領域と区別して、できるだけ正確に求めることが望まれる。細胞画像から決定された細胞領域が、実際の細胞の形態に近いほど、決定された細胞領域に基づいて、機械的に細胞の特徴を決定することが容易となる。

しかし、細胞は不定形であり、機械的な処理で細胞画像中の細胞を細胞であると認識するのは必ずしも容易ではない。特に、移植用細胞の場合、細胞を染色することができないため、細胞画像中の細胞を細胞であると認識するための標識が存在せず、細胞画像における細胞領域を求めるのは一層困難になる。

したがって、細胞画像から細胞領域をできるだけ正確に求めるための新たな手法が望まれる。

本発明の一の態様は、細胞の領域を決定する方法である。方法は、第１観察法で細胞を撮像した第１細胞画像を取得すること、第１観察法とは異なる第２観察法で細胞を撮像した第２細胞画像を取得すること、及び第１細胞画像及び第２細胞画像に基づいて、細胞の領域を決定することを含む。

本発明の他の態様は、細胞撮像システムである。細胞撮像システムは、撮像部と処理部とを備える。撮像部は、第１観察法で細胞を撮像して第１細胞画像を生成し、第１観察法とは異なる第２観察法で細胞を撮像して第２細胞画像を生成するよう構成される。処理部は、画像処理を実行するよう構成される。画像処理は、第１細胞画像を撮像部から取得する処理、第２細胞画像を撮像部から取得する処理、及び、第１細胞画像及び第２細胞画像に基づいて、細胞の領域を決定する処理を含む。

本発明の他の態様は、処理装置である。処理装置は、第１観察法で細胞を撮像した第１細胞画像を取得する処理、第１観察法とは異なる第２観察法で細胞を撮像した第２細胞画像を取得する処理、及び、第１細胞画像及び第２細胞画像に基づいて、細胞の領域を決定する処理を含む画像処理を実行するよう構成された処理部を備える。本発明の他の態様は、コンピュータに上記の画像処理を実行させるコンピュータプログラムである。

本発明によれば、細胞画像から細胞領域を求める新たな手法が提供される。

細胞撮像システムのブロック図である。 切替後の細胞撮像システムのブロック図である。 位相差観察用の第１光学系を示す図である。 暗視野観察用の第２光学系を示す図である。 設置部及び培養容器を示す図である。 処理装置によって実行される処理のフローチャートである。 細胞の位相差像である。 細胞の暗視野像である。 ノイズ除去処理のフローチャートである。 自動認識による細胞領域と目視認識による細胞領域を示す図である。 自動認識による細胞領域数と目視認識による細胞領域数の相関図である。 細胞の位相差像である。 細胞の暗視野像である。 機械認識による細胞領域と目視認識による細胞領域を示す図である。

［１．細胞撮像システム］
［１．１ 概要］
図１Ａに示す細胞撮像システム１００は、撮像部１０と、処理装置２０と、を備えている。細胞撮像システムは、細胞を撮像した細胞画像に基づき、細胞画像における細胞領域を自動認識する。撮像部１０は、細胞を撮像し細胞画像を生成する。生成された細胞画像は、処理装置２０に与えられる。処理装置２０は細胞画像を処理する。

撮像される細胞は、例えば、再生医療のための移植用細胞である。移植用細胞は、例えば、間葉系幹細胞（Mesenchymal Stem Cell(MSC)）を培養したものである。ＭＳＣとしては、例えば、ヒト骨髄由来のもの（ヒト骨髄由来間葉系幹細胞）が用いられる。ＭＳＣの状態評価、たとえば移植適否の評価を行うために、培養したＭＳＣの形態の分析が有効である。細胞の形態分析には、細胞画像における細胞領域決定が必要とされる。

撮像される細胞は、無染色であるのが好ましい。細胞を染色すると、細胞を移植に利用できなくなるか、又は細胞にダメージを与える。移植用細胞の場合、無菌状態であることも望まれる。撮像される細胞は、無菌状態を維持するため、培養容器３０内に密封された細胞であるのが好ましい。この場合、細胞画像は、培養容器３０越しに細胞を撮像したものとなる。

撮像部１０は、複数種類の細胞画像を撮像することができる。細胞画像の種類は、細胞画像の撮像のための観察法によって分けられる。観察法の違いは、観察対象の見え方、すなわち細胞画像における細胞像の現れ方、に影響を与える。観察法には、例えば、顕微鏡観察のための様々な観察法が含まれる。観察法には、例えば、位相差観察法、暗視野観察法、暗視野観察法、及び微分干渉観察法が含まれる。細胞画像を観察法によって分類すると、細胞画像は、例えば、位相差像、暗視野像、暗視野像、微分干渉像に分類される。位相差像は、観察対象である細胞の通過する光の位相差を利用した位相差観察法に基づいて、撮像された画像である。位相差像には、観察対象の内側が暗く見え輪郭付近が明るく見えるダークコントラストの位相差像と、観察対象の内側が明るく見え輪郭付近が暗く見えるブライトコントラストの位相差像とがある。暗視野像は、観察対象である細胞からの散乱光を観察する暗視野観察法に基づいて、撮像された画像である。明視野像は、観察対象である細胞における光の吸収率の差に応じた透過光強度が画像中のコントラストとして反映される明視野観察法に基づいて、撮像された画像である。微分干渉像は、光の偏光性と干渉性を利用した微分干渉観察法に基づいて撮像された画像である。各観察法では、それぞれ、異なる光学系を用いて観察が行われる。なお、細胞画像の種類は、上記したものに限定されるわけではない。

同じ細胞であっても、異なる観察法で観察すると、細胞の見え方が異なる。例えば、位相差像は、細胞の輪郭付近は明るくなり、細胞が大きいほど細胞中心付近が暗くなることがある。暗視野像は、細胞の核付近などの箇所においては、光が散乱し易いため、散乱光が強くなり明るくなる。明視野像は、暗視野像とは逆に、細胞の核付近などの箇所においては、光が透過し難いため、透過光が弱くなり暗くなる。微分干渉像は、立体感のある画像となる。

このように、異なる観察法に基づいて撮像された複数の細胞画像においては、同じ細胞を撮像した場合であっても、画像中の細胞像の現れ方が異なる。細胞撮像システム１００は、この点を利用して、異なる観察法で撮像された複数の細胞画像を用いて、細胞領域を決定する。

以下では、観察法の異なる複数の細胞画像として、２種類の細胞画像を用いるが、３種類又は４種類以上の細胞画像を用いても良い。２種類の細胞画像の組み合わせとしては、例えば、位相差像と暗視野像、位相差像と明視野像、位相差像と微分干渉像、暗視野像と明視野像、暗視野像と微分干渉像、及び明視野像と微分干渉像、のいずれか一つの組み合わせを採用することができる。

３種類の細胞画像の組み合わせとしては、例えば、位相差像と暗視野像と明視野像、位相差像と暗視野像と微分干渉像、位相差像と明視野像と微分干渉像、暗視野像と明視野像と微分干渉像、のいずれか一つの組み合わせを採用することができる。４種類の細胞画像の組み合わせとしては、例えば、位相差像と暗視野像と明視野像と微分干渉像との組み合わせを採用することができる。上述の各組み合わせにおいて、位相差像としては、ダークコントラスト位相差像を用いても良いし、ブライトコントラストの位相差像を用いても良い。上述の各組み合わせにおいて、２種類の位相差像、すなわち、ダークコントラスト位相差像及びブライトコントラストの位相差像の両方を含んでも良い。

以下では、２種類の細胞画像の組み合わせとして位相差像と暗視野像を採用した場合について説明する。また、位相差像としては、ダークコントラスト位相差像を採用する。以下では、必要に応じて、位相差観察法を第１観察法といい、暗視野観察法を第２観察法という。第１観察法で細胞を撮像して得られた位相差像を第１細胞画像といい、第２観察法で細胞を撮像して得られた暗視野像を第２細胞画像という。

［１．２ 撮像部］
撮像部１０は、第１観察法である位相差観察法で細胞を撮像して第１細胞画像を生成し、第２観察法である暗視野観察法で同じ細胞を撮像して第２細胞画像を生成することができる。撮像部１０は、観察対象が設置される設置部１３０と、観察対象を撮像する撮像素子１４０と、を備えている。設置部１３０は、例えば、細胞の培養容器３０を下方から支持するステージとして構成されている。撮像素子１４０は、例えば、カラー画像を撮像するＣＣＤイメージセンサによって構成される。撮像素子１４０は、設置部１３０の下方に配置されている。

撮像部１０は、第１光学系１１０と第２光学系１２０とを有している。第１光学系１１０は、位相差観察用光学系である。第２光学系１２０は、暗視野観察用光学系である。設置部１３０に設置された観察対象の撮像の際には、複数の光学系１１０，１２０が選択的に切り替えられる。すなわち、第１細胞画像の撮像には、図１Ｂに示すように、第１光学系１１０が設置部１３０の位置に移動するように切り替えられ、第２細胞画像の撮像の際には、図１Ａに示すように、第２光学系１２０が設置部１３０の位置に移動するように切り替えられる。撮像に用いられる光学系１１０，１２０の切り替えは、手動で行われても良いし、処理部２００による制御で自動的に行われても良い。

図２Ａにも示すように、位相差観察用の第１光学系１１０は、照射用光学系１１１と、受光用光学系１１６と、を備えている。位相差像の撮像の際には、照射用光学系１１１は、設置部１３０の上方に配置され、観察対象３０の上方から光を照射する、受光用光学系１１６は、設置部１３０の下方に配置され、観察対象３０からの光を受光する。照射用光学系１１１は、光源１１２と、位相リング１１３と、コンデンサレンズ１１４と、を備えている。受光用光学系１１６は、対物レンズ１１７と、位相板１１８と、を備えている。なお、図２Ａでは設置部１３０及び観察対象３０は簡略化されて描かれている。

光源１１２からの光は、位相リング１１３によって絞られ、コンデンサレンズ１１４を通って、観察対象３００に至る。観察対象３００を通った光は、直接光と回折光とに分かれる。回折光は、観察対象３００において屈折率が異なる部位で発生する。観察対象３００において発生した回折光は、直接光に対して、約１／４波長位相が遅れている。直接光と回折光とは、それぞれ、対物レンズ１１７と位相板１１８を通って、撮像素子１４０に至る。観察対象３００を通過した直接光は、対物レンズ１１７によって集光され、位相板１１８において位相が１／４波長ずらされる。直接光の位相は、位相板１１８において、例えば、１／４波長進められる。この結果、直接光と回折光の位相差は、１／２波長となり、直接光と回折光とが互いに干渉している部分においては、直接光が回折光との干渉によって強度が弱くなって暗くなる。直接光と回折光とが互いに干渉するのは、観察対象３００の内部であるため、ダークコントラストの位相差像では、観察対象３００の内部が、背景部分に比べて暗く見える。また、観察対象３００の輪郭では、ハローと呼ばれる明るい縁が発生する。したがって、位相差像は、観察対象３００の輪郭などが明るい画像となる。なお、位相板１１８に、光を吸収するＮｅｕｔｒａｌ Ｄｅｎｓｉｔｙ（ＮＤ）フィルタを設けることで、直接光の強度をさらに低下させることができる。ＮＤフィルタを設けることにより、観察対象３００の内部を更に暗くしてコントラストを高めることができる。位相板１１８にＮＤフィルタを設けるのは、光源１１２からの光、例えばレーザ光、の強度が強い場合に、特に有用である。

図２Ｂにも示すように、暗視野観察用の第２光学系１２０は、照射用光学系と、受光用光学系と、を備えている。実施形態においては、照射用光学系及び受光用光学系は一体的に設けられ、設置部１３０の下方に配置される。第２光学系１２０は、照射用光学系として、光源１２２と、リング絞り１２３と、リング状ミラー１２４と、リング状コンデンサレンズ１２５と、を備えている。第２光学系１２０は、受光用光学系として、対物レンズ１２６，１２７を備えている。

暗視野像の撮像の際には、照射用光学系は、観察対象の下、すなわち培養容器３０の底面側、から光を照射する。すなわち、光源１２２からの光は、リング状絞り１２３によってリング状光束となり、リング状ミラー１２４によって、観察対象側へ反射され、リング状コンデンサレンズ１２５を通って、観察対象に至る。

受光用光学系は、観察対象の下、すなわち培養容器３０の底面側で観察対象からの散乱光を受光する。すなわち、観察対象からの散乱光は、対物レンズ１２６，１７を通って、撮像素子１４０に至る。散乱光は、細胞の核付近などの箇所において強くなる。したがって、暗視野像は、細胞の中心付近が明るい画像となる。

図３に示すように、設置部１３０には、撮像素子１４０による下方からの撮像を可能とするため、上下に貫通する貫通孔１３０ａが形成されている。なお、設置部１３０は、下方に光が透過可能であればよく、例えば透明材料によって一部又は全部が形成されていても良い。

設置部１３０に設置される培養容器３０は、透明材料によって形成され、内部の無菌状態が維持できるように密閉できるものが好ましい。図３に示す培養容器３０は、上部開口を有する容器本体３１と、上部開口を密閉するための蓋３２と、を有している。容器本体３１内には、観察対象の細胞３００と培地３１０が存在する。培地３１０は、液体であるのが好ましい。

無菌状態を維持したままで細胞の撮像を行おうとすると、撮像の際に、培養容器３０の蓋３２をとることができない。したがって、仮に、培養容器３０の上方にレンズ１２５，１２６が配置されている場合には、蓋３２が干渉するため、蓋３２よりも下にレンズ１２５，１２６を位置させることができない。このため、レンズ１２５，１２６を細胞３００に十分に近接させることができない場合がある。レンズ１２５，１２６を十分に細胞３００に近接させることができないと、条件によっては、鮮明な画像を撮像できないことがある。これに対して、レンズ１２５，１２６が培養容器３０の底面側に配置されている場合には、蓋３２の干渉が問題とならない。しかも、設置部１３０に貫通孔１３０ａが形成されている場合には、照射用光学系であるコンデンサレンズ１２５及び受光用光学系である対物レンズ１２６を貫通孔１３０ａ内に進入させることで、レンズ１２５，１２６を細胞３００により一層近接させることができる。

［１．３ 処理装置］
処理装置２０は、コンピュータによって構成されている。図１Ａに示すように、処理装置２０は、処理部２００を備える。処理部２００は、ＣＰＵ２１０及び記憶部２２０を有して構成される。記憶部２２０には、ＣＰＵ２１０が実行するコンピュータプログラムが格納されている。コンピュータプログラムの実行により、処理部２００は、少なくとも図４に示す処理を実行する。処理装置２０は、表示部２３０や入力部などを有していても良い。

処理部２００が行う処理は、細胞画像に対する画像処理を含む。画像処理は、細胞画像において細胞が存在する領域である細胞領域を決定する処理を含む。処理部２００は、画像処理の結果得られた画像を用いた分析処理を行うこともできる。分析処理は、例えば、細胞の特徴量抽出、特徴量に基づく細胞の分析を含む。処理部２００は、撮像部１０の制御を行うこともできる。処理部２００は、画像処理の結果得られた画像や分析処理の結果を表示部２３０に表示させることができる。

処理部２００は、撮像部１０によって生成された細胞画像に基づいて画像処理を行う。ただし、処理対象の細胞画像は、例えば、ネットワークを介して送信されて、記憶部２２０に保存された細胞画像であってもよいし、可搬性記憶媒体を介して記憶部２２０に保存された細胞画像であってもよい。

実施形態において、処理部２００が行う処理には、第１細胞領域決定処理２２１、第２細胞領域決定処理２２２、ノイズ除去処理２２３、画像合成処理２２４、穴埋め処理２２５、及び特徴抽出・分析処理２２６が含まれる。以下、これらの処理を図４に基づいて説明する。

［２．処理装置による処理］
図４に示すように、処理部２００は、ステップＳ１１１において、撮像部１０から位相差像である第１細胞画像を取得する。処理部２００は、ステップＳ１２１において、撮像部１０から暗視野像である第２細胞画像を取得する。処理部２００は、取得した画像を、記憶部２２０に保存する。ステップＳ１１１及びステップＳ１２１は、いずれが先に行われても良い。

図５は、第１細胞画像の例を示し、図６は、第２細胞画像の例を示している。図５，６は、図面としての表示の都合上、モノクロ画像であるが、実施形態に係る第１細胞画像及び第２細胞画像は、カラー画像である。

処理部２００は、第１細胞画像に対する画像処理と、第２細胞画像に対する画像処理と、を行う。両画像に対する画像処理は、いずれが先に行われても良い。

処理部２００は、ステップＳ１１２Ｒ，１１２Ｇ，Ｓ１１２Ｂにおいて、第１細胞画像に対する画像処理として、第１処理である第１細胞領域決定処理２２１を行う。第１細胞領域決定処理２２１では、第１細胞画像における細胞領域である第１細胞領域が決定される。第１細胞画像における細胞領域決定は、例えば、画像の二値化処理によって行われる。

第１細胞領域決定処理２２１は、カラー第１細胞画像を構成する赤画像（Ｒ画像）、緑画像（Ｇ画像）、青画像（Ｂ画像）それぞれに対して行われる。すなわち、ステップＳ１１２Ｒでは、Ｒ画像に対して二値化処理が行われ、ステップＳ１１２Ｇでは、Ｇ画像に対して二値化処理が行われ、ステップＳ１１２Ｂでは、Ｂ画像に対して二値化処理が行われる。ステップＳ１１２Ｒ，１１２Ｇ，Ｓ１１２Ｂは、いずれが先に行われても良い。

ステップＳ１１２Ｒ，１１２Ｇ，Ｓ１１２Ｂでは、それぞれ、画素の輝度に関する２つの閾値を用いて二値化処理が行われる。２つの閾値は、第１閾値及び第１閾値よりも小さい第２閾値である。第１閾値は、位相差像においては細胞の輪郭付近が明るくなることを利用して、その輪郭付近の明るい部分を細胞領域として抽出するためのものである。第２閾値は、位相差像においては細胞の中心付近が暗くなることを利用して、その中心付近の暗い部分を抽出するためのものである。このように、２つの閾値を用いるのは、位相差像である第１細胞画像においては、図５に示すように、細胞像は、主に、背景領域よりも明るい部分と暗い部分とで構成されていることを利用したものである。

第１細胞画像に対する二値化処理では、ＲＧＢ各画像において、第１閾値よりも輝度が高い領域と、第２閾値よりも輝度が低い領域のそれぞれが、第１細胞領域を示す値(例えば「１」)となる。一方、第１閾値と第２閾値との間の輝度を有する領域は、非細胞領域を示す値（例えば「０」）となる。なお、非細胞領域は、典型的には、培地３１０が撮像された領域である。

第１閾値及び第２閾値は、第１細胞画像を構成するＲＧＢ各画像における輝度の統計処理によって決定できる。統計処理は、例えば、各画像を構成する画素の輝度の平均値μ_１と標準偏差σ_１を求めることを含む。第１閾値としては、例えば、μ_１＋２σ_１を採用でき、第２閾値としては、例えば、μ_１−２σ_１を採用できる。統計処理は、ＲＧＢ各画像について、それぞれ独立して行われるため、ＲＧＢ各画像において、第１閾値及び第２閾値の値は独立して決定される。したがって、２つの閾値は、ＲＧＢ各画像において適切なものとなる。

二値化処理によって決定された第１細胞領域は、真の細胞領域ではない第１ノイズ領域も多く含む。処理部２００は、ステップＳ１１３Ｒ，１１３Ｇ，１１３Ｂにおいて、二値化されたＲＧＢ各画像に対するノイズ除去処理２２３を行う。ノイズ除去処理２２３は、第１細胞領域に含まれる第１ノイズ領域を、領域の大きさに基づいて識別し、第１細胞領域から比較的小さい第１ノイズ領域を除去する。比較的小さいノイズ領域の除去には、二値化された画像における第１細胞領域の面積の統計処理が利用される。

図７に示すように、処理部２００は、ノイズ除去のため、ステップＳ２０１において、二値化された画像における複数の第１細胞領域それぞれの面積求める。処理部２００は、ステップＳ２０２において、面積の平均値μ_２と標準偏差σ_２を求める。処理部２００は、ステップＳ２０３において、第１細胞領域のうち、ノイズ領域を識別するための閾値（ノイズ識別用閾値）よりも小さい面積の領域をノイズ領域として識別する。ノイズ識別用閾値は、例えば、μ_２−２σ_２として決定される。処理部２２０は、ステップＳ２０４において、第１細胞領域からノイズ領域を除去する。ノイズ領域の除去は、例えば、二値化された画像において、ノイズ領域の輝度値を、非細胞領域を示す値（例えば「０」）にすればよい。

ステップＳ２０５の繰り返し条件から明らかなように、ステップＳ２０１からステップＳ２０４までの処理は、複数回（例えば１０回）繰り返される。繰り返しの度に、平均値μ_２と標準偏差σ_２が算出し直され、ノイズ識別用閾値が再決定される。このため、繰り返しの度にノイズ領域が減少する。

ノイズ除去処理２２３は、ステップＳ１１３Ｒ，１１３Ｇ，１１３Ｂにおいて、二値化されたＲＧＢ各画像に対して別々に行われるため、ノイズ領域の識別精度が向上する。つまり、真の細胞領域においては、ＲＧＢ各色に共通して明暗が変動するのに対し、ノイズ領域は、ＲＧＢ各色において独立して生じ易い。このため、ＲＧＢ各画像でノイズ領域を識別したほうが、ノイズ領域が細分化されており、領域の大きさに基づくノイズ領域の識別が容易となる。

処理部２００は、ステップＳ１１４において、ノイズ除去が行われた二値化ＲＧＢ各画像の合成を行う。合成は、二値化ＲＧＢ各画像の重ね合わせによって行われる。重ね合わせは、例えば、二値化ＲＧＢ各画像のいずれかにおいて、第１細胞領域を示す値(例えば「１」)である画素を、合成画像において、第１細胞領域を示す値とし、その他の画素を、非細胞領域を示す値（例えば「０」）とすればよい。

処理部２００は、第１細胞画像に対する処理と同様の画像処理を、暗視野像である第２細胞画像に対しても行う。処理部２００は、ステップＳ１１２Ｒ，１２２Ｇ，Ｓ１２２Ｂにおいて、第２細胞画像に対する画像処理として、第２処理である第２細胞領域決定処理２２２を行う。第２細胞領域決定処理２２２では、第２細胞画像における細胞領域である第２細胞領域が決定される。第２細胞画像における細胞領域決定は、例えば、画像の二値化処理によって行われる。第２細胞領域決定処理２２２も、カラー第２細胞画像を構成する赤画像（Ｒ画像）、緑画像（Ｇ画像）、青画像（Ｂ画像）それぞれに対して行われる。

処理部２００は、ステップＳ１２３Ｒ，１２３Ｇ，１２３Ｂにおいて、二値化されたＲＧＢ各画像に対するノイズ除去処理２２３を行う。ノイズ除去処理２２３は、ＲＧＢ各画像に対して、図７に示す手順で行われる。処理部２００は、ステップＳ１２４において、ノイズ除去が行われた二値化ＲＧＢ各画像の合成を行う。合成は、二値化ＲＧＢ各画像の重ね合わせによって行われる。重ね合わせは、例えば、二値化ＲＧＢ各画像のいずれかにおいて、第２細胞領域を示す値(例えば「１」)である画素を、合成画像において、第２細胞領域を示す値とし、その他の画素を、非細胞領域を示す値（例えば「０」）とすればよい。

第２細胞画像に対する画像処理の詳細は、二値化のための閾値を除き、第１細胞画像に対する画像処理と同様である。ステップＳ１２２Ｒ，１２２Ｇ，１２２Ｂにおける第２細胞画像の二値化は、画素の輝度に関する一つの第３閾値を用いて行われる。第３閾値は、図６に示すように、暗視野像においては細胞像が明るくなることを利用して、明るい部分を細胞領域として抽出するためのものである。

第２細胞画像に対する二値化処理では、ＲＧＢ各画像において、第３閾値よりも輝度が高い領域が、第２細胞領域を示す値（例えば、「１」）となる。一方、第３閾値よりも輝度が低い領域は、非細胞領域を示す値（例えば「０」）となる。

第３閾値は、第２細胞画像を構成するＲＧＢ各画像における輝度の統計処理によって決定できる。統計処理は、例えば、各画像を構成する画素の輝度の平均値μ_１と標準偏差σ_１を求めることを含む。第３閾値としては、例えば、μ_１＋２σ_１を採用できる。統計処理は、ＲＧＢ各画像について、それぞれ独立して行われるため、ＲＧＢ各画像において、第３閾値の値は独立して決定される。したがって、第３閾値は、ＲＧＢ各画像において適切なものとなる。また、第３閾値は、第１細胞画像用の第１閾値及び第２閾値とは別に決定されるため、第２細胞画像用に適した閾値となる。

処理部２００は、ステップＳ１０５において、第３処理として画像合成処理２２４を行う。画像合成処理２２４では、ステップＳ１１４で得られた画像における第１細胞領域と、ステップＳ１２４で得られた画像における第２細胞領域と、を重ね合わせた合成画像が生成される。ステップＳ１０５で生成される合成画像では、第１細胞領域と第２細胞領域を重ね合わせた合成細胞領域を表現した画像となる。合成細胞領域は、第１細胞領域及び第２細胞領域の少なくともいずれか一方に属する領域からなる。合成画像において、合成細胞領域に含まれる画素の値は、例えば「１」となり、合成細胞領域以外の領域に含まれる画素の値は、例えば、「０」となる。

処理部２００は、ステップＳ１０６において、穴埋め処理２２５を行う。穴埋め処理２２４では、一つの合成細胞領域内において、合成細胞領域以外の領域を示す値となっている部分が生じることがある。このような部分は、画像処理において「穴」と呼ばれる。穴埋め処理２２５は、穴を除去する。穴埋め処理２２５によって、穴に対応した画素の値は、合成細胞領域を示す値となる。穴埋め処理２２５は、例えば、モフォロジー処理によって行える。モフォロジー処理を利用すると、合成細胞領域の膨張及び収縮によって、合成細胞領域中の穴埋めが行われる。

処理部２００は、ステップＳ１０７において、撮像された細胞の特徴量を抽出する。特徴量の抽出は、ステップＳ１０６の処理後の合成画像に基づいて行われる。特徴量は、例えば、細胞の大きさ、周囲長、径平均、最大径、最小径である。処理部２００は、ステップＳ１０８において、撮像された細胞の分析を行う。分析は、細胞の特徴量に基づく形態分析を含む。分析は、細胞分化の評価を含んでも良い。細胞の分析は、合成画像中の細胞数、すなわち合成細胞領域数、のカウントを含んでも良い。

図８は、処理部２００が、図５に示す第１細胞画像及び図６に示す第２細胞画像から生成した合成画像８Ａを示している。図８では、図５に示す第１細胞画像における注目領域５Ａ及び図６に示す第２細胞画像における注目領域６Ａを拡大して示している。なお、注目領域５Ａ及び注目領域６Ａは同じ細胞を撮像した領域である。合成画像８Ａは、注目領域５Ａにおける第１細胞領域と注目領域６Ａにおける第２細胞領域とを重ね合わせた合成細胞領域を示している。

図８において、注目領域５Ａについては、第１細胞画像に対するステップＳ１１４までの処理で決定された第１細胞領域の輪郭を白線で示している。同様に、注目領域６Ａについては、第２細胞画像に対するステップＳ１２４までの処理で決定された第２細胞領域の輪郭を白線で示している。また、合成画像８Ａについては、ステップＳ１０５までの画像合成で決定された合成細胞領域の輪郭を白線で示している。図８においては、参考のため、目視観察により人手で決定した細胞輪郭を示す参考画像８Ｂを示した。

位相差像である第１細胞画像では、注目領域５Ａからも明らかなように、長細い細胞の長手方向に沿った輪郭形状が第１細胞領域として現れ易いのに対し、細胞の幅方向には第１細胞領域の分断が生じやすい。したがって、実際には一つの細胞であるのに複数の分断された第１細胞領域として処理部２００が認識するおそれが高くなる。図９（ａ）は、処理部２００が、第１細胞画像から決定した第１細胞領域の数をカウントした数（自動認識数）と、第１細胞画像を目視観察して細胞の数をカウントした数（目視認識数）と、の相関を示している。図９（ａ）に示すように、位相差像である第１細胞画像の場合、自動認識数が目視認識数よりも多くなる傾向がある。このように、位相差像に基づいて細胞領域を決定すると、実際には一つを複数の分断された第１細胞領域として認識してしまうおそれがあり、細胞数を多く見積もってしまう。

暗視野像である第２細胞画像では、注目領域６Ａからも明らかなように、細胞の中心付近は第２細胞領域として認識されるものの、第２細胞領域において細胞の長手方向の形状が失われ易い。したがって、第２細胞領域からは、細胞全体の形状の情報が失われ易い。一方、暗視野像である第２細胞画像は、細胞数の自動認識には適している。図９（ｂ）は、処理部２００が、第２細胞画像から決定した第２細胞領域の数をカウントした数（自動認識数）と、第２細胞画像を目視観察して細胞の数をカウントした数（目視認識数）と、の相関を示している。図９（ｂ）に示すように、暗視野像である第２細胞画像の場合、自動認識数と目視認識数の相関は高く、細胞数の正確な把握には適している。

したがって、細胞全体の形状の情報を保持し易い第１細胞領域に、領域の分断が生じ難い第２細胞領域を重ね合わせた合成細胞領域では、合成画像８Ａに示すように、第１細胞領域において領域が分断されていた箇所が、第２細胞領域によって接続される。合成画像８Ａにおける細胞輪郭は、注目領域５Ａ，６Ａにおける細胞輪郭よりも、目視観察による参考画像８Ｂにおける輪郭に近づいており、より適切に細胞領域を決定できていることがわかる。

図１０は、図５とは別の位相差像（第１細胞画像）を示し、図１１は、図６とは別の暗視野像（第２細胞画像）を示している。図１０及び図１１は同じ細胞を撮像したものである。図１２は、図１０における注目領域１０Ａ及び図１１における注目領域１１Ａから生成された合成画像１２Ａと、参考画像１２Ｂと、を示している。

図１２においても、注目領域１０Ａについては、第１細胞画像に対するステップＳ１１４までの処理で決定された第１細胞領域の輪郭を白線で示している。同様に、注目領域１１Ａについても、第２細胞画像に対するステップＳ１２４までの処理で決定された第２細胞領域の輪郭を白線で示している。また、合成画像１２Ａについても、ステップＳ１０５までの画像合成で決定された合成細胞領域の輪郭を白線で示している。参考画像１２Ｂについては、目視観察により人手で決定した細胞輪郭を黒線で示した。

合成画像１２Ａにおける細胞輪郭は、注目領域１０Ａ，１１Ｂにおける細胞輪郭よりも、目視観察による参考画像１２Ｂにおける輪郭に近づいており、より適切に細胞領域を決定できていることがわかる。

このように、位相差像と暗視野像という異なる観察法に基づいて撮像された複数の細胞画像に基づいて細胞領域を決定すると、一方の細胞画像に基づいて細胞領域を決定する場合に比べて、他方の細胞画像に基づいて決定される細胞領域による補完が行われることになるため、より適切に細胞領域を決定できる。この点は、複数の細胞として位相差像と暗視野像とを採用する場合に限られず、他の観察法に基づく複数の細胞画像に基づいて細胞領域を決定する場合にもあてはまる。

上記の実施形態では、複数の細胞画像それぞれについて細胞領域を求めてから、複数の細胞領域を重ね合わせることで最終的な細胞領域を決定していたが、複数の細胞画像を合成した単一の合成画像から細胞領域を決定しても良い。この場合、複数の細胞画像の合成は、複数の細胞画像それぞれの細胞像が重なって現れるように行われる。例えば、第１細胞画像の透明度パラメータを半透明の値に設定した上で、半透明の第１細胞画像を第２細胞画の上に重ねて合成画像すると、合成画像では、第１細胞画像の細胞像と第２細胞画像の細胞像とが重なって見える。この合成画像に対して、２値化処理などを行うことで、細胞の領域を決定することができる。

１０ 撮像部
２０ 処理装置
１２０ 暗視野観察用光学系
１００ 細胞撮像システム
２００ 処理部

Claims (15)

1. 第１観察法で細胞を撮像した第１細胞画像を取得すること、
   前記第１観察法とは異なる第２観察法で前記細胞を撮像した第２細胞画像を取得すること、及び
   前記第１細胞画像及び前記第２細胞画像に基づいて、前記細胞の領域を決定すること
   を含む方法。
2. 前記細胞の領域を決定することは、
   前記第１細胞画像に基づいて、前記第１細胞画像における細胞領域である第１細胞領域を決定すること、
   前記第２細胞画像に基づいて、前記第２細胞画像における細胞領域である第２細胞領域を決定すること、及び
   前記第１細胞領域及び前記第２細胞領域を重ね合わせた合成画像を生成すること、
   を含む請求項１記載の方法。
3. 前記第１観察法は、位相差観察法であり、
   前記第１細胞画像は、前記細胞の位相差像である
   請求項１又は２に記載の方法。
4. 前記第２観察法は、暗視野観察法であり、
   前記第２細胞画像は、前記細胞の暗視野像である
   請求項３記載の方法。
5. 前記第１観察法は、位相差観察法であり、
   前記第１細胞画像は、前記細胞の位相差像であり、
   前記第１細胞領域を決定することは、前記位相差像において第１閾値よりも輝度が高い領域及び前記第１閾値よりも小さい第２閾値よりも輝度が低い領域のそれぞれを、前記第１細胞領域として決定することを含む
   請求項２記載の方法。
6. 前記第２観察法は、暗視野観察法であり、
   前記第２細胞画像は、前記細胞の暗視野像であり、
   前記第２細胞領域を決定することは、前記暗視野像において第３閾値よりも輝度が高い領域を、前記第２細胞領域として決定することを含む
   請求項２記載の方法。
7. 前記細胞の領域を決定することは、
   前記第１細胞領域に含まれる第１ノイズ領域を、領域の大きさに基づいて識別し、前記第１細胞領域から前記第１ノイズ領域を除去する第１ノイズ除去処理を行うこと、及び
   前記第２細胞領域に含まれる第２ノイズ領域を、領域の大きさに基づいて識別し、前記第１細胞領域から前記第２ノイズ領域を除去する第２ノイズ除去処理を行うこと
   を更に含み、
   前記合成画像の生成に用いられる前記第１細胞領域は、前記第１ノイズ領域が除去された前記第１細胞領域であり、
   前記合成画像の生成に用いられる前記第２細胞領域は、前記第２ノイズ領域が除去された前記第２細胞領域である
   請求項２〜６のいずれか１項に記載の方法。
8. 前記第１細胞画像及び前記第２細胞画像は、カラー画像であり、
   前記第１ノイズ除去処理は、カラー画像である前記第１細胞画像の赤画像、緑画像、及び青画像それぞれに対して行われ、
   前記第２ノイズ除去処理は、カラー画像である前記第２細胞画像の赤画像、緑画像、及び青画像それぞれに対して行われる
   請求項７記載の方法。
9. 前記細胞の領域を決定することは、前記細胞の領域に生じた穴に対して穴埋め処理を行うことを含む
   請求項１〜８のいずれか１項に記載の方法。
10. 前記細胞は、無染色の細胞である
    請求項１〜９のいずれか１項に記載の処理装置。
11. 前記細胞は、移植用細胞である
    請求項１〜９のいずれか１項に記載の処理装置。
12. 細胞撮像システムであって、
    第１観察法で細胞を撮像して第１細胞画像を生成し、前記第１観察法とは異なる第２観察法で前記細胞を撮像して第２細胞画像を生成するよう構成された撮像部と、
    画像処理を実行するよう構成された処理部と、
    を備え、
    前記画像処理は、
    前記第１細胞画像を前記撮像部から取得する処理、
    前記第２細胞画像を前記撮像部から取得する処理、及び
    前記第１細胞画像及び前記第２細胞画像に基づいて、前記細胞の領域を決定する処理
    を含む
    細胞撮像システム。
13. 前記撮像部は、
    前記第２細胞画像として暗視野像を得るために、前記細胞への光の照射用光学系及び前記細胞からの散乱光の受光用光学系を含む暗視野観察用光学系と、
    前記細胞の培養容器が設置される設置部と、
    を更に備え、
    前記照射用光学系は、前記設置部に設置された前記培養容器の底面側から光を照射するよう配置され、
    前記受光用光学系は、前記設置部に設置された前記培養容器の底面側で前記散乱光を受光するよう配置されている
    請求項１２に記載の細胞撮像システム。
14. 第１観察法で細胞を撮像した第１細胞画像を取得する処理、
    前記第１観察法とは異なる第２観察法で前記細胞を撮像した第２細胞画像を取得する処理、及び
    前記第１細胞画像及び前記第２細胞画像に基づいて、前記細胞の領域を決定する処理を含む画像処理を実行するよう構成された処理部を備える
    処理装置。
15. コンピュータに画像処理を実行させるコンピュータプログラムであって、
    前記画像処理は、
    第１観察法で細胞を撮像した第１細胞画像を取得する処理、
    前記第１観察法とは異なる第２観察法で前記細胞を撮像した第２細胞画像を取得する処理、及び
    前記第１細胞画像及び前記第２細胞画像に基づいて、前記細胞の領域を決定する処理
    を含む
    コンピュータプログラム。