(第1の実施形態)
以下、図面を参照しながら本発明の第1の実施形態について説明する。図1は本発明の第1の実施形態による分類モデル生成装置1の機能ブロック図の一例である。図2は、ノイズ推定部24の動作を説明するための説明図である。図3は、各特徴値の概要を示す図である。図4は、細胞オブジェクト記憶部72に記憶される情報の一例である。図5は、抽出条件記憶部74に記憶される情報の一例である。図6は、候補分類モデル記憶部76に記憶される情報の一例である。図7は、分類モデル記憶部80に記憶される情報の一例である。分類モデル生成装置1は、未知の細胞が撮像された撮像画像(以下、「未知属性撮像画像」という)である未知属性撮像画像、又は、未知属性撮像画像内の細胞を、細胞の形態的な特徴に基づいて属性毎に分類する分類モデルを生成する。
分類モデル生成装置1は、図1に示すように、入出力部10、細胞オブジェクト認識部20、分類モデル生成部30、細胞オブジェクト記憶部72、抽出条件記憶部74、候補分類モデル記憶部76及び分類モデル記憶部80を備える。細胞オブジェクト認識部20は、2値化処理部22、ノイズ推定部24及び細胞オブジェクト特徴量算出部26を備える。分類モデル生成部30は、特徴的オブジェクト抽出部32、候補分類モデル形成部34及び分類モデル決定部36を備える。
入出力部10は、既知の同一属性の複数の細胞が撮像された撮像画像(以下、「既知同一属性撮像画像」という)を、当該細胞に係る属性情報とともに外部から取得し、細胞オブジェクト認識部20の2値化処理部22に出力する。属性情報は、当該細胞の名称、培養条件等を含む情報である。従って、既知同一属性撮像画像内に撮像されている細胞は、名称、培養条件等が全て同一の細胞である。既知同一属性撮像画像の取得元である外部は、例えば、インキュベータ311であるが、インキュベータ311については後述する。
また、入出力部10は、既知同一属性撮像画像を、属性情報及び撮像条件情報とともに外部から取得し、2値化処理部22に出力してもよい。撮像条件情報は、観察倍率や顕微鏡の光学系の収差、容器内の観察地点等を含む情報である。
細胞オブジェクト認識部20は、既知同一属性撮像画像内の個々の細胞の撮像領域を細胞オブジェクトとして認識する。つまり、細胞オブジェクト認識部20の2値化処理部22が、既知同一属性撮像画像を2値化処理し、細胞オブジェクト認識部20のノイズ推定部24が、2値化処理後のデータ(以下、「2値化データ」という)から得られる全オブジェクトのなかからノイズに係るオブジェクト(以下、「ノイズオブジェクト」という)を推定し、細胞オブジェクト特徴量算出部26が、ノイズオブジェクト以外のオブジェクト(即ち、細胞オブジェクト)を認識する。以下、2値化処理部22、ノイズ推定部24及び細胞オブジェクト特徴量算出部26について順に説明する。
2値化処理部22は、入出力部10から取得した既知同一属性撮像画像を所定の閾値によって2値化処理する。上記所定の閾値は、細胞の種類に応じたものであってもよい。例えば、2値化処理部22は、他の領域に比べて細胞の領域が黒めに撮像される既知同一属性撮像画像において、培養容器に固着する細胞である接着系細胞が撮像された場合、1つの閾値を用いて既知同一属性撮像画像を2値化処理する。より詳細には、2値化処理部22は、1つの閾値として画素値84を用いて、画素値84未満の領域を細胞の領域(例えば反転させて白)、画素値84以上の領域を細胞以外の領域(例えば反転させて黒)とする。また、例えば、2値化処理部22は、他の領域に比べて細胞の領域が黒めに撮像される既知同一属性撮像画像において、培養容器に固着せずに培養液中を浮遊する細胞である浮遊系細胞が撮像された場合、2つの閾値を用いて既知同一属性撮像画像を2値化処理する。より詳細には、2値化処理部22は、2つの閾値として画素値80、149を用いて、画素値80以上149未満の領域を細胞の領域(例えば反転させて白)、画素値80未満又は149以上の領域を細胞以外の領域(例えば反転させて黒)とする。なお、2値化処理部22は、既知同一属性撮像画像内に撮像されている細胞が、接着系細胞であるか浮遊系細胞であるかを示す情報を、入出力部10を介してインキュベータ311から取得し、上記閾値を決定してよい。
既知同一属性撮像画像を2値化処理した2値化処理部22は、入出力部10から取得した属性情報とともに、2値化データをノイズ推定部24に出力する。なお、2値化処理部22は、入出力部10から撮像条件情報を取得した場合には、属性情報及び撮像条件情報とともに、2値化データをノイズ推定部24に出力する。
ノイズ推定部24は、2値化処理部22から取得した2値化データから得られる全オブジェクトのなかからノイズオブジェクトを推定する。以下、ノイズ推定部24によるノイズオブジェクトの推定方法について説明する。ノイズ推定部24は、まず、2値化処理部22から取得した2値化データから得られる各オブジェクトのオブジェクトサイズを測定する。
各オブジェクトのオブジェクトサイズを測定したノイズ推定部24は、各オブジェクトのオブジェクトサイズの合計値に対する、一のオブジェクトサイズ迄のオブジェクトサイズの累積値の度数である累積度を算出する。例えば、ノイズ推定部24は、図2(a)に示すように、累積度分布を生成する。図2(a)に示す累積度分布において、X軸方向は単位をピクセルとするオブジェクトサイズ、Y軸方向は単位を百分率とする累積度である。
累積度を算出したノイズ推定部24は、算出した累積度の微分値に基づいて、ノイズオブジェクトを推定する。例えば、ノイズ推定部24は、図2(b)に示すように、図2(a)に示す累積度分布の微分値(傾き)を算出し、当該微分値に基づいて、ノイズオブジェクトを推定する。具体的には、ノイズ推定部24は、微分値の極小値を探索し、該極小値または該極小値の近傍を閾値として決定する。例えば、ノイズ推定部24は、極小値(図2(b)において値A)、または、極小値の近傍の値であって極小値よりも小さい値(図2(b)において値(A−α))から極小値の近傍の値であって極小値よりも大きい値(図2(b)において値(A+α))の範囲内の値を閾値として決定する。なお、経験上、閾値は、極小値の近傍の値であって極小値よりも小さい値とすることが好ましい。
ノイズ推定部24は、オブジェクトサイズが該閾値未満であるオブジェクトをノイズオブジェクトとして推定する。若しくは、ノイズ推定部24は、オブジェクトサイズが該閾値未満であるオブジェクトにノイズオブジェクトである旨のラベルを付与し、オブジェクトサイズが該閾値以上であるオブジェクトに細胞オブジェクトである旨のラベルを付与する。
なお、図2(a)(b)の上部の「noise」「sell」の語は、値(A−α)以下のオブジェクトサイズでは、オブジェクトサイズが小さければ小さいほどノイズオブジェクトである可能性が高く、値(A+α)以上のオブジェクトサイズでは、オブジェクトサイズが大きければ大きいほど細胞オブジェクトである可能性が高いことを表したものである。
2値化データから得られる全オブジェクトのなかからノイズオブジェクトを推定したノイズ推定部24は、属性情報とともに、2値化データ、及び、ノイズ推定部24による推定結果を示す情報(以下、「推定結果情報」という)を細胞オブジェクト特徴量算出部26に出力する。推定結果情報の一例は、ノイズオブジェクトの領域を示す情報、または、ノイズオブジェクトまたは細胞オブジェクトの何れかである旨のラベルが付与された各オブジェクトの領域を示す情報である。なお、ノイズ推定部24は、2値化処理部22から撮像条件情報を取得した場合には、属性情報及び撮像条件情報とともに、2値化データ及び推定結果情報を細胞オブジェクト特徴量算出部26に出力する。
なお、ノイズ推定部24は、最急降下法などの極値探索法を用いて、微分値の極小値を探索してもよいが、オブジェクトサイズが所定値以上の範囲において微分値の極小値を探索してもよい。具体的には、複数枚の数種類の画像を比較検証した結果から、所定値以上の範囲は、100pixel以上とすると好適である。
また、ノイズ推定部24は、累積度を構成するオブジェクトサイズ及び累積値の各点のうち、所定間隔の2点を用いて微分値を算出してもよい。例えば、ノイズ推定部24は、累積度分布の微分を点、即ち、傾きを算出する点を10点間隔としてもよい。
細胞オブジェクト特徴量算出部26は、ノイズ推定部24から取得した2値化データ及び推定結果情報に基づいて、当該2値化データから得られる全オブジェクトのなかからノイズオブジェクトを除去する。換言すれば、細胞オブジェクト特徴量算出部26は、ノイズ推定部24から取得した2値化データから、ノイズオブジェクト以外の個々の細胞オブジェクトを認識する。
続いて、細胞オブジェクト特徴量算出部26は、認識した個々の細胞オブジェクトの形態的特徴量を算出する。一例として、細胞オブジェクト特徴量算出部26は、各細胞オブジェクトについて以下の15種類の形態的特徴量をそれぞれ算出する。
・Total area(図3の(a)参照)
「Total area」は、注目する細胞の面積を示す値である。例えば、細胞オブジェクト特徴量算出部26は、注目する細胞の領域の画素数に基づいて「Total area」の値を算出することができる。
・Hole area(図3の(b)参照)
「Hole area」は、注目する細胞内のHoleの面積を示す値である。ここで、Holeは、コントラストによって、細胞内における画像の明るさが閾値以上となる部分(位相差観察では白に近い状態となる箇所)を指す。例えば、細胞内小器官のリソソームなどがHoleとして検出される。また、画像によっては、細胞核や、他の細胞小器官がHoleとして検出されうる。なお、細胞オブジェクト特徴量算出部26は、細胞内における輝度値が閾値以上となる画素のまとまりをHoleとして検出し、このHoleの画素数に基づいて「Hole area」の値を算出すればよい。
・relative hole area(図3の(c)参照)
「relative hole area」は、「Hole area」の値を「Total area」の値で除した値である(relative hole area=Hole area/Total area)。この「relative hole area」は、細胞の大きさにおける細胞内小器官の割合を示すパラメータであって、例えば細胞内小器官の肥大化や核の形の悪化などに応じてその値が変動する。
・Perimeter(図3(d)参照)
「Perimeter」は、注目する細胞の外周の長さを示す値である。例えば、細胞オブジェクト特徴量算出部26は、細胞を抽出するときの輪郭追跡処理により「Perimeter」の値を取得することができる。
・Width(図3の(e)参照)
「Width」は、注目する細胞の画像横方向(X方向)での長さを示す値である。
・Height(図3の(f)参照)
「Height」は、注目する細胞の画像縦方向(Y方向)での長さを示す値である。
・Length(図3の(g)参照)
「Length」は、注目する細胞を横切る線のうちの最大値(細胞の全長)を示す値である。
・Breadth(図3の(h)参照)
「Breadth」は、「Length」に直交する線のうちの最大値(細胞の横幅)を示す値である。
・Fiber Length(図3の(i)参照)
「Fiber Length」は、注目する細胞を擬似的に線状と仮定した場合の長さを示す値である。細胞オブジェクト特徴量算出部26は、下記式(1)により「Fiber Length」の値を算出する。
但し、本明細書の式中において「P」はPerimeterの値を示す。同様に「A」はTotal Areaの値を示す。
・Fiber Breadth(図3の(j)参照)
「Fiber Breadth」は、注目する細胞を擬似的に線状と仮定した場合の幅(Fiber Lengthと直交する方向の長さ)を示す値である。細胞オブジェクト特徴量算出部26は、下記式(2)により「Fiber Breadth」の値を算出する。
・Shape Factor(図3の(k)参照)
「Shape Factor」は、注目する細胞の円形度(細胞の丸さ)を示す値である。細胞オブジェクト特徴量算出部26は、下記式(3)により「Shape Factor」の値を算出する。
・Elliptical form Factor(図3の(l)参照)
「Elliptical form Factor」は、「Length」の値を「Breadth」の値で除した値(Elliptical form Factor=Length/Breadth)であって、注目する細胞の細長さの度合い(楕円形度)を示すパラメータとなる。
・Inner radius(図3の(m)参照)
「Inner radius」は、注目する細胞の内接円の半径を示す値である。
・Outer radius(図3の(n)参照)
「Outer radius」は、注目する細胞の外接円の半径を示す値である。
・Mean radius(図3の(o)参照)
「Mean radius」は、注目する細胞の輪郭を構成する全点とその重心点との平均距離を示す値である。
・Equivalent radius(図3の(p)参照)
「Equivalent radius」は、注目する細胞と同面積の円の半径を示す値である。この「Equivalent radius」のパラメータは、注目する細胞を仮想的に円に近似した場合の大きさを示している。
ここで、細胞オブジェクト特徴量算出部26は、細胞に対応する画素数に誤差分を加味して上記の各形態的特徴量を算出してもよい。このとき、細胞オブジェクト特徴量算出部26は、顕微鏡画像の撮像条件(観察倍率や顕微鏡の光学系の収差等)を考慮して形態的特徴量を算出するようにしてもよい。なお、「Inner radius」、「Outer radius」、「Mean radius」、「Equivalent radius」を算出するときには、細胞オブジェクト特徴量算出部26は、公知の重心演算の手法に基づいて各細胞の重心点を求め、この重心点を基準にして各パラメータを算出すればよい。
個々の細胞オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部26は、属性情報に対応付けて、個々の細胞オブジェクトの形態的特徴量を細胞オブジェクト記憶部72に記憶する。なお、細胞オブジェクト特徴量算出部26は、ノイズ推定部24から撮像条件情報を取得した場合には、属性情報及び撮像条件情報に対応付けて、個々の細胞オブジェクトの形態的特徴量を細胞オブジェクト記憶部72に記憶する。
細胞オブジェクト記憶部72は、種々の属性の細胞を撮像した複数の既知同一属性撮像画像から認識された細胞オブジェクトに関する情報を記憶する。具体的には、細胞オブジェクト記憶部72は、図4に示すように、既知同一属性撮像を識別する画像IDに対応付けて、属性情報、撮像条件情報、及び、個々の細胞オブジェクトの形態的特徴量を記憶する。例えば、図4に示す例において、細胞オブジェクト記憶部72は、画像ID「P001」に対応付けて、名称「A」、培養条件「○○」、活性「××」を含む属性情報、観察倍率「X倍」を含む撮像条件情報、及び、N1個の細胞オブジェクトの形態的特徴量を記憶している。
抽出条件記憶部74は、特徴的オブジェクト抽出部32が細胞オブジェクト記憶部72のなかから分類モデルの候補となるモデル(以下、「候補分類モデル」という)の生成に用いる特徴的なオブジェクト(以下、「特徴的オブジェクト」という)を抽出するときの抽出条件を記憶する。例えば、抽出条件記憶部74は、図5に示すように、個々の細胞オブジェクトが有する複数の形態的特徴量に係る抽出条件情報を記憶する。図5に示す例では、抽出条件記憶部74は、抽出条件1として「面積が平均値より上位25%を抽出」、抽出条件2として「面積が平均値より下位25%を抽出」、…、抽出条件5として「幅が平均値より上位25%を抽出」、抽出条件6として「幅が平均値より下位25%を抽出」を記憶している。
なお、抽出条件記憶部74は、図5に示す例においては、「面積」「長さ」「幅」の3種類の形態的特徴量に係る抽出条件を記憶しているが、細胞オブジェクト記憶部72に記憶されている形態的特徴量に対応する全ての形態的特徴量に係る抽出条件を記憶することが好ましい。
また、図5に示す抽出条件は、平均値を基準値としているが、例えば、最大値、中央値などの平均値以外の値を基準としてもよい。また、図5に示す抽出条件は、所定範囲内を規定する値を25%としているが、25%以外の値であってもよい。また例えば、図5に示す抽出条件は、例えば、抽出条件1と抽出条件2に示すように、同一の形態的特徴量については、所定範囲内を規定する値は同一の値であるが、例えば、抽出条件1として「面積が平均値より上位20%を抽出」、抽出条件2として「面積が平均値より下位30%を抽出」というように、同一の形態的特徴量について、所定範囲内を規定する値が異なる値であってもよい。また例えば、図5に示す抽出条件は、例えば、何れの形態的特徴量についても、所定範囲内を規定する値は同一の値であるが、例えば、抽出条件1として「面積が平均値より上位20%を抽出」、抽出条件5として「幅が平均値より上位30%を抽出」というように、異なる形態的特徴量について、所定範囲内を規定する値が異なる値であってもよい。
分類モデル生成部30は、細胞オブジェクトの形態的特徴量及び細胞オブジェクトとして認識された細胞の属性に基づいて、分類モデルを生成する。つまり、分類モデル生成部30の特徴的オブジェクト抽出部32が、細胞オブジェクト記憶部72に記憶されている細胞オブジェクトのなかから所定の形態的特徴量を有する細胞オブジェクトを特徴的オブジェクトとして抽出し、分類モデル生成部30の候補分類モデル形成部34が、特徴的オブジェクトの形態的特徴量及び特徴的オブジェクトとして認識された細胞の属性から複数の候補分類モデルを形成し、分類モデル決定部36が複数の候補分類モデルのなかから分類モデルを決定する。以下、特徴的オブジェクト抽出部32、候補分類モデル形成部34及び分類モデル決定部36について順に説明する。
特徴的オブジェクト抽出部32は、基準値から所定範囲内の値の形態的特徴量を有する細胞オブジェクトを特徴的オブジェクトとして抽出する。具体的には、特徴的オブジェクト抽出部32は、抽出条件記憶部74に記憶されている抽出条件に従って、細胞オブジェクト記憶部72に記憶されている複数の細胞オブジェクトのなかからに特徴的オブジェクトを抽出する。より詳細には、特徴的オブジェクト抽出部32は、抽出条件記憶部74に記憶されている抽出条件を順次に変えて、細胞オブジェクト記憶部72に記憶されている複数の細胞オブジェクトのなかから、抽出条件毎に特徴的オブジェクトを抽出する。
特徴的オブジェクト抽出部32が特徴的オブジェクトを抽出する態様は、種々の態様が考えられる。例えば、細胞オブジェクト記憶部72に図4に示すN1個の細胞オブジェクト、N2個の細胞オブジェクト、N3個の細胞オブジェクトのみが記憶され、抽出条件記憶部74に図5に示す抽出条件情報が記憶されている場合を例に、幾つかの抽出態様を説明する。
(第1の抽出態様)
特徴的オブジェクト抽出部32は、まず、(N1+N2+N3)個の細胞オブジェクトの面積の平均値、長さの平均値及び幅の平均値を算出する。次いで、特徴的オブジェクト抽出部32は、(N1+N2+N3)個の細胞オブジェクトのなかから、面積に関する抽出条件である抽出条件1又2の何れか一方の抽出条件を満たし、かつ、長さに関する抽出条件である抽出条件3又4の何れか一方の抽出条件を満たし、かつ、幅に関する抽出条件である抽出条件5又6の何れか一方の抽出条件を満たす細胞オブジェクトを特徴的オブジェクトとして抽出する。例えば、特徴的オブジェクト抽出部32は、(N1+N2+N3)個の細胞オブジェクトのなかから、面積が平均値〜平均値より25%大きい値の範囲内(抽出条件1)であって、かつ、長さが平均値〜平均値より25%小さい値の範囲内(抽出条件4)であって、かつ、幅が平均値〜平均値より25%大きい値の範囲内(抽出条件5)である細胞オブジェクトを特徴的オブジェクトとして抽出する。なお、上記のAND条件(即ち「かつ」)をOR(即ち「または」)としてもよい。第1の抽出態様においては、細胞オブジェクトから特徴的オブジェクトを抽出するパターン数は、2の{形態的特徴量数}乗パターンである。例えば、上記例の場合、形態的特徴量は3であるため8パターンである。
(第2の抽出態様)
特徴的オブジェクト抽出部32は、抽出条件1に従って、(N1+N2+N3)個の細胞オブジェクトの面積の平均値を算出し、(N1+N2+N3)個の細胞オブジェクトのなかから、面積が平均値〜平均値より25%大きい値の範囲内にある細胞オブジェクトを特徴的オブジェクトとして抽出する。抽出条件2〜抽出条件6の場合も同様である。第2の抽出態様においては、細胞オブジェクトから特徴的オブジェクトを抽出するパターン数は、2×{形態的特徴量数}パターンである。例えば、上記例の場合、形態的特徴量は3であるため6パターンである。
(第3の抽出態様)
特徴的オブジェクト抽出部32は、抽出条件1〜6のうち予め定めた抽出条件1に従って、N1個、N2個、N3個の細胞オブジェクトの面積の平均値を算出し、N1個の細胞オブジェクトのなかから、面積が平均値〜平均値より25%大きい値の範囲内にある細胞オブジェクトを特徴的オブジェクトとして抽出し、N2個の細胞オブジェクトのなかから、面積が平均値〜平均値より25%大きい値の範囲内にある細胞オブジェクトを特徴的オブジェクトとして抽出し、N3個の細胞オブジェクトのなかから、面積が平均値〜平均値より25%大きい値の範囲内にある細胞オブジェクトを特徴的オブジェクトとして抽出してもよい。抽出条件2〜6を用いる場合も同様である。第3の抽出態様においては、細胞オブジェクトから特徴的オブジェクトを抽出するパターン数は、2×{画像数}乗パターンである。例えば、上記例の場合、画像数は3であるため8パターンである。
なお、抽出態様1、2、3の説明において、特徴的オブジェクト抽出部32は、抽出条件1に従って、面積が平均値〜平均値より25%大きい値の範囲内にある細胞オブジェクトを特徴的オブジェクトとして抽出しているが、特徴的オブジェクト抽出部32は、抽出条件1に従って、(N1+N2+N3)個の細胞オブジェクトの面積の平均値を算出し、(N1+N2+N3)個の細胞オブジェクトのうちの面積が平均値以上の細胞オブジェクトを母集団とし、母集団のうち面積が小さい方から25%以内の細胞オブジェクトを特徴的オブジェクトとして抽出してもよい。また、特徴的オブジェクト抽出部32は、母集団のうち面積が小さい方から((N1+N2+N3)/4)個迄に含まれる細胞オブジェクトを特徴的オブジェクトとして抽出してもよい。抽出条件2〜抽出条件6についても同様である。
特徴的オブジェクト抽出部32は、細胞オブジェクト記憶部72に記憶されている細胞オブジェクトのなかから特徴的オブジェクトを抽出した場合、夫々の特徴的オブジェクトの属性情報及び形態的特徴量を候補分類モデル形成部34に出力する。例えば、特徴的オブジェクト抽出部32は、抽出条件を変えて特徴的オブジェクトを抽出する都度、夫々の抽出条件に応じて抽出した特徴的オブジェクトの属性情報及び形態的特徴量を候補分類モデル形成部34に出力する。
候補分類モデル形成部34は、特徴的オブジェクトの形態的特徴量及び特徴的オブジェクトとして認識された前記細胞の属性、つまり、特徴的オブジェクト抽出部32から取得した特徴的オブジェクトの属性情報及び形態的特徴量を用いて候補分類モデルを形成(生成)する。
以下、候補分類モデル形成部34による候補分類モデルの形成方法について説明する。候補分類モデル形成部34は、特徴的オブジェクト抽出部32から取得した特徴的オブジェクトから得られる形態的特徴量に係る分類基準(形態的特徴量の種類及び閾値)を設定し、候補分類モデルを形成する。換言すれば、候補分類モデル形成部34は、候補分類モデルを構成する分類基準(形態的特徴量の種類及び閾値)を、特徴的オブジェクトから得られる形態的特徴量のなかから設定(選択)することによって、候補分類モデルを形成する。
図6に示す1番目及びM番目の候補分類モデルは、候補分類モデル形成部34が上述の如く形成した候補分類モデルの一例である。1番目の候補分類モデルは、候補分類モデル形成部34によって、第1段階目の分類基準(形態的特徴量「長さ」及び閾値「12」)、第2段階目の分類基準(形態的特徴量「丸さ」及び閾値「0.7」)が設定された候補分類モデル、M番目の候補分類モデルは、候補分類モデル形成部34によって、第1段階目の分類基準(形態的特徴量「丸さ」及び閾値「12」)、第2段階目の分類基準(形態的特徴量「幅」及び「1.2」)が設定された候補分類モデルである。候補分類モデル形成部34は、形成した各候補分類モデルを候補分類モデル記憶部76に記憶する。なお、図6に示すような多段階に分類基準が設定された候補分類モデルは、未知属性撮像画像、又は、未知属性撮像画像内の細胞を段階的に分類するが、段階的に分類する候補分類モデルの形成方法については後述する。
なお、候補分類モデル形成部34は、候補分類モデルの各枝に、細胞の分類先を示す分類先ID(分類インデックスとも称する)を設定する。各分類先IDは、細胞の属性情報に対応するものである。従って、未知属性撮像画像又は未知属性撮像画像内の細胞の分類先IDから、当該未知属性撮像画像又は未知属性撮像画像内の細胞の属性情報を得ることができる。なお、図6において、1番目の候補分類モデル及びM番目の候補分類モデルにおいて、分類先ID「N0001」は、図4の名称「A」、培養条件「○○」、活性「××」を含む属性情報と対応し、分類先ID「N0002」は、名称「B」、培養条件「△△」、活性「□□」を含む属性情報と対応し、分類先ID「N0003」は、名称「C」、培養条件「◎◎」、活性「□□」を含む属性情報と対応している。分類先IDと属性とを対応させるために、細胞オブジェクト特徴量算出部26は、新たな属性情報(属性情報及び撮像条件情報)に対応付けて、個々の細胞オブジェクトの形態的特徴量を細胞オブジェクト記憶部72に記憶する際に、分類先IDを採番し、属性情報(属性情報及び撮像条件情報)に対応付けて採番した分類先IDを記憶するようにしてもよい。
以下、段階的に細胞オブジェクトの属性を分類する候補分類モデルの形成方法について説明する。候補分類モデル形成部34は、決定木法に基づいた変数選択に候補分類モデルを形成する。例えば、Aという属性の10個の特徴的オブジェクト、Bという属性の10個の特徴的オブジェクト、Cという属性の10個の特徴的オブジェクトが与えられ、各特徴的オブジェクトの形態的特徴量(次元)は15種類(特徴量1、特徴量2、…、特徴量15)であったとした場合、候補分類モデル形成部34は、まず、特徴量1の値を最小〜最大まで順次増加させていき、A、B、Cの3種類の特徴的オブジェクトが、最もよく分類されたときの特徴量1の値を特定する。
例えば、候補分類モデル形成部34は、特徴量1のある値において、あるノード(枝先)に、特徴的オブジェクトAが10個中9個、特徴的オブジェクトBが10個中1個、特徴的オブジェクトCが10個中1個あるとき、当該ノードの分類精度を90%と算出する。同様に、候補分類モデル形成部34は、特徴量1の当該値において、全てのノードの分類精度を算出する。各ノードの分類精度は、各ノードに各特徴的オブジェクトが振り分けられたときに高くなるため、候補分類モデル形成部34は、特徴量1の当該値における、全ノードの平均の分類精度を算出する。同様に、候補分類モデル形成部34は、特徴量1の値を増加させて、各特徴量1の値における、全ノードの平均分類精度を算出する。そして、候補分類モデル形成部34は、A、B、Cの3種類の特徴的オブジェクトが最もよく分類されたときの特徴量1の値として、全ノードの平均分類精度が最も高い特徴量1の値を特定する。
同様に、候補分類モデル形成部34は、全ノードの平均分類精度が最も高い特徴量2の値、特徴量3の値、…、特徴量15の値を特定する。そして、候補分類モデル形成部34は、特定した特徴量1の値、特徴量2の値、…、特徴量15の値のなかから、候補分類モデルにおける第1段階のルールとして、全ノードの平均分類精度が最も高いものを選択する。以下同様に、候補分類モデル形成部34は、第2段階の以降のルールを選択する。
分類モデル決定部36は、細胞オブジェクト記憶部72に記憶されている細胞オブジェクトを各候補分類モデルに投入し、各候補分類モデルの分類精度を評価する。なお、分類モデル決定部36は、既知同一属性撮像画像を各候補分類モデルに投入し、各候補分類モデルの分類精度を評価してもよい。また、分類モデル決定部36は、最も精度が高い候補分類モデルを以降の分類に用いる分類モデルとして決定し、分類モデル記憶部80に記憶する。例えば、分類モデル決定部36は、図7に示すように、決定した分類モデルとともに、算出した分類精度の評価値を分類モデル記憶部80に記憶してもよい。
なお、特徴的オブジェクト抽出部32による特徴的オブジェクトの抽出、候補分類モデル形成部34による候補分類モデルの形成、分類モデル決定部36による分類モデルの決定の関係については、例えば、図1において矢印は省略しているが、以下のように実現すればよい。
細胞オブジェクト特徴量算出部26は、細胞オブジェクト記憶部72に形態的特徴量を記憶した後に、形態的特徴量を記憶した旨を候補分類モデル形成部34に通知する。候補分類モデル形成部34は、細胞オブジェクト特徴量算出部26から細胞オブジェクト記憶部72に形態的特徴量を記憶した旨の通知を取得した場合、特徴的オブジェクト抽出部32に抽出を要求する。
特徴的オブジェクト抽出部32は、候補分類モデル形成部34から抽出を要求された場合、未だ、全抽出パターンに従って特徴的オブジェクトを抽出していないときは、未抽出パターンに従って特徴的オブジェクトを抽出し、候補分類モデル形成部34に出力する。一方、特徴的オブジェクト抽出部32は、既に、全抽出パターンに従って特徴的オブジェクトを抽出していたときは、抽出が完了した旨を候補分類モデル形成部34に通知する。
候補分類モデル形成部34は、特徴的オブジェクト抽出部32から特徴的オブジェクトを取得した場合、候補分類モデルを形成し、候補分類モデル記憶部76に記憶するとともに、特徴的オブジェクト抽出部32に再度、抽出を要求する。一方、候補分類モデル形成部34は、特徴的オブジェクト抽出部32から抽出が完了した旨の通知を取得した場合、分類モデル決定部36に分類モデルの決定を要求する。分類モデル決定部36は、候補分類モデル形成部34から分類モデルの決定を要求された場合、候補分類モデルを評価して、分類モデルを決定する。
以下、インキュベータ311について説明する。図8は、分類モデル生成装置1と接続するインキュベータ311の一例である。図9、図10は、インキュベータ311の正面図である。
インキュベータ311は、上部ケーシング312と下部ケーシング313とを有している。インキュベータ311の組立状態において、上部ケーシング312は下部ケーシング313の上に載置される。なお、上部ケーシング312と下部ケーシング313との内部空間は、ベースプレート314によって上下に仕切られている。
まず、上部ケーシング312の構成の概要を説明する。上部ケーシング312の内部には、細胞の培養を行う恒温室315が形成されている。この恒温室315は温度調整装置315a及び湿度調整装置315bを有しており、恒温室315内は細胞の培養に適した環境(例えば温度37℃、湿度90%の雰囲気)に維持されている(なお、図9、図10での温度調整装置315a、湿度調整装置315bの図示は省略する)。
恒温室315の前面には、大扉316、中扉317、小扉318が配置されている。大扉316は、上部ケーシング312及び下部ケーシング313の前面を覆っている。中扉317は、上部ケーシング312の前面を覆っており、大扉316の開放時に恒温室315と外部との環境を隔離する。小扉318は、細胞を培養する培養容器319を搬出入するための扉であって、中扉317に取り付けられている。この小扉318から培養容器319を搬出入することで、恒温室315の環境変化を抑制することが可能となる。なお、大扉316、中扉317、小扉318は、パッキンP1,P2,P3によりそれぞれ気密性が維持されている。
また、恒温室315には、ストッカー321、観察ユニット322、容器搬送装置323、搬送台324が配置されている。ここで、搬送台324は、小扉318の手前に配置されており、培養容器319を小扉318から搬出入する。
ストッカー321は、上部ケーシング312の前面(図10の下側)からみて恒温室315の左側に配置される。ストッカー321は複数の棚を有しており、ストッカー321の各々の棚には培養容器319を複数収納することができる。なお、各々の培養容器319には、培養の対象となる細胞が培地とともに収容されている。
観察ユニット322は、上部ケーシング312の前面からみて恒温室315の右側に配置される。この観察ユニット322は、培養容器319内の細胞のタイムラプス観察を実行することができる。
ここで、観察ユニット322は、上部ケーシング312のベースプレート314の開口部に嵌め込まれて配置される。観察ユニット322は、試料台331と、試料台331の上方に張り出したスタンドアーム332と、位相差観察用の顕微光学系及び撮像装置334を内蔵した本体部分333とを有している。そして、試料台331及びスタンドアーム332は恒温室315に配置される一方で、本体部分333は下部ケーシング313内に収納される。
試料台331は透光性の材質で構成されており、その上に培養容器319を載置することができる。この試料台331は水平方向に移動可能に構成されており、上面に載置した培養容器319の位置を調整できる。また、スタンドアーム332にはLED光源335が内蔵されている。そして、撮像装置334は、スタンドアーム332によって試料台331の上側から透過照明された培養容器319の細胞を、顕微光学系を介して撮像することで細胞の顕微鏡画像を取得できる。
容器搬送装置323は、上部ケーシング312の前面からみて恒温室315の中央に配置される。この容器搬送装置323は、ストッカー321、観察ユニット322の試料台331及び搬送台324との間で培養容器319の受け渡しを行う。
図10に示すように、容器搬送装置323は、多関節アームを有する垂直ロボット334と、回転ステージ335と、ミニステージ336と、アーム部337とを有している。回転ステージ335は、垂直ロボット334の先端部に回転軸335aを介して水平方向に180°回転可能に取り付けられている。そのため、回転ステージ335は、ストッカー321、試料台331及び搬送台324に対して、アーム部337をそれぞれ対向させることができる。
また、ミニステージ336は、回転ステージ335に対して水平方向に摺動可能に取り付けられている。ミニステージ336には培養容器319を把持するアーム部337が取り付けられている。
次に、下部ケーシング313の構成の概要を説明する。下部ケーシング313の内部には、観察ユニット322の本体部分333や、インキュベータ311の制御装置341が収納されている。
制御装置341は、温度調整装置315a、湿度調整装置315b、観察ユニット322及び容器搬送装置323とそれぞれ接続されている。この制御装置341は、所定のプログラムに従ってインキュベータ311の各部を統括的に制御する。
一例として、制御装置341は、CPU342及び記憶部343を有し、温度調整装置315a及び湿度調整装置315bをそれぞれ制御して恒温室315内を所定の環境条件に維持する。また、制御装置341は、所定の観察スケジュールに基づいて、観察ユニット322及び容器搬送装置323を制御して、培養容器319の観察シーケンスを自動的に実行する。
記憶部343は、ハードディスクや、フラッシュメモリ等の不揮発性の記憶媒体などで構成される。この記憶部343には、ストッカー321に収納されている各培養容器319に関する管理データと、撮像装置で撮像された顕微鏡画像のデータとが記憶されている。さらに、記憶部343には、CPU342によって実行されるプログラムが記憶されている。
なお、上記の管理データには、(a)個々の培養容器319を示すインデックスデータ、(b)ストッカー321での培養容器319の収納位置、(c)培養容器319の種類及び形状(ウェルプレート、ディッシュ、フラスコなど)、(d)培養容器319で培養されている細胞の種類、(e)培養容器319の観察スケジュール、(f)タイムラプス観察時の撮像条件(対物レンズの倍率、容器内の観察地点等)、などが含まれている。また、ウェルプレートのように複数の小容器で同時に細胞を培養できる培養容器319については、各々の小容器ごとにそれぞれ管理データが生成される。
以下、フローチャートを用いて、分類モデル生成装置1の動作を説明する。図11は、分類モデル生成装置1の動作の一例を示すフローチャートである。図12は、ノイズ推定部24の動作の一例を示すフローチャートである。図11において、入出力部10は、外部から属性情報、撮像条件情報及び既知同一属性撮像画像を取得する(ステップS112)。入出力部10は、外部から取得した属性情報、撮像条件情報及び既知同一属性撮像画像を2値化処理部22に出力する。
2値化処理部22は、入出力部10から取得した既知同一属性撮像画像を所定の閾値によって2値化処理する(ステップS114)。2値化処理部22は、属性情報及び撮像条件情報とともに2値化データをノイズ推定部24に出力する。
ノイズ推定部24は、2値化処理部22から2値化データを取得し、取得した2値化データから得られる全オブジェクトのなかからノイズオブジェクトを推定する(ステップS120)。具体的には、ノイズ推定部24は、図12に示す各動作を実行する。
図12において、ノイズ推定部24は、2値化処理部22から2値化データを取得する(ステップS121)。次いで、ノイズ推定部24は、当該2値化データから得られる各オブジェクトのオブジェクトサイズを測定する(ステップS122)。次いで、ノイズ推定部24は、各オブジェクトのオブジェクトサイズの合計値に対する、一のオブジェクトサイズ迄のオブジェクトサイズの累積値の度数を表す累積度分布を生成する(ステップS123)。
次いで、ノイズ推定部24は、該累積度分布において、所定値以上の範囲内における所定間隔の各2点の傾き(微分値)の極小値を探索する(ステップS124)。次いで、ノイズ推定部24は、該極小値の近傍の値であって該極小値よりも小さい値を閾値として決定する(ステップS125)。次いで、ノイズ推定部24は、オブジェクトサイズが該閾値未満であるオブジェクトをノイズオブジェクトとして推定する(ステップS126)。ノイズ推定部24は、属性情報及び撮像条件情報とともに2値化データ及び推定結果情報を細胞オブジェクト特徴量算出部26に出力する。そして、図12に示すフローチャートは終了する。
図11に戻り、ノイズ推定部24から属性情報及び撮像条件情報とともに2値化データ及び推定結果情報を取得した細胞オブジェクト特徴量算出部26は、ノイズ推定部24から取得した2値化データ及び推定結果情報に基づいて、当該2値化データから得られる全オブジェクトのなかからノイズオブジェクトを除去する(ステップS130)。換言すれば、細胞オブジェクト特徴量算出部26は、ノイズ推定部24から取得した2値化データから、ノイズオブジェクト以外の個々の細胞オブジェクトを認識する(ステップS130)。
次いで、細胞オブジェクト特徴量算出部26は、認識した個々の細胞オブジェクトの形態的特徴量を算出する(ステップS132)。個々の細胞オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部26は、属性情報及び撮像条件情報に対応付けて、算出した個々の細胞オブジェクトの形態的特徴量を細胞オブジェクト記憶部72に記憶する(ステップS134)。
入出力部10は、既知同一属性撮像画像等の取得を終了したか否かを判断する(ステップS136)。入出力部10は、例えば、インキュベータ311から既知同一属性撮像画像等の出力が終了した旨を示す通知、または、分類モデルを生成すべき旨を示す通知を取得した場合に、既知同一属性撮像画像等の取得を終了したと判断する。入出力部10が既知同一属性撮像画像等の取得を終了していないと判断した場合(ステップS136:No)、ステップS112に戻る。
一方、入出力部10が既知同一属性撮像画像等の取得を終了したと判断した場合(ステップS136:Yes)、細胞オブジェクト特徴量算出部26は、形態的特徴量を記憶した旨を候補分類モデル形成部34に通知する。形態的特徴量を記憶した旨の通知を取得した候補分類モデル形成部34は、特徴的オブジェクト抽出部32に抽出を要求する。抽出を要求された特徴的オブジェクト抽出部32は、一の抽出パターンに従って、細胞オブジェクト記憶部72に記憶されている細胞オブジェクトから特徴的オブジェクトを抽出する(ステップS142)。特徴的オブジェクトを抽出した特徴的オブジェクト抽出部32は、夫々の特徴的オブジェクトの属性情報及び形態的特徴量を候補分類モデル形成部34に出力する。
夫々の特徴的オブジェクトの属性情報及び形態的特徴量を取得した候補分類モデル形成部34は、夫々の特徴的オブジェクトの属性情報及び形態的特徴量に基づいて、候補分類モデルを形成(生成)し、候補分類モデルを候補分類モデル記憶部76に記憶する(ステップS144)。次いで、候補分類モデル形成部34は、全ての候補分類モデルを形成したか否かを判断する(ステップS146)。候補分類モデル形成部34は、例えば、特徴的オブジェクト抽出部32に抽出を要求し、特徴的オブジェクト抽出部32から抽出が完了した旨の通知を取得した場合に、全ての候補分類モデルを形成したと判断する。候補分類モデル形成部34が全ての候補分類モデルを形成していないと判断した場合(ステップS146:No)、ステップS142に戻る。なお、再度実行するステップS142において、特徴的オブジェクト抽出部32は、未抽出パターンに従って特徴的オブジェクトを抽出する。
候補分類モデル形成部34は全ての候補分類モデルを形成したと判断した場合(ステップS146:Yes)、分類モデル決定部36に分類モデルの決定を要求する。分類モデルの決定を要求された分類モデル決定部36は、複数の候補分類モデルのなかから分類モデルを決定し、分類モデル記憶部80に記憶する(ステップS150)。そして、図11に示すフローチャートは終了する。
(第2の実施形態)
以下、図面を参照しながら本発明の第2の実施形態について説明する。図13は本発明の第2の実施形態による分類モデル生成装置2の機能ブロック図の一例である。分類モデル生成装置2は、図13に示すように、入出力部10、細胞オブジェクト認識部20、分類モデル生成部40、細胞オブジェクト記憶部72及び分類モデル記憶部80を備える。分類モデル生成部40は、代表的特徴量計算部42及び分類モデル形成部46を備える。なお、入出力部10、細胞オブジェクト認識部20、細胞オブジェクト記憶部72及び分類モデル記憶部80は、図1に示す第1の実施形態の分類モデル生成装置1の入出力部10、細胞オブジェクト認識部20、細胞オブジェクト記憶部72及び分類モデル記憶部80と同様である。
代表的特徴量計算部42は、既知同一属性撮像画像から認識された複数の細胞オブジェクトの形態的特徴量を代表する代表的特徴量を計算する。例えば、代表的特徴量計算部42は、既知同一属性撮像画像から抽出された複数の細胞オブジェクトの各形態的特徴量の平均値を計算し、各形態的特徴量の平均値を代表的特徴量とする。代表的特徴量計算部42は、各既知同一属性撮像画像から代表的特徴量を計算した場合、各既知同一属性撮像画像から計算した代表的特徴量、及び、各既知同一属性撮像画像の属性情報を分類モデル形成部46に出力する。換言すれば、代表的特徴量計算部42は、代表的特徴量を自身の形態的特徴量とする仮想的な細胞オブジェクト(以下、「仮想的オブジェクト」という)を既知同一属性撮像画像毎に生成し、夫々の仮想的オブジェクトの属性情報及び形態的特徴量(即ち、代表的特徴量)を分類モデル形成部46に出力する。
分類モデル形成部46は、代表的特徴量計算部42から取得した、既知同一属性撮像画像毎の複数の仮想的オブジェクトの属性情報及び形態的特徴量を用いて分類モデルを生成する。なお、分類モデル形成部46が分類モデルを生成する方法は、上記の第1の実施形態による分類モデル生成装置1の候補分類モデル形成部34が候補分類モデルを生成する方法と同様である。分類モデル形成部46は、生成した分類モデルを分類モデル記憶部80に記憶する。
なお、代表的特徴量計算部42は、各形態的特徴量の平均値を代表的特徴量としているが、平均値以外を代表的特徴量としてもよい。例えば、代表的特徴量計算部42は、各形態的特徴量の中央値、標準偏差を代表的特徴量としてもよい。
(第3の実施形態)
以下、図面を参照しながら本発明の第3の実施形態について説明する。図14は、本発明の第3の実施形態による細胞分類装置3の機能ブロック図の一例である。図15は、検索オブジェクト一時記憶部170に記憶される情報の一例である。図16は、細胞カタログ記憶部190に記憶される情報の一例である。
細胞分類装置3は、図14に示すように、入出力部110、細胞オブジェクト認識部120、特徴的オブジェクト抽出・代表的特徴量計算部152、細胞分類部160、検索オブジェクト一時期億部170、分類モデル記憶部180及び細胞カタログ記憶部190を備える。細胞オブジェクト認識部120は、2値化処理部122、ノイズ推定部124及び細胞オブジェクト特徴量算出部126を備える。
入出力部110は、未知属性撮像画像を外部から取得する。具体的には、未知の異種属性の複数の細胞が撮像された未知属性撮像画像(以下、「未知異種属性撮像画像」という)、又は、未知の同一属性の複数の細胞が撮像された未知属性撮像画像(以下、「未知同一属性撮像画像」という)を外部から取得する。入出力部110は、外部から取得した未知属性撮像画像を細胞オブジェクト認識部120の2値化処理部122に出力する。なお、未知属性撮像画像の取得元である外部は、例えば、当該細胞分類装置3に接続可能な外部媒体(例えば、USBメモリ)、LAN、インターネットなどのネットワークを介して接続される他の装置、または、インキュベータ311である。
また、入出力部110は、未知属性撮像画像とともに画像種別情報を外部から取得し、2値化処理部122に出力してもよい。画像種別情報とは、当該未知属性撮像画像が、未知異種属性撮像画像であるか未知同一属性撮像画像であるかを識別する情報である。
細胞オブジェクト認識部120は、未知属性撮像画像内の個々の細胞オブジェクト(以下、「検索オブジェクト」という)を認識する。具体的には、細胞オブジェクト認識部120の2値化処理部122は、上記の第1の実施形態による分類モデル生成装置1の2値化処理部22と同様、入出力部110から取得した未知属性撮像画像を所定の閾値によって2値化処理する。2値化処理した2値化処理部122は、2値化データをノイズ推定部124に出力する。なお、2値化処理部122は、入出力部110から画像種別情報を取得している場合には、2値化データ及び画像種別情報をノイズ推定部124に出力する。
ノイズ推定部124は、上記の第1の実施形態による分類モデル生成装置1のノイズ推定部24と同様、2値化処理部122から取得した2値化データから得られる全オブジェクトのなかからノイズオブジェクトを推定する。ノイズオブジェクトを推定したノイズ推定部124は、2値化データとともに、推定結果情報を細胞オブジェクト特徴量算出部126に出力する。なお、ノイズ推定部124は、2値化処理部122から画像種別情報を取得している場合には、2値化データ及び画像種別情報とともに、推定結果情報を細胞オブジェクト特徴量算出部126に出力する。
細胞オブジェクト特徴量算出部126は、ノイズ推定部124から取得した2値化データ及び推定結果情報に基づいて、当該2値化データから得られる全オブジェクトのなかからノイズオブジェクトを除去する。換言すれば、細胞オブジェクト特徴量算出部126は、ノイズ推定部124から取得した2値化データから、ノイズオブジェクト以外の個々の細胞オブジェクトを認識する。
続いて、細胞オブジェクト特徴量算出部126は、上記の第1の実施形態による分類モデル生成装置1の細胞オブジェクト特徴量算出部26と同様、認識した個々の検索オブジェクトの形態的特徴量を算出する。検索オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部126は、個々の検索オブジェクトの形態的特徴量を検索オブジェクト一時記憶部170に記憶する。なお、細胞オブジェクト特徴量算出部126は、ノイズ推定部124から画像種別情報を取得している場合には、画像種別情報及び個々の検索オブジェクトの形態的特徴量を検索オブジェクト一時記憶部170に記憶する。
検索オブジェクト一時記憶部170は、検索オブジェクトに関する情報を記憶する。具体的には、検索オブジェクト一時記憶部170は、図15(a)(b)に示すように、画像種別情報に対応付けて、個々の検索オブジェクトの形態的特徴量を記憶する。図15(a)に示す例では、検索オブジェクト一時記憶部170は、検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報(例えば、値0)に対応付けて、N4個の検索オブジェクトの形態的特徴量を記憶している。また、図15(b)に示す例では、検索オブジェクト一時記憶部170は、検索オブジェクトの抽出元が未知同一属性撮像画像である旨を示す画像種別情報(例えば、値1)に対応付けて、N5個の検索オブジェクトの形態的特徴量を記憶している。
なお、検索オブジェクト一時記憶部170の項目「画像種別情報」の初期値は、検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報である。従って、細胞オブジェクト特徴量算出部126がノイズ推定部124から画像種別情報を取得しなかった場合、項目「画像種別情報」には、検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報が記憶される。
抽出条件記憶部174は、検索オブジェクト一時記憶部170に記憶されている複数の検索オブジェクトのなかから、検索オブジェクトを抽出するときの抽出条件を記憶する。以下、検索オブジェクト一時記憶部170から抽出される検索オブジェクトを特徴的検索オブジェクトという。なお、抽出条件記憶部174は、上記の第1の実施形態による分類モデル生成装置1の抽出条件記憶部74が記憶する内容と同様の内容の抽出条件を記憶する。
特徴的オブジェクト抽出・代表的特徴量計算部152は、上記の第1の実施形態による分類モデル生成装置1の特徴的オブジェクト抽出部32、及び、上記の第2の実施形態による分類モデル生成装置2の代表的特徴量計算部42の機能を備える。即ち、特徴的オブジェクト抽出・代表的特徴量計算部152は、細胞分類装置3に未知異種属性撮像画像が投入された場合には、上記の第1の実施形態による分類モデル生成装置1の特徴的オブジェクト抽出部32と同様の処理をし、細胞分類装置3に未知同一属性撮像画像が投入された場合には、上記の第2の実施形態による分類モデル生成装置2の代表的特徴量計算部42と同様の処理をする。
具体的には、特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクト一時記憶部170に、検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報が記憶されている場合には、抽出条件記憶部174に記憶されている抽出条件に従って、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトのなかから特徴的検索オブジェクトを抽出する。なお、特徴的オブジェクト抽出・代表的特徴量計算部152は、何れの抽出条件に従って特徴的検索オブジェクトを抽出するかを示す情報を、入出力部110を介して外部から取得してもよい。特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから特徴的検索オブジェクトを抽出した場合、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部160に出力する。
一方、特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクト一時記憶部170に、検索オブジェクトの抽出元が未知同一属性撮像画像である旨を示す画像種別情報が記憶されている場合には、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから、当該検索オブジェクトの形態的特徴量を代表する代表的特徴量を計算する。特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから代表的特徴量を計算した場合、未知同一属性撮像画像から計算した代表的特徴量、及び、未知同一属性撮像画像の属性情報を細胞分類部160に出力する。換言すれば、特徴的オブジェクト抽出・代表的特徴量計算部152は、代表的特徴量を自身の形態的特徴量とする仮想的オブジェクト(以下、「仮想的検索オブジェクト」という)を生成し、仮想的検索オブジェクトの属性情報及び形態的特徴量(即ち、代表的特徴量)を細胞分類部160に出力する。
分類モデル記憶部180は、未知属性撮像画像、又は、未知属性撮像画像内の細胞を、細胞の形態的な特徴に基づいて属性毎に分類する分類モデルを記憶する。例えば、分類モデル記憶部180は、図7に示すように、所定の分類基準に従って、段階的に細胞オブジェクトの属性を分類する分類モデルを記憶してもよい。
細胞カタログ記憶部190は、図16に示すような細胞カタログを記憶する。図16に示す細胞カタログでは、例えば、分類先ID「N0001」と属性情報(名称「A」、培養条件「○○」等)と形態的特徴量(面積「27」、長さ「10.5」等)とを対応付けて記憶している。なお、細胞カタログは、細胞オブジェクトの画像(例えば、細胞オブジェクトを表現する2値化データ)を更に記憶してもよい。
細胞分類部160は、細胞オブジェクト認識部120によって未知属性撮像画像から認識された細胞オブジェクトの形態的特徴量又は当該形態的特徴量から算出される特徴量を、分類モデルに投入することによって、未知属性撮像画像又は未知属性撮像画像内の細胞を分類する。
例えば、細胞分類部160は、細胞分類装置3に未知異種属性撮像画像が投入された場合には、当該未知異種属性撮像画像から認識された細胞オブジェクト(即ち検索オブジェクト)のなかから抽出された特徴的オブジェクト(即ち、特徴的検索オブジェクト)の形態的特徴量に基づいて、未知異種属性撮像画像内の細胞を分類する。具体的には、細胞分類部160は、特徴的オブジェクト抽出・代表的特徴量計算部152から複数の特徴的検索オブジェクトの属性情報及び形態的特徴量を取得した場合、当該複数の特徴的検索オブジェクトの属性情報及び形態的特徴量を分類モデルに投入し、個々の特徴的検索オブジェクトを分類する。
また例えば、細胞分類部160は、細胞分類装置3に未知同一属性撮像画像が投入された場合には、当該未知同一属性撮像画像から認識された細胞オブジェクト(即ち検索オブジェクト)の形態的特徴量から算出される特徴量(即ち、代表的特徴量)に基づいて、当該未知同一属性撮像画像を分類する。具体的には、細胞分類部160は、特徴的オブジェクト抽出・代表的特徴量計算部152から仮想的検索オブジェクトの属性情報及び形態的特徴量(即ち、代表的特徴量)を取得した場合、当該仮想的検索オブジェクトの属性情報及び形態的特徴量を分類モデルに投入し、未知同一属性撮像画像を分類する。即ち、細胞分類部160は、仮想的検索オブジェクトの分類先を未知同一属性撮像画像の分類先とする。
細胞分類部160は、未知属性撮像画像、又は、未知属性撮像画像内の細胞を分類した場合、分類結果を入出力部110に出力する。具体的には、細胞分類部160は、未知異種属性撮像画像から得られた個々の特徴的検索オブジェクトを分類したときは、少なくとも、個々の特徴的検索オブジェクトの分類先の枝に設定されている分類先IDを入出力部110に出力する。例えば、細胞分類部160は、個々の特徴的検索オブジェクトの分類先IDに加えて、各分類先IDに対応付けられている属性情報、又は、個々の特徴的検索オブジェクトの形態的特徴量の何れか一方又は両方を入出力部110に出力してもよい。
なお、細胞分類部160は、個々の特徴的検索オブジェクトを分類したときは、個々の特徴的検索オブジェクトの分類先を示す分類先IDに対応付けて、個々の特徴的検索オブジェクトの形態的特徴量を細胞カタログに追加してもよい。また、細胞分類部160は、特徴的検索オブジェクトを分類したときは、分類結果として分類モデルから得られる情報(例えば、分類先ID、分類先ID毎の属性情報)に加えて、分類結果である各分類先IDに対応する属性情報、形態的特徴量を細胞カタログ記憶部190から取得し、入出力部110に出力してもよい。
細胞分類部160は、未知同一属性撮像画像から得られた仮想的検索オブジェクトに基づいて当該未知同一属性撮像画像を分類したときは、少なくとも、当該未知同一属性撮像画像の分類先の枝に設定されている分類先IDを入出力部110に出力する。例えば、細胞分類部160は、未知同一属性撮像画の分類先IDに加えて、分類先IDに対応付けられている属性情報、又は、仮想的検索オブジェクトの形態的特徴量(即ち、代表的特徴量)の何れか一方又は両方を入出力部110に出力してもよい。
なお、細胞分類部160は、未知同一属性撮像画像を分類したときは、当該未知属性撮像画像の分類先を示す分類先IDに対応付けて、当該分類に用いた仮想的検索オブジェクトの形態的特徴量を細胞カタログに追加してもよい。また、細胞分類部160は、未知同一属性撮像画像を分類したときは、分類結果として分類モデルから得られる情報に加えて、分類結果である分類先IDに対応する属性情報、形態的特徴量を細胞カタログ記憶部190から取得し、入出力部110に出力してもよい。
なお、特徴的オブジェクト抽出・代表的特徴量計算部152による特徴的検索オブジェクトの抽出、細胞分類部160による分類の各動作間の関係については、例えば、以下のように実現すればよい。
細胞オブジェクト特徴量算出部126は、検索オブジェクトの形態的特徴量を検索オブジェクト一時記憶部170に記憶した後に、形態的特徴量を記憶した旨を細胞分類部160に通知する。細胞分類部160は、細胞オブジェクト特徴量算出部126から形態的特徴量を記憶した旨の通知を取得した場合、特徴的オブジェクト抽出・代表的特徴量計算部152に抽出又は計算を要求する。
特徴的オブジェクト抽出・代表的特徴量計算部152は、細胞分類部160から抽出又は計算を要求された場合、検索オブジェクト一時記憶部170に記憶されている画像種別情報を参照し、検索オブジェクトの抽出元が未知異種属性撮像画像であるか未知同一属性撮像画像であるかを判断する。具体的には、特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクト一時記憶部170に記憶されている画像種別情報が、検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報である場合には、検索オブジェクトの抽出元が未知異種属性撮像画像であると判断し、検索オブジェクトの抽出元が未知同一属性撮像画像である旨を示す画像種別情報である場合には、検索オブジェクトの抽出元が未知同一属性撮像画像であると判断する。
特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクトの抽出元が未知異種属性撮像画像であると判断した場合、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから特徴的検索オブジェクトを抽出し、分類を要求するとともに、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部160に出力する。
細胞分類部160は、特徴的オブジェクト抽出・代表的特徴量計算部152から、分類の要求とともに、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を取得した場合、夫々の特徴的検索オブジェクトを分類モデルに投入し、個々の特徴的検索オブジェクトを分類する。
一方、特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクトの抽出元が未知同一属性撮像画像であると判断した場合、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから仮想的検索オブジェクトを生成し、分類を要求するとともに、仮想的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部160に出力する。
細胞分類部160は、特徴的オブジェクト抽出・代表的特徴量計算部152から、分類の要求とともに、仮想的検索オブジェクトの属性情報及び形態的特徴量を取得した細胞分類部160は、仮想的検索オブジェクトを分類モデルに投入し、未知同一属性撮像画像を分類する。
以下、フローチャートを用いて、細胞分類装置3の動作を説明する。図17は、細胞分類装置3の動作の一例を示すフローチャートである。また、図17に示すフローチャートの開始時において、検索オブジェクト一時記憶部170内には何も記憶されていないものとする。
図17において、入出力部110は、外部から未知属性撮像画像とともに画像種別情報を取得する(ステップS212)。入出力部110は、外部から取得した未知属性撮像画像及び画像種別情報を細胞オブジェクト認識部120の2値化処理部122に出力する。
2値化処理部122は、入出力部110から取得した未知属性撮像画像を所定の閾値によって2値化処理する(ステップS214)。2値化処理部122は、2値化データ及び画像種別情報をノイズ推定部124に出力する。ノイズ推定部124は、2値化処理部122から2値化データを取得し、取得した2値化データから得られる全オブジェクトのなかからノイズオブジェクトを推定する(ステップS220)。ノイズオブジェクトを推定したノイズ推定部124は、2値化データ及び画像種別情報とともに、推定結果情報を細胞オブジェクト特徴量算出部126に出力する。なお、ノイズ推定部124によるステップS220の処理の詳細は、上記の第1の実施形態による分類モデル生成装置1のノイズ推定部24によるステップS120の処理の詳細(図12)と同様である。
ノイズ推定部124から2値化データ及び画像種別情報とともに推定結果情報を取得した細胞オブジェクト特徴量算出部126は、ノイズ推定部124から取得した2値化データ及び推定結果情報に基づいて、当該2値化データから得られる全オブジェクトのなかからノイズオブジェクトを除去する(ステップS230)。換言すれば、細胞オブジェクト特徴量算出部126は、ノイズ推定部124から取得した2値化データから、ノイズオブジェクト以外の個々の細胞オブジェクトを認識する(ステップS230)。
次いで、細胞オブジェクト特徴量算出部126は、認識した個々の検索オブジェクトの形態的特徴量を算出する(ステップS232)。個々の検索オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部126は、画像種別情報、及び、個々の検索オブジェクトの形態的特徴量を検索オブジェクト一時記憶部170に記憶する(ステップS234)。また、細胞オブジェクト特徴量算出部126は、形態的特徴量を記憶した旨を細胞分類部160に通知する。形態的特徴量を記憶した旨の通知を取得した細胞分類部160は、特徴的オブジェクト抽出・代表的特徴量計算部152に抽出又は計算を要求する。
細胞分類部160から抽出又は計算を要求された特徴的オブジェクト抽出・代表的特徴量計算部152は、ステップS212において取得した未知属性撮像画像が未知異種属性撮像画像であるか否かを判断する(ステップS280)。
特徴的オブジェクト抽出・代表的特徴量計算部152は、ステップS212において取得した未知属性撮像画像が未知異種属性撮像画像であると判断した場合(ステップS280:Yes)、抽出条件記憶部174に記憶されている抽出条件に従って、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから特徴的検索オブジェクトを抽出する(ステップ282)。特徴的検索オブジェクトを抽出した特徴的オブジェクト抽出・代表的特徴量計算部152は、分類を要求とともに、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部160に出力する。分類を要求とともに、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を特徴的オブジェクト抽出・代表的特徴量計算部152から取得した細胞分類部160は、夫々の特徴的検索オブジェクトを分類モデルに投入し、未知異種属性撮像画像内の個々の特徴的検索オブジェクトを分類する(ステップS284)。
一方、特徴的オブジェクト抽出・代表的特徴量計算部152は、ステップS212において取得した未知属性撮像画像が未知異種属性撮像画像でないと判断した場合(ステップS280:No)、即ち、ステップS212において取得した未知属性撮像画像が未知同一属性撮像画像であると判断した場合、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから仮想的検索オブジェクトを生成する(ステップ286)。仮想的検索オブジェクトを生成した特徴的オブジェクト抽出・代表的特徴量計算部152は、分類を要求とともに、仮想的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部160に出力する。分類を要求とともに、仮想的検索オブジェクトの属性情報及び形態的特徴量を特徴的オブジェクト抽出・代表的特徴量計算部152から取得した細胞分類部160は、仮想的検索オブジェクトを分類モデルに投入し、未知同一属性撮像画像を分類する(ステップS288)。
ステップS284またはステップS288に続いて、細胞分類部160は、分類結果を入出力部110に出力する(ステップS290)。具体的には、細胞分類部160は、ステップS284において個々の特徴的検索オブジェクトを分類した場合には、例えば、個々の特徴的検索オブジェクトの分類先を示す分類先ID、各分類先IDに対応付けられている属性情報、個々の特徴的検索オブジェクトの形態的特徴量を入出力部110に出力する。また、細胞分類部160は、ステップS288において未知同一属性撮像画像を分類した場合には、例えば、未知同一属性撮像画像の分類先を示す分類先ID、分類先IDに対応付けられている属性情報、仮想的検索オブジェクトの形態的特徴量を入出力部110に出力する。
次いで、細胞分類部160は、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトを消去し(ステップS292)、図17に示すフローチャートは終了する。なお、細胞分類部160は、例えば、細胞オブジェクト特徴量算出部126に、検索オブジェクト一時記憶部に記憶されている検索オブジェクトを消去すべき旨を要求することによって、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトを消去する。
(第4の実施形態)
以下、図面を参照しながら本発明の第4の実施形態について説明する。図18は、本発明の第4の実施形態による細胞分類装置4の機能ブロック図の一例である。図19は、検索オブジェクト一時記憶部270に記憶される情報の一例である。
細胞分類装置4は、図17に示すように、入出力部210、細胞オブジェクト認識部220、特徴的オブジェクト抽出・代表的特徴量計算部252、候補分類モデル形成部254、分類モデル決定・形成部256、細胞分類部260、検索オブジェクト一時記憶部270、細胞オブジェクト記憶部272、抽出条件記憶部274、候補分類モデル記憶部276、分類モデル記憶部280及び細胞カタログ記憶部290を備える。細胞オブジェクト認識部220は、2値化処理部222、ノイズ推定部224及び細胞オブジェクト特徴量算出部226を備える。
入出力部210は、撮像画像及び画像種別情報を外部から取得する。具体的には、入出力部210は、上記の第1の実施形態による分類モデル生成装置1、2の入出力部10と同様、属性情報(若しくは属性情報及び撮像条件情報)とともに、既知同一属性撮像画像、及び、既知同一属性撮像画像である旨を示す画像種別情報を外部から取得する。また、入出力部210は、上記の第3の実施形態による細胞分類装置3の入出力部110と同様、未知異種属性撮像画像及び未知異種属性撮像画像である旨を示す画像種別情報、又は、未知同一属性撮像画像及び未知同一属性撮像画像である旨を示す画像種別情報を外部から取得する。入出力部210は、外部から取得した情報を2値化処理部222に出力する。
また、入出力部210は、未知属性撮像画像(未知異種属性撮像画像又は未知同一属性撮像画像)とともに、分類先範囲指定情報を外部から取得し、2値化処理部222に出力してもよい。分類先範囲指定情報とは、未知属性撮像画像の分類先の範囲、または、未知属性撮像画像内の細胞の分類先の範囲を指定した情報である。
細胞オブジェクト認識部220は、上記の第1、2の実施形態による分類モデル生成装置1の細胞オブジェクト認識部20と同様、既知同一属性撮像画像内の個々の細胞の撮像領域を細胞オブジェクトとして認識する。また、細胞オブジェクト認識部220は、上記の第3の実施形態による細胞分類装置3の細胞オブジェクト認識部120と同様、未知属性撮像画像内の個々の細胞オブジェクトを検索オブジェクトとして認識する。
即ち、2値化処理部222は、上記の第1、2の実施形態による分類モデル生成装置1、2の2値化処理部22と同様、既知同一属性撮像画像を所定の閾値によって2値化処理する。また、2値化処理部222は、上記の第3の実施形態による細胞分類装置3の2値化処理部122と同様、未知属性撮像画像を所定の閾値によって2値化処理する。2値化処理部222は、入出力部210から取得した情報とともに、2値化データをノイズ推定部124に出力する。
ノイズ推定部224は、上記の第1、2の実施形態による分類モデル生成装置1、2のノイズ推定部24と同様、既知同一属性撮像画像内の全オブジェクトのなかからノイズオブジェクトを推定する。また、ノイズ推定部224は、上記の第3の実施形態による細胞分類装置3のノイズ推定部124と同様、未知属性撮像画像内の全オブジェクトのなかからノイズオブジェクトを推定する。ノイズ推定部224は、2値化処理部222から取得した情報とともに、推定結果情報をノイズ推定部124に出力する。
細胞オブジェクト特徴量算出部226は、上記の第1、2の実施形態による分類モデル生成装置1、2の細胞オブジェクト特徴量算出部26と同様、既知同一属性撮像画像内の個々の細胞オブジェクトの形態的特徴量を算出する。個々の細胞オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部226は、属性情報(若しくは属性情報及び撮像条件情報)に対応付けて、個々の細胞オブジェクトの形態的特徴量を細胞オブジェクト記憶部272に記憶する。
また、細胞オブジェクト特徴量算出部226は、上記の第3の実施形態による細胞分類装置3の細胞オブジェクト特徴量算出部126と同様、未知属性撮像画像内の個々の細胞オブジェクト(即ち、検索オブジェクト)の形態的特徴量を算出する。個々の検索オブジェクトの形態的特徴量の算出した細胞オブジェクト特徴量算出部226は、画像種別情報に対応付けて、個々の検索オブジェクトの形態的特徴量を検索オブジェクト一時記憶部270に記憶する。また、細胞オブジェクト特徴量算出部226は、ノイズ推定部224から分類先範囲指定情報を取得している場合には、分類先範囲指定情報を検索オブジェクト一時記憶部270に記憶する。
検索オブジェクト一時記憶部270は、検索オブジェクトに関する情報を記憶する。具体的には、検索オブジェクト一時記憶部270は、図18(a)(b)に示すように、画像種別情報及び分類先範囲指定情報に対応付けて、個々の検索オブジェクトの形態的特徴量を記憶する。なお、検索オブジェクト一時記憶部270の項目「画像種別情報」の初期値は、上記の第3の実施形態による細胞分類装置3の検索オブジェクト一時記憶部170と同様である。また、検索オブジェクト一時記憶部270の項目「分類先範囲指定情報」の初期値は、分類範囲を何も指定しない旨を示す分類先範囲指定情報である。従って、細胞オブジェクト特徴量算出部226がノイズ推定部224から分類先範囲指定情報を取得しなかった場合、項目「分類先範囲指定情報」には、分類範囲を何も指定しない旨を示す分類先範囲指定情報が記憶される。
細胞オブジェクト記憶部272は、上記の第1、2の実施形態による分類モデル生成装置1、2の細胞オブジェクト記憶部72と同様である。また、抽出条件記憶部274は、上記の第1の実施形態による分類モデル生成装置1の抽出条件記憶部74と同様である。なお、抽出条件記憶部274は、細胞オブジェクト記憶部272から特徴的オブジェクトを抽出するための抽出条件(即ち、分類モデル生成時に用いる特徴的オブジェクトを抽出するための抽出条件)と、検索オブジェクト一時記憶部270にから特徴的検索オブジェクトを抽出するための抽出条件(即ち、分類対象である特徴的検索オブジェクトを抽出するための抽出条件)とを別々に記憶してもよい。
候補分類モデル記憶部276は、上記の第1の実施形態による分類モデル生成装置1の候補分類モデル記憶部76と同様である。また、分類モデル記憶部280は、上記の第1、2の実施形態による分類モデル生成装置1、2の分類モデル記憶部80と同様である。また、細胞カタログ記憶部290は、上記の第3の実施形態による細胞分類装置3の細胞カタログ記憶部190と同様である。
特徴的オブジェクト抽出・代表的特徴量計算部252は、上記の第1の実施形態による分類モデル生成装置1の特徴的オブジェクト抽出部32、及び、上記の第2の実施形態による分類モデル生成装置2の代表的特徴量計算部42の機能を備える。
具体的には、特徴的オブジェクト抽出・代表的特徴量計算部252は、特徴的オブジェクトを抽出すべき場合には、抽出条件記憶部274に記憶されている抽出条件に従って、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのなかから特徴的オブジェクトを抽出する。但し、検索オブジェクト一時記憶部270に分類範囲を指定する旨を示す分類先範囲指定情報が記憶されている場合には、特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのうち指定された分類範囲の細胞オブジェクトのなかから特徴的オブジェクトを抽出する。特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのなかから特徴的オブジェクトを抽出した場合、夫々の特徴的オブジェクトの属性情報及び形態的特徴量を候補分類モデル形成部254に出力する。
また、特徴的オブジェクト抽出・代表的特徴量計算部252は、代表的特徴量を計算すべき場合には、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトから代表的特徴量を計算する。換言すれば、特徴的オブジェクト抽出・代表的特徴量計算部252は、各既知同一属性撮像画像の仮想的オブジェクトを生成する。但し、検索オブジェクト一時記憶部270に分類範囲を指定する旨を示す分類先範囲指定情報が記憶されている場合には、特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのうち指定された分類範囲の細胞オブジェクトを用いて代表的特徴量を計算する。特徴的オブジェクト抽出・代表的特徴量計算部252は、各既知同一属性撮像画像の仮想的オブジェクトを生成した場合、夫々の仮想的オブジェクトの属性情報及び形態的特徴量を分類モデル決定・形成部256に出力する。
更に、特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に、検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報が記憶されている場合には、抽出条件記憶部274に記憶されている抽出条件に従って、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトのなかから特徴的検索オブジェクトを抽出する。特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから特徴的検索オブジェクトを抽出した場合、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部260に出力する。
また、特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に、検索オブジェクトの抽出元が未知同一属性撮像画像である旨を示す画像種別情報が記憶されている場合には、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトから代表的特徴量を計算する。換言すれば、特徴的オブジェクト抽出・代表的特徴量計算部252は、未知同一属性撮像画像の仮想的検索オブジェクトを生成する。特徴的オブジェクト抽出・代表的特徴量計算部252は、未知同一属性撮像画像の仮想的検索オブジェクトを生成した場合、仮想的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部260に出力する。
候補分類モデル形成部254は、上記の第1の実施形態による分類モデル生成装置1の候補分類モデル形成部34と同様、特徴的オブジェクト抽出・代表的特徴量計算部252から取得した特徴的オブジェクトの属性情報及び形態的特徴量を用いて候補分類モデルを形成(生成)する。
分類モデル決定・形成部256は、上記の第1の実施形態による分類モデル生成装置1の分類モデル決定部36、及び、上記の第2の実施形態による分類モデル生成装置2の分類モデル形成部46の機能を備える。
具体的には、分類モデル決定・形成部256は、候補分類モデル形成部254によって複数の候補分類モデルが形成された場合には、候補分類モデル記憶部276に記憶されている複数の候補分類モデルのなかから分類モデルを決定し、分類モデル記憶部280に記憶する。
また、分類モデル決定・形成部256は、特徴的オブジェクト抽出・代表的特徴量計算部252から既知同一属性撮像画像毎の複数の仮想的オブジェクトの属性情報及び形態的特徴量を取得した場合には、当該複数の仮想的オブジェクトの属性情報及び形態的特徴量を用いて分類モデルを生成(形成)する。
細胞分類部260は、上記の第3の実施形態による細胞分類装置3の細胞分類部160と同様、未知属性撮像画像、または、未知属性撮像画像内の細胞(具体的には、個々の特徴的検索オブジェクト)を分類し、分類結果を入出力部210に出力する。
具体的には、細胞分類部260は、特徴的オブジェクト抽出・代表的特徴量計算部252から複数の特徴的検索オブジェクトの属性情報及び形態的特徴量を取得した場合には、当該複数の特徴的検索オブジェクトの属性情報及び形態的特徴量を分類モデルに投入し、個々の特徴的検索オブジェクトを分類する。
また、細胞分類部260は、特徴的オブジェクト抽出・代表的特徴量計算部252から仮想的検索オブジェクトの属性情報及び形態的特徴量を取得した場合には、当該仮想的検索オブジェクトの属性情報及び形態的特徴量を分類モデルに投入し、未知同一属性撮像画像を分類する。
以下、フローチャートを用いて、細胞分類装置4の動作を説明する。図20は、細胞分類装置4の動作の一例を示すフローチャートである。なお、図20に示すフローチャートの開始時において、細胞オブジェクト記憶部272内には、複数の既知同一属性撮像画像からそれぞれ認識された複数の細胞オブジェクトが記憶されているものとする。また、図20に示すフローチャートの開始時において、検索オブジェクト一時記憶部270内には何も記憶されていないものとする。
図20において、入出力部210は、外部から画像種別情報及び分類先範囲指定情報とともに、未知属性撮像画像を取得し(ステップS312)、2値化処理部222に出力する。2値化処理部222は、未知属性撮像画像を所定の閾値によって2値化処理する(ステップS314)。2値化処理部222は、2値化データ、画像種別情報及び分類先範囲指定情報をノイズ推定部224に出力する。
ノイズ推定部224は、2値化処理部222から取得した2値化データから得られる全オブジェクトのなかからノイズオブジェクトを推定する(ステップS320)。ノイズオブジェクトを推定したノイズ推定部224は、2値化データ、画像種別情報及び分類先範囲指定情報とともに、推定結果情報を細胞オブジェクト特徴量算出部226に出力する。なお、ノイズ推定部224によるステップS320の処理の詳細は、上記の第1の実施形態による分類モデル生成装置1のノイズ推定部24によるステップS120の処理の詳細(図12)と同様である。
ノイズ推定部224から、2値化データ、画像種別情報及び分類先範囲指定情報とともに、推定結果情報を取得した細胞オブジェクト特徴量算出部226は、ノイズ推定部224から取得した2値化データ及び推定結果情報に基づいて、当該2値化データから得られる全オブジェクトのなかからノイズオブジェクトを除去する(ステップS330)。換言すれば、細胞オブジェクト特徴量算出部226は、ノイズ推定部224から取得した2値化データから、ノイズオブジェクト以外の個々の細胞オブジェクトを認識する(ステップS330)。
次いで、細胞オブジェクト特徴量算出部226は、認識した個々の検索オブジェクトの形態的特徴量を算出する(ステップS332)。個々の検索オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部226は、画像種別情報、分類先範囲指定情報、及び、個々の検索オブジェクトの形態的特徴量を検索オブジェクト一時記憶部270に記憶する(ステップS334)。また、細胞オブジェクト特徴量算出部226は、検索オブジェクトの形態的特徴量を記憶した旨を細胞分類部260に通知する。検索オブジェクトの形態的特徴量を記憶した旨の通知を取得した細胞分類部260は、特徴的オブジェクト抽出・代表的特徴量計算部252に抽出又は計算を要求する。
細胞分類部260から抽出又は計算を要求された特徴的オブジェクト抽出・代表的特徴量計算部252は、ステップS312において取得した未知属性撮像画像が未知異種属性撮像画像であるか否かを判断する(ステップS340)。特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報が記憶されている場合には、未知異種属性撮像画像であると判断する。
特徴的オブジェクト抽出・代表的特徴量計算部252は、ステップS312において取得した未知属性撮像画像が未知異種属性撮像画像であると判断した場合(ステップS340:Yes)、抽出条件記憶部274に記憶されている抽出条件に従って、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのなかから特徴的オブジェクトを抽出する(ステップS342)。特徴的オブジェクトを抽出した特徴的オブジェクト抽出・代表的特徴量計算部252は、夫々の特徴的オブジェクトの属性情報及び形態的特徴量を候補分類モデル形成部254に出力する。
夫々の特徴的オブジェクトの属性情報及び形態的特徴量を取得した候補分類モデル形成部254は、夫々の特徴的オブジェクトの属性情報及び形態的特徴量に基づいて、候補分類モデルを形成し、候補分類モデルを候補分類モデル記憶部276に記憶する(ステップS344)。次いで、候補分類モデル形成部254は、全ての候補分類モデルを形成したか否かを判断する(ステップS346)。候補分類モデル形成部254は、例えば、特徴的オブジェクト抽出・代表的特徴量計算部252に抽出を要求し、特徴的オブジェクト抽出・代表的特徴量計算部252から抽出が完了した旨の通知を取得した場合に、全ての候補分類モデルを形成したと判断する。候補分類モデル形成部254は、全ての候補分類モデルを形成していないと判断した場合(ステップS346:No)、ステップS342に戻る。候補分類モデル形成部254は、全ての候補分類モデルを形成したと判断した場合(ステップS346:Yes)、分類モデル決定・形成部256に分類モデルの決定を要求する。
分類モデルの決定を要求された分類モデル決定・形成部256は、複数の候補分類モデルのなかから分類モデルを決定し、分類モデル記憶部280に記憶する(ステップS350)。なお、分類モデル決定・形成部256は、分類モデル記憶部280に前回の分類モデルが記憶されていた場合には、今回決定した分類モデルによって上書きする。分類モデル記憶部280に分類モデルを記憶した分類モデル決定・形成部256は、特徴的オブジェクト抽出・代表的特徴量計算部252に抽出を要求する。
分類モデル決定・形成部256から抽出を要求された特徴的オブジェクト抽出・代表的特徴量計算部252は、抽出条件記憶部274に記憶されている抽出条件に従って、検索オブジェクト一時記憶部270から特徴的検索オブジェクトを抽出する(ステップ382)。特徴的検索オブジェクトを抽出した特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞分類部260に、分類を要求するとともに、特徴的検索オブジェクトの属性情報及び形態的特徴量を出力する。特徴的オブジェクト抽出・代表的特徴量計算部252から、分類の要求とともに、特徴的検索オブジェクトの属性情報及び形態的特徴量を取得した細胞分類部260は、夫々の特徴的検索オブジェクトを分類モデルに投入し、未知異種属性撮像画像内の個々の特徴的検索オブジェクトを分類する(ステップS384)。
一方、特徴的オブジェクト抽出・代表的特徴量計算部252は、ステップS312において取得した未知属性撮像画像が未知異種属性撮像画像でないと判断した場合(ステップS340:NO)、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトから代表的特徴量を計算する(ステップS352)。即ち、特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトから仮想的オブジェクトを生成する(ステップS352)。各既知同一属性撮像画像から代表的特徴量を計算した特徴的オブジェクト抽出・代表的特徴量計算部252は、夫々の仮想的オブジェクトの属性情報及び形態的特徴量を分類モデル決定・形成部256に出力する。
夫々の仮想的オブジェクトの属性情報及び形態的特徴量を取得した分類モデル決定・形成部256は、夫々の仮想的オブジェクトの属性情報及び形態的特徴量に基づいて、分類モデルを形成し、分類モデルを分類モデル記憶部280に記憶する(ステップS360)。なお、分類モデル決定・形成部256は、分類モデル記憶部280に前回の分類モデルが記憶されていた場合には、今回決定した分類モデルによって上書きする。分類モデル記憶部280に分類モデルを記憶した分類モデル決定・形成部256は、特徴的オブジェクト抽出・代表的特徴量計算部252に計算を要求する。
分類モデル決定・形成部256から計算を要求された特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトから代表的特徴量を計算する(ステップS386)。即ち、特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトから仮想的検索オブジェクトを生成する(ステップS386)。代表的特徴量を計算した特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞分類部260に、分類を要求するとともに、仮想的検索オブジェクトの属性情報及び形態的特徴量を出力する。特徴的オブジェクト抽出・代表的特徴量計算部252から、分類の要求とともに、仮想的検索オブジェクトの属性情報及び形態的特徴量を取得した細胞分類部260は、仮想的検索オブジェクトを分類モデルに投入し、未知同一属性撮像画像を分類する(ステップS388)。
ステップS384またはステップS388に続いて、細胞分類部260は、分類結果を入出力部210に出力する(ステップS390)。次いで、細胞分類部260は、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトを消去し(ステップS392)、図20に示すフローチャートは終了する。
なお、ステップS342において、特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に分類範囲を指定する旨を示す分類先範囲指定情報が記憶されている場合には、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのうち指定された分類範囲の細胞オブジェクトのなかから特徴的オブジェクトを抽出する。同様に、ステップS352において、特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に分類範囲を指定する旨を示す分類先範囲指定情報が記憶されている場合には、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのうち指定された分類範囲の細胞オブジェクトを用いて代表的特徴量を計算する。
なお、ステップS382において、特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのなかから特徴的オブジェクトを抽出したときの抽出パターンのうち分類モデルとして決定された候補分類モデルを抽出したときの抽出パターンに従って、検索オブジェクト一時記憶部270から特徴的検索オブジェクトを抽出することが好ましい。例えば、図4、図5に示す例において、特徴的オブジェクト抽出・代表的特徴量計算部252は、(N1+N2+N3)個の細胞オブジェクトのなかから、面積が平均値〜平均値より25%大きい値の範囲内(抽出条件1)であって、かつ、長さが平均値〜平均値より25%大きい値の範囲内(抽出条件3)であって、かつ、幅が平均値〜平均値より25%大きい値の範囲内(抽出条件5)である細胞オブジェクトを特徴的オブジェクトとして抽出し、最終的に、当該特徴的オブジェクトから形成された候補分類モデルが分類モデルとして決定された場合には、検索オブジェクト一時記憶部270から、抽出条件1であって、かつ、抽出条件3であって、かつ、抽出条件5である検索オブジェクトを特徴的検索オブジェクトとして抽出する。即ち、端的に言えば、特徴的オブジェクト抽出・代表的特徴量計算部252は、分類モデルに反映された抽出パターンと同一の抽出パターンにより、特徴的検索オブジェクトを抽出する。
分類モデルに反映された抽出パターンと同一の抽出パターンにより、特徴的検索オブジェクトを抽出する手法には種々の手法があるが、例えば、特徴的オブジェクト抽出・代表的特徴量計算部252が、抽出パターンを示す情報を候補分類モデル形成部254に出力し、候補分類モデル形成部254が、抽出パターンを示す情報を候補分類モデル記憶部276に記憶し、分類モデル決定・形成部256が、抽出パターンを示す情報を分類モデル記憶部280に記憶する。その後、特徴的オブジェクト抽出・代表的特徴量計算部252は、特徴的検索オブジェクトを抽出する際に、分類モデル記憶部280を参照し、分類モデルとして決定された候補分類モデルを抽出したときの抽出パターンを特定する。
同様に、ステップS386において、特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトから仮想的オブジェクトを生成したときの計算方法に従って、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトから仮想的検索オブジェクトを生成することが好ましい。例えば、特徴的オブジェクト抽出・代表的特徴量計算部252は、既知同一属性撮像画像から抽出された複数の細胞オブジェクトの各形態的特徴量の中央値を代表的特徴量として計算し、各形態的特徴量の中央値を自身の形態的特徴量とする仮想的オブジェクトを生成した場合には、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトの各形態的特徴量の中央値を代表的特徴量として計算し、各形態的特徴量の中央値を自身の形態的特徴量とする仮想的検索オブジェクトを生成する。即ち、端的に言えば、特徴的オブジェクト抽出・代表的特徴量計算部252は、分類モデルに反映された代表的特徴量の計算方法と同一の計算方法により、仮想的検索オブジェクトを生成する。
分類モデルに反映された代表的特徴量の計算方法と同一の計算方法により、仮想的検索オブジェクトを生成する手法には種々の手法があるが、例えば、特徴的オブジェクト抽出・代表的特徴量計算部252が、仮想的オブジェクトを生成したときの計算方法を示す情報を分類モデル決定・形成部256に出力し、分類モデル決定・形成部256が、上記計算方法を示す情報を分類モデル記憶部280に記憶する。その後、特徴的オブジェクト抽出・代表的特徴量計算部252は、仮想的検索オブジェクトを生成する際に、分類モデル記憶部280を参照し、仮想的オブジェクトを生成したときの計算方法を特定する。
以上、第1の実施形態による分類モデル生成装置1、第2の実施形態による分類モデル生成装置2、第3の実施形態による細胞分類装置3、及び、第4の実施形態による細胞分類装置4について説明したが、細胞分類装置3によれば、所定の分類基準に従って、細胞オブジェクトの属性を分類する分類モデルを用いることによって、細胞を破壊することなく、また、安価かつ簡便に、細胞の種類、状態等を確認することができる。また、分類モデル生成装置1、2によれば、細胞分類装置3にて用いる分類モデルを簡便に生成することができる。更に、細胞分類装置4によれば、細胞の確認する都度、最新の分類モデルが生成されるため、より高精度に、細胞の種類、状態等を確認することができる。
また、分類モデル生成装置1、2、細胞分類装置3、4がそれぞれに備えるノイズ推定部によって、ノイズオブジェクトが精度よく除去されるため、細胞オブジェクトを精度よく抽出することができる。
なお、分類モデル生成装置1が生成する分類モデルとして、段階的に分類する分類モデルの例を説明したが、1段階で一気に分類する分類モデルを生成してもよい。分類モデル生成装置2が生成する分類モデル、細胞分類装置3が利用する分類モデル、細胞分類装置4が生成及び利用する分類モデルも同様である。また、各実施形態に係る分類モデルには、高々、ある属性であるか否かを判別するものも含まれる。
また、第3の実施形態の細胞分類装置3において、特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから特徴的検索オブジェクトを抽出し、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部160に出力するが、特徴的オブジェクト抽出・代表的特徴量計算部152は、特徴的検索オブジェクトと特徴的検索オブジェクトではない検索オブジェクト(非特徴的検索オブジェクトという)とを区別できる態様で(例えばラベルを付し)、特徴的検索オブジェクトに加え非特徴的検索オブジェクトも細胞分類部160に出力してもよい。
特徴的検索オブジェクトに加え非特徴的検索オブジェクトを取得した細胞分類部160は、特徴的検索オブジェクトと同様、非特徴的検索オブジェクトも分類モデルに投入し、分類の確度が高い旨の情報とともに個々の特徴的検索オブジェクトの分類結果を出力し、分類の確度が高くない旨の情報とともに個々の非特徴的検索オブジェクトの分類結果を出力してもよい。また、特徴的検索オブジェクトに加え非特徴的検索オブジェクトを取得した細胞分類部160は、個々の非特徴的検索オブジェクトについて、“分類不能”と出力してもよい。第4の実施形態の細胞分類装置4の特徴的オブジェクト抽出・代表的特徴量計算部252及び細胞分類部260についても同様である。
また、第4の実施形態において、細胞分類装置4の特徴的オブジェクト抽出・代表的特徴量計算部252は、分類モデルの生成時において、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトから分類モデルの基礎となるオブジェクトとして仮想的オブジェクトを生成し、また、分類時において、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトから分類対象となる仮想的検索オブジェクトを生成するが、これに代えて、特徴的オブジェクト抽出・代表的特徴量計算部252は、分類モデルの生成時において、仮想的オブジェクトを生成することなく、細胞オブジェクト記憶部272に記憶されている全ての細胞オブジェクトを分類モデルの基礎とし、また、分類時において、仮想的検索オブジェクトを生成することなく、検索オブジェクト一時記憶部270に記憶されている全ての検索オブジェクト(即ち、未知同一属性画像から得られる全ての検索オブジェクト)を分類対象としてもよい。上記場合、細胞分類部260は、例えば、検索オブジェクト一時記憶部270に記憶されている全ての検索オブジェクトを分類モデルに投入し、検索オブジェクトが最も多く分類された枝を当該未知同一属性画像の分類先としてもよい。
また、第1の実施形態において、分類モデル生成装置1の細胞オブジェクト記憶部72は、経時的要素を有しない形態的特徴量を記憶する例を説明したが、入出力部10が異なる時間に撮像した複数の既知同一属性撮像画像を入力することによって、細胞オブジェクト記憶部72に経時的要素を有する形態的特徴量を記憶してもよい。例えば、入出力部10は、ある属性を有する細胞について第1の時刻(例えば、培養8時間目)に撮像した既知同一属性撮像画像a、及び、当該細胞について第2の時刻(例えば、培養16時間目)に撮像した既知同一属性撮像画像bを入力する。細胞オブジェクト特徴量算出部26は、既知同一属性撮像画像aの細胞オブジェクトの形態的特徴量を算出し、細胞オブジェクト記憶部72に、当該属性を有する細胞の第1の時刻から第2の時刻迄の形態的特徴量の時間変化量を記憶する。形態的特徴量の時間変化量の一例は、例えば、面積の時間変化量、長さの時間変化量、幅の変化量などの形態的特徴量毎の差分情報である。
なお、当然ではあるが、細胞オブジェクト記憶部72に経時的要素を有する形態的特徴量を記憶する場合には、候補分類モデル形成部34が生成する候補分類モデル、及び、分類モデル決定部36が決定し分類モデル記憶部80に記憶する分類モデルは、経時的要素を有するものとなる。例えば、分類モデルにおける各段階のルールは、“第1の時刻から第2の時刻迄における細胞の長さの変化量が値「1」以下である”というように、経時的要素を有する形態的特徴量で表されるものとなる。また、抽出条件記憶部74に記憶する抽出条件、分類モデル決定部36による評価なども経時的要素を有する形態的特徴量に応じたものとなる。
同様に、第2の実施形態の分類モデル生成装置2、第3の実施形態の細胞分類装置3、第4の実施形態の細胞分類装置4においても、経時的要素を有する分類モデルを用いるようにしてもよい。なお、当然ではあるが、経時的要素を有する分類モデルを用いる場合には、分類(検索)も経時的要素に基づいて行われる。従って、例えば、細胞分類装置3の入出力部110は、第1の時刻に撮像した未知属性撮像画像と、当該撮像画像と被写体が同一の第2の時刻に撮像した未知属性撮像画像とを外部から取得する。
なお、第1の実施形態において、分類モデル生成装置1は、インキュベータ311と別体である旨の説明をしたが、インキュベータ311に分類モデル生成装置1の機能を実装させてもよい。例えば、図8に示す記憶部343に、分類モデル生成装置1の各処理を実行するためのプログラムを記憶し、CPU342によって実行するようにしてもよい。分類モデル生成装置2、細胞分類装置3、4についても同様である。
なお、第3の実施形態において、インキュベータ311に細胞分類装置3の機能を実装させた場合に、細胞分類装置3の分類結果に基づいて、培養容器319内の細胞又は細胞群の培養条件等を動的に変更するようにしてもよい。これにより、所望の細胞を容易に増殖させることができるようになる。なお、第4の実施形態において、インキュベータ311に細胞分類装置4の機能を実装させる場合についても同様である。
以下、フローチャートを用いて、細胞分類装置4の機能を兼ね備えるインキュベータ311の動作を説明する。図21は、細胞分類装置4の機能を兼ね備えるインキュベータ311の動作の一例を示すフローチャートである。図21に示すフローチャートの開始時において、インキュベータ311には所望の増殖すべき細胞を培養する培養容器319が置かれているものとする。また、上述の如く、インキュベータ311が備える細胞分類装置3は、分類先IDとともに培養条件を含む属性情報を分類結果として出力するものとする。
図21において、インキュベータ311は、細胞の培養を開始する(ステップS500)。即ち、CPU342は、設定された培養条件(例えば所定の温度、湿度等)で細胞を培養するよう温度調整装置315aと湿度調整装置315bとを制御する。所定期間経過後に、インキュベータ311は、培養中の細胞を分類する(ステップS510)。即ち、CPU342は、撮像装置334を制御して、培養中の細胞を撮像し、次いで、記憶部343から細胞分類装置3の各処理を実行するためのプログラムを読み出し、読み出したプログラムを実行することによって、上記の図17に示すように、培養中の細胞を分類する。
次いで、インキュベータ311は、分類結果に基づいて、細胞の培養を中止するか否か、または、細胞の培養条件を変更するか否かを制御する。具体的には、まず、CPU342は、分類結果によって示される培養条件が、ステップS500において設定された培養条件と一致するか否かを判断する(ステップS520)。CPU342は、分類結果によって示される培養条件が設定された培養条件と一致すると判断した場合(ステップS520:Yes)、分類結果によって示される培養条件と設定された培養条件とが一致した旨をモニタ等(非図示)に表示させる(ステップS522)。そして後述するステップS560に進む。
一方、CPU342は、分類結果に含まれる培養条件が所定の培養条件と一致しないと判断した場合(ステップS520:No)、分類結果によって示される培養条件と設定された培養条件とが一致しない旨をモニタ等(非図示)に表示させるとともに(ステップS524)、培養を中止するか否かを判断する(ステップS530)。具体的には、例えば、CPU342は、分類結果によって示される培養条件と設定された培養条件の一致しない程度が非常に大きい場合に、培養を中止すると判断する。例えば、分類結果によって示される培養条件の温度等と設定された培養条件の温度等との差が所定の第1の閾値以上である場合に、培養を中止すると判断する。なお、CPU342は、培養を中止する旨の操作者の入力があった場合にも、培養を中止すると判断する。
CPU342は、培養を中止すると判断した場合(ステップS530:Yes)、培養を中止する旨をモニタ等(非図示)に表示させ(ステップS532)、培養の処理を終了する。そして、図20に示すフローチャートは終了する。一方、CPU342は、培養を中止しないと判断した場合(ステップS530:No)、培養条件を変更するか否かを判断する(ステップS540)。具体的には、例えば、CPU342は、分類結果によって示される培養条件と設定された培養条件の一致しない程度が大きい場合に、培養条件を変更すると判断する。例えば、分類結果によって示される培養条件の温度等と設定された培養条件の温度等との差が所定の第2の閾値(但し、第1の閾値>第2の閾値)以上である場合に、培養条件を変更すると判断する。
CPU342は、培養条件を変更すると判断した場合(ステップS540:Yes)、培養条件を変更する旨をモニタ等(非図示)に表示させ(ステップS542)、培養条件を変更する(ステップS550)。即ち、CPU342は、新たな培養条件で細胞を培養するよう温度調整装置315aと湿度調整装置315bとを制御する。そしてステップS510に戻る。なお、予め、両培養条件(分類結果によって示される培養条件、及び、設定された培養条件)と、新たな培養条件(修正後の培養条件)とを対応付けて記憶部343に記憶し、CPU342は、両培養条件から新たな培養条件を取得するようにしてもよい。なお、CPU342は、操作者による新たな培養条件の設定値の入力があった場合に、当該設定値に培養条件を変更してもよい。
CPU342は、ステップS522に続いて、または、培養条件を変更しないと判断した場合(ステップS540:No)、所定期間経過後に、撮像装置334を制御して、培養中の細胞を撮像し、培養中の細胞数(即ち、細胞オブジェクト数)を計数する(ステップS560)。なお、CPU342は、個々の細胞オブジェクトを認識可能な細胞分類装置3の細胞オブジェクト特徴量算出部126の処理を実行するためのプログラムを憶部343から読み出し、読み出したプログラムを実行することによって細胞数を計数する。
次いで、CPU342は、ステップS560において計数した細胞数が所定の細胞数に到達したか否かを判断する(ステップS570)。CPU342は、計数した細胞数が所定の細胞数に到達していないと判断した場合(ステップS570:No)、所定の時間経過後に、ステップS510に戻る。一方、CPU342は、計数した細胞数が所定の細胞数に到達したと判断した場合(ステップS570:Yes)、当該細胞の培養が完了した旨をモニタ等(非図示)に表示させる(ステップS572)。そして、図21に示すフローチャートは終了する。
以上、図21に示すフローチャートに示すように、細胞分類装置4の分類結果に基づいて、培養容器319内の細胞の培養条件等を動的に変更できるため、所望の細胞を容易に増殖させることができるようになる。
なお、本発明の第1の実施形態による分類モデル生成装置1、本発明の第2の実施形態による分類モデル生成装置2、本発明の第3の実施形態による細胞分類装置3、本発明の第3の実施形態による細胞分類装置4の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、分類モデル生成装置1、2、細胞分類装置3、4に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。