JP2017140006A - 培養状態解析システム及び培養状態解析方法、並びに、プログラム - Google Patents

Abstract

【課題】培養液内の異なる粒径を有する細胞塊における粒径分布又は粒子数を非侵襲にかつ的確に推定すること、及び、その結果、品質管理又はその生産管理を安価にかつ的確に行うことが可能な培養液の培養状態解析システム等を提供すること。
【解決手段】状態解析システム１は、複数の異なる粒径の細胞塊が存在する推定対象となる懸濁培養液５１内の特定領域５２を含む領域を撮像し、当該撮像された特定領域５２の画像について画像解析することによって、当該特定領域５２に存在すると想定される細胞塊を抽出しつつ、当該推定対象の細胞塊の分布特徴量における各基底情報の基底混合比を推定し、当該推定した混合比に基づいて、懸濁培養容器５０全体における細胞塊の粒径分布、及び、懸濁培養容器５０全体における細胞塊の総粒子数を算出し、細胞塊の状態を解析する構成を有している。
【選択図】図１

Description

本発明は、培養液中の細胞塊の粒子数やその粒径分布を検出する培養液の培養状態解析システム等に関する。

近年、再生医療や不妊治療をはじめとする医療技術の進歩に伴って、対象となる細胞や細胞群について、培養中に増殖又は抑制などの状況を非侵襲にかつ簡易に観察するための技術の研究が進んでいる。

一方、細胞の検出を行うシステムではないが、複数のカメラを用いて奥行きを取得し、３次元空間における被測定領域内の微少の対象物を検出するシステムも知られている（例えば特許文献１）。

特開２００４−３６１２９１号公報

しかしながら、特許文献１にあっては、複数のカメラを用いて３次元位置を推定することに基づく計算は観測ノイズの影響を受けやすいので、細胞の培養状況を把握するために利用することは難しい。

本発明は、上述の課題を解決するためになされたものであって、その目的は、培養液内の細胞塊の粒径分布又は粒子数などの細胞培養に関する目標項目を非侵襲かつ的確に推定すること、及び、その結果、品質管理又はその生産管理を安価にかつ的確に行うことが可能な培養液の培養状態解析システム等を提供することにある。

上述した課題を解決するため、本発明は、細胞塊を含む培養液である検体であって培養に関する目標項目が既知で、かつ、当該目標項目が異なる複数の検体のそれぞれについて、当該目標項目の値と、前記培養液を有する容器内の一部の領域である画像化された特定領域における前記細胞塊の特徴量と、を含む情報を、基底情報として、予め記録手段に登録する登録手段と、撮像装置から、推定対象の培養液を有する前記容器内が画像化された対象画像を対象画像データとして取得する取得手段と、前記取得された対象画像データの対象画像に対して所定の画像解析を実行し、当該対象画像に画像化されている複数の粒子から構成される粒子群から、合焦点の粒子を、前記推定対象の特定領域に存在する細胞塊を示す合焦点粒子として、抽出する抽出手段と、前記対象画像に対して所定の画像解析を実行し、前記抽出された合焦点粒子に対する前記特徴量を検出する検出手段と、前記登録されている各基底情報における前記細胞塊の特徴量と前記検出された細胞塊としての合焦点粒子の特徴量とに基づいて、所定の演算を実行し、前記推定対象に含まれる各基底情報の混合比を推定する推定手段と、前記推定された混合比と、前記予め登録されている各基底情報の目標項目の値と、に基づいて、所定の演算を実行し、前記推定対象における前記目標項目を算出する算出手段と、を備える構成を有している。

この構成により、本発明は、撮像対象を画像化し、当該対象画像を画像解析することによって、特定領域５２に存在すると想定される合焦点となっている合焦点粒子、すなわち、細胞塊を特定することができる。

したがって、本発明は、予め登録された基底情報と対象画像から特定した細胞塊の特徴量とに基づいて、推定対象を最適に再現する各基底情報の混合比を推定しつつ、当該推定した混合比に基づいて、培養液内の細胞塊の粒径分布又は粒子数などの推定対象における細胞培養に関する目標項目を推定することができる。

この結果、例えば、ｉＰＳ細胞やＥＳ細胞などの生産時に重要となる細胞塊の大きさの管理や細胞数に基づく培養液の調整など、品質管理又はその生産管理を安価にかつ的確に行うことができる。

本発明は、培養液内の細胞塊の粒径分布又は粒子数などの推定対象における細胞培養に関する目標項目を推定することができるので、ｉＰＳ細胞やＥＳ細胞などの生産時に重要となる細胞塊の大きさの管理や細胞数に基づく培養液の調整など、品質管理又はその生産管理を安価にかつ的確に行うことができる。

本発明に係る状態解析システム一実施形態の構成を示す構成図である。 一実施形態の状態解析システムにおいて撮像された対象画像及び画像解析によって抽出された細胞塊が明示された対象画像の一例である。 一実施形態の状態解析システムの画像処理装置の構成を示すブロック図である。 一実施形態の画像処理装置において実行される対象画像から細胞塊の粒子像を検出する際の処理を説明するための図である。 一実施形態の画像処理装置において実行される基底情報における分布特徴量情報（ヒストグラム）を説明するための図である。 一実施形態における状態解析システムの画像処理装置において検出された細胞塊の分布特徴量及び対象画像において推定された基底混合比で分解して表現された細胞塊の分布特徴量（ヒストグラム）の一例である。 一実施形態の状態解析システムの画像処理装置において用いられる実粒径分布を示すグラフの例示である。 一実施形態の状態解析システムの画像処理装置において特定された推定粒径分布を示すグラフの例示である。 一実施形態の抽出処理部によって実行される前処理を説明するための図である。 一実施形態の抽出処理部によって実行される第１の処理（輝度勾配値の算出とエッジ検出）を説明するための図である。 一施形態の抽出処理部によって実行される第２の処理（中心候補ピクセルにおける確度算出前）を説明するための図（その１）である。 一施形態の抽出処理部によって実行される第２の処理（中心候補ピクセルにおける確度算出前）を説明するための図（その２）である。 一施形態の抽出処理部によって実行される第２の処理（中心候補ピクセルにおける確度算出前）を説明するための図（その３）である。 一実施形態の抽出処理部によって実行される第３の処理（合焦点粒子候補の中心ピクセルを探索するための探索領域の特定）を説明するための図である。 一実施形態の抽出処理部によって実行される第４の処理（合焦点粒子候補の特定）を説明するための図である。 一実施形態の抽出処理部３２３によって実行される第５の処理（合焦点粒子の特定）を説明するための図である。 一実施形態の状態解析システムの画像処理装置において実行される状態解析処理の動作を示すフローチャートである。 一実施形態の状態解析システムの画像処理装置において実行される合焦点粒子抽出処理の動作を示すフローチャートである。 一実施形態における基底検体Ａ、基底検体Ｄ及びテスト検体１の実験結果に含まれる対象画像の例である。 一実施形態の実験結果１に用いる各基底検体における画像特徴量である合焦点粒子のピクセル数と、顕微鏡による粒径サイズのヒストグラムを示す図である。 一実施形態のテスト検体１及び２における画像特徴量である合焦点粒子のピクセル数のヒストグラムを示す図である。 一実施形態の各テスト検体における実験結果１を説明するための図（テスト検体１）である。 一実施形態の各テスト検体における実験結果１を説明するための図（テスト検体２）である。 一実施形態の実験結果２に用いる各基底検体における画像特徴量である合焦点粒子のピクセル数の分布と、顕微鏡による粒径サイズの分布、およびセルソータ装置によるＴＯＦ値の分布のグラフである。 一本実施形態のテスト検体１及び２における画像特徴量である合焦点粒子のピクセル数の分布のグラフである。 一実施形態の各テスト検体における実験結果２を説明するための図（テスト検体１）である。 一実施形態の各テスト検体における実験結果２を説明するための図（テスト検体２）である。

以下、本発明に係る実施形態について、図面を参照しながら説明する。なお、以下の実施形態は、懸濁培養液内に異なる粒径の細胞塊が存在する容器内の一部の領域を撮像し、当該撮像した領域の画像を用いて細胞塊の粒径分布及び粒子数などの細胞塊の状態を解析する状態解析システムに対して、本発明に係る培養液の培養状態解析システム及び状態解析方法並びにそのプログラムを適用した場合の実施形態である。ただし、本発明は、その技術的思想を含む範囲内で以下の実施形態に限定されない。

［１］状態解析システムの概要
まず、図１及び図２を用いて本実施形態における状態解析システム１の構成及び概要について説明する。なお、図１は、本実施形態における状態解析システム１の構成を示すシステム構成図であり、図２は、本実施形態の状態解析システムにおいて撮像された対象画像の一例である。

本実施形態の状態解析システム１は、図１に示すように、細胞塊を含む培養液である検体であって培養に関する目標項目が既知で、かつ、当該目標項目が異なる複数の検体（以下、「基底検体」という。）の情報を用いることによって、具体的には、当該目標項目の値と、懸濁培養容器５０内の一部の領域（以下、「特定領域」という。）５２における細胞塊の特徴量と、を含む情報であって、異なる細胞塊の実粒径分布（すなわち、基底状態を示す細胞塊の分布）毎の情報（以下、「基底情報」という。）を用いることによって、未知の検体である推定対象となる懸濁培養液５１の目標項目に基づく細胞塊の培養状態を解析するシステムである。

特に、本実施形態において、推定対象の懸濁培養液や基底情報に用いる懸濁培養液の目標項目としては、懸濁培養容器全体の細胞塊の実粒径分布及びその総粒子数を用いており、本実施形態の状態解析システム１は、推定対象の懸濁培養液５１における懸濁培養容器５０全体の細胞塊の実粒径分布及びその総粒子数を解析するようになっている。

すなわち、本実施形態の状態解析システム１は、
（１）基底検体としての懸濁培養液５１について細胞塊の分布特徴量などの情報（以下、「基底情報」という。）を予め登録しておき、
（２）複数の異なる粒径の細胞塊が存在する推定対象となる懸濁培養液５１内を撮像し、（３）予め登録された基底情報を用いて、当該推定対象の特定領域５２に存在する細胞塊の分布特徴量における各基底情報の混合比（以下、「基底混合比」ともいう。）を推定し、
（４）当該推定した混合比に基づいて、懸濁培養容器５０全体における細胞塊の粒径分布、及び、懸濁培養容器５０全体における細胞塊の総粒子数を算出し、
細胞塊の状態を解析するようになっている。

なお、本実施形態の特定領域５２は、撮像された懸濁培養液５１内における２次元画像上に画像化された立体的な空間の内部に形成される領域であって、その厚みが充分に薄い領域である。

例えば、ｉＰＳ細胞やＥＳ細胞といった分化万能性を有する多能性幹細胞を三次元浮遊撹拌培養により大量に培養する際には、その未分化性を維持するために、胚様体（ｅｍｂｒｙｏｉｄ ｂｏｄｙ：ＥＢ）と呼ばれる細胞塊の粒径を大きくなりすぎないように保ちながら培養する必要がある。

特に、細胞塊が大きくなりすぎた場合には、細胞塊内部の細胞が虚血（低栄養、低酸素）状態に陥り、細胞死を助長させる。

そして、粒径にばらつきが大きいと、培地中に添加した分化誘導因子が細胞塊の内部へ均一に到達（拡散）せず、分化誘導効率が落ちてしまうことも多い。そのため、培養中の細胞塊の粒径をモニタすることは重要であることが知られている。

また、ｉＰＳ細胞などの各種の細胞を培養する際には、培養コストを低減させることも必要になっており、そのためには、懸濁培養液の量を適切に調整することも必要とされている。

そこで、本実施形態の状態解析システム１は、予め登録された基底情報を用いて、推定対象の特定領域５２における各基底情報（すなわち、予め既知の目標項目に紐付けられた細胞塊の特徴量）の混合比を、非侵襲にかつ的確に推定し、推定対象の目標項目として、懸濁培養容器５０全体の細胞塊の粒径分布及びその総粒子数を算出するようになっており、懸濁培養液５１内における細胞塊の培養状況をモニタリングすることができるようになっている。

その一方、本実施形態の状態解析システム１においては、懸濁培養液５１全体（すなわち、懸濁培養容器５０全体）の細胞塊の状態を的確に解析するためには、特定領域５２内の細胞塊を的確に抽出する必要がある。

しかしながら、カメラなどの撮像手段によって懸濁培養容器５０内を撮像する場合には、あまり強力な照度を有するものを用いると懸濁培養容器５０内に存在する細胞塊に影響を与えることが懸念される。

また、懸濁培養容器５０内を撮像して画像化し、特定領域５２内に存在する細胞塊を検出する場合には、撮像手段の撮像能力に依存するものの、照度及び焦点深度の関係で当該特定領域５２を特定しつつ、かつ、当該特定領域５２内に存在する細胞塊を的確に特定することが難しい。

そこで、本実施形態の状態解析システム１においては、例えば、図２（Ａ）に示すような特定領域５２を含む領域（すなわち、懸濁培養容器５０内に予め設定された撮像範囲）を対象画像として画像化し、当該対象画像を画像解析することによって、例えば、図２（Ｂ）に示すような特定領域５２に存在する細胞塊（後述する合焦点となっている細胞塊）を特定することができるようになっている。

具体的には、本実施形態の状態解析システム１は、懸濁培養容器５０内に光を照射する照明装置１０と、光が照射された特定領域５２を含む領域を撮像して得られた画像データ（以下、「対象画像データ」という。）を生成する撮像装置２０と、対象画像データに対して画像解析を実行し、細胞塊の状態を解析する画像処理装置３０と、から構成される。

照明装置１０は、撮像装置２０によって５２を照射する装置であり、例えば、ＬＥＤなどの平面発光の照明装置を用いる。また、照明装置１０は、画像処理装置３０からの制御に基づいて、照射の有無、及び、照明強度などを切り替えて光ビームを出射するようになっている。

撮像装置２０は、画像処理装置３０と連動する機能を有し、懸濁培養容器５０内を撮像する撮像機能を有する装置であって、例えば、小型カメラによって構成されている。特に、撮像装置２０は、一定間隔（例えば１２ｍｓ）毎に懸濁培養容器５０の予め特定された特定領域５２を同一の撮像条件によって複数回撮像して対象画像のデータを対象画像データとして生成し、当該生成した対象画像データを画像処理装置３０に提供する構成を有している。

具体的には、撮像装置２０は、光学システムと、当該光学システムから入力された光学画像を電気信号に変換するＣＣＤＩセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）と、ＣＣＤＩセンサにおいて生成された電気信号に基づいて画像データを生成する生成部と、を有する。

また、撮像装置２０は、懸濁培養容器５０が配置される位置から一定の距離を有する位置に固定設置され、向き及び画角が固定されており、常に一定の距離及び視野範囲によって懸濁培養容器５０内を撮像することができるように構成されている。

画像処理装置３０は、照明装置１０及び撮像装置２０と連動し、撮像装置２０によって生成された対象画像データに対して画像解析を行うことによって、特定領域５２に存在する細胞塊（すなわち、特定領域５２存在すると想定される細胞塊）の粒子数を特定するとともに、特定領域５２内における登録された各基底情報の基底混合比を推定し、当該推定した基底混合比に基づいて推定対象の懸濁培養容器５０全体における細胞塊の状態を解析する装置である。

特に、画像処理装置３０は、規定量（例えば、懸濁培養容器５０全体）の細胞塊の粒径分布及び当該懸濁培養容器５０全体の総粒子数を示す目標項目が既知で、かつ、当該目標項目が異なる複数の基底検体のそれぞれについて、当該目標項目の値と、特定領域５２における分布特徴量としての細胞塊の粒子像サイズのヒストグラムや当該細胞塊の粒子像数などの細胞塊の特徴量と、を含む基底情報を登録する登録処理を実行する構成を有している。

そして、画像処理装置３０は、
（１）撮像装置２０から、懸濁培養液５１に推定対象の複数種類の細胞塊（具体的には粒径サイズの異なる細胞塊）が混在する懸濁培養容器５０内の特定領域５２を含む領域が画像化された対象画像データを取得し、
（２）取得した対象画像データの対象画像に対して所定の画像解析を実行し、当該対象画像に画像化されている複数の粒子から構成される粒子群を特定しつつ、当該特定した粒子群の中から、合焦点となっている粒子を、推定対象の特定領域５２に存在する細胞塊を示す合焦点粒子として、抽出し、
（３）対象画像に対して所定の画像解析を実行し、抽出した合焦点粒子に対する特徴量を検出し、
（４）登録されている各基底情報における細胞塊の特徴量と（３）で検出した合焦点粒子の特徴量とに基づいて所定の演算を実行し、推定対象に含まれる各基底情報の基底混合比を推定し、
（５）推定した基底混合比と、予め登録されている各基底情報の目標項目の値と、に基づいて、所定の演算を実行し、推定対象における前記目標項目を算出する、
構成を有している。

なお、本実施形態においては、細胞塊の特徴量としては、特定領域５２における細胞塊の分布特徴量と、当該分布特徴量とは異なる特徴量である従属特徴量を用いるようになっており、特に、細胞塊の分布特徴量としては、特定領域５２の画像上における粒子像のピクセル数に基づくサイズのヒストグラムを用いるとともに、従属特徴量としては、特定領域５２における細胞塊の粒子像数を用いるようになっている。

通常、ある特定の細胞塊における粒径の粒子のみを含む培養液の撮像画像に対して、細胞塊の特徴量の一つである粒子像サイズのヒストグラムは、細胞塊の粒径毎に独立であるので、複数の粒径の粒子を含む検体を観察することで得られる細胞塊の粒子像サイズにおけるヒストグラムは、既知の細胞塊の粒径別における基本分布（例えば、既知の細胞塊の粒径別における基底情報の分布特徴量）の足し合わせからなる混合分布とみなすことができる。したがって、観察された粒子像サイズのヒストグラムである混合分布から、基底情報に基づいて所定の演算処理を実行することによって、検体基底の基本分布の混合比（すなわち、基底混合比）を推定することができる。

そこで、画像処理装置３０は、予め登録された基底情報と、対象画像から検出した推定対象の特定領域５２における細胞塊の特徴量（混合分布となる分布特徴量）と、に基づいて、当該細胞塊の特徴量における各検体基底に基づく基底混合比を推定することができるようになっている。

また、各基底情報には、懸濁培養容器５０全体の細胞塊の粒径分布及び当該懸濁培養容器５０全体の総粒子数などの目標項目の値が含まれるので、画像処理装置３０は、上記によって推定された基底混合比を、それぞれに対応する目標項目、例えば、懸濁培養容器５０全体の細胞塊の粒径分布及び当該懸濁培養容器５０全体の総粒子数に乗じて足し合わせて、推定対象の懸濁培養容器５０全体における粒径分布及び総粒子数を算出できるようになっている。

なお、本実施形態の「分布特徴量」は、基底の数以上の次元数が必要となっているため、以下の説明においては、分布特徴量は、基底の数以上の次元数をもつ特徴量である。

このような構成により、本実施形態の状態解析システム１は、撮像対象を画像化し、当該対象画像を画像解析することによって、特定領域５２に存在すると想定される合焦点となっている合焦点粒子、すなわち、細胞塊を特定することができるようになっている。

そして、本実施形態の状態解析システム１は、予め登録された基底情報と対象画像から特定した細胞塊の特徴量とに基づいて、推定対象を最適に再現する各基底情報の混合比を推定しつつ、当該推定した混合比に基づいて、培養液内の細胞塊の粒径分布又は粒子数などの推定対象における細胞培養に関する目標項目を推定することができるようになっている。

したがって、例えば、ｉＰＳ細胞やＥＳ細胞などの生産時に重要となる細胞塊の大きさの管理や細胞数に基づく培養液の調整など、品質管理又はその生産管理を安価にかつ的確に行うことができる。

なお、本実施形態においては、本実施形態の分布特徴量としては、上述のように、細胞塊の粒子像サイズのヒストグラムを用いているが、粒子像の丸さ・黒さ・ぼやけ具合・模様の荒れ具合・光沢感・楕円度の数値化された特徴量を順に並べた６次元ベクトルなどを用いてもよい。

また、本実施形態においては、従属特徴量については、粒子像数を用いているが、分布特徴量以外の特徴量であればよく、例えば目標項目「培養液の汚れ具合」に関連させて「粒子状ではない像の数」又は「ゴミっぽい像の数」であってもよい。

さらに、本実施形態においては、推定対象における目標項目として、細胞塊の実粒径分布のみならず、当該分布特徴量とは異なる特徴量である従属特徴量である粒子像数を検出し、当該検出された粒子像数（従属特徴量）と、推定された混合比と、予め登録されている各基底情報である実粒子像数（従属特徴量）の値と、に基づいて、推定すべき粒子数を算出するが、特定領域の画像から検出された分布特徴量に基づいて基底混合比を推定し、当該分布特徴量と、推定された基底混合比と、予め登録されている情報と、によって、推定対象の容器全体における細胞塊の実粒径分布のみを目標項目として算出してもよい。

上記に加えて、本実施形態においては、懸濁培養容器５０に攪拌機能を有し、懸濁培養液５１が一定の速度（４０ｒｐｍ）で攪拌されている。

［２］画像処理装置
次に、図３を用いて本実施形態の画像処理装置３０の構成について説明する。なお、図３は、本実施形態の画像処理装置３０のブロックを示すブロック図である。

具体的には、本実施形態の画像処理装置３０は、図３に示すように、各種のプログラムが実行される際に用いられる各種のデータを記録するデータ記録部３００と、撮像装置２０から送信された対象画像データの対象画像に基づいて状態解析処理を実行するためのデータ処理部３２０と、液晶パネル等により構成される表示部３４０と、表示部３４０を制御する表示制御部３５０と、操作部３７０と、各部を制御する管理制御部３８０と、を有する。なお、上述の各部は、バス３１によって相互に接続され、各構成要素間におけるデータの転送が実行される。

データ記録部３００は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等により構成され、状態解析処理など各処理を実行するアプリケーションプログラムが記録されるアプリケーション記録部３０１と、撮像装置２０によって撮像されて生成された対象画像データが記録される画像データ記録部３０２と、細胞塊の分布特徴量の情報（以下、「分布特徴量情報」という。）及び粒子像数の情報（以下、「粒子像数情報」という。）を含む基底情報を含む各種の参照データが記録される参照データ記録部３０３と、各プログラムの実行中にワークエリアとして用いられるＲＯＭ／ＲＡＭ３０４と、を有している。

特に、画像データ記録部３０２には、撮像装置２０から取得した複数の対象画像を解析タイミング毎に記録されている。

参照データ記録部３０３には、状態解析処理に先立って取得された当該状態解析処理に用いる各種の基底情報が記録される。具体的には、参照データ記録部３０３には、
（１）予め規定された量の基底検体としての懸濁培養液５１を有する懸濁培養容器５０内の特定領域５２において、当該特定領域５２に存在する細胞塊の粒子像のサイズのヒストグラムである分布特徴量情報（以下、「分布特徴量情報（基底）」という。）、
（２）予め規定された量の基底検体としての懸濁培養液５１における当該特定領域５２に存在する細胞塊の粒子像数である特徴量情報（以下、「粒子像数情報（基底）」という。）、
（３）予め規定された量の基底検体としての懸濁培養液５１の全体（すなわち、懸濁培養容器５０全体）に含まれる細胞塊の粒径分布の情報（以下、「実粒径分布情報」という。）、
（４）予め規定された量の基底検体としての懸濁培養液５１の全体（すなわち、懸濁培養容器５０全体）に含まれる細胞塊が存在する数の情報（以下、「実粒子数情報」という。）、
が基底情報としてそれぞれ複数の異なる実粒径分布毎に登録される。

データ処理部３２０は、ＲＯＭ／ＲＡＭ３０４に記録されている状態解析処理を実行するアプリケーションに基づいて、
（１）分布特徴量情報（基底）、粒子像数情報（基底）、実粒径分布情報及び実粒子数情報を含む基底情報を異なる粒径（すなわち基底）のそれぞれについて基底情報として予め複数登録する登録処理、
（２）撮像装置２０によって推定対象の懸濁培養容器５０内を撮像して画像化された対象画像データの対象画像に対して所定の画像解析を実行し、当該対象画像に画像化されている複数の粒子から構成される粒子群から、合焦点粒子を、推定対象の特定領域に存在する細胞塊として、抽出する合焦点粒子抽出処理、
（３）抽出した細胞塊の分布特徴量（以下、「分布特徴量（検出）」という。）及び粒子像数を検出するとともに、検出した細胞塊の分布特徴量（検出）と登録されている基底情報における分布特徴量（基底）とに基づいて、推定対象の懸濁培養液５１における各基底情報の基底混合比を推定する混合比推定処理、及び、
（４）推定した基底混合比及び検出した粒子像数と、登録されている基底情報の実粒径分布情報及び実粒子数情報に基づいて、推定対象の懸濁培養液５１を有する懸濁培養容器５０全体における細胞塊の粒径分布及び総粒子数を算出する状態解析処理、
を実現する。

特に、データ処理部３２０は、アプリケーションを実行することによって、登録処理を実行する登録処理部３２１と、照明装置１０及び撮像装置２０と連動するためのシステム制御部３２２と、対象画像から合焦点粒子を推定対象の特定領域５２に存在する細胞塊として抽出する抽出処理部３２３と、特定された特定領域５２内の細胞塊の粒径分布の検出を状態解析処理の一部として実行する検出処理部３２４と、解析結果に基づいて混合推定処理及び状態解析処理を実行する推定解析処理部３２５と、を実現する。

例えば、本実施形態の登録処理部３２１は、本発明の登録手段を構成し、検出処理部３２４は、本発明の抽出手段を構成する。また、検出処理部３２４は、本名発明の取得手段及び検出手段を構成し、本実施形態の推定解析処理部３２５は、本発明の推定手段及び算出手段を構成する。なお、本実施形態におけるデータ処理部３２０の各部の詳細については、後述する。

表示部３４０は、液晶素子又はＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部３５０において生成された表示データに基づいて所定の画像を表示する。

表示制御部３５０は、管理制御部３８０及びデータ処理部３２０の制御の下、表示部３４０に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを当該表示部３４０に出力する。

操作部３７０は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキー等の多数のキーであって、表示部３４０上に設けられたタッチセンサにより構成され、各操作を行う際に用いられるようになっている。

管理制御部３８０は、主に中央演算処理装置（ＣＰＵ）によって構成され、プログラムを実行することによって、画像処理装置３０の全体的な管理制御、及び、その他の各種の制御を行う。

ＲＯＭ／ＲＡＭ３０４には、画像処理装置３０の駆動に必要な各種のプログラムが記録されている。また、ＲＯＭ／ＲＡＭ３０４には、データ処理部３２０、及び、管理制御部３８０によって実行される様々なアプリケーションが記録されている。そして、ＲＯＭ／ＲＡＭ３０４は、各プログラムの実行中にワークエリアとして用いられる。

［３］データ処理部
［３．１］データ処理部の詳細
次に、図４〜図８を用いて本実施形態の画像処理装置３０におけるデータ処理部３２０の詳細について説明する。

なお、図４は、本実施形態の登録処理部３２１において実行される処理であって、特定領域５２から細胞塊の粒子像を検出する際の処理を説明するための図であり、図５は、本実施形態の登録処理部３２１において実行される基底情報における分布特徴量情報（ヒストグラム）を説明するための図である。

また、図６は、本実施形態における画像処理装置３０において検出された細胞塊の分布特徴量及び特定領域５２において推定された基底混合比で分解して表現された細胞塊の分布特徴量（ヒストグラム）の一例であり、図７は、本実施形態の状態解析システムの画像処理装置において用いられる実粒径分布を示すグラフの例示である。

さらに、図８は、本実施形態の状態解析システムの画像処理装置に特定された推定粒径分布のグラフの例示である

（特定処理部）
登録処理部３２１は、図示しない測定器又は操作部３７０と連動し、状態解析処理に用いる代表的な状態の懸濁培養液５１、すなわち、基底検体についての粒径分布及び粒子像数の情報を取得し、当該取得した粒径分布及び粒子像数の情報を基底情報の特徴量情報として参照データ記録部３０３に登録する。

特に、登録処理部３２１は、基底情報として、複数の基底検体毎に
（１）特定領域５２における細胞塊の分布特徴量情報、
（２）特定領域５２における細胞塊の粒子像数情報
（３）実粒径分布情報、
（４）実粒子数情報、
を、参照データ記録部３０３にそれぞれ登録する。

具体的には、登録処理部３２１は、分布特徴量情報（基底）及び粒子像数情報（基底）については、基底検体毎に、照明装置１０及び撮像装置２０と連動し、予め定められた撮像条件によって懸濁培養容器５０内を撮像した特定領域５２を含む複数の対象画像を取得するとともに、合焦点粒子抽出処理と同様な処理によって特定領域５２に存在すると想定される細胞塊を特定させる。

そして、登録処理部３２１は、予め定められた検出条件に基づいて、分布特徴量として抽出された細胞塊のピクセル数に基づく粒径サイズのヒストグラムと、粒子像数情報として抽出した細胞塊の粒子像数と、を検出する。

また、登録処理部３２１は、基底検体毎に、複数の対象画像のそれぞれについて抽出された細胞塊の分布特徴量及び粒子像数を平均化し、平均化した分布特徴量及び粒子像数を分布特徴量情報（基底）及び粒子像数情報（基底）として参照データ記録部３０３に登録する。

例えば、撮像条件には、レンズ、露光時間、撮像間隔、撮像枚数が含まれ、照明装置１０における照明の種類及び照明の強度と、撮像装置２０における懸濁培養容器５０からの距離、向き及び画角とともに、共通の条件を用いて推定対象物を画像化できるようになっている。また、検出条件には、２値化する際の閾値やノイズを除去する強度などの各種のパラメータが含まれる。

また、例えば、登録処理部３２１は、図４（Ａ）及び（Ｂ）に示すように、３つの基底検体数の場合には、培養初期、培養中期、培養後期の基底検体について細胞塊の分布特徴量及び粒子像数情報を分布特徴量情報（基底）及び粒子像数情報（基底）として取得する。

一方、登録処理部３２１は、コールター測定器又はフローサイトメトリーなどの図示しない測定器と連動し、分布特徴量情報（基底）及び粒子像数情報（基底）を検出した基底検体の懸濁培養液５１について、予め規定された量（懸濁培養容器５０全体）の当該懸濁培養液５１について測定した結果を取得する。

すなわち、登録処理部３２１は、分布特徴量情報（基底）及び粒子像数情報（基底）を検出した懸濁培養液について、細胞塊の実粒径分布及び実粒子数の測定結果を実粒径分布情報及び実粒子数情報として取得し、参照データ記録部３０３にそれぞれを登録する。

なお、登録処理部３２１は、図示しない測定器から直接的に、実粒径分布及び実粒子数を取得してもよいし、操作部３７０を介して手動により取得してもよい。

（システム制御部）
システム制御部３２２は、操作部３７０を介して入力された操作指示に基づいて照明装置１０及び撮像装置２０を制御する。具体的には、システム制御部３２２は、状態解析処理の開始時に、又は、予め分布特徴量情報（基底）及び粒子像数情報（基底）を取得する際に、レンズの選定及びピント、撮像タイミング、撮像枚数、照明の種類、及び、照明強度などの撮像装置２０及び照明装置１０を制御する。

特に、システム制御部３２２は、異なる粒径の細胞塊が複数存在する懸濁培養液５１における細胞塊状態を解析する状態解析処理（合焦点粒子抽出処理を含む）を実行する場合と、基底検体について予め分布特徴量情報（基底）及び粒子像数情報（基底）を取得する場合と、において、同一の撮像条件となるように撮像装置２０及び照明装置１０を制御する。

例えば、システム制御部３２２は、推定対象において状態解析処理を実行する際と、予め分布特徴量情報（基底）及び粒子像数情報（基底）を取得する際と、において、同一の撮像条件となるように、照明装置１０を制御して懸濁培養容器５０内にＬＥＤの平面光を照射させ、当該照射された懸濁培養液５１内を所定の時間間隔毎に所定回数撮像し、撮像した画像を登録処理部３２１又は検出処理部３２４に提供する。

（抽出処理部）
抽出処理部３２３は、懸濁培養容器５０内を撮像した特定領域５２を含む各対象画像（入力画像）を構成する各ピクセルの輝度値に基づいて、当該対象画像に画像化されている複数の粒子から構成される粒子群から合焦点粒子を、推定対象の特定領域５２に存在する細胞塊として、合焦点粒子抽出処理を実行する。なお、本実施形態の合焦点粒子抽出処理の詳細は後述する。

（検出処理部）
検出処理部３２４は、異なる粒径の細胞塊が複数存在する懸濁培養液５１（すなわち、推定対象）における細胞塊状態を解析する場合に、推定対象の各対象画像から、抽出された合焦点粒子におけるピクセル数、当該ピクセル数に基づく合焦点粒子の粒径サイズのヒストグラムと、各対象画像内の特定領域５２に存在すると想定される合焦点粒子（すなわち、細胞塊）における粒子像数と、をそれぞれ検出し、それらの各平均を平均分布特徴量又は平均粒子像数として算出する。

そして、検出処理部３２４は、算出した平均分布特徴量及び平均粒子像数を分布特徴量情報（検出）及び粒子像数情報（検出）として、推定解析処理部３２５に提供する。

特に、検出処理部３２４は、対象画像毎に、例えば、図４（Ａ）に示すように、合焦点粒子抽出処理によって抽出された合焦点粒子としての細胞塊の粒子像を検出し、例えば、図４（Ｂ）に示すように、当該検出した細胞塊の粒子像の画素数に基づいて粒子像サイズのヒストグラム及びその数（粒子像数）を取得する。そして、検出処理部３２４は、各粒子像サイズのヒストグラム及びその数を平均化し、平均分布特徴量及び平均粒子像数を特定する。

（推定解析処理部）
推定解析処理部３２５は、参照データ記録部３０３に記録された基底検体毎の分布特徴量情報（基底）と検出処理部３２４において算出された分布特徴量情報（検出）とに基づいて、所定の演算を実行し、分布特徴量情報（検出）における各基底情報における基底混合比を算出する。特に、推定解析処理部３２５は、例えば、制約条件付き最小二乗法の演算を実行し、分布特徴量情報（検出）における各基底情報における基底混合比を算出する。

なお、分布特徴量情報（基底）を所定のビン数のヒストグラムとして表現した場合には、分布特徴量情報（検出）によって示される混合分布は、各基底情報の分布特徴量（基底）の重み付きの足し合わせと想定することができる。

例えば、基底検体の数を「３」個、それぞれの基本分布をＡ，Ｂ，Ｃとし、それぞれに対応する重みをπＡ、πＢ及びπＣとして、基本分布及び混合分布をビン数ｑのヒストグラムとして表した場合、基底の重み付き足し合わせで得られる混合分布Ｓは、（式１）のように表現することができる。

また、検出処理部３２４において算出される分布特徴量（検出）によって示される分布特徴量を「Ｚ」とすると、推定解析処理部３２５は、基底の重み付き足し合わせで得られる混合分布Ｓと分布特徴量Ｚの差が最小となるようなπＡ、πＢ及びπＣを算出する。

なお、（式１）及び（式２）において、「ｘ」は、基底検体の混合比を示し、「Ｄ」は、それぞれの分布特徴量情報によって示される基底検体の基本分布を示す。また、（式１）及び（式２）において、「πＡ」、「πＢ」、「πＣ」は、基底の数が「３」の場合の「ｘ」の具体例であり、「Ａ」、「Ｂ」、「Ｃ」は、基底の数が「３」の場合の「π」の具体例である。

例えば、推定解析処理部３２５は、基底検体の基本分布として図５（Ａ）、（Ｂ）及び（Ｃ）を用いる場合には、検出処理部３２４によって特定された平均分布特徴量（図６（Ａ））に対し、最適な近似による混合分布（図６（Ｂ））を与えるための基底検体毎の基底混合比、すなわち、各基底情報の基底混合比を算出する。

なお、図６（Ｂ）は、図６（Ａ）の入力に対し、基底検体Ａについては２５％、基底検体Ｂについては３５％及び基底検体Ｃについては４０％の基底混合比が算出されていることを示している。

一方、推定解析処理部３２５は、基底混合比を算出すると、参照データ記録部３０３に記録された基底検体毎の実粒径分布情報と、推定した基底検体毎の基底混合比と、に基づいて、対象画像が撮像された際の懸濁培養容器５０全体における粒径分布を推定粒径分布として推定する。

具体的には、推定解析処理部３２５は、基底検体（基底情報）毎の実粒径分布情報によって示される粒径分布を、該当する推定した基底混合比を用いて１つの粒径分布に合成して推定粒径分布を生成する。例えば、図７（Ａ）、（Ｂ）及び（Ｃ）に示すような基底検体毎の実粒径分布情報によって示される粒径分布であって、推定した各基底情報の基底混合比が、基底検体Ａについては２５％、基底検体Ｂについては３５％及び基底検体Ｃについては４０％の場合には、推定解析処理部３２５は、図８に示すような推定粒径分布を生成する。

他方、推定解析処理部３２５は、参照データ記録部３０３に記録された基底検体（基底情報）毎の実粒子数情報及び粒子像数情報（基底）と、算出された平均粒子像数情報（推定対象の特定領域５２における平均の粒子像数）と、推定した基底情報毎の基底混合比と、に基づいて、対象画像を撮像した際の基底情報毎の懸濁培養容器５０全体における粒子数を推定する。

具体的には、推定解析処理部３２５は、推定した基底情報毎の基底混合比を用いて粒子像数情報（検出）における粒子像数を配分し、当該配分した値である平均配分粒子像数を、対応する基底情報の実粒子数情報によって示される実粒子数に対する当該基底検体の粒子像数の割合で除算することによって得られる基底毎の実粒子数を、全ての基底にわたって加算することにより、対象画像を撮像した際の懸濁培養容器５０全体における粒子数を算出する。

例えば、推定した基底情報毎の混合比が、基底検体Ａについては２５％、基底検体Ｂについては３５％及び基底検体Ｃについては４０％の場合であって、推定対象の特定領域５２における粒子像数情報（検出）によって示される粒子像数が「５００」、及び、各基底検体の基底情報における実粒子数情報によって示される数に対する粒子像数情報（基底）によって示される数の割合が（Ａ，Ｂ，Ｃ）＝（１／１０，１／３０，１／２０）の場合には、推定解析処理部３２５は、平均配分粒子像数を（１２５、１７５、２００）と算出し、各基底検体に対応する懸濁培養容器５０全体の粒子像数（ＮＡ，ＮＢ，ＮＣ）を（１２５０，５２５０，４０００）と算出し、結果として、懸濁培養容器５０全体の粒子数を、これらを足し合わせた１０５００として算出する。

［３．２］合焦点粒子抽出処理
次に、図９〜図１６を用いて本実施形態の画像処理装置３０の抽出処理部３２３における合焦点粒子抽出処理の詳細について説明する。

なお、図９は、本実施形態の抽出処理部３２３によって実行される前処理を説明するための図であり、図１０は、本実施形態の抽出処理部３２３によって実行される第１の処理（輝度勾配値の算出とエッジ検出）を説明するための図である。

また、図１１〜図１３は、本実施形態の抽出処理部３２３によって実行される第２の処理（中心候補ピクセルにおける確度算出前）を説明するための図であり、図１４は、本実施形態の抽出処理部３２３によって実行される第３の処理（合焦点粒子候補の中心ピクセルを探索するための探索領域の特定）を説明するための図である。

さらに、図１５は、本実施形態の抽出処理部３２３によって実行される第４の処理（合焦点粒子候補の特定）を説明するための図であり、図１６は、本実施形態の抽出処理部３２３によって実行される第５の処理（合焦点粒子の特定）を説明するための図である。

抽出処理部３２３は、各対象画像の入力画像を構成する各ピクセルの輝度値に基づいて、対象画像内における合焦点粒子を、特定領域５２に存在する細胞塊として抽出する合焦点粒子抽出処理の実行を行う。

特に、抽出処理部３２３は、抽出処理部３２３は、的確な画像によって合焦点粒子抽出処理を実行するため、その前処理として、各対象画像の入力画像に対して照明ムラを除去し、以下の第１の処理から第５の処理までの各処理を実行する。

まず、抽出処理部３２３は、合焦点粒子抽出処理の第１の処理として、
（１Ａ）入力画像を構成する各ピクセルの輝度値における変化率（以下、「輝度勾配値」という。）を算出し、
（１Ｂ）各ピクセルの位置及び輝度勾配値に基づいて、入力画像におけるエッジを検出する。

次に、抽出処理部３２３は、合焦点粒子抽出処理の第２の処理として、
（２Ａ）エッジを構成するピクセル（以下、「エッジピクセル」という。）を特定し、
（２Ｂ）当該特定した各エッジピクセルの輝度勾配値に基づいて、所定の条件を有する特定のピクセルについて、合焦点粒子（すなわち、細胞塊）の中心となるべきピクセル（以下、「中心候補ピクセル」という。）になる場合の確度を算出する。

そして、抽出処理部３２３は、合焦点粒子抽出処理の第３の処理として、
（３Ａ）所定の確度を有する特定ピクセルを中心候補ピクセルに決定し、
（３Ｂ）当該中心候補ピクセルの確度について平滑化などの所定の補正処理を実行し、
（３Ｃ）当該補正された確度を有するピクセル群から構成される連続領域を、合焦点粒子候補の中心ピクセルを探索するための領域（以下、「探索領域」という。）として特定する。

さらに、抽出処理部３２３は、合焦点粒子抽出処理の第４の処理として、
（４Ａ）各探索領域内で確度が最大（すなわち、極大値）となるピクセルを合焦点粒子の候補（以下、「合焦点候補」という。）における中心ピクセルとして特定し、
（４Ｂ）特定された合焦点粒子候補の中心ピクセルの確度を算出した際に用いた基準値から当該合焦点粒子候補の半径Ｒを決定し、
（４Ｃ）入力画像上において各中心ピクセルを中心に当該各中心ピクセルから該当する半径Ｒの領域をそれぞれ合焦点粒子候補として特定する。

最後に、抽出処理部３２３は、合焦点粒子抽出処理の第５の処理として、
（５Ａ）輝度勾配値を用いて各合焦点粒子候補の合焦点度を算出し、
（５Ｂ）予め定められた合焦点度を有する合焦点粒子候補を合焦点粒子として特定する。

（前処理：照明ムラの除去）
抽出処理部３２３は、入力された対象画像毎に、照明装置１０によって照射されることによって生じた照度ムラ成分を除去し、照明によって影響のない画像を補正画像として生成する。

具体的には、抽出処理部３２３は、照度ムラを（式３）の関数で表現できるとみなし、入力された各対象画像ｉｍに基づいて、（式４）によって係数ベクトルＰを算出する。照度ムラを表現する関数（式３）は自由に定められるが、一般には次数２（ｐの数が６）程度が良く用いられる。

なお、ｉｍ（：）は、各座標における輝度値を一列に並べたベクトルを表す。「Ｘ」は画像上の各ピクセルの位置座標（ｘ，ｙ）について（式３）における各「ｐ」の項毎に算出したベクトルを並べることで構成される行列である。行列記号の肩の「Ｔ」は転置行列を示し、「−１」は逆行列を示す。

例えば、図９（Ａ）には、懸濁培養容器５０内を撮像して得られた特定領域５２を含む対象画像（すなわち、入力画像）を示し、図９（Ｂ）には、当該入力画像に対して照度ムラが除去された入力画像を示す。

（第１の処理：輝度勾配値の算出とエッジ検出）
抽出処理部３２３は、入力画像（照度ムラが除去された入力画像）を構成する各ピクセルの輝度値を微分し、当該各ピクセルの輝度勾配値を算出する。そして、抽出処理部３２３は、算出された各ピクセルの輝度勾配値について、予め定められた閾値によって２値化し、一方の値（例えば、輝度勾配値が高い値）を有するピクセルを、エッジを構成するエッジピクセルとして特定する。

例えば、図１０（Ａ）には、図９（Ｂ）に示す入力画像（照度ムラが除去された画像）に対して、各ピクセルにおいて入力画像の座標位置（各ピクセルが配置されている座標）を反映させた輝度勾配値から構成される画像（以下、「輝度勾配画像」という。）を示し、図１０（Ｂ）にエッジピクセルによってエッジが形成された輝度勾配画像（以下、「エッジ画像」という。）を示す。

（第２の処理：中心候補ピクセルにおける確度算出）
抽出処理部３２３は、算出された各エッジピクセルの入力画像上の座標位置とそれぞれの輝度勾配値に基づいて、該当するエッジピクセルから輝度勾配値が大きくなる方向（輝度勾配値のベクトルの方向）に沿って、予め定められた長さの直線上の各ピクセル（各半径候補ｒの中心候補ピクセル）に対して、当該輝度勾配値に基づいて定められた値（以下、「投票値」という。）を加算し、全てのエッジピクセルに基づいて加算された投票値の合計を各中心候補ピクセルの確度として算出する。

すなわち、抽出処理部３２３は、１のエッジピクセルから輝度勾配値ベクトル方向（以下、「勾配方向」という。）に形成されるピクセルを、当該エッジピクセルが周縁となり、かつ、予め定められた最小ピクセル数（例えば３ピクセル）から最大ピクセル数（例えば、４０ピクセル）の長さをそれぞれ半径ｒとした場合におけるそれぞれの中心候補ピクセルとして特定する。

そして、抽出処理部３２３は、各中心候補ピクセルに対して当該エッジピクセルの輝度勾配値又は当該輝度勾配値に応じて割り当てられた値を投票値として加算し、その投票値を全エッジピクセルによって合算した投票値を各中心候補ピクセルの確度として算出する。

例えば、輝度勾配画像とエッジ画像とを用いて第２の処理の原理を説明すると、まず、抽出処理部３２３は、図１１に示すように、図１０（Ａ）に示す輝度勾配画像対して図１０（Ｂ）に示すエッジ画像をマスク画像として用いて、エッジピクセル以外のピクセルの輝度勾配値を「０」に設定し、各ピクセルにおける初期値を「０」に設定された投票候補画像を生成することになる。

そして、抽出処理部３２３は、輝度勾配画像から各エッジピクセルに対応するピクセルにおける輝度勾配方向及び輝度勾配値を取得し、図１２（Ａ）に示すように、投票画像における各エッジピクセルに対応するピクセルＡから、勾配方向Ｄに予め設定した長さを上限として直線Ｌを設定する。

次に、抽出処理部３２３は、図１２（Ｂ）に示すように、直線上の全てのピクセルに対して、すなわち、投票画像の直線上の各ピクセルＢに対して、ピクセルＡの輝度勾配値を元にした投票値を加算する。そして、抽出処理部３２３は、投票候補画像における全てのエッジピクセルによって投票値を加算して、投票画像を構成する各ピクセルにおける投票値の合計を各中心候補ピクセルの確度として算出する。

一方、抽出処理部３２３は、１のエッジピクセルから各中心候補ピクセルへの投票値を加算する際に、中心候補ピクセルの反対に存在するピクセルの輝度勾配位置を用いて各中心候補ピクセルに投票する投票値を補正し、中心候補ピクセルの確度を強調して算出してもよい。

すなわち、検出する合焦点粒子は、球状であり、画像上においては円として想定することが可能であるため、中心候補ピクセルより勾配方向において反対側には、当該勾配方向とは逆方向の勾配が発生すると想定される。

また、エッジピクセルから中心候補ピクセルと同じ距離の位置に反対側のエッジピクセルがあることから、エッジピクセルから中心候補ピクセルまでの距離を２倍した位置にあるピクセル（以下、「反対側エッジピクセル」という。）から中心候補ピクセルまでにはエッジが存在しないことになり、反対側エッジピクセルと中心候補ピクセルの間にエッジが存在しなければ、その中心候補ピクセルが合焦点粒子候補の中心としての確度が高くなるとともに、当該反対側エッジピクセルと中心候補ピクセルの間にエッジが存在すれば、その中心候補ピクセルが合焦点粒子候補の中心としての確度が低くなる。

例えば、抽出処理部３２３は、図１３（Ａ）に示すように、投票画像における各エッジピクセルに対応するピクセルＡを基準に、勾配方向に設定された直線上のピクセルＢｎが中心候補ピクセルの場合に、ピクセルＢｎからピクセルＡＢｎ間の距離と同一の距離ｓ１にあるピクセルＣｎを特定することになる。

そして、抽出処理部３２３は、ピクセルＢＣｎ間に存在するピクセルの輝度勾配値を合算して合算値Σを算出するとともに、ピクセルＡに基づいてピクセルＢに加算する投票値からその値をペナルティとして減算した補正投票値を算出し、算出した補正投票値をピクセルＢｎの確度を算出するための投票値として加算することになる。

すなわち、図１３（Ａ）に示すように、ＢｎＣｎ間にエッジピクセルが存在しなければ、ペナルティとしての輝度勾配値は存在しない。その一方、図１３（Ｂ）に示すように、ピクセルＡＢｎ間の距離と同一の距離ｓ２のＢｎＣｎ間にエッジピクセルが存在する場合には、中心候補としての確度が低くなるとともに、ペナルティとしての輝度勾配値は存在することになる。

そこで、抽出処理部３２３は、この原理を利用し、反対側エッジピクセルから中心候補ピクセルまで輝度勾配値を合算した値を、該当するエッジピクセルにおいて当該中心候補ピクセルに加算する投票値から減算することによって当該投票値を補正し、当該補正した投票値（以下、「補正投票値」という。）を当該中心候補ピクセルに加算してもよい。

なお、抽出処理部３２３は、合算値としての投票値を算出する際に、半径ｒ毎の投票値、すなわち、予め定められた最小ピクセル数（例えば３ピクセル）から最大ピクセル数（例えば、４０ピクセル）の長さをそれぞれ半径とした場合の当該半径ｒ毎の全てのエッジピクセルにおける投票値の合計を算出し、各投票値をＲＯＭ／ＲＡＭ３０４に記憶する。

（第３の処理：合焦点粒子候補の中心ピクセルを探索するための探索領域の特定）
抽出処理部３２３は、各ピクセルの入力画像上の位置に従って、算出された各中心候補ピクセルの確度に対する平滑化処理を実行し、各中心候補ピクセルの確度における補正値（以下、「補正確度」という。）を算出する。特に、抽出処理部３２３は、補正処理として、平均フィルタ又はガウシアンフィルタを用いた平滑化処理を実行する。

そして、抽出処理部３２３は、各中心候補ピクセルの補正確度が所定の値以上のピクセルを合焦点粒子の中心を探索する探索領域を構成するピクセル（以下、「探索領域ピクセル」という。）として特定し、当該探索領域ピクセルが連続して形成される領域（すなわち、塊となる領域）を探索領域として特定する。

例えば、図１４（Ａ）〜（Ｃ）に示すように、第２の処理によって得られた各中心候補ピクセルの確度を画像化した投票画像に対して平滑化処理が実行されると、投票画像のぼかし画像が得られ、それに対して、予め定められた閾値に基づいて２値化し、一方の値を有するピクセルを探索領域ピクセルとして特定しつつ、探索領域が特定される探索領域画像が得られることになる。

（第４の処理：合焦点粒子候補の特定）
抽出処理部３２３は、各探索領域内で確度が最大（すなわち、極大値）となるピクセルを合焦点粒子候補における中心ピクセルとして特定し、特定された合焦点粒子候補の中心ピクセルの確度を算出した際に用いた複数の半径ｒの中から、中心ピクセルの確度を算出する上で最大に寄与した値（すなわち、複数の半径ｒの中において加算された投票値が最大である半径ｒ）を所定の条件を有する半径として当該合焦点粒子候補の半径Ｒに決定する。

そして、抽出処理部３２３は、中心ピクセル中心に決定された半径Ｒによって形成される領域を合焦点粒子候補として特定し、特定した合焦点粒子候補の中心ピクセルの座標位置及び半径Ｒで形成された領域の座標位置を検出する。

例えば、合焦点粒子候補の特定の処理においては、図１５（Ａ）に示すように、探索領域画像における探索領域内において確度の極大値を有するピクセルが検索され、当該極大値を有するピクセルが中心ピクセルとして特定される画像が得られることになる。そして、図１５（Ｂ）に示すように、各中心ピクセルを中心に決定された半径Ｒによって形成される領域が合焦点粒子候補として特定される。

（第５の処理：合焦点粒子の特定）
抽出処理部３２３は、入力画像を構成する各ピクセルの輝度から所定の平滑化処理を実行し、各ピクセルにおける補正された輝度（以下、「補正輝度」という。）をそれぞれ算出し、各ピクセルにおける輝度に基づく輝度勾配値と補正輝度に基づく輝度勾配値（以下、「補正輝度勾配値」という。）をそれぞれ算出する。

そして、抽出処理部３２３は、ピクセル毎に輝度勾配値と補正輝度勾配値の比を各ピクセルの合焦点度として算出するとともに、各合焦点粒子候補のエッジを形成するエッジピクセルの円周上に形成された各ピクセルの合焦点度の平均値を算出し、当該平均値が所定の条件となる合焦点粒子候補を合焦点粒子として特定する。

例えば、抽出処理部３２３は、ピクセル毎に、輝度値ｉ（ｘ，ｙ）を微分して算出された輝度勾配値∇ｉ（ｘ，ｙ）と（式５）を用いて下記の補正輝度ｉ_ａｍｄを微分して算出された輝度勾配値（以下、「補正輝度勾配値∇ｉ_Ｓ（ｘ，ｙ）」という。）をそれぞれ算出する。

なお、〇に×の記号は、コンボリューションを示し、関数「ｇ」は、ピクセル座標（ｘ，ｙ）におけるフィルタ処理に用いる関数を示す。また、「ｇ」の関数は目的に沿った効果を持つものであれば何でも良いが、例えば、ガウシアンフィルタや加重平均フィルタなどが良く用いられる。

そして、抽出処理部３２３は、（式６）に基づいて、ピクセル毎に輝度勾配値∇ｉ（ｘ，ｙ）と補正輝度勾配値∇ｉ_Ｓ（ｘ，ｙ）の比Ｔを各ピクセルの合焦点度として算出するとともに、（式７）に基づいて、各合焦点粒子候補のエッジを形成するエッジピクセルの円周上に形成された各ピクセルの合焦点度の平均値Ｔ_Ａを算出し、例えば、図１６（Ａ）及び（Ｂ）に示すように、当該平均値が所定の条件（例えば、２．０以上）となる合焦点粒子候補を合焦点粒子として特定する。また、「Ｃ」は、合焦点粒子候補のエッジピクセルのうち、特定された中心と半径Ｒによって定まる円周の上にあるピクセルの集合であり、「ｌｅｎｇｔｈ(Ｃ)」はそのピクセル数を示す。

［４］状態解析システムの動作
次に、図１７及び図１８を用いて本実施形態の画像処理装置３０において実行される品質判定処理の動作について説明する。

なお、図１７は、本実施形態の状態解析システム１の画像処理装置３０において実行される状態解析処理の動作を示すフローチャートであり、図１８は、本実施形態の画像処理装置３０において状態解析処理内で実行される合焦点粒子抽出処理の動作を示すフローチャートである。

［４．１］品質判定処理
本動作は、画像分布特徴量情報、実粒径分布情報、粒子像数情報（基底）及び実粒子数情報を含む異なる基底検体それぞれにおける基底情報が予めデータ記録部３００に記録されているものとする。

また、本動作においては、懸濁培養容器５０には、目標項目が未知の推定対象が存在する懸濁培養液５１にて培養されているものとする。

まず、システム制御部３２２は、操作部３７０を介して入力された操作者の操作に基づいて、懸濁培養容器５０において培養されている細胞塊の状態解析処理の開始を検出すると（ステップＳ１００）、撮像装置２０を制御し、当該撮像装置２０に特定領域５２を含む領域を複数回（例えば１８０回）で所定の時間間隔（例えば１２ｍｓ）毎に撮像させて複数の対象画像を取得する（ステップＳ１０１）。

次いで、抽出処理部３２３は、各対象画像において画像解析を実行し、特定領域５２内に存在すると想定される合焦点粒子を細胞塊として特定する合焦点粒子抽出処理を実行する（ステップＳ１０２）。なお、本実施形態における合焦点粒子抽出処理の動作については後述する。

次いで、検出処理部３２４は、合焦点抽出処理によって抽出された合焦点粒子としての細胞塊における各対象画像上のピクセル数に基づいて、各抽出された細胞塊における粒子像のサイズのヒストグラムをそれぞれ検出してその平均を示す平均分布特徴量（混合分布）を分布特徴量（検出）として算出するとともに、各対象画像上の粒子像数をそれぞれ検出してその平均を示す平均粒子像数を粒子像数情報（検出）として算出する（ステップＳ１０３）。

次いで、推定解析処理部３２５は、参照データ記録部３０３から記録されている分布特徴量情報（基底）、実粒径分布情報、実粒子数情報及び粒子像数情報（基底）の各基底情報を読み出す（ステップＳ１０４）。

次いで、推定解析処理部３２５は、読み出した分布特徴量情報（基底）と算出した分布特徴量（検出）とに基づいて、所定の演算（制約付き最小二乗法）を実行し、当該分布特徴量（検出）における基底情報毎の基底混合比を算出する（ステップＳ１０５）。

次いで、推定解析処理部３２５は、読み出した各基底情報の実粒径分布情報と、算出した基底混合比とに基づいて、特定領域５２における粒径分布を推定粒径分布として特定する（ステップＳ１０６）。

具体的には、推定解析処理部３２５は、読み出した各基底情報の実粒径分布情報のそれぞれを該当する基底混合比を用いて合成し、特定領域５２における粒径分布を推定粒径分布として特定する。

次いで、推定解析処理部３２５は、読み出した各基底情報の実粒子数情報及び粒子像数情報（基底）と、算出された推定対象の特定領域５２内の平均部分粒子像数と、算出した基底混合比と、に基づいて、特定領域５２における容器全体の粒子数を推定粒子数として推定し（ステップＳ１０７）、本動作を終了させる。

具体的には、推定解析処理部３２５は、推定対象の特定領域５２内において抽出された粒子像数情報（検出）によって示される粒子像数から、算出した各基底情報の基底混合比を用いて、それぞれの基底検体における平均配分粒子像数を算出する。また、推定解析処理部３２５は、対応する基底検体の実粒子数情報によって示される実粒子数に対する当該基底検体の粒子像数の割合で対応する平均配分粒子像数を除算することにより、対象画像を撮像した際の基底検体毎の懸濁培養容器５０全体における粒子数を算出する。そして、推定解析処理部３２５は、全ての基底検体において算出した粒子数を足し合わせることにより、懸濁培養容器５０全体における粒子数を推定粒子数として特定する。

［４．２］合焦点粒子抽出処理の動作
本動作は、品質判定処理におけるステップＳ１０２において実行される動作であり、特定領域５２内に存在すると想定される合焦点粒子を細胞塊として特定する処理の動作である。

まず、システム制御部３２２がステップＳ１０１の処理によって、複数の対象画像が取得されると、抽出処理部３２３は、各対象画像の入力画像に対して照明ムラを除去する前処理を実行する（ステップＳ２０１）。

次いで、抽出処理部３２３は、対象画像毎に、入力画像を構成する各ピクセルの輝度値における輝度勾配値を算出し（ステップＳ２０２）、各ピクセルの位置及び輝度勾配値に基づいて、入力画像におけるエッジを検出する（ステップＳ２０３）。

次いで、抽出処理部３２３は、対象画像毎に、エッジピクセルと各エッジピクセルの輝度勾配値に基づいて、所定の条件を有する特定のピクセルについて、中心候補ピクセルになる場合の確度を算出する（ステップＳ２０４）。

次いで、抽出処理部３２３は、対象画像毎に、所定の確度を有する特定ピクセルを中心候補ピクセルに決定するとともに（ステップＳ２０５）、当該中心候補ピクセルの確度について所定の補正処理を実行しつつ、当該補正された確度を有するピクセル群から構成される連続領域を探索領域に特定する（ステップＳ２０６）。

次いで、抽出処理部３２３は、各探索領域内で確度が極大値となるピクセルを合焦点候補における中心ピクセルとして特定し（ステップＳ２０７）、特定された合焦点粒子候補の中心ピクセルの確度を算出した際に用いた基準値から当該合焦点粒子候補の半径Ｒを決定する（ステップＳ２０８）。

次いで、抽出処理部３２３は、入力画像上において各中心ピクセルを中心に当該各中心ピクセルから該当する半径Ｒの領域をそれぞれ合焦点粒子候補として特定する（ステップＳ２０９）。

最後に、抽出処理部３２３は、輝度勾配値を用いて各合焦点粒子候補の合焦点度を算出するとともに、予め定められた合焦点度を有する合焦点粒子候補を合焦点粒子として特定して（ステップＳ２１０）本動作を終了させる。

［５］実験結果
次に、図１９〜図２７を用いて本実施形態において上記の推定粒径分布および推定粒子数が有効に算出されることを確認するため実施した実験結果について説明する。

本実験結果においては、４つの粒径分布（３００μｍ〜７００μｍを４つのサイズ帯に分類させた粒径範囲）を有する人工粒子を用いており、４つの粒径分布を用いた４つの基底検体（３００μｍ〜４２５μｍの粒径範囲で構成された基底検体Ａ、４２５μｍ〜５００μｍの粒径範囲で構成された基底検体Ｂ、５００μｍ〜６００μｍの粒径範囲で構成された基底検体Ｃ及び６００μｍ〜７００μｍの粒径範囲で構成された基底検体Ｄ）と、これらが適宜混合された２つのテスト検体と、を生成した。

また、本実験結果においては、全ての検体について、撮像装置２０により対象画像が取得され、かつ、それぞれ画像特徴量として合焦点粒子の粒子像サイズの分布と、合焦点粒子の粒子像数と、を算出した。

さらに、本実験結果においては、全ての検体について、真の粒径の分布を顕微鏡による観察で取得し、真の粒子数をセルソータによる測定で取得した結果、及び、当該セルソータによるＴＯＦ値分布を取得した。

なお、ＴＯＦ値とは、セルソータ装置において、粒子が一定の速度の流れに乗ってレーザーを横切る際の経過時間を示し、粒径と良く関連した値が得られる指標を示す。

図１９は、本実施形態における基底検体Ａ、基底検体Ｄ及びテスト検体１の実験結果に含まれる対象画像の例であり、図２０（Ａ）及び（Ｂ）は、本実施形態の実験結果１に用いる各基底検体における画像特徴量である合焦点粒子のピクセル数のヒストグラム及び顕微鏡による真の粒径のヒストグラムを示す図である。なお、図２０（Ｂ）の横軸においてその範囲は２２０μｍ〜６８０μｍである。

また、図２１は、本実施形態のテスト検体１及び２における画像特徴量である合焦点粒子のピクセル数のヒストグラムを示す図であり、図２２及び図２３は、本実施形態の各テスト検体における実験結果１を説明するための図である。なお、図２２（Ａ）及び（Ｂ）並びに図２３（Ａ）及び（Ｂ）の横軸においてその範囲は２２０μｍ〜６８０μｍである。

さらに、図２４（Ａ）、（Ｂ）及び（Ｃ）は、本実施形態の実験結果２に用いる各基底検体における画像特徴量である合焦点粒子のピクセル数の分布のグラフ、顕微鏡による真の粒径分布のグラフ、及び、各基底検体におけるＴＯＦ値の分布グラフであり、図２５は、本実施形態のテスト検体１及び２における画像特徴量である合焦点粒子のピクセル数の分布のグラフである。なお、図２４（Ｂ）の横軸においてその範囲は０μｍ〜１０００μｍである。

そして、図２６及び図２７は、本実施形態の各テスト検体における実験結果２を説明するための図である。なお、図２６（Ａ）及び図２７（Ａ）の横軸においてその範囲は０μｍ〜１０００μｍである。

特に、各基底検体については、それぞれ、所定の撮像条件によって撮像された画像における画像特徴量に基づいて、上述したように、
（Ａ１）特定領域５２に存在する細胞塊の粒子像のサイズのヒストグラムである分布特徴量情報（基底）、及び、
（Ａ２）当該特定領域５２に存在する細胞塊の粒子像数である粒子像数情報（基底）、
を算出して得られた基底情報として用いている。

また、各基底検体については、
（Ｂ１）顕微鏡によって取得された、懸濁培養容器５０全体に含まれる細胞塊の粒径分布を示す実粒径分布情報、及び、
（Ｂ２）セルソータ装置によって取得された、懸濁培養容器５０全体に含まれる細胞塊が存在する数を示す実粒子数情報、
を基底情報として用いている。

なお、（Ｂ１）及び（Ｂ２）に加えてセルソータ装置によって取得された、懸濁培養容器５０全体に含まれる細胞塊の粒径分布に近い指標であるＴＯＦ値についても参考のために用いている。

また、以下の実験結果としては、荒いヒストグラムによる実験結果（以下、「実験結果１」という。）と、細かいヒストグラムによる実験結果（以下、「実験結果２」という。）を示す。

（実験結果１）
実験結果１においては、図２０（Ａ）及び（Ｂ）示す上記の基底検体Ａ〜Ｄの画像特徴量及び真の粒径分布と、図２１（Ａ）及び（Ｂ）に示すテスト検体１及び２の画像特徴量と、に基づいて、各テスト検体１及び２における粒径分布を推定した。

特に、本実験結果においては、計算上、上記の基底検体Ａ〜Ｄの画像特徴量に１０ビンのヒストグラムを用いている。また、図２０に示すように、上記の基底情報のＡ１としては、画像から得られる分布特徴量である合焦点粒子のピクセル数のヒストグラムを用いるとともに、上記の基底情報のＢ１としては、顕微鏡によって取得された真の細胞塊の粒径のヒストグラムを用いている。

そして、テスト検体１においては、図２２（Ａ）に示す画像処理装置３０を用いて推定された結果（すなわち、推定された粒径分布）と、図２２（Ｂ）に示す顕微鏡によって各テスト検体を計測して得られた結果（すなわち、真の粒径分布）と、を比較すると、本実施形態の手法が良い精度であることが確認できる。なお、図２２（Ｃ）にこれらの中間結果である推定基底混合比の円グラフを示す。

また、同様に、テスト検体２においては、図２３（Ａ）に示す画像処理装置３０を用いて推定された結果（すなわち、推定された粒径分布）と、図２３（Ｂ）に示す顕微鏡によって各テスト検体を計測して得られた結果（すなわち、真の粒径分布）と、を比較すると、本実施形態の手法が良い精度であることが確認できる。なお、図２３（Ｃ）にこれらの中間結果である推定基底混合比の円グラフを示す。

（実験結果２）
実験結果２は、分布の形状同士を直感的に比較しやすいように、近接するヒストグラムのビン間でデータを適宜配分することで滑らかな形状のグラフとして表示した場合の実験結果である。

特に、ビン数の少ない荒いヒストグラムを用いる場合には、ビンを構成する数値範囲の設定の仕方や観測されるデータによっては、ヒストグラム形状が不自然に影響を受けることがあり、実験結果の精度を充分に確認できない場合がある。

そこで、実験結果２においては、実験結果１と異なり、実験結果２ではグラフの生成方法を変更し、特に、ヒストグラムではなく、分布の形状を直感的に把握しやすいように滑らかに変換したものを用いている。なお、本実験結果においては、計算上、基底検体及びテスト検体における画像特徴量が１００ビンのヒストグラムを用いている以外は、実験結果１と同様のものを用いている。

具体的には、実験結果２においては、図２４（Ａ）及び（Ｂ）に示す上記の基底検体Ａ〜Ｄの画像特徴量及び真の粒径分布と、図２５（Ａ）及び（Ｂ）に示すテスト検体１及び２の画像特徴量と、に基づいて、各テスト検体１及び２における粒径分布（なめらかな分布）を推定し、かつ、各基底検体Ａ〜Ｄの１画像あたりの合焦点粒子像数に基づいて各テスト検体１及び２における粒子数を推定した。

また、補足として、本実験結果においては、図２４（Ｃ）に示す上記の基底検体Ａ〜ＤのＴＯＦ値に基づいて、各テスト検体１及び２におけるＴＯＦ値の分布についても推定した。

なお、基底検体Ａ〜Ｄの合焦点粒子像数は、１画像あたり、基底検体Ａ：１５．５８個、基底検体Ｂ：１４．２５個、基底検体Ｃ：１０．０６個、及び基底検体Ｄ：８．２１個である。また、各基底検体の総粒子数としては、基底検体Ａ：３３１８個、基底検体Ｂ：３２６５個、基底検体Ｃ：１９８２個、及び基底検体Ｄ：２３６６個がセルソータ装置により測定されており、かつ、上述のように生成されたテスト検体１及びテスト検体２の合焦点粒子像数は、それぞれ、１４．３５個及び２６．７３個となっている。

テスト検体１においては、図２６（Ａ）に示すように、画像処理装置３０を用いて推定された結果（すなわち、推定された粒径分布）と顕微鏡によって各テスト検体を計測して得られた結果（すなわち、真の粒径分布）と、を比較すると、本実施形態の手法が良い精度であることが確認できる。

また、図２６（Ｂ）に示すように、セルソータ装置によって取得された懸濁培養容器５０全体に含まれる粒径分布に近い指標であるＴＯＦ値についても本実施形態の手法が良い精度であることが確認できる。

さらに、テスト検体１における総粒子数については、図２６（Ｃ）に示すように、推定結果が３４７５．７個となり、セルソータ装置によって測定された結果が３２３４個となるので、良好な近似となっており、本実施形態の手法が良い精度であることが確認できる。

なお、実験結果１と同様に、図２６（Ｄ）は、これらの中間結果である推定基底混合比の円グラフを示しており、実験結果１と比べてもほぼ同じ推定混合比が得られていることがわかる。

テスト検体２においては、図２７（Ａ）に示すように、画像処理装置３０を用いて推定された結果（すなわち、推定された粒径分布）と顕微鏡によって各テスト検体を計測して得られた結果（すなわち、真の粒径分布）と、を比較すると、本実施形態の手法が良い精度であることが確認できる。

また、図２７（Ｂ）に示すように、セルソータ装置によって取得された懸濁培養容器５０全体に含まれる粒径分布に近い指標であるＴＯＦ値についても本実施形態の手法が良い精度であることが確認できる。

さらに、テスト検体１における総粒子数については、図２７（Ｃ）に示すように、推定結果が６２０８．２個となり、セルソータ装置によって測定された結果が５２０９個となるので、良好な近似となっており、本実施形態の手法が良い精度であることが確認できる。

なお、実験結果１と同様に、図２７（Ｄ）は、これらの中間結果である推定基底混合比の円グラフを示しており、実験結果１と比べてもほぼ同じ推定混合比が得られていることがわかる。

［６］変形例
［６．１］変形例１
上記実施形態の状態解析システム１は、撮像装置２０、照明装置１０及び画像処理装置３０を有するスタンドアロン型によって実現されているが、撮像装置２０及び照明装置１０と、画像処理装置３０と、が独立的に設置されてネットワークを介して接続されることによって実現されてもよい。

［６．２］変形例２
上記実施形態においては、基底混合比を推定する際に、制限条件付き最小二乗法を用いているが、分布特徴量の選び方とその特性に応じてＥＭアルゴリズムなどの適切なアルゴリズムを用いて基底混合比を算出してもよい。

［６．３］変形例３
上記実施形態においては、基底情報における実粒径分布情報及び実粒子数情報を、懸濁培養液５１全体（すなわち、容器全体）を測定することによって取得しているが、当該懸濁培養液５１の一部を測定し、当該一部の容積と懸濁培養液全体の容積との容積比率に基づいて、懸濁培養液５１全体としての基底情報における実粒径分布情報及び実粒子数情報を取得してもよい。

［６．４］変形例４
上記実施形態においては、所定の条件の下に登録された基底情報を用いて基底混合比及び実粒径分布及び実粒子数を含む各種の目標項目を算出しているが、実際に登録された情報に代えて当該実際に登録された値から算出される値（補正値）を用いてもよい。

例えば、システムにおいて１００ｍｌの懸濁培養液量で培養する場合の情報を扱いたいが、基底検体の準備やその他の状況で、５０ｍｌの懸濁培養液量に関する基底情報しか取得及び登録できない場合には、実粒径分布や実粒子数を２倍にする調整を行う補正値を用いてもよい。

［６．５］変形例５
上記実施形態においては、複数の画像の個々から得られる特徴量を平均したものを平均分布特徴量として利用しているが、平均以外の方法によって分布特徴量を算出してもよい。

例えば、５０枚の対象画像それぞれの検出結果を単に足し合わせたものを分布特徴量としてもよいし、対象画像それぞれの検出結果を別の手法によって定められる重要度に応じて配分して足し合わせたものを分布特徴量としてもよい。

［６．６］変形例６
本実施形態の合焦点粒子抽出処理においては、上述のように、入力画像を構成する各ピクセルにおける輝度勾配値を用いて当該入力画像において合焦点となる粒子を特定領域に存在すると想定された細胞塊であるとして検出しているが、予め定められた時間間隔毎に得られた入力画像（タイムラプス画像）を用いて各細胞塊（すなわち、懸濁培養液の粒子）をトラッキングして合焦点粒子となる細胞塊と、対応する入力画像を抽出、あるいはその細胞塊から得られる特徴量自体を補間により算出してもよい。

具体的には、抽出処理部３２３は、予め定められた時間間隔毎に得られた入力画像に基づいて、画像化されている撮像範囲を移動する各粒子の移動軌跡をトラッキング（発生及び消滅も含む）する。

そして、抽出処理部３２３は、各粒子のトラッキング結果においてそれぞれ合焦点度を算出するとともに、当該合焦点度がピークとなる入力画像を特定し、各入力画像において合焦点度がピークとなる粒子を合焦点粒子として検出する。

また、抽出処理部３２３は、上記に代えて、各粒子のトラッキング結果において、合焦点度の変化から、当該合焦点度がピークとなるべき、２つの入力画像の中間にあたるタイミングを特定し、複数の入力画像における算出特徴量を補間することにより、当該粒子の合焦点度がピークとなると推測されるタイミングでの特徴量の値を算出してもよい。

なお、抽出処理部３２３は、粒子の移動軌跡をトラッキングする技術としては、各時刻（フレーム）において細胞検出を独立に実行し、細動の特性（移動特性を含む。）を考慮して当該対象細胞群における各細胞の各フレームの画像上（タイムラプス画像の画像上）の座標位置（移動した位置）及びその形状を特定しつつ、当該特定した各細胞の座標位置及びその形状に基づいて、「細胞移動」、「細胞分裂」及び「細胞死」の各細胞状態を含めて各情報を総合的に解析するトラッキング技術を用いる。

なお、上述の粒子の移動軌跡をトラッキングする技術については、以下の文献にその詳細が開示されている。

（文献１）
Ryoma Bise, Zhaozheng Yin, Takeo Kanade：「Reliable Cell Tracking By Global Data Association」IEEE International Symposium on Biomedical Imaging 2011

（文献２）
Takeo Kanade, Zhaozheng Yin, Ryoma Bise, Seungil Huh, Sungeun Eom, Michael Sandbothe and Mei Chen：「Cell Image Analysis: Algorithms, System and Applications」IEEE Workshop on Applications of Computer Vision (WACV) 2011

また、各粒子の合焦点度の算出については、上述の第５の処理において用いた演算を実行すればよい。

以上、本実施形態の状態解析システム１は、撮像対象を画像化し、当該対象画像を画像解析することによって、特定領域５２に存在すると想定される合焦点となっている合焦点粒子、すなわち、細胞塊を特定することができる。

そして、本実施形態の状態解析システム１は、予め登録された基底情報と対象画像から特定した細胞塊の特徴量とに基づいて、推定対象を最適に再現する各基底情報の混合比を推定しつつ、当該推定した混合比に基づいて、培養液内の細胞塊の粒径分布又は粒子数などの推定対象における細胞培養に関する目標項目を推定することができる。

したがって、例えば、ｉＰＳ細胞やＥＳ細胞などの生産時に重要となる細胞塊の大きさの管理や細胞数に基づく培養液の調整など、品質管理又はその生産管理を安価にかつ的確に行うことができる。

１ … 状態解析システム
１０ … 照明装置
２０ … 撮像装置
３０ … 画像処理装置
３００ … データ記録部
３０１ … アプリケーション記録部
３０２ … 画像データ記録部
３０３ … 参照データ記録部
３２０ … データ処理部
３２１ … 登録処理部
３２２ … システム制御部
３２３ … 抽出処理部
３２４ … 検出処理部
３２５ … 推定解析処理部
３４０ … 表示部
３５０ … 表示制御部
３７０ … 操作部
３８０ … 管理制御部

Claims (12)

1. 細胞塊を含む培養液である検体であって培養に関する目標項目が既知で、かつ、当該目標項目が異なる複数の検体のそれぞれについて、当該目標項目の値と、前記培養液を有する容器内の一部の領域である画像化された特定領域における前記細胞塊の特徴量と、を含む情報を、基底情報として、予め記録手段に登録する登録手段と、
   撮像装置から、推定対象の培養液を有する前記容器内が画像化された対象画像を対象画像データとして取得する取得手段と、
   前記取得された対象画像データの対象画像に対して所定の画像解析を実行し、当該対象画像に画像化されている複数の粒子から構成される粒子群から、合焦点の粒子を、前記推定対象の特定領域に存在する細胞塊を示す合焦点粒子として、抽出する抽出手段と、
   前記対象画像に対して所定の画像解析を実行し、前記抽出された合焦点粒子に対する前記特徴量を検出する検出手段と、
   前記登録されている各基底情報における前記細胞塊の特徴量と前記検出された細胞塊としての合焦点粒子の特徴量とに基づいて、所定の演算を実行し、前記推定対象に含まれる各基底情報の混合比を推定する推定手段と、
   前記推定された混合比と、前記予め登録されている各基底情報の目標項目の値と、に基づいて、所定の演算を実行し、前記推定対象における前記目標項目を算出する算出手段と、
   を備えることを特徴とする、培養液の培養状態解析システム。
2. 請求項１に記載の培養液の培養状態解析システムにおいて、
   前記抽出手段が、
   前記対象画像を構成する各ピクセルの色特徴量に基づいて、前記画像解析を実行して前記合焦点粒子の候補を特定し、
   当該特定した合焦点粒子の候補の各合焦点度を算出し、
   当該算出された合焦点度が所定の条件を具備する合焦点粒子の候補を前記合焦点粒子として特定する、培養液の培養状態解析システム。
3. 請求項２に記載の培養液の培養状態解析システムにおいて、
   前記色特徴量が、各ピクセルにおける輝度の変化率を示す輝度勾配値である、培養液の培養状態解析システム。
4. 請求項１〜３のいずれか１項に記載の培養液の培養状態解析システムにおいて、
   前記細胞塊の特徴量には、前記特定領域における前記細胞塊の分布特徴量が含まれる、培養液の培養状態解析システム。
5. 請求項４に記載の培養液の培養状態解析システムにおいて、
   前記目標項目が、前記細胞塊の粒径分布を示す実粒径分布情報である場合には、
   前記算出手段が、前記推定対象の前記容器全体における細胞塊の実粒径分布を前記目標項目として算出する、培養液の培養状態解析システム。
6. 請求項４又は５に記載の培養液の培養状態解析システムにおいて、
   前記分布特徴量としては、前記細胞塊の前記対象画像上におけるピクセル数に基づくサイズのヒストグラムを用いる、培養液の培養状態解析システム。
7. 請求項４〜６のいずれか１に記載の培養液の培養状態解析システムにおいて、
   前記細胞塊の特徴量には、前記特定領域における前記細胞塊の分布特徴量とともに、当該分布特徴量とは異なる特徴量である従属特徴量を含み、
   前記推定手段が、前記登録されている各基底情報における前記細胞塊の分布特徴量と前記検出された細胞塊の分布特徴量とに基づいて、所定の演算を実行し、前記推定対象に含まれる各基底情報の混合比を推定し、
   前記算出手段が、前記検出された従属特徴量と、前記推定された混合比と、前記予め登録されている各基底情報であって前記従属特徴量に関する目標項目の値と、に基づいて、前記推定対象における前記目標項目を算出する、培養液の培養状態解析システム。
8. 請求項７に記載の培養液の培養状態解析システムにおいて、
   前記細胞塊の特徴量が、前記特定領域における細胞塊の粒子像数であり、前記目標項目が、前記容器全体における細胞塊が存在する数を示す実粒子数情報である場合には、
   前記算出手段が、前記推定対象の前記容器全体における細胞塊の実粒子数を前記目標項目として算出する、培養液の培養状態解析システム。
9. 請求項１〜６のいずれか１項に記載の培養液の培養状態解析システムにおいて、
   前記取得手段が、複数の前記対象画像データを取得し、
   前記検出手段が、前記取得された複数の前記対象画像データのそれぞれに対する対象画像内における前記細胞塊の特徴量を検出し、かつ、当該検出した各対象画像データの特徴量を平均化し、
   前記推定手段が、前記平均化された特徴量と、前記登録されている各基底情報における前記細胞塊の特徴量と、に基づいて所定の演算を実行し、前記推定対象に含まれる各基底情報の混合比を推定する、培養液の培養状態解析システム。
10. 請求項１〜９のいずれか１項に記載の培養液の培養状態解析システムにおいて、
    前記特定領域を撮像して画像化する撮像装置を更に備え、
    前記取得手段が、前記撮像装置から対象画像データを取得する、培養液の培養状態解析システム。
11. コンピュータを、
    細胞塊を含む培養液である検体であって培養に関する目標項目が既知で、かつ、当該目標項目が異なる複数の検体のそれぞれについて、当該目標項目の値と、前記培養液を有する容器内の一部の領域である画像化された特定領域における前記細胞塊の特徴量と、を含む情報を、基底情報として、予め記録手段に登録する登録手段、
    撮像装置から、推定対象の培養液を有する前記容器内が画像化された対象画像を対象画像データとして取得する取得手段、
    前記取得された対象画像データの対象画像に対して所定の画像解析を実行し、当該対象画像に画像化されている複数の粒子から構成される粒子群から、合焦点の粒子を、前記推定対象の特定領域に存在する細胞塊を示す合焦点粒子として、抽出する抽出手段、
    前記対象画像に対して所定の画像解析を実行し、前記抽出された合焦点粒子に対する前記特徴量を検出する検出手段、
    前記登録されている各基底情報における前記細胞塊の特徴量と前記検出された細胞塊としての合焦点粒子の特徴量とに基づいて、所定の演算を実行し、前記推定対象に含まれる各基底情報の混合比を推定する推定手段、及び、
    前記推定された混合比と、前記予め登録されている各基底情報の目標項目の値と、に基づいて、所定の演算を実行し、前記推定対象における前記目標項目を算出する算出手段
    として機能させることを特徴とする、プログラム。
12. 細胞塊を含む培養液である検体であって培養に関する目標項目が既知で、かつ、当該目標項目が異なる複数の検体のそれぞれについて、当該目標項目の値と、前記培養液を有する容器内の一部の領域である画像化された特定領域における前記細胞塊の特徴量と、を含む情報を、基底情報として、予め記録手段に登録し、
    撮像装置から、推定対象の培養液を有する前記容器内が画像化された対象画像を対象画像データとして取得し、
    前記取得された対象画像データの対象画像に対して所定の画像解析を実行し、当該対象画像に画像化されている複数の粒子から構成される粒子群から、合焦点の粒子を、前記推定対象の特定領域に存在する細胞塊を示す合焦点粒子として、抽出し、
    前記対象画像に対して所定の画像解析を実行し、前記抽出された合焦点粒子に対する前記特徴量を検出し、
    前記登録されている各基底情報における前記細胞塊の特徴量と前記検出された細胞塊としての合焦点粒子の特徴量とに基づいて、所定の演算を実行し、前記推定対象に含まれる各基底情報の混合比を推定する推定し、
    前記推定された混合比と、前記予め登録されている各基底情報の目標項目の値と、に基づいて、所定の演算を実行し、前記推定対象における前記目標項目を算出する、
    ことを特徴とする、培養液の培養状態解析方法。