JP2011243188A - 画像処理装置、細胞分類装置、インキュベータ、画像処理方法、細胞分類方法、画像処理プログラムおよび細胞分類プログラム - Google Patents

画像処理装置、細胞分類装置、インキュベータ、画像処理方法、細胞分類方法、画像処理プログラムおよび細胞分類プログラム Download PDF

Info

Publication number
JP2011243188A
JP2011243188A JP2011042210A JP2011042210A JP2011243188A JP 2011243188 A JP2011243188 A JP 2011243188A JP 2011042210 A JP2011042210 A JP 2011042210A JP 2011042210 A JP2011042210 A JP 2011042210A JP 2011243188 A JP2011243188 A JP 2011243188A
Authority
JP
Japan
Prior art keywords
cell
unit
classification
value
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011042210A
Other languages
English (en)
Other versions
JP5745290B2 (ja
Inventor
Ryuji Kato
竜司 加藤
Yasuki Tsuboi
泰樹 坪井
Asuka Miwa
明日香 三輪
Hiroyuki Honda
裕之 本多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya University NUC
Nikon Corp
Original Assignee
Nagoya University NUC
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya University NUC, Nikon Corp filed Critical Nagoya University NUC
Priority to JP2011042210A priority Critical patent/JP5745290B2/ja
Publication of JP2011243188A publication Critical patent/JP2011243188A/ja
Application granted granted Critical
Publication of JP5745290B2 publication Critical patent/JP5745290B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像から所望の細胞の画像領域を精度よく抽出する。
【解決手段】細胞が撮像された画像データから細胞オブジェクトの候補となる細胞候補オブジェクトを抽出し、前記細胞候補オブジェクトの形態的特徴量を抽出し、形態的特徴量に基づく値が所定の間隔毎に区分された際の区分毎の該形態的特徴量に基づく値の出現頻度または該区分毎の該形態的特徴量に基づく値のいずれか一方を順次加え合わせることで得られる累積分布を算出し、累積分布に基づいて、細胞候補オブジェクトのうちから細胞オブジェクトまたは細胞オブジェクト以外のオブジェクトであるノイズに係るオブジェクトを抽出する細胞オブジェクト認識部を備える。
【選択図】図1

Description

本発明は、画像処理装置、細胞分類装置、インキュベータ、画像処理方法、細胞分類方法、画像処理プログラムおよび細胞分類プログラムに関するものである。
現在、がん研究における自然発生がんの検出、再生医療における治療用細胞以外の異種細胞の検出、間葉系幹細胞(MSC)の臨床研究などにおいて、細胞を染色する技術が用いられている。細胞の種類、状態等は、細胞を染色しなければ、目視では感覚的にしか分類できないからである。なお、転写因子を発現する細胞を染色する技術が開示されている(特許文献1参照)。また、細胞の明視野画像と該細胞の蛍光画像とを2値化処理した両画像を用いて、撮像画像における全細胞中から特定の細胞群を抽出する技術が開示されている(特許文献2参照)。
特開2007−195533号公報 特開平2−12060号公報
しかしながら、2値化処理後の画像には、多くのノイズが含まれるため、所望の細胞の画像領域を精度よく抽出することができないという問題があった。本発明の目的は、画像から所望の細胞の画像領域を精度よく抽出することを可能とする技術を提供することにある。
上記問題を解決するために、本発明の一態様である画像処理装置は、細胞が撮像された画像データから細胞オブジェクトの候補となる細胞候補オブジェクトを抽出する細胞候補オブジェクト抽出部と、前記細胞候補オブジェクトの形態的特徴量を抽出する特徴量抽出部と、前記形態的特徴量に基づく値が所定の間隔毎に区分された際の区分毎の該形態的特徴量に基づく値の出現頻度または該区分毎の該形態的特徴量に基づく値のいずれか一方を順次加え合わせることで得られる累積分布を算出する累積分布算出部と、前記累積分布に基づいて、前記細胞候補オブジェクトのうちから前記細胞オブジェクトまたは前記細胞オブジェクト以外のオブジェクトであるノイズに係るオブジェクトを抽出する抽出部と、
を備えることを特徴とする。
また、本発明の一態様である細胞分類装置は、前記画像処理装置と、前記画像処理装置から抽出された前記細胞オブジェクトまたは前記ノイズに係るオブジェクトに基づいて、前記画像データに撮影された細胞を分類する細胞分類部と、を備えることを特徴とする。
また、本発明の一態様であるインキュベータは、細胞又は細胞群を培養する培養容器を収容するとともに、所定の環境条件に内部を維持可能な恒温室と、前記恒温室内で前記培養容器に含まれる前記細胞又は細胞群の画像を撮像する撮像装置と、前記画像処理装置と、を備えることを特徴とする。
また、本発明の一態様である画像処理方法は、画像処理装置が実行する画像処理方法であって、細胞が撮像された画像データから細胞オブジェクトの候補となる細胞候補オブジェクトを抽出する細胞候補オブジェクト抽出手順と、前記細胞候補オブジェクトの形態的特徴量を抽出する特徴量抽出手順と、前記形態的特徴量に基づく値が所定の間隔毎に区分された際の区分毎の該形態的特徴量に基づく値の出現頻度または該区分毎の該形態的特徴量に基づく値のいずれか一方を順次加え合わせることで得られる累積分布を算出する累積分布算出手順と、前記累積分布に基づいて、前記細胞候補オブジェクトのうちから前記細胞オブジェクトまたは前記細胞オブジェクト以外のオブジェクトであるノイズに係るオブジェクトを抽出する抽出手順と、を有することを特徴とする。
また、本発明の一態様である細胞分類方法は、前記画像処理方法と、前記画像処理方法により抽出された前記細胞オブジェクトまたは前記ノイズに係るオブジェクトに基づいて、画像データに撮影された細胞を分類する細胞分類手順と、を有することを特徴とする。
また、本発明は、本発明の一態様である画像処理プログラムは、画像処理装置としてのコンピュータに、細胞が撮像された画像データから細胞オブジェクトの候補となる細胞候補オブジェクトを抽出する細胞候補オブジェクト抽出ステップと、前記細胞候補オブジェクトの形態的特徴量を抽出する特徴量抽出ステップと、前記形態的特徴量に基づく値が所定の間隔毎に区分された際の区分毎の該形態的特徴量に基づく値の出現頻度または該区分毎の該形態的特徴量に基づく値のいずれか一方を順次加え合わせることで得られる累積分布を算出する累積分布算出ステップと、前記累積分布に基づいて、前記細胞候補オブジェクトのうちから前記細胞オブジェクトまたは前記細胞オブジェクト以外のオブジェクトであるノイズに係るオブジェクトを抽出する抽出ステップと、を実行させるための画像処理プログラムである。
また、本発明は、本発明の一態様である細胞分類プログラムは、細胞分類装置としてのコンピュータに、前記画像処理プログラムと、前記画像処理プログラムから抽出された前記細胞オブジェクトまたは前記ノイズに係るオブジェクトに基づいて、画像データに撮影された細胞を分類するステップと、を実行させるための細胞分類プログラムである。
本発明によれば、細胞が撮像された画像データからノイズに係るオブジェクトを除去することができるので、画像から所望の細胞の画像領域を精度よく抽出することができる。
本発明の第1の実施形態による分類モデル生成装置1の機能ブロック図の一例である。 ノイズ推定部24の動作を説明するための説明図である。 各特徴値の概要を示す図である。 細胞オブジェクト記憶部72に記憶される情報の一例である。 抽出条件記憶部74に記憶される情報の一例である。 候補分類モデル記憶部76に記憶される情報の一例である。 分類モデル記憶部80に記憶される情報の一例である。 分類モデル生成装置1と接続するインキュベータ311の概要を示すブロック図である。 インキュベータ311の正面図である。 インキュベータ311の平面図である。 分類モデル生成装置1の動作の一例を示すフローチャートである。 ノイズ推定部24の動作の一例を示すフローチャートである。 本発明の第2の実施形態による分類モデル生成装置2の機能ブロック図の一例である。 本発明の第3の実施形態による細胞分類装置3の機能ブロック図の一例である。 検索オブジェクト一時記憶部170に記憶される情報の一例である。 細胞カタログ記憶部190に記憶される情報の一例である。 細胞分類装置3の動作の一例を示すフローチャートである。 細胞分類装置4の機能ブロック図の一例である。 検索オブジェクト一時記憶部270に記憶される情報の一例である。 細胞分類装置4の動作の一例を示すフローチャートである。 細胞分類装置4の機能を兼ね備えるインキュベータ311の動作の一例を示すフローチャートである。 本発明における第5の実施形態以降の各実施形態の処理の概要を説明するための図である。 図23(a)は、細胞候補オブジェクトの面積に対する累積度数分布の1例を示した図である。図23(b)は、細胞候補オブジェクトの累積度数の面積に対する微分値の分布の1例を示した図である。 累積度数微分関数を用いて固有閾値(カスタムe値)の算出方法を説明するための図である。 ある3つの細胞において8時間培養したときに得られる固有閾値(e+β)に対する誤差の割合ERの関係を示した概念図である。 A細胞が撮像された画像データにおける誤差の割合ERが、閾値と培養時間とをパラメータとして表示された図である。 固有閾値を算出する方法を説明するための図である。 共通閾値(仮閾値)を算出する方法を説明するための図である。 本発明の第5の実施形態における画像処理装置のブロック構成図である。 固有補正情報が細胞種と培養時間とに関連付けられて記憶されているテーブルの1例を示した図である。 本発明の第5の実施形態における細胞オブジェクト抽出部の機能ブロック構成図である。 第5の実施形態における画像処理装置において、ある細胞種がある培養時間において撮像された画像データから細胞オブジェクトを抽出する処理の流れを示したフローチャートである。 単に極小値を取る面積を閾値(図24のe)として細胞オブジェクトを抽出した場合と、固有閾値(カスタムe値)を閾値(図24のe+α)として細胞オブジェクトを抽出した場合における誤差の割合ERを比較したテーブルである。 所定の細胞種の誤差の割合ERが閾値のずらし量α´と培養時間tとに関連付けられて格納されたテーブルT2の1例を示した図である。 画像処理装置において、所定の培養時間におけるある細胞種の固有補正情報αを算出する処理の流れを示したフローチャートである。 本発明の第6の実施形態における画像処理装置のブロック構成図である。 共通補正情報記憶部に記憶されている培養時間と共通補正情報γとが関連付けられたテーブルT3の1例である。 本発明の第6の実施形態における細胞オブジェクト抽出部のブロック構成図である。 本発明の第6の実施形態における細胞種推定部のブロック構成図である。 分類モデル記憶部462に記憶されている情報の一例である。 第6の実施形態における画像処理装置において、ある細胞種がある培養時間において撮像された画像データから細胞オブジェクトを抽出する処理の流れを示したフローチャートである。 認識数記憶部に記憶されている誤差の割合ERのテーブルの1例を示した図である。 第6の実施形態における画像処理装置において、所定の培養時間におけるある細胞種の固有補正情報βと共通補正情報γとを算出する処理の流れを示したフローチャートである。 本発明の第7の実施形態における細胞分類装置のブロック構成図である。 第7の実施形態で示された細胞分類装置の機能を兼ね備えるインキュベータの概要を示すブロック構成図である。 第7の実施形態で示された細胞分類装置の機能を兼ね備えるインキュベータの動作の一例を示すフローチャートである。
(第1の実施形態)
以下、図面を参照しながら本発明の第1の実施形態について説明する。図1は本発明の第1の実施形態による分類モデル生成装置1の機能ブロック図の一例である。図2は、ノイズ推定部24の動作を説明するための説明図である。図3は、各特徴値の概要を示す図である。図4は、細胞オブジェクト記憶部72に記憶される情報の一例である。図5は、抽出条件記憶部74に記憶される情報の一例である。図6は、候補分類モデル記憶部76に記憶される情報の一例である。図7は、分類モデル記憶部80に記憶される情報の一例である。分類モデル生成装置1は、未知の細胞が撮像された撮像画像(以下、「未知属性撮像画像」という)である未知属性撮像画像、又は、未知属性撮像画像内の細胞を、細胞の形態的な特徴に基づいて属性毎に分類する分類モデルを生成する。
分類モデル生成装置1は、図1に示すように、入出力部10、細胞オブジェクト認識部20、分類モデル生成部30、細胞オブジェクト記憶部72、抽出条件記憶部74、候補分類モデル記憶部76及び分類モデル記憶部80を備える。細胞オブジェクト認識部20は、2値化処理部22、ノイズ推定部(2値化データ取得部)24及び細胞オブジェクト特徴量算出部(ノイズ除去部)26を備える。分類モデル生成部30は、特徴的オブジェクト抽出部32、候補分類モデル形成部34及び分類モデル決定部36を備える。
入出力部10は、既知の同一属性の複数の細胞が撮像された撮像画像(以下、「既知同一属性撮像画像」という)を、当該細胞に係る属性情報とともに外部から取得し、細胞オブジェクト認識部20の2値化処理部22に出力する。属性情報は、当該細胞の名称、培養条件等を含む情報である。従って、既知同一属性撮像画像内に撮像されている細胞は、名称、培養条件等が全て同一の細胞である。既知同一属性撮像画像の取得元である外部は、例えば、インキュベータ311であるが、インキュベータ311については後述する。
また、入出力部10は、既知同一属性撮像画像を、属性情報及び撮像条件情報とともに外部から取得し、2値化処理部22に出力してもよい。撮像条件情報は、観察倍率や顕微鏡の光学系の収差、容器内の観察地点等を含む情報である。
細胞オブジェクト認識部20は、既知同一属性撮像画像内の個々の細胞の撮像領域を細胞オブジェクトとして認識する。つまり、細胞オブジェクト認識部20の2値化処理部22が、既知同一属性撮像画像を2値化処理し、細胞オブジェクト認識部20のノイズ推定部24が、2値化処理後のデータ(以下、「2値化データ」という)から得られる全オブジェクトのなかからノイズに係るオブジェクト(以下、「ノイズオブジェクト」という)を推定し、細胞オブジェクト特徴量算出部26が、ノイズオブジェクト以外のオブジェクト(即ち、細胞オブジェクト)を認識する。以下、2値化処理部22、ノイズ推定部24及び細胞オブジェクト特徴量算出部26について順に説明する。
2値化処理部22は、入出力部10から取得した既知同一属性撮像画像を所定の閾値によって2値化処理する。上記所定の閾値は、細胞の種類に応じたものであってもよい。例えば、2値化処理部22は、他の領域に比べて細胞の領域が黒めに撮像される既知同一属性撮像画像において、培養容器に固着する細胞である接着系細胞が撮像された場合、1つの閾値を用いて既知同一属性撮像画像を2値化処理する。より詳細には、2値化処理部22は、1つの閾値として画素値84を用いて、画素値84未満の領域を細胞の領域(例えば反転させて白)、画素値84以上の領域を細胞以外の領域(例えば反転させて黒)とする。また、例えば、2値化処理部22は、他の領域に比べて細胞の領域が黒めに撮像される既知同一属性撮像画像において、培養容器に固着せずに培養液中を浮遊する細胞である浮遊系細胞が撮像された場合、2つの閾値を用いて既知同一属性撮像画像を2値化処理する。より詳細には、2値化処理部22は、2つの閾値として画素値80、149を用いて、画素値80以上149未満の領域を細胞の領域(例えば反転させて白)、画素値80未満又は149以上の領域を細胞以外の領域(例えば反転させて黒)とする。なお、2値化処理部22は、既知同一属性撮像画像内に撮像されている細胞が、接着系細胞であるか浮遊系細胞であるかを示す情報を、入出力部10を介してインキュベータ311から取得し、上記閾値を決定してよい。
既知同一属性撮像画像を2値化処理した2値化処理部22は、入出力部10から取得した属性情報とともに、2値化データをノイズ推定部24に出力する。なお、2値化処理部22は、入出力部10から撮像条件情報を取得した場合には、属性情報及び撮像条件情報とともに、2値化データをノイズ推定部24に出力する。
ノイズ推定部24は、2値化処理部22から取得した2値化データから得られる全オブジェクトのなかからノイズオブジェクトを推定する。以下、ノイズ推定部24によるノイズオブジェクトの推定方法について説明する。ノイズ推定部24は、細胞候補オブジェクト抽出部と特徴量抽出部と累積分布算出部の機能を備える。細胞候補オブジェクト抽出部としてのノイズ推定部24は、2値化データからから細胞オブジェクトの候補となる全オブジェクト(細胞候補オブジェクト)を抽出する。特徴量抽出部としてのノイズ推定部24は、まず、2値化処理部22から取得した2値化データから得られる各オブジェクトのオブジェクトサイズを測定する。
各オブジェクトのオブジェクトサイズを測定したノイズ推定部24は、累積分布算出部として、オブジェクトサイズ(面積)の大きさの順に各面積を有するオブジェクト(細胞候補オブジェクト)の数を順次加え合わせることで得られる累積度分布(累積度数分布)を算出する。例えば、ノイズ推定部24は、図2(a)に示すように、累積度分布(累積度数分布)を生成する。図2(a)に示す累積度分布(累積度数分布)において、X軸方向は単位をピクセルとするオブジェクトサイズ、Y軸方向は単位を百分率とする累積度(累積度数)である。
累積度分布(累積度数分布)を算出したノイズ推定部24は、算出した累積度分布(累積度数分布)の微分値に基づいて、ノイズオブジェクトを推定する。例えば、ノイズ推定部24は、図2(b)に示すように、図2(a)に示す累積度分布(累積度数分布)の微分値(傾き)を算出し、当該微分値に基づいて、ノイズオブジェクトを推定する。具体的には、ノイズ推定部24は、微分値の極小値を探索し、該極小値または該極小値の近傍を閾値として決定する。例えば、ノイズ推定部24は、極小値(図2(b)において値A)、または、極小値の近傍の値であって極小値よりも小さい値(図2(b)において値(A−α))から極小値の近傍の値であって極小値よりも大きい値(図2(b)において値(A+α))の範囲内の値を閾値として決定する。なお、経験上、閾値は、極小値の近傍の値であって極小値よりも小さい値とすることが好ましい。
ノイズ推定部24は、オブジェクトサイズが該閾値未満であるオブジェクトをノイズオブジェクトとして推定する。若しくは、ノイズ推定部24は、オブジェクトサイズが該閾値未満であるオブジェクトにノイズオブジェクトである旨のラベルを付与し、オブジェクトサイズが該閾値以上であるオブジェクトに細胞オブジェクトである旨のラベルを付与する。
なお、図2(a)(b)の上部の「noise」「sell」の語は、値(A−α)以下のオブジェクトサイズでは、オブジェクトサイズが小さければ小さいほどノイズオブジェクトである可能性が高く、値(A+α)以上のオブジェクトサイズでは、オブジェクトサイズが大きければ大きいほど細胞オブジェクトである可能性が高いことを表したものである。
なお、ノイズ推定部24は、オブジェクトサイズ(面積)の大きさの順に各面積を有するオブジェクト(細胞候補オブジェクト)の値自体を順次加え合わせることで得られる累積分布を算出してもよい。その場合、ノイズ推定部24は、累積分布の傾きが所定の値を超えたときの面積またはその面積の近傍を閾値として決定する。
また、本実施形態において、ノイズ推定部24は、細胞候補オブジェクトの面積について、面積の大きさの順に各面積を有する細胞候補オブジェクトの数を順次加え合わせて累積度分布を算出したが、これに限らず、細胞候補オブジェクトの他の形態的特徴量(例えば、細胞候補オブジェクトの細胞の全長(長径)、細胞の横幅(短径)、外周の長さ等、少なくとも図3に示された形態的特徴量を含む)について、その形態的特徴量の値の順に、その形態的特徴量の値を有する細胞候補オブジェクトの数またはその形態的特徴量の値自体を順次加え合わせて累積分布を算出してもよい。その場合、特徴量抽出部としてのノイズ推定部24は、細胞候補オブジェクトの形態的特徴量を抽出する。
また、ノイズ推定部24は、細胞候補オブジェクトの形態的特徴のうちから抽出された2つ以上の形態的特徴量から算出された値(例えば、長径×楕円形度、短径×楕円形度、長径×短径)について、その算出された値の順に、その算出された値を有する細胞候補オブジェクトの数またはその算出された値自体を順次加え合わせてもよい。
また、例えば、細胞候補オブジェクトの形態的特徴のうち2つの形態的特徴量(例えば、面積と楕円形度)を抽出し、抽出した2つの形態的特徴量のそれぞれを軸とする2次元平面上に各細胞候補オブジェクトがプロットされていることを想定する。その場合において、ノイズ推定部24は、一番目に多く周密しているクラスターと、二番目に多く周密しているクラスターとを抽出し、それぞれのクラスターの重心の座標を算出する。そして、ノイズ推定部24は、上記2つの重心と原点とを通る直線が一方の軸(例えば、面積をパラメータとする軸を一方の軸とする)と成す角度θを算出する。そして、ノイズ推定部24は、座標を角度θの回転変換し、回転後の一方の軸の値(例えば、cosθ×面積+sinθ×楕円形度)について、その値の順に、その値を有する細胞候補オブジェクトの数またはその値自体を順次加え合わせて累積分布を算出してもよい。
すなわち、ノイズ推定部24は、細胞候補オブジェクトの形態的特徴のうちから2つ以上の形態的特徴を抽出し、抽出された形態的特徴量のそれぞれを軸とする座標において角度θの回転変換により算出された値(例えば、cosθ×面積+sinθ×楕円形度、但し、θは角度)について、その算出された値の順に、その算出された値を有する細胞候補オブジェクトの数またはその算出された値自体を順次加え合わせてもよい。
また、本実施形態において、累積度分布の算出の際にノイズ推定部24は、細胞候補オブジェクトの面積について、面積の大きさの順に各面積を有する細胞候補オブジェクトの数を順次加え合わせたが、これに限らず、ノイズ推定部24は、面積を所定の間隔毎に区分された際の区分毎の面積の数を順次加え合わせてもよい。具体的には、例えば、ノイズ推定部24は、所定の値を5[ピクセル]として、面積が1ピクセルから5ピクセルの細胞候補オブジェクトの数が5個、面積が6ピクセルから10ピクセルの細胞候補オブジェクトの数が10個あった場合、ノイズ推定部24は、面積が6から10ピクセルの累積度を15個と算出する。そして、これを繰り返すことにより、累積度分布を算出する。
以上、まとめると、ノイズ推定部24は、細胞候補オブジェクトの形態的特徴量に基づく値(例えば、面積、長径、長径×楕円形度、cosθ×面積+sinθ×楕円形度)が所定の間隔毎に区分された際の区分毎の当該形態的特徴量に基づく値の出現頻度または当該形態的特徴量に基づく値のいずれか一方を順次加え合わせることで得られる累積分布を算出すればよい。
また、本実施形態におけるノイズ推定部24は、累積度分布の微分値に基づいて細胞オブジェクトまたはノイズに係るオブジェクトを抽出したがこれに限らず、累積分布の傾き、累積分布の累積値そのもの、累積分布のカーブの形状、累積分布の累積値の変化パターンまたは累積分布の近似式に基づいて細胞オブジェクトまたはノイズに係るオブジェクトを抽出してもよい。
具体的には、例えば、ノイズ推定部24は、面積の累積度分布において、累積分布のカーブの傾きが、0にもっとも近づいたときの面積を閾値として、細胞オブジェクトまたはノイズに係るオブジェクトを抽出してもよい。また、例えば、ノイズ推定部24は、面積の累積度分布において、累積度分布の累積度の値が所定の値(例えば、100)を超えたときの面積を閾値として、細胞オブジェクトまたはノイズに係るオブジェクトを抽出してもよい。
また、例えば、ノイズ推定部24は、面積の累積度分布において、累積度分布のカーブの形状から、カーブがx軸と最も平行になった面積を閾値として、細胞オブジェクトまたはノイズに係るオブジェクトを抽出してもよい。また、例えば、ノイズ推定部24は、面積の累積度分布において、累積度分布の所定の面積毎の累積度の値の増加が所定の閾値以下になったときの面積を閾値として、細胞オブジェクトまたはノイズに係るオブジェクトを抽出してもよい。また、例えば、ノイズ推定部24は、面積の累積度分布において、累積度分布の3次の近似式を算出し、その3次の近似式の係数から変曲点のx座標を算出し、その変曲点のx座標の値を閾値として、細胞オブジェクトまたはノイズに係るオブジェクトを抽出してもよい。
2値化データから得られる全オブジェクトのなかからノイズオブジェクトを推定したノイズ推定部24は、属性情報とともに、2値化データ、及び、ノイズ推定部24による推定結果を示す情報(以下、「推定結果情報」という)を細胞オブジェクト特徴量算出部26に出力する。推定結果情報の一例は、ノイズオブジェクトの領域を示す情報、または、ノイズオブジェクトまたは細胞オブジェクトの何れかである旨のラベルが付与された各オブジェクトの領域を示す情報である。なお、ノイズ推定部24は、2値化処理部22から撮像条件情報を取得した場合には、属性情報及び撮像条件情報とともに、2値化データ及び推定結果情報を細胞オブジェクト特徴量算出部26に出力する。
なお、ノイズ推定部24は、最急降下法などの極値探索法を用いて、微分値の極小値を探索してもよいが、オブジェクトサイズが所定値以上の範囲において微分値の極小値を探索してもよい。具体的には、複数枚の数種類の画像を比較検証した結果から、所定値以上の範囲は、100pixel以上とすると好適である。
また、ノイズ推定部24は、累積度を構成するオブジェクトサイズ及び累積値の各点のうち、所定間隔の2点を用いて微分値を算出してもよい。例えば、ノイズ推定部24は、累積度分布の微分を点、即ち、傾きを算出する点を10点間隔としてもよい。
細胞オブジェクト特徴量算出部26は、ノイズ推定部24から取得した2値化データ及び推定結果情報に基づいて、当該2値化データから得られる全オブジェクトのなかからノイズオブジェクトを除去する。換言すれば、細胞オブジェクト特徴量算出部26は、ノイズ推定部24から取得した2値化データから、ノイズオブジェクト以外の個々の細胞オブジェクトを認識する。
上記の処理についてまとめると、ノイズ推定部24は、細胞が撮像された画像データから細胞オブジェクトの候補となる全オブジェクト(細胞候補オブジェクト)を抽出し、細胞候補オブジェクトの面積を算出し、その面積の大きさの順に各面積を有する細胞候補オブジェクトの数を順次加え合わせることで得られる累積度数分布を算出し、その累積度数分布の傾きに基づいて、細胞候補オブジェクトのうちから細胞オブジェクト以外のオブジェクトであるノイズに係るオブジェクトを抽出する。そして、細胞オブジェクト特徴量算出部26は、細胞候補オブジェクトのうちからノイズに係るオブジェクトを除去することにより、細胞オブジェクトを抽出する。
換言すれば、ノイズ推定部24と細胞オブジェクト特徴量算出部26とは、抽出部として機能し、当該抽出部は、累積分布に基づいて、細胞候補オブジェクトのうちから細胞オブジェクトまたは細胞オブジェクト以外のオブジェクトであるノイズに係るオブジェクトを抽出する。
なお、細胞オブジェクト認識部20は、最初に細胞候補オブジェクトの面積の累積分布に基づいてノイズに係るオブジェクトを除去した後に、面積以外の形態的特徴量の累積分布に基づいて、ノイズに係るオブジェクトを除去してもよい。また、細胞オブジェクト認識部20は、上記とは逆の順番でノイズに係るオブジェクトを除去してもよく、すなわち最初に面積以外の形態的特徴量の累積分布に基づいてノイズに係るオブジェクトを除去した後に、細胞候補オブジェクトの面積の累積分布に基づいてノイズに係るオブジェクトを除去してもよい。
これにより、細胞オブジェクト認識部20は、面積の累積分布と面積以外の形態的特徴量の累積分布を用いて、2回ノイズに係るオブジェクトを除去するので、ノイズ除去精度を高めることができる。
また、細胞オブジェクト認識部20は、最初に所定の面積以上の細胞候補オブジェクトを抽出し、抽出した細胞候補オブジェクトについての一の形態的特徴量の累積分布に基づいて、ノイズに係るオブジェクトを除去してもよい。
これにより、細胞オブジェクト認識部20は、最初に粗く細胞オブジェクトを抽出し、その後に一の形態的特徴量の累積分布に基づいて、ノイズに係るオブジェクトを除去するので、ノイズ除去精度を高めることができる。また、細胞オブジェクト認識部20は、累積分布の算出回数を1回にすることができるので、2回累積分布を算出するのに比べて計算時間を短縮することができる。
また、細胞オブジェクト認識部20は、ノイズ除去の試行毎に、形態的特徴量から異なる一の形態的特徴量を選択し、選択した形態的特徴量の累積度分布を用いてノイズに係るオブジェクトを複数回除去してもよい。これにより、細胞オブジェクト認識部20は、異なる形態的特徴量の累積分布を用いて、複数回ノイズを除去するので、ノイズ除去精度を高めることができる。
続いて、細胞オブジェクト特徴量算出部26は、認識した個々の細胞オブジェクトの形態的特徴量を算出する。一例として、細胞オブジェクト特徴量算出部26は、各細胞オブジェクトについて以下の15種類の形態的特徴量をそれぞれ算出する。
・Total area(図3の(a)参照)「Total area」は、注目する細胞の面積を示す値である。例えば、細胞オブジェクト特徴量算出部26は、注目する細胞の領域の画素数に基づいて「Total area」の値を算出することができる。
・Hole area(図3の(b)参照)「Hole area」は、注目する細胞内のHoleの面積を示す値である。ここで、Holeは、コントラストによって、細胞内における画像の明るさが閾値以上となる部分(位相差観察では白に近い状態となる箇所)を指す。例えば、細胞内小器官のリソソームなどがHoleとして検出される。また、画像によっては、細胞核や、他の細胞小器官がHoleとして検出されうる。なお、細胞オブジェクト特徴量算出部26は、細胞内における輝度値が閾値以上となる画素のまとまりをHoleとして検出し、このHoleの画素数に基づいて「Hole area」の値を算出すればよい。
・relative hole area(図3の(c)参照)「relative hole area」は、「Hole area」の値を「Total area」の値で除した値である(relative hole area=Hole area/Total area)。この「relative hole area」は、細胞の大きさにおける細胞内小器官の割合を示すパラメータであって、例えば細胞内小器官の肥大化や核の形の悪化などに応じてその値が変動する。
・Perimeter(図3(d)参照)「Perimeter」は、注目する細胞の外周の長さを示す値である。例えば、細胞オブジェクト特徴量算出部26は、細胞を抽出するときの輪郭追跡処理により「Perimeter」の値を取得することができる。
・Width(図3の(e)参照)「Width」は、注目する細胞の画像横方向(X方向)での長さを示す値である。
・Height(図3の(f)参照)「Height」は、注目する細胞の画像縦方向(Y方向)での長さを示す値である。
・Length(図3の(g)参照)「Length」は、注目する細胞を横切る線のうちの最大値(細胞の全長)を示す値である。
・Breadth(図3の(h)参照)「Breadth」は、「Length」に直交する線のうちの最大値(細胞の横幅)を示す値である。
・Fiber Length(図3の(i)参照)「Fiber Length」は、注目する細胞を擬似的に線状と仮定した場合の長さを示す値である。細胞オブジェクト特徴量算出部26は、下記式(1)により「Fiber Length」の値を算出する。
但し、本明細書の式中において「P」はPerimeterの値を示す。同様に「A」はTotal Areaの値を示す。
・Fiber Breadth(図3の(j)参照)「Fiber Breadth」は、注目する細胞を擬似的に線状と仮定した場合の幅(Fiber Lengthと直交する方向の長さ)を示す値である。細胞オブジェクト特徴量算出部26は、下記式(2)により「Fiber Breadth」の値を算出する。
・Shape Factor(図3の(k)参照)「Shape Factor」は、注目する細胞の円形度(細胞の丸さ)を示す値である。細胞オブジェクト特徴量算出部26は、下記式(3)により「Shape Factor」の値を算出する。
・Elliptical form Factor(図3の(l)参照)「Elliptical form Factor」は、「Length」の値を「Breadth」の値で除した値(Elliptical form Factor=Length/Breadth)であって、注目する細胞の細長さの度合い(楕円形度)を示すパラメータとなる。
・Inner radius(図3の(m)参照)「Inner radius」は、注目する細胞の内接円の半径を示す値である。
・Outer radius(図3の(n)参照)「Outer radius」は、注目する細胞の外接円の半径を示す値である。
・Mean radius(図3の(o)参照)「Mean radius」は、注目する細胞の輪郭を構成する全点とその重心点との平均距離を示す値である。
・Equivalent radius(図3の(p)参照)「Equivalent radius」は、注目する細胞と同面積の円の半径を示す値である。この「Equivalent radius」のパラメータは、注目する細胞を仮想的に円に近似した場合の大きさを示している。
ここで、細胞オブジェクト特徴量算出部26は、細胞に対応する画素数に誤差分を加味して上記の各形態的特徴量を算出してもよい。このとき、細胞オブジェクト特徴量算出部26は、顕微鏡画像の撮像条件(観察倍率や顕微鏡の光学系の収差等)を考慮して形態的特徴量を算出するようにしてもよい。なお、「Inner radius」、「Outer radius」、「Mean radius」、「Equivalent radius」を算出するときには、細胞オブジェクト特徴量算出部26は、公知の重心演算の手法に基づいて各細胞の重心点を求め、この重心点を基準にして各パラメータを算出すればよい。
個々の細胞オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部26は、属性情報に対応付けて、個々の細胞オブジェクトの形態的特徴量を細胞オブジェクト記憶部72に記憶する。なお、細胞オブジェクト特徴量算出部26は、ノイズ推定部24から撮像条件情報を取得した場合には、属性情報及び撮像条件情報に対応付けて、個々の細胞オブジェクトの形態的特徴量を細胞オブジェクト記憶部72に記憶する。
細胞オブジェクト記憶部72は、種々の属性の細胞を撮像した複数の既知同一属性撮像画像から認識された細胞オブジェクトに関する情報を記憶する。具体的には、細胞オブジェクト記憶部72は、図4に示すように、既知同一属性撮像を識別する画像IDに対応付けて、属性情報、撮像条件情報、及び、個々の細胞オブジェクトの形態的特徴量を記憶する。例えば、図4に示す例において、細胞オブジェクト記憶部72は、画像ID「P001」に対応付けて、名称「A」、培養条件「○○」、活性「××」を含む属性情報、観察倍率「X倍」を含む撮像条件情報、及び、N個の細胞オブジェクトの形態的特徴量を記憶している。
抽出条件記憶部74は、特徴的オブジェクト抽出部32が細胞オブジェクト記憶部72のなかから分類モデルの候補となるモデル(以下、「候補分類モデル」という)の生成に用いる特徴的なオブジェクト(以下、「特徴的オブジェクト」という)を抽出するときの抽出条件を記憶する。例えば、抽出条件記憶部74は、図5に示すように、個々の細胞オブジェクトが有する複数の形態的特徴量に係る抽出条件情報を記憶する。図5に示す例では、抽出条件記憶部74は、抽出条件1として「面積が平均値より上位25%を抽出」、抽出条件2として「面積が平均値より下位25%を抽出」、…、抽出条件5として「幅が平均値より上位25%を抽出」、抽出条件6として「幅が平均値より下位25%を抽出」を記憶している。
なお、抽出条件記憶部74は、図5に示す例においては、「面積」「長さ」「幅」の3種類の形態的特徴量に係る抽出条件を記憶しているが、細胞オブジェクト記憶部72に記憶されている形態的特徴量に対応する全ての形態的特徴量に係る抽出条件を記憶することが好ましい。
また、図5に示す抽出条件は、平均値を基準値としているが、例えば、最大値、中央値などの平均値以外の値を基準としてもよい。また、図5に示す抽出条件は、所定範囲内を規定する値を25%としているが、25%以外の値であってもよい。また例えば、図5に示す抽出条件は、例えば、抽出条件1と抽出条件2に示すように、同一の形態的特徴量については、所定範囲内を規定する値は同一の値であるが、例えば、抽出条件1として「面積が平均値より上位20%を抽出」、抽出条件2として「面積が平均値より下位30%を抽出」というように、同一の形態的特徴量について、所定範囲内を規定する値が異なる値であってもよい。また例えば、図5に示す抽出条件は、例えば、何れの形態的特徴量についても、所定範囲内を規定する値は同一の値であるが、例えば、抽出条件1として「面積が平均値より上位20%を抽出」、抽出条件5として「幅が平均値より上位30%を抽出」というように、異なる形態的特徴量について、所定範囲内を規定する値が異なる値であってもよい。
分類モデル生成部30は、細胞オブジェクトの形態的特徴量及び細胞オブジェクトとして認識された細胞の属性に基づいて、分類モデルを生成する。つまり、分類モデル生成部30の特徴的オブジェクト抽出部32が、細胞オブジェクト記憶部72に記憶されている細胞オブジェクトのなかから所定の形態的特徴量を有する細胞オブジェクトを特徴的オブジェクトとして抽出し、分類モデル生成部30の候補分類モデル形成部34が、特徴的オブジェクトの形態的特徴量及び特徴的オブジェクトとして認識された細胞の属性から複数の候補分類モデルを形成し、分類モデル決定部36が複数の候補分類モデルのなかから分類モデルを決定する。以下、特徴的オブジェクト抽出部32、候補分類モデル形成部34及び分類モデル決定部36について順に説明する。
特徴的オブジェクト抽出部32は、基準値から所定範囲内の値の形態的特徴量を有する細胞オブジェクトを特徴的オブジェクトとして抽出する。具体的には、特徴的オブジェクト抽出部32は、抽出条件記憶部74に記憶されている抽出条件に従って、細胞オブジェクト記憶部72に記憶されている複数の細胞オブジェクトのなかから特徴的オブジェクトを抽出する。より詳細には、特徴的オブジェクト抽出部32は、抽出条件記憶部74に記憶されている抽出条件を順次に変えて、細胞オブジェクト記憶部72に記憶されている複数の細胞オブジェクトのなかから、抽出条件毎に特徴的オブジェクトを抽出する。
特徴的オブジェクト抽出部32が特徴的オブジェクトを抽出する態様は、種々の態様が考えられる。例えば、細胞オブジェクト記憶部72に図4に示すN個の細胞オブジェクト、N個の細胞オブジェクト、N個の細胞オブジェクトのみが記憶され、抽出条件記憶部74に図5に示す抽出条件情報が記憶されている場合を例に、幾つかの抽出態様を説明する。
(第1の抽出態様)
特徴的オブジェクト抽出部32は、まず、(N+N+N)個の細胞オブジェクトの面積の平均値、長さの平均値及び幅の平均値を算出する。次いで、特徴的オブジェクト抽出部32は、(N+N+N)個の細胞オブジェクトのなかから、面積に関する抽出条件である抽出条件1又2の何れか一方の抽出条件を満たし、かつ、長さに関する抽出条件である抽出条件3又4の何れか一方の抽出条件を満たし、かつ、幅に関する抽出条件である抽出条件5又6の何れか一方の抽出条件を満たす細胞オブジェクトを特徴的オブジェクトとして抽出する。例えば、特徴的オブジェクト抽出部32は、(N+N+N)個の細胞オブジェクトのなかから、面積が平均値〜平均値より25%大きい値の範囲内(抽出条件1)であって、かつ、長さが平均値〜平均値より25%小さい値の範囲内(抽出条件4)であって、かつ、幅が平均値〜平均値より25%大きい値の範囲内(抽出条件5)である細胞オブジェクトを特徴的オブジェクトとして抽出する。なお、上記のAND条件(即ち「かつ」)をOR(即ち「または」)としてもよい。第1の抽出態様においては、細胞オブジェクトから特徴的オブジェクトを抽出するパターン数は、2の{形態的特徴量数}乗パターンである。例えば、上記例の場合、形態的特徴量は3であるため8パターンである。
(第2の抽出態様)
特徴的オブジェクト抽出部32は、抽出条件1に従って、(N+N+N)個の細胞オブジェクトの面積の平均値を算出し、(N+N+N)個の細胞オブジェクトのなかから、面積が平均値〜平均値より25%大きい値の範囲内にある細胞オブジェクトを特徴的オブジェクトとして抽出する。抽出条件2〜抽出条件6の場合も同様である。第2の抽出態様においては、細胞オブジェクトから特徴的オブジェクトを抽出するパターン数は、2×{形態的特徴量数}パターンである。例えば、上記例の場合、形態的特徴量は3であるため6パターンである。
(第3の抽出態様)
特徴的オブジェクト抽出部32は、抽出条件1〜6のうち予め定めた抽出条件1に従って、N個、N個、N個の細胞オブジェクトの面積の平均値を算出し、N個の細胞オブジェクトのなかから、面積が平均値〜平均値より25%大きい値の範囲内にある細胞オブジェクトを特徴的オブジェクトとして抽出し、N個の細胞オブジェクトのなかから、面積が平均値〜平均値より25%大きい値の範囲内にある細胞オブジェクトを特徴的オブジェクトとして抽出し、N個の細胞オブジェクトのなかから、面積が平均値〜平均値より25%大きい値の範囲内にある細胞オブジェクトを特徴的オブジェクトとして抽出してもよい。抽出条件2〜6を用いる場合も同様である。第3の抽出態様においては、細胞オブジェクトから特徴的オブジェクトを抽出するパターン数は、2×{画像数}乗パターンである。例えば、上記例の場合、画像数は3であるため8パターンである。
なお、抽出態様1、2、3の説明において、特徴的オブジェクト抽出部32は、抽出条件1に従って、面積が平均値〜平均値より25%大きい値の範囲内にある細胞オブジェクトを特徴的オブジェクトとして抽出しているが、特徴的オブジェクト抽出部32は、抽出条件1に従って、(N+N+N)個の細胞オブジェクトの面積の平均値を算出し、(N+N+N)個の細胞オブジェクトのうちの面積が平均値以上の細胞オブジェクトを母集団とし、母集団のうち面積が小さい方から25%以内の細胞オブジェクトを特徴的オブジェクトとして抽出してもよい。また、特徴的オブジェクト抽出部32は、母集団のうち面積が小さい方から((N+N+N)/4)個迄に含まれる細胞オブジェクトを特徴的オブジェクトとして抽出してもよい。抽出条件2〜抽出条件6についても同様である。
特徴的オブジェクト抽出部32は、細胞オブジェクト記憶部72に記憶されている細胞オブジェクトのなかから特徴的オブジェクトを抽出した場合、夫々の特徴的オブジェクトの属性情報及び形態的特徴量を候補分類モデル形成部34に出力する。例えば、特徴的オブジェクト抽出部32は、抽出条件を変えて特徴的オブジェクトを抽出する都度、夫々の抽出条件に応じて抽出した特徴的オブジェクトの属性情報及び形態的特徴量を候補分類モデル形成部34に出力する。
なお、本実施形態では、特徴的オブジェクト抽出部32は、抽出条件記憶部74に記憶されている抽出条件に従って、複数の細胞オブジェクトのなかから特徴的オブジェクトを抽出したが、抽出条件に従うことは必須ではない。例えば、特徴的オブジェクト抽出部32は、目的に応じて全ての細胞オブジェクトのなかから特徴的オブジェクトを抽出する
処理を機能させてもよい。
候補分類モデル形成部34は、特徴的オブジェクトの形態的特徴量及び特徴的オブジェクトとして認識された前記細胞の属性、つまり、特徴的オブジェクト抽出部32から取得した特徴的オブジェクトの属性情報及び形態的特徴量を用いて候補分類モデルを形成(生成)する。
以下、候補分類モデル形成部34による候補分類モデルの形成方法について説明する。
候補分類モデル形成部34は、特徴的オブジェクト抽出部32から取得した特徴的オブジェクトから得られる形態的特徴量に係る分類基準(形態的特徴量の種類及び閾値)を設定し、候補分類モデルを形成する。換言すれば、候補分類モデル形成部34は、候補分類モデルを構成する分類基準(形態的特徴量の種類及び閾値)を、特徴的オブジェクトから得られる形態的特徴量のなかから設定(選択)することによって、候補分類モデルを形成する。
図6に示す1番目及びM番目の候補分類モデルは、候補分類モデル形成部34が上述の如く形成した候補分類モデルの一例である。1番目の候補分類モデルは、候補分類モデル形成部34によって、第1段階目の分類基準(形態的特徴量「長さ」及び閾値「12」)、第2段階目の分類基準(形態的特徴量「丸さ」及び閾値「0.7」)が設定された候補分類モデル、M番目の候補分類モデルは、候補分類モデル形成部34によって、第1段階目の分類基準(形態的特徴量「丸さ」及び閾値「12」)、第2段階目の分類基準(形態的特徴量「幅」及び「1.2」)が設定された候補分類モデルである。候補分類モデル形成部34は、形成した各候補分類モデルを候補分類モデル記憶部76に記憶する。なお、図6に示すような多段階に分類基準が設定された候補分類モデルは、未知属性撮像画像、又は、未知属性撮像画像内の細胞を段階的に分類するが、段階的に分類する候補分類モデルの形成方法については後述する。
なお、候補分類モデル形成部34は、候補分類モデルの各枝に、細胞の分類先を示す分類先ID(分類インデックスとも称する)を設定する。各分類先IDは、細胞の属性情報に対応するものである。従って、未知属性撮像画像又は未知属性撮像画像内の細胞の分類先IDから、当該未知属性撮像画像又は未知属性撮像画像内の細胞の属性情報を得ることができる。なお、図6において、1番目の候補分類モデル及びM番目の候補分類モデルにおいて、分類先ID「N0001」は、図4の名称「A」、培養条件「○○」、活性「××」を含む属性情報と対応し、分類先ID「N0002」は、名称「B」、培養条件「△△」、活性「□□」を含む属性情報と対応し、分類先ID「N0003」は、名称「C」、培養条件「◎◎」、活性「□□」を含む属性情報と対応している。分類先IDと属性とを対応させるために、細胞オブジェクト特徴量算出部26は、新たな属性情報(属性情報及び撮像条件情報)に対応付けて、個々の細胞オブジェクトの形態的特徴量を細胞オブジェクト記憶部72に記憶する際に、分類先IDを採番し、属性情報(属性情報及び撮像条件情報)に対応付けて採番した分類先IDを記憶するようにしてもよい。
以下、段階的に細胞オブジェクトの属性を分類する候補分類モデルの形成方法について説明する。候補分類モデル形成部34は、決定木法に基づいた変数選択に候補分類モデルを形成する。例えば、Aという属性の10個の特徴的オブジェクト、Bという属性の10個の特徴的オブジェクト、Cという属性の10個の特徴的オブジェクトが与えられ、各特徴的オブジェクトの形態的特徴量(次元)は15種類(特徴量1、特徴量2、…、特徴量15)であったとした場合、候補分類モデル形成部34は、まず、特徴量1の値を最小〜最大まで順次増加させていき、A、B、Cの3種類の特徴的オブジェクトが、最もよく分類されたときの特徴量1の値を特定する。
例えば、候補分類モデル形成部34は、特徴量1のある値において、あるノード(枝先)に、特徴的オブジェクトAが10個中9個、特徴的オブジェクトBが10個中1個、特徴的オブジェクトCが10個中1個あるとき、当該ノードの分類精度を90%と算出する。同様に、候補分類モデル形成部34は、特徴量1の当該値において、全てのノードの分類精度を算出する。各ノードの分類精度は、各ノードに各特徴的オブジェクトが振り分けられたときに高くなるため、候補分類モデル形成部34は、特徴量1の当該値における、全ノードの平均の分類精度を算出する。同様に、候補分類モデル形成部34は、特徴量1の値を増加させて、各特徴量1の値における、全ノードの平均分類精度を算出する。そして、候補分類モデル形成部34は、A、B、Cの3種類の特徴的オブジェクトが最もよく分類されたときの特徴量1の値として、全ノードの平均分類精度が最も高い特徴量1の値を特定する。
同様に、候補分類モデル形成部34は、全ノードの平均分類精度が最も高い特徴量2の値、特徴量3の値、…、特徴量15の値を特定する。そして、候補分類モデル形成部34は、特定した特徴量1の値、特徴量2の値、…、特徴量15の値のなかから、候補分類モデルにおける第1段階のルールとして、全ノードの平均分類精度が最も高いものを選択する。以下同様に、候補分類モデル形成部34は、第2段階の以降のルールを選択する。
分類モデル決定部36は、細胞オブジェクト記憶部72に記憶されている細胞オブジェクトを各候補分類モデルに投入し、各候補分類モデルの分類精度を評価する。なお、分類モデル決定部36は、既知同一属性撮像画像を各候補分類モデルに投入し、各候補分類モデルの分類精度を評価してもよい。また、分類モデル決定部36は、最も精度が高い候補分類モデルを以降の分類に用いる分類モデルとして決定し、分類モデル記憶部80に記憶する。例えば、分類モデル決定部36は、図7に示すように、決定した分類モデルとともに、算出した分類精度の評価値を分類モデル記憶部80に記憶してもよい。
なお、特徴的オブジェクト抽出部32による特徴的オブジェクトの抽出、候補分類モデル形成部34による候補分類モデルの形成、分類モデル決定部36による分類モデルの決定の関係については、例えば、図1において矢印は省略しているが、以下のように実現すればよい。
細胞オブジェクト特徴量算出部26は、細胞オブジェクト記憶部72に形態的特徴量を記憶した後に、形態的特徴量を記憶した旨を候補分類モデル形成部34に通知する。候補分類モデル形成部34は、細胞オブジェクト特徴量算出部26から細胞オブジェクト記憶部72に形態的特徴量を記憶した旨の通知を取得した場合、特徴的オブジェクト抽出部32に抽出を要求する。
特徴的オブジェクト抽出部32は、候補分類モデル形成部34から抽出を要求された場合、未だ、全抽出パターンに従って特徴的オブジェクトを抽出していないときは、未抽出パターンに従って特徴的オブジェクトを抽出し、候補分類モデル形成部34に出力する。
一方、特徴的オブジェクト抽出部32は、既に、全抽出パターンに従って特徴的オブジェクトを抽出していたときは、抽出が完了した旨を候補分類モデル形成部34に通知する。
候補分類モデル形成部34は、特徴的オブジェクト抽出部32から特徴的オブジェクトを取得した場合、候補分類モデルを形成し、候補分類モデル記憶部76に記憶するとともに、特徴的オブジェクト抽出部32に再度、抽出を要求する。一方、候補分類モデル形成部34は、特徴的オブジェクト抽出部32から抽出が完了した旨の通知を取得した場合、分類モデル決定部36に分類モデルの決定を要求する。分類モデル決定部36は、候補分類モデル形成部34から分類モデルの決定を要求された場合、候補分類モデルを評価して、分類モデルを決定する。
以下、インキュベータ311について説明する。図8は、分類モデル生成装置1と接続するインキュベータ311の一例である。図9、図10は、インキュベータ311の正面図である。
インキュベータ311は、上部ケーシング312と下部ケーシング313とを有している。インキュベータ311の組立状態において、上部ケーシング312は下部ケーシング313の上に載置される。なお、上部ケーシング312と下部ケーシング313との内部空間は、ベースプレート314によって上下に仕切られている。
まず、上部ケーシング312の構成の概要を説明する。上部ケーシング312の内部には、細胞の培養を行う恒温室315が形成されている。この恒温室315は温度調整装置315a及び湿度調整装置315bを有しており、恒温室315内は細胞の培養に適した環境(例えば温度37℃、湿度90%の雰囲気)に維持されている(なお、図9、図10での温度調整装置315a、湿度調整装置315bの図示は省略する)。
恒温室315の前面には、大扉316、中扉317、小扉318が配置されている。大扉316は、上部ケーシング312及び下部ケーシング313の前面を覆っている。中扉317は、上部ケーシング312の前面を覆っており、大扉316の開放時に恒温室315と外部との環境を隔離する。小扉318は、細胞を培養する培養容器319を搬出入するための扉であって、中扉317に取り付けられている。この小扉318から培養容器319を搬出入することで、恒温室315の環境変化を抑制することが可能となる。なお、大扉316、中扉317、小扉318は、パッキンP1,P2,P3によりそれぞれ気密性が維持されている。
また、恒温室315には、ストッカー321、観察ユニット322、容器搬送装置323、搬送台324が配置されている。ここで、搬送台324は、小扉318の手前に配置されており、培養容器319を小扉318から搬出入する。
ストッカー321は、上部ケーシング312の前面(図10の下側)からみて恒温室315の左側に配置される。ストッカー321は複数の棚を有しており、ストッカー321の各々の棚には培養容器319を複数収納することができる。なお、各々の培養容器319には、培養の対象となる細胞が培地とともに収容されている。
観察ユニット322は、上部ケーシング312の前面からみて恒温室315の右側に配置される。この観察ユニット322は、培養容器319内の細胞のタイムラプス観察を実行することができる。
ここで、観察ユニット322は、上部ケーシング312のベースプレート314の開口部に嵌め込まれて配置される。観察ユニット322は、試料台331と、試料台331の上方に張り出したスタンドアーム332と、位相差観察用の顕微光学系及び撮像装置334を内蔵した本体部分333とを有している。そして、試料台331及びスタンドアーム332は恒温室315に配置される一方で、本体部分333は下部ケーシング313内に収納される。
試料台331は透光性の材質で構成されており、その上に培養容器319を載置することができる。この試料台331は水平方向に移動可能に構成されており、上面に載置した培養容器319の位置を調整できる。また、スタンドアーム332にはLED光源335が内蔵されている。そして、撮像装置334は、スタンドアーム332によって試料台331の上側から透過照明された培養容器319の細胞を、顕微光学系を介して撮像することで細胞の顕微鏡画像を取得できる。
容器搬送装置323は、上部ケーシング312の前面からみて恒温室315の中央に配置される。この容器搬送装置323は、ストッカー321、観察ユニット322の試料台331及び搬送台324との間で培養容器319の受け渡しを行う。
図10に示すように、容器搬送装置323は、多関節アームを有する垂直ロボット334と、回転ステージ335と、ミニステージ336と、アーム部337とを有している。
回転ステージ335は、垂直ロボット334の先端部に回転軸335aを介して水平方向に180°回転可能に取り付けられている。そのため、回転ステージ335は、ストッカー321、試料台331及び搬送台324に対して、アーム部337をそれぞれ対向させることができる。
また、ミニステージ336は、回転ステージ335に対して水平方向に摺動可能に取り付けられている。ミニステージ336には培養容器319を把持するアーム部337が取り付けられている。
次に、下部ケーシング313の構成の概要を説明する。下部ケーシング313の内部には、観察ユニット322の本体部分333や、インキュベータ311の制御装置341が収納されている。
制御装置341は、温度調整装置315a、湿度調整装置315b、観察ユニット322及び容器搬送装置323とそれぞれ接続されている。この制御装置341は、所定のプログラムに従ってインキュベータ311の各部を統括的に制御する。
一例として、制御装置341は、CPU342及び記憶部343を有し、温度調整装置315a及び湿度調整装置315bをそれぞれ制御して恒温室315内を所定の環境条件に維持する。また、制御装置341は、所定の観察スケジュールに基づいて、観察ユニット322及び容器搬送装置323を制御して、培養容器319の観察シーケンスを自動的に実行する。
記憶部343は、ハードディスクや、フラッシュメモリ等の不揮発性の記憶媒体などで構成される。この記憶部343には、ストッカー321に収納されている各培養容器319に関する管理データと、撮像装置で撮像された顕微鏡画像のデータとが記憶されている。さらに、記憶部343には、CPU342によって実行されるプログラムが記憶されている。
なお、上記の管理データには、(a)個々の培養容器319を示すインデックスデータ、(b)ストッカー321での培養容器319の収納位置、(c)培養容器319の種類及び形状(ウェルプレート、ディッシュ、フラスコなど)、(d)培養容器319で培養されている細胞の種類、(e)培養容器319の観察スケジュール、(f)タイムラプス観察時の撮像条件(対物レンズの倍率、容器内の観察地点等)、などが含まれている。また、ウェルプレートのように複数の小容器で同時に細胞を培養できる培養容器319については、各々の小容器ごとにそれぞれ管理データが生成される。
以下、フローチャートを用いて、分類モデル生成装置1の動作を説明する。図11は、分類モデル生成装置1の動作の一例を示すフローチャートである。図12は、ノイズ推定部24の動作の一例を示すフローチャートである。図11において、入出力部10は、外部から属性情報、撮像条件情報及び既知同一属性撮像画像を取得する(ステップS112)。入出力部10は、外部から取得した属性情報、撮像条件情報及び既知同一属性撮像画像を2値化処理部22に出力する。
2値化処理部22は、入出力部10から取得した既知同一属性撮像画像を所定の閾値によって2値化処理する(ステップS114)。2値化処理部22は、属性情報及び撮像条件情報とともに2値化データをノイズ推定部24に出力する。
ノイズ推定部24は、2値化処理部22から2値化データを取得し、取得した2値化データから得られる全オブジェクトのなかからノイズオブジェクトを推定する(ステップS120)。具体的には、ノイズ推定部24は、図12に示す各動作を実行する。
図12において、ノイズ推定部24は、2値化処理部22から2値化データを取得する(ステップS121)。次いで、ノイズ推定部24は、当該2値化データから得られる各オブジェクトのオブジェクトサイズを測定する(ステップS122)。次いで、ノイズ推定部24は、各オブジェクトのオブジェクトサイズの合計値に対する、一のオブジェクトサイズ迄のオブジェクトサイズの累積値の度数を表す累積度分布を生成する(ステップS123)。
次いで、ノイズ推定部24は、該累積度分布において、所定値以上の範囲内における所定間隔の各2点の傾き(微分値)の極小値を探索する(ステップS124)。次いで、ノイズ推定部24は、該極小値の近傍の値であって該極小値よりも小さい値を閾値として決定する(ステップS125)。次いで、ノイズ推定部24は、オブジェクトサイズが該閾値未満であるオブジェクトをノイズオブジェクトとして推定する(ステップS126)。
ノイズ推定部24は、属性情報及び撮像条件情報とともに2値化データ及び推定結果情報を細胞オブジェクト特徴量算出部26に出力する。そして、図12に示すフローチャートは終了する。
図11に戻り、ノイズ推定部24から属性情報及び撮像条件情報とともに2値化データ及び推定結果情報を取得した細胞オブジェクト特徴量算出部26は、ノイズ推定部24から取得した2値化データ及び推定結果情報に基づいて、当該2値化データから得られる全オブジェクトのなかからノイズオブジェクトを除去する(ステップS130)。換言すれば、細胞オブジェクト特徴量算出部26は、ノイズ推定部24から取得した2値化データから、ノイズオブジェクト以外の個々の細胞オブジェクトを認識する(ステップS130)。
次いで、細胞オブジェクト特徴量算出部26は、認識した個々の細胞オブジェクトの形態的特徴量を算出する(ステップS132)。個々の細胞オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部26は、属性情報及び撮像条件情報に対応付けて、算出した個々の細胞オブジェクトの形態的特徴量を細胞オブジェクト記憶部72に記憶する(ステップS134)。
入出力部10は、既知同一属性撮像画像等の取得を終了したか否かを判断する(ステップS136)。入出力部10は、例えば、インキュベータ311から既知同一属性撮像画像等の出力が終了した旨を示す通知、または、分類モデルを生成すべき旨を示す通知を取得した場合に、既知同一属性撮像画像等の取得を終了したと判断する。入出力部10が既知同一属性撮像画像等の取得を終了していないと判断した場合(ステップS136:No)、ステップS112に戻る。
一方、入出力部10が既知同一属性撮像画像等の取得を終了したと判断した場合(ステップS136:Yes)、細胞オブジェクト特徴量算出部26は、形態的特徴量を記憶した旨を候補分類モデル形成部34に通知する。形態的特徴量を記憶した旨の通知を取得した候補分類モデル形成部34は、特徴的オブジェクト抽出部32に抽出を要求する。抽出を要求された特徴的オブジェクト抽出部32は、一の抽出パターンに従って、細胞オブジェクト記憶部72に記憶されている細胞オブジェクトから特徴的オブジェクトを抽出する(ステップS142)。特徴的オブジェクトを抽出した特徴的オブジェクト抽出部32は、夫々の特徴的オブジェクトの属性情報及び形態的特徴量を候補分類モデル形成部34に出力する。
夫々の特徴的オブジェクトの属性情報及び形態的特徴量を取得した候補分類モデル形成部34は、夫々の特徴的オブジェクトの属性情報及び形態的特徴量に基づいて、候補分類モデルを形成(生成)し、候補分類モデルを候補分類モデル記憶部76に記憶する(ステップS144)。次いで、候補分類モデル形成部34は、全ての候補分類モデルを形成したか否かを判断する(ステップS146)。候補分類モデル形成部34は、例えば、特徴的オブジェクト抽出部32に抽出を要求し、特徴的オブジェクト抽出部32から抽出が完了した旨の通知を取得した場合に、全ての候補分類モデルを形成したと判断する。候補分類モデル形成部34が全ての候補分類モデルを形成していないと判断した場合(ステップS146:No)、ステップS142に戻る。なお、再度実行するステップS142において、特徴的オブジェクト抽出部32は、未抽出パターンに従って特徴的オブジェクトを抽出する。
候補分類モデル形成部34は全ての候補分類モデルを形成したと判断した場合(ステップS146:Yes)、分類モデル決定部36に分類モデルの決定を要求する。分類モデルの決定を要求された分類モデル決定部36は、複数の候補分類モデルのなかから分類モデルを決定し、分類モデル記憶部80に記憶する(ステップS150)。そして、図11に示すフローチャートは終了する。
なお、ノイズ推定部24によるノイズオブジェクトの推定および細胞オブジェクト特徴量算出部26によるノイズオブジェクトの削除は、本実施形態で説明した細胞オブジェクトを分類する分類モデルを決定する際の処理に限ったものではない。ノイズ推定部24によるノイズオブジェクトの推定および細胞オブジェクト特徴量算出部26によるノイズオブジェクトの削除は、画像処理の目的に依らず、細胞が撮像された画像データに対して、画像処理を行うときにはどんな画像処理を行う際にも使用してもよい。
(第2の実施形態)
以下、図面を参照しながら本発明の第2の実施形態について説明する。図13は本発明の第2の実施形態による分類モデル生成装置2の機能ブロック図の一例である。分類モデル生成装置2は、図13に示すように、入出力部10、細胞オブジェクト認識部20、分類モデル生成部40、細胞オブジェクト記憶部72及び分類モデル記憶部80を備える。
分類モデル生成部40は、代表的特徴量計算部42及び分類モデル形成部46を備える。
なお、入出力部10、細胞オブジェクト認識部20、細胞オブジェクト記憶部72及び分類モデル記憶部80は、図1に示す第1の実施形態の分類モデル生成装置1の入出力部10、細胞オブジェクト認識部20、細胞オブジェクト記憶部72及び分類モデル記憶部80と同様である。
代表的特徴量計算部42は、既知同一属性撮像画像から認識された複数の細胞オブジェクトの形態的特徴量を代表する代表的特徴量を計算する。例えば、代表的特徴量計算部42は、既知同一属性撮像画像から抽出された複数の細胞オブジェクトの各形態的特徴量の平均値を計算し、各形態的特徴量の平均値を代表的特徴量とする。代表的特徴量計算部42は、各既知同一属性撮像画像から代表的特徴量を計算した場合、各既知同一属性撮像画像から計算した代表的特徴量、及び、各既知同一属性撮像画像の属性情報を分類モデル形成部46に出力する。換言すれば、代表的特徴量計算部42は、代表的特徴量を自身の形態的特徴量とする仮想的な細胞オブジェクト(以下、「仮想的オブジェクト」という)を既知同一属性撮像画像毎に生成し、夫々の仮想的オブジェクトの属性情報及び形態的特徴量(即ち、代表的特徴量)を分類モデル形成部46に出力する。
分類モデル形成部46は、代表的特徴量計算部42から取得した、既知同一属性撮像画像毎の複数の仮想的オブジェクトの属性情報及び形態的特徴量を用いて分類モデルを生成する。なお、分類モデル形成部46が分類モデルを生成する方法は、上記の第1の実施形態による分類モデル生成装置1の候補分類モデル形成部34が候補分類モデルを生成する方法と同様である。分類モデル形成部46は、生成した分類モデルを分類モデル記憶部80に記憶する。
なお、代表的特徴量計算部42は、各形態的特徴量の平均値を代表的特徴量としているが、平均値以外を代表的特徴量としてもよい。例えば、代表的特徴量計算部42は、各形態的特徴量の中央値、標準偏差を代表的特徴量としてもよい。
(第3の実施形態)
以下、図面を参照しながら本発明の第3の実施形態について説明する。図14は、本発明の第3の実施形態による細胞分類装置3の機能ブロック図の一例である。図15は、検索オブジェクト一時記憶部170に記憶される情報の一例である。図16は、細胞カタログ記憶部190に記憶される情報の一例である。
細胞分類装置3は、図14に示すように、入出力部110、細胞オブジェクト認識部120、特徴的オブジェクト抽出・代表的特徴量計算部152、細胞分類部160、検索オブジェクト一時期億部170、分類モデル記憶部180及び細胞カタログ記憶部190を備える。細胞オブジェクト認識部120は、2値化処理部122、ノイズ推定部124及び細胞オブジェクト特徴量算出部126を備える。
入出力部110は、未知属性撮像画像を外部から取得する。具体的には、未知の異種属性の複数の細胞が撮像された未知属性撮像画像(以下、「未知異種属性撮像画像」という)、又は、未知の同一属性の複数の細胞が撮像された未知属性撮像画像(以下、「未知同一属性撮像画像」という)を外部から取得する。入出力部110は、外部から取得した未知属性撮像画像を細胞オブジェクト認識部120の2値化処理部122に出力する。なお、未知属性撮像画像の取得元である外部は、例えば、当該細胞分類装置3に接続可能な外部媒体(例えば、USBメモリ)、LAN、インターネットなどのネットワークを介して接続される他の装置、または、インキュベータ311である。
また、入出力部110は、未知属性撮像画像とともに画像種別情報を外部から取得し、2値化処理部122に出力してもよい。画像種別情報とは、当該未知属性撮像画像が、未知異種属性撮像画像であるか未知同一属性撮像画像であるかを識別する情報である。
細胞オブジェクト認識部120は、未知属性撮像画像内の個々の細胞オブジェクト(以下、「検索オブジェクト」という)を認識する。具体的には、細胞オブジェクト認識部120の2値化処理部122は、上記の第1の実施形態による分類モデル生成装置1の2値化処理部22と同様、入出力部110から取得した未知属性撮像画像を所定の閾値によって2値化処理する。2値化処理した2値化処理部122は、2値化データをノイズ推定部124に出力する。なお、2値化処理部122は、入出力部110から画像種別情報を取得している場合には、2値化データ及び画像種別情報をノイズ推定部124に出力する。
ノイズ推定部124は、上記の第1の実施形態による分類モデル生成装置1のノイズ推定部24と同様、2値化処理部122から取得した2値化データから得られる全オブジェクトのなかからノイズオブジェクトを推定する。ノイズオブジェクトを推定したノイズ推定部124は、2値化データとともに、推定結果情報を細胞オブジェクト特徴量算出部126に出力する。なお、ノイズ推定部124は、2値化処理部122から画像種別情報を取得している場合には、2値化データ及び画像種別情報とともに、推定結果情報を細胞オブジェクト特徴量算出部126に出力する。
細胞オブジェクト特徴量算出部126は、ノイズ推定部124から取得した2値化データ及び推定結果情報に基づいて、当該2値化データから得られる全オブジェクトのなかからノイズオブジェクトを除去する。換言すれば、細胞オブジェクト特徴量算出部126は、ノイズ推定部124から取得した2値化データから、ノイズオブジェクト以外の個々の細胞オブジェクトを認識する。
続いて、細胞オブジェクト特徴量算出部126は、上記の第1の実施形態による分類モデル生成装置1の細胞オブジェクト特徴量算出部26と同様、認識した個々の検索オブジェクトの形態的特徴量を算出する。検索オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部126は、個々の検索オブジェクトの形態的特徴量を検索オブジェクト一時記憶部170に記憶する。なお、細胞オブジェクト特徴量算出部126は、ノイズ推定部124から画像種別情報を取得している場合には、画像種別情報及び個々の検索オブジェクトの形態的特徴量を検索オブジェクト一時記憶部170に記憶する。
検索オブジェクト一時記憶部170は、検索オブジェクトに関する情報を記憶する。具体的には、検索オブジェクト一時記憶部170は、図15(a)(b)に示すように、画像種別情報に対応付けて、個々の検索オブジェクトの形態的特徴量を記憶する。図15(a)に示す例では、検索オブジェクト一時記憶部170は、検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報(例えば、値0)に対応付けて、N個の検索オブジェクトの形態的特徴量を記憶している。また、図15(b)に示す例では、検索オブジェクト一時記憶部170は、検索オブジェクトの抽出元が未知同一属性撮像画像である旨を示す画像種別情報(例えば、値1)に対応付けて、N個の検索オブジェクトの形態的特徴量を記憶している。
なお、検索オブジェクト一時記憶部170の項目「画像種別情報」の初期値は、検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報である。従って、細胞オブジェクト特徴量算出部126がノイズ推定部124から画像種別情報を取得しなかった場合、項目「画像種別情報」には、検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報が記憶される。
抽出条件記憶部174は、検索オブジェクト一時記憶部170に記憶されている複数の検索オブジェクトのなかから、検索オブジェクトを抽出するときの抽出条件を記憶する。
以下、検索オブジェクト一時記憶部170から抽出される検索オブジェクトを特徴的検索オブジェクトという。なお、抽出条件記憶部174は、上記の第1の実施形態による分類モデル生成装置1の抽出条件記憶部74が記憶する内容と同様の内容の抽出条件を記憶する。
特徴的オブジェクト抽出・代表的特徴量計算部152は、上記の第1の実施形態による分類モデル生成装置1の特徴的オブジェクト抽出部32、及び、上記の第2の実施形態による分類モデル生成装置2の代表的特徴量計算部42の機能を備える。即ち、特徴的オブジェクト抽出・代表的特徴量計算部152は、細胞分類装置3に未知異種属性撮像画像が投入された場合には、上記の第1の実施形態による分類モデル生成装置1の特徴的オブジェクト抽出部32と同様の処理をし、細胞分類装置3に未知同一属性撮像画像が投入された場合には、上記の第2の実施形態による分類モデル生成装置2の代表的特徴量計算部42と同様の処理をする。
具体的には、特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクト一時記憶部170に、検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報が記憶されている場合には、抽出条件記憶部174に記憶されている抽出条件に従って、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトのなかから特徴的検索オブジェクトを抽出する。なお、特徴的オブジェクト抽出・代表的特徴量計算部152は、何れの抽出条件に従って特徴的検索オブジェクトを抽出するかを示す情報を、入出力部110を介して外部から取得してもよい。特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから特徴的検索オブジェクトを抽出した場合、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部160に出力する。
一方、特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクト一時記憶部170に、検索オブジェクトの抽出元が未知同一属性撮像画像である旨を示す画像種別情報が記憶されている場合には、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから、当該検索オブジェクトの形態的特徴量を代表する代表的特徴量を計算する。特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから代表的特徴量を計算した場合、未知同一属性撮像画像から計算した代表的特徴量、及び、未知同一属性撮像画像の属性情報を細胞分類部160に出力する。換言すれば、特徴的オブジェクト抽出・代表的特徴量計算部152は、代表的特徴量を自身の形態的特徴量とする仮想的オブジェクト(以下、「仮想的検索オブジェクト」という)を生成し、仮想的検索オブジェクトの属性情報及び形態的特徴量(即ち、代表的特徴量)を細胞分類部160に出力する。
分類モデル記憶部180は、未知属性撮像画像、又は、未知属性撮像画像内の細胞を、細胞の形態的な特徴に基づいて属性毎に分類する分類モデルを記憶する。例えば、分類モデル記憶部180は、図7に示すように、所定の分類基準に従って、段階的に細胞オブジェクトの属性を分類する分類モデルを記憶してもよい。
細胞カタログ記憶部190は、図16に示すような細胞カタログを記憶する。図16に示す細胞カタログでは、例えば、分類先ID「N0001」と属性情報(名称「A」、培養条件「○○」等)と形態的特徴量(面積「27」、長さ「10.5」等)とを対応付けて記憶している。なお、細胞カタログは、細胞オブジェクトの画像(例えば、細胞オブジェクトを表現する2値化データ)を更に記憶してもよい。
細胞分類部160は、細胞オブジェクト認識部120によって未知属性撮像画像から認識された細胞オブジェクトの形態的特徴量又は当該形態的特徴量から算出される特徴量を、分類モデルに投入することによって、未知属性撮像画像又は未知属性撮像画像内の細胞を分類する。
例えば、細胞分類部160は、細胞分類装置3に未知異種属性撮像画像が投入された場合には、当該未知異種属性撮像画像から認識された細胞オブジェクト(即ち検索オブジェクト)のなかから抽出された特徴的オブジェクト(即ち、特徴的検索オブジェクト)の形態的特徴量に基づいて、未知異種属性撮像画像内の細胞を分類する。具体的には、細胞分類部160は、特徴的オブジェクト抽出・代表的特徴量計算部152から複数の特徴的検索オブジェクトの属性情報及び形態的特徴量を取得した場合、当該複数の特徴的検索オブジェクトの属性情報及び形態的特徴量を分類モデルに投入し、個々の特徴的検索オブジェクトを分類する。
また例えば、細胞分類部160は、細胞分類装置3に未知同一属性撮像画像が投入された場合には、当該未知同一属性撮像画像から認識された細胞オブジェクト(即ち検索オブジェクト)の形態的特徴量から算出される特徴量(即ち、代表的特徴量)に基づいて、当該未知同一属性撮像画像を分類する。具体的には、細胞分類部160は、特徴的オブジェクト抽出・代表的特徴量計算部152から仮想的検索オブジェクトの属性情報及び形態的特徴量(即ち、代表的特徴量)を取得した場合、当該仮想的検索オブジェクトの属性情報及び形態的特徴量を分類モデルに投入し、未知同一属性撮像画像を分類する。即ち、細胞分類部160は、仮想的検索オブジェクトの分類先を未知同一属性撮像画像の分類先とする。
細胞分類部160は、未知属性撮像画像、又は、未知属性撮像画像内の細胞を分類した場合、分類結果を入出力部110に出力する。具体的には、細胞分類部160は、未知異種属性撮像画像から得られた個々の特徴的検索オブジェクトを分類したときは、少なくとも、個々の特徴的検索オブジェクトの分類先の枝に設定されている分類先IDを入出力部110に出力する。例えば、細胞分類部160は、個々の特徴的検索オブジェクトの分類先IDに加えて、各分類先IDに対応付けられている属性情報、又は、個々の特徴的検索オブジェクトの形態的特徴量の何れか一方又は両方を入出力部110に出力してもよい。
なお、細胞分類部160は、個々の特徴的検索オブジェクトを分類したときは、個々の特徴的検索オブジェクトの分類先を示す分類先IDに対応付けて、個々の特徴的検索オブジェクトの形態的特徴量を細胞カタログに追加してもよい。また、細胞分類部160は、特徴的検索オブジェクトを分類したときは、分類結果として分類モデルから得られる情報(例えば、分類先ID、分類先ID毎の属性情報)に加えて、分類結果である各分類先IDに対応する属性情報、形態的特徴量を細胞カタログ記憶部190から取得し、入出力部110に出力してもよい。
細胞分類部160は、未知同一属性撮像画像から得られた仮想的検索オブジェクトに基づいて当該未知同一属性撮像画像を分類したときは、少なくとも、当該未知同一属性撮像画像の分類先の枝に設定されている分類先IDを入出力部110に出力する。例えば、細胞分類部160は、未知同一属性撮像画の分類先IDに加えて、分類先IDに対応付けられている属性情報、又は、仮想的検索オブジェクトの形態的特徴量(即ち、代表的特徴量)の何れか一方又は両方を入出力部110に出力してもよい。
なお、細胞分類部160は、未知同一属性撮像画像を分類したときは、当該未知属性撮像画像の分類先を示す分類先IDに対応付けて、当該分類に用いた仮想的検索オブジェクトの形態的特徴量を細胞カタログに追加してもよい。また、細胞分類部160は、未知同一属性撮像画像を分類したときは、分類結果として分類モデルから得られる情報に加えて、分類結果である分類先IDに対応する属性情報、形態的特徴量を細胞カタログ記憶部190から取得し、入出力部110に出力してもよい。
なお、特徴的オブジェクト抽出・代表的特徴量計算部152による特徴的検索オブジェクトの抽出、細胞分類部160による分類の各動作間の関係については、例えば、以下のように実現すればよい。
細胞オブジェクト特徴量算出部126は、検索オブジェクトの形態的特徴量を検索オブジェクト一時記憶部170に記憶した後に、形態的特徴量を記憶した旨を細胞分類部160に通知する。細胞分類部160は、細胞オブジェクト特徴量算出部126から形態的特徴量を記憶した旨の通知を取得した場合、特徴的オブジェクト抽出・代表的特徴量計算部152に抽出又は計算を要求する。
特徴的オブジェクト抽出・代表的特徴量計算部152は、細胞分類部160から抽出又は計算を要求された場合、検索オブジェクト一時記憶部170に記憶されている画像種別情報を参照し、検索オブジェクトの抽出元が未知異種属性撮像画像であるか未知同一属性撮像画像であるかを判断する。具体的には、特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクト一時記憶部170に記憶されている画像種別情報が、検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報である場合には、検索オブジェクトの抽出元が未知異種属性撮像画像であると判断し、検索オブジェクトの抽出元が未知同一属性撮像画像である旨を示す画像種別情報である場合には、検索オブジェクトの抽出元が未知同一属性撮像画像であると判断する。
特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクトの抽出元が未知異種属性撮像画像であると判断した場合、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから特徴的検索オブジェクトを抽出し、分類を要求するとともに、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部160に出力する。
細胞分類部160は、特徴的オブジェクト抽出・代表的特徴量計算部152から、分類の要求とともに、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を取得した場合、夫々の特徴的検索オブジェクトを分類モデルに投入し、個々の特徴的検索オブジェクトを分類する。
一方、特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクトの抽出元が未知同一属性撮像画像であると判断した場合、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから仮想的検索オブジェクトを生成し、分類を要求するとともに、仮想的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部160に出力する。
細胞分類部160は、特徴的オブジェクト抽出・代表的特徴量計算部152から、分類の要求とともに、仮想的検索オブジェクトの属性情報及び形態的特徴量を取得した細胞分類部160は、仮想的検索オブジェクトを分類モデルに投入し、未知同一属性撮像画像を分類する。
以下、フローチャートを用いて、細胞分類装置3の動作を説明する。図17は、細胞分類装置3の動作の一例を示すフローチャートである。また、図17に示すフローチャートの開始時において、検索オブジェクト一時記憶部170内には何も記憶されていないものとする。
図17において、入出力部110は、外部から未知属性撮像画像とともに画像種別情報を取得する(ステップS212)。入出力部110は、外部から取得した未知属性撮像画像及び画像種別情報を細胞オブジェクト認識部120の2値化処理部122に出力する。
2値化処理部122は、入出力部110から取得した未知属性撮像画像を所定の閾値によって2値化処理する(ステップS214)。2値化処理部122は、2値化データ及び画像種別情報をノイズ推定部124に出力する。ノイズ推定部124は、2値化処理部122から2値化データを取得し、取得した2値化データから得られる全オブジェクトのなかからノイズオブジェクトを推定する(ステップS220)。ノイズオブジェクトを推定したノイズ推定部124は、2値化データ及び画像種別情報とともに、推定結果情報を細胞オブジェクト特徴量算出部126に出力する。なお、ノイズ推定部124によるステップS220の処理の詳細は、上記の第1の実施形態による分類モデル生成装置1のノイズ推定部24によるステップS120の処理の詳細(図12)と同様である。
ノイズ推定部124から2値化データ及び画像種別情報とともに推定結果情報を取得した細胞オブジェクト特徴量算出部126は、ノイズ推定部124から取得した2値化データ及び推定結果情報に基づいて、当該2値化データから得られる全オブジェクトのなかからノイズオブジェクトを除去する(ステップS230)。換言すれば、細胞オブジェクト特徴量算出部126は、ノイズ推定部124から取得した2値化データから、ノイズオブジェクト以外の個々の細胞オブジェクトを認識する(ステップS230)。
次いで、細胞オブジェクト特徴量算出部126は、認識した個々の検索オブジェクトの形態的特徴量を算出する(ステップS232)。個々の検索オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部126は、画像種別情報、及び、個々の検索オブジェクトの形態的特徴量を検索オブジェクト一時記憶部170に記憶する(ステップS234)。また、細胞オブジェクト特徴量算出部126は、形態的特徴量を記憶した旨を細胞分類部160に通知する。形態的特徴量を記憶した旨の通知を取得した細胞分類部160は、特徴的オブジェクト抽出・代表的特徴量計算部152に抽出又は計算を要求する。
細胞分類部160から抽出又は計算を要求された特徴的オブジェクト抽出・代表的特徴量計算部152は、ステップS212において取得した未知属性撮像画像が未知異種属性撮像画像であるか否かを判断する(ステップS280)。
特徴的オブジェクト抽出・代表的特徴量計算部152は、ステップS212において取得した未知属性撮像画像が未知異種属性撮像画像であると判断した場合(ステップS280:Yes)、抽出条件記憶部174に記憶されている抽出条件に従って、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから特徴的検索オブジェクトを抽出する(ステップ282)。特徴的検索オブジェクトを抽出した特徴的オブジェクト抽出・代表的特徴量計算部152は、分類を要求とともに、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部160に出力する。分類を要求とともに、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を特徴的オブジェクト抽出・代表的特徴量計算部152から取得した細胞分類部160は、夫々の特徴的検索オブジェクトを分類モデルに投入し、未知異種属性撮像画像内の個々の特徴的検索オブジェクトを分類する(ステップS284)。
一方、特徴的オブジェクト抽出・代表的特徴量計算部152は、ステップS212において取得した未知属性撮像画像が未知異種属性撮像画像でないと判断した場合(ステップS280:No)、即ち、ステップS212において取得した未知属性撮像画像が未知同一属性撮像画像であると判断した場合、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから仮想的検索オブジェクトを生成する(ステップ286)。仮想的検索オブジェクトを生成した特徴的オブジェクト抽出・代表的特徴量計算部152は、分類を要求とともに、仮想的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部160に出力する。分類を要求とともに、仮想的検索オブジェクトの属性情報及び形態的特徴量を特徴的オブジェクト抽出・代表的特徴量計算部152から取得した細胞分類部160は、仮想的検索オブジェクトを分類モデルに投入し、未知同一属性撮像画像を分類する(ステップS288)。
ステップS284またはステップS288に続いて、細胞分類部160は、分類結果を入出力部110に出力する(ステップS290)。具体的には、細胞分類部160は、ステップS284において個々の特徴的検索オブジェクトを分類した場合には、例えば、個々の特徴的検索オブジェクトの分類先を示す分類先ID、各分類先IDに対応付けられている属性情報、個々の特徴的検索オブジェクトの形態的特徴量を入出力部110に出力する。また、細胞分類部160は、ステップS288において未知同一属性撮像画像を分類した場合には、例えば、未知同一属性撮像画像の分類先を示す分類先ID、分類先IDに対応付けられている属性情報、仮想的検索オブジェクトの形態的特徴量を入出力部110に出力する。
次いで、細胞分類部160は、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトを消去し(ステップS292)、図17に示すフローチャートは終了する。なお、細胞分類部160は、例えば、細胞オブジェクト特徴量算出部126に、検索オブジェクト一時記憶部に記憶されている検索オブジェクトを消去すべき旨を要求することによって、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトを消去する。
(第4の実施形態)
以下、図面を参照しながら本発明の第4の実施形態について説明する。図18は、本発明の第4の実施形態による細胞分類装置4の機能ブロック図の一例である。図19は、検索オブジェクト一時記憶部270に記憶される情報の一例である。
細胞分類装置4は、図17に示すように、入出力部210、細胞オブジェクト認識部220、特徴的オブジェクト抽出・代表的特徴量計算部252、候補分類モデル形成部254、分類モデル決定・形成部256、細胞分類部260、検索オブジェクト一時記憶部270、細胞オブジェクト記憶部272、抽出条件記憶部274、候補分類モデル記憶部276、分類モデル記憶部280及び細胞カタログ記憶部290を備える。細胞オブジェクト認識部220は、2値化処理部222、ノイズ推定部224(2値化データ取得部)及び細胞オブジェクト特徴量算出部226(ノイズ除去部)を備える。
入出力部210は、撮像画像及び画像種別情報を外部から取得する。具体的には、入出力部210は、上記の第1の実施形態による分類モデル生成装置1、2の入出力部10と同様、属性情報(若しくは属性情報及び撮像条件情報)とともに、既知同一属性撮像画像、及び、既知同一属性撮像画像である旨を示す画像種別情報を外部から取得する。また、入出力部210は、上記の第3の実施形態による細胞分類装置3の入出力部110と同様、未知異種属性撮像画像及び未知異種属性撮像画像である旨を示す画像種別情報、又は、未知同一属性撮像画像及び未知同一属性撮像画像である旨を示す画像種別情報を外部から取得する。入出力部210は、外部から取得した情報を2値化処理部222に出力する。
また、入出力部210は、未知属性撮像画像(未知異種属性撮像画像又は未知同一属性撮像画像)とともに、分類先範囲指定情報を外部から取得し、2値化処理部222に出力してもよい。分類先範囲指定情報とは、未知属性撮像画像の分類先の範囲、または、未知属性撮像画像内の細胞の分類先の範囲を指定した情報である。
細胞オブジェクト認識部220は、上記の第1、2の実施形態による分類モデル生成装置1の細胞オブジェクト認識部20と同様、既知同一属性撮像画像内の個々の細胞の撮像領域を細胞オブジェクトとして認識する。また、細胞オブジェクト認識部220は、上記の第3の実施形態による細胞分類装置3の細胞オブジェクト認識部120と同様、未知属性撮像画像内の個々の細胞オブジェクトを検索オブジェクトとして認識する。
即ち、2値化処理部222は、上記の第1、2の実施形態による分類モデル生成装置1、2の2値化処理部22と同様、既知同一属性撮像画像を所定の閾値によって2値化処理する。また、2値化処理部222は、上記の第3の実施形態による細胞分類装置3の2値化処理部122と同様、未知属性撮像画像を所定の閾値によって2値化処理する。2値化処理部222は、入出力部210から取得した情報とともに、2値化データをノイズ推定部124に出力する。
ノイズ推定部224は、上記の第1、2の実施形態による分類モデル生成装置1、2のノイズ推定部24と同様、既知同一属性撮像画像内の全オブジェクトのなかからノイズオブジェクトを推定する。また、ノイズ推定部224は、上記の第3の実施形態による細胞分類装置3のノイズ推定部124と同様、未知属性撮像画像内の全オブジェクトのなかからノイズオブジェクトを推定する。ノイズ推定部224は、2値化処理部222から取得した情報とともに、推定結果情報をノイズ推定部124に出力する。
細胞オブジェクト特徴量算出部226は、上記の第1、2の実施形態による分類モデル生成装置1、2の細胞オブジェクト特徴量算出部26と同様、既知同一属性撮像画像内の個々の細胞オブジェクトの形態的特徴量を算出する。個々の細胞オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部226は、属性情報(若しくは属性情報及び撮像条件情報)に対応付けて、個々の細胞オブジェクトの形態的特徴量を細胞オブジェクト記憶部272に記憶する。
また、細胞オブジェクト特徴量算出部226は、上記の第3の実施形態による細胞分類装置3の細胞オブジェクト特徴量算出部126と同様、未知属性撮像画像内の個々の細胞オブジェクト(即ち、検索オブジェクト)の形態的特徴量を算出する。個々の検索オブジェクトの形態的特徴量の算出した細胞オブジェクト特徴量算出部226は、画像種別情報に対応付けて、個々の検索オブジェクトの形態的特徴量を検索オブジェクト一時記憶部270に記憶する。また、細胞オブジェクト特徴量算出部226は、ノイズ推定部224から分類先範囲指定情報を取得している場合には、分類先範囲指定情報を検索オブジェクト一時記憶部270に記憶する。
検索オブジェクト一時記憶部270は、検索オブジェクトに関する情報を記憶する。具体的には、検索オブジェクト一時記憶部270は、図18(a)(b)に示すように、画像種別情報及び分類先範囲指定情報に対応付けて、個々の検索オブジェクトの形態的特徴量を記憶する。なお、検索オブジェクト一時記憶部270の項目「画像種別情報」の初期値は、上記の第3の実施形態による細胞分類装置3の検索オブジェクト一時記憶部170と同様である。また、検索オブジェクト一時記憶部270の項目「分類先範囲指定情報」の初期値は、分類範囲を何も指定しない旨を示す分類先範囲指定情報である。従って、細胞オブジェクト特徴量算出部226がノイズ推定部224から分類先範囲指定情報を取得しなかった場合、項目「分類先範囲指定情報」には、分類範囲を何も指定しない旨を示す分類先範囲指定情報が記憶される。
細胞オブジェクト記憶部272は、上記の第1、2の実施形態による分類モデル生成装置1、2の細胞オブジェクト記憶部72と同様である。また、抽出条件記憶部274は、上記の第1の実施形態による分類モデル生成装置1の抽出条件記憶部74と同様である。
なお、抽出条件記憶部274は、細胞オブジェクト記憶部272から特徴的オブジェクトを抽出するための抽出条件(即ち、分類モデル生成時に用いる特徴的オブジェクトを抽出するための抽出条件)と、検索オブジェクト一時記憶部270にから特徴的検索オブジェクトを抽出するための抽出条件(即ち、分類対象である特徴的検索オブジェクトを抽出するための抽出条件)とを別々に記憶してもよい。
候補分類モデル記憶部276は、上記の第1の実施形態による分類モデル生成装置1の候補分類モデル記憶部76と同様である。また、分類モデル記憶部280は、上記の第1、2の実施形態による分類モデル生成装置1、2の分類モデル記憶部80と同様である。
また、細胞カタログ記憶部290は、上記の第3の実施形態による細胞分類装置3の細胞カタログ記憶部190と同様である。
特徴的オブジェクト抽出・代表的特徴量計算部252は、上記の第1の実施形態による分類モデル生成装置1の特徴的オブジェクト抽出部32、及び、上記の第2の実施形態による分類モデル生成装置2の代表的特徴量計算部42の機能を備える。
具体的には、特徴的オブジェクト抽出・代表的特徴量計算部252は、特徴的オブジェクトを抽出すべき場合には、抽出条件記憶部274に記憶されている抽出条件に従って、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのなかから特徴的オブジェクトを抽出する。但し、検索オブジェクト一時記憶部270に分類範囲を指定する旨を示す分類先範囲指定情報が記憶されている場合には、特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのうち指定された分類範囲の細胞オブジェクトのなかから特徴的オブジェクトを抽出する。特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのなかから特徴的オブジェクトを抽出した場合、夫々の特徴的オブジェクトの属性情報及び形態的特徴量を候補分類モデル形成部254に出力する。
また、特徴的オブジェクト抽出・代表的特徴量計算部252は、代表的特徴量を計算すべき場合には、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトから代表的特徴量を計算する。換言すれば、特徴的オブジェクト抽出・代表的特徴量計算部252は、各既知同一属性撮像画像の仮想的オブジェクトを生成する。但し、検索オブジェクト一時記憶部270に分類範囲を指定する旨を示す分類先範囲指定情報が記憶されている場合には、特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのうち指定された分類範囲の細胞オブジェクトを用いて代表的特徴量を計算する。特徴的オブジェクト抽出・代表的特徴量計算部252は、各既知同一属性撮像画像の仮想的オブジェクトを生成した場合、夫々の仮想的オブジェクトの属性情報及び形態的特徴量を分類モデル決定・形成部256に出力する。
更に、特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に、検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報が記憶されている場合には、抽出条件記憶部274に記憶されている抽出条件に従って、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトのなかから特徴的検索オブジェクトを抽出する。特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから特徴的検索オブジェクトを抽出した場合、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部260に出力する。
また、特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に、検索オブジェクトの抽出元が未知同一属性撮像画像である旨を示す画像種別情報が記憶されている場合には、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトから代表的特徴量を計算する。換言すれば、特徴的オブジェクト抽出・代表的特徴量計算部252は、未知同一属性撮像画像の仮想的検索オブジェクトを生成する。特徴的オブジェクト抽出・代表的特徴量計算部252は、未知同一属性撮像画像の仮想的検索オブジェクトを生成した場合、仮想的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部260に出力する。
候補分類モデル形成部254は、上記の第1の実施形態による分類モデル生成装置1の候補分類モデル形成部34と同様、特徴的オブジェクト抽出・代表的特徴量計算部252から取得した特徴的オブジェクトの属性情報及び形態的特徴量を用いて候補分類モデルを形成(生成)する。
分類モデル決定・形成部256は、上記の第1の実施形態による分類モデル生成装置1の分類モデル決定部36、及び、上記の第2の実施形態による分類モデル生成装置2の分類モデル形成部46の機能を備える。
具体的には、分類モデル決定・形成部256は、候補分類モデル形成部254によって複数の候補分類モデルが形成された場合には、候補分類モデル記憶部276に記憶されている複数の候補分類モデルのなかから分類モデルを決定し、分類モデル記憶部280に記憶する。
また、分類モデル決定・形成部256は、特徴的オブジェクト抽出・代表的特徴量計算部252から既知同一属性撮像画像毎の複数の仮想的オブジェクトの属性情報及び形態的特徴量を取得した場合には、当該複数の仮想的オブジェクトの属性情報及び形態的特徴量を用いて分類モデルを生成(形成)する。
細胞分類部260は、上記の第3の実施形態による細胞分類装置3の細胞分類部160と同様、未知属性撮像画像、または、未知属性撮像画像内の細胞(具体的には、個々の特徴的検索オブジェクト)を分類し、分類結果を入出力部210に出力する。
具体的には、細胞分類部260は、特徴的オブジェクト抽出・代表的特徴量計算部252から複数の特徴的検索オブジェクトの属性情報及び形態的特徴量を取得した場合には、当該複数の特徴的検索オブジェクトの属性情報及び形態的特徴量を分類モデルに投入し、個々の特徴的検索オブジェクトを分類する。
また、細胞分類部260は、特徴的オブジェクト抽出・代表的特徴量計算部252から仮想的検索オブジェクトの属性情報及び形態的特徴量を取得した場合には、当該仮想的検索オブジェクトの属性情報及び形態的特徴量を分類モデルに投入し、未知同一属性撮像画像を分類する。
以下、フローチャートを用いて、細胞分類装置4の動作を説明する。図20は、細胞分類装置4の動作の一例を示すフローチャートである。なお、図20に示すフローチャートの開始時において、細胞オブジェクト記憶部272内には、複数の既知同一属性撮像画像からそれぞれ認識された複数の細胞オブジェクトが記憶されているものとする。また、図20に示すフローチャートの開始時において、検索オブジェクト一時記憶部270内には何も記憶されていないものとする。
図20において、入出力部210は、外部から画像種別情報及び分類先範囲指定情報とともに、未知属性撮像画像を取得し(ステップS312)、2値化処理部222に出力する。2値化処理部222は、未知属性撮像画像を所定の閾値によって2値化処理する(ステップS314)。2値化処理部222は、2値化データ、画像種別情報及び分類先範囲指定情報をノイズ推定部224に出力する。
ノイズ推定部224は、2値化処理部222から取得した2値化データから得られる全オブジェクトのなかからノイズオブジェクトを推定する(ステップS320)。ノイズオブジェクトを推定したノイズ推定部224は、2値化データ、画像種別情報及び分類先範囲指定情報とともに、推定結果情報を細胞オブジェクト特徴量算出部226に出力する。
なお、ノイズ推定部224によるステップS320の処理の詳細は、上記の第1の実施形態による分類モデル生成装置1のノイズ推定部24によるステップS120の処理の詳細(図12)と同様である。
ノイズ推定部224から、2値化データ、画像種別情報及び分類先範囲指定情報とともに、推定結果情報を取得した細胞オブジェクト特徴量算出部226は、ノイズ推定部224から取得した2値化データ及び推定結果情報に基づいて、当該2値化データから得られる全オブジェクトのなかからノイズオブジェクトを除去する(ステップS330)。換言すれば、細胞オブジェクト特徴量算出部226は、ノイズ推定部224から取得した2値化データから、ノイズオブジェクト以外の個々の細胞オブジェクトを認識する(ステップS330)。
次いで、細胞オブジェクト特徴量算出部226は、認識した個々の検索オブジェクトの形態的特徴量を算出する(ステップS332)。個々の検索オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部226は、画像種別情報、分類先範囲指定情報、及び、個々の検索オブジェクトの形態的特徴量を検索オブジェクト一時記憶部270に記憶する(ステップS334)。また、細胞オブジェクト特徴量算出部226は、検索オブジェクトの形態的特徴量を記憶した旨を細胞分類部260に通知する。検索オブジェクトの形態的特徴量を記憶した旨の通知を取得した細胞分類部260は、特徴的オブジェクト抽出・代表的特徴量計算部252に抽出又は計算を要求する。
細胞分類部260から抽出又は計算を要求された特徴的オブジェクト抽出・代表的特徴量計算部252は、ステップS312において取得した未知属性撮像画像が未知異種属性撮像画像であるか否かを判断する(ステップS340)。特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に検索オブジェクトの抽出元が未知異種属性撮像画像である旨を示す画像種別情報が記憶されている場合には、未知異種属性撮像画像であると判断する。
特徴的オブジェクト抽出・代表的特徴量計算部252は、ステップS312において取得した未知属性撮像画像が未知異種属性撮像画像であると判断した場合(ステップS340:Yes)、抽出条件記憶部274に記憶されている抽出条件に従って、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのなかから特徴的オブジェクトを抽出する(ステップS342)。特徴的オブジェクトを抽出した特徴的オブジェクト抽出・代表的特徴量計算部252は、夫々の特徴的オブジェクトの属性情報及び形態的特徴量を候補分類モデル形成部254に出力する。
夫々の特徴的オブジェクトの属性情報及び形態的特徴量を取得した候補分類モデル形成部254は、夫々の特徴的オブジェクトの属性情報及び形態的特徴量に基づいて、候補分類モデルを形成し、候補分類モデルを候補分類モデル記憶部276に記憶する(ステップS344)。次いで、候補分類モデル形成部254は、全ての候補分類モデルを形成したか否かを判断する(ステップS346)。候補分類モデル形成部254は、例えば、特徴的オブジェクト抽出・代表的特徴量計算部252に抽出を要求し、特徴的オブジェクト抽出・代表的特徴量計算部252から抽出が完了した旨の通知を取得した場合に、全ての候補分類モデルを形成したと判断する。候補分類モデル形成部254は、全ての候補分類モデルを形成していないと判断した場合(ステップS346:No)、ステップS342に戻る。候補分類モデル形成部254は、全ての候補分類モデルを形成したと判断した場合(ステップS346:Yes)、分類モデル決定・形成部256に分類モデルの決定を要求する。
分類モデルの決定を要求された分類モデル決定・形成部256は、複数の候補分類モデルのなかから分類モデルを決定し、分類モデル記憶部280に記憶する(ステップS350)。なお、分類モデル決定・形成部256は、分類モデル記憶部280に前回の分類モデルが記憶されていた場合には、今回決定した分類モデルによって上書きする。分類モデル記憶部280に分類モデルを記憶した分類モデル決定・形成部256は、特徴的オブジェクト抽出・代表的特徴量計算部252に抽出を要求する。
分類モデル決定・形成部256から抽出を要求された特徴的オブジェクト抽出・代表的特徴量計算部252は、抽出条件記憶部274に記憶されている抽出条件に従って、検索オブジェクト一時記憶部270から特徴的検索オブジェクトを抽出する(ステップ382)。特徴的検索オブジェクトを抽出した特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞分類部260に、分類を要求するとともに、特徴的検索オブジェクトの属性情報及び形態的特徴量を出力する。特徴的オブジェクト抽出・代表的特徴量計算部252から、分類の要求とともに、特徴的検索オブジェクトの属性情報及び形態的特徴量を取得した細胞分類部260は、夫々の特徴的検索オブジェクトを分類モデルに投入し、未知異種属性撮像画像内の個々の特徴的検索オブジェクトを分類する(ステップS384)。
一方、特徴的オブジェクト抽出・代表的特徴量計算部252は、ステップS312において取得した未知属性撮像画像が未知異種属性撮像画像でないと判断した場合(ステップS340:NO)、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトから代表的特徴量を計算する(ステップS352)。即ち、特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトから仮想的オブジェクトを生成する(ステップS352)。各既知同一属性撮像画像から代表的特徴量を計算した特徴的オブジェクト抽出・代表的特徴量計算部252は、夫々の仮想的オブジェクトの属性情報及び形態的特徴量を分類モデル決定・形成部256に出力する。
夫々の仮想的オブジェクトの属性情報及び形態的特徴量を取得した分類モデル決定・形成部256は、夫々の仮想的オブジェクトの属性情報及び形態的特徴量に基づいて、分類モデルを形成し、分類モデルを分類モデル記憶部280に記憶する(ステップS360)。なお、分類モデル決定・形成部256は、分類モデル記憶部280に前回の分類モデルが記憶されていた場合には、今回決定した分類モデルによって上書きする。分類モデル記憶部280に分類モデルを記憶した分類モデル決定・形成部256は、特徴的オブジェクト抽出・代表的特徴量計算部252に計算を要求する。
分類モデル決定・形成部256から計算を要求された特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトから代表的特徴量を計算する(ステップS386)。即ち、特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトから仮想的検索オブジェクトを生成する(ステップS386)。代表的特徴量を計算した特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞分類部260に、分類を要求するとともに、仮想的検索オブジェクトの属性情報及び形態的特徴量を出力する。特徴的オブジェクト抽出・代表的特徴量計算部252から、分類の要求とともに、仮想的検索オブジェクトの属性情報及び形態的特徴量を取得した細胞分類部260は、仮想的検索オブジェクトを分類モデルに投入し、未知同一属性撮像画像を分類する(ステップS388)。
ステップS384またはステップS388に続いて、細胞分類部260は、分類結果を入出力部210に出力する(ステップS390)。次いで、細胞分類部260は、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトを消去し(ステップS392)、図20に示すフローチャートは終了する。
なお、ステップS342において、特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に分類範囲を指定する旨を示す分類先範囲指定情報が記憶されている場合には、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのうち指定された分類範囲の細胞オブジェクトのなかから特徴的オブジェクトを抽出する。同様に、ステップS352において、特徴的オブジェクト抽出・代表的特徴量計算部252は、検索オブジェクト一時記憶部270に分類範囲を指定する旨を示す分類先範囲指定情報が記憶されている場合には、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのうち指定された分類範囲の細胞オブジェクトを用いて代表的特徴量を計算する。
なお、ステップS382において、特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトのなかから特徴的オブジェクトを抽出したときの抽出パターンのうち分類モデルとして決定された候補分類モデルを抽出したときの抽出パターンに従って、検索オブジェクト一時記憶部270から特徴的検索オブジェクトを抽出することが好ましい。例えば、図4、図5に示す例において、特徴的オブジェクト抽出・代表的特徴量計算部252は、(N+N+N)個の細胞オブジェクトのなかから、面積が平均値〜平均値より25%大きい値の範囲内(抽出条件1)であって、かつ、長さが平均値〜平均値より25%大きい値の範囲内(抽出条件3)であって、かつ、幅が平均値〜平均値より25%大きい値の範囲内(抽出条件5)である細胞オブジェクトを特徴的オブジェクトとして抽出し、最終的に、当該特徴的オブジェクトから形成された候補分類モデルが分類モデルとして決定された場合には、検索オブジェクト一時記憶部270から、抽出条件1であって、かつ、抽出条件3であって、かつ、抽出条件5である検索オブジェクトを特徴的検索オブジェクトとして抽出する。即ち、端的に言えば、特徴的オブジェクト抽出・代表的特徴量計算部252は、分類モデルに反映された抽出パターンと同一の抽出パターンにより、特徴的検索オブジェクトを抽出する。
分類モデルに反映された抽出パターンと同一の抽出パターンにより、特徴的検索オブジェクトを抽出する手法には種々の手法があるが、例えば、特徴的オブジェクト抽出・代表的特徴量計算部252が、抽出パターンを示す情報を候補分類モデル形成部254に出力し、候補分類モデル形成部254が、抽出パターンを示す情報を候補分類モデル記憶部276に記憶し、分類モデル決定・形成部256が、抽出パターンを示す情報を分類モデル記憶部280に記憶する。その後、特徴的オブジェクト抽出・代表的特徴量計算部252は、特徴的検索オブジェクトを抽出する際に、分類モデル記憶部280を参照し、分類モデルとして決定された候補分類モデルを抽出したときの抽出パターンを特定する。
同様に、ステップS386において、特徴的オブジェクト抽出・代表的特徴量計算部252は、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトから仮想的オブジェクトを生成したときの計算方法に従って、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトから仮想的検索オブジェクトを生成することが好ましい。
例えば、特徴的オブジェクト抽出・代表的特徴量計算部252は、既知同一属性撮像画像から抽出された複数の細胞オブジェクトの各形態的特徴量の中央値を代表的特徴量として計算し、各形態的特徴量の中央値を自身の形態的特徴量とする仮想的オブジェクトを生成した場合には、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトの各形態的特徴量の中央値を代表的特徴量として計算し、各形態的特徴量の中央値を自身の形態的特徴量とする仮想的検索オブジェクトを生成する。即ち、端的に言えば、特徴的オブジェクト抽出・代表的特徴量計算部252は、分類モデルに反映された代表的特徴量の計算方法と同一の計算方法により、仮想的検索オブジェクトを生成する。
分類モデルに反映された代表的特徴量の計算方法と同一の計算方法により、仮想的検索オブジェクトを生成する手法には種々の手法があるが、例えば、特徴的オブジェクト抽出・代表的特徴量計算部252が、仮想的オブジェクトを生成したときの計算方法を示す情報を分類モデル決定・形成部256に出力し、分類モデル決定・形成部256が、上記計算方法を示す情報を分類モデル記憶部280に記憶する。その後、特徴的オブジェクト抽出・代表的特徴量計算部252は、仮想的検索オブジェクトを生成する際に、分類モデル記憶部280を参照し、仮想的オブジェクトを生成したときの計算方法を特定する。
以上、第1の実施形態による分類モデル生成装置1、第2の実施形態による分類モデル生成装置2、第3の実施形態による細胞分類装置3、及び、第4の実施形態による細胞分類装置4について説明したが、細胞分類装置3によれば、所定の分類基準に従って、細胞オブジェクトの属性を分類する分類モデルを用いることによって、細胞を破壊することなく、また、安価かつ簡便に、細胞の種類、状態等を確認することができる。また、分類モデル生成装置1、2によれば、細胞分類装置3にて用いる分類モデルを簡便に生成することができる。更に、細胞分類装置4によれば、細胞の確認する都度、最新の分類モデルが生成されるため、より高精度に、細胞の種類、状態等を確認することができる。
また、分類モデル生成装置1、2、細胞分類装置3、4がそれぞれに備えるノイズ推定部によって、ノイズオブジェクトが精度よく除去されるため、細胞オブジェクトを精度よく抽出することができる。
なお、分類モデル生成装置1が生成する分類モデルとして、段階的に分類する分類モデルの例を説明したが、1段階で一気に分類する分類モデルを生成してもよい。分類モデル生成装置2が生成する分類モデル、細胞分類装置3が利用する分類モデル、細胞分類装置4が生成及び利用する分類モデルも同様である。また、各実施形態に係る分類モデルには、高々、ある属性であるか否かを判別するものも含まれる。
また、第3の実施形態の細胞分類装置3において、特徴的オブジェクト抽出・代表的特徴量計算部152は、検索オブジェクト一時記憶部170に記憶されている検索オブジェクトから特徴的検索オブジェクトを抽出し、夫々の特徴的検索オブジェクトの属性情報及び形態的特徴量を細胞分類部160に出力するが、特徴的オブジェクト抽出・代表的特徴量計算部152は、特徴的検索オブジェクトと特徴的検索オブジェクトではない検索オブジェクト(非特徴的検索オブジェクトという)とを区別できる態様で(例えばラベルを付し)、特徴的検索オブジェクトに加え非特徴的検索オブジェクトも細胞分類部160に出力してもよい。
特徴的検索オブジェクトに加え非特徴的検索オブジェクトを取得した細胞分類部160は、特徴的検索オブジェクトと同様、非特徴的検索オブジェクトも分類モデルに投入し、分類の確度が高い旨の情報とともに個々の特徴的検索オブジェクトの分類結果を出力し、分類の確度が高くない旨の情報とともに個々の非特徴的検索オブジェクトの分類結果を出力してもよい。また、特徴的検索オブジェクトに加え非特徴的検索オブジェクトを取得した細胞分類部160は、個々の非特徴的検索オブジェクトについて、“分類不能”と出力してもよい。第4の実施形態の細胞分類装置4の特徴的オブジェクト抽出・代表的特徴量計算部252及び細胞分類部260についても同様である。
また、第4の実施形態において、細胞分類装置4の特徴的オブジェクト抽出・代表的特徴量計算部252は、分類モデルの生成時において、細胞オブジェクト記憶部272に記憶されている細胞オブジェクトから分類モデルの基礎となるオブジェクトとして仮想的オブジェクトを生成し、また、分類時において、検索オブジェクト一時記憶部270に記憶されている検索オブジェクトから分類対象となる仮想的検索オブジェクトを生成するが、これに代えて、特徴的オブジェクト抽出・代表的特徴量計算部252は、分類モデルの生成時において、仮想的オブジェクトを生成することなく、細胞オブジェクト記憶部272に記憶されている全ての細胞オブジェクトを分類モデルの基礎とし、また、分類時において、仮想的検索オブジェクトを生成することなく、検索オブジェクト一時記憶部270に記憶されている全ての検索オブジェクト(即ち、未知同一属性画像から得られる全ての検索オブジェクト)を分類対象としてもよい。上記場合、細胞分類部260は、例えば、検索オブジェクト一時記憶部270に記憶されている全ての検索オブジェクトを分類モデルに投入し、検索オブジェクトが最も多く分類された枝を当該未知同一属性画像の分類先としてもよい。
また、第1の実施形態において、分類モデル生成装置1の細胞オブジェクト記憶部72は、経時的要素を有しない形態的特徴量を記憶する例を説明したが、入出力部10が異なる時間に撮像した複数の既知同一属性撮像画像を入力することによって、細胞オブジェクト記憶部72に経時的要素を有する形態的特徴量を記憶してもよい。例えば、入出力部10は、ある属性を有する細胞について第1の時刻(例えば、培養8時間目)に撮像した既知同一属性撮像画像a、及び、当該細胞について第2の時刻(例えば、培養16時間目)に撮像した既知同一属性撮像画像bを入力する。細胞オブジェクト特徴量算出部26は、既知同一属性撮像画像aの細胞オブジェクトの形態的特徴量を算出し、細胞オブジェクト記憶部72に、当該属性を有する細胞の第1の時刻から第2の時刻迄の形態的特徴量の時間変化量を記憶する。形態的特徴量の時間変化量の一例は、例えば、面積の時間変化量、長さの時間変化量、幅の変化量などの形態的特徴量毎の差分情報である。
なお、当然ではあるが、細胞オブジェクト記憶部72に経時的要素を有する形態的特徴量を記憶する場合には、候補分類モデル形成部34が生成する候補分類モデル、及び、分類モデル決定部36が決定し分類モデル記憶部80に記憶する分類モデルは、経時的要素を有するものとなる。例えば、分類モデルにおける各段階のルールは、“第1の時刻から第2の時刻迄における細胞の長さの変化量が値「1」以下である”というように、経時的要素を有する形態的特徴量で表されるものとなる。また、抽出条件記憶部74に記憶する抽出条件、分類モデル決定部36による評価なども経時的要素を有する形態的特徴量に応じたものとなる。
同様に、第2の実施形態の分類モデル生成装置2、第3の実施形態の細胞分類装置3、第4の実施形態の細胞分類装置4においても、経時的要素を有する分類モデルを用いるようにしてもよい。なお、当然ではあるが、経時的要素を有する分類モデルを用いる場合には、分類(検索)も経時的要素に基づいて行われる。従って、例えば、細胞分類装置3の入出力部110は、第1の時刻に撮像した未知属性撮像画像と、当該撮像画像と被写体が同一の第2の時刻に撮像した未知属性撮像画像とを外部から取得する。
なお、第1の実施形態において、分類モデル生成装置1は、インキュベータ311と別体である旨の説明をしたが、インキュベータ311に分類モデル生成装置1の機能を実装させてもよい。例えば、図8に示す記憶部343に、分類モデル生成装置1の各処理を実行するためのプログラムを記憶し、CPU342によって実行するようにしてもよい。分類モデル生成装置2、細胞分類装置3、4についても同様である。
なお、第3の実施形態において、インキュベータ311に細胞分類装置3の機能を実装させた場合に、細胞分類装置3の分類結果に基づいて、培養容器319内の細胞又は細胞群の培養条件等を動的に変更するようにしてもよい。これにより、所望の細胞を容易に増殖させることができるようになる。なお、第4の実施形態において、インキュベータ311に細胞分類装置4の機能を実装させる場合についても同様である。
以下、フローチャートを用いて、細胞分類装置4の機能を兼ね備えるインキュベータ311の動作を説明する。図21は、細胞分類装置4の機能を兼ね備えるインキュベータ311の動作の一例を示すフローチャートである。図21に示すフローチャートの開始時において、インキュベータ311には所望の増殖すべき細胞を培養する培養容器319が置かれているものとする。また、上述の如く、インキュベータ311が備える細胞分類装置3は、分類先IDとともに培養条件を含む属性情報を分類結果として出力するものとする。
図21において、インキュベータ311は、細胞の培養を開始する(ステップS500)。即ち、CPU342は、設定された培養条件(例えば所定の温度、湿度等)で細胞を培養するよう温度調整装置315aと湿度調整装置315bとを制御する。所定期間経過後に、インキュベータ311は、培養中の細胞を分類する(ステップS510)。即ち、CPU342は、撮像装置334を制御して、培養中の細胞を撮像し、次いで、記憶部343から細胞分類装置3の各処理を実行するためのプログラムを読み出し、読み出したプログラムを実行することによって、上記の図17に示すように、培養中の細胞を分類する。
次いで、インキュベータ311は、分類結果に基づいて、細胞の培養を中止するか否か、または、細胞の培養条件を変更するか否かを制御する。具体的には、まず、CPU342は、分類結果によって示される細胞品質が、ステップS500において設定された目的品質と一致するか否かを判断する(ステップS520)。CPU342は、分類結果によって示される細胞品質が設定された目的品質と一致すると判断した場合(ステップS520:Yes)、分類結果によって示される細胞品質と設定された目的品質とが一致した旨をモニタ等(非図示)に表示させる(ステップS522)。そして後述するステップS560に進む。
一方、CPU342は、分類結果に含まれる細胞品質が所定の目的品質と一致しないと判断した場合(ステップS520:No)、分類結果によって示される細胞品質と設定された目的品質とが一致しない旨をモニタ等(非図示)に表示させるとともに(ステップS524)、培養を中止するか否かを判断する(ステップS530)。具体的には、例えば、CPU342は、分類結果によって示される細胞品質と設定された目的品質の一致しない程度が非常に大きい場合に、培養を中止すると判断する。例えば、分類結果によって示される細胞の品質を示す値と設定された目的とする品質を示す値との差が所定の第1の閾値以上である場合に、培養を中止すると判断する。なお、CPU342は、培養を中止する旨の操作者の入力があった場合にも、培養を中止すると判断する。
CPU342は、培養を中止すると判断した場合(ステップS530:Yes)、培養を中止する旨をモニタ等(非図示)に表示させ(ステップS532)、培養の処理を終了する。そして、図20に示すフローチャートは終了する。一方、CPU342は、培養を中止しないと判断した場合(ステップS530:No)、培養条件を変更するか否かを判断する(ステップS540)。具体的には、例えば、CPU342は、分類結果によって示される細胞品質と設定された目的品質の一致しない程度が大きい場合に、培養条件を変更すると判断する。例えば、分類結果によって示される細胞の品質を示す値と設定された目的とする品質を示す値との差が所定の第2の閾値(但し、第1の閾値>第2の閾値)以上である場合に、培養条件を変更すると判断する。
CPU342は、培養条件を変更すると判断した場合(ステップS540:Yes)、培養条件を変更する旨をモニタ等(非図示)に表示させ(ステップS542)、培養条件を変更する(ステップS550)。即ち、CPU342は、新たな培養条件で細胞を培養するよう温度調整装置315aと湿度調整装置315bとを制御する。そしてステップS510に戻る。なお、予め、両品質(分類結果によって示される細胞品質、及び、設定された目的品質)と、新たな培養条件(修正後の培養条件)とを対応付けて記憶部343に記憶し、CPU342は、両細胞品質から新たな培養条件を取得するようにしてもよい。なお、CPU342は、操作者による新たな培養条件の設定値の入力があった場合に、当該設定値に培養条件を変更してもよい。
CPU342は、ステップS522に続いて、または、培養条件を変更しないと判断した場合(ステップS540:No)、所定期間経過後に、撮像装置334を制御して、培養中の細胞を撮像し、培養中の細胞数(即ち、細胞オブジェクト数)を計数する(ステップS560)。なお、CPU342は、個々の細胞オブジェクトを認識可能な細胞分類装置3の細胞オブジェクト特徴量算出部126の処理を実行するためのプログラムを憶部343から読み出し、読み出したプログラムを実行することによって細胞数を計数する。
次いで、CPU342は、ステップS560において計数した細胞数が所定の細胞数に到達したか否かを判断する(ステップS570)。CPU342は、計数した細胞数が所定の細胞数に到達していないと判断した場合(ステップS570:No)、所定の時間経過後に、ステップS510に戻る。一方、CPU342は、計数した細胞数が所定の細胞数に到達したと判断した場合(ステップS570:Yes)、当該細胞の培養が完了した旨をモニタ等(非図示)に表示させる(ステップS572)。そして、図21に示すフローチャートは終了する。
以上、図21に示すフローチャートに示すように、細胞分類装置4の分類結果に基づいて、培養容器319内の細胞の培養条件等を動的に変更できるため、所望の細胞を容易に増殖させることができるようになる。
なお、本発明の第1の実施形態による分類モデル生成装置1、本発明の第2の実施形態による分類モデル生成装置2、本発明の第3の実施形態による細胞分類装置3、本発明の第3の実施形態による細胞分類装置4の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、分類モデル生成装置1、2、細胞分類装置3、4に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
本発明の第5の実施形態以降の各実施形態における画像処理装置は、上記第1の実施形態から第4の実施形態までと同様に、外部から入力された細胞が撮像された画像データから細胞の画像領域である細胞オブジェクトを抽出する。その抽出の際に、画像処理装置(401、401b)は、所定の閾値以上の面積を有する画像領域を細胞オブジェクトと判定し、当該細胞オブジェクトを抽出する。本発明の第5の実施形態以降の各実施形態では、その閾値の決め方に技術的な特徴があり、その閾値として、細胞種に共通の共通閾値(仮閾値)と細胞種に固有の固有閾値とを用いる。
図22は、本発明における各実施形態の処理の概要を説明するための図である。図22の処理1に示すように、本発明の第5の実施形態では、細胞種が既知の場合において、画像処理装置401が入力された画像データを図22の処理1で示した細胞種に固有の閾値である固有閾値を用いて、細胞の画像領域である細胞オブジェクトを抽出する。
本発明の第6の実施形態では、細胞種が未知でも既知でも、画像処理装置401bは画像データから細胞オブジェクトを抽出する。具体的には、画像処理装置401bは、細胞種が未知であるか既知であるかを判定する。細胞種が既知の場合には、画像処理装置401bは、処理1により固有閾値を用いて、細胞オブジェクトを抽出する。
一方、細胞種が未知の場合には、画像処理装置401bは、図22の処理2により全ての細胞種に共通な共通閾値(仮閾値)を用いて、細胞オブジェクトを抽出する。次に、画像処理装置401bは、図22の処理3により抽出した細胞オブジェクトに基づき、細胞種を推定する。次に、画像処理装置401bは、図22の処理1により、推定した細胞種に固有の閾値である固有閾値を用いて細胞オブジェクトを抽出する。
本発明の第7の実施形態では、細胞種が未知であっても既知であっても、細胞分類装置404は、細胞分類装置404内の画像処理装置401bにより抽出された細胞オブジェクトに基づき、画像に撮像された細胞を分類し、画像に撮像された細胞の活性または品質を推定する。
本発明の第8の実施形態では、細胞種が未知でも既知でも、インキュベータ511内の細胞分類装置404により出力された培養条件に基づいて、その培養条件に合致するように培養条件を変更する。
以下、上述した固有閾値および共通閾値(仮閾値)について説明する。まず、固有閾値について説明する。ここでは、画像データから、所定の閾値に基づき2値化処理することにより、細胞候補オブジェクトが抽出されていることを前提として、以下の説明をする。
図23(a)は、細胞候補オブジェクトの面積に対する累積度数分布の1例を示した図である。同図において、縦軸は累積度数であり、横軸は細胞候補オブジェクトの面積である。ここで、累積度数について説明する。まず、累積度数分布は、面積の大きさの順に各面積を有する細胞候補オブジェクトの数を順次加え合わせることで得られるものである。
例えば、1pixelの面積を持つ細胞候補オブジェクトがa個存在する場合、横軸の面積が1pixelのところで、縦軸の累積度数がaとなる。更に、面積が2pixelの細胞候補オブジェクトがb個存在する場合、横軸の面積が2pixelのところでは、縦軸の累積度数は、a+bとなる。
細胞候補オブジェクトの面積が所定の閾値より小さい場合には、その細胞候補オブジェクトは、細胞ではないノイズのオブジェクトであると考えられる。一方、細胞候補オブジェクトの面積が所定の閾値以上の場合には、その細胞候補オブジェクトは細胞オブジェクトであると考えられる。
図23(b)は、細胞候補オブジェクトの累積度数分布を面積で微分した微分値の分布の1例を示した図である。同図において、縦軸は累積度数を面積で微分した微分値(累積度数の傾き)であり、横軸は細胞候補オブジェクトの面積である。同図に示された累積度数の面積に対する微分値は、図23(a)の累積度数分布を面積で微分した微分値である。ここで、累積度数を面積に対して微分することで得られる関数(以下、累積度数微分関数と称する)において極小値をとる面積をeとする。
ここで、画像処理装置(401、401b)が認識する細胞オブジェクトの数である認識数nと、画像データから実測された細胞オブジェクトの数である視認数nの差の割合を表す誤差の割合ER[%]を、以下の式(4)で表すこととする。
ER=(n−n)/n×100 …(4)
なお、細胞の視認数nは、撮像対象である細胞を染色し、その染色画像から人もしくは別の装置が細胞の数を計数した数でもよい。
式(4)は、誤差の割合ERが正の値から0[%]に近づくほど、画像処理装置(401、401b)による細胞オブジェクトの認識精度が向上することを示している。一方、誤差の割合ER0[%]から負の方向に小さくなるほど、画像処理装置(401、401b)は、本来細胞ではないオブジェクトを細胞オブジェクトであると誤認識していることを意味する。
図24は、累積度数微分関数を用いて固有閾値(カスタムe値)の算出方法を説明するための図である。同図において、縦軸は累積度数の面積に対する微分値(累積度数の傾き)であり、横軸は細胞候補オブジェクトの面積である。累積度数微分関数の極小値をとる面積eに対して、固有補正情報βを加算した値e+βが固有閾値(カスタムe値)である。
図25は、ある3つの細胞において8時間培養したときに得られる固有閾値(e+β)に対する誤差の割合ERの関係を示した概念図である。同図において、縦軸は誤差の割合ER[%]であり、横軸は固有閾値(e+β)である。A細胞では、固有閾値(e+β)が累積度数微分関数の極小値をとる面積eの場合、誤差の割合ERが40[%]になっている。また、固有閾値(e+β)が累積度数微分関数の極小値をとる面積eから50[pixel]引いた値のときに、誤差の割合ERが0[%]になることが示されている。
図25に示すように、画像処理装置(401、401b)が2値化画像データから、累積度数微分関数の極小値をとる面積eを閾値とし、その閾値以上の面積を有する細胞候補オブジェクトを細胞オブジェクトして抽出した場合、誤差の割合ERが0[%]から離れた値をとる。すなわち、抽出した細胞オブジェクトの数である認識数nが、画像データから実測された細胞オブジェクトの数である視認数nと大きく異なってしまい、画像処理装置(401、401b)が画像データ中の細胞オブジェクトを精度良く認識できていないという問題がある。
そこで、画像処理装置(401、401b)が画像データから多くかつ正確に細胞オブジェクトを抽出するために、細胞オブジェクトを抽出する際の面積の閾値を累積度数微分関数において極小値をとる面積eからずらす必要がある。
また、図25において、細胞種毎に細胞オブジェクトを抽出する際の面積の閾値に対する誤差の割合ERの関係は異なっていることが示されている。このことから、画像処理装置(401、401b)は、細胞種毎に、累積度数微分関数において極小値をとる面積eからずらす量である固有補正情報βを算出する必要がある。
図26は、A細胞が撮像された画像データにおける誤差の割合ERが、細胞オブジェクトを抽出する際の面積の閾値と培養時間とをパラメータとして表示された図である。同じA細胞であっても、誤差の割合ERは培養時間毎に変化していることが示されている。従って、画像処理装置(401、401b)は、同じ細胞種であっても培養時間毎に、固有補正情報βを算出する必要がある。
図27は、固有閾値を算出する方法を説明するための図である。同図において、A細胞が撮像された画像データにおける誤差の割合ERが、閾値と培養時間とをパラメータとして表示された図において、誤差の割合ERが0〜20[%]の範囲が示されている。画像処理装置(401、401b)は、培養時間毎に、極小値をとる面積eからずらす量である閾値のずらし量であって、誤差の割合ERが0〜20[%]の範囲となる閾値のずらし量を全て抽出し、抽出した閾値のずらし量のうちの中央値を固有補正情報βとする。
続いて、共通閾値(仮閾値)について説明する。図28は、共通閾値(仮閾値)を算出する方法を説明するための図である。図28(a)には、A細胞、B細胞またはC細胞が撮像された画像データにおける誤差の割合ERが、閾値と培養時間とをパラメータとして表示されている。図28(b)には、A細胞における誤差の割合ERが10〜30[%]の範囲、B細胞における誤差の割合ERが10〜30[%]の範囲、C細胞における誤差の割合ERが10〜30[%]の範囲のうち全てに共通の範囲が示されている。
画像処理装置401bは、培養時間毎に、図28(b)に示されるように、全ての細胞で誤差の割合ERが一例として10〜30[%]の範囲にある閾値のずらし量を抽出し、抽出した閾値のずらし量のうちの中央値を共通補正情報γとする。累積度数微分関数の極小値をとる面積eに対して、補正情報γを加算した値e+γが共通閾値(仮閾値)である。
以上で、共通閾値(仮閾値)の説明を終了する。
<第5の実施形態:画像処理装置>
まず、本発明の第5の実施形態における画像処理装置401について説明する。本発明の第5の実施形態の画像処理装置401は、細胞種が既知の場合に、画像データから細胞の画像領域である細胞オブジェクトを抽出する。図29は、本発明の第5の実施形態における画像処理装置401のブロック構成図である。画像処理装置401は、細胞オブジェクト抽出部420と、固有補正情報生成部440と、固有補正情報記憶部450とを備える。
<細胞オブジェクト抽出方法>
まず、画像処理装置401の細胞オブジェクト抽出方法について説明する。はじめに、細胞オブジェクト抽出部420の処理の概要を説明する。細胞オブジェクト抽出部420は、外部から入力された細胞が撮像された画像データと、細胞種を示す情報と、細胞が播種された時からの経過時間である培養時間を示す情報とに応じた固有補正情報β(i,t)を、固有補正情報記憶部450に記憶されているテーブルT1から読み出す。ここで、iは細胞種を示す識別情報であり、tは培養時間である。
固有補正情報記憶部450には、固有補正情報βが培養時間tを示す情報と、細胞種を示す識別情報iとに関連付けられたテーブルT1が記憶されている。図30は、固有補正情報βが細胞種を示す識別情報iと培養時間tとに関連付けられて記憶されているテーブルT1の1例を示した図である。テーブルT1では、固有補正情報βが培養時間tと細胞種を示す識別情報iとに応じて1つに決まることが示されている。培養時間tは、0時間を基準として、8時間後から4時間刻みである。細胞種を示す識別情報iは、正常ヒト線維芽細胞(NHDF)、ヒト子宮頸ガン由来ガン細胞(Hela)、正常ヒト臍帯静脈内皮細胞(HUVEC)、神経前駆細胞(PC12)、または間葉系幹細胞(MSC)等である。
図29に戻って、細胞オブジェクト抽出部420は、読み出した固有補正情報β(i,t)に基づいて、画像データから後述する2値化データを生成し、細胞オブジェクトを選択し、選択した細胞オブジェクトoを示す情報と2値化画像データとを外部へ出力する。
続いて、細胞オブジェクト抽出部420の処理の詳細を説明する。図31は、本発明の第5の実施形態における細胞オブジェクト抽出部420の機能ブロック構成図である。細胞オブジェクト抽出部420は、細胞候補オブジェクト抽出部421と、面積算出部422と、累積度数分布算出部(累積分布算出部)423と、固有閾値算出部425と、細胞オブジェクト選択部426とを備える。
細胞候補オブジェクト抽出部421は、2値化画像取得部410と、抽出部411とを備える。2値化画像取得部410は、細胞の種類が既知である細胞が複数個培養されている状態が撮像された撮像画像のデータである画像データを外部から取得する。2値化画像取得部410は、取得した画像データを所定の閾値によって2値化処理する。上記所定の閾値は、細胞の種類に応じたものであってもよい。
例えば、2値化画像取得部410は、他の領域に比べて細胞の領域が黒めに撮像された画像データにおいて、培養容器に固着する細胞である接着系細胞が撮像された場合、1つの閾値を用いて画像データを2値化し、2値化画像データを生成する。ここで、画像データの各画素は、それぞれ0〜255のいずれかの値の画素値を取るものとする。例えば、画像データにおいて、0が黒を表し、255が白を表す。
例えば、2値化処理部422は、1つの閾値として画素値84を用いて、画素値84未満の領域を細胞候補の領域(例えば2値化画像データで見ると黒とする)、画素値84以上の領域を細胞候補以外の領域(例えば2値化画像データで見ると白とする)とする。
また、例えば、2値化画像取得部410は、他の領域に比べて細胞候補の領域が黒めに撮像される画像データにおいて、培養容器に固着せずに培養液中を浮遊する細胞である浮遊系細胞が撮像された場合、2つの閾値を用いて画像データを2値化し、2値化画像データを生成する。
例えば、2値化画像取得部410は、2つの閾値として画素値80、149を用いて、画素値80以上149未満の領域を細胞候補の領域、画素値80未満又は149以上の領域を細胞候補以外の領域とする。なお、2値化画像取得部410は、画像データ内に撮像されている細胞が、接着系細胞であるか浮遊系細胞であるかを示す情報を、インキュベータ511から取得し、上記閾値を決定してもよい。
画像データを2値化した2値化画像取得部410は、生成した2値化画像データを細胞オブジェクト抽出部420に出力する。
抽出部411は、2値化画像取得部410から入力された2値化画像データから、細胞候補の領域であって1pixel以上の面積を有する領域を、細胞オブジェクトの候補となる細胞候補オブジェクトとして抽出する。抽出部411は、抽出した細胞候補オブジェクトを示す情報を面積算出部422へ出力する。
面積算出部422は、入力された細胞候補オブジェクトを示す情報から、各細胞候補オブジェクトの面積を算出し、算出した面積を示す情報を累積度数分布算出部423へ出力する。
累積度数分布算出部423は、入力された面積を示す情報から、その面積の大きさの順に、各細胞候補オブジェクトの面積を順次積算することで得られる累積度数分布を算出し、算出した累積度数分布の情報を微分関数算出部424に出力する。
なお、累積度数分布算出部423は、最後に算出された累積面積を全体の面積値とし、面積の一番小さいオブジェクトから順次、各累積面積を全体の面積値で割って100を乗じることで得られる累積度数分布を算出してもよい。その場合、累積度数分布算出部423は、算出した累積度数分布の情報を微分関数算出部424へ出力する。
図31に戻って、微分関数算出部424は、入力された累積度数分布の情報を用いて、累積度数分布を面積に対して微分することによって、累積度数分布の微分関数を算出する。すなわち微分関数算出部424は、累積度数分布から、面積の大きさを変数とした面積の大きさの変化に対する累積面積の増減率を示す累積度数分布の微分関数を算出する。微分関数算出部424は、算出した累積度数分布の微分関数の情報を固有閾値算出部425へ出力する。
なお、微分関数算出部424は、細胞候補オブジェクトの面積の大きさの変化に対する累積度数の増減率を示す累積度数増減分布を算出してもよい。具体的には、例えば、微分関数算出部424は、図23(a)に示された累積度数を面積に対して微分することにより、累積度数の面積に対する微分値を算出する。これにより、微分関数算出部424は、図23(b)に示されるような累積度数微分関数を得ることができる。
固有閾値算出部425は、微分関数算出部424により算出された累積度数微分関数における極小値をとる面積eを算出する。
具体的には、例えば、固有閾値算出部425は、図23(b)に示された累積度数の微分関数から細胞に応じた所定の範囲内で、極小値を取る面積eを算出する。
培養時間と細胞種に応じた固有閾値を算出するために、固有閾値算出部425は、外部から入力された培養時間を示す情報と、細胞種の情報とに対応する固有補正情報βを固有補正情報記憶部450のテーブルT1から読み出す。固有閾値算出部425は、極小値をとる面積eと固有補正情報βとを加算した値である固有閾値(e+β)を算出し、算出した固有閾値(e+β)を示す情報を細胞オブジェクト選択部426へ出力する。
ここで、固有閾値算出部425による固有閾値(カスタムe値)の算出方法について、具体例を用いて説明する。細胞オブジェクト選択部426は、入力された固有閾値(e+β)を示す情報を用いて、2値化画像データから固有閾値(e+β)以上の面積を有する細胞候補オブジェクトを細胞オブジェクトとして選択し、選択した細胞オブジェクトを示す情報と2値化画像取得部410から取得した2値化画像データとを外部へ出力する。
また、細胞オブジェクト選択部426は、固有補正情報βと培養時間を示す情報とともに、細胞オブジェクトを示す情報を固有補正情報生成部440の後述する細胞計数部442へ出力する。
図32は、第5の実施形態における画像処理装置において、ある細胞種がある培養時間において撮像された画像データから細胞オブジェクトを抽出する処理の流れを示したフローチャートである。まず、2値化画像取得部410は、入力された画像データから2値化画像データを生成する(ステップS601)。次に、抽出部411は、2値化画像データから細胞候補オブジェクトを抽出する(ステップS602)。次に、面積算出部422は、各細胞候補オブジェクトの面積を算出する(ステップS603)。次に、累積度数分布算出部423は、細胞候補オブジェクトの面積に係る累積度数分布を算出する(ステップS604)。
次に、微分関数算出部424は、累積度数微分関数を算出する(ステップS605)。次に、固有閾値算出部425は、累積度数微分関数において極小値をとる面積eを算出する(ステップS606)。次に、固有閾値算出部425は、外部から入力された細胞種を示す情報に応じた固有補正情報βを読み出す(ステップS607)。
次に、固有閾値算出部425は、極小値をとる面積eと固有補正情報βとを加算した固有閾値(e+β)を算出する(ステップS608)。次に、細胞オブジェクト選択部426は、固有閾値(e+β)以上の面積を有する細胞候補オブジェクトを細胞オブジェクトとして選択する(ステップS609)。以上で、本フローチャートの処理を終了する。
これにより、画像処理装置401は、細胞種および培養時間に応じた適切な固有閾値(e+β)を用いることができるので、細胞オブジェクトを精度良く抽出することができる。また、画像処理装置401は、細胞種間で細胞の面積が異なっていても、細胞種に応じた固有閾値(e+β)を用いることができるので、細胞オブジェクトを精度良く抽出することができる。
また、画像処理装置401は、培養時間に応じて細胞の面積が変化しても、培養時間に応じた固有閾値(e+β)を用いることができるので、細胞オブジェクトを精度良く抽出することができる。
図33は、単に極小値を取る面積を閾値(図24のe)として細胞オブジェクトを抽出した場合と、固有閾値を閾値(図24のe+β)として細胞オブジェクトを抽出した場合における誤差の割合ERを比較したテーブルである。同図には、ある細胞の3つの培養時間(8時間、12時間、16時間)における画像データを用いた際の、実測した視認数nと、閾値がeの場合の細胞の認識数nおよびその場合の誤差の割合ERと、閾値がe+βの場合の細胞の認識数nおよびその場合の誤差の割合ERと、が比較されて示されている。
培養時間が8時間の時の画像データを用いた場合、極小値を取る面積eを閾値とした場合には、認識数nが54[個]で誤差の割合ERが60.3[%]であるのに対し、第5の実施形態における固有閾値(e+β)を閾値とした場合、認識数nが136[個]で誤差の割合ERが0.0[%]であるので、細胞オブジェクトの抽出精度が著しく向上している。同様に、培養時間が12時間および16時間の時の画像データを用いた場合においても、第5の実施形態における固有閾値(e+β)を閾値とした場合の方が、細胞オブジェクトの抽出精度が向上している。
以上により、第5の実施形態における画像処理装置401は、累積度数分布関数の微分関数において極小値を取る面積を閾値として細胞オブジェクトを抽出するよりも、精度良く細胞のオブジェクトを抽出することができる。
なお、上記累積度数分布算出部423が算出した累積度数分布関数は一例であり、以下の例のように累積度数分布関数を算出してもよい。累積度数分布算出部423は、各々の細胞候補オブジェクトの面積の大きさ毎に、分類された細胞候補オブジェクトの該当数を算出する。累積度数分布算出部423は、算出した各々の面積の大きさ毎の該当数と当該面積値に基づき、該当数と面積値の積の値を算出し、算出した積の値を面積の大きさの順から順次積算することで得られる累積度数分布関数を算出してもよい。
<固有補正情報記憶部のデータ構築方法>
続いて、図29に戻って、固有補正情報記憶部450に記憶されている固有補正情報βの算出方法について説明する。なお、固有補正情報βを算出する場合には、画像データから実測された細胞数である視認数nを示す情報が画像データ処理部1に入力されるものとして説明する。細胞オブジェクト抽出部420は、閾値e+βにおける固有補正情報βの代わりに、閾値のずらし量β´を所定の範囲で、ある間隔でずらしながら、閾値e+β´で細胞オブジェクトを抽出する。具体的には、細胞オブジェクト抽出部420は、閾値のずらし量β´を−100から100の範囲で、閾値のずらし量β´を所定のずらし間隔でずらしながら、閾値e+β´で細胞オブジェクトを抽出する。
一例としては、細胞オブジェクト抽出部420は、閾値のずらし量β´を−100から100の範囲で、−100から閾値のずらし量β´を順に2ずつ増加させる毎に、閾値e+β´で細胞オブジェクトを抽出する。
細胞オブジェクト抽出部420は、閾値のずらし量β´を示す情報と培養時間tを示す情報と細胞種iを示す情報と細胞オブジェクトを示す情報oとを固有補正情報生成部440の後述する細胞計数部442へ出力する。
固有補正情報生成部440は、固有補正情報記憶部450に記憶されているテーブルT1内のデータを生成する。固有補正情報生成部440は、細胞計数部442と、誤差算出部444と、誤差記憶部446と、補正情報設定部448とを備える。
細胞計数部442は、細胞オブジェクト抽出部420が抽出した細胞オブジェクトを計数する。細胞計数部442は、計数した細胞オブジェクトの数である認識数nを示す情報を、閾値のずらし量β´を示す情報と培養時間tを示す情報と細胞種iを示す情報とともに、誤差算出部444に出力する。
誤差算出部444は、画像データから実測された細胞数である視認数nを示す情報を外部から受け取る。誤差算出部444は、細胞計数部442が認識数nをβ´に応じて計数する毎に、細胞計数部442から入力された認識数nを示す情報と、視認数nを示す情報とに基づいて、認識数nと視認数nの差の割合を表す誤差の割合ERを上述した式(1)により算出する。
続いて、誤差算出部444の処理について、まずは1つの細胞種について説明する。誤差算出部444は、閾値のずらし量β´を示す情報と培養時間を示す情報とに関連付けて、算出した誤差の割合ERを示す情報を誤差記憶部446の細胞種毎のテーブルT2に記憶させる。
誤差算出部444は、全ての閾値のずらし量β´で誤差の割合ERを算出したか否か判定する。誤差算出部444は、全ての閾値のずらし量β´で誤差の割合ERを算出していないと判定した場合、細胞オブジェクト抽出部420の固有閾値算出部425に閾値のずらし量β´を増加させるよう制御する。
誤差算出部444は、全ての閾値のずらし量β´に基づき抽出された細胞オブジェクトの数(認識数)に対して、上記の一連の処理を行う。これにより、誤差算出部444は、当該培養時間において、すべての閾値のずらし量β´で誤差の割合ERを算出し、誤差記憶部446に記憶させることができる。
さらに、誤差算出部444は、上記と同様の処理を、異なる培養時間において行う。これにより、誤差算出部444は、培養時間毎に誤差の割合ERを算出し、算出した誤差の割合ERを誤差記憶部446に記憶させることができる。
上記に説明した処理により、誤差記憶部446には、誤差の割合ERが閾値のずらし量β´を示す情報と培養時間を示す情報とに関連付けられたテーブルが記憶されている。
図34は、所定の細胞種の誤差の割合ERが閾値のずらし量β´と培養時間tとに関連付けられて格納されたテーブルT2の1例を示した図である。同図において、閾値のずらし量と培養時間tとに応じて、誤差の割合ER[%]が定められている。閾値のずらし量β´は、−100から2刻みで100まである。培養時間は、細胞を播種したときを0時間として、8時間後から4時間刻みである。
図29に戻って、当該細胞種について、誤差算出部444により閾値のずらし量β´を示す情報に基づき算出された全ての誤差の割合ERが誤差記憶部446のテーブルT2に記憶された後に、補正情報設定部448は、誤差記憶部446の細胞種毎のテーブルT2から、培養時間毎に、誤差の割合ERが所定の範囲にある閾値のずらし量β´を抽出する。具体的には、例えば、補正情報設定部448は、誤差の割合ERが0[%]から20[%]の範囲にある閾値のずらし量β´を抽出する。
補正情報設定部448は、1例として、培養時間毎に抽出した閾値のずらし量β´の中央値を、その培養時間におけるその細胞種の固有補正情報βとして選択する。補正情報設定部448は、選択した固有補正情報βを、その細胞種の情報と培養時間を示す情報とに関連付けて、固有補正情報記憶部450のテーブルT1に記憶させる。
例えば、図34において、培養時間が8時間の場合、誤差の割合ERが0[%]から20[%]の範囲にある閾値のずらし量β´は、−6、−4および−2であるので、その中央値である−2が固有補正情報βとなる。
なお、補正情報設定部448は、閾値のずらし量の中央値を固有補正情報として選択したが、これに限らず、抽出した閾値のずらし量であればどの値を固有補正情報βとして選択してもよい。
細胞オブジェクト抽出部420と、細胞計数部442と、誤差算出部444と、補正情報設定部448は、上記と同様の処理を、異なる細胞種の画像データに対して行う。これにより、細胞種毎に、固有補正情報βを生成することができる。
図35は、画像処理装置において、所定の培養時間におけるある細胞種の固有補正情報βを算出する処理の流れを示したフローチャートである。ステップS701からステップS706までの処理は、図32のステップS601からステップS606までの処理と同一であるので、説明を省略する。
次に、固有閾値算出部425は、閾値のずらし量β´を初期化し、1例として閾値のずらし量β´を−100にする(ステップS707)。次に、固有閾値算出部425は、閾値のずらし量β´と極小値を取る面積eとの和である固有閾値(カスタムe値)を算出する(ステップS708)。次に、細胞オブジェクト選択部426は、その固有閾値(カスタムe値)以上の面積を有する細胞候補オブジェクトを細胞オブジェクトとして選択する(ステップS709)。
次に、細胞計数部442は、選択された細胞オブジェクトの数である認識数nを算出する(ステップS710)。次に、誤差算出部444は、認識数nを示す情報と外部から入力された視認数nを示す情報とに基づき、誤差の割合ERを算出し、算出した誤差の割合ERを示す情報を誤差記憶部446に記憶させる(ステップS711)。次に、誤差算出部444は、全ての閾値のずらし量β´で誤差の割合ERを算出したか否か判定する(ステップS712)。誤差算出部444が全ての閾値のずらし量β´で誤差の割合ERを算出していないと判定した場合(ステップS712 NO)、固有閾値算出部425は、閾値のずらし量β´を2だけ加算し(ステップS713)、ステップS708の処理に戻す。
一方、誤差算出部444が全ての閾値のずらし量β´で誤差の割合ERを算出したと判定した場合(ステップS712 YES)、補正情報設定部448は、入力された画像データが取得された培養時間におけるその細胞種の固有補正情報βを算出する(ステップS714)。次に、補正情報設定部448は、算出した固有補正情報βを、細胞種を示す情報および培養時間を示す情報と関連付けて、固有補正情報記憶部450のテーブルT1に記憶させる(ステップS715)。以上で、本フローチャートの処理を終了する。
これにより、画像処理装置401の固有補正情報記憶部450には、細胞の種類および培養時間に応じた適切な固有補正情報βが記憶されるので、画像処理装置401は、その閾値を用いることができ、細胞オブジェクトを精度良く抽出することができる。
以上で、固有補正情報記憶部450に記憶されている固有補正情報βの算出方法についての説明を終了する。
<第6の実施形態:画像処理装置>
次に、本発明の第6の実施形態について説明する。第5の実施形態における画像処理装置401は、細胞種が既知の場合に、画像データから細胞オブジェクトを抽出する。第6の実施形態における画像処理装置401bは、細胞種が未知の場合でも既知の場合でも、画像データから細胞オブジェクトを抽出する。そのため、発明の第6の実施形態における画像処理装置401bは、細胞種を示す情報が入力される場合と入力されない場合に分けて、その処理を行う。
図36は、本発明の第6の実施形態における画像処理装置401bのブロック構成図である。なお、図1と共通する要素には同一の符号を付し、その説明を省略する。
図36の画像処理装置401bの構成は、図29の画像処理装置401の構成に対して、細胞オブジェクト抽出部420が細胞オブジェクト抽出部420bに、固有補正情報生成部440が固有補正情報生成部440bに変更され、共通補正情報記憶部452が追加されたものになっている。
共通補正情報記憶部452には、培養時間に関連付けられた細胞種間で共通の補正情報である共通補正情報γがテーブルT3として記憶されている。
図37は、共通補正情報記憶部に記憶されている培養時間と共通補正情報γとが関連付けられたテーブルT3の1例である。同図において、テーブルT3では、培養時間と共通補正情報γとが1対1に関連付けられている。
<細胞オブジェクト抽出方法>
図38は、本発明の第6の実施形態における細胞オブジェクト抽出部420bのブロック構成図である。以下、細胞オブジェクト抽出部420bの変更の詳細について説明する。この細胞オブジェクト抽出部420bの構成は、図31の細胞オブジェクト抽出部420の構成に対して、微分関数算出部424が微分関数算出部424bに変更され、固有閾値算出部425が固有閾値算出部425bに変更され、判定部427と細胞種抽出部430とが追加されたものになっている。
微分関数算出部424bは、累積度数微分関数を算出し、算出した累積度数微分関数の情報を判定部427に出力する。
判定部427は、外部から細胞種を示す情報が入力された場合、細胞種が既知であると判定する。一方、外部から細胞種を示す情報が入力されない場合、判定部427は、細胞種が未知であると判定し、判定部427から入力された累積度数微分関数の情報を細胞種抽出部430の後述する仮閾値設定部431に出力する。
細胞種抽出部430は、累積度数微分関数において極小値をとる面積eと共通補正情報γとを加算した値を仮閾値として、その仮閾値以上の面積を有する細胞候補オブジェクトをサンプルオブジェクトとして抽出し、抽出したサンプルオブジェクトから細胞種を示す情報を推定する。以下、細胞種抽出部430の詳細について説明する。細胞種抽出部430は、仮閾値設定部431と、サンプルオブジェクト選択部432と、細胞種推定部433とを備える。
仮閾値設定部431は、外部から入力された培養時間を示す情報に応じた共通補正情報γを共通補正情報記憶部452から読み出す。仮閾値設定部431は、入力された累積度数微分関数の情報を用いて、累積度数微分関数が極小値を取る面積eを算出する。仮閾値設定部431は、算出した極小値を取る面積eに共通補正情報γを加算した仮閾値を算出し、算出した仮閾値をサンプルオブジェクト選択部432に出力する。
サンプルオブジェクト選択部432は、仮閾値以上の面積を有する細胞候補オブジェクトをサンプルオブジェクトとして選択し、サンプルオブジェクトを示す情報を細胞種推定部433へ出力する。
細胞種推定部433は、サンプルオブジェクトを示す情報を用いて、後述する方法により細胞種を推定し、細胞種を示す情報を固有閾値算出部425bに出力する。
固有閾値算出部425bは、判定部427により細胞種が既知であると判定された場合または細胞種推定部433から細胞種を示す情報を受け取った場合、細胞種を示す情報と外部から入力された培養時間を示す情報とに応じた固有補正情報βを固有補正情報記憶部450のテーブルT2から読み出す。固有閾値算出部425bは、累積度数微分関数が極小値を取る面積eを算出する。固有閾値算出部425bは、算出した累積度数微分関数が極小値を取る面積eに固有補正情報βを加算した固有閾値(e+β)を算出し、算出した固有閾値(e+β)を細胞オブジェクト選択部426に出力する。
<細胞種推定部による細胞種の推定方法>
図39は、本発明の第6の実施形態における細胞種推定部のブロック構成図である。細胞種推定部433は、細胞オブジェクト特徴量算出部460と、分類モデル記憶部462と、細胞分類部464とを備える。
細胞オブジェクト特徴量算出部460は、2値化画像取得部から取得した2値化画像データと、サンプルオブジェクト選択部432から取得した細胞オブジェクトを示す情報とを用いて個々の細胞オブジェクトを認識し、認識した個々の細胞オブジェクトの形態的特徴量を算出する。一例として、細胞オブジェクト特徴量算出部460は、各細胞オブジェクトに対して、図3に示された15種類の形態的特徴量をそれぞれ算出する。
例えば、細胞オブジェクト特徴量算出部460は、注目する細胞の領域の画素数に基づいて「Total area」の値を算出することができる。
なお、細胞オブジェクト特徴量算出部460は、細胞内における輝度値が閾値以上となる画素のまとまりをHoleとして検出し、このHoleの画素数に基づいて「Hole area」の値を算出すればよい。
また、細胞オブジェクト特徴量算出部460は、細胞を抽出するときの輪郭追跡処理により「Perimeter」の値を取得することができる。
また、細胞オブジェクト特徴量算出部460は、式(1)により「Fiber Length」の値を算出する。
また、細胞オブジェクト特徴量算出部460は、式(2)により「Fiber Breadth」の値を算出する。
また、細胞オブジェクト特徴量算出部460は、式(3)により「Shape Factor」の値を算出する。
ここで、細胞オブジェクト特徴量算出部460は、細胞に対応する画素数に誤差分を加味して上記の各形態的特徴量を算出してもよい。このとき、細胞オブジェクト特徴量算出部460は、顕微鏡画像の撮像条件(観察倍率や顕微鏡の光学系の収差等)を考慮して形態的特徴量を算出するようにしてもよい。なお、「Inner radius」、「Outer radius」、「Mean radius」、「Equivalent radius」を算出するときには、細胞オブジェクト特徴量算出部460は、公知の重心演算の手法に基づいて各細胞の重心点を求め、この重心点を基準にして各パラメータを算出すればよい。
図39に戻って、個々の細胞オブジェクトの形態的特徴量を算出した細胞オブジェクト特徴量算出部460は、細胞分類部464に個々の細胞オブジェクトの形態的特徴量を示す情報を出力する。
分類モデル記憶部462には、所定の分類基準に従って、段階的に細胞オブジェクトの属性を分類する分類モデルがその分類モデルの評価を示す評価値と関連付けられて記憶されている。また、分類されたクラスの固有識別情報(ID)である分類先IDを示す情報と細胞種を示す情報とが関連付けられて記憶されている。
図40は、分類モデル記憶部462に記憶されている情報の一例である。同図において、テーブルT4では、決定木を用いた分類モデルとその分類モデルの評価を示す評価値とが1対1に関連づけられている。
図39に戻って、細胞分類部464は、分類モデル記憶部462から評価値が最も高い分類モデルを読み出し、その分類モデルを用いて、入力された個々の形態的特徴量を示す情報をクラスに分類する。
具体的には、例えば、細胞分類部464は、細胞オブジェクトの各形態的特徴量の平均を算出し、分類木で分岐毎に定められた条件と算出した各形態的特徴量の平均とを比較することによって、その分岐でどちらに分岐するか決定する。細胞分類部464は、最終的に分類された枝に対応付けられた分類先IDを示す情報を抽出する。細胞分類部464は、抽出された分類先IDを示す情報に対応する細胞種を示す情報を分類モデル記憶部462から読み出し、読み出した細胞種を示す情報を固有閾値算出部425bへ出力する。
図41は、第6の実施形態における画像処理装置401bにおいて、ある細胞種がある培養時間において撮像された画像データから細胞オブジェクトを抽出する処理の流れを示したフローチャートである。ステップS801からステップS805までの処理は図32のステップS601からステップS605までの処理と同一であるので、その説明を省略する。
次に、判定部427は、細胞種を示す情報が入力されているか否かを判定する(ステップS806)。細胞種を示す情報が入力されている場合(ステップS806 NO)、判定部427は細胞種が既知であると判定し、ステップS810の処理に進む。一方、細胞種を示す情報が入力されている場合(ステップS806 YES)、判定部427は細胞種が未知であると判定し、累積度数微分関数の情報を仮閾値設定部431に出力する。
次に、仮閾値設定部431は、仮閾値を算出する(ステップS807)。次に、サンプルオブジェクト選択部432は、細胞候補オブジェクトのうちから仮閾値以上の面積を有する細胞候補オブジェクトをサンプルオブジェクトとして選択する(ステップS808)。次に、細胞種推定部433は、サンプルオブジェクトを示す情報からサンプルオブジェクトの細胞種を推定する(ステップS809)。
次に、固有閾値算出部425bは、細胞種を示す情報に基づいて、固有閾値(e+β)を算出する(ステップS810)。次に、細胞オブジェクト選択部426は、細胞候補オブジェクトのうちから固有閾値(e+β)以上の面積を有する細胞候補オブジェクトを細胞オブジェクトとして選択する(ステップS811)。以上で、本フローチャートの処理を終了する。
以上により、画像処理装置401bは、細胞種が未知の画像データが入力されても、細胞種を推定し、細胞種を推定した後に、細胞種に固有の固有閾値(e+β)を用いて、細胞オブジェクトを抽出するので、細胞種が未知の場合でも精度良く細胞オブジェクトを抽出することができる。
画像処理装置401bは、細胞種が未知でも既知でも、画像データから画像データ内の細胞オブジェクトを多くかつ正確に抽出することができる。また、画像処理装置401bは、細胞種が未知でも既知でも、画像データ中に含まれるノイズを細胞オブジェクトとして誤認識することを防ぐことができる。
<固有補正情報記憶部及び共通補正情報記憶部のデータ構築方法>
図36に戻って、固有補正情報生成部440bの変更の詳細について説明すると、この固有補正情報生成部440bの構成は、図29の固有補正情報生成部440の構成に対して、誤差算出部444が誤差算出部444bに、認識数記憶部46が認識数記憶部446bに、補正情報設定部448が補正情報設定部448bに、変更されたものになっている。
細胞オブジェクト抽出部420bは、細胞種毎に、閾値のずらし量β’を初期値(例えば、−100)から所定の刻み幅(例えば、2)で最終値(例えば、100)までずらすたびに、極小値eに閾値のずらし量β’を加算した値e+β’を閾値として、細胞オブジェクトを抽出する。細胞オブジェクト抽出部420bは、細胞種iを示す情報と培養時間tを示す情報と閾値のずらし量β’を示す情報とともに、抽出した細胞オブジェクトoを示す情報を細胞計数部442に出力する。
細胞計数部442では、細胞オブジェクトを示す情報に基づいて、その細胞オブジェクトの数である認識数nを計数し、細胞種iを示す情報と培養時間tを示す情報と閾値のずらし量β’を示す情報とともに、認識数nを示す情報を誤差算出部444bに出力する。
続いて、誤差算出部444bの処理について、まずは1つの細胞種について説明する。誤差算出部444bは、細胞計数部442から入力された認識数nを示す情報を式(1)に適用して、誤差の割合ERを算出する。
誤差算出部444bは、誤差の割合ERを示す情報を閾値のずらし量β’を示す情報と培養時間を示す情報とに関係付けて、認識数記憶部446bの細胞種毎のテーブル(例えば、テーブルT2a)に記憶させる。誤差算出部444bは、上記の処理を全ての細胞種に対して行う。
図42は、認識数記憶部に記憶されている誤差の割合ERのテーブルの1例を示した図である。図42(a)のテーブルT2a、図42(b)のテーブルT2b、図42(c)のテーブルT2cには、それぞれ異なる細胞種における誤差の割合ER[%]が培養時間と閾値のずらし量とに関連付けられている。培養時間[h]は、細胞が播種された時間を0時間として、8時間後から4時間刻みで示されている。閾値のずらし量β’は、−100から2刻みで100までの数である。
図36に戻って、認識数記憶部446bは、細胞種毎に、誤差の割合ERを示す情報が閾値のずらし量β’を示す情報と培養時間を示す情報とに関係付けられて記憶されている。具体的には、例えば、図42に示されるように、認識数記憶部446bは、3つの細胞種それぞれに、閾値のずらし量β’を示す情報と培養時間を示す情報とに関係付けられた誤差の割合ERを示す情報のテーブルが記憶されている。
補正情報設定部448bは、認識数記憶部446bに記憶されたある細胞種のテーブルのデータが全て格納された場合、そのテーブルにおいて、培養時間毎に誤差の割合ERが例えば、0[%]から20[%]にあたる閾値のずらし量β’を抽出し、抽出した閾値のずらし量β’の中央値を算出する。補正情報設定部448bは、算出した中央値を固有補正情報βとして、細胞種および培養時間と関連付けて固有補正情報記憶部450に記憶させる。
なお、補正情報設定部448bは、抽出した閾値のずらし量β’の中央値を固有補正情報βとしたが、これに限らず、抽出した閾値のずらし量β’のうちのいずれかの値を固有補正情報βに設定してもよい。また、補正情報設定部448bは、抽出した閾値のずらし量β’の平均値を固有補正情報βとしてもよい。
補正情報設定部448bは、認識数記憶部446bに記憶されたn個(nは正の整数)すべての細胞種のテーブルにおいて、ある培養時間の誤差の割合ERが格納されたか否かを判定する。
認識数記憶部446bに記憶されたM個(Mは正の整数)すべての細胞種のテーブルにおいて、ある培養時間の誤差の割合ERが格納された場合、補正情報設定部448bは、認識数記憶部446bから複数の閾値のずらし量(以下、閾値のずらし量群と称する)を抽出する。具体的には、補正情報設定部448bは、認識数記憶部446bに記憶されている第j番目(jは1からMまでの整数)の細胞種に対応する第j番目のテーブルにおいて、培養時間毎に誤差の割合ERが例えば、10[%]から30[%]にあたる閾値のずらし量群を抽出する。
補正情報設定部448bは、培養時間毎に、第1から第n番目までのテーブルから抽出されたn個の閾値のずらし量群のうち全てのずらし量群に共通する閾値のずらし量群を抽出する。補正情報設定部448bは、抽出した共通する閾値のずらし量群の中央値を算出し、算出した中央値を共通補正情報γとして、培養時間と関連付けて共通補正情報記憶部452に記憶させる。
補正情報設定部448bは、全ての培養時間の誤差の割合ERに対して、上記の処理を行うことにより、全ての培養時間における共通補正情報γを算出することができる。
なお、補正情報設定部448bは、共通する閾値のずらし量群β’の中央値を共通補正情報γとしたが、これに限らず、共通する閾値のずらし量β’のうちのいずれかの値を共通補正情報γに設定してもよい。また、補正情報設定部448bは、共通する閾値のずらし量群β’の平均値を共通補正情報γとしてもよい。
図43は、第6の実施形態における画像処理装置401bにおいて、所定の培養時間におけるある細胞種の固有補正情報βと共通補正情報γとを算出する処理の流れを示したフローチャートである。まず、画像処理装置401bは、固有補正情報βを算出し、算出した固有補正情報βを細胞種および培養時間と関連付けて固有補正情報記憶部450に記憶させる(ステップS901)。ステップS901の処理の詳細は、図35のステップS701からステップS715と同一であるので、その処理の詳細な説明を省略する。
次に、補正情報設定部448bは、認識数記憶部446bに記憶されたM個(Mは正の整数)すべての細胞種のテーブルにおいて、所定の培養時間の誤差の割合ERが格納されたか否か判定する(ステップS902)。認識数記憶部446bに所定の培養時間の誤差の割合ERがすべて格納されていない場合(ステップS902 NO)、画像処理装置401bは、格納されていない細胞種に対して、ステップS901の処理を行う。
一方、認識数記憶部446bにある培養時間の誤差の割合ERがすべて格納されている場合(ステップS902 YES)、補正情報設定部448bは、共通補正情報γを算出する(ステップS903)。次に、補正情報設定部448bは、算出した共通補正情報γを培養時間と関連付けて共通補正情報記憶部452に記憶させる。以上で、本フローチャートの処理を終了する。
以上により、画像処理装置401bは、固有補正情報βを固有補正情報記憶部450に記憶させ、共通補正情報γを共通補正情報記憶部452に記憶させることができる。これにより、画像処理装置401bは、細胞種に共通の共通補正情報γを用いて、画像データと培養時間を示す情報とから細胞種を推定することができる。
また画像処理装置401bは、推定された細胞種に固有の固有補正情報βを用いて、画像データと培養時間を示す情報と細胞種を示す情報とから細胞オブジェクトを精度良く抽出することができる。
<第7の実施形態:細胞分類装置>
続いて、本発明の第7の実施形態における細胞分類装置について説明する。図44は、本発明の第7の実施形態における細胞分類装置のブロック構成図である。細胞分類装置404は、外部から入力された画像データと、細胞の種類を示す情報と、培養時間を示す情報と、視認数nを示す情報とに基づいて、細胞の情報を推定し、推定した細胞の情報を外部へ出力する。
細胞分類装置404は、画像処理装置401bと、細胞情報推定部433bとを備える。画像処理装置401bは、外部から入力された画像データと、細胞の種類を示す情報と、培養時間を示す情報と、視認数nを示す情報とに基づいて、細胞オブジェクトを抽出し、細胞オブジェクトの抽出の際に算出した2値化画像データとともに、抽出した細胞オブジェクトを示す情報を細胞種推定部433bに出力する。画像処理装置401bは、図36と同一であるので、その処理内容の詳細な説明を省略する。
細胞情報推定部433bは、画像処理装置401bから入力された2値化画像データと画像オブジェクトを示す情報とに基づいて、細胞オブジェクトを分類し、分類先IDに対応する細胞の情報を読み出し、読み出した細胞の情報を外部へ出力する。細胞種推定部433bは、図39の細胞種推定部433と同様に、細胞オブジェクト特徴量算出部460bと、分類モデル記憶部462bと、細胞分類部464bとを備える。
細胞オブジェクト特徴量算出部460bは、図39の細胞オブジェクト特徴量算出部460と同様に、入力された2値化画像データと画像オブジェクトを示す情報と用いて個々の細胞オブジェクトを認識し、認識した個々の細胞オブジェクトの形態的特徴量を算出する。一例として、細胞オブジェクト特徴量算出部460bは、各細胞オブジェクトについて上述した15種類の形態的特徴量をそれぞれ算出する。細胞オブジェクト特徴量算出部460bは、算出した個々の細胞オブジェクトの形態的特徴量を示す情報を細胞分類部464bに出力する。
分類モデル記憶部462bには、図39の分類モデル記憶部462と同様に、所定の分類基準に従って、段階的に細胞オブジェクトの属性を分類する分類モデルを示す情報がその分類モデルの評価を示す評価値を示す情報と関連付けられて記憶されている。また、分類されたクラスのIDである分類先IDを示す情報と細胞の情報(例えば、細胞の活性を示す情報又は細胞の品質を示す情報)とが関連付けられて記憶されている。
細胞分類部464bは、分類モデル記憶部462bから評価値が最も高い分類モデルを読み出し、その分類モデルを用いて、入力された個々の細胞オブジェクトの形態的特徴量を示す情報を分類する。
具体的には、例えば、細胞分類部464bは、細胞オブジェクトの各形態的特徴量の平均を算出し、分類木で分岐毎に定められた条件と算出した各形態的特徴量の平均を比較することによって、その分岐でどちらに分岐するか決定する。細胞分類部464bは、最終的に分類された枝に設定されている分類先IDを示す情報を読み出す。
細胞分類部464bは、読み出した分類先IDを示す情報に対応付けられた細胞の情報を分類モデル記憶部462bから読み出し、読み出した細胞の情報を外部へ出力する。例えば、細胞分類部464bは、分類先IDを示す情報に対応付けられた細胞の活性を示す情報又は細胞の品質を示す情報を分類モデル記憶部462bから読み出し、読み出した細胞の活性を示す情報又は細胞の品質を示す情報を外部へ出力する。
以上により、細胞分類装置404は、細胞種が未知でも既知でも画像データから画像データ内の細胞オブジェクトを多くかつ正確に抽出することができるので、細胞分類装置404は、1つの画像データ中に存在する多くの細胞オブジェクトについて分類することができる。また、細胞分類装置404は、細胞種が未知でも既知でも、画像データ中に含まれるノイズを細胞オブジェクトとして誤認識することを防ぐことができる。上記のことから、細胞分類装置404は、画像データに撮像された細胞を精度良く分類することができるので、細胞の活性または細胞の品質を精度良く推定することができる。
なお、細胞分類部464bは、属性情報が未知である画像データを分類した場合、培養条件を含む属性情報を分類結果として外部に出力してもよい。具体的には、細胞分類部464bは、属性情報が未知である画像データから得られた個々の特徴的検索オブジェクトを分類したときは、少なくとも、個々の特徴的検索オブジェクトの分類先の枝に設定されている分類先IDを外部に出力する。例えば、細胞分類部464bは、個々の特徴的検索オブジェクトの分類先IDに加えて、各分類先IDに対応付けられている属性情報、又は、個々の特徴的検索オブジェクトの形態的特徴量の何れか一方又は両方を外部に出力してもよい。
また、本発明の第7の実施形態における細胞分類装置404内の画像処理装置401bを第5の実施形態における画像処理装置401に置き換えてもよい。その場合、細胞分類装置404は、細胞種が既知の画像データから画像データに撮像された細胞を分類することができる。
<第8の実施形態:インキュベータ>
続いて、本発明の第8の実施形態におけるインキュベータについて説明する。図45は、第7の実施形態で示された細胞分類装置404の機能を兼ね備えるインキュベータの概要を示すブロック構成図である。
インキュベータ511は、上部ケーシング512と下部ケーシング513と、細胞分類装置404とを有する。インキュベータ511の組立状態において、上部ケーシング512は下部ケーシング513の上に載置される。なお、上部ケーシング512と下部ケーシング513との内部空間は、ベースプレート514によって上下に仕切られている。
まず、上部ケーシング512の構成の概要を説明する。図45において、上部ケーシング512の内部には、細胞の培養を行う恒温室515が形成されている。この恒温室515は温度調整装置515a及び湿度調整装置515bを有しており、恒温室515内は細胞の培養に適した環境(例えば温度37℃、湿度90%の雰囲気)に維持されている。
培地交換装置523は、恒温室515に配置され、この培地交換装置523は、後述する制御装置(培養条件制御部)541から入力された制御信号に基づいて、細胞が培養されている培養容器の培地を交換する。
観察ユニット522は、恒温室515に配置され、この観察ユニット522は、培養容器519内の細胞のタイムラプス観察を実行することができる。ここで、観察ユニット522は、上部ケーシング512のベースプレート514の開口部に嵌め込まれて配置される。
観察ユニット522にはLED光源335が内蔵されている。そして、撮像装置534は、試料台の上側から透過照明された培養容器の細胞を、顕微鏡の光学系を介して撮像することで細胞の顕微鏡画像を取得できる。撮像装置534は、取得した顕微鏡画像を画像データに変換し、変換した画像データを細胞分類装置404に出力する。
細胞分類装置404は、撮像装置534から入力された画像データに基づいて、その画像データに撮像された細胞を分類し、分類先に設定された分類先IDを取得し、取得した分類先IDに対応する細胞の情報を読み出す。細胞分類装置404は、読み出した細胞の情報を制御装置(培養条件制御部)541に出力する。
制御装置(培養条件制御部)541は、温度調整装置515a、湿度調整装置515b、観察ユニット522及び培地交換装置523とそれぞれ接続されている。この制御装置541は、所定のプログラムに従ってインキュベータ511の各部を統括的に制御する。
制御装置(培養条件制御部)541は、CPU542及び記憶部543を有し、細胞分類装置404から入力された細胞の情報を基に、恒温室の環境条件を変更する。具体的には、例えば、制御装置(培養条件制御部)541は、細胞分類装置404から入力された細胞の情報を基に、温度調整装置515aを制御して恒温室の温度を調整するか、または湿度調整装置515bを制御して恒温室の湿度を調整する。これにより、制御装置(培養条件制御部)541は、恒温室515内を所定の環境条件に維持することができる。
また、制御装置(培養条件制御部)541は、細胞分類装置404で推定された細胞の情報を基に、細胞を培養する培地を変更する。具体的には、例えば、制御装置(培養条件制御部)541は、細胞分類装置404から入力された細胞の情報を基に、培地交換装置523を制御して培養容器中の培地を交換する。これにより、制御装置(培養条件制御部)541は、培養容器中の培地を所定の状態に維持することができる。
記憶部543は、ハードディスクや、フラッシュメモリ等の不揮発性の記憶媒体などで構成される。この記憶部543には、ストッカー521に収納されている各培養容器519に関する管理データと、撮像装置で撮像された顕微鏡画像のデータとが記憶されている。さらに、記憶部543には、CPU542によって実行されるプログラムが記憶されている。
図46は、第7の実施形態で示された細胞分類装置404の機能を兼ね備えるインキュベータ511の動作の一例を示すフローチャートである。図46に示すフローチャートの開始時において、インキュベータ511には所望の増殖すべき細胞を培養する培養容器が置かれているものとする。また、上述の如く、インキュベータ511が備える細胞分類装置404は、分類先IDとともに培養条件を含む属性情報を分類結果として出力するものとする。
図46において、インキュベータ511は、細胞の培養を開始する(ステップS1000)。即ち、CPU542は、設定された培養条件(例えば所定の温度、湿度等)で細胞を培養するよう温度調整装置515aと湿度調整装置515bとを制御する。所定期間経過後に、インキュベータ511は、培養中の細胞を分類する(ステップS1010)。即ち、CPU542は、撮像装置534を制御して、培養中の細胞を撮像し、次いで、記憶部543から細胞分類装置404の各処理を実行するためのプログラムを読み出し、読み出したプログラムを実行することによって、培養中の細胞を分類する。
次いで、インキュベータ511は、分類結果に基づいて、細胞の培養を中止するか否か、または、細胞の培養条件を変更するか否かを制御する。具体的には、まず、CPU542は、分類結果によって示される細胞の品質が、ステップS1000において設定された目的とする品質に合致するか否かを判断する(ステップS1020)。CPU542は、分類結果によって示される細胞の品質が設定された目的とする品質に合致すると判断した場合(ステップS1020 YES)、分類結果によって示される細胞の品質と設定された目的とする品質とが合致した旨をモニタ等(非図示)に表示させる(ステップS1022)。そして後述するステップS1060に進む。
一方、CPU542は、分類結果に含まれる細胞の品質が所定の目的とする品質と合致しないと判断した場合(ステップS1020 NO)、分類結果によって示される細胞の品質と設定された目的とする品質とが合致しない旨をモニタ等(非図示)に表示させるとともに(ステップS1024)、培養を中止するか否かを判断する(ステップS1030)。具体的には、例えば、CPU542は、分類結果によって示される細胞の品質と設定された目的とする品質の一致しない程度が非常に大きい場合に、培養を中止すると判断する。例えば、分類結果によって示される細胞の品質を示す値と設定された目的とする品質を示す値との差が所定の第1の閾値以上である場合に、培養を中止すると判断する。なお、CPU542は、培養を中止する旨の操作者の入力があった場合にも、培養を中止すると判断する。
CPU542は、培養を中止すると判断した場合(ステップS1030 YES)、培養を中止する旨をモニタ等(非図示)に表示させ(ステップS1032)、培養の処理を終了する。そして、CPU542は、本フローチャートの処理を終了する。一方、CPU542は、培養を中止しないと判断した場合(ステップS1030 NO)、培養条件を変更するか否かを判断する(ステップS1040)。具体的には、例えば、CPU542は、分類結果によって示される細胞の品質を示す値と設定された目的とする品質を示す値との一致しない程度が大きい場合に、培養条件を変更すると判断する。例えば、分類結果によって示される細胞の品質を示す値と設定された目的とする品質を示す値との差が所定の第2の閾値(但し、第1の閾値>第2の閾値)以上である場合に、培養条件を変更すると判断する。
CPU542は、培養条件を変更すると判断した場合(ステップS1040 YES)、培養条件を変更する旨をモニタ等(非図示)に表示させ(ステップS1042)、培養条件を変更する(ステップS1050)。即ち、CPU542は、新たな培養条件で細胞を培養するよう温度調整装置515aと湿度調整装置515bとを制御する。そしてステップS1010に戻る。なお、予め、両品質(分類結果によって示される細胞品質、及び、設定された目的品質)と、新たな培養条件(修正後の培養条件)とを対応付けて記憶部543に記憶し、CPU542は、両細胞品質から新たな培養条件を取得するようにしてもよい。なお、CPU542は、操作者による新たな培養条件の設定値の入力があった場合に、当該設定値に培養条件を変更してもよい。
CPU542は、ステップS1022に続いて、または、培養条件を変更しないと判断した場合(ステップS1040 NO)、所定期間経過後に、撮像装置534を制御して、培養中の細胞を撮像し、培養中の細胞数(即ち、細胞オブジェクトの数)を計数する(ステップS1060)。なお、CPU542は、個々の細胞オブジェクトを認識可能な細胞分類装置404の細胞オブジェクト特徴量算出部460bの処理を実行するためのプログラムを記憶部543から読み出し、読み出したプログラムを実行することによって細胞数を計数する。
次いで、CPU542は、ステップS1060において計数した細胞数が所定の細胞数に到達したか否かを判定する(ステップS1070)。CPU542は、計数した細胞数が所定の細胞数に到達していないと判定した場合(ステップS1070 NO)、所定の時間経過後に、ステップS1010に戻る。一方、CPU542は、計数した細胞数が所定の細胞数に到達したと判定した場合(ステップS1070 YES)、当該細胞の培養が完了した旨をモニタ等(非図示)に表示させる(ステップS1072)。そして、CPU542は、本フローチャートの処理を終了する。
以上により、細胞種が未知でも既知でも、細胞分類装置404内の画像処理装置401bが画像データから細胞オブジェクトを精度良く抽出できるので、細胞分類装置404による分類の精度が向上する。これにより、インキュベータ511は、細胞分類装置404による精度の高い分類により出力される細胞の品質に基づいて、培養容器内の細胞の培養条件を動的に変更できるため、所望の細胞を品質の良い状態で維持することができる。また、インキュベータ511は、細胞の状態に応じた適正な培養条件で、細胞を培養させることができる。
なお、本フローチャートでは、CPU542は、分類結果によって示される細胞の品質が目的とする品質に合致するか否かに基づき、培養を中止するかまたは培養条件を変更するか否か判断したが、これに限ったものではない。CPU542は、分類結果によって示される細胞の種類が設定された細胞の種類に合致するか否かに基づき、培養を継続するか培養を中止するか判断をしてもよい。
また、CPU542は、分類結果によって示される細胞操作が設定された細胞操作に合致するか否かに基づき、培養条件を変更して継続するか培養を中止するか判断をしてもよい。その際、分類結果によって示される細胞操作が設定された細胞操作に合致しない場合、CPU542は、培養経過を示すログから培養経過に異常がないか否か判定し、判定結果に基づいて、培養条件を変更して継続するか培養を中止するか判断をしてもよい。また、CPU542は、非同一性である旨を記憶部543に記憶させる。
また、細胞分類装置404内の画像処理装置401bを画像処理装置401に入れ替えても良い。その場合、細胞種が既知の場合にのみ、インキュベータ511は、細胞分類装置404の分類結果に基づき、培養条件を変更できる。
また、本発明の第5の実施形態による画像処理装置401、本発明の第6の実施形態による画像処理装置401b、本発明の第7の実施形態による細胞分類装置404、本発明の第8の実施形態によるインキュベータ511の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置401、画像処理装置401b、細胞分類装置404に係る上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
また、本発明の全ての実施形態において、分類モデル生成装置(1、2)、画像処理装置(401、401b)、または細胞分類装置(3、4、404)は、面積を形態的特徴量の代表例として用いてノイズに係るオブジェクトを抽出したが、これに限らず、他の形態的特徴量を用いて、ノイズに係るオブジェクトを抽出してもよい。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1、2…分類モデル生成装置
3、4…細胞分類装置
10…入出力部
20…細胞オブジェクト認識部
22…2値化処理部
24…ノイズ推定部(2値化データ取得部)
26…細胞オブジェクト特徴量算出部(ノイズ除去部)
30…分類モデル生成部
32…特徴的オブジェクト抽出部
34…候補分類モデル形成部
36…分類モデル決定部
40…分類モデル生成部
42…代表的特徴量計算部
46…分類モデル形成部
72…細胞オブジェクト記憶部
74…抽出条件記憶部
76…候補分類モデル記憶部
80…分類モデル記憶部
110…入出力部
120…細胞オブジェクト認識部
122…2値化処理部
124…ノイズ推定部
126…細胞オブジェクト特徴量算出部
152…特徴的オブジェクト抽出・代表的特徴量計算部
160…細胞分類部
170…検索オブジェクト一時記憶部
174…抽出条件記憶部
180…分類モデル記憶部
190…細胞カタログ記憶部
210…入出力部
220…細胞オブジェクト認識部
222…2値化処理部
224…ノイズ推定部(2値化データ取得部)
226…細胞オブジェクト特徴量算出部(ノイズ除去部)
252…特徴的オブジェクト抽出・代表的特徴量計算部
254…候補分類モデル形成部
256…分類モデル決定・形成部
260…細胞分類部
270…検索オブジェクト一時記憶部
272…細胞オブジェクト記憶部
274…抽出条件記憶部
276…候補分類モデル記憶部
280…分類モデル記憶部
290…細胞カタログ記憶部
311…インキュベータ
319…培養容器
401、401b…画像処理装置
404…細胞分類装置
410…2値化画像取得部
411…抽出部
420、420b…細胞オブジェクト抽出部
421…細胞候補オブジェクト抽出部
422…面積算出部
423…累積度数分布算出部(累積分布算出部)
424…微分関数算出部
425…固有閾値算出部
426…細胞オブジェクト選択部
431…仮閾値設定部
432…サンプルオブジェクト選択部
433…細胞種推定部
442…細胞計数部
446…補正情報設定部
460…細胞オブジェクト特徴量算出部
464b…細胞分類部
511…インキュベータ
515…恒温室
541…制御装置(培養条件制御部)
534…撮像装置

Claims (23)

  1. 細胞が撮像された画像データから細胞オブジェクトの候補となる細胞候補オブジェクトを抽出する細胞候補オブジェクト抽出部と、
    前記細胞候補オブジェクトの形態的特徴量を抽出する特徴量抽出部と、
    前記形態的特徴量に基づく値が所定の間隔毎に区分された際の区分毎の該形態的特徴量に基づく値の出現頻度または該区分毎の該形態的特徴量に基づく値のいずれか一方を順次加え合わせることで得られる累積分布を算出する累積分布算出部と、
    前記累積分布に基づいて、前記細胞候補オブジェクトのうちから前記細胞オブジェクトまたは前記細胞オブジェクト以外のオブジェクトであるノイズに係るオブジェクトを抽出する抽出部と、
    を備えることを特徴とする画像処理装置。
  2. 前記抽出部は、前記累積分布の微分値を算出し、前記微分値に基づいて、前記細胞候補オブジェクトから前記細胞オブジェクトを抽出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記抽出部は、前記微分値の極小値を探索して該極小値に基づく閾値を決定し、前記形態的特徴量が該閾値以上である前記細胞候補オブジェクトを前記細胞オブジェクトとして抽出することを特徴とする請求項2に記載の画像処理装置。
  4. 前記抽出部は、前記形態的特徴量が所定値以上の範囲において前記微分値の極小値を探索し、該極小値または該極小値の近傍を閾値として決定し、前記形態的特徴量が該閾値以上である前記細胞候補オブジェクトを前記細胞オブジェクトとして抽出することを特徴とする請求項2または請求項3に記載の画像処理装置。
  5. 前記累積分布算出部は、細胞の種類毎に前記累積分布を算出し、
    前記抽出部は、前記細胞の種類毎に、該細胞の種類に応じた前記累積分布の傾きから該細胞の種類に固有の閾値を算出する固有閾値算出部を備え、
    前記固有の閾値に基づいて、前記細胞候補オブジェクトのうちから前記細胞オブジェクトを抽出することを特徴とする請求項1から請求項4のいずれか1項に記載の画像処理装置。
  6. 前記固有の閾値を補正する補正情報であって細胞の種類に固有の補正情報が該細胞の種類と関連付けられて記憶されている固有補正情報記憶部を備え、
    前記固有閾値算出部は、外部から入力された細胞の種類に応じた前記固有の補正情報を前記固有補正情報記憶部から読み出し、前記累積分布の微分値が極小となる前記形態的特徴量を算出し、該算出した形態的特徴量と前記読み出した固有の補正情報とに基づいて、前記固有の閾値を算出することを特徴とする請求項5に記載の画像処理装置。
  7. 前記抽出部が、所定の範囲で仮の固有の補正情報を変更する毎に、仮の固有の補正情報と前記極小となる形態的特徴量とに基づいて、仮の固有閾値を算出し、該算出した仮の固有閾値に基づいて前記細胞オブジェクトを抽出する請求項6に記載の画像処理装置であって、
    前記抽出部により抽出された前記細胞オブジェクトの数を認識数として前記変更された仮の固有の補正情報毎に計数する細胞計数部と、
    前記変更された仮の固有の補正情報毎に、前記認識数と前記画像データ中に含まれる前記細胞オブジェクトの数である細胞の視認数との差を算出する誤差算出部と、
    前記差が所定の範囲内となる仮の固有の補正情報のうちから前記固有の補正情報を前記細胞の種類毎に抽出し、前記細胞の種類と該抽出した固有の補正情報とを前記固有補正情報記憶部に関連づけて記憶させる固有補正情報設定部と、
    を更に備えることを特徴とする。
  8. 前記固有閾値算出部は、更に外部から入力された前記細胞の培養時間に応じて、前記固有の閾値を設定することを特徴とする請求項5から請求項7のいずれか1項に記載の画像処理装置。
  9. 前記累積分布算出部により算出された累積分布を基に、複数の前記細胞の種類に共通の閾値を算出する仮閾値算出部と、
    前記細胞候補オブジェクトのうちから、前記共通の閾値に基づいて、仮の細胞オブジェクトであるサンプルオブジェクトを抽出するサンプルオブジェクト抽出部と、
    前記抽出されたサンプルオブジェクトに基づいて、前記細胞の種類を推定する細胞種推定部と、
    を備え、
    前記固有閾値算出部は、前記推定された細胞の種類に応じた前記固有の補正情報を前記固有補正情報記憶部から読み出すことを特徴とする請求項6から請求項8のいずれか1項に記載の画像処理装置。
  10. 複数の前記細胞の種類に共通の補正情報が記憶されている共通補正情報記憶部を備え、
    前記仮閾値算出部は、前記共通の補正情報を前記共通補正情報記憶部から読み出し、前記累積分布の微分値が極小となる前記形態的特徴量を算出し、該算出した形態的特徴量と前記読み出した共通の補正情報とに基づいて、前記共通の閾値を算出することを特徴とする請求項9に記載の画像処理装置。
  11. 前記抽出部が、所定の範囲で仮の共通の補正情報を変更する毎に、仮の共通の補正情報と前記極小となる形態的特徴量とに基づいて、仮の共通の閾値を算出し、該算出した仮の共通の閾値に基づいて前記細胞オブジェクトを抽出する請求項10に記載の画像処理装置であって、
    各細胞の種類で、前記抽出部により抽出された前記細胞オブジェクトの数を認識数として前記変更された仮の共通の補正情報毎に計数する共通細胞計数部と、
    前記各細胞の種類で、前記認識数と前記画像データ中に含まれる前記細胞オブジェクトの数である細胞の視認数との差を前記変更された仮の共通の補正情報毎に算出する共通誤差算出部と、
    複数の細胞の種類に共通して前記差が所定の範囲内となる仮の共通の補正情報のうちから共通の補正情報を抽出し、該抽出した共通の補正情報を前記共通補正情報記憶部に記憶させる共通補正情報設定部と、
    を更に備えることを特徴とする。
  12. 前記仮閾値設定部は、前記細胞の培養時間に応じて、前記仮閾値を設定することを特徴とする請求項9から請求項11のいずれか1項に記載の画像処理装置。
  13. 前記抽出部は、
    前記累積分布を構成する前記形態的特徴量および前記累積分布の各点のうち、複数点を用いて前記累積分布の傾きを算出することを特徴とする請求項1から請求項12のいずれか1項に記載の画像処理装置。
  14. 前記抽出部は、
    前記累積分布に基づいて、前記ノイズに係るオブジェクトを推定するノイズ推定部と、
    前記細胞候補オブジェクトのうちから前記推定された前記ノイズに係るオブジェクトを除去するノイズ除去部と、
    を更に備えることを特徴とする請求項1から請求項13のいずれか1項に画像処理装置。
  15. 前記細胞候補オブジェクト抽出部は、
    細胞が撮像された画像データを2値化処理した2値化画像データを取得する2値化画像取得部と、
    前記2値化画像データから細胞オブジェクトの候補となる細胞候補オブジェクトを抽出する細胞候補オブジェクト抽出部と、
    を備えることを特徴とする請求項1から請求項14のいずれか1項に画像処理装置。
  16. 請求項1に記載の画像処理装置と、
    前記画像処理装置から抽出された前記細胞オブジェクトまたは前記ノイズに係るオブジェクトに基づいて、前記画像データに撮影された細胞を分類する細胞分類部と、
    を備えることを特徴とする細胞分類装置。
  17. 細胞又は細胞群を培養する培養容器を収容するとともに、所定の環境条件に内部を維持可能な恒温室と、
    前記恒温室内で前記培養容器に含まれる前記細胞又は細胞群の画像を撮像する撮像装置と、
    請求項1に記載の画像処理装置と、
    を備えることを特徴とするインキュベータ。
  18. 前記画像処理装置により抽出された前記細胞オブジェクトまたは前記ノイズに係るオブジェクトに基づいて、前記画像データに撮影された細胞を分類する細胞分類部を更に備えることを特徴とする請求項17に記載のインキュベータ。
  19. 前記細胞分類部で推定された細胞の情報を基に、前記恒温室の環境条件又は前記細胞を培養する培地を変更する培養条件制御部を備えることを特徴とする請求項18に記載のインキュベータ。
  20. 画像処理装置が実行する画像処理方法であって、
    細胞が撮像された画像データから細胞オブジェクトの候補となる細胞候補オブジェクトを抽出する細胞候補オブジェクト抽出手順と、
    前記細胞候補オブジェクトの形態的特徴量を抽出する特徴量抽出手順と、
    前記形態的特徴量に基づく値が所定の間隔毎に区分された際の区分毎の該形態的特徴量に基づく値の出現頻度または該区分毎の該形態的特徴量に基づく値のいずれか一方を順次加え合わせることで得られる累積分布を算出する累積分布算出手順と、
    前記累積分布に基づいて、前記細胞候補オブジェクトのうちから前記細胞オブジェクトまたは前記細胞オブジェクト以外のオブジェクトであるノイズに係るオブジェクトを抽出する抽出手順と、
    を有することを特徴とする画像処理方法。
  21. 請求項20の記載の画像処理方法と、
    前記画像処理方法により抽出された前記細胞オブジェクトまたは前記ノイズに係るオブジェクトに基づいて、画像データに撮影された細胞を分類する細胞分類手順と、
    を有することを特徴とする細胞分類方法。
  22. 画像処理装置としてのコンピュータに、
    細胞が撮像された画像データから細胞オブジェクトの候補となる細胞候補オブジェクトを抽出する細胞候補オブジェクト抽出ステップと、
    前記細胞候補オブジェクトの形態的特徴量を抽出する特徴量抽出ステップと、
    前記形態的特徴量に基づく値が所定の間隔毎に区分された際の区分毎の該形態的特徴量に基づく値の出現頻度または該区分毎の該形態的特徴量に基づく値のいずれか一方を順次加え合わせることで得られる累積分布を算出する累積分布算出ステップと、
    前記累積分布に基づいて、前記細胞候補オブジェクトのうちから前記細胞オブジェクトまたは前記細胞オブジェクト以外のオブジェクトであるノイズに係るオブジェクトを抽出する抽出ステップと、
    を実行させるための画像処理プログラム。
  23. 細胞分類装置としてのコンピュータに、
    請求項22に記載の画像処理プログラムと、
    前記画像処理プログラムから抽出された前記細胞オブジェクトまたは前記ノイズに係るオブジェクトに基づいて、画像データに撮影された細胞を分類するステップと、
    を実行させるための細胞分類プログラム。
JP2011042210A 2010-04-23 2011-02-28 画像処理装置、細胞分類装置、インキュベータ、画像処理方法、細胞分類方法、画像処理プログラムおよび細胞分類プログラム Expired - Fee Related JP5745290B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011042210A JP5745290B2 (ja) 2010-04-23 2011-02-28 画像処理装置、細胞分類装置、インキュベータ、画像処理方法、細胞分類方法、画像処理プログラムおよび細胞分類プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010100168 2010-04-23
JP2010100168 2010-04-23
JP2011042210A JP5745290B2 (ja) 2010-04-23 2011-02-28 画像処理装置、細胞分類装置、インキュベータ、画像処理方法、細胞分類方法、画像処理プログラムおよび細胞分類プログラム

Publications (2)

Publication Number Publication Date
JP2011243188A true JP2011243188A (ja) 2011-12-01
JP5745290B2 JP5745290B2 (ja) 2015-07-08

Family

ID=45409730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011042210A Expired - Fee Related JP5745290B2 (ja) 2010-04-23 2011-02-28 画像処理装置、細胞分類装置、インキュベータ、画像処理方法、細胞分類方法、画像処理プログラムおよび細胞分類プログラム

Country Status (1)

Country Link
JP (1) JP5745290B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014123143A1 (ja) * 2013-02-07 2014-08-14 大日本印刷株式会社 培地検査装置、培地情報登録システム、衛生管理システム、及びプログラム
WO2016203907A1 (ja) * 2015-06-16 2016-12-22 コニカミノルタ株式会社 画像処理装置、画像処理方法、および画像処理用のプログラム
WO2017158647A1 (ja) * 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
WO2018073859A1 (ja) * 2016-10-17 2018-04-26 ヤマハ発動機株式会社 細胞移動装置及び細胞移動方法
JP2019193587A (ja) * 2018-05-01 2019-11-07 国立大学法人 筑波大学 培養環境判定装置、培養環境判定方法、及びプログラム
JP2021041357A (ja) * 2019-09-12 2021-03-18 国立大学法人大阪大学 塗布装置
WO2021100191A1 (ja) * 2019-11-22 2021-05-27 オリンパス株式会社 細胞数情報の表示方法、システム、及び、プログラム
US11321585B2 (en) 2017-04-14 2022-05-03 Hitachi High-Tech Corporation Imaging device and morphological feature data display method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02162237A (ja) * 1988-12-15 1990-06-21 Toa Medical Electronics Co Ltd 粒度分布処理装置
JP2008141973A (ja) * 2006-12-07 2008-06-26 Foundation For Biomedical Research & Innovation 心筋細胞の培養増殖法
JP2009044974A (ja) * 2007-08-16 2009-03-05 Univ Nagoya 細胞の品質を予測する予測モデルの構築法、予測モデルの構築用ブログラム、該プログラムを記録した記録媒体、予測モデルの構築用装置
WO2009031283A1 (ja) * 2007-09-03 2009-03-12 Nikon Corporation 培養装置、培養情報管理方法およびプログラム
JP2009063508A (ja) * 2007-09-07 2009-03-26 Olympus Corp 細胞画像解析装置及び細胞画像解析ソフトウェア

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02162237A (ja) * 1988-12-15 1990-06-21 Toa Medical Electronics Co Ltd 粒度分布処理装置
JP2008141973A (ja) * 2006-12-07 2008-06-26 Foundation For Biomedical Research & Innovation 心筋細胞の培養増殖法
JP2009044974A (ja) * 2007-08-16 2009-03-05 Univ Nagoya 細胞の品質を予測する予測モデルの構築法、予測モデルの構築用ブログラム、該プログラムを記録した記録媒体、予測モデルの構築用装置
WO2009031283A1 (ja) * 2007-09-03 2009-03-12 Nikon Corporation 培養装置、培養情報管理方法およびプログラム
JP2009063508A (ja) * 2007-09-07 2009-03-26 Olympus Corp 細胞画像解析装置及び細胞画像解析ソフトウェア

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5605529B1 (ja) * 2013-02-07 2014-10-15 大日本印刷株式会社 培地検査装置、培地情報登録システム、衛生管理システム、及びプログラム
WO2014123143A1 (ja) * 2013-02-07 2014-08-14 大日本印刷株式会社 培地検査装置、培地情報登録システム、衛生管理システム、及びプログラム
US10641706B2 (en) 2015-06-16 2020-05-05 Konica Minolta, Inc. Cell morphology image processing and corrections
WO2016203907A1 (ja) * 2015-06-16 2016-12-22 コニカミノルタ株式会社 画像処理装置、画像処理方法、および画像処理用のプログラム
JPWO2016203907A1 (ja) * 2015-06-16 2018-04-05 コニカミノルタ株式会社 画像処理装置、画像処理方法、および画像処理用のプログラム
WO2017158647A1 (ja) * 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
US10755124B2 (en) 2016-03-17 2020-08-25 Nec Corporation Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
JPWO2017158647A1 (ja) * 2016-03-17 2018-11-15 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
US10318829B2 (en) 2016-03-17 2019-06-11 Nec Corporation Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
JPWO2018073859A1 (ja) * 2016-10-17 2019-06-24 ヤマハ発動機株式会社 細胞移動装置及び細胞移動方法
WO2018073859A1 (ja) * 2016-10-17 2018-04-26 ヤマハ発動機株式会社 細胞移動装置及び細胞移動方法
US11318463B2 (en) 2016-10-17 2022-05-03 Yamaha Hatsudoki Kabushiki Kaisha Cell transfer apparatus and cell transfer method
US11321585B2 (en) 2017-04-14 2022-05-03 Hitachi High-Tech Corporation Imaging device and morphological feature data display method
JP2019193587A (ja) * 2018-05-01 2019-11-07 国立大学法人 筑波大学 培養環境判定装置、培養環境判定方法、及びプログラム
JP2021041357A (ja) * 2019-09-12 2021-03-18 国立大学法人大阪大学 塗布装置
JP7397435B2 (ja) 2019-09-12 2023-12-13 国立大学法人大阪大学 塗布装置
WO2021100191A1 (ja) * 2019-11-22 2021-05-27 オリンパス株式会社 細胞数情報の表示方法、システム、及び、プログラム

Also Published As

Publication number Publication date
JP5745290B2 (ja) 2015-07-08

Similar Documents

Publication Publication Date Title
JP5745290B2 (ja) 画像処理装置、細胞分類装置、インキュベータ、画像処理方法、細胞分類方法、画像処理プログラムおよび細胞分類プログラム
JP6448129B2 (ja) 細胞評価装置、インキュベータ、細胞評価方法、プログラム、及び細胞の培養方法
JP5816416B2 (ja) 細胞評価装置、インキュベータ、プログラム、および、培養方法
JP5740101B2 (ja) 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
CN111724433B (zh) 一种基于多目视觉的作物表型参数提取方法及系统
CN106537422B (zh) 用于捕获信息内的关系的系统和方法
Versari et al. Long-term tracking of budding yeast cells in brightfield microscopy: CellStar and the Evaluation Platform
Williams et al. 3D segmentation of trees through a flexible multiclass graph cut algorithm
Ziamtsov et al. Machine learning approaches to improve three basic plant phenotyping tasks using three-dimensional point clouds
US10007834B2 (en) Detection control device, detection system, non-transitory storage medium, and detection control method
CN105868716A (zh) 一种基于面部几何特征的人脸识别方法
CN109101864A (zh) 基于关键帧和随机森林回归的人体上半身动作识别方法
JP2014525252A (ja) 組織分類のためのシステム及び方法
CN106780551B (zh) 一种三维运动目标检测方法和系统
WO2015193951A1 (ja) 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
JP7446616B2 (ja) 細胞の挙動の解析方法、およびその利用
CN110232331A (zh) 一种在线人脸聚类的方法及系统
Janssens-Coron et al. Ground point filtering from airborne lidar point clouds using deep learning: A preliminary study
Williams et al. Three-dimensional segmentation of trees through a flexible multi-class graph cut algorithm (MCGC)
JP6343874B2 (ja) 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
González-Barbosa et al. Dynamic measurement of portos tomato seedling growth using the kinect 2.0 sensor
CN117408913A (zh) 待测物体点云去噪方法、系统及装置
US12000868B2 (en) Waveform segmentation device and waveform segmentation method
JP5732201B2 (ja) 分類モデル生成装置、細胞分類装置、インキュベータ、細胞の培養方法及びプログラム
CN116627952A (zh) 一种遥感影像编目数据相似重复清洗方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150501

R150 Certificate of patent or registration of utility model

Ref document number: 5745290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees