JP2021045077A

JP2021045077A - 処理装置、処理方法、処理プログラム、観察装置、培養装置、培養システム、及び情報処理システム

Info

Publication number: JP2021045077A
Application number: JP2019169835A
Authority: JP
Inventors: 涼田本; Ryo Tamoto; 三村　正文; Masabumi Mimura; 正文三村
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2019-09-18
Filing date: 2019-09-18
Publication date: 2021-03-25

Abstract

【課題】画像に含まれる複数の対象物（例、複数の細胞を含む細胞群）を高精度に識別する方法の提供。【解決手段】複数の対象物を含む画像に基づいて、対象物を１つのクラスに分類した第１画像を生成する第１処理部１１０と、画像に基づいて、対象物ごとの領域に分離した第２画像を生成する第２処理部１２０と、第１画像と第２画像とに基づいて、画像に含まれる対象物のそれぞれを識別する第３処理部１３０と、を備える処理装置１００。【選択図】図３

Description

本発明は、処理装置、処理方法、処理プログラム、観察装置、培養装置、培養システム、及び情報処理システムに関する。

非特許文献１では、複数の細胞を含む画像に対して、Ｕ−Ｎｅｔと呼ばれるアルゴリズムにより細胞を分離する技術が開示されている。

Weikang Wang，David A．Taft，Yi‐Jiun Chen，Jingyu Zhang，Callen T．Wallace，Min Xu，Simon C．Watkins，Jianhua Xing、"Learn to segment single cells with deep distance estimator and deep cell detector"、［online］、［令和１年８月２８日検索］、インターネット＜https://arxiv.org/abs/1803.10829＞

第１の態様に従えば、複数の対象物を含む画像に基づいて、対象物を１つのクラスに分類した第１画像を生成する第１処理部と、画像に基づいて、対象物ごとの領域に分離した第２画像を生成する第２処理部と、第１画像と第２画像とに基づいて、画像に含まれる対象物のそれぞれを識別する第３処理部と、を備える処理装置が提供される。

第２の態様に従えば、複数の対象物を含む画像に基づいて、対象物を１つのクラスに分類した第１画像を生成することと、画像に基づいて、対象物ごとの領域に分離した第２画像を生成することと、第１画像と第２画像とに基づいて、画像に含まれる対象物のそれぞれを識別することと、を含む処理方法が提供される。

第３の態様に従えば、コンピュータに、複数の対象物を含む画像に基づいて、対象物を１つのクラスに分類した第１画像を生成することと、画像に基づいて、対象物ごとの領域に分離した第２画像を生成することと、第１画像と第２画像とに基づいて、画像に含まれる対象物のそれぞれを識別することと、を実行させる処理プログラムが提供される。

第４の態様に従えば、対象物の画像を取得する観察装置であって、上記の処理装置を備える、観察装置が提供される。

第５の態様に従えば、対象物を収容して培養する培養装置であって、上記の観察装置を備える、培養装置が提供される。

第６の態様に従えば、対象物を収容して培養する培養装置を含む培養システムであって、対象物の画像を取得する観察装置と、上記の処理装置とが、ネットワークを介して接続される、培養システムが提供される。

第７の態様に従えば、クラウドコンピューティングによりユーザ端末に解析情報を出力する情報処理システムであって、サーバを備え、サーバは、ネットワークを介して、複数の対象物を含む画像を取得する取得部と、画像に基づいて、対象物を１つのクラスに分類した第１画像を生成する第１処理部と、画像に基づいて、対象物ごとの領域に分離した第２画像を生成する第２処理部と、第１画像と第２画像とに基づいて、画像に含まれる対象物のそれぞれを識別した情報を含む解析情報を生成する第３処理部と、ネットワークを介して、解析情報をユーザ端末に出力する出力部と、を備える情報処理システムが提供される。

第１実施形態に係る処理装置を適用した培養システムの構成例を示す図。第１実施形態に係る培養システムの構成例を示すブロック図。第１実施形態に係る処理装置の機能構成例を示すブロック図。第１実施形態に係る強調画像の生成例を説明する図。第１実施形態に係る第２画像における領域ごとの細胞の重心を抽出する処理の例を説明する図。第１実施形態に係る第２画像における領域ごとの細胞を囲むオブジェクトの中心を抽出する処理の例を説明する図。第１実施形態に係る第２画像における領域ごとの細胞に含まれる核（細胞核）の重心を抽出する処理の例を説明する図。第１実施形態に係る第２画像における領域ごとの細胞に含まれる核（細胞核）を囲むオブジェクトの中心を抽出する処理の例を説明する図。第１実施形態に係る第２画像における領域ごとの細胞に内接するオブジェクトの中心を抽出する処理の例を説明する図。第１実施形態に係るウォーターシェッドを適用した例を説明する図。第１実施形態に係る確率値に関する情報の例を示す図。第１実施形態に係る所定位置の修正例を説明する図。第１実施形態に係る細胞の分離の例を説明する図。第１実施形態に係る細胞の合成の例を説明する図。第１実施形態に係る第１処理部における処理の流れの例を示すフローチャート。第１実施形態に係る第２処理部における処理の流れの例を示すフローチャート。第１実施形態に係る第３処理部における処理の流れの例を示すフローチャート。第１実施形態に係る表示制御部及び実行部における処理の流れの例を示すフローチャート。第１実施形態に係る表示制御部及び実行部における処理の流れの例を示すフローチャート。第２実施形態に係る情報処理システムの構成例を示す図。

以下、実施形態について図面を参照して説明する。図面においては実施形態を説明するため、一部分を大きく又は強調して表すなど適宜縮尺を変更して表現しており、実際の製品とは大きさ、形状が異なる場合がある。

［第１実施形態］
第１実施形態を説明する。図１は、第１実施形態に係る処理装置を適用した培養システムの構成例を示す図である。図２は、第１実施形態に係る培養システムの構成例を示すブロック図である。図３は、第１実施形態に係る処理装置の機能構成例を示すブロック図である。

培養システムＢＳは、大別して、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容及び保持するストッカ３と、培養容器１０内の試料を観察する観察ユニット（観察装置）５と、培養容器１０を搬送する搬送ユニット（搬送装置）４とを有する。加えて、培養システムＢＳは、システムの作動を制御する制御ユニット（制御装置）６と、表示装置を備える操作盤７とを有する。なお、培養室２、ストッカ３、及び搬送ユニット４等は、培養装置に相当する。

培養室２は、顕微鏡観察における細胞等の観察対象物の培養環境を形成するチャンバである。培養室２には、温度調整装置２１と、加湿器２２と、ガス供給装置２３と、循環ファン２４と、環境センサ２５とが設けられる。温度調整装置２１は、環境センサ２５と連携し、培養室２内の温度を所定の設定温度に調整する。加湿器２２は、環境センサ２５と連携し、培養室２内の湿度を所定の設定湿度に調整する。ガス供給装置２３は、環境センサ２５と連携し、ＣＯ_２ガス、Ｎ_２ガス、及びＯ_２等のガスを供給する。循環ファン２４は、環境センサ２５と連携し、培養室２内の気体（空気）を循環させ、温度調整するファンである。環境センサ２５は、培養室２の温度、湿度、二酸化炭素濃度、窒素濃度、及び酸素濃度等を検出する。

ストッカ３は、前後、及び上下に仕切られた棚状にて形成される。各棚には、例えば、固有の番地が設定される。培養容器１０は、培養する細胞の種別や目的等に応じて適宜選択される。培養容器１０は、例えば、ウェルプレート、フラスコ、又はディッシュタイプ等の培養容器でよい。培養容器１０には、細胞試料が液体培地とともに注入され、保持される。培養容器１０のそれぞれには、例えば、コード番号が付与される。培養容器１０は、付与されたコード番号に応じて、ストッカ３の指定番地に対応付けて収容される。搬送ユニット４は、培養室２の内部に設けられた、上下移動可能なＺステージ４１と、前後移動可能なＹステージ４２と、左右移動可能なＸステージ４３とを有する。支持アーム４５は、Ｘステージ４３の先端側において、培養容器１０を持ち上げ、支持する。

観察ユニット５は、第１照明部５１と、第２照明部５２と、第３照明部５３と、マクロ観察系５４と、顕微観察系５５と、処理装置１００とを有する。第１照明部５１は、試料台１５の下側から試料を照明する。第２照明部５２は、顕微観察系５５の光軸に沿って、試料台１５の上方から試料を照明する。第３照明部５３は、顕微観察系５５の光軸に沿って、試料台１５の下方から試料を照明する。マクロ観察系５４は、試料のマクロ観察を実施する。顕微観察系５５は、試料のミクロ観察を実施する。試料台１５には、顕微観察系５５の観察領域において、ガラス等の透明な窓部１６が設けられる。

マクロ観察系５４は、観察光学系５４ａと、観察光学系５４ａにより結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有する。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像を取得する。顕微観察系５５は、対物レンズ、中間変倍レンズ、及び蛍光フィルタ等を含む観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有する。対物レンズ、及び中間変倍レンズは、それぞれが複数設けられてもよい。対物レンズ、及び中間変倍レンズについては、レンズの組み合わせを変化させることで、任意の観察倍率に設定可能に構成される。顕微観察系５５は、第２照明部５２が照明した細胞の透過像と、第３照明部５３が照明した細胞の反射像と、第３照明部５３が照明した細胞の蛍光像とを取得する。つまり、顕微観察系５５は、培養容器１０内の細胞を顕微鏡観察した顕微観察像を取得する。

処理装置１００は、マクロ観察系５４の撮像装置５４ｃ、及び顕微観察系５５の撮像装置５５ｃから入力された信号を処理し、全体観察画像、及び顕微観察画像等の画像を生成する。また、処理装置１００は、全体観察画像、及び顕微観察画像に画像解析を施し、タイムラプス画像の生成、細胞の移動方向の予測、細胞の運動状態の解析、及び細胞塊の複層化の状態の解析等を実施する。なお、処理装置１００の詳細については後述する。

制御ユニット６は、ＣＰＵ（Central Processing Unit）（プロセッサ）６１と、ＲＯＭ（Read Only Memory）６２と、ＲＡＭ（Random Access Memory）６３とを有する。ＣＰＵ６１は、制御ユニット６を統括し、制御ユニット６において各種の処理を実行する。ＲＯＭ６２は、培養システムＢＳに関する制御プログラム、及び制御データ等を記憶する。ＲＡＭ６３は、ハードディスクやＤＶＤ（Digital Versatile Disc）等の補助記憶装置を含み、観察条件や画像データ等を一時記憶する。制御ユニット６には、培養室２、搬送ユニット４、観察ユニット５、及び操作盤７等の各構成機器が接続される（図２参照）。

ＲＡＭ６３は、例えば、観察プログラムに応じた培養室２の環境条件、及び観察スケジュール、観察ユニット５における観察種別、観察位置、及び観察倍率等を記憶する。また、ＲＡＭ６３は、観察ユニット５が撮影した画像データを記憶する記憶領域を含み、該画像データと、培養容器１０のコード番号や撮影日時等を含むインデックスデータとを対応付けて記憶する。

操作盤７は、操作パネル７１と、表示パネル７２とを有する。操作パネル（操作部、入力部）７１は、キーボード、マウス、及びスイッチ等の入出力機器（操作部、入力部）を含む。ユーザは、操作パネル７１を操作し、観察プログラムの設定、条件の選択、及び動作指令等を入力する。通信部６５は、有線又は無線の通信規格に準拠して構成され、観察装置５、培養システムＢＳ、又は制御ユニット６に接続される外部の機器（例、サーバ、ユーザのクライアント端末等）との間でデータを送受信する。

上述した培養システムＢＳにおいて、処理装置１００は、撮像装置５５ｃが撮影した顕微観察画像のタイムラプス画像に基づいて、画像に含まれる複数の細胞を識別（特定）する機能を有する。例えば、後述するように、処理装置１００は、タイムラプス画像に基づき、画像に含まれる複数の細胞を個別に特定する。図３に示すように、処理装置１００は、第１処理部１１０と、第２処理部１２０と、第３処理部１３０と、表示制御部１４０と、実行部１５０とを有する。なお、処理装置１００に含まれる各機能は、１つの機能ブロックとしたり、複数の機能ブロックとしたりしてもよく、適宜、統合、及び分散することができる。

第１処理部１１０は、複数の対象物（例、複数の細胞を含む細胞群）を含む画像に基づいて、対象物を１つのクラスに分類した第１画像を生成する。複数の対象物を含む画像は、撮像装置５５ｃが撮影した顕微観察画像に相当する。つまり、対象物は、一つの様態として、細胞を指す。例えば、第１処理部１１０は、複数の細胞を含む顕微観察画像に対して、Ｕ−Ｎｅｔ等のアルゴリズム（例、第１の処理、学習型処理）を適用する。なお、第１処理部１１０において適用するアルゴリズムは、Ｕ−Ｎｅｔに限らない。以下、第１処理部１１０において適用可能なアルゴリズムの例を記載する。

Ｃｉｒｅｓａｎ
https://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf
ＦＣＮ
https://arxiv.org/abs/1411.4038
https://arxiv.org/abs/1505.04597
ＳｅｇＮｅｔ
https://arxiv.org/abs/1511.00561
ＤｅｅｐＬａｂ
https://arxiv.org/abs/1412.7062
https://arxiv.org/abs/1606.00915

上記の各手法では、画像における１つの細胞、又は２つ以上の細胞を１つのクラスに分類する。換言すると、上記の各手法では、顕微観察画像に含まれる個々の細胞に対して、２つ以上の細胞を、１つの細胞として分類（クラス分け）してしまう場合がある。例えば、第１処理部１１０では、１つの細胞を１つの「細胞Ａ」として１つのクラスに分類する場合もあるし、２つ又は複数（２つ以上）の細胞を１つの「細胞Ｂ」として１つのクラスに分類する場合がある。なお、第１処理部１１０は、２つ又は複数の細胞を「細胞Ｂ」とする場合において、「細胞Ｂ」が複数の細胞で構成されていることを認識できるわけではない。また、第１処理部１１０によるクラスの分類は、顕微観察画像のピクセル単位で実施される。例えば、第１処理部１１０は、「ピクセルＡ（画像上の座標）」、「ピクセルＢ（画像上の座標）」、「ピクセルＣ（画像上の座標）」を含む１つの細胞「細胞Ａ」として、１つのクラスにする。第１処理部１１０は、上記処理により第１画像を生成する。なお、上記処理によって、第１画像では、２つ以上の細胞が１つのクラスに分類された情報を含むが、クラスのそれぞれについてのセグメンテーションの精度は高く、一定以上の高い精度を担保できている。

また、画像に含まれるオブジェクト（例えば、細胞等）の検出に関しては、以下の各手法が存在する。
ディープラーニングにおけるセマンティックセグメンテーション
https://postd.cc/semantic-segmentation-deep-learning-review/
ＲＣＮＮ
https://arxiv.org/abs/1311.2524
ＦａｓｔＲＣＮＮ
https://www.cv-foundation.org/openaccess/content_iccv_2015/html/Girshick_Fast_R-CNN_ICCV_2015_paper.html
ＦａｓｔｅｒＲＣＮＮ
http://papers.nips.cc/paper/5638-faster-r-cnn-towards-real-time-object-detection-with-region-proposal-networks
ＹＯＬＯｖ１，ｖ２，ｖ３
https://arxiv.org/abs/1506.02640
https://arxiv.org/abs/1612.08242
https://arxiv.org/abs/1804.02767
ＳＳＤ
https://arxiv.org/abs/1512.02325

第２処理部１２０は、第１処理部１１０とは種類の異なる手法及び処理を用いて、複数の対象物を含む画像に基づいて、対象物ごとの領域に分離した第２画像を生成する。例えば、第２処理部１２０は、複数の細胞を含む顕微観察画像に対して、ＭａｓｋＲＣＮＮ（https://arxiv.org/abs/1703.06870参照）等のアルゴリズム（例、第２の処理、学習型処理）を適用する。なお、第２処理部１２０において適用するアルゴリズムは、ＭａｓｋＲＣＮＮに限らない。

ＭａｓｋＲＣＮＮでは、複数の細胞を含む顕微観察画像から、細胞ごとの領域に分離することができる。例えば、第２処理部１２０では、ある境界で分離された領域（例、１つの細胞の領域）を「細胞Ａ」としてある１つのクラスに分類し、他の境界で分離された領域（例、１つの細胞の領域）を「細胞Ｂ」として他の１つのクラスに分類する。第２処理部１２０によるクラスの分類は、第１処理部１１０と同様に、顕微観察画像のピクセル単位で実施される。第２処理部１２０は、上記処理により第２画像を生成する。上記処理によって、第２画像では、クラスのそれぞれについてのセグメンテーションの精度に加え、１つの細胞を１つのクラスに分類する精度が高く、一定以上の高い精度を担保できる。

第３処理部１３０は、第１画像と第２画像とに基づいて、複数の対象物を含む画像に含まれる対象物のそれぞれを識別（特定）する。例えば、第３処理部１３０は、第１処理部１１０が生成した第１画像を取得する。そして、第３処理部１３０は、第１画像をチャネルごとに分割し、２以上のチャネル画像に基づいて、細胞を強調した強調画像を生成する。

図４は、上記の第３処理部１３０による第１実施形態に係る強調画像の生成例を説明する図である。図４に示すように、第３処理部１３０は、第１画像をチャネルごとに分割した各画像を生成する。チャネルは、例えば、第１チャネルを「背景」、第２チャネルを「細胞境界」、第３チャネルを「細胞領域」とする。なお、第３処理部１３０は、第１チャネル、第２チャネル、及び第３チャネルのほかに、第４チャネルを「核（細胞核）」として、第１画像を分割した画像を生成してもよい。また、分割するチャネルの種類は、上記に限られない。

第１画像は、各チャネルの情報として、チャネルのそれぞれに該当する確率（例、背景に対応する確率、細胞境界に対応する確率、細胞領域に対応する確率等）を示す確率値に関する情報を含む。第３処理部１３０は、確率値に関する情報に基づいて、第１画像をチャネルごとに分割した画像を生成する。第３処理部１３０は、例えば、第１画像のピクセル単位に確率値を確認し、確率値がより高いチャネルを表現する画像を生成する。図４では、第１チャネルに対応する背景画像、第２チャネルに対応する細胞境界画像、第３チャネルに対応する細胞領域画像を生成した例を挙げている。そして、第３処理部１３０は、細胞境界画像と細胞領域画像とを用いて、細胞領域から細胞境界を除去し、細胞を強調した強調画像を生成する。

図３の説明に戻る。次に、第３処理部１３０は、第２処理部１２０が生成した第２画像を取得する。そして、第３処理部１３０は、第２画像における領域ごとの細胞に対応する所定位置（位置情報）を抽出する。所定位置は、例えば、細胞の重心、細胞を囲むオブジェクトの中心、細胞に含まれる所定物の重心、細胞に含まれる所定物を囲むオブジェクトの中心、及び細胞に内接するオブジェクトの中心等である。細胞に含まれる所定物は、例えば、核（細胞核）である。

図５は、上記の第３処理部１３０による第１実施形態に係る第２画像における領域ごとの細胞の重心を抽出する処理の例を説明する図である。図５に示すように、第３処理部１３０は、第２画像における領域ごとの細胞の座標から重心位置を算出する。第２画像は、上述したように、クラスのそれぞれについてのセグメンテーションの精度に加え、１つの細胞を１つのクラスに分類する精度についても一定以上を担保できる。従って、第３処理部１３０は、一定以上の精度で細胞ごとの境界が確定できる第２画像を用いて、境界部分の座標、及び境界内部の座標等から、該第２画像における領域ごとの細胞の重心位置を高精度に算出する。図５では、各クラスに分類された細胞の重心位置を三角で示した例を挙げ、第２画像において重心位置を明示した重心位置画像としている。

図６は、第１実施形態に係る第２画像における領域ごとの細胞を囲むオブジェクトの中心を抽出する処理の例を説明する図である。なお、図６では、説明を簡易にするために、第２画像に含まれる１つの細胞Ｃｅ（１つのクラス）のみを例に挙げて説明する。図６に示すように、第３処理部１３０は、第２画像における領域ごとの細胞Ｃｅを囲むオブジェクトＯｂの座標を算出する。オブジェクトＯｂは、１つの細胞（１つのクラス）に外接する図形であり、バウンディングボックス等を含む。バウンディングボックスは、例えば、図形を描く際に、該図形がちょうど入るのに要する大きさの矩形とする。オブジェクトＯｂは、矩形でなくてもよく、楕円及び多角形等の任意の図形でよい。第３処理部１３０は、例えば、細胞Ｃｅの輪郭（境界部分）から外郭の極大値をとることでオブジェクトＯｂの座標を算出する。そして、第３処理部１３０は、オブジェクトＯｂの座標から、オブジェクトＯｂの中心位置ＩＰを算出する。

第２画像は、上述したように、クラスのそれぞれについてのセグメンテーションの精度に加え、１つの細胞を１つのクラスに分類する精度が高く、一定以上の高精度を担保できる。従って、第３処理部１３０は、一定以上の精度で細胞Ｃｅごとの境界が確定できる第２画像を用いて、境界部分の座標から、該第２画像における領域ごとの細胞Ｃｅに外接するオブジェクトＯｂの座標を求めて、オブジェクトＯｂの中心位置ＩＰを算出する。図６では、オブジェクトＯｂの中心位置ＩＰを三角で示した例を挙げている。

図７は、第１実施形態に係る第２画像における領域ごとの細胞に含まれる核（細胞核）の重心を抽出する処理の例を説明する図である。なお、図７では、説明を簡易にするために、第２画像に含まれる１つの細胞Ｃｅ（１つのクラス）のみを例に挙げて説明する。図７に示すように、第３処理部１３０は、第２画像における領域ごとの細胞Ｃｅに含まれる核ＣｅＮ（細胞核）の座標から、核ＣｅＮ（細胞核）の重心位置ＩＰを算出する。

第２画像は、上述したように、クラスのそれぞれについてのセグメンテーションの精度に加え、１つの細胞を１つのクラスに分類する精度が高く、一定以上の高精度を担保できる。また、第２画像は、核（細胞核）のセグメンテーションの精度も高く、一定以上の高精度を担保できる。従って、第３処理部１３０は、一定以上の精度で細胞Ｃｅに含まれる核ＣｅＮ（細胞核）の境界が確定できる第２画像を用いて、核ＣｅＮ（細胞核）の座標から、該第２画像における領域ごとの細胞Ｃｅに含まれる核ＣｅＮ（細胞核）の重心位置ＩＰを算出する。なお、図７では、核ＣｅＮ（細胞核）の重心位置ＩＰを三角で示した例を挙げている。

図８は、第１実施形態に係る第２画像における領域ごとの細胞に含まれる核（細胞核）を囲むオブジェクトの中心を抽出する処理の例を説明する図である。なお、図８では、説明を簡易にするために、第２画像に含まれる１つの細胞Ｃｅ（１つのクラス）のみを例に挙げて説明する。図８に示すように、第３処理部１３０は、第２画像における領域ごとの細胞Ｃｅに含まれる核ＣｅＮ（細胞核）を囲むオブジェクトＯｂの座標を算出する。オブジェクトＯｂは、核（細胞核）に外接する図形であり、バウンディングボックス等を含む。オブジェクトＯｂは、矩形でなくてもよく、楕円及び多角形等の任意の図形でよい。第３処理部１３０は、例えば、核ＣｅＮ（細胞核）の輪郭から外郭の極大値をとることでオブジェクトＯｂの座標を算出する。そして、第３処理部１３０は、オブジェクトＯｂの座標から、オブジェクトＯｂの中心位置ＩＰを算出する。

第２画像は、上述したように、クラスのそれぞれについてのセグメンテーションの精度に加え、１つの細胞を１つのクラスに分類する精度が高く、一定以上の高精度を担保できる。また、第２画像は、核（細胞核）のセグメンテーションの精度も高く、一定以上の高精度を担保できる。従って、第３処理部１３０は、一定以上の精度で細胞Ｃｅに含まれる核ＣｅＮ（細胞核）の境界が確定できる第２画像を用いて、核ＣｅＮ（細胞核）の座標から、核ＣｅＮ（細胞核）に外接するオブジェクトＯｂの座標を求めて、オブジェクトＯｂの中心位置ＩＰを算出する。図８では、オブジェクトＯｂの中心位置ＩＰを三角で示した例を挙げている。

図９は、第１実施形態に係る第２画像における領域ごとの細胞に内接するオブジェクトの中心を抽出する処理の例を説明する図である。なお、図９では、説明を簡易にするために、第２画像に含まれる１つの細胞Ｃｅ（１つのクラス）のみを例に挙げて説明する。図９に示すように、第３処理部１３０は、第２画像における領域ごとの細胞Ｃｅに内接するオブジェクトＯｂの座標を算出する。オブジェクトＯｂは、１つの細胞（１つのクラス）に内接する図形であり、楕円、矩形、及び多角形等の任意の図形でよい。そして、第３処理部１３０は、オブジェクトＯｂの座標から、オブジェクトＯｂの中心位置ＩＰを算出する。

また、対象物の形状によって、内接するオブジェクトＯｂを表現できない場合は、以下の処理を実施する。第３処理部１３０は、例えば、細胞Ｃｅの輪郭（境界部分）から、任意の２点（２座標）を抽出し、該２点を頂点（楕円であれば外周）に含む図形を、細胞Ｃｅの輪郭方向に変形（拡張）したオブジェクトＯｂ（細胞Ｃｅに内接するオブジェクトＯｂ）の座標を算出する。算出するオブジェクトＯｂの座標は、例えば、矩形及び多角形であれば頂点座標であり、楕円であれば抽出した２点とは異なる外周上の２点以上の任意の座標とする。そして、第３処理部１３０は、オブジェクトＯｂの座標から、オブジェクトＯｂの中心位置ＩＰを算出する。

第２画像は、上述したように、クラスのそれぞれについてのセグメンテーションの精度に加え、１つの細胞を１つのクラスに分類する精度が高く、一定以上の高精度を担保できる。従って、第３処理部１３０は、一定以上の精度で細胞Ｃｅごとの境界が確定できる第２画像を用いて、境界部分の座標から、該第２画像における領域ごとの細胞Ｃｅに内接するオブジェクトＯｂの座標を求めて、オブジェクトＯｂの中心位置ＩＰを算出する。図９では、オブジェクトＯｂの中心位置ＩＰを三角で示した例を挙げている。

図３の説明に戻る。次に、第３処理部１３０は、生成した強調画像を２値化し、２値化した強調画像に対して、抽出した所定位置に基づく画像分割処理を実行する。画像分割処理は、例えば、ウォーターシェッド（Watershed）を含む。ウォーターシェッド（Watershed）は、画像中に含まれる複数の対象物を分離するアルゴリズムであり、接触する対象物であっても好適に分離することができる。画像分割処理は、ウォーターシェッド（Watershed）に限定されない。画像分割処理は、例えば、閾値法、グラフカット法、動的輪郭法、マルコフ確率場、クラスタリング（混合正規分布モデル近似、ｋ平均法）等を含む。本実施形態では、ウォーターシェッド（Watershed）を採用する場合を例に挙げる。

図１０は、第１実施形態に係るウォーターシェッドを適用した例を説明する図である。なお、図１０では、所定位置として重心を抽出した重心位置画像を利用する場合を例に挙げる。図１０に示すように、第３処理部１３０は、細胞領域から細胞境界を除去することで細胞を強調した強調画像を２値化する。そして、第３処理部１３０は、第２画像における領域ごとの細胞に対応する重心位置を抽出した重心位置画像に基づいて、２値化した強調画像に対してウォーターシェッド（Watershed）を適用し、１細胞ラベル画像を生成する。なお、第３処理部１３０は、２値化した強調画像に対してウォーターシェッド（Watershed）を適用することに限定されず、細胞領域のチャネル画像（細胞領域の確率値画像、図４参照）に対してウォーターシェッド（Watershed）を適用してもよい。つまり、第３処理部１３０は、細胞領域のチャネル画像をもとに、確率値を利用して細胞境界を決定し、細胞領域のチャネル画像から、決定した細胞境界を除去することで、上述した強調画像と同様の画像を得ることができる。

重心位置の利用に関して、第３処理部１３０は、例えば、細胞として表現される前景部に、２値化した強調画像に含まれる重心が存在すれば、該重心をシードとして、ウォーターシェッド（Watershed）を適用する。つまり、第３処理部１３０は、細胞として表現される前景部に重心が存在する場合に、細胞の尤もらしい重心であると認識する。シードとは、ウォーターシェッド（Watershed）適用の対象とすることを示す前景部に対するマークである。ウォーターシェッド（Watershed）では、シードを含む前景部に対して処理が実施される。一方、第３処理部１３０は、２値化した強調画像に含まれる細胞として表現される前景部に重心が存在しなければ、該重心を除去し（該重心をシードとして設定せず）、ウォーターシェッド（Watershed）を適用する。第３処理部１３０は、ウォーターシェッド（Watershed）が適用された処理結果画像として、複数の細胞から１つ１つの細胞に領域分離し各細胞をラベリングした１細胞ラベル画像を得る。これらの結果、第３処理部１３０は、２つ以上の細胞を区別して細胞を個別に認識することができる。なお、１細胞ラベル画像におけるラベリングは、１つ１つの細胞が領域分割されて１細胞（又は１細胞の境界）を他細胞（又は他細胞の境界）と区別して認識できればよい。

図３の説明に戻る。表示制御部１４０は、処理結果画像を表示部に表示する。例えば、表示制御部１４０は、第３処理部１３０が生成した処理結果画像である１細胞ラベル画像を受け付けて、受信した１細胞ラベル画像の表示パネル７２への表示を制御する。ユーザは、表示パネル７２に表示された１細胞ラベル画像を確認することができる。また、表示制御部１４０は、１細胞ラベル画像を、重心等の所定位置とともに表示してもよい。さらに、表示制御部１４０は、確率値に関する情報を表示してもよい。

ユーザは、表示パネル７２に表示された１細胞ラベル画像を確認し、各細胞について、望ましい分離結果となっているかを確認する。確認の結果、ユーザは、望ましい分離結果となっていないと判断した細胞について、操作パネル７１を利用し、画像における重心等の所定位置を修正する操作を行う。また、ユーザは、操作パネル７１を利用し、画像における細胞（又は細胞領域）を分離する操作を行うこともできる。また、ユーザは、操作パネル７１を利用し、画像における細胞（又は細胞領域）を合成する操作を行うこともできる。

実行部１５０は、処理結果画像の修正処理を実行する。例えば、実行部１５０は、ユーザ操作に応じた操作パネル７１からの指令を受け付けて、重心等の所定位置の修正を実行する。図１１は、第１実施形態に係る確率値に関する情報の例を示す図である。図１２は、第１実施形態に係る画像における所定位置の修正例を説明する図である。なお、図１２では、説明を簡易にするために、１つのクラスとされた細胞のみを例に挙げて説明する。

まず、ユーザは、表示制御部１４０の制御に従って表示パネル７２に表示された１細胞ラベル画像（図１２参照）と、確率値に関する情報（図１１参照）とを確認する。ユーザは、画像における重心等の所定位置を修正すべきと考えた場合、１細胞ラベル画像における重心位置ＩＰを修正する操作を行う。図１２の上方に示す１細胞ラベル画像では、例えば、細胞Ｃｅの中央付近に重心位置ＩＰが配置された結果であることが分かる。ユーザは、確率値に関する情報も確認しながら、重心位置ＩＰの修正を要すると認識する。図１１に示す確率値に関する情報において、ユーザは、例えば、確率値のピークＰＡ、ＰＢが存在するにもかかわらず、細胞Ｃｅに対して１つの重心位置ＩＰのみが存在することを認識する。

ここで、ユーザは、１つの重心位置ＩＰが存在する細胞Ｃｅについて、実際には複数の細胞であると考える。図１２の下方に示すように、ユーザは、操作パネル７１を操作し、１つのクラスとしたい細胞ＣｅＡの重心位置ＩＰＡと、１つのクラスとしたい細胞ＣｅＢの重心位置ＩＰＢとを設定する。その後、ユーザは、修正処理を実行する操作（実行ボタン等のオブジェクトの押下）を行う。これらの結果、実行部１５０は、操作パネル７１からの指令（例、信号）を受け付けて、画像における重心等の所定位置の修正を実行する。

図１３は、第１実施形態に係る画像における細胞（又は細胞領域）の分離の例を説明する図である。なお、図１３では、説明を簡易にするために、１つのクラスとされた細胞のみを例に挙げて説明する。まず、ユーザは、表示制御部１４０の制御に従って表示パネル７２に表示された１細胞ラベル画像（図１３参照）と、確率値に関する情報（図１１参照）とを確認する。ユーザは、細胞を分離すべきと考えた場合、１細胞ラベル画像において分離する細胞を指定する操作を行う。図１３の上方に示す１細胞ラベル画像では、例えば、細胞Ｃｅが存在することが分かる。ユーザは、確率値に関する情報も確認しながら、細胞Ｃｅの分離を要すると認識する。図１１に示す確率に関する情報において、ユーザは、例えば、確率値のピークＰＡ、ＰＢが存在するにもかかわらず、細胞Ｃｅを１つのクラスとしていることを認識する。

ここで、ユーザは、細胞Ｃｅについて、実際には複数の細胞であると考える。図１３の下方に示すように、ユーザは、操作パネル７１を操作し、上記の処理によって１つのクラスとされた細胞Ｃｅを、１つのクラスとしたい細胞ＣｅＡと、１つのクラスとしたい細胞ＣｅＢとに分ける線を引く。その後、ユーザは、修正処理を実行する操作（実行ボタン等のオブジェクトの押下）を行う。これらの結果、実行部１５０は、操作パネル７１からの指令を受け付けて、１つのクラスとされた細胞を複数のクラスとする細胞に分離する処理を実行する。

図１４は、第１実施形態に係る画像における細胞（又は細胞領域）の合成の例を説明する図である。なお、図１４では、説明を簡易にするために、１つのクラスとされた細胞の２つを例に挙げて説明する。まず、ユーザは、表示制御部１４０の制御に従って表示パネル７２に表示された１細胞ラベル画像（図１４参照）を確認する。ユーザは、細胞を合成すべきと考えた場合、１細胞ラベル画像において合成する細胞を指定する操作を行う。図１４の上方示す１細胞ラベル画像では、例えば、細胞ＣｅＡと細胞ＣｅＢとが存在することが分かる。ユーザは、細胞ＣｅＡ及び細胞ＣｅＢの合成を要すると認識する。

図１４の下方に示すように、ユーザは、操作パネル７１を操作し、上記の処理によって１つのクラスとされた細胞ＣｅＡと、１つのクラスとされた細胞ＣｅＢとを、１つのクラスとしたい細胞Ｃｅに合成する枠を設定する。その後、ユーザは、修正処理を実行する操作（実行ボタン等のオブジェクトの押下）を行う。これらの結果、実行部１５０は、操作パネル７１からの指令を受け付けて、異なるクラスとされた細胞を１つのクラスとする細胞に合成する処理を実行する。

図３の説明に戻る。第３処理部１３０は、実行部１５０による実行結果に基づいて、画像に含まれる対象物のそれぞれの識別に関して再学習することが可能である。例えば、第３処理部１３０は、実行部１５０による実行結果である修正処理が実行された１細胞ラベル画像を取得する。そして、第３処理部１３０は、修正処理が実行された１細胞ラベル画像を利用して、細胞領域（ピクセル）及び細胞領域のバウンディングボックス等の再学習を実施する。つまり、再学習では、修正処理が実行された１細胞ラベル画像を入力とすることで、以降における細胞領域や細胞領域のバウンディングボックス等の、画像に含まれる対象物のそれぞれの識別に関しての精度を高めることができる。

図１５は、第１実施形態に係る第１処理部における処理の流れの例を示すフローチャートである。ステップＳ１０１において、第１処理部１１０は、複数の細胞を含む画像を取得する。例えば、第１処理部１１０は、観察ユニット５の撮像装置５５ｃ等が撮影した顕微観察画像を取得する。

ステップＳ１０２において、第１処理部１１０は、細胞を１つのクラスに分類した第１画像を生成する。例えば、第１処理部１１０は、複数の細胞を含む顕微観察画像に対して、Ｕ−Ｎｅｔ等のアルゴリズムを適用し、１つの細胞、又は２つ以上の細胞を１つのクラスに分類した第１画像を生成する。

図１６は、第１実施形態に係る第２処理部における処理の流れの例を示すフローチャートである。ステップＳ２０１において、第２処理部１２０は、複数の細胞を含む画像を取得する。例えば、第２処理部１２０は、観察ユニット５の撮像装置５５ｃ等が撮像した顕微観察画像を取得する。

ステップＳ２０２において、第２処理部１２０は、細胞ごとの領域に分離した第２画像を生成する。例えば、第２処理部１２０は、複数の細胞を含む顕微観察画像に対して、ＭａｓｋＲＣＮＮ等のアルゴリズムを適用し、細胞ごとの領域に分離した第２画像を生成する。

図１７は、第１実施形態に係る第３処理部における処理の流れの例を示すフローチャートである。ステップＳ３０１において、第３処理部１３０は、第１画像を取得する。例えば、第３処理部１３０は、第１処理部１１０が生成した第１画像を取得する。ステップＳ３０２において、第３処理部１３０は、第１画像をチャネルごとに分割する。例えば、第３処理部１３０は、第１チャネルを「背景」、第２チャネルを「細胞境界」、第３チャネルを「細胞領域」として、第１画像から、背景画像、細胞境界画像、及び細胞領域画像を生成する。

ステップＳ３０３において、第３処理部１３０は、細胞を強調した強調画像を生成する。例えば、第３処理部１３０は、細胞境界画像と細胞領域画像とを用いて、細胞領域から細胞境界を除去し、細胞を強調した強調画像を生成する。なお、第３処理部１３０は、細胞領域画像と確率値とに基づいて、細胞領域から細胞境界（確率値に基づいて決定された細胞境界）を除去することで得られる画像を利用してもよい。ステップＳ３０４において、第３処理部１３０は、強調画像を２値化する。

ステップＳ３０５において、第３処理部１３０は、第２画像を取得する。例えば、第３処理部１３０は、第２処理部１２０が生成した第２画像を取得する。ステップＳ３０６において、第３処理部１３０は、細胞ごとに重心を抽出する。例えば、第３処理部１３０は、第２画像における領域ごとの細胞の座標から、細胞ごとに重心位置を算出する。重心位置は、後で実行されるウォーターシェッド（Watershed）適用時に、シードとなる。

ステップＳ３０７において、第３処理部１３０は、重心が前景部に存在するかを判定する。ステップＳ３０７における処理は、全ての重心について実施される。例えば、第３処理部１３０は、細胞として表現される前景部に、２値化した強調画像に含まれる重心が存在する場合に（ステップＳ３０７：Ｙｅｓ）、ステップＳ３０９において、該重心をシードとして確定する。一方、第３処理部１３０は、細胞として表現される前景部に重心が存在しない場合に（ステップＳ３０７：Ｎｏ）、該重心を除去する。

ステップＳ３１０において、第３処理部１３０は、ウォーターシェッド（Watershed）を適用する。例えば、第３処理部１３０は、第２画像における領域ごとの細胞に対応する重心位置を抽出した重心位置画像に基づいて、２値化した強調画像に対してウォーターシェッド（Watershed）を適用し、１細胞ラベル画像を生成する。なお、利用される重心位置画像は、ステップＳ３０８において重心を除外した後の画像である。

このように、本実施形態における制御ユニット６又は処理装置１００は、例えば、図１０等で説明したように、第１処理部１１０、第２処理部１２０、及び第３処理部１３０を用いた細胞ごとのセグメンテーション処理（例、第１の処理、第２の処理、領域分割としてのウォーターシェッド処理）によって１細胞ラベル画像を生成できる。例えば、制御ユニット６又は処理装置１００は、第１処理部１１０による第１の処理と、第２処理部１２０による第２の処理とをそれぞれ別々のプロセスとして並行処理し、その後に確率値に関する情報を用いた処理や第３処理部１３０のウォーターシェッド処理等によって１細胞ラベル画像を生成する。

図１８は、第１実施形態に係る表示制御部及び実行部における処理の流れの例を示すフローチャートである。なお、図１８では、主に、重心位置の修正処理を説明する。ステップＳ４０１において、表示制御部１４０は、第３処理部１３０が生成した１細胞ラベル画像を取得する。ステップＳ４０２において、表示制御部１４０は、重心位置とともに、１細胞ラベル画像を表示する。例えば、表示制御部１４０は、取得した１細胞ラベル画像を重心位置等とともに、表示パネル７２に表示する制御を行う。このとき、表示制御部１４０は、確率値に関する情報も表示パネル７２に表示させてもよい。ユーザは、表示パネル７２に表示された１細胞ラベル画像等を確認する。また、ユーザは、操作パネル７１を利用して、重心位置等を修正する操作を行う。

ステップＳ４０３において、実行部１５０は、重心位置を修正する。例えば、実行部１５０は、表示制御部１４０による１細胞ラベル画像等の表示後に、操作パネル７１から、重心位置等の修正の指令を受け付ける。そして、実行部１５０は、１細胞ラベル画像における重心位置の修正を実行する。ステップＳ４０４において、第３処理部１３０は、再学習処理を実行する。例えば、第３処理部１３０は、実行部１５０による実行結果である修正処理が実行された１細胞ラベル画像を取得し、画像における対象物のそれぞれの識別に関する再学習を実施する。

図１９は、第１実施形態に係る表示制御部及び実行部における処理の流れの例を示すフローチャートである。なお、図１９では、主に、細胞の分離処理又は合成処理を説明する。ステップＳ５０１において、表示制御部１４０は、第３処理部１３０が生成した１細胞ラベル画像を取得する。ステップＳ５０２において、表示制御部１４０は、１細胞ラベル画像を表示する。例えば、表示制御部１４０は、取得した１細胞ラベル画像を、重心位置、及び確率値に関する情報等とともに、表示パネル７２に表示する制御を行う。ユーザは、表示パネル７２に表示された１細胞ラベル画像等を確認する。また、ユーザは、操作パネル７１を利用して、画像における細胞を分離、及び合成する操作を行う。

ステップＳ５０３において、実行部１５０は、細胞の分離処理（合成処理）を実行する。例えば、実行部１５０は、表示制御部１４０による１細胞ラベル画像等の表示後に、操作パネル７１から、細胞の分離、及び合成の指令を受け付ける。そして、実行部１５０は、１細胞ラベル画像において指定された細胞の分離、及び合成を実行する。ステップＳ５０４において、第３処理部１３０は、再学習処理を実行する。例えば、第３処理部１３０は、実行部１５０による実行結果である細胞の分離、及び合成が実行された１細胞ラベル画像を取得し、画像における対象物のそれぞれの識別に関する再学習を実施する。

［第２実施形態］
次に、第２実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。

図２０は、第２実施形態に係る情報処理システムの構成例を示す図である。図２０に示すように、情報処理システムＳＹＳは、ユーザ端末としての端末装置８０と、サーバとしての処理装置１００と、培養システムＢＳとを有する。端末装置８０と、処理装置１００とは、ネットワークＮを介して、相互に通信可能に接続される。ネットワークＮは、例えば、インターネット、移動体通信網、及びローカルネットワークのいずれであってもよく、これらの複数種類のネットワークが組み合わされたネットワークであってもよい。なお、培養システムＢＳ内には、上記実施形態で説明した構成とは異なり、処理装置１００が含まれていなくてよい。

端末装置８０は、複数のゲートウェイ装置８０ａで構成される。ゲートウェイ装置８０ａは、培養システムＢＳと有線又は無線により接続される。なお、情報処理システムＳＹＳでは、複数の培養システムＢＳが端末装置８０を介して処理装置１００に接続される構成としているが、これに限られず、単数の培養システムＢＳが端末装置８０を介して処理装置１００に接続される構成でもよい。また、処理装置１００は、情報処理システムＳＹＳにおいて、複数設けられていてもよいし、単数であってもよい。また、各処理装置１００には、上記実施形態で説明した各種の機能が、全て含まれてもよいし、分散的に含まれてもよい。また、本実施形態の処理装置１００は、上述した構成（第１処理部１１０、第２処理部１２０、第３処理部１３０、表示制御部１４０、及び実行部１５０の少なくとも１つ又は全て）に加え、制御ユニット６の各構成（ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３）、通信部６５を備える。つまり、本実施形態に係る処理装置１００は、クラウドコンピューティングにより実現することができる。

情報処理システムＳＹＳでは、ユーザ側の端末（ユーザ端末）となる培養システムＢＳ又は端末装置８０から、撮影した画像を処理装置１００に送信し、処理装置１００側で解析を行い、解析情報をユーザへ提供する。例えば、サーバとしての処理装置１００は、取得部（例、通信部６５）において、ネットワークＮを介して、複数の対象物を含む画像を、端末装置８０又は培養システムＢＳから取得する。そして、処理装置１００は、第１処理部１１０において、複数の対象物を含む画像に基づいて、対象物を１つのクラスに分類した第１画像を生成する。また、処理装置１００は、第２処理部１２０において、複数の対象物を含む画像に基づいて、対象物ごとの領域に分離した第２画像を生成する。そして、処理装置１００は、第３処理部１３０において、第１画像と第２画像とに基づいて、画像に含まれる対象物のそれぞれを識別した情報を含む解析情報を生成する。その後、処理装置１００は、出力部（例、ＣＰＵ６１）において、第３処理部１３０が生成した解析情報を、ネットワークＮを介して、端末装置８０又は培養システムＢＳに出力する。

上述してきた実施形態において、処理装置１００は、例えば、コンピュータシステムを含む。処理装置１００は、ＲＯＭ６２に記憶された処理プログラムを読み出し、読み出した処理プログラムに従って各種の処理を実行する。かかる処理プログラムは、例えば、コンピュータに、複数の対象物を含む画像に基づいて、対象物を１つのクラスに分類した第１画像を生成することと、画像に基づいて、対象物ごとの領域に分離した第２画像を生成することと、第１画像と第２画像とに基づいて、画像に含まれる対象物のそれぞれを識別することと、を実行させる。この処理プログラムは、コンピュータ読み取り可能な記憶媒体（例えば、非一時的な記憶媒体、non‐transitory tangible media）に記録されて提供されてもよい。

なお、技術範囲は、上述した実施形態等で説明した態様に限定されるものではない。上述した実施形態等で説明した要件の１つ以上は、省略されることがある。また、上述した実施形態等で説明した要件は、適宜、組み合わせることができる。また、法令で許容される限りにおいて、上述した実施形態等で引用した全ての文献の開示を援用して本文の記載の一部とする。

ＢＳ・・・培養システム、２・・・培養室、３・・・ストッカ、４・・・搬送ユニット、５・・・観察ユニット、６・・・制御ユニット、７・・・操作盤、５４ｃ・・・撮像装置、５５ｃ・・・撮像装置、７１・・・操作パネル、７２・・・表示パネル、１００・・・処理装置、１１０・・・第１処理部、１２０・・・第２処理部、１３０・・・第３処理部、１４０・・・表示制御部、１５０・・・実行部

Claims

複数の対象物を含む画像に基づいて、前記対象物を１つのクラスに分類した第１画像を生成する第１処理部と、
前記画像に基づいて、前記対象物ごとの領域に分離した第２画像を生成する第２処理部と、
前記第１画像と前記第２画像とに基づいて、前記画像に含まれる前記対象物のそれぞれを識別する第３処理部と、
を備える、処理装置。
前記１つのクラスには、２つ以上の前記対象物が含まれる、請求項１に記載の処理装置。
前記第３処理部は、異なる前記対象物である確率を示す確率値に関する情報を用いて、前記画像に含まれる前記対象物のそれぞれを識別する、請求項１又は請求項２に記載の処理装置。
前記第３処理部は、前記第２画像における前記領域ごとの前記対象物に対応する所定位置を抽出する、請求項１から請求項３のいずれか一項に記載の処理装置。
前記第３処理部は、前記第１画像に対して、前記所定位置に基づく画像分割処理を実行する、請求項４に記載の処理装置。
前記第３処理部は、ウォーターシェッドを含む前記画像分割処理を実行する、請求項５に記載の処理装置。
前記所定位置は、前記対象物の重心であり、
前記第３処理部は、前記第２画像から抽出した前記対象物の前記重心に基づいて、前記第１画像に対して前記画像分割処理を実行する、請求項５又は請求項６に記載の処理装置。
前記所定位置は、前記対象物を囲むオブジェクトの中心であり、
前記第３処理部は、前記第２画像から抽出した前記対象物を囲む前記オブジェクトの中心に基づいて、前記第１画像に対して前記画像分割処理を実行する、請求項５又は請求項６に記載の処理装置。
前記所定位置は、前記対象物に含まれる所定物の重心であり、
前記第３処理部は、前記第２画像から抽出した前記対象物に含まれる前記所定物の前記重心に基づいて、前記第１画像に対して前記画像分割処理を実行する、請求項５又は請求項６に記載の処理装置。
前記所定位置は、前記対象物に含まれる所定物を囲むオブジェクトの中心であり、
前記第３処理部は、前記第２画像から抽出した前記所定物を囲む前記オブジェクトの中心に基づいて、前記第１画像に対して前記画像分割処理を実行する、請求項５又は請求項６に記載の処理装置。
前記所定位置は、前記対象物に内接するオブジェクトの中心であり、
前記第３処理部は、前記第２画像から抽出した前記対象物に内接する前記オブジェクトの中心に基づいて、前記第１画像に対して前記画像分割処理を実行する、請求項５又は請求項６に記載の処理装置。
前記第３処理部は、前記第１画像をチャネルごとに分割し、２以上のチャネル画像に基づいて、前記対象物を強調した強調画像を生成し、生成した前記強調画像に対して、前記画像分割処理を実行する、請求項５から請求項１１のいずれか一項に記載の処理装置。
前記第３処理部は、前記第１画像に基づいて、前記対象物の領域に対応する領域画像を生成し、前記領域画像から、異なる前記対象物である確率を示す確率値に基づく前記対象物の境界を除去し、前記対象物の前記境界を除去した前記領域画像を、前記対象物を強調した強調画像として、前記強調画像に対して前記画像分割処理を実行する、請求項５から請求項１１のいずれか一項に記載の処理装置。
前記第３処理部は、前記強調画像を２値化し、２値化した前記強調画像に対して、前記画像分割処理を実行する、請求項１２又は請求項１３に記載の処理装置。
前記画像分割処理が実行された処理結果画像を表示部に表示する表示制御部と、
ユーザの指示に基づいて、前記処理結果画像の修正処理を実行する実行部と、を備える、請求項５から請求項１４のいずれか一項に記載の処理装置。
前記表示制御部は、前記処理結果画像を前記所定位置とともに表示し、
前記実行部は、前記処理結果画像における前記所定位置を修正する、請求項１５に記載の処理装置。
前記実行部は、前記処理結果画像において識別された前記対象物を分離する、請求項１５又は請求項１６に記載の処理装置。
前記実行部は、前記処理結果画像において識別された前記対象物を合成する、請求項１５から請求項１７のいずれか一項に記載の処理装置。
前記表示制御部は、異なる前記対象物である確率を示す確率値に関する情報を表示する、請求項１５から請求項１８のいずれか一項に記載の処理装置。
前記第３処理部は、前記実行部による実行結果に基づいて、前記画像に含まれる前記対象物のそれぞれの識別に関して再学習する、請求項１５から請求項１９のいずれか一項に記載の処理装置。
複数の対象物を含む画像に基づいて、前記対象物を１つのクラスに分類した第１画像を生成することと、
前記画像に基づいて、前記対象物ごとの領域に分離した第２画像を生成することと、
前記第１画像と前記第２画像とに基づいて、前記画像に含まれる前記対象物のそれぞれを識別することと、
を含む、処理方法。
コンピュータに、
複数の対象物を含む画像に基づいて、前記対象物を１つのクラスに分類した第１画像を生成することと、
前記画像に基づいて、前記対象物ごとの領域に分離した第２画像を生成することと、
前記第１画像と前記第２画像とに基づいて、前記画像に含まれる前記対象物のそれぞれを識別することと、
を実行させる、処理プログラム。
対象物の画像を取得する観察装置であって、
請求項１から請求項２０のいずれか一項に記載の処理装置を備える、観察装置。
対象物を収容して培養する培養装置であって、
請求項２３に記載の観察装置を備える、培養装置。
対象物を収容して培養する培養装置を含む培養システムであって、
前記対象物の画像を取得する観察装置と、
請求項１から請求項２０のいずれか一項に記載の処理装置とが、ネットワークを介して接続される、培養システム。
クラウドコンピューティングによりユーザ端末に解析情報を出力する情報処理システムであって、
サーバを備え、
前記サーバは、
ネットワークを介して、複数の対象物を含む画像を取得する取得部と、
前記画像に基づいて、前記対象物を１つのクラスに分類した第１画像を生成する第１処理部と、
前記画像に基づいて、前記対象物ごとの領域に分離した第２画像を生成する第２処理部と、
前記第１画像と前記第２画像とに基づいて、前記画像に含まれる前記対象物のそれぞれを識別した情報を含む前記解析情報を生成する第３処理部と、
前記ネットワークを介して、前記解析情報を前記ユーザ端末に出力する出力部と、
を備える、情報処理システム。