JP2021061804A - コンピュータプログラム、細胞計数方法及び細胞計数装置 - Google Patents

Abstract

【課題】細胞同士が重なっているものを含めて、撮像して得られた画像に含まれる細胞の数を正確に計測することができるコンピュータプログラム、細胞計数方法、細胞計数装置、画像表示処理装置、画像表示処理方法の提供。【解決手段】複数の細胞を撮像して得られた第１画像を取得し、一又は複数の細胞を含む画像が入力された場合、複数の細胞が重なっているときであっても、一又は複数の細胞それぞれの核部分を表した第２画像が出力されるように機械学習させた学習済みニューラルネットワークに対して、取得した第１画像を入力させることにより、第１画像に含まれる細胞の核部分を検出し、検出された核部分の数を計測する、コンピュータプログラム、細胞計数方法及び細胞計数装置。【選択図】図１２

Description

本開示は、コンピュータプログラム、細胞計数方法及び細胞計数装置に関する。

人を含む動物由来の培養細胞が再生医療、創薬研究などの応用分野において広く利用されている。培養細胞を利用する際、生きた細胞の状態を正確に判断する必要がある。培養細胞を非侵襲的に観察する手段としては位相差顕微鏡が用いられる。観察記録作業は、位相差顕微鏡を用いて得られた顕微鏡画像を用いて行われる。

特許文献１には、画像解析により培養容器中の細胞の数を計測する細胞解析装置が開示されている。特許文献１の細胞解析装置は、細胞を培養している培養容器内の細胞の画像を取得する細胞画像取得部と、取得した画像の輝度値を平滑化する平滑化処理部と、平滑化された輝度値の極小値を検出する極小値検出部と、検出された極小値から細胞の大きさに応じた範囲内で最小となる最小極小値を抽出する最小極小値抽出部と、抽出された最小極小値の数を計数する計数部と、計数された極小値数に基づいて培養容器内の細胞数を算出する細胞数算出部とを備える。

国際公開第２０１６／１２１０６５号

特許文献１に係る細胞解析装置においては、顕微鏡画像に含まれる細胞の数を正確に計測できないという技術的問題があった。所要の検査を行うために細胞を播種すると、顕微鏡画像上で細胞が重なることがある。特許文献１の細胞解析装置においては、重なった細胞は無視して計数される。このため細胞の数が規定数に到達するまでに大量の顕微鏡画像が必要となる。

本開示の目的は、細胞同士が重なっているものを含めて、撮像して得られた画像に含まれる細胞の数を正確に計測することができるコンピュータプログラム、細胞計数方法、細胞計数装置、画像表示処理装置、画像表示処理方法を提供することにある。

本態様に係るコンピュータに、複数の細胞を撮像して得られた第１画像を取得する処理と、一又は複数の細胞を含む画像が入力された場合に前記一又は複数の細胞それぞれの核部分を表した第２画像が出力されるように機械学習させた学習済みニューラルネットワークに対して、取得した前記第１画像を入力させることにより、前記第１画像に含まれる細胞の核部分を検出する核部分検出処理と、検出された核部分の数を細胞数として算出する計数処理とを実行させる。

本態様に係る細胞計数方法は、複数の細胞を撮像して得られた第１画像を取得し、一又は複数の細胞を含む画像が入力された場合に前記一又は複数の細胞それぞれの核部分を表した第２画像が出力されるように機械学習させた学習済みニューラルネットワークに対して、取得した前記第１画像を入力させることにより、前記第１画像に含まれる細胞の核部分を検出し、検出された核部分の数を細胞数として算出する。

本態様に係る細胞計数装置は、複数の細胞を撮像して得られた第１画像を取得する画像取得部と、一又は複数の細胞を含む画像が入力された場合に前記一又は複数の細胞それぞれの核部分を表した第２画像が出力されるように機械学習させた学習済みニューラルネットワークに対して、取得した前記第１画像を入力させることにより、前記第１画像に含まれる細胞の核部分を検出する核部分検出部と、検出された核部分の数を細胞数として算出する計数部とを備える。

本態様に係るコンピュータプログラムは、コンピュータに、複数の細胞を撮像して得られた第１画像中に、前記複数の細胞に対応付けて、該細胞の数を示す画像を前記第１画像上に表示する処理と、前記第１画像中に、他の細胞と重なっていない単独の細胞がある場合、前記単独の細胞に対応付けて、該細胞の数が単数であることを示す画像を前記第１画像上に表示する処理とを実行させる。

本態様に係る画像表示処理方法は、複数の細胞を撮像して得られた第１画像中に、重なった複数の細胞の塊がある場合、前記複数の細胞に対応付けて、該細胞の数を示す画像を前記第１画像上に表示し、前記第１画像中に、他の細胞と重なっていない単独の細胞がある場合、前記単独の細胞に対応付けて、該細胞の数が単数であることを示す画像を前記第１画像上に重畳させる。

本態様に係る画像表示処理装置は、複数の細胞を撮像して得られた第１画像に対して画像処理を行う制御部を備え、前記制御部は、前記第１画像中に、重なった複数の細胞の塊がある場合、前記複数の細胞に対応付けて、該細胞の数を示す画像を前記第１画像上に重畳し、前記第１画像中に、他の細胞と重なっていない単独の細胞がある場合、前記単独の細胞に対応付けて、該細胞の数が単数であることを示す画像を前記第１画像上に重畳させる処理を実行する。

本態様に係る学習済みニューラルネットワーク生成方法は、入力層、畳み込み層、畳み込み層及び出力層を有する未学習のニューラルネットワークを用意し、１つの細胞を含む第１の部分画像及び該細胞の核部分を表した第１の画像と、２つ以上の細胞を含む第２の部分画像及び該細胞の核部分を表した第２の画像とを含む学習用データを用意し、前記未学習のニューラルネットワークの前記入力層に前記学習用データの部分画像が入力された場合に、前記出力層から対応する前記画像が出力されるように、前記未学習のニューラルネットワークを深層学習させる。

本態様に係る学習済みニューラルネットワーク生成方法は、入力層、畳み込み層、畳み込み層及び出力層を有する未学習のニューラルネットワークを用意し、１つの細胞を含む第１の部分画像及び該細胞の核部分を表した第１の画像と、２つ以上の細胞を含む第２の部分画像及び該細胞の核部分を表した第２の画像と、細胞以外のオブジェクトを含む第３の部分画像及び核部分を含まない第３の画像とを含む学習用データを用意し、前記未学習のニューラルネットワークの前記入力層に前記学習用データの部分画像が入力された場合に、前記出力層から対応する前記画像が出力されるように、前記未学習のニューラルネットワークを深層学習させる。

上記によれば、細胞同士が重なっているものを含めて、撮像して得られた画像に含まれる細胞の数を高精度で計測することができる。

実施形態１に係る細胞計数システムの構成例を説明するブロック図である。 実施形態１に係る細胞計数装置の機能ブロック図である。 学習済みニューラルネットワークの構成を示す説明図である。 学習済みニューラルネットワークの動作を示す説明図である。 実施形態１に係る制御部の処理手順を示すフローチャートである。 顕微鏡画像の一例を示す説明図である。 細胞領域抽出処理手順を示すフローチャートである。 マスク画像の一例を示す説明図である。 細胞領域に係る部分画像の抽出方法を示す説明図である。 部分画像の抽出例を示す説明図である。 核部分検出処理手順を示すフローチャートである。 核部部分の検出例を示す説明図である。 細胞計数処理手順を示すフローチャートである。 細胞計数結果の表示処理手順を示すフローチャートである。 細胞計数結果の表示処理手順を示すフローチャートである。 細胞数及び細胞の輪郭画像が重畳された顕微鏡画像を示す説明図である。 細胞計数結果の表示例を示す説明図である。 拡大表示された部分画像を示す説明図である。 細胞数を示す画像の他の例を示す説明図である。 実施形態２に係る表示処理手順を示すフローチャートである。 実施形態３に係る細胞計数結果の表示例を示す説明図である。 実施形態４に係る細胞計数システムを示すブロック図である。 学習済みニューラルネットワークの再学習に係る処理手順を示すフローチャートである。

本開示の実施形態に係るコンピュータプログラム、細胞計数方法及び細胞計数装置の具体例を、以下に図面を参照しつつ説明する。なお、本開示はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

以下、本開示をその実施形態を示す図面に基づいて具体的に説明する。
（実施形態１）
図１は実施形態１に係る細胞計数システムの構成例を説明するブロック図である。実施形態１に係る細胞計数システムは、細胞計数装置１と、撮像装置２と、表示装置３と、入力装置４とを備える。

細胞計数装置１はコンピュータである。細胞計数装置１は、本実施形態に係る画像表示処理装置として機能する。細胞計数装置１は、当該コンピュータの各構成部の動作を制御する制御部１１を備える。制御部１１には、バスを介して記憶部１２、画像入力部１３、画像出力部１４及び入力Ｉ／Ｆ１５が接続されている。

撮像装置２は、培養容器Ａに播種された複数の細胞を観察することが可能な位相差顕微鏡に設けられる。撮像装置２は、位相差顕微鏡で観察される複数の細胞を含む画像を撮像し、撮像して得た顕微鏡画像（第１画像）Ｐ０を出力する。なお、本実施形態１では顕微鏡を用いて撮像された顕微鏡画像Ｐ０を例にして説明するが、必ずしも顕微鏡を用いて撮像された画像に限定されるものでは無い。細胞が識別可能に含まれる画像であれば足りる。

記憶部１２は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の不揮発性メモリである。記憶部１２は、一部の細胞が重なり合っている場合であっても、顕微鏡画像Ｐ０に含まれる細胞の数を高精度で計測することが可能な細胞計数方法と、細胞計数結果を効果的に表示することが可能な画像表示処理方法とをコンピュータに実施させるためのコンピュータプログラム５ａを記憶している。コンピュータプログラム５ａには、顕微鏡画像Ｐ０から細胞の核部分を検出するため学習済みニューラルネットワーク６（図３、図４参照）が含まれる。
本実施形態に係るコンピュータプログラム５ａは、記録媒体５にコンピュータ読み取り可能に記録されている態様でも良い。記憶部１２は、図示しない読出装置によって記録媒体５から読み出されたコンピュータプログラム５ａを記憶する。記録媒体５はフラッシュメモリ等の半導体メモリである。また、記録媒体５はＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、ＢＤ（Blu-ray(登録商標)Disc）等の光ディスクでも良い。更に、記録媒体５は、フレキシブルディスク、ハードディスク等の磁気ディスク、磁気光ディスク等であっても良い。更にまた、図示しない通信網に接続されている図示しない外部通信サーバ（不図示）から本実施形態に係るコンピュータプログラム５ａをダウンロードし、記憶部１２に記憶させても良い。

制御部１１は、ＣＰＵ（Central Processing Unit）、マルチコアＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の内部記憶装置を有する。制御部１１には、バスを介して記憶部１２、画像入力部１３、画像出力部１４及び入力Ｉ／Ｆ１５が接続されている。制御部１１は、記憶部１２が記憶するコンピュータプログラム５ａを実行することにより、顕微鏡画像Ｐ０に含まれる細胞を計数する処理と、細胞計数結果を表示する処理とを実行する。

画像入力部１３には撮像装置２が接続される。画像入力部１３には、撮像装置２にて撮像された顕微鏡画像Ｐ０が入力される。制御部１１は画像入力部１３に入力された顕微鏡画像Ｐ０を取得し、記憶部１２に記憶させる。

画像出力部１４には表示装置３が接続される。表示装置３は液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ等である。制御部１１は、細胞計数結果を示す画像を、画像出力部１４を介して表示装置３へ出力する。表示装置３は、細胞計数結果を示す画像を表示する。

入力Ｉ／Ｆ１５には、入力装置４は例えばキーボード、マウス等の入力装置４が接続される。

図２は実施形態１に係る細胞計数装置１の機能ブロック図である。細胞計数装置１は、機能部としての画像取得部１ａ、細胞領域抽出部１ｂ、核部分検出部１ｃ、計数部１ｄ及び表示処理部１ｅを備える。

画像取得部１ａは、外部から顕微鏡画像Ｐ０を取得する機能部である（図６参照）。例えば、画像取得部１ａは、撮像装置２から顕微鏡画像Ｐ０を取得する。一般的に顕微鏡画像Ｐ０には、一部の細胞は重なり合っている細胞が含まれる。以下、本実施形態においては、顕微鏡画像Ｐ０に細胞が重なり合っていない細胞と、細胞が重なり合っている細胞とが含まれているものとして説明する。なお、画像取得部１ａは、顕微鏡画像Ｐ０が蓄積されている外部の記憶装置から顕微鏡画像Ｐ０を読み出すことによって、当該顕微鏡画像Ｐ０を取得しても良い。

細胞領域抽出部１ｂ、取得した顕微鏡画像Ｐ０に含まれる細胞領域の部分画像Ｐ１を抽出する機能部である（図９及び図１０参照）。他の細胞と重なり合っていない細胞については、細胞領域抽出部１ｂは、単独の当該細胞を包含する領域の部分画像Ｐ１を抽出する。複数の細胞が重なりあっている細胞については、細胞領域抽出部１ｂは、当該複数の細胞を包含する領域の部分画像Ｐ１を抽出する。

核部分検出部１ｃは、抽出された部分画像Ｐ１に含まれる細胞の核部分を検出する機能部である（図１２参照）。本実施形態に係る核部分検出装置は学習済みニューラルネットワーク６を用いて、部分画像Ｐ１に含まれる核部分を検出する。学習済みニューラルネットワーク６は、一又は複数の細胞を含む画像が入力された場合、複数の細胞が重なっているときであっても、一又は複数の細胞それぞれの核部分を表した核画像（第２画像）Ｐ２が出力されるように機械学習させたニューラルネットワークである。核部分検出部１ｃは、部分画像Ｐ１を当該学習済みニューラルネットワーク６に入力させて核画像Ｐ２を出力させることによって、核部分を検出する。

計数部１ｄは、核部分検出部１ｃによって検出された核部分を、部分画像Ｐ１に含まれる細胞の数として計数する機能部である。たとえ、複数の細胞が重なり合っていた場合であっても、核が重なりあっていなければ、核部分を計数することによって、細胞の数をより高精度で算出することができる。

表示処理部１ｅは、細胞計数結果を示す画像を表示装置３に出力する機能部である（図１６、図１７参照）。例えば、表示処理部１ｅは、細胞領域として抽出された部分画像Ｐ１毎に、細胞の数を記号で示す記号画像Ｃ１を細胞画像の近傍に重畳させて表示する。また、抽出された細胞の輪郭を示す画像を顕微鏡画像Ｐ０に重畳させて表示する。

図３は学習済みニューラルネットワーク６の構成を示す説明図、図４は学習済みニューラルネットワーク６の動作を示す説明図である。学習済みニューラルネットワーク６は、例えばＵ−Ｎｅｔである。Ｕ−Ｎｅｔはオートエンコーダの一種である。Ｕ−Ｎｅｔによれば、セマンティック・セグメンテーション、つまり画像単位で画像に含まれるオブジェクトラベル付けを行うことが可能である。本実施形態では、学習済みニューラルネットワーク６に細胞の画像が入力された場合、細胞の核部分及び背景を異なる画素値により画素単位で表すセグメンテーションマップ画像である核画像Ｐ２が出力される。

学習済みニューラルネットワーク６は、入力層６１と、畳み込み層６２と、逆畳み込み層６３と、出力層６４とを備える。入力層６１には部分画像Ｐ１、つまり一又は複数の細胞の画像を含む細胞領域の画像が入力される。
畳み込み層６２は、画像データの次元圧縮を行い、画像の特徴を抽出する層である。例えば、図４に示すように、入力された部分画像Ｐ１のデータに対して、畳み込み処理及びプーリング処理が複数回行われ、次元圧縮される。図４中、白抜き右向き矢印は、畳み込み処理が行われていることを示し、黒塗り下向き矢印はプーリング処理が行われていることを示している。横向き細線矢印は、畳み込み層６２から、畳み込み処理対象の画像のデータを同階層の逆畳み込み層６３へ引き渡されていることを示す。
逆畳み込み層６３は、畳み込み層６２で次元圧縮されたデータを元の次元に復元する層である。図４に示すように、次元圧縮されたデータに対して、アンプーリング処理及び畳み込み処理が複数回行われ、元の次元に復元される。当該復元によって、入力された部分画像Ｐ１は、当該部分画像Ｐ１の特徴を表した核画像Ｐ２として復元される。図４中、白抜き右向き矢印は、畳み込み処理が行われていることを示し、黒塗り上向き矢印はアンプーリング処理が行われていることを示している。
出力層６４は、畳み込み層６２及び逆畳み込み層６３にて特徴抽出が行われた核画像Ｐ２を出力する。

核画像Ｐ２は、細胞に対応する画素がクラス「１」（白画像）、背景画像に対応する画素がクラス「０」（黒画像）の画像である（図１２参照）。

上記学習済みニューラルネットワーク６の生成方法は以下の通りである。
まず、学習用データを用意する。学習用データは、図１２上部に示すような部分画像Ｐ１と、図１２下部に示すような核画像Ｐ２（教師データ）との組みである。学習用データには、１つの細胞が含まれる部分画像Ｐ１と、当該部分画像Ｐ１に基づいて作成した核画像Ｐ２とが含まれる。また、学習用データには、複数の細胞が含まれる部分画像Ｐ１と、当該部分画像Ｐ１に基づいて作成した核画像Ｐ２とが含まれる。更に、学習用データには、細胞以外のオブジェクトが含まれる部分画像Ｐ１と、当該部分画像Ｐ１に基づいて作成した核画像Ｐ２とが含まれる。
そして、学習用の部分画像Ｐ１を未学習のニューラルネットワークに入力し、当該ニューラルネットワークから核画像Ｐ２が出力されるように、ニューラルネットワークを深層学習させる。

図５は実施形態１に係る制御部１１の処理手順を示すフローチャートである。制御部１１は、撮像装置２から顕微鏡画像Ｐ０を取得する（ステップＳ１）。

図６は顕微鏡画像Ｐ０の一例を示す説明図である。顕微鏡画像Ｐ０には複数の細胞の画像が含まれる。上記の通り、顕微鏡画像Ｐ０に他の細胞と重なり合っていない単独の細胞と、複数の細胞が重なり合っているものとが含まれている。

次いで、制御部１１は、顕微鏡画像Ｐ０から細胞領域の部分画像Ｐ１を抽出する細胞領域抽出処理を実行する（ステップＳ２）。そして、制御部１１は核部分検出処理を実行し（ステップＳ３）、細胞数計数処理を実行する（ステップＳ４）。制御部１１は、細胞計数結果の表示処理を実行し（ステップＳ５）、処理を終える。
以下、核処理の詳細を説明する。

図７は細胞領域抽出処理手順を示すフローチャート、図８はマスク画像Ｍの一例を示す説明図、図９は細胞領域に係る部分画像Ｐ１の抽出方法を示す説明図、図１０は部分画像Ｐ１の抽出例を示す説明図である。

制御部１１は、顕微鏡画像Ｐ０に対して、エッジ検出処理、二値化処理及びモルフォロジー処理を施すことによって、細胞領域を示すマスク画像Ｍを生成する（ステップＳ１１）。生成された複数のマスク画像Ｍは数値でラベリングされる。マスク画像Ｍは、図８に示すように細胞に相当する部分が「１」（白）、背景部分が「０」（黒）の画像である。
なお、図８は単数の細部のマスク画像Ｍであるが、制御部１１は、複数の細胞が重なりあっているもの対しても同様の処理でマスク画像Ｍを生成する。マスク画像Ｍにおいては、複数の細胞は区別されず、複数の細胞が重なりあった塊全体が「１」（白）となる。
また、マスク画像Ｍの生成段階においては、制御部１１は、細胞であるか否かの判別を行っていないため、細胞以外のオブジェクトを示すマスク画像Ｍも生成され得る。

次いで、制御部１１は変数Ｎに１を代入する（ステップＳ１２）。変数Ｎは、複数のマスク画像Ｍそれぞれを示す数値である。制御部１１は、図９に示すように、顕微鏡画像Ｐ０から、第Ｎ番目のマスク画像Ｍに対応する領域の画像を切り出し（ステップＳ１３）、マスク領域外を黒色に変換した部分画像Ｐ１を作成する（ステップＳ１４）。

次いで、制御部１１は、変数Ｎがマスク画像Ｍの総数であるか否かを判定する（ステップＳ１５）。つまり、全ての細胞領域の部分画像Ｐ１が抽出されたか否かを判定する。変数Ｎがマスク画像Ｍの総数で無いと判定した場合（ステップＳ１５：ＮＯ）、制御部１１はＮに１を加算し（ステップＳ１６）、処理をステップＳ１３へ戻す。変数Ｎがマスク画像Ｍの総数であると判定した場合（ステップＳ１５：ＹＥＳ）、制御部１１は、細胞領域抽出処理を終える。

図７に示す一連の処理によって、顕微鏡画像Ｐ０に含まれる様々な部分画像Ｐ１が抽出される。例えば、図１０に示すように、重なり合った２つの細胞を含む部分画像Ｐ１１、重なり合った３つの細胞を含む部分画像Ｐ１２、一つの細胞の部分画像Ｐ１３、細胞以外のオブジェクトを含む部分画像Ｐ１４等が抽出される。

図１１は核部分検出処理手順を示すフローチャート、図１２は核部部分の検出例を示す説明図である。

制御部１１は、変数Ｎに１を代入する（ステップＳ３１）。変数Ｎは、部分画像Ｐ１の総数を示す数値である。制御部１１は、第Ｎの部分画像Ｐ１（細胞領域）を選択する（ステップＳ３２）。制御部１１は、当該部分画像Ｐ１が所定サイズ以上であるか否かを判定する（ステップＳ３３）。所定サイズは、例えば、学習済みニューラルネットワーク６に入力可能な画像の大きさの上限である。

部分画像Ｐ１が所定サイズ以上であると判定した場合（ステップＳ３３：ＹＥＳ）、制御部１１は、核画像Ｐ２に代えて検出不能であることを示す情報を当該部分画像Ｐ１に対応付けて記憶する（ステップＳ３６）。

部分画像Ｐ１が所定サイズ未満であると判定した場合（ステップＳ３３：ＮＯ）、制御部１１は、図１２に示すように、学習済みニューラルネットワーク６に部分画像Ｐ１を入力する（ステップＳ３４）。制御部１１は、学習済みニューラルネットワーク６による演算処理によって得られた核画像Ｐ２、つまり核部分を表した核画像Ｐ２を、部分画像Ｐ１に対応付けて記憶する（ステップＳ３５）。

制御部１１は、変数Ｎが部分画像Ｐ１の総数であるか否かを判定する（ステップＳ３７）。つまり、全ての部分画像Ｐ１について核部分検出処理を終えたか否か判定する。変数Ｎが部分画像Ｐ１の総数で無いと判定した場合（ステップＳ３７：ＮＯ）、制御部１１はＮに１を加算し（ステップＳ３８）、処理をステップＳ３２へ戻す。変数Ｎが部分画像Ｐ１の総数であると判定した場合（ステップＳ３７：ＹＥＳ）、制御部１１は、核部分検出処理を終える。

図１１に示す一連の処理によって、検出不能なケースを除き、全ての部分画像Ｐ１について、当該部分画像Ｐ１に含まれる細胞の核部分が抽出される。

図１３は細胞計数処理手順を示すフローチャートである。制御部１１は、変数Ｎに１を代入する（ステップＳ５１）。変数Ｎは、核画像Ｐ２を示す数値である。制御部１１は、第Ｎの核画像Ｐ２を選択する（ステップＳ５２）。制御部１１は核画像Ｐ２に含まれる核部分の数を算出する（ステップＳ５３）。次いで、当該核画像Ｐ２及び部分画像Ｐ１に対応付けて細胞数を記憶する（ステップＳ５４）。

制御部１１は、変数Ｎが部分画像Ｐ１の総数であるか否かを判定する（ステップＳ５５）。つまり、全ての核画像Ｐ２について細胞数の算出処理を終えたか否か判定する。変数Ｎが部分画像Ｐ１の総数で無いと判定した場合（ステップＳ５５：ＮＯ）、制御部１１はＮに１を加算し（ステップＳ５６）、処理をステップＳ５２へ戻す。変数Ｎが部分画像Ｐ１の総数であると判定した場合（ステップＳ５５：ＹＥＳ）、制御部１１は、細胞計数処理を終える。

図１４及び図１５は細胞計数結果の表示処理手順を示すフローチャート、図１６は細胞数及び細胞の輪郭画像Ｂが重畳された顕微鏡画像Ｐ０を示す説明図、図１７は細胞計数結果の表示例を示す説明図、図１８は拡大表示された部分画像Ｐ１を示す説明図である。

制御部１１は、変数Ｎに１を代入する（ステップＳ７１）。変数Ｎは複数の部分画像Ｐ１それぞれを示す変数である。制御部１１は、第Ｎの部分画像Ｐ１を選択し（ステップＳ７２）、当該部分画像Ｐ１に含まれる細胞の輪郭を示す輪郭画像Ｂを作成する（ステップＳ７３）。輪郭画像Ｂは細胞と、背景画像との境界を示す線画像である。例えば、制御部１１は、マスク画像Ｍを膨張処理又は収縮処理させ、膨張後のマスク画像Ｍと、膨張前のマスク画像Ｍとの差分をとることによって、輪郭画像Ｂを生成することができる。

次いで、制御部１１は、図１６に示すように、顕微鏡画像Ｐ０に輪郭画像Ｂを重畳させる（ステップＳ７４）。制御部１１は、部分画像Ｐ１に対応する細胞数を記憶しているか否かを判定する（ステップＳ７５）。細胞数を記憶していると判定した場合（ステップＳ７５：ＹＥＳ）、制御部１１は、部分画像Ｐ１に対応する顕微鏡画像Ｐ０の位置に、細胞の数を記号で示す記号画像Ｃ１を重畳させる（ステップＳ７６）。細胞の数を示す記号画像Ｃ１は、例えばアラビア数字の画像である。

例えば、制御部１１は、部分画像Ｐ１の隅又は中央等、所定の位置に対応する顕微鏡画像Ｐ０の画像位置に表示する構成が好ましい。
制御部１１は、マスク画像Ｍによって、細胞の重心位置を特定することができる。細胞の重心位置には核部分が存在する可能性が高いため、当該重心位置を避けて、細胞数を示す記号画像Ｃ１を重畳させる構成が好ましい。
制御部１１は、核画像Ｐ２に基づいて部分画像Ｐ１における核部分の位置を特定することができるため、当該核部分の位置を避けて、細胞数を示す記号画像Ｃ１を重畳させる構成が好ましい。

図１９は細胞数を示す記号画像Ｃ１の他の例を示す説明図である。制御部１１は、細胞の数を示す記号画像Ｃ１に代えて、図１９Ａに示すように、細胞数を図形で示す図形画像Ｃ２を顕微鏡画像Ｐ０上に表示しても良い。図形画像Ｃ２は、例えば細胞数と同じ個数のブロック画像を含む。
また、制御部１１は、図１９Ｂに示すように、細胞数に応じて色が異なる色画像Ｃ３を顕微鏡画像Ｐ０上に表示しても良い。

ステップＳ７５において、細胞数を記憶していないと判定した場合（ステップＳ７５：ＮＯ）、制御部１１は、核画像Ｐ２の検出が不能であったことを示す所定画像Ｃ０を、部分画像Ｐ１の適宜箇所に重畳させる（ステップＳ７７）。所定画像Ｃ０は、例えば「ｎｏ」を示すアルファベット文字である。所定画像Ｃ０も、細胞数を記号で示す記号画像Ｃ１と同様、細胞の重心及び核部分を避けて重畳表示させる態様が好ましい。

次いで、制御部１１は、変数Ｎが部分画像Ｐ１の総数であるか否かを判定する（ステップＳ７８）。変数Ｎが部分画像Ｐ１の総数で無いと判定した場合（ステップＳ７８：ＮＯ）、制御部１１は変数Ｎに１を加算し（ステップＳ７９）、処理をステップＳ７２へ戻す。

変数Ｎが部分画像Ｐ１の総数であると判定した場合（ステップＳ７８：ＹＥＳ）、制御部１１は、図１７に示すように、顕微鏡画像Ｐ０と、重畳画像Ｐ０’とを並べて表示する（ステップＳ８０）。重畳画像Ｐ０’は、上記の処理によって輪郭画像Ｂ及び細胞画像等を顕微鏡画像Ｐ０に重畳させて得られる画像である。なお、顕微鏡画像Ｐ０と、重畳画像Ｐ０’を並べる向きは、横方向に限定されるものでは無く、上下方向に並べても良い。顕微鏡画像Ｐ０及び重畳画像Ｐ０’は異なるサイズであっても良いが、同サイズが好ましい。

次いで、制御部１１は、入力装置４にて拡大表示領域を受け付ける（ステップＳ８１）。ユーザは、入力装置４を操作することによって、顕微鏡画像Ｐ０中、拡大表示したい領域を選択することができる。例えば、マウスを操作による細胞部分のダブルクリック、細胞領域のドラッグアンドドロップ、枠線による選択等によって、拡大したい領域を指定することができる。制御部１１は、ユーザによって指定された拡大表示領域を受け付ける。

そして、制御部１１は、図１８に示すように、受け付けた拡大表示領域を顕微鏡画像Ｐ０及び重畳画像Ｐ０’から抜き出して、拡大表示させる（ステップＳ８２）。拡大表示させる際も顕微鏡画像Ｐ０から抜き出して拡大させた拡大顕微鏡画像Ｐ３と、重畳画像Ｐ０’から抜き出して拡大させた拡大重畳画像Ｐ３’とを並べて表示する態様が好ましい。また、拡大率も同じである態様が好ましい。
本実施形態においては、制御部１１は、拡大顕微鏡画像Ｐ３及び拡大重畳画像Ｐ３’を表示する際、拡大した画像に含まれる細胞の数を表示すると共に、細胞数を修正するための増加ボタン７１、減少ボタン７２を表示する。また、修正を終了する終了ボタン７３を表示する。

次いで、制御部１１は、入力装置４にて細胞数の修正を受け付ける（ステップＳ８３）。上記増加ボタン７１が操作せれた場合、制御部１１は、細胞数を増加させる修正を行う。減少ボタン７２が操作された場合、制御部１１は細胞数を減少させる修正を行う。

終了ボタン７３が操作された場合、細胞数の修正処理を終え、ステップＳ８４に処理を進める。制御部１１は、細胞数の修正があったか否かを判定する（ステップＳ８４）。細胞数の修正があったと判定した場合（ステップＳ８４：ＹＥＳ）、制御部１１は、修正後の細胞数を部分画像Ｐ１に対応付けて記憶する（ステップＳ８５）。ステップＳ８５の処理を終えた場合、又は修正が無かったと判定した場合（ステップＳ８４：ＮＯ）、制御部１１は、拡大表示処理を終了し（ステップＳ８６）、細胞計数結果の表示及び確認処理を終えるか否かを判定する（ステップＳ８７）。ユーザは、入力装置４を用いて、細胞計数結果の表示及び確認処理を終えることを指示することができる。

表示処理を終えないと判定した場合（ステップＳ８７：ＮＯ）、制御部１１は処理をステップＳ８１へ戻し、拡大表示及び細胞数の修正受け付けに係る処理を継続する。表示処理を終えると判定した場合（ステップＳ８７：ＹＥＳ）、制御部１１は、細胞計数結果の表示に係る処理を終える。

このように構成された実施形態１に係るコンピュータプログラム５ａ、細胞計数方法、細胞計数装置１、画像表示処理方法及び画像表示処理装置によれば、胞同士が重なっているものを含めて、顕微鏡画像Ｐ０に含まれる細胞の数を高精度で計測することができる。

また、本実施形態１によれば、蛍光染色されていない生きた細胞の部分画像Ｐ１から核部分を精度良く検出することができる。蛍光染色されていない顕微鏡画像Ｐ０、例えば位相差顕微鏡を用いて得られる顕微鏡画像Ｐ０においては、核部分が鮮明であり、当該核部分の特徴量を見出すことは難しい。そこで、本実施形態１に係る細胞計数装置１は、学習済みニューラルネットワーク６を備える。細胞計数装置１は、学習済みニューラルネットワーク６を用いて、部分画像Ｐ１から核部分を検出するため、生きた細胞の核部分を精度良く検出することができる。

更に、細胞計数装置１は、顕微鏡画像Ｐ０から、一の細胞が含まれる領域の部分画像Ｐ１又は重なった複数の細胞が含まれる領域の部分画像Ｐ１を抽出し、学習済みニューラルネットワーク６に入力させる構成である。従って、細胞計数装置１は、大きな顕微鏡画像Ｐ０を学習済みニューラルネットワーク６に入力させる構成に比べて、効率的、かつ精度良く核部分を検出することができる。

更にまた、細胞計数装置１は、細胞以外のオブジェクトが含まれる部分画像Ｐ１も抽出し、学習済みニューラルネットワーク６に入力させる構成である。つまり、細胞と、細胞以外のオブジェクトとの判別を学習済みニューラルネットワーク６にて行う構成であるため、部分画像Ｐ１の抽出処理が簡易であり、細胞と、上記オブジェクトとの判別も精度良く行うことができる。

更にまた、細胞計数装置１は、マスク画像Ｍを生成し、細胞部分の画像を抽出した部分画像Ｐ１を抽出する構成である。つまり、部分画像Ｐ１には細胞部分以外の余分な情報は含まれない。従って、細胞計数装置１は、かかる部分画像Ｐ１を学習済みニューラルネットワーク６に入力させることにより、より精度良く細胞の核部分を検出することができる。

更にまた、細胞計数装置１は、所定サイズ未満の部分画像Ｐ１を学習済みニューラルネットワーク６に入力させる構成であるため、核部分の検出精度を一定に担保することができる。

更にまた、細胞計数装置１は、部分画像Ｐ１に対応する顕微鏡画像Ｐ０上の位置に細胞数を示す記号画像Ｃ１、図形画像Ｃ２、色画像Ｃ３を表示することができる。従って、ユーザは、記号画像Ｃ１、図形画像Ｃ２、色画像Ｃ３によって、当該部分画像Ｐ１に対応する画像領域に含まれる細胞数を確認することができる。

更にまた、細胞計数装置１は、記号画像Ｃ１、図形画像Ｃ２、色画像Ｃ３を、細胞の中心位置及び核部分を避けて重畳させることができる。細胞の核部分の画像が、記号画像Ｃ１、図形画像Ｃ２、色画像Ｃ３によって隠れることは無い。従って、ユーザによる細胞数の確認作業が妨げられるおそれは無く、効率的に細胞数の確認を行うことができる。

更にまた、細胞計数装置１は、部分画像Ｐ１から細胞の核部分が検出されなかった場合、該部分画像Ｐ１に対応付けて、所定画像Ｃ０を顕微鏡画像Ｐ０上に表示することができる。従って、ユーザは、細胞係数が行われなかった細胞画像を認識することができる。

更にまた、細胞計数装置１は、細胞の輪郭画像Ｂを顕微鏡画像Ｐ０に重畳させることができる。従って、ユーザは、細胞計数装置１によって検出された細胞の形状を容易に認識することができる。
細胞計数装置１は、細胞以外のオブジェクトの輪郭画像Ｂを顕微鏡画像Ｐ０に重畳させることができる。従って、ユーザは、細胞計数装置１によって検出された細胞以外のオブジェクトの形状を容易に認識することができる。
ユーザは、輪郭画像Ｂの形状によって、細胞数の算出に成功しているか失敗しているのかを直感的に把握することもできる。

更にまた、細胞計数装置１は、顕微鏡画像Ｐ０と、重畳画像Ｐ０’を並べて表示することができる。ユーザは、顕微鏡画像Ｐ０及び重畳画像Ｐ０’を対比しながら、顕微鏡画像Ｐ０に含まれる細胞数を確認することができる。

更にまた、細胞計数装置１は、部分画像Ｐ１に含まれる細胞数の修正を受け付け、細胞数を修正することができる。

更にまた、顕微鏡画像Ｐ０及び重畳画像Ｐ０’を拡大させることができる。ユーザは、顕微鏡画像Ｐ０及び重畳画像Ｐ０’を用いて細胞数を確認及び修正することができる。

なお、本実施形態１では、細胞計数装置１と、位相差顕微鏡及び撮像装置２が別体である例を説明したが、位相差顕微鏡、撮像装置２及び画像処理用のコンピュータを含む位相差顕微鏡システムの任意の箇所に細胞計数装置１を設けても良い。例えば、細胞計数装置１及び撮像装置２を一体に構成しても良い。また、位相差顕微鏡、細胞計数装置１及び撮像装置２を一体に構成しても良い。

また、本実施形態１では、コンピュータプログラム５ａがインストールされたコンピュータである細胞計数装置１を位相差顕微鏡の側に配置する例を説明したが、コンピュータプログラム５ａをクラウドサーバ側で動作させるように構成しても良い。当該クラウドサーバは細胞計数装置１として動作する。
位相差顕微鏡システムは、位相差顕微鏡と、撮像装置２と、顕微鏡画像Ｐ０をクラウドサーバへ送信する通信機とを備える。位相差顕微鏡システムは、撮像装置２で撮像された顕微鏡画像Ｐ０をクラウドサーバへ送信する。クラウドサーバは、顕微鏡画像Ｐ０を受信し、実施形態１に係る細胞計数装置１と同様の処理を実行し、細胞計数結果を示すデータ又は細胞計数結果を示す画像を、位相差顕微鏡システムへ送信する。位相差顕微鏡システムは、細胞計数結果を示すデータ又は細胞計数結果を示す画像を受信し、細胞計数結果を表示する。

（実施形態２）
実施形態２に係るコンピュータプログラム５ａ、細胞計数方法、細胞計数装置１、画像表示処理方法及び画像表示処理装置は、細胞数が検出不能であった部分画像Ｐ１、細胞数が複数である部分画像Ｐ１を自動的に拡大表示させ、細胞数の修正を受け付ける構成が実施形態１と異なるため、以下では主に上記相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。

図２０は実施形態２に係る表示処理手順を示すフローチャートである。制御部１１は、実施形態１のステップＳ７１−ステップＳ７５と同様の処理を実行する。制御部１１は、部分画像Ｐ１に対応する細胞数を記憶しているか否かを判定する（ステップＳ７５）。細胞数を記憶していると判定した場合（ステップＳ７５：ＹＥＳ）、制御部１１は、記憶している細胞数が複数であるか否かを判定する（ステップＳ２０１）。細胞数が単数であると判定した場合（ステップＳ２０１：ＮＯ）、実施形態１のステップＳ７６の処理と同様にして、部分画像Ｐ１に対応する顕微鏡画像Ｐ０の位置に、細胞の数を記号で示す記号画像Ｃ１を重畳させる（ステップＳ２０６）。細胞数を記憶していないと判定した場合（ステップＳ７５：ＮＯ）、又は記憶している細胞数が複数であると判定した場合（ステップＳ２０１：ＹＥＳ）、制御部１１は、顕微鏡画像Ｐ０及び重畳画像Ｐ０’を拡大表示させる（ステップＳ２０２）。制御部１１は、入力装置４にて細胞数の修正を受け付け（ステップＳ２０３）、修正後の細胞数を部分画像Ｐ１に対応付けて記憶する（ステップＳ２０４）。終了ボタン７３が操作された場合、制御部１１は、細胞数の修正処理及び拡大表示処理を終え（ステップＳ２０５）、実施形態１のステップＳ７６の処理と同様にして、部分画像Ｐ１に対応する顕微鏡画像Ｐ０の位置に、細胞の数を記号で示す記号画像Ｃ１を重畳させる（ステップＳ２０６）。
ステップＳ２０６の処理を終えた制御部１１は、実施形態１のステップＳ７８以下と同様の処理を実行する。

このように構成された実施形態１に係るコンピュータプログラム５ａ、細胞計数方法、細胞計数装置１、画像表示処理方法及び画像表示処理装置によれば、細胞数が複数の場合、核部分の検出が不能であった場合など、確認を要する部分画像Ｐ１の拡大顕微鏡画像Ｐ３及び拡大重畳画像Ｐ３’が自動的に表示されるため、ユーザは効率的に細胞数の確認及び修正を行うことができる。

（実施形態３）
実施形態３に係るコンピュータプログラム５ａ、細胞計数方法、細胞計数装置１、画像表示処理方法及び画像表示処理装置は、細胞の数に加えて、細胞の種類を示す画像を顕微鏡画像Ｐ０上に表示する構成が実施形態１と異なるため、以下では主に上記相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。

実施形態３に係る制御部１１は、部分画像Ｐ１に含まれる細胞の種類を検出する機能を有する。制御部１１は、学習済みニューラルネットワーク６を用いて、細胞の種類を特定すれば良い。
例えば、第１の学習済みニューラルネットワークに、部分画像Ｐ１が入力された場合、種類αに係る細胞の画像が出力されるように深層学習させる。また、第２の学習済みニューラルネットワークに、部分画像Ｐ１が入力された場合、種類βに係る細胞の画像が出力されるように深層学習させる。第１及び第２の学習済みニューラルネットワークそれぞれに、部分画像Ｐ１を入力させることによって、細胞の種類α、βを示す情報を得ることができる。
また他の方法として、学習済みニューラルネットワーク６に、部分画像Ｐ１が入力された場合、細胞の種類αの細胞に対応する画素がクラス「１」（白画像）、細胞の種類βの細胞に対応する画素がクラス「２」（赤画像）、背景画像に対応する画素がクラス「０」（黒画像）の核画像Ｐ２を出力するように学習させると良い。かかる学習済みニューラルネットワーク６に分部画像を入力させることによって、細胞の種類α、βを示す情報を得ることができる。

図２１は実施形態３に係る細胞計数結果の表示例を示す説明図である。図２１中、楕円は種類αの細胞を示し、四角は種類βの細胞を示す。制御部１１は、顕微鏡画像Ｐ０に、各部分画像Ｐ１に含まれる細胞の種類α、βと、細胞の数を示す記号画像Ｃ１を重畳させた重畳画像Ｐ０’を生成し、生成した重畳画像Ｐ０’を表示装置３に出力する。

このように構成された実施形態１に係るコンピュータプログラム５ａ、細胞計数方法、細胞計数装置１、画像表示処理方法及び画像表示処理装置によれば、ユーザは重畳画像Ｐ０’を参照することによって、細胞の数と共に細胞の種類α、βを確認することができる。

（実施形態４）
実施形態４に係るコンピュータプログラム５ａ、細胞計数方法、細胞計数装置１、画像表示処理方法及び画像表示処理装置は、細胞計数装置１は、学習済みニューラルネットワーク６の学習用元画像を外部サーバ９へ送信し、学習済みニューラルネットワーク６を再学習させることができる構成が実施形態１と異なるため、以下では主に上記相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。

図２２は実施形態４に係る細胞計数システムを示すブロック図である。実施形態４に係る細胞計数システムに係る細胞計数装置１は、実施形態１と同様の構成であり、更に通信部１６を備える。通信部１６は、外部サーバ９と有線又は無線で通信を行う通信機である。

外部サーバ９は、一又は複数の細胞計数装置１から、学習済みニューラルネットワーク６を再学習させるための、学習用元データを収集し、収集した学習用元データを用いて、学習済みニューラルネットワーク６を再学習させる。外部サーバ９は、再学習後の学習済みニューラルネットワーク６に係る更新用データを細胞計数装置１へ配信する。

図２３は学習済みニューラルネットワーク６の再学習に係る処理手順を示すフローチャートである。細胞計数装置１の制御部１１は、各部分の検出に失敗した細胞領域の部分画像Ｐ１を再学習用元データとして記憶部１２に蓄積する（ステップＳ４１１）。所定量の再学習用元データが蓄積された場合、制御部１１は、記憶部１２に蓄積された再学習用元データを通信部１６にて介して外部サーバ９へ送信する（ステップＳ４１２）。

外部サーバ９は、細胞計数装置１から送信された再学習用元データを受信する（ステップＳ４１３）。そして、外部サーバ９は学習用元データ、即ち部分画像Ｐ１から再学習用データを作成する（ステップＳ４１４）。再学習データは、部分画像Ｐ１に対して、部分画像Ｐ１の画素が核部分であるか、背景であるかを示すデータを付与したものである。

次いで、外部サーバ９は、再学習用データを用いて学習済みニューラルネットワーク６を再学習させる（ステップＳ４１５）。再学習対象の学習済みニューラルネットワーク６は、既に細胞計数装置１が利用しているものと同じものである。

外部サーバ９は、学習済みニューラルネットワーク６を更新するための更新用データを細胞計数装置１へ送信する（ステップＳ４１６）。更新用データは、学習済みニューラルネットワーク６を規定する重み係数などの情報である。

細胞計数装置１は、外部サーバ９から配信された更新用データを受信し（ステップＳ４１７）、学習済みニューラルネットワーク６を更新する（ステップＳ４１８）。

実施形態４によれば、細胞計数装置１から再学習用データを収集し、学習済みニューラルネットワーク６を再学習させることができる。

（実施形態５）
実施形態５に係るコンピュータプログラム５ａ、細胞計数方法、細胞計数装置１、画像表示処理方法及び画像表示処理装置は、細胞計数結果の確認レポート作成支援機能を備える構成が実施形態１と異なるため、以下では主に上記相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。

細胞計数装置１は、例えば、複数の部分画像Ｐ１それぞれの拡大顕微鏡画像Ｐ３及び拡大重畳画像Ｐ３’と、確認結果入力部とを縦横に並べて表示装置３に表示する。確認結果入力部には、各部分画像Ｐにおいて計数された細胞の数が表示される。また、確認結果入力部は、細胞数の変更を受け付ける変更操作部、確認済みか否かをチェックするチェックボックス等を含む。ユーザは、確認結果入力部の変更操作部を操作することによって、細胞数を修正することができる。また、チェックボックスにチェックを入れることによって、細胞数の確認が行われたか否かを記録することができる。チェックボックスは必須の構成では無い。また、細胞計数装置１は、確認作業者情報入力部を表示装置３に表示する。確認作業者情報入力部は、確認作業者の名前、確認作業日等の入力を受け付けるためのテキスト入力ボックス等である。

細胞計数装置１は、複数の部分画像Ｐ１に対応付けて、細胞数の情報、修正の有無を示す情報、細胞数の確認が行われたか否かを示す情報、確認作業者の情報、確認作業日の情報等を対応付けて記憶する。細胞計数装置１は、記憶した各情報を任意のフォーマットで配列したレポート情報を出力する。

実施形態５によれば、細胞計数結果の確認作業結果に係る情報をまとめたレポート情報を出力することができる。

１ 細胞計数装置
１ａ 画像取得部
１ｂ 細胞領域抽出部
１ｃ 核部分検出部
１ｄ 計数部
１ｅ 表示処理部
２ 撮像装置
３ 表示装置
４ 入力装置
５ 記録媒体
６ 学習済みニューラルネットワーク
５ａ コンピュータプログラム
９ 外部サーバ
１１ 制御部
１２ 記憶部
１３ 画像入力部
１４ 画像出力部
１５ 入力Ｉ／Ｆ
１６ 通信部
６１ 入力層
６２ 畳み込み層
６３ 逆畳み込み層
６４ 出力層
７１ 増加ボタン
７２ 減少ボタン
７３ 終了ボタン
Ａ 培養容器
Ｂ 輪郭画像
Ｍ マスク画像
Ｃ０ 所定画像
Ｃ１ 記号画像
Ｃ２ 図形画像
Ｃ３ 色画像
Ｐ０ 顕微鏡画像
Ｐ０’ 重畳画像
Ｐ１、Ｐ１１、Ｐ１２，Ｐ１３、Ｐ１４ 部分画像
Ｐ２ 核画像
Ｐ３ 拡大顕微鏡画像
Ｐ３’ 拡大重畳画像

Claims (32)

1. コンピュータに、
   複数の細胞を撮像して得られた第１画像を取得する処理と、
   一又は複数の細胞を含む画像が入力された場合に前記一又は複数の細胞それぞれの核部分を表した第２画像が出力されるように機械学習させた学習済みニューラルネットワークに対して、取得した前記第１画像を入力させることにより、前記第１画像に含まれる細胞の核部分を検出する核部分検出処理と、
   検出された核部分の数を細胞数として算出する計数処理と
   を実行させるためのコンピュータプログラム。
2. 前記学習済みニューラルネットワークは、
   一又は複数の細胞を含む画像が入力される入力層と、画像の特徴を抽出する畳み込み層及び逆畳み込み層と、前記一又は複数の細胞それぞれの核部分を表した第２画像を出力する出力層とを備え、
   前記第２画像は、
   細胞の核部分及び背景を異なる画素値により画素単位で表す画像である
   請求項１に記載のコンピュータプログラム。
3. 前記コンピュータに、
   前記第１画像から、一の細胞が含まれる領域の部分画像又は重なった複数の細胞が含まれる領域の部分画像を抽出する抽出処理を実行させ、
   前記核部分検出処理は、
   前記第１画像から抽出された各部分画像を前記学習済みニューラルネットワークに入力させることにより、各部分画像に含まれる細胞の核部分を検出する
   請求項１又は請求項２に記載のコンピュータプログラム。
4. 前記抽出処理は、
   更に、細胞以外のオブジェクトが含まれる部分画像を抽出する
   請求項３に記載のコンピュータプログラム。
5. 前記抽出処理は、
   前記第１画像に対するエッジ検出処理、二値化処理及びモルフォロジー処理によって、細胞領域を示すマスク画像を生成し、生成されたマスク画像により、前記部分画像を抽出する
   請求項３又は請求項４に記載のコンピュータプログラム。
6. 所定サイズ未満の前記部分画像を前記学習済みニューラルネットワークに入力させる
   請求項３から請求項５のいずれか１項に記載のコンピュータプログラム。
7. 前記コンピュータに、
   前記部分画像に対応付けて、該部分画像に含まれる細胞の数を示す画像を前記第１画像上に表示する処理を実行させる
   請求項３から請求項６のいずれか１項に記載のコンピュータプログラム。
8. 前記細胞の数を示す画像は、
   前記部分画像に含まれる細胞の数を記号で示す記号画像、前記数を図形で示す図形画像、及び前記数に応じて色が異なる色画像の少なくとも一つを含む
   請求項７に記載のコンピュータプログラム。
9. 前記コンピュータに、
   前記部分画像から細胞の核部分が検出されなかった場合、該部分画像に対応付けて、所定画像を前記第１画像上に表示する処理を実行させる
   請求項３から請求項８のいずれか１項に記載のコンピュータプログラム。
10. 前記コンピュータに、
    前記部分画像に含まれる細胞の種類をする処理と、
    前記部分画像に対応付けて、細胞の種類を示す画像を前記第１画像上に表示する処理と
    を実行させる請求項３から請求項９のいずれか１項に記載のコンピュータプログラム。
11. 前記コンピュータに、
    前記部分画像に含まれる細胞の輪郭を示す画像を作成する処理と、
    細胞の輪郭を示す前記画像を前記第１画像上に表示する処理と
    を実行させる請求項３から請求項１０のいずれか１項に記載のコンピュータプログラム。
12. 前記コンピュータに、
    前記部分画像に含まれる細胞以外のオブジェクトの輪郭を示す画像を作成する処理と、
    細胞以外のオブジェクトの輪郭を示す前記画像を前記第１画像上に表示する処理と
    を実行させる請求項３から請求項１１のいずれか１項に記載のコンピュータプログラム。
13. 前記コンピュータに、
    前記画像が表示されていない前記第１画像と、前記画像が表示された前記第１画像とを並べて表示する処理を実行させる
    請求項７から請求項１２のいずれか１項に記載のコンピュータプログラム。
14. 前記コンピュータに、
    前記計数処理によって算出された前記部分画像に含まれる細胞の数の修正を受け付ける処理と、
    受付結果に基づいて、前記部分画像に含まれる細胞の数を修正する処理と
    を実行させる請求項３から請求項１３のいずれか１項に記載のコンピュータプログラム。
15. 前記コンピュータに、
    前記第１画像のうち、拡大表示する領域を受け付ける処理と、
    受け付けた領域を前記第１画像から抜き出して拡大する処理と
    を実行させる請求項３から請求項１４のいずれか１項に記載のコンピュータプログラム。
16. 前記コンピュータに、
    複数の細胞が含まれる前記部分画像を前記第１画像から抜き出して拡大する処理を実行させる
    請求項３から請求項１５のいずれか１項に記載のコンピュータプログラム。
17. 前記コンピュータに、
    細胞の核部分を検出できなかった前記部分画像を前記第１画像から抜き出して拡大する処理を実行させる
    請求項３から請求項１６のいずれか１項に記載のコンピュータプログラム。
18. 前記コンピュータに、
    細胞の数が修正された場合、細胞の数が修正された前記部分画像を、前記学習済みニューラルネットワークの再学習用元データとして記憶する処理と、
    記憶した再学習用元データを外部サーバへ送信する処理と
    を実行させる請求項３から請求項１７のいずれか１項に記載のコンピュータプログラム。
19. 複数の細胞を撮像して得られた第１画像を取得し、
    一又は複数の細胞を含む画像が入力された場合に前記一又は複数の細胞それぞれの核部分を表した第２画像が出力されるように機械学習させた学習済みニューラルネットワークに対して、取得した前記第１画像を入力させることにより、前記第１画像に含まれる細胞の核部分を検出し、
    検出された核部分の数を細胞数として算出する
    細胞計数方法。
20. 複数の細胞を撮像して得られた第１画像を取得する画像取得部と、
    一又は複数の細胞を含む画像が入力された場合に前記一又は複数の細胞それぞれの核部分を表した第２画像が出力されるように機械学習させた学習済みニューラルネットワークに対して、取得した前記第１画像を入力させることにより、前記第１画像に含まれる細胞の核部分を検出する核部分検出部と、
    検出された核部分の数を細胞数として算出する計数部と
    を備える細胞計数装置。
21. コンピュータに、
    複数の細胞を撮像して得られた第１画像中に、前記複数の細胞に対応付けて、該細胞の数を示す画像を前記第１画像上に表示する処理と、
    前記第１画像中に、他の細胞と重なっていない単独の細胞がある場合、前記単独の細胞に対応付けて、該細胞の数が単数であることを示す画像を前記第１画像上に表示する処理と
    を実行させるためのコンピュータプログラム。
22. 前記細胞の数を表す画像は、
    細胞の数を示す記号画像、前記数を示す図形画像、及び前記数に応じて色が異なる画像の少なくとも一つを含む
    請求項２１に記載のコンピュータプログラム。
23. 前記細胞の数を示す画像を前記細胞の重心から外れた位置に表示する
    請求項２１又は請求項２２に記載のコンピュータプログラム。
24. 前記細胞の数を示す画像を前記細胞の核から外れた位置に表示する
    請求項２１から請求項２３のいずれか１項に記載のコンピュータプログラム。
25. 前記コンピュータに、
    前記第１画像中に細胞の核が不明な部分画像がある場合、該部分画像に対応付けて、所定画像を前記第１画像上に表示する処理を実行させる
    請求項２１から請求項２４のいずれか１項に記載のコンピュータプログラム。
26. 前記コンピュータに、
    前記第１画像に含まれる複数の細胞それぞれに対応付けて、前記細胞の種類を示す画像を前記第１画像上に表示する処理を実行させる
    請求項２１から請求項２５のいずれか１項に記載のコンピュータプログラム。
27. 前記コンピュータに、
    前記第１画像に含まれる細胞の輪郭を示す画像を作成する処理と、
    細胞の輪郭を示す前記画像を前記第１画像上に表示する処理と
    を実行させる請求項２１から請求項２６のいずれか１項に記載のコンピュータプログラム。
28. 前記コンピュータに、
    前記第１画像に含まれる細胞以外のオブジェクトの輪郭を示す画像を作成する処理と、
    細胞以外のオブジェクトの輪郭を示す画像を前記第１画像上に表示する処理と
    を実行させる請求項２１から請求項２７のいずれか１項に記載のコンピュータプログラム。
29. 前記コンピュータに、
    前記画像が重畳されていない前記第１画像と、前記画像が重畳された前記第１画像とを並べて表示する処理を実行させる
    請求項２１から請求項２８のいずれか１項に記載のコンピュータプログラム。
30. 前記コンピュータに、
    前記第１画像の一部の領域を抜き出して拡大する処理を実行させる
    請求項２１から請求項２９のいずれか１項に記載のコンピュータプログラム。
31. 前記コンピュータに、
    複数の細胞が含まれる部分画像を前記第１画像から抜き出して拡大する処理を実行させる
    請求項２１から請求項３０のいずれか１項に記載のコンピュータプログラム。
32. 前記コンピュータに、
    前記第１画像中に細胞の核が不明な部分画像がある場合、前記部分画像を前記第１画像から抜き出して拡大する処理を実行させる
    請求項２１から請求項３１のいずれか１項に記載のコンピュータプログラム。

Images