JP2021039544A - 学習装置、学習方法、細胞判別装置、細胞判別方法、細胞判別学習プログラムおよび細胞判別プログラム - Google Patents

Abstract

【課題】画像中の細胞の種類を精度よく判別する判別モデルを生成する。【解決手段】学習部（６０）は、細胞を示すデータおよび非細胞を示すデータを含む第１の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第１の学習済モデル（５１）を構築する第１学習部（６１）と、互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第２の教師データを用いた機械学習により、第１の学習済モデル（５１）によって細胞と判別されたデータの細胞の種類を判別するための第２の学習済モデル（５２）を構築する第２学習部（６２）と、を備えている【選択図】図１

Description

本発明は、学習済モデルを構築する学習装置および学習方法、学習済モデルを利用する細胞判別装置および細胞判別方法、ならびに細胞判別学習プログラムおよび細胞判別プログラムに関する。

従来、細胞種の判別は、各種顕微鏡下で撮影した明視野像、位相差像、微分干渉像および免疫蛍光染色像等を目視することにより行われている。近年、目視によって判別を行うのみならず、例えば、非特許文献１に開示されているように、深層学習などの機械学習により判別モデルを構築し、これを用いた判別も行われてきている。

Ronald Wihal Oei et al., "Convolutional neural network for cell classification using microscope images of intracellular actin networks" PLOS ONE, 2019.

より精度の高い判別モデルの構築にあたっては、学習させるデータの数が多いほど有利とされている。一方で、例えば、学習用データにおいて分類ごとにデータ数が異なると、構築される判別モデルに偏りが生じるため、判別精度が低下する虞がある。そのため、通常は、もっともデータ数が少ない分類に数量を合せた学習用データを生成した上で学習を行う。したがって、機械学習ではすべての分類項目において、データ数を多く取得することが望まれる。

しかし、試料によっては、細胞の存在比に大きな偏りがあり、数多くデータを取得することが難しい場合がある。例えば、血中の細胞を分類するにあたっては、血中循環腫瘍細胞(以下、ＣＴＣ)をはじめ、データの取得が難しい細胞種がある。血中にはＣＴＣ以外に、赤血球および白血球などの細胞、さらには細胞以外の成分が存在する。これらを機械学習によって分類しようとした場合、データ数は、最もデータ数が少ないＣＴＣに合せることになる。その結果、少ないデータ量で機械学習を行うため、判別モデルの精度が低下するといった問題がある。

そこで、本発明は上記の問題点に鑑みてなされたものであり、その目的は、細胞の種類を精度よく判別できる細胞判別装置および細胞判別方法、ならびにこれに用いられる学習済モデルを構築する学習装置および学習方法を提供することにある。

本発明に係る学習装置は、上記課題を解決するために、細胞判別に用いられる学習済モデルを構築する学習装置であって、細胞を示すデータおよび非細胞を示すデータを含む第１の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第１の学習済モデルを構築する第１学習部と、互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第２の教師データを用いた機械学習により、上記第１の学習済モデルによって細胞と判別されたデータの細胞の種類を判別するための、上記第１の学習済モデルとは異なる第２の学習済モデルを構築する第２学習部と、を備えている。

本発明に係る細胞判別装置は、上記課題を解決するために、入力されたデータにおける細胞の種類を判別する細胞判別装置であって、上述の学習装置が構築した第１の学習済モデルを用いて、入力されたデータが細胞および非細胞の何れを示すものであるかを判別する第１判別部と、上記第１判別部による判別結果が細胞を示す場合に、上記学習装置が構築した第２の学習済モデルを用いて、上記入力されたデータが何れの種類の細胞を示すものであるかを判別する第２判別部と、上記第１判別部による判別結果が非細胞を示す場合には該判別結果を出力し、上記第１判別部による判別結果が細胞を示す場合には上記第２判別部による判別結果を出力する判別結果出力部とを備えている。

また、本発明に係る学習方法は、上記課題を解決するために、細胞判別に用いられる学習済モデルを構築する学習方法であって、細胞を示すデータおよび非細胞を示すデータを含む第１の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第１の学習済モデルを構築する第１学習工程と、互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第２の教師データを用いた機械学習により、第１の学習済モデルによって細胞と判別されたデータの細胞の種類を判別するための、上記第１の学習済モデルとは異なる第２の学習済モデルを構築する第２学習工程と、を含む。

また、本発明に係る細胞判別方法は、上記課題を解決するために、入力されたデータにおける細胞の種類を判別する細胞判別方法であって、データを入力するデータ入力工程と、上述の学習装置が構築した第１の学習済モデルを用いて、入力されたデータが細胞および非細胞の何れを示すものであるかを判別する第１判別工程と、上記第１判別工程による判別結果が細胞を示す場合に、上記学習装置が構築した第２の学習済モデルを用いて、上記入力されたデータが何れの種類の細胞を示すものであるかを判別する第２判別工程と、上記第１判別工程による判別結果が非細胞を示す場合には該判別結果を出力し、上記第１判別工程による判別結果が細胞を示す場合には上記第２判別工程による判別結果を出力する判別結果出力工程と、を含む構成である。

本発明によれば、画像中の細胞の種類を精度よく判別することができる判別モデルを生成することができる。

本発明の一実施形態に係る細胞判別装置の概略構成を示す機能ブロック図である。 第１のテーブルの一例を示す図である。 第２のテーブルの一例を示す図である。 本発明の一実施形態に係る細胞判別処理の流れを示すフローチャートである。 入力画像の一例を示す図である。

〔細胞判別装置〕
以下、本発明の一実施形態について詳細に説明する。図１は、本実施形態に係る細胞判別装置１の概略構成の一例を示す機能ブロック図である。細胞判別装置１は、入力部１０、主制御部２０および表示部３０を備えている。主制御部２０には、判別部４０、学習モデル５０、学習部６０および判別結果出力部７０を備えている。判別部４０は、第１判別部４１および第２判別部４２を備えている。また、学習部６０は、細胞判別に用いられる学習済モデルを構築する学習装置として機能し、第１学習部６１、第２学習部６２および教師データ生成部６３を備えている。学習モデル５０には、第１学習済モデル５１および第２学習済モデル５２が含まれている。

細胞判別装置１は、入力されたデータにおける細胞の種類を判別する装置である。以下の説明では、データとして画像データ（以下、単に画像という場合もある）を用いる場合を例にして説明する。

（入力部）
入力部１０は、判別対象となる画像の入力を受け付けるものである。入力部１０は、記憶媒体に記憶されたデータファイルを読み込むこと、または、有線または無線のネットワークを介して他の装置から画像を受信することによって、上述した画像の入力を受け付ける。入力部１０は、受け付けた画像データを、主制御部２０に送信する。

（画像データ）
画像データは、分析試料中の細胞を撮像して得られた画像である。なお、細胞の撮像は、個々の細胞を一つずつ撮像したものに限らず、多数の細胞をアレイ上に整列させてアレイ全体またはその一部を撮像し、撮像後に画像を分割したものであってもよい。とりわけ、網羅的に処理して後で分割して個々の細胞画像を取得する場合には、細胞が含まれていない区画またはウェルを撮像した画像の比率が高くなる。以上から、画像としては、細胞の画像と、細胞以外の画像とに大別される。

細胞の画像としては、分析試料中に存在し得る複数種類の細胞のうちの何れかの種類の細胞の画像である。非限定的な例示として、分析試料として血液に所定の処理を施した試料を使用する場合、これに存在し得る細胞として、白血球、サイトケラチン陽性血中循環腫瘍細胞およびサイトケラチン陰性血中循環腫瘍細胞等の血中成分が挙げられる。したがって、細胞の画像としては、白血球、サイトケラチン陽性血中循環腫瘍細胞およびサイトケラチン陰性血中循環腫瘍細胞の何れかの画像であり得る。

一方で、細胞以外の画像としては、ごみなどの細胞以外の物質が撮像された画像と、細胞および細胞以外の物質の何れも撮像されていない画像とに分けられる。ここで、細胞以外の物質の何れも撮像されていない画像とは、細胞を捕捉する微細孔またはウェルなどに細胞もごみも捕捉されず、培地、細胞を分散させていた分散媒体のみが含まれる微細孔またはウェルなどを撮像した画像が意図される。

画像は、特定の一つの撮像手法により得られた画像に限られず、複数の撮像手法により得られた画像を組み合わせて用いるものであってもよい。例えば、明視野観察像、暗視野観察像、位相差観察像および蛍光観察像の中から選択される２以上の観察像を組み合わせて用いることができる。また、蛍光観察像として、各種抗体による蛍光観察像およびＤＡＰＩによる核染色像などを組み合わせて用いることができる。また、複数の画像を組み合わせて用いる場合、複数の画像を合成して一つの画像とすることができる。例えば、重ねあわせ処理を行って一つの画像に合成したものであってもよく、重ねることなくそれぞれを並べて結合し、一つの画像とするものであってもよい。

また、各画像に対しは、前処理として、コントラスト調整、および特定のチャネルに基づいて、別のチャネルを調整することなどを行ってもよい。例えば、特定のチャネル（例えば、後述するようなＤＡＰＩによる蛍光観察像）の輝度値を基に、他のチャネルの輝度値を規格化する処理などをおこなってもよい。

上述の通り、本実施形態では、入力されるデータとして画像データを用いた例について説明しているが、入力されるデータは画像データに限定されない。例えば、画像および当該画像から抽出し得る特定の指標に基づき数値化またはパラメータ化したような数値データを用いてもよい。

（学習モデル）
第１判別部４１において用いられる第１学習済モデル５１は、細胞判別装置１に入力された画像を入力とし、当該画像が細胞を示すものであるか、非細胞を示すものであるかのそれぞれの確率値を出力とする学習済モデルである。後述する通り、第１学習済モデル５１は、第１の教師データを用いた機械学習により第１学習部６１において構築される。

第１学習済モデル５１の出力においては、非細胞成分の画像および細胞も非細胞成分も撮像されていない画像を区別せずに非細胞を示すものとして出力するものであってもよいし、非細胞成分を示すものと、細胞も非細胞成分も撮像されていないものとを区別して出力するものであってもよい。すなわち、前者の場合には、例えば、「細胞」および「非細胞」の確率値を出力とする学習モデルとすることができ、後者の場合には、例えば、「細胞」、「非細胞」および「空（empty）」の確率値を出力とする学習モデルとすることができる。

一方、第２判別部４２において用いられる第２学習済モデル５２は、第１学習済モデル５１と異なる学習済モデルであり、細胞判別装置１に入力された画像を入力とし、複数ある細胞の種類それぞれにおいて、その細胞である確率値を出力とする学習済モデルである。後述する通り、第２学習済モデル５２は、第２の教師データを用いた機械学習により第２学習部６２において構築される。

本実施形態においては、第１学習済モデル５１および第２学習済モデル５２は、それぞれ第１の教師データおよび第２の教師データを用いて、複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）に学習させて構築されたモデルである。ＣＮＮとしては、Ｃｈａｉｎｅｒ（Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ社）等の公知のソフトウェア内の機能を利用することができる。しかしながら、学習に用いるニューラルネットワークはＣＮＮに限定されず、他の公知のニューラルネットワークを用いてもよい。

（教師データ生成部）
教師データ生成部６３は、教師データ生成用に入力された画像データから、第１の教師データおよび第２の教師データを生成する。詳細には、教師データ生成用に入力される画像データは、予め、その画像データが、複数種類の細胞のうちの何れのものであるか、または非細胞であるかの情報と関連付けがなされている。教師データ生成部６３は、画像データに関連付けされた当該情報を参照して、第１の教師データおよび第２の教師データを生成する。画像データと当該情報との関連付けは、画像データと当該情報との対応関係を示すテーブルである第１のテーブルを作成しておき、画像データとともに当該第１のテーブルを入力し、それを参照するものである。しかしながら画像データと当該情報との関連付けはテーブルを用いる場合に限らず、例えば、画像データのメタデータとして当該情報を含ませるものであってもよい。第１のテーブルの一例を図２に示す。図２に示すテーブルでは、各画像データに対して、後述する「ＣＫ＋」、「ＣＫ−」、「ＷＢＣ」、「ＤＳＴ」および「ＥＭＰ」の何れかの情報が関連付けされている。

画像データが、複数種類の細胞のうちの何れのものであるか、または非細胞のものであるかの情報は、予め人間によって判断されたものである。教師データ生成用に入力される画像データに含まれる細胞の画像としては、判別対象となる細胞が含まれていた試料中に存在し得る種類の細胞の画像が含まれている。一方、非細胞の画像としては、ごみなどの細胞以外の物質が撮像された画像と、細胞および細胞以外の物質の何れも撮像されていない画像が含まれている。

まず、教師データ生成部６３における第１の教師データの生成について説明する。

教師データ生成部６３は、入力された画像データに関連付けされている情報が非細胞であることを示す情報、すなわち非細胞の種類を示す情報の場合には、「非細胞」のラベルを付す。一方、入力された画像データに関連付けされている情報が複数種類の細胞のうちの何れであるかを示す情報、すなわち細胞の種類を示す情報である場合には、「細胞」のラベルを付す。なお、ラベルを付すとは、(ｉ)画像データのメタデータとしてラベル情報を付与する、(ｉｉ)各画像データ付されたラベルを示すデータファイルを更新する、または(ｉｉｉ)画像データを、ラベルに対応するディレクトリに保存するなどの方法によって実現することができる。また、入力された画像データに関連付けされている情報が、「非細胞」および「細胞」の何れのラベルを付すべき情報に対応するものであるかは、細胞の種類を示す情報および非細胞の種類を示す情報と、付されるべきラベルとの対応関係を示す第２のテーブルを参照することで決定する。第２のテーブルは、予め作成しておき、画像データとともに入力すればよい。あるいは、第２のテーブルは予め入力される場合に限らず、「ＣＫ＋」、「ＣＫ−」、「ＷＢＣ」、「ＤＳＴ」および「ＥＭＰ」などの情報に対して、ユーザがラベルとの対応関係を指示することで、画像データ入力後に別途作成されるものであってもよい。第２のテーブルの一例を図３に示す。図３に示すテーブルでは、「ＣＫ＋」、「ＣＫ−」、「ＷＢＣ」、「ＤＳＴ」および「ＥＭＰ」で示される情報と、付されるべきラベルとの対応関係が示されている。

これにより、教師データ生成部６３は、複数種類の細胞のうちの何れであるか、または非細胞であるかの情報が関連付けされている画像データから、細胞を示すデータおよび非細胞を示すデータを含む第１の教師データを生成する。また、入力された画像データそのものに細胞であるか非細胞であるかの情報が付されていなくても、細胞であるか非細胞であるかを判別するための第１の学習済モデルを構築するための第１の教師データを作成することができる。

なお、本実施形態においては、複数種類の細胞のうちの何れであるかを示す情報が関連付けされている画像データを選別し、これに「細胞」のラベルを付している。しかしながら、入力する画像データに、予め、複数種類の細胞のうちの何れであるかを示す情報とともに、細胞であることを示す情報も関連付けしておいてもよい。これにより、入力された画像データに関連付けされている情報が細胞であることを示すものである場合には、その画像データには「細胞」のラベルが付されているとみなせばよい。

次いで、教師データ生成部６３における第２の教師データの生成について説明する。

教師データ生成部６３は、入力された画像データの中から、複数種類の細胞のうちの何れであるかの情報が関連付けされているデータのみを抽出する。そして、入力された画像データに対し、関連付けされた情報が示す細胞の種類を示すラベルを付すことで、互いに異なる種類の細胞を示す複数種類のデータを含む第２の教師データを生成する。教師データ生成部６３は、複数種類の細胞のうちの何れであるかの情報が関連付けされているデータのみを抽出して第２の教師データを生成する。そのため、第２の教師データには、非細胞を示すデータが含まれなくなる。また、第１の教師データの生成に用いた、非細胞を示す画像データを含む入力データを用いても、非細胞を示す画像データが含まれない第２の教師データを生成することができる。

本実施形態における教師データ生成部６３では、第２の教師データを生成する際に、複数ある細胞種類のうち、入力されたデータ中に存在する数が最も少ない細胞種類のデータ数に合わせて、各細胞種類のデータを抽出している。細胞種類ごとのデータ数に大きなばらつきがある場合には、入力されたデータ中に存在する数が最も少ない細胞種類のデータ数にあわせることにより、判別精度の高い学習済モデルを構築することができる。例えば、入力されたデータ中に存在する数が最も少ない細胞種類のデータ数が、数が最も多い細胞種類のデータ数の９０％未満である場合に、最も少ない細胞種類のデータ数に合わせて、データの抽出を行う構成とすればよい。しかしながら、第２教師データに含める各細胞種類のデータ数を合わせることは必須ではない。

教師データ生成部６３は、第１の教師データおよび第２の教師データを生成する際に、画像の回転および反転など、公知の手法によるデータ拡張を行ってもよい。

（第１学習部および第２学習部）
第１学習部６１は、教師データ生成部６３が生成した第１の教師データを用いて、公知の機械学習の方法により、第１学習済モデル５１を構築する。一方、第２学習部６２は、教師データ生成部６３が生成した第２の教師データを用いて、公知の機械学習の方法により、第２学習済モデル５２を構築する。本実施形態では、第１学習部６１および第２学習部６２は、上述の通り、入力される画像とそれらの情報（細胞であるか、細胞種は何か）であるラベルとの対応をＣＮＮに学習させている。

なお、本実施形態では、第１学習部６１と、第２学習部６２と、教師データ生成部６３とを含む学習部６０を備えている細胞判別装置１について説明している。しかしながら、細胞判別装置に学習部６０を設ける構成でなくてもよい。すなわち、細胞判別装置１とは独立に存在する、第１学習部６１と第２学習部６２と教師データ生成部６３とを含む別の学習装置により、第１学習済モデル５１および第２学習済モデル５２を構築するものであってもよい。学習装置が細胞判別装置１とは独立に存在する場合には、細胞判別装置１は、記憶媒体に記憶された各学習済モデルを読み込むこと、または、有線または無線のネットワークを介して他の装置から各学習済モデルを受信することで、細胞判別装置１において各学習済モデルが利用可能となる。

（第１判別部）
第１判別部４１は、第１学習済モデル５１に画像を入力し、第１学習済モデル５１の出力結果から、細胞判別装置１に入力された画像が細胞を示すものであるか、非細胞を示すものであるかを判別する。具体的には、最も確率が高かったものを判別結果として採用する。第１判別部４１は、その判別結果を判別結果出力部７０に送信する。なお、第１判別部４１は、判別結果が非細胞を示すものであった場合のみ、判別結果を判別結果出力部７０に送信するものであってもよい。

（第２判別部）
第２判別部４２は、第１判別部４１において細胞を示す画像との判別結果が得られた場合にのみ、第２学習済モデル５２に画像を入力し、第２学習済モデル５２の出力結果から、細胞判別装置１に入力された画像における細胞の種類を判別する。具体的には、最も確率が高かったものを判別結果として採用する。第２判別部４２は、その判別結果を判別結果出力部７０に送信する。

（判別結果出力部）
判別結果出力部７０は、第１判別部４１または第２判別部４２から送信される判別結果を表示部３０に対して出力する。第１判別部４１より送られてくる判別結果が非細胞を示している場合には、判別結果出力部７０は、第１判別部４１から送られてくる当該判別結果を出力する。一方、第１判別部４１より送られてくる判別結果が細胞を示している場合、あるいは第１判別部４１からは判別結果が送信されず、第２判別部４２から判別結果が送られてくる場合には、判別結果出力部７０は、第２判別部４２から送られてくる判別結果を出力する。これにより、判別結果出力部７０は、表示部３０を介して、最終的な判別結果をユーザに知らせる。

（表示部）
表示部３０は、判別結果出力部７０から出力される最終的な判別結果を表示する装置である。一態様として、表示部３０は、最終的な判別結果を画像データまたは文字データとして表示する表示装置である。なお、表示部は、細胞判別装置１に備えられる場合に限らず、細胞判別装置１と接続可能な外部装置として設けられても構わない。

（細胞判別装置の動作）
次に、細胞判別装置１を用いて判別処理を行う場合の流れの一例を、図４を参照して説明する。図４は、細胞判別装置１の動作の流れの一例を説明するフローチャートである。

まず、判別部４０が、入力部１０を介して、ユーザの入力操作により入力された画像を取得する（ステップＳ１１；データ入力工程）。ここで、判別の対象となる画像は、第１学習済モデル５１および第２学習済モデルの構築に用いられた第１の教師データおよび第２の教師データに含まれる画像と同様の処理操作によって取得されたものである。次に、第１判別部４１が、第１学習済モデル５１に対して、画像を入力し、第１学習済モデル５１からの出力を取得する。そして、その出力結果から、画像が細胞を示すものであるか、非細胞を示すものであるかを判別する（ステップＳ１２；第１判別工程）。画像が細胞を示すとの判別結果となった場合（ステップＳ１３のｙｅｓ）、今度は第２判別部４２が、第２学習済モデル５２に対して、第１学習済モデル５１に入力された画像と同じ画像を入力し、第２学習済モデル５２からの出力を取得する。そして、その出力結果から、画像が何れの種類の細胞を示すものであるかを判別し（第２判別工程）、その判別結果を判別結果出力部７０に送信する（ステップＳ１４）。一方、第１判別部４１における判別で画像が非細胞を示すとの判別結果となった場合（ステップＳ１３のｎｏ）、その判別結果を判別結果出力部７０に送信する。判別結果出力部７０は、第２判別部４２から判別結果が送られてきた場合には、第２判別部４２からの判別結果を表示部３０に出力し、第１判別部４１から画像が非細胞であるとの判別結果が送られてきた場合には、第１判別部４１からの判別結果を、表示部３０に出力する（ステップＳ１５；判別結果出力工程）。

上記の通り、細胞判別装置１を用いた判別処理では、２段階の判別ステップによって、画像中の細胞の判別を行っている。これにより、細胞であるか非細胞であるか、細胞である場合にはどの種類の細胞であるかの判別を一度に行うように構築された学習済モデルを用いて判別を行う場合に比して、画像中の細胞が何れの種類の細胞であるかを精度よく判別することができる。

〔ソフトウェアによる実現例〕
細胞判別装置１の制御ブロック（主制御部２０、特に判別部４０、学習部６０および判別結果出力部７０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、細胞判別装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る学習装置は、細胞判別に用いられる学習済モデルを構築する学習装置であって、細胞を示すデータおよび非細胞を示すデータを含む第１の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第１の学習済モデルを構築する第１学習部と、互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第２の教師データを用いた機械学習により、第１の学習済モデルによって細胞と判別されたデータの細胞の種類を判別するための、上記第１の学習済モデルとは異なる第２の学習済モデルを構築する第２学習部と、を備えている。

本発明の態様２に係る学習装置は、上記態様１において、入力されたデータに関連付けされた情報を参照して、上記第１の教師データおよび上記第２の教師データを生成する教師データ生成部をさらに備えている。

本発明の態様３に係る学習装置は、上記態様２において、上記教師データ生成部は、細胞の種類を示す情報および非細胞の種類を示す情報と、細胞であるか非細胞であるかの情報との対応関係が示されたテーブルを参照して、上記第１の教師データを生成する。

本発明の態様４に係る学習装置は、上記態様１〜３の何れかにおいて、上記入力されたデータは画像データである。

本発明の態様５に係る細胞判別装置は、入力されたデータにおける細胞の種類を判別する細胞判別装置であって、上記態様１〜４の何れかに記載の学習装置が構築した第１の学習済モデルを用いて、入力されたデータが細胞および非細胞の何れを示すものであるかを判別する第１判別部と、上記第１判別部による判別結果が細胞を示す場合に、上記学習装置が構築した第２の学習済モデルを用いて、上記入力されたデータが何れの種類の細胞を示すものであるかを判別する第２判別部と、上記第１判別部による判別結果が非細胞を示す場合には該判別結果を出力し、上記第１判別部による判別結果が細胞を示す場合には上記第２判別部による判別結果を出力する判別結果出力部とを備えている。

本発明の態様６に係る細胞判別装置は、上記学習装置を備えている。

本発明の態様７に係る学習方法は、細胞判別に用いられる学習済モデルを構築する学習方法であって、細胞を示すデータおよび非細胞を示すデータを含む第１の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第１の学習済モデルを構築する第１学習工程と、互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第２の教師データを用いた機械学習により、第１の学習済モデルによって細胞と判別されたデータの細胞の種類を判別するための、上記第１の学習済モデルとは異なる第２の学習済モデルを構築する第２学習工程と、を含む。

本発明の態様８に係る学習方法は、上記態様７において、細胞または非細胞を示す上記データは、血中成分を撮像して得られた画像データであり、上記細胞の種類として、少なくとも血中循環腫瘍細胞を含む構成である。

本発明の態様９に係る細胞判別方法は、入力されたデータにおける細胞の種類を判別する細胞判別方法であって、データを入力するデータ入力工程と、上記態様１〜４の何れかに記載の学習装置が構築した第１の学習済モデルを用いて、入力されたデータが細胞および非細胞の何れを示すものであるかを判別する第１判別工程と、上記第１判別工程による判別結果が細胞を示す場合に、上記学習装置が構築した第２の学習済モデルを用いて、上記入力されたデータが何れの種類の細胞を示すものであるかを判別する第２判別工程と、上記第１判別工程による判別結果が非細胞を示す場合には該判別結果を出力し、上記第１判別工程による判別結果が細胞を示す場合には上記第２判別工程による判別結果を出力する判別結果出力工程と、を含む。

本発明の各態様に係る学習装置および細胞判別装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記学習装置または上記細胞判別装置が備える各部（ソフトウェア要素）として動作させることにより上記学習装置または上記細胞判別装置をコンピュータにて実現させる学習プログラムまたは細胞判別プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

以下のように本発明の一態様を実施した。機械学習の学習フェーズおよび判別モデルの性能評価には、杏林大学から提供を受けた血液検体を前処理し、抽出した細胞を微細孔アレイの各微細孔に捕捉してアレイ上に細胞を整列し、顕微鏡およびデジタルカメラを用いて取得した画像を用いた。前処理とは、主に赤血球および白血球を取り除き、蛍光免疫染色を行う処理である。なお、前処理によって多くの赤血球および白血球は除去できるが、一定数は残存する。微細孔アレイは非特許文献：東ソー研究・技術報告、第５８巻、ｐ３−１２、２０１４年に記載の微細孔アレイであり、分割された微細孔内に細胞を捕捉し、アレイ上で細胞を整列することができる構造体である。なお、試料の前処理および微細孔アレイへの細胞の整列は、当該非特許文献に記載の方法に従って実施した。

顕微鏡は、オリンパス株式会社製ＩＸ８３を用い、対物レンズは１０倍とした。デジタルカメラは、浜松ホトニクス株式会社製ＯＲＣＡ−ＦＬＡＳＨ４．０を用いた。この顕微鏡およびデジタルカメラを用いて、明視野像、サイトケラチン抗体による蛍光像、ＣＤ４５抗体による蛍光像およびＤＡＰＩによる核染色像を取得した。取得した画像を微細孔ごとに分割した。微細孔１つあたりの画像は、６２×６２ピクセルであった。微細孔ごとに、取得した各画像を横に並べて結合し、学習および判別に用いる画像データとした。画像データの一例を図５に示す。図５には、白血球（ＷＢＣ）、サイトケラチン陽性血中循環腫瘍細胞（ＣＫ＋）、サイトケラチン陰性血中循環腫瘍細胞（ＣＫ−）、非細胞成分（ＤＳＴ）および空の微細孔（ＥＭＰ）の画像データの一例を示している。また、図５に示される通り、各画像データは、明視野像（図中、「明視野」の列に示される像）、ＤＡＰＩによる核染色像（図中、「蛍光１ ＤＡＰＩ」の列に示される像）、サイトケラチン抗体による蛍光像（図中、「蛍光２ ＣＫ」の列に示される像）およびＣＤ４５抗体による蛍光像（図中、「蛍光３ ＣＤ４５」の列に示される像）がこの順で隙間なく並べられ、一つの画像に合成されている。なお、正解ラベルは、人間による判別を指定した。

データ数は、ＷＢＣが５００、ＣＫ＋が１５１、ＣＫ−が５００、ＤＳＴが５００、ＥＭＰが４８１である。このデータからランダム抽出で８割を学習データとし、２割を検証データとした。

コンピュータ上で、学習部を実装したプログラムを実行し、２段階の判別モデル（第１学習済モデル、第２学習済モデル）を構築した。プログラムの実装にあたっては、株式会社Ｐｒｅｆｅｒｒｅｄ ＮｅｔｗｏｒｋｓのＣｈａｉｎｅｒを用いた。以下に記載の処理は、Ｃｈａｉｎｅｒに含まれる関数、クラスを用いている。なお、第２学習済モデルの構築にあたっては、データ数が最も少ないサイトケラチン陽性血中循環腫瘍細胞（ＣＫ＋）にデータ数を合わせた。

機械学習の方法として、畳み込み層および全結合層からなるニューラルネットワークを用いて、最適化アルゴリズムは、Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ（Ａｄａｍ）を用いた。ニューラルネットワークは、第１層、第２層および第３層に畳み込み層を配置し、これらのハイパーパラメータとして、チャネル数６４、ストライド３およびゼロパディングを指定した。そして畳み込み層の活性化関数にＲｅＬＵを用いた。続く層に全結合層を配置し、活性化関数にソフトマックス関数を用いた。また、学習時には、画像の回転または反転によるデータ拡張を行った。学習は１５０ ｅｐｏｃｈ行い、ミニバッチサイズは６４とした。なお、「ＣＫ＋」、「ＣＫ−」または「ＷＢＣ」とラベルされたデータについては、「Ｃｅｌｌ」のラベルでもって第１段階の学習を行うよう指定した。

以上により、「Ｃｅｌｌ」、「ＤＳＴ」および「ＥＰＭ」の３分類の判別を行う第１学習済モデル、ならびに「ＣＫ＋」、「ＣＫ−」および「ＷＢＣ」の３分類の判別を行う第２学習済モデルの２段階の判別モデルを構築した。

２段階の判別モデルを利用して細胞判別の検証を行った結果、検証データに対する正答率は９６．７％であった。

一方で、同じデータセットにおいて、「ＣＫ＋」、「ＣＫ−」、「ＷＢＣ」、「ＤＳＴ」または「ＥＭＰ」とラベルされたデータを用いて、「ＣＫ＋」、「ＣＫ−」、「ＷＢＣ」、「ＤＳＴ」および「ＥＭＰ」の５分類の判別を一度に行う１段階の判別モデルを構築した。

この１段階の判別モデルを利用して細胞判別の検証を行った結果、検証データに対する正答率は９３．７％であった。

本発明は、細胞の分類を行う技術に利用することができる。

１ 細胞判別装置
１０ 入力部
２０ 主制御部
３０ 表示部
４０ 判別部
４１ 第１判別部
４２ 第２判別部
５０ 学習モデル
５１ 第１学習済モデル
５２ 第２学習済モデル
６０ 学習部（学習装置）
６１ 第１学習部
６２ 第２学習部
６３ 教師データ生成部
７０ 判別結果出力部

Claims (11)

1. 細胞判別に用いられる学習済モデルを構築する学習装置であって、
   細胞を示すデータおよび非細胞を示すデータを含む第１の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第１の学習済モデルを構築する第１学習部と、
   互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第２の教師データを用いた機械学習により、上記第１の学習済モデルによって細胞と判別されたデータの細胞の種類を判別するための、上記第１の学習済モデルとは異なる第２の学習済モデルを構築する第２学習部と、を備えていることを特徴とする学習装置。
2. 入力されたデータに関連付けされた情報を参照して、上記第１の教師データおよび上記第２の教師データを生成する教師データ生成部をさらに備えていることを特徴とする請求項１に記載の学習装置。
3. 上記教師データ生成部は、細胞の種類を示す情報および非細胞の種類を示す情報と、細胞であるか非細胞であるかの情報との対応関係が示されたテーブルを参照して、上記第１の教師データを生成することを特徴とする請求項２に記載の学習装置。
4. 上記第１の教師データおよび上記第２の教師データに含まれる上記データが、画像データであることを特徴とする請求項１〜３の何れか１項に記載の学習装置。
5. 入力されたデータにおける細胞の種類を判別する細胞判別装置であって、
   請求項１〜４の何れか１項に記載の学習装置が構築した上記第１の学習済モデルを用いて、入力されたデータが細胞および非細胞の何れを示すものであるかを判別する第１判別部と、
   上記第１判別部による判別結果が細胞を示す場合に、上記学習装置が構築した第２の学習済モデルを用いて、上記入力されたデータが何れの種類の細胞を示すものであるかを判別する第２判別部と、
   上記第１判別部による判別結果が非細胞を示す場合には該判別結果を出力し、上記第１判別部による判別結果が細胞を示す場合には上記第２判別部による判別結果を出力する判別結果出力部と、を備えていることを特徴とする細胞判別装置。
6. 上記学習装置を備えていることを特徴とする請求項５に記載の細胞判別装置。
7. 細胞判別に用いられる学習済モデルを構築する学習方法であって、
   細胞を示すデータおよび非細胞を示すデータを含む第１の教師データを用いた機械学習により、細胞および非細胞の何れであるかを判別するための第１の学習済モデルを構築する第１学習工程と、
   互いに異なる種類の細胞を示す複数種類のデータを含み、かつ非細胞を示すデータを含まない第２の教師データを用いた機械学習により、第１の学習済モデルによって細胞と判別されたデータの細胞の種類を判別するための、上記第１の学習済モデルとは異なる第２の学習済モデルを構築する第２学習工程と、を含むことを特徴とする学習方法。
8. 細胞または非細胞を示す上記データは、血中成分を撮像して得られた画像データであり、上記細胞の種類として、少なくとも血中循環腫瘍細胞を含むことを特徴とする請求項７に記載の学習方法。
9. 入力されたデータにおける細胞の種類を判別する細胞判別方法であって、
   データを入力するデータ入力工程と、
   請求項１〜４の何れか１項に記載の学習装置が構築した第１の学習済モデルを用いて、入力されたデータが細胞および非細胞の何れを示すものであるかを判別する第１判別工程と、
   上記第１判別工程による判別結果が細胞を示す場合に、上記学習装置が構築した第２の学習済モデルを用いて、上記入力されたデータが何れの種類の細胞を示すものであるかを判別する第２判別工程と、
   上記第１判別工程による判別結果が非細胞を示す場合には該判別結果を出力し、上記第１判別工程による判別結果が細胞を示す場合には上記第２判別工程による判別結果を出力する判別結果出力工程と、を含むことを特徴とする細胞判別方法。
10. 請求項１〜４の何れか１項に記載の学習装置としてコンピュータを機能させるための学習プログラム。
11. 請求項５または６に記載の細胞判別装置としてコンピュータを機能させるための細胞判別プログラム。