JP2020166711A - 計数装置、計数方法、計数プログラムおよび記録媒体 - Google Patents

Abstract

【課題】高い学習精度が期待される教師データを好適に作成し、当該教師データを用いた深層学習により生成される学習モデルを用いて特定の細胞状態の細胞を計数する。【解決手段】計数装置（１００）は、学習用単位画像を表示させる表示処理部（１３１）と、学習用単位画像毎に、複数種類の入力のいずれかを受け付ける入力処理部（１３２）と、各学習用単位画像および当該学習用単位画像に対する入力の種類から教師データを生成し、当該教師データを用いて特定の細胞状態を深層学習させた学習モデルを生成する学習モデル生成部（１３３）と、生成した学習モデルを用いて、計数用撮影画像から、特定の細胞状態の細胞を計数する計数部（１２２）と、を備え、複数種類の入力は、学習用単位画像が特定の細胞状態を示すと評価する１または複数種類の入力と、学習用単位画像が示す細胞状態が判定できないと評価する１または複数種類の入力と、を少なくとも含む。【選択図】図１

Description

本発明は、複数の細胞が撮影された計数用撮影画像から、特定の細胞状態の細胞を計数する計数装置、計数方法および計数プログラムならびに当該計数プログラムが記録された記録媒体に関する。

被験物質の毒性または活性を確認するための試験、特に、小核試験のような遺伝毒性試験の一手順として、特定の細胞状態の細胞を計数する場合がある。このような細胞の計数は一般に試験者の目視で行われるため、試験者の負担となっている。

これに対し、近年、複数の細胞を撮影した画像中の細胞を、コンピュータを用いて分類する技術が検討されている（特許文献１、非特許文献１、２）。特許文献１には、細胞の分類のための学習アルゴリズムのトレーニングデータセットを動的に変更することによって、細胞の分類の正確性を経時的に改善させることが記載されている。非特許文献１には、細胞の画像処理のためのソフトウェアが、非特許文献２には、画像に基づく機械学習による細胞の分析のためのソフトウェアが、それぞれ記載されている。

特表２０１２−５２９０２０号公報

Carpenter AE, Jones TR, Lamprecht MR, Clarke C, Kang IH, Friman O, Guertin DA, Chang JH, Lindquist RA, Moffat J, Golland P, Sabatini DM (2006) CellProfiler: image analysis software for identifying and quantifying cell phenotypes. Genome Biology 7:R100 Jones TR, Kang IH, Wheeler DB, Lindquist RA, Papallo A, Sabatini DM, Golland P, Carpenter AE (2008) CellProfiler Analyst: data exploration and analysis software for complex image-based screens. BMC Bioinformatics 9(1):482

しかしながら、特許文献１および非特許文献１、２には、高い学習精度が期待される教師データを好適に作成する方法が十分に開示されているとはいえない。

本発明の一態様は、上記課題に鑑みてなされたものであり、高い学習精度が期待される教師データを好適に作成し、当該教師データを用いた深層学習により生成される学習モデルを用いて特定の細胞状態の細胞を計数する計数装置、計数方法および計数プログラムを実現することを主たる目的とする。

上記課題を解決するために、本発明の一態様に係る計数装置は、複数の細胞が撮影された計数用撮影画像から、特定の細胞状態の細胞を計数する計数装置であって、複数の細胞が撮影された学習用撮影画像から細胞毎に切り出された学習用単位画像を表示部に表示させる表示処理部と、前記学習用単位画像毎に、当該学習用単位画像が示す細胞状態の評価として、複数種類の入力のいずれかを受け付ける入力処理部と、各学習用単位画像および当該学習用単位画像に対する入力の種類から教師データを生成し、当該教師データを用いて前記特定の細胞状態を深層学習させた学習モデルを生成する学習モデル生成部と、前記学習モデル生成部が生成した前記学習モデルを用いて、前記計数用撮影画像から、前記特定の細胞状態の細胞を計数する計数部と、を備え、前記複数種類の入力は、前記学習用単位画像が前記特定の細胞状態を示すと評価する１または複数種類の入力と、前記学習用単位画像が示す前記細胞状態が判定できないと評価する１または複数種類の入力と、を少なくとも含む。

また、本発明の一態様に係る計数方法は、複数の細胞が撮影された計数用撮影画像から、特定の細胞状態の細胞を計数する計数方法であって、複数の細胞が撮影された学習用撮影画像から細胞毎に切り出された学習用単位画像を表示部に表示させる表示処理工程と、前記学習用単位画像毎に、当該学習用単位画像が示す細胞状態の評価として、複数種類の入力のいずれかを受け付ける入力処理工程と、各学習用単位画像および当該学習用単位画像に対する入力の種類から教師データを生成し、当該教師データを用いて前記特定の細胞状態を深層学習させた学習モデルを生成する学習モデル生成工程と、前記学習モデル生成工程において生成した前記学習モデルを用いて、前記計数用撮影画像から、前記特定の細胞状態の細胞を計数する計数工程と、を包含し、前記複数種類の入力は、前記学習用単位画像が前記特定の細胞状態を示すと評価する１または複数種類の入力と、前記学習用単位画像が示す前記細胞状態が判定できないと評価する１または複数種類の入力と、を少なくとも含む。

本発明の一態様によれば、教師データを好適に作成し、当該教師データを用いた深層学習により生成される学習モデルを用いて特定の細胞状態の細胞を計数することができる。これにより、例えば、初期教師データがない場合や、細胞状態の判定に用いられる特徴量が決まっていない場合であっても、好適に特定の細胞状態の細胞を計数することができる。

本発明の一実施形態に係る計数装置および端末装置の概略構成を示す機能ブロック図である。 本発明の一実施形態に係る計数装置の主制御部の学習フェーズにおける処理の流れを示すフローチャートである。 本発明の一実施形態に係る計数装置の主制御部の計数フェーズにおける処理の流れを示すフローチャートである。 （ａ）は、学習用撮影画像の一例を示し、（ｂ）は（ａ）の部分拡大図を示す。 入力画面の一例を示す図である。 （ａ）は、小核ありの細胞を示す学習用単位画像の例を示し、（ｂ）は小核なしの細胞を示す学習用単位画像の例を示す。

以下、本発明の一実施形態について、詳細に説明する。一実施形態において、本発明は、複数の細胞が撮影された計数用撮影画像から、各細胞が特定の細胞状態を判定し、当該特定の細胞状態の細胞を計数する計数装置を提供する。当該計数装置は、例えば、被験物質の毒性または活性を確認するための試験において、特定の細胞状態の細胞を計数するために用いることができる。また、当該計数装置は、被験物質の毒性または活性を確認するための試験以外でも、任意の細胞群において特定の細胞状態の細胞を計数するために用いることができる。

一実施形態において、「細胞」は、用途に応じた細胞を適宜選択すればよく、培養細胞、生体から採取した細胞、細菌等であり得る。また、「特定の細胞状態」としては、用途に応じた細胞状態を適宜選択すればよく、例えば、生育阻害、形態の変化（構造異常）、染色体数の変化（染色体の不分離、分裂の停止等）、小核の存在等が挙げられるが、これらに限定されない。

一実施形態において、計数装置を用いる試験は、インビボ試験であってもインビトロ試験であっても良く、例えば、細菌（大腸菌、サルモネラ菌等）を用いる復帰突然変異試験（ＡＭＥＳ試験）、ほ乳類他の培養細胞を用いる染色体異常試験、げっ歯類造血細胞等を用いる小核試験等が挙げられるが、これらに限定されない。以下、小核試験の手順の一例を示すが、これは本発明を限定するものではない。

（小核試験の手順の一例）
以下の手順によって小核試験を実施する。記載していない事項については、「医薬品の遺伝毒性試験に関するガイドラインについて」（https://www.pmda.go.jp/files/000156267.pdf）に従う。

細胞としては、ＣＨＬ／ＩＵ細胞（チャイニーズハムスター肺由来線維芽細胞、（財）ヒューマンサイエンス振興財団）を用いる。培地としては、Ｅａｇｌｅ’ｓ ＭＥＭ培地に５６℃で３０分間非働化したウシ血清を最終濃度１０％になるように添加し、冷蔵保存（４℃）したものを用いる。被験物質の用量は細胞毒性試験の結果をもとに公比２で５用量設定する。ＩＣ５０が算出できた場合はＩＣ５０付近を最高用量とする。溶解性あるいは細胞毒性による制限がない場合には、最高用量の上限は１．０ｍｍｏｌ／Ｌまたは０．５ｍｇ／ｍＬの低い方とする。難溶または不溶の場合で細胞毒性がなければ、最高用量は析出がみられ、観察を妨害しない最も低い濃度とする。

（１）被験物質について、各用量、最終濃度の１００倍濃度溶液を調製する。必要量秤量した被験物質を１００％ＤＭＳＯで溶解し、最高濃度溶液（１００倍濃度）を調製する。さらに１００％ＤＭＳＯで段階希釈し、各濃度溶液（１００倍濃度）を調製する。

（２）染色体異常試験用Ｓ９／コファクターＣセット（オリエンタル酵母工業株式会社）のＳ９とコファクターを全量混合し、Ｓ９ ｍｉｘを調製する。

（３）Ｓ９ ｍｉｘ−群では６および２４時間処理を、Ｓ９ ｍｉｘ＋群では６時間処理を設定する。簡易試験の場合は、Ｓ９ ｍｉｘ−群、Ｓ９ ｍｉｘ＋群ともに６時間処理のみ行う。

（４）被験物質の１００倍濃度溶液をＳ９ ｍｉｘ−群は培地で１００倍希釈し、Ｓ９ ｍｉｘ＋群は培地とＳ９ ｍｉｘを４：１で混合した溶液で１００倍希釈する（ＤＭＳＯ最終濃度１％）。Ｓ９ ｍｉｘ＋群の調製は添加直前に行う。

（５）陽性対照物質として、Ｓ９ ｍｉｘ＋群にはシクロホスファミド（１０μｇ／ｍＬ）、Ｓ９ ｍｉｘ−群にはマイトマイシンＣ（６時間処理：０．１０μｇ／ｍＬ、２４時間処理：０．０５μｇ／ｍＬ）を用時調製して用いる。

（６）チャンバースライド（２ｗｅｌｌ）の各ｗｅｌｌに１．５・１０４ｃｅｌｌｓ／ｍＬに調製した細胞懸濁液を１．５ｍＬ（２．２５・１０４ｃｅｌｌｓ／ｗｅｌｌ）播種し、炭酸ガス培養装置にて約２４時間前培養する。各用量、チャンバースライド１枚（２ｗｅｌｌ）ずつ播種する。

（７）アスピレーターにて培地を除去後、被験物質あるいは陽性対照物質溶液を１．５ｍＬ添加し、２４時間培養する。なお、添加時に析出の有無を光学顕微鏡にて観察する。

（８）６時間処理群については６時間培養後、析出の有無を光学顕微鏡にて観察する。アスピレーターにて培地を除去後、ＰＢＳ（−）を１ｍＬ／ｗｅｌｌ添加し、洗浄する。培地を１．５ｍＬ／ｗｅｌｌ加えた後、さらに１８時間培養する。

（９）被験物質を添加してから２４時間後、２４時間処理群については析出の有無を光学顕微鏡にて観察する。デカンテーションにて培地を捨て、チャンバーからチャンバーを剥がす。染色ビンに入れたＰＢＳ（−）にスライドを浸漬して洗浄する。

（１０）ドラフト内で、染色ビンに入れたメタノール：酢酸（５０：１）溶液にスライドを浸漬し、約３０分間固定する。ドラフト内で風乾させて、観察まで冷蔵保存する。

（１１）標本観察者以外の人が標本のブラインド化を行う。Ｓ９ ｍｉｘ−群の６および２４時間処理群、Ｓ９ ｍｉｘ＋群の６時間処理群の陰性対照、被験物質３用量および陽性対照の５つの標本を各群内にてシャッフルし、１〜５までの通し番号を新たに付する。

（１２）観察直前に、標本に５０μｇ／ｍＬアクリジンオレンジ溶液（１ｍｇ／ｍＬアクリジンオレンジ溶液をＰＢＳ（−）で２０倍希釈）を数滴滴下する。すぐに染色ビンに入れたＰＢＳ（−）に浸漬して軽く洗浄し、カバーガラスを被せて封入する。

（１３）１ｗｅｌｌあたり２０００個（各用量４０００個）の細胞を観察し、小核が有る細胞である小核細胞数をカウントする。小核の判定基準としては、(i)面積が主核の１／３以下、(ii)色調は主核と同じか、それより明るい、(iii)主核と重なっていない（少し重なっていても境界が明瞭に識別できるものは小核とする）といった基準を用いる。

（１４）小核細胞の出現頻度を、陰性対照群と被験物質処理群の間でＦｉｓｃｈｅｒ の直接確率法（片側ｐ＜０．０２５）を用いて有意差を判定する。また、累積カイ二乗検定またはＣｏｃｈｒａｎ−Ａｒｍｉｔａｇｅの傾向検定（片側ｐ＜０．０２５）により用量相関性を判定する。

ここで、本実施形態に係る計数装置を用いることにより、上記（１３）の手順を行うことができる。観察対象の細胞を撮影した顕微鏡写真を計数用撮影画像とし、小核が出現している状態を特定の細胞状態とすることにより、本実施形態に係る計数装置によって小核が出現している細胞数をカウントすることができる。他の種類の試験においても同様に、本実施形態に係る計数装置を用いて特定の細胞常態の細胞のカウントを行うことができる。

（計数装置の構成）

図１は、本発明の一実施形態に係る計数装置１００および端末装置１０の概略構成を示す機能ブロック図である。図１に示すように、一態様において、計数装置１００は、表示部、入力デバイス等を備えた端末装置１０と通信する構成である。ただし、本実施形態はこの構成に限定されず、例えば、計数装置１００は、端末装置１０と通信せずに、自ら表示部、入力デバイス等を備えていてもよい。

計数装置１００は、通信部１１０および主制御部１２０を備えている。主制御部１２０は、切り出し部１２１、計数部１２２、学習処理部１３０および記憶部１４０を備えている。学習処理部１３０は、表示処理部１３１、入力処理部１３２、学習モデル生成部１３３を備えている。

通信部１１０は、端末装置１０との間で、有線または無線でデータの送受信を行う通信インターフェースである。

主制御部１２０は、計数装置１００を統括的に制御するものである。

記憶部１４０は、例えばハードディスク、フラッシュメモリ等の不揮発性の記憶装置によって構成され、撮影画像（学習用撮影画像、計数用撮影画像）、単位画像（学習用単位画像、計数用単位画像）、教師データ、学習モデル等の主制御部１２０が使用する各種データ、主制御部１２０が実行する各種の制御プログラム等が記憶される。

切り出し部１２１は、所定の基準に基づいて、記憶部１４０に記憶された学習用撮影画像から細胞毎に学習用単位画像を切り出すとともに、当該所定の基準に基づいて、記憶部１４０に記憶された計数用撮影画像から細胞毎に計数用単位画像を切り出す。切り出し部１２１が切り出した学習用単位画像および計数用単位画像は記憶部１４０に記憶される。

一態様において、切り出し部１２１は、公知の特徴量抽出アルゴリズムを用いて、所定の基準に基づいて、細胞毎に単位画像を切り出すようになっている。所定の基準としては、細胞の大きさに関する基準（大きさの条件）、細胞の縦横比に関する基準（縦横比の条件）、細胞における明るさの中点の位置に関する基準（明るさの中点の位置の条件）、および、これらの条件をどの程度厳格に適用するかの基準が挙げられる。切り出し部１２１は、撮影画像中において、周囲の領域から画素値によって区別される領域であって、所定の基準を満たした領域を、細胞に対応する領域として検出し、当該細胞に対応する領域を囲む矩形領域を単位画像として切り出す。

なお、非特許文献１に記載のソフトウェアを小核試験に適用する場合、細胞および小核をそれぞれの輪郭線に沿って別個に切り出すことになる。この場合、適切に細胞および小核を切り出すためには、細胞の大きさに関するパラメータ、および、小核の大きさに関するパラメータを始めとする多数のパラメータを調整する必要があり、専門的な知識と煩雑な手間が必要となる。これに対し、本実施形態によれば、細胞および小核をまとめて含む矩形領域を単位画像として切り出すため、小核の大きさに関するパラメータ等、小核を特定するためのパラメータは不要であり、簡便に切り出しを行うことができる。これは、本実施形態では、深層学習を用いて単位画像を判定するため、細胞および小核を含む矩形領域を学習用単位画像または計数用単位画像として好適に用いることができることに起因する。

なお、切り出し部１２１が切り出す単位画像の形状は矩形に限定されず、多角形または円形とすることができる。多角形は、特に限定されないが、三角形、四角形（矩形）、五角形、六角形等が挙げられる。また、円形は、真円、楕円を含む。

表示処理部１３１は、切り出し部１２１によって切り出され記憶部１４０に記憶された学習用単位画像を、通信部１１０を介して端末装置１０に送信することにより、端末装置１０の表示部１２に学習用単位画像を表示させる。学習用単位画像の表示態様については後述する。

入力処理部１３２は、通信部１１０を介して端末装置１０の入力デバイス１３への入力を取得することにより、表示処理部１３１によって表示部１２に表示された学習用単位画像について、当該学習用単位画像が示す細胞状態の評価として、複数種類の入力のいずれかを受け付ける。複数種類の入力は、例えば、２〜５種類の入力であり得、学習用単位画像が特定の細胞状態を示すと評価する１または複数種類の入力と、学習用単位画像が示す細胞状態が判定できないと評価する１または複数種類の入力と、を少なくとも含むものであることが好ましく、さらに、学習用単位画像が特定の細胞状態以外の細胞状態を示すと評価する１または複数種類の入力を含んでいてもよい。

例えば、一態様において、小核試験に適用する場合、複数種類の入力は、(i)学習用単位画像が、小核が出現している細胞状態（「小核あり」）を示すと評価する入力、(ii)学習用単位画像が、小核が出現していない細胞状態（「小核なし」）を示すと評価する入力、および、(iii)学習用単位画像が示す細胞状態が判定できないと評価する入力であってもよいし、さらに、(iv)学習用単位画像に、複数の核が映っていると評価する入力、(v)学習用単位画像が薄い、または、学習用単位画像に核が映っていないと評価する入力等を含んでいてもよい。

学習モデル生成部１３３は、記憶部１４０に記憶された各学習用単位画像および当該学習用単位画像に対する入力の種類から教師データを生成し、当該教師データを用いて特定の細胞状態を深層学習させた学習モデルを生成する。当該学習モデルは、単位画像が示す細胞状態を判定するための学習モデルである。学習モデル生成部１３３が生成した学習モデルは、記憶部１４０に記憶される。

一態様において、学習モデル生成部１３３は、記憶部１４０に記憶された学習用単位画像のうち、学習用単位画像が特定の細胞状態を示すと評価する入力がなされた学習用単位画像と、学習用単位画像が特定の細胞状態以外の細胞状態を示すと評価する入力がなされた学習用単位画像とを教師データとして用い、学習用単位画像が示す細胞状態が判定できないと評価する入力がなされた学習用単位画像は、教師データには含めない。なお、学習用単位画像が特定の細胞状態以外の細胞状態を示すと評価する入力には、互いに異なる細胞状態を示すと評価する複数種類の入力が対応していてもよいし、学習用単位画像が示す細胞状態が判定できないと評価する入力には、互いに異なる理由により細胞状態が判定できないと評価する複数種類の入力が対応していてもよい。このような教師データを用いることによって、後述する計数用単位画像が特定の細胞状態を示すか否かを判定するための学習モデルを生成することができる。

一態様において、学習モデル生成部１３３は、記憶部１４０に記憶された学習用単位画像のうち、学習用単位画像が特定の細胞状態を示すと評価する入力がなされた学習用単位画像を、記憶部１４０における特定のフォルダに記憶し、学習用単位画像が特定の細胞状態以外の細胞状態を示すと評価する入力がなされた学習用単位画像を、記憶部１４０における別の特定のフォルダに記憶し、両フォルダに記憶されたデータを教師データとする。なお、教師データの生成方法は、所定のフォルダに学習用単位画像を記憶する方法に限定されず、例えば、各学習用単位画像にメタデータとして、何れの入力がなされたのかを付加する方法等であってもよい。

また、他の一態様において、学習モデル生成部１３３は、記憶部１４０に記憶された学習用単位画像のうち、学習用単位画像が特定の細胞状態を示すと評価する入力がなされた学習用単位画像のみを教師データとして用いてもよい。このような教師データによっても、後述する計数用単位画像が特定の細胞状態を示すか否かを判定するための学習モデルを生成することができる。

学習モデル生成部１３３が深層学習のために用いる具体的アルゴリズムは本実施形態を限定するものではなく、例えばニューラルネットワーク（NN: Neural Network）を用いた深層学習アルゴリズムの何れかまたはそれらの組み合わせを用いることができる。

ニューラルネットワークを用いる場合、入力される画像情報をニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの１次元的配列化、または多次元的配列化に加え、例えば、画像の反転、回転等を含むデータオーギュメンテーション（Data Augmentation）等の手法を用いることができる。なお、この手法は、深層学習ではない機械学習を用いる非特許文献２のソフトウェアでは使用することができない。

また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよいし、再帰的処理を含むリカレントニューラルネットワーク（RNN: Recurrent Neural Network）を用いてもよい。ＣＮＮを用いる場合、より具体的には、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。

また、ニューラルネットワークとして、数十〜数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。

計数部１２２は、記憶部１４０に記憶された学習モデルを用いて、記憶部１４０に記憶された各計数用単位画像が示す細胞状態が、特定の細胞状態であるか否かを判定し、判定結果を合計することにより、特定の細胞状態の細胞を計数する。

端末装置１０は、通信部１１、表示部１２、入力デバイス１３および制御部１４を備えている。通信部１１は、計数装置１００との間で、有線または無線でデータの送受信を行う通信インターフェースである。表示部１２は、画像、文字等を表示可能なディスプレイである。入力デバイス１３は、ユーザの入力を受け付けるものであり、例えばタッチパネル、マウス、キーボード等によって実現される。入力デバイス１３がタッチパネルの場合、表示部１２に当該タッチパネルが設けられる。制御部１４は、端末装置１０を統括的に制御する。ユーザは、端末装置１０を介して、計数装置１００の機能を利用することができる。

（計数装置の動作）
計数装置１００は、学習モデルを生成する学習フェーズと、学習フェーズにおいて生成した学習モデルを用いて計数を行う計数フェーズとを実行する。

図２は、学習フェーズにおける主制御部１２０の処理の流れを示すフローチャートである。ステップＳ１０において、主制御部１２０は、学習用撮影画像を取得する。学習用撮影画像は、例えば、ユーザが記憶部１４０に予め記憶しておいたものであってもよいし、ユーザが端末装置１０を操作して、計数装置１００にアップロードしたものであってもよい。主制御部１２０は、学習用撮影画像が記憶部１４０に記憶されていない場合は、取得した学習用撮影画像を記憶部１４０に記憶する。

ステップＳ１１において、切り出し部１２１は、所定の基準に基づいて、記憶部１４０に記憶された学習用撮影画像から細胞毎に学習用単位画像を切り出し、記憶部１４０に記憶する（学習用切り出し工程）。図４の（ａ）は、学習用撮影画像２０の一例を示し、図４の（ｂ）は、図４の（ａ）に示す学習用撮影画像２０の部分拡大画像を示す。図４の（ｂ）に示すように、切り出し部１２１は、学習用撮影画像２０中の所定の基準を満たす領域を細胞の領域２１として検出し、当該細胞の領域２１を囲む多角形または円形の領域（例えば、矩形領域）を学習用単位画像２２として切り出す。

ステップＳ１２において、表示処理部１３１は、端末装置１０の表示部１２に入力画面３０を表示させる（表示処理工程）。詳細には、表示処理部１３１は、通信部１１０を介して端末装置１０に入力画面３０を表示させるためのデータ（各学習用単位画像２２の画像データおよび各画像データが記憶されているフォルダ情報等）を送信することにより、表示部１２に入力画面３０を表示させる。図５は、入力画面３０の一例を示す。図５に示すように、入力画面３０には、複数の学習用単位画像２２が並べて表示される。また、入力画面３０において、各学習用単位画像２２には枠２３が付されている。また、入力画面３０には、表示されている複数の学習用単位画像２２を切り替えるためのボタン３１、および、入力を完了させるボタン３２が表示されていてもよい。

ステップＳ１３において、入力処理部１３２は、入力画面３０に並べて表示された複数の学習用単位画像２２毎に、当該学習用単位画像２２が示す細胞状態が特定の細胞状態であるか否かの評価として、複数種類の入力のいずれかを受け付ける（入力処理工程）。そして、入力が完了するまで（ステップＳ１４のＮＯ）、ステップＳ１３を繰り返し、入力が完了した場合（ステップＳ１４のＹＥＳ）、ステップＳ１５に進む。

一態様において、計数装置１００を小核試験において用いる場合、特定の細胞状態とは小核が形成された状態であり、ユーザは、各学習用単位画像２２について、(i)「小核あり」を示すと評価する入力（第１の入力）、(ii)「小核なし」を示すと評価する入力（第２の入力）、および、(iii)小核の有無を判定できないと評価する入力（第３の入力）のいずれかを入力する。なお、図６の（ａ）に、小核２４がある状態を示す学習用単位画像２２の例を示し、図６の（ｂ）に、小核２４がない状態を示す学習用単位画像２２の例を示す。

一態様において、入力処理部１３２は、ユーザの入力を、入力後に変更が可能な仮入力として受け付けた後に、各仮入力を一括して確定させることが好ましい。複数の学習用単位画像２２が並べて表示された状態で、ユーザの入力が、入力後に変更が可能な仮入力として受け付けられることにより、ユーザは、各学習用単位画像２２に対する入力を、他の学習用単位画像２２と比較しながら注意深く行うことができる。後述するように、入力処理部１３２が受け付けた入力に基づいて教師データが定まるため、これにより当該教師データの質を高めることができる（つまり、高い学習精度が期待される教師データとなる）。この場合、入力処理部１３２は、入力デバイス１３によってボタン３２が選択された場合に、入力が完了したと判断してもよい。

一態様において、入力デバイス１３による入力は、例えばトグルスイッチのような入力方式で行うことができる。すなわち、入力デバイス１３によって任意の学習用単位画像２２が選択される毎に、制御部１４が通信部１１を介して、選択された学習用単位画像２２を入力処理部１３２に通知し、入力処理部１３２は、学習用単位画像２２が選択された回数に応じて、当該学習用単位画像２２に第１、第２または第３の仮入力がなされたと受け付けてもよい。例えば、入力処理部１３２は、特定の学習用単位画像２２が１回、２回、３回と選択された場合に、当該特定の学習用単位画像２２に対して第１、第２、第３の仮入力がなされたと受け付け、さらに当該特定の学習用単位画像２２が選択された場合には、再度、当該特定の学習用単位画像２２に対して第１、第２、第３の仮入力がなされたと受け付けてもよい。但し、本実施形態における入力方式はこれに限定されず、他の方法で第１、第２、第３の入力または仮入力がなされてもよい。

また、一態様において、表示処理部１３１は、各学習用単位画像２２に何れの入力または仮入力がなされたのかが視覚的に示される態様で入力画面３０を表示させることが好ましい。例えば、表示処理部１３１は、各学習用単位画像２２に付された枠２３の色を、入力または仮入力の種類に応じて変化させてもよい。また、表示処理部１３１は、各学習用単位画像２２に、入力または仮入力の種類に応じた画像または記号を付してもよいし、枠２３の点滅の態様を変化させてもよい。これにより、ユーザは、各学習用単位画像２２になされた入力または仮入力を容易に確認することができる。

また、一態様において、表示処理部１３１は、入力画面３０に、さらに、未入力の学習用単位画像２２の画像データが記憶されているフォルダ情報３３、第１の入力がなされた学習用単位画像２２の画像データが記憶されているフォルダ情報３４、第２の入力がなされた学習用単位画像２２の画像データが記憶されているフォルダ情報３５、第３の入力がなされた学習用単位画像２２の画像データが記憶されているフォルダ情報３６をそれぞれ表示させてもよい。この場合、学習モデル生成部１３３が、各学習用単位画像２２に対して仮入力がなされる毎に、各学習用単位画像２２の画像データを記憶するフォルダを変更するとともにフォルダ情報３３〜３６を編集し、表示処理部１３１が編集されたフォルダ情報３３〜３６を入力画面３０に表示させてもよい。

また、一態様において、表示処理部１３１は、入力デバイス１３によってボタン３１が選択された場合に、入力画面３０に表示されている複数の学習用単位画像２２を切り替えてもよい。これにより、多数の学習用単位画像２２を切り替えながら表示することができる。なお、一態様において、表示処理部１３１は、入力画面３０に、一つの学習用単位画像２２のみを切り替えながら表示させてもよいが、複数の学習用単位画像２２を並べて表示させることが好ましい。

ステップＳ１５において、学習モデル生成部１３３は、各学習用単位画像および当該学習用単位画像に対する入力の種類から教師データを生成し、当該教師データを用いて特定の細胞状態を深層学習させた学習モデルを生成し、記憶部１４０に記憶する（学習モデル生成工程）。以上により、学習フェーズを完了する。

図３は、計数フェーズにおける主制御部１２０の処理の流れを示すフローチャートである。ステップＳ２０において、主制御部１２０は、計数用撮影画像を取得する。計数用撮影画像は、例えば、ユーザが記憶部１４０に予め記憶しておいたものであってもよいし、ユーザが端末装置１０を操作して、計数装置１００にアップロードしたものであってもよい。主制御部１２０は、計数用撮影画像が記憶部１４０に記憶されていない場合は、取得した計数用撮影画像を記憶部１４０に記憶する。

ステップＳ２１において、切り出し部１２１は、ステップＳ１１において用いた基準に基づいて、記憶部１４０に記憶された計数用撮影画像から細胞毎に計数用単位画像を切り出し、記憶部１４０に記憶する（計数用切り出し工程）。

ステップＳ２２において、計数部１２２は、記憶部１４０に記憶された学習モデルを用いて、記憶部１４０に記憶された各計数用撮影画像が示す細胞状態が、特定の細胞状態であるか否かを判定し、判定結果を合計することにより、特定の細胞状態の細胞を計数する（計数工程）。

ステップＳ２３において、計数部１２２は、ステップＳ２２において計数した特定の細胞状態の細胞の計数結果を、通信部１１０を介して端末装置１０に送信し、表示部１２に表示させる。以上により、計数フェーズを完了する。

（本実施形態の効果）
以上のように、本実施形態では、学習用単位画像毎に、当該学習用単位画像が示す細胞状態が特定の細胞状態であるか否かの評価として、複数種類の入力のいずれかを受け付け、各学習用単位画像および当該学習用単位画像に対する入力の種類から教師データを生成し、当該教師データを用いた深層学習により生成される学習モデルを用いて各細胞が特定の細胞状態であるか否かを判定し、当該特定の細胞状態の細胞を計数する。

これにより、特定の細胞状態を示すか否かについてのユーザの評価を用いて教師データを構成することができるため、例えば、初期教師データがない場合や、判定に用いられる特徴量が決まっていない場合であっても、好適に各細胞が特定の細胞状態であるか否かを判定し、当該特定の細胞状態の細胞を計数することができる。

特に、学習用単位画像が示す細胞状態が判定できないと評価する入力を受け付けるようにすることで、ヒューマンエラーを抑制することができる。例えば、非特許文献２のソフトウェアでは、学習用単位画像が示す細胞状態が判定できないと評価する入力は受け付けられず、ユーザが判定できなかった画像は、ランダムに繰り返し評価対象としてユーザに提示されることになる。このように、同一画像が複数回ユーザに提示される場合、ユーザの評価が揺れたり、判定が難しい画像が繰り返し提示されることによってストレスが生じ、ヒューマンエラーにつながる場合がある。また、同一画像に対して異なる判定を下す可能性も生じるため、教師データの質が低下する原因ともなる。これに対し、本実施形態によれば、学習用単位画像が示す細胞状態が判定できないと評価する入力を受け付けるため、ヒューマンエラーを抑制し、教師データの質を高めることができる。

さらに、例えば、複数種類の入力を、(i)学習用単位画像が特定の細胞状態を示すと評価する１または複数種類の入力、(ii)学習用単位画像が特定の細胞状態以外の細胞状態を示すと評価する１または複数種類の入力、および、(iii)学習用単位画像が示す前記細胞状態が判定できないと評価する１または複数種類の入力とし、学習モデル生成部が、学習用単位画像が特定の細胞状態を示すと評価する入力がなされた学習用単位画像、および、学習用単位画像が特定の細胞状態以外の細胞状態を示すと評価する入力がなされた学習用単位画像を教師データとすることにより、特定の細胞状態を示すか否かについてユーザが確信を有する学習用単位画像を用いて教師データを構成することができるため、教師データの質を高め、学習モデルによる判定精度を向上させることができる。

また、本実施形態では、以下の一連のフローによって、入力画像そのものに対する解析だけでなく、入力画像から得られる（切り出された）各単位画像を個別に解析可能である。これにより、例えば、単位画像を得るために複雑な切り出しを行う場合にも対応可能となる。

（１）所定の基準により学習用撮影画像から学習用単位画像を切り出す。

（２）上記（１）において切り出した学習用単位画像を表示して細胞状態の入力を受け付ける。

（３）上記（２）における細胞状態の評価の入力に基づいて教師データを構成する。

（４）上記（３）において構成した教師データを用いて学習モデルを生成する。

（５）上記（１）において用いた基準により、計数用撮影画像から計数用単位画像を切り出す。

（６）上記（４）において生成した学習モデルを用いて、上記（５）において切り出した計数用単位画像が示す細胞状態を判定する。

（７）上記（６）における判定結果に基づいて計数用撮影画像に写った各細胞の細胞状態を判定し、特定の細胞状態の細胞を計数する。

〔ソフトウェアによる実現例〕
計数装置１００の制御ブロック（特に主制御部１２０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、計数装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る計数装置は、複数の細胞が撮影された計数用撮影画像から、特定の細胞状態の細胞を計数する計数装置であって、複数の細胞が撮影された学習用撮影画像から細胞毎に切り出された学習用単位画像を表示部に表示させる表示処理部と、前記学習用単位画像毎に、当該学習用単位画像が示す細胞状態の評価として、複数種類の入力のいずれかを受け付ける入力処理部と、各学習用単位画像および当該学習用単位画像に対する入力の種類から教師データを生成し、当該教師データを用いて前記特定の細胞状態を深層学習させた学習モデルを生成する学習モデル生成部と、前記学習モデル生成部が生成した前記学習モデルを用いて、前記計数用撮影画像から、前記特定の細胞状態の細胞を計数する計数部と、を備え、前記複数種類の入力は、前記学習用単位画像が前記特定の細胞状態を示すと評価する１または複数種類の入力と、前記学習用単位画像が示す前記細胞状態が判定できないと評価する１または複数種類の入力と、を少なくとも含む。

本発明の態様２に係る計数装置は、上記態様１において、前記複数種類の入力は、前記学習用単位画像が前記特定の細胞状態以外の細胞状態を示すと評価する１または複数種類の入力を含み、前記学習モデル生成部は、前記学習用単位画像が前記特定の細胞状態を示すと評価する入力がなされた前記学習用単位画像、および、前記学習用単位画像が前記特定の細胞状態以外の細胞状態を示すと評価する入力がなされた前記学習用単位画像を前記教師データとするものであってもよい。

本発明の態様３に係る計数装置は、上記態様１または２において、所定の基準に基づいて、前記学習用撮影画像から細胞毎に前記学習用単位画像を切り出すとともに、前記基準に基づいて、前記計数用撮影画像から細胞毎に計数用単位画像を切り出す切り出し部と、をさらに備え、前記計数部は、前記切り出し部が切り出した各学習用単位画像および当該学習用単位画像に対する入力の種類から前記教師データを生成し、当該教師データを用いて前記学習モデル生成部が生成した前記学習モデルを用いて、前記切り出し部が切り出した前記計数用単位画像が示す細胞状態を判定し、前記特定の細胞状態の細胞を計数するものであってもよい。

本発明の態様４に係る計数装置は、上記態様３において、前記特定の細胞状態は、小核を有する状態であり、前記切り出し部は、前記学習用単位画像および前記計数用単位画像を多角形または円形に切り出すものであってもよい。

本発明の態様５に係る計数装置は、上記態様４において、前記所定の基準は、前記細胞の大きさに関する基準を含むが、前記小核の大きさに関する基準を含まないものであってもよい。

本発明の態様６に係る計数装置は、上記態様１〜５において、前記表示処理部は、複数の前記学習用単位画像を並べて表示させ、前記入力処理部は、当該並べて表示された複数の前記学習用単位画像の各々に対する前記複数種類の入力のいずれかを、仮入力として受け付けた後に、各仮入力を一括して確定させるものであってもよい。

本発明の態様７に係る計数装置は、上記態様６において、前記表示処理部は、前記仮入力がなされた前記学習用単位画像を、何れの仮入力がなされたのかが視覚的に示される態様で表示させるものであってもよい。

本発明の態様８に係る計数方法は、複数の細胞が撮影された計数用撮影画像から、特定の細胞状態の細胞を計数する計数方法であって、複数の細胞が撮影された学習用撮影画像から細胞毎に切り出された学習用単位画像を表示部に表示させる表示処理工程と、前記学習用単位画像毎に、当該学習用単位画像が示す細胞状態の評価として、複数種類の入力のいずれかを受け付ける入力処理工程と、各学習用単位画像および当該学習用単位画像に対する入力の種類から教師データを生成し、当該教師データを用いて前記特定の細胞状態を深層学習させた学習モデルを生成する学習モデル生成工程と、前記学習モデル生成工程において生成した前記学習モデルを用いて、前記計数用撮影画像から、前記特定の細胞状態の細胞を計数する計数工程と、を包含し、前記複数種類の入力は、前記学習用単位画像が前記特定の細胞状態を示すと評価する１または複数種類の入力と、前記学習用単位画像が示す前記細胞状態が判定できないと評価する１または複数種類の入力と、を少なくとも含む。

本発明の各態様に係る計数装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記計数装置が備える各部（ソフトウェア要素）として動作させることにより上記計数装置をコンピュータにて実現させる計数プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

以下のように本発明の一態様を実施し、結果を検証した。なお、計数装置の各部の実装には、OpenCV2、Numpy、Copy、Kerasといった公知のライブラリを用いた。

（１．学習フェーズ）
上述した小核試験の手順を実行し、陽性対照物質を添加して調製した４８個の標本を撮影した４８枚の顕微鏡写真を学習用撮影画像として取得した。

コンピュータ上で、切り出し部を実装したプログラムを実行し、４８枚の学習用撮影画像から６０９０９個の学習用単位画像を切り出した。

コンピュータ上で、表示処理部および入力処理部を実装したプログラムを実行し、各学習用単位画像に対し、「学習用単位画像が、小核が出現している細胞状態を示すと評価する入力」（「小核あり」の入力）と、「学習用単位画像が、小核が出現していない細胞状態を示すと評価する入力」（「小核なし」の入力）と、「学習用単位画像が示す細胞状態が判定できないと評価する入力」（「判定不可」の入力）とのいずれかの入力を受け付け、２３８１個の学習用単位画像に対し「小核あり」の入力がなされ、１９５０個の学習用単位画像に対し「小核なし」の入力がなされた時点で入力を終了した。さらに、コンピュータ上で、学習モデル生成部を実装したプログラムを実行し、「小核あり」の入力がなされた２３８１個の学習用単位画像、および、「小核なし」の入力がなされた１９５０個の学習用単位画像の計４３３１個の学習用単位画像を教師データとして用いて深層学習を行い、学習モデルを生成した。

結果の検証のため、コンピュータ上で、計数部を実装したプログラムを実行し、生成された学習モデルを用いて、教師データ（上記４３３１個の学習用単位画像）について小核の有無の判定を行った。

（２．試験フェーズ）
上述した小核試験の手順を実行し、陽性対照物質を添加して調製した、学習フェーズとは異なる１６個の標本を撮影した１６枚の顕微鏡写真を計数用撮影画像として取得した。

コンピュータ上で、切り出し部を実装したプログラムを実行し、学習フェーズと同じ基準に基づいて１６枚の計数用撮影画像から１６９４６個の計数用単位画像を切り出した。

結果の検証のため、コンピュータ上で、表示処理部および入力処理部を実装したプログラムを実行し、各計数用単位画像に対し、「小核あり」の入力、「小核なし」の入力および「判定不可」の入力のいずれかの入力を受け付けた。その結果、８０３個の計数用単位画像に対し「小核あり」の入力がなされ、１５３１５個の計数用単位画像に対し「小核なし」の入力がなされ、８２８個の計数用単位画像に対し「判定不可」の入力がなされた。以降では、「判定不可」の入力がなされた８２８個の計数用単位画像を除いた１６１１８個の計数用単位画像について試験を続けた。

コンピュータ上で、計数部を実装したプログラムを実行し、学習フェーズにおいて生成された学習モデルを用いて、上記１６１１８個の計数用単位画像について小核の有無の判定を行った。

（３．結果）
学習フェーズにおける結果は以下の通りである。

試験フェーズにおける結果は以下の通りである。

以上の結果に基づき、正解率（Accuracy）および感度（Sensitivity）を算出した。なお、正解率は、（ＴＰ＋ＴＮ）／（ＴＰ＋ＴＮ＋ＦＰ＋ＦＮ）として算出した。また、感度は、ＴＰ／（ＴＰ＋ＦＮ）として算出した。なお、ＴＰ、ＴＮ、ＦＰ、ＦＮは、以下の表に示す値である。

学習フェーズにおける正解率は、９６．１％であった。また、試験フェーズにおける正解率は、９１．７％であった。また、学習フェーズにおける感度は、９７．１％であった。また、試験フェーズにおける感度は、７６．２％であった。以上のように、十分に高い正解率および感度を得ることができた。

本発明は、被験物質の毒性または活性を確認するための試験に利用することができる。

１０ 端末装置
１２ 表示部
１３ 入力デバイス
２０ 学習用撮影画像
２２ 学習用単位画像
２３ 枠
２４ 小核
３０ 入力画面
１００ 計数装置
１２０ 主制御部
１２１ 切り出し部
１２２ 計数部
１３１ 表示処理部
１３２ 入力処理部
１３３ 学習モデル生成部
１４０ 記憶部

Claims (10)

1. 複数の細胞が撮影された計数用撮影画像から、特定の細胞状態の細胞を計数する計数装置であって、
   複数の細胞が撮影された学習用撮影画像から細胞毎に切り出された学習用単位画像を表示部に表示させる表示処理部と、
   前記学習用単位画像毎に、当該学習用単位画像が示す細胞状態の評価として、複数種類の入力のいずれかを受け付ける入力処理部と、
   各学習用単位画像および当該学習用単位画像に対する入力の種類から教師データを生成し、当該教師データを用いて前記特定の細胞状態を深層学習させた学習モデルを生成する学習モデル生成部と、
   前記学習モデル生成部が生成した前記学習モデルを用いて、前記計数用撮影画像から、前記特定の細胞状態の細胞を計数する計数部と、
   を備え、
   前記複数種類の入力は、前記学習用単位画像が前記特定の細胞状態を示すと評価する１または複数種類の入力と、前記学習用単位画像が示す前記細胞状態が判定できないと評価する１または複数種類の入力と、を少なくとも含むことを特徴とする計数装置。
2. 前記複数種類の入力は、前記学習用単位画像が前記特定の細胞状態以外の細胞状態を示すと評価する１または複数種類の入力を含み、
   前記学習モデル生成部は、前記学習用単位画像が前記特定の細胞状態を示すと評価する入力がなされた前記学習用単位画像、および、前記学習用単位画像が前記特定の細胞状態以外の細胞状態を示すと評価する入力がなされた前記学習用単位画像を前記教師データとすることを特徴とする請求項１に記載の計数装置。
3. 所定の基準に基づいて、前記学習用撮影画像から細胞毎に前記学習用単位画像を切り出すとともに、前記基準に基づいて、前記計数用撮影画像から細胞毎に計数用単位画像を切り出す切り出し部と、をさらに備え、
   前記計数部は、前記切り出し部が切り出した各学習用単位画像および当該学習用単位画像に対する入力の種類から前記教師データを生成し、当該教師データを用いて前記学習モデル生成部が生成した前記学習モデルを用いて、前記切り出し部が切り出した前記計数用単位画像が示す細胞状態を判定し、前記特定の細胞状態の細胞を計数することを特徴とする請求項１または２に記載の計数装置。
4. 前記特定の細胞状態は、小核を有する状態であり、
   前記切り出し部は、前記学習用単位画像および前記計数用単位画像を多角形または円形に切り出すことを特徴とする請求項３に記載の計数装置。
5. 前記所定の基準は、前記細胞の大きさに関する基準を含むが、前記小核の大きさに関する基準を含まないことを特徴とする請求項４に記載の計数装置。
6. 前記表示処理部は、複数の前記学習用単位画像を並べて表示させ、
   前記入力処理部は、当該並べて表示された複数の前記学習用単位画像の各々に対する前記複数種類の入力のいずれかを、仮入力として受け付けた後に、各仮入力を一括して確定させることを特徴とする請求項１〜５のいずれか一項に記載の計数装置。
7. 前記表示処理部は、前記仮入力がなされた前記学習用単位画像を、何れの仮入力がなされたのかが視覚的に示される態様で表示させることを特徴とする請求項６に記載の計数装置。
8. 複数の細胞が撮影された計数用撮影画像から、特定の細胞状態の細胞を計数する計数方法であって、
   複数の細胞が撮影された学習用撮影画像から細胞毎に切り出された学習用単位画像を表示部に表示させる表示処理工程と、
   前記学習用単位画像毎に、当該学習用単位画像が示す細胞状態の評価として、複数種類の入力のいずれかを受け付ける入力処理工程と、
   各学習用単位画像および当該学習用単位画像に対する入力の種類から教師データを生成し、当該教師データを用いて前記特定の細胞状態を深層学習させた学習モデルを生成する学習モデル生成工程と、
   前記学習モデル生成工程において生成した前記学習モデルを用いて、前記計数用撮影画像から、前記特定の細胞状態の細胞を計数する計数工程と、
   を包含し、
   前記複数種類の入力は、前記学習用単位画像が前記特定の細胞状態を示すと評価する１または複数種類の入力と、前記学習用単位画像が示す前記細胞状態が判定できないと評価する１または複数種類の入力と、を少なくとも含むことを特徴とする計数方法。
9. 請求項１に記載の計数装置としてコンピュータを機能させるための計数プログラムであって、前記表示処理部、前記入力処理部、前記学習モデル生成部および前記計数部としてコンピュータを機能させるための計数プログラム。
10. 請求項９に記載の計数プログラムを記録したコンピュータ読み取り可能な記録媒体。