JP2019195304A - 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法 - Google Patents

Abstract

【課題】より高精度に、解析用画像に含まれる複数の細胞について各々の形態を識別するための画像解析方法を提供することを一課題とする。【解決手段】ニューラルネットワーク構造を有する深層学習アルゴリズムを用いて、細胞の形態を解析する画像解析方法であって、解析対象の細胞に関する情報を含む解析データを、前記深層学習アルゴリズム（６０，６１）に入力し、前記深層学習アルゴリズム（６０，６１）によって、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する確率を算出する方法により、画像を解析する。【選択図】図１

Description

本開示は、細胞形態を解析する画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法に関する。

特許文献１には、顕微鏡画像を処理するための細胞識別システムが開示されている。前記細胞識別システムにおいては、機械訓練技法を用いて訓練されたモデルが、取得された画像内の画素を、細胞、細胞エッジ、背景、及び同等物のうちの１つ又はそれを上回るものと関連付ける。機械訓練技法は、ランダムフォレスト決定木技法を使用している。

特表2016-534709号

細胞検査では、通常検査者が顕微鏡観察により細胞を観察し、細胞の種類や特徴を形態学的に同定する。しかし、同じ系統の細胞は似た形態を有するため、形態学的に細胞を識別できるようになるためには、多くの細胞標本を観察し、識別スキルを向上させることが必要となる。特に疾患に罹患した際に出現する異常細胞の識別には熟練を要する。例えば、初期の骨髄異型性症候群のように異常細胞の出現頻度が少ない場合、スキルが十分でない検査者が異常細胞に気づかない等のリスクもある。

また、検査者が１日に観察できる標本枚数には限界があり、１日に１００枚を超える観察は、検査者にも負担となる。

細胞検査の処理件数を増やすことは、フロー方式を採用した自動血球分類装置等でも可能である。しかし、フロー方式の自動血球分類装置からは得られる情報が限られており、芽球、前骨髄球、巨大血小板といった出現頻度の低い血球については識別が困難であった。

特許文献１に記載の方法のように、機械訓練技法（機械学習ともいう）を使用して、細胞を識別する方法も知られている。しかしながら、機械学習モデルを訓練するための訓練データをユーザが作成する必要があり、モデルの生成に膨大な労力が必要となる。また、ユーザが訓練データを作成するため、作成可能な訓練データの数が限られ、機械学習モデルによる解析の精度、汎化性能に課題があるというのが現状である。

また、特許文献１に記載の方法は、顕微鏡画像において、細胞の部分と非細胞の部分とを識別するための方法である。したがって、各々の細胞がどのような種類であるか、またどのような異常所見を含んでいるか等は識別することはできない。

本開示は、より高精度に解析用画像に含まれる複数の細胞について各々の形態を識別するための画像解析方法を提供することを一課題とする。

本開示におけるある実施形態は、ニューラルネットワーク構造を有する深層学習アルゴリズム（５０，５１）を用いて、細胞の形態を解析する画像解析方法に関する。前記画像解析方法では、解析対象の細胞に関する情報を含む解析データ（８０）を、ニューラルネットワーク構造を有する深層学習アルゴリズム（６０，６１）に入力し、前記深層学習アルゴリズムによって、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する確率を算出して画像を解析する。本実施形態により、検査者が顕微鏡観察を行わなくても、所定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する確率を求め画像を解析することができる。

好ましくは、前記画像解析方法は、算出した前記確率に基づいて、前記解析対象の細胞が、所定の細胞群に属する複数の細胞の形態分類のいずれかを識別する。本実施形態により、検査者が顕微鏡観察を行わなくても、解析対象の細胞が形態分類のいずれに該当するかを識別することができる。

好ましくは、前記所定の細胞群は、血中細胞の群である。本実施形態により、検査者が顕微鏡観察を行わなくても、血球の形態分類を行うことができる。

前記所定の細胞群は、好ましくは、所定の細胞系統に属する細胞の群である。より好ましくは、前記所定の細胞系統は、造血系である。本実施形態により、検査者が顕微鏡観察を行わなくても、同じ細胞系統に属する細胞の形態分類を行うことができる。

好ましくは、前記形態分類が、前記解析対象の細胞の種類の識別である。より好ましくは、形態学分類が、分葉核好中球及び桿状核好中球を含む好中球、後骨髄球、骨髄球、前骨髄球、芽球、リンパ球、形質細胞、異型リンパ球、単球、好酸球、好塩基球、赤芽球、巨大血小板、血小板凝集塊、及び巨核球を含む。本実施形態によれば、似たような形態を有する同系列の細胞であっても識別することができる。

好ましくは、前記形態分類が、前記解析対象の細胞の異常所見の識別である、前記形態学的分類は、より好ましくは、形態核異常、空胞の存在、顆粒形態異常、顆粒分布異常、異常顆粒の存在、細胞の大きさ異常、封入体の存在及び裸核よりなる群から選択される少なくとも一つの細胞を含む。本実施形態によれば異常所見を呈する細胞であっても識別することができる。

前記実施形態において、前記細胞の形態に関するデータが、形態学的な分類における細胞の種類に関するデータ及び形態学的な分類における細胞の特徴に関するデータである。この実施形態により、形態学的な細胞の種類と、細胞の特徴とを出力することができる。

前記実施形態は、好ましくは、前記深層学習アルゴリズムが、所定の細胞群に属する複数の細胞の第１の形態分類の各々について、前記解析対象の細胞が属する確率を算出する第１のアルゴリズムと、所定の細胞群に属する複数の細胞の第２の形態分類の各々について、前記解析対象の細胞が属する確率とを算出を算出する第１のアルゴリズムとを含む。例えば、前記第１の形態分類は、前記解析対象の細胞の種類であり、前記第２の形態分類は、前記解析対象の細胞の異常所見である。このようにすることにより、似た形態を有する細胞の識別精度をより向上することができる。

前記実施形態では、前記解析データ（８０）が、染色された血中細胞を撮像した画像のデータである。より好ましくは、前記染色が、ライト染色、ギムザ染色、ライトギムザ染色及びメイギムザ染色から選択される。このようにすることで、従来行われている顕微鏡下の観察と同様の識別を行うことができる。

前記解析データ（８０）及び訓練データ（７５）が、解析対象画像及び訓練用画像の輝度に関する情報と、少なくとも２種の色相に関する情報を含む。このようにすることで、識別精度を向上させることができる。

本開示における別の実施形態は、ニューラルネットワーク構造を有する深層学習アルゴリズムを用いて、細胞の形態を解析する画像解析装置（２００）に関する。前記画像解析装置（２００）は、解析対象の細胞に関する情報を含む解析データ（８０）を、前記深層学習アルゴリズム（６０，６１）を含む識別器に入力し、前記深層学習アルゴリズム（６０，６１）によって、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する確率を算出して画像を解析する処理部（１０）を備える。好ましくは、前記形態分類は、前記解析対象の細胞の種類の識別である。また、好ましくは、前記形態分類は、前記解析対象の細胞の異常所見の識別である。

本開示における、別の実施形態は、ニューラルネットワーク構造を有する深層学習アルゴリズムを用いて（６０，６１）、細胞の形態を解析する画像解析するためのコンピュータプログラムに関する。前記コンピュータプログラムは、解析対象の細胞に関する情報を含む解析データ（８３）を、前記深層学習アルゴリズム（６０，６１）によって、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する確率を算出して画像を解析する処理をコンピュータ（２００）に実行させる。好ましくは、前記形態分類は、前記解析対象の細胞の種類の識別である。また、好ましくは、前記形態分類は、前記解析対象の細胞の異常所見の識別である。

本開示の別の実施形態は、訓練済みの深層学習アルゴリズム（６０，６１）の生成方法に関する。本実施形態は、細胞に関する情報を含む訓練データをニューラルネットワーク（５０，５１）の入力層（５０ａ，５０ｂ）に入力し、所定の細胞群に属する複数の細胞の形態分類に紐付けられたラベル値を出力層（５１ａ，５１ｂ）として入力する。好ましくは、前記形態分類は、前記解析対象の細胞の種類の識別である。また、好ましくは、前記形態分類は、前記解析対象の細胞の異常所見の識別である。

画像解析装置（２００）、訓練済みの深層学習アルゴリズム（６０，６１）を使用することにより、検査者のスキルに影響されずに、形態学的な細胞の種類及び細胞の特徴を識別することができる。

解析用画像に含まれる複数の細胞について各々の形態を識別することができる。結果として、検査者のスキルに影響されない細胞検査を行うことができる。

本開示の概要を示す図である。 訓練データの生成手順と、第１の深層学習アルゴリズムと第２の深層学習アルゴリズムの訓練手順の例を示す模式図である。 ラベル値の例を示す。 解析データの生成手順と、深層学習アルゴリズムを用いた細胞の識別の手順の例を示す模式図である。 画像解析システム１の構成例の概略を示す図である。 ベンダ側装置１００のハードウェア構成の例を示すブロック図である。 ユーザ側装置２００のハードウェア構成の例を示すブロック図である。 深層学習装置１００Ａの機能の例を説明するためのブロック図である。 深層学習処理の流れの例を示すフローチャートである。 ニューラルネットワークを説明するための模式図である。 画像解析装置２００Ａの機能の例を説明するためのブロック図である 画像解析処理の流れの例を示すフローチャートである。 画像解析システム２の構成例の概略を示す図である。 統合型の画像解析装置２００Ｂの機能の例を説明するためのブロック図である。 画像解析システム３の構成例の概略を示す図である。 統合型の画像解析装置１００Ｂの機能の例を説明するためのブロック図である。 深層学習アルゴリズムを用いた細胞の種類の識別結果を示す。 深層学習アルゴリズムを用いた細胞の特徴の識別結果を示す。

以下、本発明の概要及び実施の形態を、添付の図面を参照して詳細に説明する。なお、以下の説明及び図面において、同じ符号は同じ又は類似の構成要素を示すこととし、よって、同じ又は類似の構成要素に関する説明を省略する。

［１．画像の解析方法］
本開示の第１の実施形態は、細胞形態を解析する画像の解析方法に関する。前記画像の解析方法は、解析対象の細胞に関する情報を含む解析データを、ニューラルネットワーク構造を有する深層学習アルゴリズムを含む識別器（Ｃｌａｓｓｉｆｉｅｒ）に入力する。前記識別器は、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する確率を算出する。好ましくは、画像解析方法は、前記確率に基づいて、前記解析対象の細胞が、所定の細胞群に属する複数の細胞の形態分類のいずれかを識別することをさらに含む。

第１の実施形態において、解析対象の細胞は、所定の細胞群に属する。所定の細胞群は、哺乳動物や鳥類の体内の各器官を構成する細胞群である。所定の細胞群には、正常の場合、組織学的な顕微鏡観察や細胞学的な顕微鏡観察により形態学的に分類される複数の細胞の種類が含まれる。形態学的な分類（「形態分類」ともいう）は、細胞の種類の分類と細胞の形態学的な特徴の分類を含む。好ましくは、解析対象の細胞は、所定の細胞群に属する所定の細胞系統に属する細胞群である。所定の細胞系統とは、ある一種の組織幹細胞から分化した同じ系統に属する細胞群である。所定の細胞系統として好ましくは、造血系であり、より好ましくは血液中の細胞（「血中細胞」ともいう）である。

造血系細胞は、従来法では、明視野用の染色を施した標本を顕微鏡の明視野でヒトが観察することにより、形態学的に分類される。前記染色は、ライト染色、ギムザ染色、ライトギムザ染色及びメイギムザ染色から選択されることが好ましい。より好ましくはメイギムザ染色である。標本は、所定の細胞群に属する各細胞の形態を個々に観察できる限り制限されない。例えば、塗抹標本、及び捺印標本等を挙げることができる。好ましくは、末梢血又は骨髄を試料とした塗抹標本であり、より好ましくは、末梢血の塗抹標本である。

形態学的な分類では、血中細胞は、分葉核好中球及び桿状核好中球を含む好中球、後骨髄球、骨髄球、前骨髄球、芽球、リンパ球、形質細胞、異型リンパ球、単球、好酸球、好塩基球、赤芽球（有核赤血球であり、前赤芽球、好塩基性赤芽球、多染性赤芽球、正染性赤芽球、前巨赤芽球、好塩基性巨赤芽球、多染性巨赤芽球、及び正染性巨赤芽球を含む）、巨大血小板、血小板凝集塊、及び巨核球（有核巨核球であり、ミクロメガカリオサイトを含む）等の細胞の種類を含む。

また、前記所定の細胞群には、正常細胞の他、形態学的な異常所見を呈する異常細胞が含まれていてもよい。異常は、形態学的に分類される細胞の特徴として現れる。異常細胞の例は、所定の疾患に罹患した際に出現する細胞であり、例えば腫瘍細胞等である。造血系の場合、所定の疾患は、骨髄異型性症候群、白血病（急性骨髄芽球性白血病、急性骨髄芽球性白血病、急性前骨髄球性白血病、急性骨髄単球性白血病、急性単球性白血病、赤白血病、急性巨核芽球性白血病、急性骨髄性白血病、急性リンパ球性白血病、リンパ芽球性白血病、慢性骨髄性白血病、及び慢性リンパ球性白血病等を含む、悪性リンパ腫（ホジキンリンパ腫及び非ホジキンリンパ腫等）、及び多発性骨髄腫よりなる群から選択される疾患である。また、造血系の場合、異常所見は、形態核異常、空胞の存在、顆粒形態異常、顆粒分布異常、異常顆粒の存在、細胞の大きさ異常、封入体の存在及び裸核よりなる群から選択される少なくとも一種の形態学的特徴を有する細胞である。

形態核異常には、核が小さくなるもの、核が大きくなるもの、核が過分葉になるもの、正常であれば分葉するべき核が分葉していないもの（偽ペルゲルの核異常等を含む）、空胞があるもの、核小体が肥大しているもの、核に切れ込みがあるもの、及び本来であれば１細胞に１つの核を有するべきところ１細胞に２核異常が存在するもの等を挙げることができる。

細胞全体の形態の異常として、細胞質に空胞を有するもの（空胞変性とも呼ぶ）、アズール顆粒、好中性顆粒、好酸性顆粒、好塩基性顆粒等の顆粒に形態的な異常を有するもの、前記顆粒の分布の異常（過剰、又は減少若しくは消失）を有するもの、異常顆粒（例えば、中毒性顆粒等）を有するもの、細胞の大きさ異常（正常よりも大きい、又は小さい）、封入体（デーレー小体、及びアウエル小体等）を有するもの、及び裸核のもの等を挙げることができる。

＜画像の解析方法の概要＞
図１を用いて、画像の解析方法の概要を説明する。
画像の解析方法において使用される識別器は、ニューラルネットワーク構造を有する複数の深層学習アルゴリズム（単に「アルゴリズム」と呼ぶこともある）を含む。好ましくは、第１の深層学習アルゴリズム（５０）と、第２の深層学習アルゴリズム（５１）を含み、第１の深層学習アルゴリズム（５０）は細胞の特徴量を抽出し、第２の深層学習アルゴリズム（５１）は、第１の深層学習アルゴリズムが抽出した特徴量に基づいて、前記解析対象の細胞を識別する。より好ましくは、識別器は、図１に示すように第１の深層学習アルゴリズムの下流に、第２の深層学習アルゴリズムの他、識別の目的に応じて訓練された複数種の深層学習アルゴリズム（第２、第３、第４、第５・・・・第ｉとナンバリングすることがある）を含んでいてもよい。例えば、第２の深層学習アルゴリズムは、上述した形態学的な分類に基づく細胞の種類を識別する。また、例えば第３の深層学習アルゴリズムは、上述した形態学的な分類に基づく細胞の特徴を、特徴ごとに識別する。好ましくは、第１の深層学習アルゴリズムは、コンボリューションコネクトのニューラルネットワークであり、第１の深層学習アルゴリズムの下流に位置する第２以降の深層学習アルゴリズムは、フルコネクトのニューラルネットワークである。

次に、図２〜図４に示す例を用いて訓練データ７５の生成方法及び画像の解析方法を説明する。以下では、説明の便宜上第１の深層学習アルゴリズムと、第２の深層学習アルゴリズムを用いて説明する。

＜訓練データの生成＞
深層学習アルゴリズムを訓練するために使用される訓練用画像７０は、前記解析対象の細胞に対応した形態学的な分類に基づく細胞の種類や細胞の特徴が既知である細胞を撮像した画像である。訓練用画像７０を撮像するための標本は、解析対象の細胞と同種の細胞を含む試料から、解析対象の細胞を含む標本と同様の標本作成方法と染色方法で作成されることが好ましい。また、訓練用画像７０は、解析対象の細胞の撮像条件と同様の条件で撮像されることが好ましい。

訓練用画像７０は、例えば公知の光学顕微鏡、又はバーチャルスライドスキャナ等の撮像装置を用いて、細胞ごとに予め取得することができる。図２に示す例では、Ｓｙｓｍｅｘ ＤＩ−６０を用いて訓練用画像７０は３６０画素×３６５画素で撮像された生画像を、２５５画素×２５５画素に縮小しているが、この縮小は必須ではない。訓練用画像７０の画素数は、解析ができる限り制限されないが、一辺が１００画素を超えていることが好ましい。また、図２に示す例では、好中球を中心とした周囲に赤血球が存在しているが、目的の細胞のみが入るように画像をトリミングしてもよい。少なくとも、１枚の画像の中に、訓練しようとする細胞を１細胞含み（赤血球、及び正常サイズの血小板は含まれていてもよい）、訓練しようとする細胞に該当する画素が画像全体画素の１／９程度以上存在していれば訓練用画像７０として使用することができる。

例示的には、本実施形態において撮像装置における撮像は、ＲＧＢカラー及びＣＭＹカラー等で行われることが好ましい。カラー画像は、赤、緑及び青又はシアン、マゼンタ、イエロー等の各原色の濃淡又は輝度を、２４ビットの値（８ビット×３色）で表すことが好ましい。訓練用画像７０は、少なくとも１つの色相と、その色相の濃淡又は輝度とを含んでいればよいが、少なくとも２つの色相と、それぞれ色相の濃淡又は輝度とを含むことがより好ましい。色相とその色相の濃淡又は輝度とを含む情報を色調ともいう。

次に、各画素における色調の情報を、例えば、ＲＧＢカラーから、輝度の情報と色相の情報を含むフォーマットに変換する。輝度の情報と色相の情報を含むフォーマットとして、ＹＵＶ（ＹＣｂＣｒ、ＹＰｂＰｒ、ＹＩＱ等）等を挙げることができる。ここでは、ＹＣｂＣｒフォーマットへの変換を例として説明する。ここでは、訓練用画像がＲＧＢカラーであるため、輝度７２Ｙと、第１の色相（例えば青色系）７２Ｃｂと、第２の色相（例えば、赤色系）７２Ｃｒとに変換する。ＲＧＢから、ＹＣｂＣｒへの変換は公知の方法により行うことができる。例えば、ＲＧＢから、ＹＣｂＣｒへは、国際規格ＩＴＵ−Ｒ ＢＴ．６０１にしたがって変換できる。変換した輝度７２Ｙ、第１の色相７２Ｃｂ及び第２の色相７２Ｃｒはそれぞれ図２に示すように階調値の行列として表すことができる（以下、色調行列７２ｙ，７２ｃｂ，７２ｃｒともいう）。輝度７２Ｙ、第１の色相７２Ｃｂ、第２の色相７２Ｃｒは、それぞれ０から２５５階調までの２５６階調で表される。ここで、輝度７２Ｙ、第１の色相７２Ｃｂ、第２の色相７２Ｃｒに換えて、赤Ｒ、緑Ｇ、青Ｂの３原色や、シアンＣ、マゼンタＭ、イエローＹの色の３原色で訓練用画像を変換してもよい。

次に、色調行列７２ｙ，７２ｃｂ，７２ｃｒに基づいて、画素ごとに、輝度７２ｙ、第１の色相７２ｃｂ、及び第２の色相７２ｃｒの３つの階調値を組み合わせた色調ベクトルデータ７４を生成する。

次に、例えば、図２の訓練用画像７０は分葉核好中球であるため、図２の訓練用画像７０から生成される各色調ベクトルデータ７４には、分葉核好中球であることを示すラベル値７７として「１」が付与され、訓練データ７５となる。図２では、便宜上訓練データ７５を３画素×３画素で表しているが、実際は訓練用データ７０を撮像した際の画素の分だけ色調ベクトルデータが存在する。
図３にラベル値７７の例を示す。ラベル値は、細胞の種類及び各細胞の特徴の有無に応じて異なるラベル値７７が付与される。

＜深層学習の概要＞
図２を例として、ニューラルネットワークの訓練の概要を説明する。第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１共に、畳み込みニューラルネットワークであることが好ましい。第１のニューラルネットワーク５０における入力層５０ａのノード数は、入力される訓練データ７５の画素数と画像に含まれる輝度と色相の数（例えば上記例では、輝度７２ｙ、第１の色相７２ｃｂ、及び第２の色相７２ｃｒの３つ）との積に対応している。色調ベクトルデータ７４はその集合７６として第１のニューラルネットワーク５０の入力層５０ａに入力される。訓練データ７５の各画素のラベル値７７を、第１のニューラルネットワークの出力層５０ｂとして、第１のニューラルネットワーク５０を訓練する。

第１のニューラルネットワーク５０は、訓練データ７５に基づいて、上述した形態学的な細胞の種類や細胞の特徴について、特徴量を抽出する。第１のニューラルネットワークの出力層５０ｂは、これらの特徴量を反映する結果を出力する。第２のニューラルネットワーク５１の入力層５１ａには、第１のニューラルネットワーク５０のソフトマックス関数から出力された各結果が入力される。また、所定の細胞系統に属する細胞は、細胞の形態が似ているため、第２のニューラルネットワーク５１を有する深層学習アルゴリズム５１をさらに形態学的な特定の細胞の種類や特定の細胞の特徴の識別に特化するよう深層学習アルゴリズムを訓練する。したがって、第２のニューラルネットワークの出力層にも、訓練データ７５のラベル値７７が入力される。
図２の符号５０ｃ及び５１ｃは、中間層を示す。

斯くして訓練された第１のニューラルネットワーク６０を有する第１の深層学習アルゴリズム６０と、第２のニューラルネットワーク６１を有する第２の深層学習アルゴリズム６１とを組み合わせて、解析対象の細胞が、所定の細胞群に属し形態学的に分類される複数の細胞の種類のいずれに該当するかを識別するための識別器として使用する。

＜画像の解析方法＞
図４に画像の解析方法の例を示す。画像の解析方法では、解析対象の細胞を撮像した解析用画像７８から解析データ８１を生成する。解析用画像７８は、解析対象の細胞を撮像した画像である。解析用画像７８は、例えば公知の光学顕微鏡、又はバーチャルスライドスキャナ等の撮像装置を用いて、取得することができる。図４に示す例では、Ｓｙｓｍｅｘ ＤＩ−６０を用いて解析用画像７８は、訓練用画像７０と同様に、３６０画素×３６５画素で撮像された生画像を、２５５画素×２５５画素に縮小しているが、この縮小は必須ではない。訓練用画像７０の画素数は、解析ができる限り制限されないが、一辺が１００画素を超えていることが好ましい。また、図４に示す例では、分葉核好中球を中心とした周囲に赤血球が存在しているが、目的の細胞のみが入るように画像をトリミングしてもよい。少なくとも、１枚の画像の中に、訓練しようとする細胞を１細胞含み（赤血球、及び正常サイズの血小板は含まれていてもよい）、訓練しようとする細胞に該当する画素が画像全体画素の１／９程度以上存在していれば解析用画像７８として使用することができる。

例示的には、本実施形態において撮像装置における撮像は、ＲＧＢカラー及びＣＭＹカラー等で行われることが好ましい。カラー画像は、赤、緑及び青又はシアン、マゼンタ、イエロー等の各原色の濃淡又は輝度を、２４ビットの値（８ビット×３色）で表すことが好ましい。解析用画像７８は、少なくとも１つの色相と、その色相の濃淡又は輝度とを含んでいればよいが、少なくとも２つの色相と、それぞれ色相の濃淡又は輝度とを含むことがより好ましい。色相とその色相の濃淡又は輝度とを含む情報を色調ともいう。

例えば、ＲＧＢカラーから、輝度の情報と色相の情報を含むフォーマットに変換する。輝度の情報と色相の情報を含むフォーマットとして、ＹＵＶ（ＹＣｂＣｒ、ＹＰｂＰｒ、ＹＩＱ等）等を挙げることができる。ここでは、ＹＣｂＣｒフォーマットへの変換を例として説明する。ここでは、訓練用画像がＲＧＢカラーであるため、輝度７９Ｙと、第１の色相（例えば青色系）７９Ｃｂと、第２の色相（例えば、赤色系）７９Ｃｒとに変換する。ＲＧＢから、ＹＣｂＣｒへの変換は公知の方法により行うことができる。例えば、ＲＧＢから、ＹＣｂＣｒへは、国際規格ＩＴＵ−Ｒ ＢＴ．６０１にしたがって変換できる。変換した輝度７９Ｙ、第１の色相７９Ｃｂ及び第２の色相７９Ｃｒはそれぞれ図２に示すように階調値の行列として表すことができる（以下、色調行列７９ｙ，７９ｃｂ，７９ｃｒともいう）。輝度７２Ｙ、第１の色相７２Ｃｂ、第２の色相７２Ｃｒは、それぞれ０から２５５階調までの２５６階調で表される。ここで、輝度７９Ｙ、第１の色相７９Ｃｂ、第２の色相７９Ｃｒに換えて、赤Ｒ、緑Ｇ、青Ｂの３原色や、シアンＣ、マゼンタＭ、イエローＹの色の３原色で訓練用画像を変換してもよい。

次に、色調行列７９ｙ，７９ｃｂ，７９ｃｒに基づいて、画素ごとに、輝度７９ｙ、第１の色相７９ｃｂ、及び第２の色相７９ｃｒの３つの階調値を組み合わせた色調ベクトルデータ８０を生成する。１枚の解析用画像７８から生成された色調ベクトルデータ８０の集合を解析データ８１として生成する。

解析データ８１の生成と訓練データ７５の生成は、少なくとも撮像条件や、各画像からニューラルネットワークに入力するベクトルデータの生成条件を同じにすることが好ましい。

解析データ８１を訓練済みの第１の深層学習アルゴリズム６０を構成する第１のニューラルネットワーク６０の入力層６０ａに入力する。第１の深層学習アルゴリズムは、解析データ８１から特徴量を抽出し、その結果を第１のニューラルネットワーク６０の出力層６０ｃから出力する。出力層６０ｃから出力される値は、訓練データとして入力された形態学的な細胞の分類や特徴のそれぞれに、解析用画像に含まれる解析対象の細胞が属する確率である。

次に、出力層６０ｃから出力された結果を、訓練済みの第２の深層学習アルゴリズム６１を構成する第２のニューラルネットワーク６１の入力層６１ａに入力する。第２の深層学習アルゴリズム６１は、入力された特徴量に基づいて、出力層６１ｂから、訓練データとして入力された形態学的な細胞の分類や特徴のそれぞれに、解析用画像に含まれる解析対象の細胞が属する確率を出力する。さらに、この確率の中で、値が最も高い形態学的分類に、解析用画像に含まれる解析対象の細胞が属すると判断し、その形態学的な細胞の種類又は細胞の特徴をと紐付けられたラベル値が出力される。ラベル値そのもの、あるいはラベル値を形態学的な細胞の種類又は細胞の特徴の有無を示す情報（例えば用語等）に置き換えたデータが細胞の形態に関するデータ８３として出力される。図４では解析データ８１から、識別器によってラベル値「１」が最も可能性が高いラベル値８２として出力され、このラベル値に対応する「分葉核好中球」という文字データが、細胞の形態に関するデータ８３として出力される。
図４の符号６０ｃ及び６１ｃは、中間層を示す。

［２．画像解析システム１］
＜画像解析システム１の構成＞
本開示における第２の実施形態は、画像解析システムに関する。
図５を参照すると、第２の実施形態に係る画像解析システムは、深層学習装置１００Ａと、画像解析装置２００Ａとを備える。ベンダ側装置１００は深層学習装置１００Ａとして動作し、ユーザ側装置２００は画像解析装置２００Ａとして動作する。深層学習装置１００Ａは、ニューラルネットワーク５０に訓練データを使って学習させ、訓練データによって訓練された深層学習アルゴリズム６０をユーザに提供する。学習済みのニューラルネットワーク６０から構成される深層学習アルゴリズムは、記録媒体９８又はネットワーク９９を通じて、深層学習装置１００Ａから画像解析装置２００Ａに提供される。画像解析装置２００Ａは、学習済みのニューラルネットワーク６０から構成される深層学習アルゴリズムを用いて解析対象の画像の解析を行う。

深層学習装置１００Ａは、例えば汎用コンピュータで構成されており、後述するフローチャートに基づいて、深層学習処理を行う。画像解析装置２００Ａは、例えば汎用コンピュータで構成されており、後述するフローチャートに基づいて、画像解析処理を行う。記録媒体９８は、例えばＤＶＤ−ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記録媒体である。

深層学習装置１００Ａは撮像装置３００に接続されている。撮像装置３００は、撮像素子３０１と、蛍光顕微鏡３０２とを備え、ステージ３０９上にセットされた学習用の標本３０８の、明視野画像を撮像する。訓練用の標本３０８は、上述の染色が施されている。深層学習装置１００Ａは、撮像装置３００によって撮像された訓練用画像７０を取得する。

画像解析装置２００Ａは撮像装置４００に接続されている。撮像装置４００は、撮像素子４０１と、蛍光顕微鏡４０２とを備え、ステージ４０９上にセットされた解析対象の標本４０８の、明視野画像を撮像する。解析対象の標本４０８は、上述の通り予め染色されている。画像解析装置２００Ａは、撮像装置４００によって撮像された解析対象画像７８を取得する。
撮像装置３００，４００には、標本を撮像する機能を有する、公知の光学顕微鏡又はバーチャルスライドスキャナ等を用いることができる。
＜深層学習装置のハードウェア構成＞

図６を参照すると、ベンダ側装置１００（深層学習装置１００Ａ，深層学習装置１００Ｂ）は、処理部１０（１０Ａ，１０Ｂ）と、入力部１６と、出力部１７とを備える。

処理部１０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）１１と、データ処理の作業領域に使用するメモリ１２と、後述するプログラム及び処理データを記録する記録部１３と、各部の間でデータを伝送するバス１４と、外部機器とのデータの入出力を行うインタフェース部１５と、ＧＰＵ（Graphics Processing Unit）１９とを備えている。入力部１６及び出力部１７は、処理部１０に接続されている。例示的には、入力部１６はキーボード又はマウス等の入力装置であり、出力部１７は液晶ディスプレイ等の表示装置である。ＧＰＵ１９は、ＣＰＵ１１が行う演算処理（例えば、並列演算処理）を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ１１が行う処理とは、ＣＰＵ１１がＧＰＵ１９をアクセラレータとして用いて行う処理も含むことを意味する。

また、処理部１０は、以下の図８で説明する各ステップの処理を行うために、本発明に係るプログラム及び訓練前のニューラルネットワーク５０を、例えば実行形式で記録部１３に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより変換されて生成される形式である。処理部１０は、記録部１３に記録したプログラムを使用して、訓練前の第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１の訓練処理を行う。

以下の説明においては、特に断らない限り、処理部１０が行う処理は、記録部１３又はメモリ１２に格納されたプログラム及びニューラルネットワーク５０に基づいて、ＣＰＵ１１が行う処理を意味する。ＣＰＵ１１はメモリ１２を作業領域として必要なデータ（処理途中の中間データ等）を一時記憶し、記録部１３に演算結果等の長期保存するデータを適宜記録する。

＜画像解析装置のハードウェア構成＞
図７を参照すると、ユーザ側装置２００（画像解析装置２００Ａ，画像解析装置２００Ｂ，画像解析装置２００Ｃ）は、処理部２０（２０Ａ，２０Ｂ，２０Ｃ）と、入力部２６と、出力部２７とを備える。

処理部２０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）２１と、データ処理の作業領域に使用するメモリ２２と、後述するプログラム及び処理データを記録する記録部２３と、各部の間でデータを伝送するバス２４と、外部機器とのデータの入出力を行うインタフェース部２５と、ＧＰＵ（Graphics Processing Unit）２９とを備えている。入力部２６及び出力部２７は、処理部２０に接続されている。例示的には、入力部２６はキーボード又はマウス等の入力装置であり、出力部２７は液晶ディスプレイ等の表示装置である。ＧＰＵ２９は、ＣＰＵ２１が行う演算処理（例えば、並列演算処理）を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ２１が行う処理とは、ＣＰＵ２１がＧＰＵ２９をアクセラレータとして用いて行う処理も含むことを意味する。

また、処理部２０は、以下の画像解析処理で説明する各ステップの処理を行うために、本発明に係るプログラム及び訓練済みのニューラルネットワーク構造の深層学習アルゴリズム６０を、例えば実行形式で記録部２３に予め記録している。実行形式は、例えばプログラミング言語からコンパイラにより変換されて生成される形式である。処理部２０は、記録部２３に記録したプログラム及び第１の深層学習アルゴリズム６０及び第２の深層学習アルゴリズム６１を使用して処理を行う。

以下の説明においては、特に断らない限り、処理部２０が行う処理は、記録部２３又はメモリ２２に格納されたプログラム及び深層学習アルゴリズム６０に基づいて、実際には処理部２０のＣＰＵ２１が行う処理を意味する。ＣＰＵ２１はメモリ２２を作業領域として必要なデータ（処理途中の中間データ等）を一時記憶し、記録部２３に演算結果等の長期保存するデータを適宜記録する。

＜機能ブロック及び処理手順＞
（深層学習処理）
図８を参照すると、本実施形態に係る深層学習装置１００Ａの処理部１０Ａは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３とを備える。これらの機能ブロックは、コンピュータに深層学習処理を実行させるプログラムを、処理部１０Ａの記録部１３又はメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。訓練データデータベース（ＤＢ）１０４と、アルゴリズムデータベース（ＤＢ）１０５とは、処理部１０Ａの記録部１３又はメモリ１２に記録される。

訓練用画像７０は、撮像装置３００によって予め撮像され、処理部１０Ａの記録部１３又はメモリ１２に予め記憶されている。第１の深層学習アルゴリズム５０及び第２の深層学習アルゴリズム５１は、例えば解析対象の細胞が属する形態学的な細胞の種類や細胞の特徴と対応付けられて、アルゴリズムデータベース１０５に予め格納されている。

深層学習装置１００Ａの処理部１０Ａは、図９に示す処理を行う。図８に示す各機能ブロックを用いて説明すると、ステップＳ１１、Ｓ１２、Ｓ１６及びＳ１７の処理は、訓練データ生成部１０１が行う。ステップＳ１３の処理は、訓練データ入力部１０２が行う。ステップＳ１４、及びＳ１８の処理は、アルゴリズム更新部１０３が行う。
図９を用いて、処理部１０Ａが行う深層学習処理の例について説明する。

はじめに、処理部１０Ａは、訓練用画像７０を取得する。訓練用画像７０の取得は、オペレータの操作によって、撮像装置３００から取り込まれるか、記録媒体９８から取り込まれるか、ネットワーク経由でＩ／Ｆ部１５を介して行われる。訓練用画像７０を取得する際に、その訓練用画像７０が、形態学的に分類される細胞の種類及び／又は形態学的な細胞の特徴のいずれを示すものであるかの情報も取得される。形態学的に分類される細胞の種類及び／又は形態学的な細胞の特徴のいずれを示すものであるかの情報は、訓練用画像７０に紐付けられていてもよく、またオペレータが入力部１６から入力してもよい。

ステップＳ１１において、処理部１０Ａは、取得された訓練用画像７０を輝度Ｙ、第１の色相Ｃｂ及び第２の色相Ｃｒに変換し、上記訓練データの生成方法で説明した手順に従い色調ベクトルデータ７４を生成する。

ステップＳ１２において、処理部１０Ａは、訓練用画像７０に紐付けられている、形態学的に分類される細胞の種類及び／又は形態学的な分類における細胞の特徴のいずれを示すものであるかの情報と、メモリ１２又は記録部１３に記憶されている形態学的に分類される細胞の種類又は形態学的な分類における細胞の特徴に紐図けられたラベル値とに基づいて色調ベクトルデータ７４に対応するラベル値を付与する。斯くして、処理部１０Ａは、訓練データ７５を生成する。

図８に示すステップＳ１３において、処理部１０Ａは、訓練データ７５を用いて、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１を訓練する。第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１の訓練結果は複数の訓練データ７５を用いて訓練する度に蓄積される。

本実施形態に係る画像解析方法では、畳み込みニューラルネットワークを使用しており、確率的勾配降下法を用いるため、ステップＳ１４において、処理部１０Ａは、予め定められた所定の試行回数分の訓練結果が蓄積されているか否かを判断する。訓練結果が所定の試行回数分蓄積されている場合（ＹＥＳ）、処理部１０ＡはステップＳ１５の処理に進み、訓練結果が所定の試行回数分蓄積されていない場合（ＮＯ）、処理部１０ＡはステップＳ１６の処理に進む。

次に、訓練結果が所定の試行回数分蓄積されている場合、ステップＳ１５において、処理部１０Ａは、ステップＳ１３において蓄積しておいた訓練結果を用いて、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１の結合重みｗを更新する。本実施形態に係る画像解析方法では、確率的勾配降下法を用いるため、所定の試行回数分の学習結果が蓄積した段階で、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１の結合重みｗを更新する。結合重みｗを更新する処理は、具体的には、後述の（式１１）及び（式１２）に示される、勾配降下法による計算を実施する処理である。

ステップＳ１６において、処理部１０Ａは、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１を規定数の訓練用データ７５で訓練したか否かを判断する。規定数の訓練用データ７５で訓練した場合（ＹＥＳ）には、深層学習処理を終了する。

第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１を規定数の訓練用データ７５で訓練していない場合（ＮＯ）には、処理部１０Ａは、ステップＳ１６からステップS１７に進み、次の訓練用画像７０についてステップS１１からステップS16までの処理を行う。

以上説明した処理にしたがって、第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１を訓練し第２の深層学習アルゴリズム６０及び第２の深層学習アルゴリズム６２を得る。
（ニューラルネットワークの構造）

上述したように、本実施形態において、畳み込みニューラルネットワークを用いる。図１０（ａ）に第１のニューラルネットワーク５０と第２のニューラルネットワーク５１の構造を例示する。第１のニューラルネットワーク５０と第２のニューラルネットワーク５１は、入力層５０ａ，５１ａと、出力層５０ｂ，５１ｂと、入力層５０ａ，５１ａ及び出力層５０ｂ，５１ｂの間の中間層５０ｃ，５１ｃとを備え、中間層５０ｃ，５１ｃが複数の層で構成されている。中間層５０ｃ，５１ｃを構成する層の数は、例えば５層以上とすることができる。

第１のニューラルネットワーク５０と第２のニューラルネットワーク５１では、層状に配置された複数のノード８９が、層間において結合されている。これにより、情報が入力側の層５０ａ，５１ａから出力側の層５０ｂ，５１ｂに、図中矢印Ｄに示す一方向のみに伝播する。

（各ノードにおける演算）
図１０（ｂ）は、各ノードにおける演算を示す模式図である。各ノード８９では、複数の入力を受け取り、１つの出力（ｚ）を計算する。図１０（ｂ）に示す例の場合、ノード８９は４つの入力を受け取る。ノード８９が受け取る総入力（ｕ）は、以下の（式１）で表される。

各入力には、それぞれ異なる重みが掛けられる。（式１）中、ｂはバイアスと呼ばれる値である。ノードの出力（ｚ）は、（式１）で表される総入力（ｕ）に対する所定の関数ｆの出力となり、以下の（式２）で表される。関数ｆは活性化関数と呼ばれる。

図１０（ｃ）は、ノード間の演算を示す模式図である。ニューラルネットワーク５０では、（式１）で表される総入力（ｕ）に対して、（式２）で表される結果（ｚ）を出力するノードが層状に並べられている。前の層のノードの出力が、次の層のノードの入力となる。図１０（ｃ）に示す例では、図中左側の層のノード８９ａの出力が、図中右側の層のノード８９ｂの入力となる。右側の層の各ノード８９ｂは、それぞれ、左側の層のノード８９ａからの出力を受け取る。左側の層の各ノード８９ａと右側の層の各ノード８９ｂとの間の各結合には、異なる重みが掛けられる。左側の層の複数のノード８９ａのそれぞれの出力をｘ_１〜ｘ_４とすると、右側の層の３つのノード８９ｂのそれぞれに対する入力は、以下の（式３−１）〜（式３−３）で表される。

これら（式３−１）〜（式３−３）を一般化すると、（式３−４）となる。ここで、ｉ＝１，・・・Ｉ、ｊ＝１，・・・Ｊである。

（式３−４）を活性化関数に適用すると出力が得られる。出力は以下の（式４）で表される。

（活性化関数）
実施形態に係る画像解析方法では、活性化関数として、正規化線形関数（rectified linear unit function）を用いる。正規化線形関数は以下の（式５）で表される。

（式５）は、ｚ＝ｕの線形関数のうち、ｕ＜０の部分をｕ＝０とする関数である。図９（ｃ）に示す例では、ｊ＝１のノードの出力は、（式５）により、以下の式で表される。

（ニューラルネットワークの学習）
ニューラルネットワークを用いて表現される関数をｙ（ｘ：ｗ）とおくと、関数ｙ（ｘ：ｗ）は、ニューラルネットワークのパラメータｗを変化させると変化する。入力ｘに対してニューラルネットワークがより好適なパラメータｗを選択するように、関数ｙ（ｘ：ｗ）を調整することを、ニューラルネットワークの学習と呼ぶ。ニューラルネットワークを用いて表現される関数の入力と出力との組が複数与えられているとする。ある入力ｘに対する望ましい出力をｄとすると、入出力の組は、｛（ｘ_１，ｄ_１），（ｘ_２，ｄ_２），・・・，（ｘ_ｎ，ｄ_ｎ）｝と与えられる。（ｘ，ｄ）で表される各組の集合を、訓練データと呼ぶ。具体的には、図２（ｂ）に示す、Ｒ、Ｇ、Ｂ各色の単一色画像における画素ごとの色濃度値と真値像のラベルとの組、の集合が、図２（ａ）に示す訓練データである。
ニューラルネットワークの学習とは、どのような入出力の組（ｘ_ｎ，ｄ_ｎ）に対しても、入力ｘ_ｎを与えたときのニューラルネットワークの出力ｙ（ｘ_ｎ：ｗ）が、出力ｄ_ｎになるべく近づくように重みｗを調整することを意味する。誤差関数（error function）とは、ニューラルネットワークを用いて表現される関数と訓練データとの近さ

を測る尺度である。誤差関数は損失関数（loss function）とも呼ばれる。実施形態に係る画像解析方法において用いる誤差関数Ｅ（ｗ）は、以下の（式６）で表される。（式６）は交差エントロピー（cross entropy）と呼ばれる。

（式６）の交差エントロピーの算出方法を説明する。実施形態に係る画像解析方法において用いるニューラルネットワーク５０の出力層５０ｂでは、すなわちニューラルネットワークの最終層では、入力ｘを内容に応じて有限個のクラスに分類するための活性化関数を用いる。活性化関数はソフトマックス関数（softmax function）と呼ばれ、以下の（式７）で表される。なお、出力層５０ｂには、クラス数ｋと同数のノードが並べられているとする。出力層Ｌの各ノードｋ（ｋ＝１，・・・Ｋ）の総入力ｕは、前層Ｌ−１の出力から、ｕ_ｋ ^（Ｌ）で与えられるとする。これにより、出力層のｋ番目のノードの出力は以下の（式７）で表される。

（式７）がソフトマックス関数である。（式７）で決まる出力ｙ_１，・・・，ｙ_Ｋの総和は常に１となる。
各クラスをＣ_１，・・・，Ｃ_Ｋと表すと、出力層Ｌのノードｋの出力ｙ_Ｋ（すなわちｕ_ｋ ^（Ｌ））は、与えられた入力ｘがクラスＣ_Ｋに属する確率を表す。以下の（式８）を参照されたい。入力ｘは、（式８）で表される確率が最大になるクラスに分類される。

ニューラルネットワークの学習では、ニューラルネットワークで表される関数を、各クラスの事後確率（posterior probability）のモデルとみなし、そのような確率モデルの下で、訓練データに対する重みｗの尤度（likelihood）を評価し、尤度を最大化するような重みｗを選択する。

（式７）のソフトマックス関数による目標出力ｄ_ｎを、出力が正解のクラスである場合のみ１とし、出力がそれ以外の場合は０になるとする。目標出力をｄ_ｎ＝［ｄ_ｎ１，・・・，ｄ_ｎＫ］というベクトル形式で表すと、例えば入力ｘ_ｎの正解クラスがＣ_３である場合、目標出力ｄ_ｎ３のみが１となり、それ以外の目標出力は０となる。このように符号化すると、事後分布（posterior）は以下の（式９）で表される。

訓練データ｛（ｘ_ｎ，ｄ_ｎ）｝（ｎ＝１，・・・，Ｎ）に対する重みｗの尤度Ｌ（ｗ）は、以下の（式１０）で表される。尤度Ｌ（ｗ）の対数をとり符号を反転すると、（式６）の誤差関数が導出される。

学習は、訓練データを基に計算される誤差関数Ｅ（ｗ）を、ニューラルネットワークのパラメータｗについて最小化することを意味する。実施形態に係る画像解析方法では、誤差関数Ｅ（ｗ）は（式６）で表される。

誤差関数Ｅ（ｗ）をパラメータｗについて最小化することは、関数Ｅ（ｗ）の局所的な極小点を求めることと同じ意味である。パラメータｗはノード間の結合の重みである。重みｗの極小点は、任意の初期値を出発点として、パラメータｗを繰り返し更新する反復計算によって求められる。このような計算の一例には、勾配降下法（gradient descent method）がある。

勾配降下法では、次の（式１１）で表されるベクトルを用いる。
勾配降下法では、現在のパラメータｗの値を負の勾配方向（すなわち−∇Ｅ）に移動させる処理を何度も繰り返す。現在の重みをｗ^（ｔ）とし、移動後の重みをｗ^{（ｔ＋１）}とすると、勾配降下法による演算は、以下の（式１２）で表される。値ｔは、パラメータｗを移動させた回数を意味する。

記号
は、パラメータｗの更新量の大きさを決める定数であり、学習係数と呼ばれる。（式１２）で表される演算を繰り返すことにより、値ｔの増加に伴って誤差関数Ｅ（ｗ^（ｔ））が減少し、パラメータｗは極小点に到達する。

なお、（式１２）による演算は、全ての訓練データ（ｎ＝１，・・・，Ｎ）に対して実施してもよく、一部の訓練データのみに対して実施してもよい。一部の訓練データのみに対して行う勾配降下法は、確率的勾配降下法（stochastic gradient descent）と呼ばれる。実施形態に係る画像解析方法では、確率的勾配降下法を用いる。

（画像解析処理）
図１１に、解析対象画像７８から、細胞の形態に関するデータ８３を生成するまでの画像解析処理を行う画像解析装置２００Ａの機能ブロック図を示す。画像解析装置２００Ａの処理部２０Ａは、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３と、細胞核領域検出部２０４とを備える。これらの機能ブロックは、本発明に係るコンピュータに画像解析処理を実行させるプログラムを、処理部２０Ａの記録部２３又はメモリ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現される。訓練データデータベース（ＤＢ）１０４と、アルゴリズムデータベース（ＤＢ）１０５とは、記録媒体９８又はネットワーク９９を通じて深層学習装置１００Ａから提供され、処理部２０Ａの記録部２３又はメモリ２２に記録される。

解析対象画像７８は、撮像装置４００によって撮像され、処理部２０Ａの記録部２３又はメモリ２２に記憶される。訓練済みの結合重みｗを含む第１の深層学習アルゴリズム６０及び第２の深層学習アルゴリズム６１は、例えば解析対象の細胞が属する形態学的な分類に基づく細胞の種類や細胞の特徴と対応付けられて、アルゴリズムデータベース１０５に格納されており、コンピュータに画像解析処理を実行させるプログラムの一部であるプログラムモジュールとして機能する。すなわち、第１の深層学習アルゴリズム６０及び第２の深層学習アルゴリズム６１は、ＣＰＵ及びメモリを備えるコンピュータにて用いられ、前記解析対象の細胞が、所定の細胞群に属し形態学的に分類される複数の細胞の種類のいずれに該当するかを識別し、前記細胞の形態に関するデータ８３を生成するために使用される。また生成されたデータは、必要に応じて出力される。また、処理部２０ＡのＣＰＵ２１は、使用目的に応じた特有の情報の演算又は加工を実行するよう、コンピュータを機能させる。具体的には、処理部２０ＡのＣＰＵ２１は、記録部２３又はメモリ２２に記録された第１の深層学習アルゴリズム６０及び第２の深層学習アルゴリズム６１を用いて、細胞の形態に関するデータ８３を生成する。処理部２０ＡのＣＰＵ２１は、解析データ８１を入力層６０ａに入力し、第１の深層学習アルゴリズム６０によって算出さえた解析用画像７８の特徴量を出力層６０ｂから出力する。処理部２０ＡのＣＰＵ２１は、第１の深層学習アルゴリズム６０から出力された特徴量を、第２の深層学習アルゴリズムの入力層６１ａに入力し、解析対象の細胞が属する形態学的な分類に基づく細胞の種類や細胞の特徴に関するラベル値を出力層６１ｂから解析対象画像に含まれる細胞が属すると識別された形態学的な分類に基づく細胞の種類又は細胞の特徴のラベル値を出力する。
図１１に示す各機能ブロックを用いて説明すると、ステップＳ２１及びＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３、Ｓ２４、Ｓ２５及びＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２６の処理は、解析部２０３が行う。

図１２を用いて、処理部２０Ａが行う解析対象画像７８から、細胞の形態に関するデータ８３を生成するまでの画像解析処理の例を説明する。

はじめに、処理部２０Ａは、解析用画像７８を取得する。解析用画像７８の取得は、ユーザの操作によって、撮像装置４００から取り込まれるか、記録媒体９８から取り込まれるか、ネットワーク経由でＩ／Ｆ部２５を介して行われる。

ステップＳ２１において、図９に示すステップＳ１１と同様に、取得された解析用画像７８を輝度Ｙ、第１の色相Ｃｂ及び第２の色相Ｃｒに変換し、上記解析データの生成方法で説明した手順に従い色調ベクトルデータ８０を生成する。

次に、ステップＳ２２において、処理部２０Ａは、色調ベクトルデータ８０から、上記解析データの生成方法で説明した手順に従い解析データ８１を生成する。

次に、ステップＳ２３において、処理部２０Ａは、アルゴリズムデータベース１０５に格納されている第１の深層学習アルゴリズムと第２の深層学習アルゴリズムを取得する。

次に、ステップＳ２４において、処理部２０Ａは、解析データ８１を第１の深層学習アルゴリズムに入力する。処理部２０Ａは、上記画像の解析方法で述べた手順に従い、第１の深層学習アルゴリズムから、出力された特徴量を第２の深層学習アルゴリズムに入力し、第２の深層学習アルゴリズムから、解析用画像に含まれる解析対象の細胞が属すると判断される、ラベル値が出力される。処理部２０Ａは、このラベル値をメモリ２２又は記録部２３に記憶する。

ステップＳ２５において、処理部２０Ａは、はじめに取得した解析用画像７８を全て識別したかを判断する。全ての解析用画像７８の識別が終わっている（ＹＥＳ）の場合には、ステップＳ２６へ進み、細胞の形態に関するデータ８３を含む解析結果を出力する。全ての解析用画像７８の識別が終わっていない（ＮＯ）の場合には、ステップＳ２７に進み、まだ識別を行っていない解析用画像７８に対して、ステップＳ２１からステップＳ２５の処理を行う。

本実施形態により、検査者のスキルを問わず形態学的な分類に基づく細胞の種類及び細胞の特徴の識別を行うことが可能となり、形態検査のばらつきを抑制することができる。

＜コンピュータプログラム＞
本開示には、ステップＳ１１〜Ｓ１７及び／又はＳ２１〜Ｓ２７の処理をコンピュータに実行させる、細胞の形態を解析する画像解析するためのコンピュータプログラムを含む。

さらに、本開示のある実施形態は、前記コンピュータプログラムを記憶した、記憶媒体等のプログラム製品に関する。すなわち、前記コンピュータプログラムは、ハードディスク、フラッシュメモリ等の半導体メモリ素子、光ディスク等の記憶媒体に記憶される。前記記憶媒体へのプログラムの記憶形式は、前記提示装置が前記プログラムを読み取り可能である限り制限されない。前記記憶媒体への記憶は、不揮発性であることが好ましい。

［３．画像解析システム２］
＜画像解析システム２の構成＞
画像解析システムの別の態様について説明する。
図１３に第２の画像解析システムの構成例を示す。第２の画像解析システムは、ユーザ側装置２００を備え、ユーザ側装置２００が、統合型の画像解析装置２００Ｂとして動作する。画像解析装置２００Ｂは、例えば汎用コンピュータで構成されており、上記画像解析システム１で説明した深層学習処理及び画像解析処理の両方の処理を行う。つまり、第２の画像解析システムは、ユーザ側で深層学習及び画像解析を行う、スタンドアロン型のシステムである。第２の画像解析システムは、ユーザ側に設置された統合型の画像解析装置２００Ｂが、第１の実施形態に係る深層学習装置１００Ａ及び画像解析装置２００Ａの両方の機能を担う。

図１３において、画像解析装置２００Ｂは撮像装置４００に接続されている。撮像装置４００は、深層学習処理時には、訓練用画像７０を撮像し、画像解析処理時には、解析対象画像７８を撮像する。

＜ハードウェア構成＞
画像解析装置２００Ｂのハードウェア構成は、図７に示すユーザ側装置２００のハードウェア構成と同様である。

＜機能ブロック及び処理手順＞
図１４に、画像解析装置２００Ｂの機能ブロック図を示す。画像解析装置２００Ｂの処理部２０Ｂは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３と、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３と、細胞核検出部２０４とを備える。これらの機能ブロックは、コンピュータに深層学習処理及び画像解析処理を実行させるプログラムを、処理部２０Ｂの記録部２３又はメモリ２２にインストールし、このプログラムをＣＰＵ２１が実行することにより実現される。訓練データデータベース（ＤＢ）１０４と、アルゴリズムデータベース（ＤＢ）１０５とは、処理部２０Ｂの記録部２３又はメモリ２２に記憶され、どちらも深層学習時及び画像解析処理時に共通して使用される。訓練済みの第１のニューラルネットワーク６０及び第２のニューラルネットワーク６１は、例えば解析対象の細胞が属する形態学的な分類に基づく細胞の種類や細胞の特徴と対応付けられて、アルゴリズムデータベース１０５に予め格納されている。深層学習処理により結合重みｗが更新されて、深層学習アルゴリズム６０として、アルゴリズムデータベース１０５に格納される。なお、訓練用画像７０は、撮像装置４００によって予め撮像され、訓練データデータベース（ＤＢ）１０４又は処理部２０Ｂの記録部２３若しくはメモリ２２に予め記憶されていることとする。解析対象の標本の解析対象画像７８は、撮像装置４００によって予め撮像され、処理部２０Ｂの記録部２３又はメモリ２２に予め記憶されていることとする。

画像解析装置２００Ｂの処理部２０Ｂは、深層学習処理時には、図９に示す処理を行い、画像解析処理時には、図１２に示す処理を行う。図１３に示す各機能ブロックを用いて説明すると、深層学習処理時には、ステップＳ１１、Ｓ１２、Ｓ１６及びＳ１７の処理は、訓練データ生成部１０１が行う。ステップＳ１３の処理は、訓練データ入力部１０２が行う。ステップＳ１４、及びＳ１８の処理は、アルゴリズム更新部１０３が行う。画像解析処理時には、ステップＳ２１及びＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３、Ｓ２４、Ｓ２５及びＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２６の処理は、解析部２０３が行う。

画像解析装置２００Ｂが行う深層学習処理の手順及び画像解析処理の手順は、深層学習装置１００Ａ及び画像解析装置２００Ａがそれぞれ行う手順と同様である。但し、画像解析装置２００Ｂは、訓練画像７０を撮像装置４００から取得する。

画像解析装置２００Ｂでは、ユーザが、識別器の識別精度を確認することができる。万が一識別器の識別結果がユーザの画像観察による識別結果と異なる場合には、解析データ８１を訓練データ７８として、ユーザの画像観察による識別結果をラベル値７７として、第１の深層学習アルゴリズムと第２の深層学習アルゴリズムを訓練し治すことができる。このようにすることにより、第１のニューラルネットワーク５０及び第１のニューラルネットワーク５１の訓練効率をより向上することがでる。

［３．画像解析システム３］
＜画像解析システム３の構成＞
画像解析システムの別の態様について説明する。
図１５に第３の画像解析システムの構成例を示す。第３の画像解析システムは、ベンダ側装置１００と、ユーザ側装置２００とを備える。ベンダ側装置１００は統合型の画像解析装置１００Ｂとして動作し、ユーザ側装置２００は端末装置２００Ｃとして動作する。画像解析装置１００Ｂは、例えば汎用コンピュータで構成されており、上記画像解析システム１で説明した深層学習処理及び画像解析処理の両方の処理を行う、クラウドサーバ側の装置である。端末装置２００Ｃは、例えば汎用コンピュータで構成されており、ネットワーク９９を通じて、解析対象の画像を画像解析装置１００Ｂに送信し、ネットワーク９９を通じて、解析結果の画像を画像解析装置１００Ｂから受信する、ユーザ側の端末装置である。

第３の画像解析システムは、ベンダ側に設置された統合型の画像解析装置１００Ｂが、深層学習装置１００Ａ及び画像解析装置２００Ａの両方の機能を担う。一方、第３の画像解析システムは、端末装置２００Ｃを備え、解析用画像７８の入力インタフェースと、解析結果の画像の出力インタフェースとをユーザ側の端末装置２００Ｃに提供する。つまり、第３の画像解析システムは、深層学習処理及び画像解析処理を行うベンダ側が、解析用画像７８をユーザ側に提供する入力インタフェースと、細胞の形態に関するデータ８３をユーザ側に提供する出力インタフェースを、クラウドサービス型のシステムである。入力インタフェースと出力インタフェースは一体化されていてもよい。

画像解析装置１００Ｂは撮像装置３００に接続されており、撮像装置３００によって撮像される、訓練用画像７０を取得する。

端末装置２００Ｃは撮像装置４００に接続されており、撮像装置４００によって撮像される、解析対象画像７８を取得する。

＜ハードウェア構成＞
画像解析装置１００Ｂのハードウェア構成は、図６に示すベンダ側装置１００のハードウェア構成と同様である。端末装置２００Ｃのハードウェア構成は、図７に示すユーザ側装置２００のハードウェア構成と同様である。
＜機能ブロック及び処理手順＞
図１６に、画像解析装置１００Ｂの機能ブロック図を示す。画像解析装置１００Ｂの処理部１０Ｂは、訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３と、解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３と、細胞核領域検出部２０４とを備える。これらの機能ブロックは、コンピュータに深層学習処理及び画像解析処理を実行させるプログラムを、処理部１０Ｂの記録部１３又はメモリ１２にインストールし、このプログラムをＣＰＵ１１が実行することにより実現される。訓練データデータベース（ＤＢ）１０４と、アルゴリズムデータベース（ＤＢ）１０５とは、処理部１０Ｂの記録部１３又はメモリ１２に記憶され、どちらも深層学習時及び画像解析処理時に共通して使用される。第１のニューラルネットワーク５０及び第２のニューラルネットワーク５１は、例えば解析対象の細胞が属する形態学的な分類に基づく細胞の種類や細胞の特徴と対応付けられて、アルゴリズムデータベース１０５に予め格納されており、深層学習処理により結合重みｗが更新されて、第１の深層学習アルゴリズム６０及び第２の深層学習アルゴリズム６１として、アルゴリズムデータベース１０５に格納される。

訓練用画像７０は、撮像装置３００によって予め撮像され、訓練データデータベース（ＤＢ）１０４又は処理部１０Ｂの記録部１３若しくはメモリ１２に予め記載されている。解析対象画像７８は、撮像装置４００によって撮像され、端末装置２００Ｃの処理部２０Ｃの記録部２３又はメモリ２２に予め記録されていることとする。

画像解析装置１００Ｂの処理部１０Ｂは、深層学習処理時には、図９に示す処理を行い、画像解析処理時には、図１２に示す処理を行う。図１６に示す各機能ブロックを用いて説明すると、深層学習処理時には、ステップＳ１１、Ｓ１２、Ｓ１６及びＳ１７の処理は、訓練データ生成部１０１が行う。ステップＳ１３の処理は、訓練データ入力部１０２が行う。ステップＳ１４、及びＳ１８の処理は、アルゴリズム更新部１０３が行う。画像解析処理時には、ステップＳ２１及びＳ２２の処理は、解析用データ生成部２０１が行う。ステップＳ２３、Ｓ２４、Ｓ２５及びＳ２７の処理は、解析用データ入力部２０２が行う。ステップＳ２６の処理は、解析部２０３が行う。

画像解析装置１００Ｂが行う深層学習処理の手順及び画像解析処理の手順は、第１の実施形態に係る深層学習装置１００Ａ及び画像解析装置２００Ａがそれぞれ行う手順と同様である。

処理部１０Ｂは、解析対象画像７８を、ユーザ側の端末装置２００Ｃから受信し、図９に示すステップS１１からS17にしたがって訓練データ７５を生成する。

図１２に示すステップＳ２６において、処理部１０Ｂは、細胞の形態に関するデータ８３を含む解析結果を、ユーザ側の端末装置２００Ｃに送信する。ユーザ側の端末装置２００Ｃでは、処理部２０Ｃが、受信した解析結果を出力部２７に出力する。

以上、端末装置２００Ｃのユーザは、解析対象画像７８を画像解析装置１００Ｂに送信することにより、解析結果として、細胞の形態に関するデータ８３を取得することができる。

第３の実施形態に係る画像解析装置１００Ｂによると、ユーザは、訓練データデータベース１０４及びアルゴリズムデータベース１０５を深層学習装置１００Ａから取得することなく、識別器を使用することができる。これにより、形態学的な分類に基づく細胞の種類及び細胞の特徴を識別するサービスを、クラウドサービスとして提供することができる。

［４．その他の形態］
以上、本発明を概要及び特定の実施形態によって説明したが、本発明は上記した概要及び各実施形態に限定されるものではない。

本開示において、色調を輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒとに変換して訓練データ７５を生成する方法を例示しているが、色調の変換はこれに限定されない。色調を変換せずに、例えば、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色まま使用してもよい。あるいは、前記原色からいずれか１つの色相を減らした２原色としてもよい。あるいは、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色のいずれか１つ（例えば緑（Ｇ））のみの１原色としてもよい。シアン（C）、マゼンタ（M）、イエロー（Y）の３原色に変換してもよい。原色を例えば解析対象画像７８も、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色のカラー画像に限定されず、２原色のカラー画像であってもよく、１以上の原色を含む画像であればよい。

上記訓練データの生成方法及び解析データの生成方法では、ステップＳ１１において、処理部１０Ａ，２０Ｂ，１０Ｂは、訓練用画像７０から色調行列７２ｙ，７２ｃｂ，７２ｃｒを生成しているが、訓練用画像７０は輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒとに変換された画像方法であってもよい。すなわち、処理部１０Ａ，２０Ｂ，１０Ｂは、輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒとを初めから、例えばバーチャルスライドスキャナ等から直接取得してもよい。同様に、ステップＳ２１において、処理部２０Ａ，２０Ｂ，１０Ｂは、解析対象画像７８から色調行列７２ｙ，７２ｃｂ，７２ｃｒを生成しているが、処理部２０Ａ，２０Ｂ，１０Ｂは、輝度Ｙと、第１の色相Ｃｂと、第２の色相Ｃｒとを初めから、例えばバーチャルスライドスキャナ等から直接取得してもよい。

ＲＧＢ、ＣＭＹ以外にも、ＹＵＶ、及びＣＩＥ Ｌ^＊ａ^＊ｂ^＊等の種々のカラースペースを画像の取得及び色調の変換に用いることができる。

色調ベクトルデータ７４及び色調ベクトルデータ８０において、各画素について輝度Ｙ、第１の色相Ｃｂ、第２の色相Ｃｒの順番で色調の情報が格納されているが、色調の情報の格納する順番及び取り扱う順番はこれに限定されない。但し色調ベクトルデータ７４における色調の情報の並び順と、色調ベクトルデータ８０における色調の情報の並び順とは同じであることが好ましい。

各場像解析システムにおいて、処理部１０Ａ，１０Ｂは一体の装置として実現されているが、処理部１０Ａ，１０Ｂは一体の装置である必要はなく、ＣＰＵ１１、メモリ１２、記録部１３、ＧＰＵ１９等が別所に配置され、これらがネットワークで接続されていてもよい。処理部１０Ａ，１０Ｂと、入力部１６と、出力部１７とについても、一ヶ所に配置される必要は必ずしもなく、それぞれ別所に配置されて互いにネットワークで通信可能に接続されていてもよい。処理部２０Ａ，２０Ｂ，２０Ｃについても処理部１０Ａ，１０Ｂと同様である。

上記第１から第３の実施形態では、訓練データ生成部１０１、訓練データ入力部１０２、アルゴリズム更新部１０３、解析用データ生成部２０１、解析用データ入力部２０２、及び解析部２０３の各機能ブロックは、単一のＣＰＵ１１又は単一のＣＰＵ２１において実行されているが、これら各機能ブロックは単一のＣＰＵにおいて実行される必要は必ずしもなく、複数のＣＰＵで分散して実行されてもよい。また、これら各機能ブロックは、複数のＧＰＵで分散して実行されてもよいし、複数のＣＰＵと複数のＧＰＵとで分散して実行されてもよい。

上記第２及び第３の実施形態では、図９及び図１２で説明する各ステップの処理を行うためのプログラムを記録部１３，２３に予め記録している。これに代えて、プログラムは、例えばＤＶＤ−ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって非一時的な有形の記録媒体９８から処理部１０Ｂ，２０Ｂにインストールしてもよい。又は、処理部１０Ｂ，２０Ｂをネットワーク９９と接続し、ネットワーク９９を介して例えば外部のサーバ（図示せず）からプログラムをダウンロードしてインストールしてもよい。

各画像解析システムにおいて、入力部１６，２６はキーボード又はマウス等の入力装置であり、出力部１７，２７は液晶ディスプレイ等の表示装置として実現されている。これに代えて、入力部１６，２６と出力部１７，２７とを一体化してタッチパネル式の表示装置として実現してもよい。又は、出力部１７，２７をプリンター等で構成してもよい。

上記各画像解析システムでは、撮像装置３００は、深層学習装置１００Ａ又は画像解析装置１００Ｂと直接接続されているが、撮像装置３００は、ネットワーク９９を介して深層学習装置１００Ａ又は画像解析装置１００Ｂと接続されていてもよい。撮像装置４００についても同様に、撮像装置４００は、画像解析装置２００Ａ又は画像解析装置２００Ｂと直接接続されているが、撮像装置４００は、ネットワーク９９を介して画像解析装置２００Ａ又は画像解析装置２００Ｂと接続されていてもよい。

［５．深層学習アルゴリズムの効果］
深層学習アルゴリズムの効果を検証するため、従来行われている機械学習を用いた細胞識別方法と本開示における深層学習アルゴリズムを用いた細胞識別法による細胞の識別精度の比較を行った。
末梢血塗抹標本は、塗抹標本作製装置SP-1000iで作成し、血液像自動分析装置 DI-60により、細胞の撮像を行った。染色は、メイギムザ染色である。
従来の機械学習による細胞の識別は、血液像自動分析装置 DI-60で行った。また、バリデーションは、医師及び熟練した検査技師を含む３名により画像を観察することで行った。
図１７に、血球分類精度の比較結果を示す。深層学習アルゴリズムを使用した場合、従来法よりも高い精度で判別を行うことができた。

次に骨髄異型性症候群（ＭＤＳ）認められる形態学的な特徴を、本開示の深層学習アルゴリズムが識別できるか検討した。その結果を図１８に示す。

図１８に示すように、形態核異常、空胞化、顆粒分布異常等も精度よく識別することができた。

以上の結果から、本開示における深層学習アルゴリズムは、形態学的な分類に基づく細胞の種類の識別、及び細胞の特徴を精度よく識別できると考えられた。

２００ 画像解析装置
１０ 処理部
５０，５１ 訓練前の深層学習アルゴリズム
５０ａ，５１ａ 入力層
５０ｂ，５１ｂ 出力層
６０，６１ 訓練済み深層学習アルゴリズム
７５ 訓練データ
８０ 解析データ
８３ 細胞の形態に関するデータ

Claims (23)

1. ニューラルネットワーク構造を有する深層学習アルゴリズムを用いて、細胞の形態を解析する画像解析方法であって、
   解析対象の細胞に関する情報を含む解析データを、前記深層学習アルゴリズムに入力し、
   前記深層学習アルゴリズムによって、所定の細胞群に属する複数の細胞の形態分類の各々について前記解析対象の細胞が属する確率を算出して画像を解析する、
   画像解析方法。
2. 算出した前記確率に基づいて、前記解析対象の細胞が、所定の細胞群に属する複数の細胞の形態分類のいずれかを識別する、
   請求項１に記載の画像解析方法。
3. 前記所定の細胞群は、血中細胞の群である、請求項１又は２に記載の画像解析方法。
4. 前記所定の細胞群は、所定の細胞系統に属する細胞の群である、請求項１又は２に記載の画像解析方法。
5. 前記所定の細胞系統は、造血系である、請求項４に記載の画像解析方法。
6. 前記形態分類が、前記解析対象の細胞の種類の識別である、請求項１から５のいずれか一項に記載の画像解析方法。
7. 前記複数の細胞の形態分類が、分葉核好中球、桿状核好中球、後骨髄球、骨髄球、芽球、リンパ球、異型リンパ球、単球、好酸球、好塩基球、赤芽球、巨大血小板、血小板凝集塊、及び巨核球よりなる群から選択される複数の細胞を含む、請求項１から６のいずれか一項に記載の画像解析方法。
8. 前記形態分類が、前記解析対象の細胞の異常所見の識別である、請求項１から７のいずれか一項に記載の画像解析方法。
9. 前記複数の細胞の形態分類が、形態核異常、空胞の存在、顆粒形態異常、顆粒分布異常、異常顆粒の存在、細胞の大きさ異常、封入体の存在及び裸核よりなる群から選択される少なくとも一つの細胞を含む、請求項１から８のいずれか一項に記載の画像解析方法。
10. 前記深層学習アルゴリズムが、
    所定の細胞群に属する複数の細胞の第１の形態分類の各々について、前記解析対象の細胞が属する確率を算出する第１のアルゴリズムと、
    所定の細胞群に属する複数の細胞の第２の形態分類の各々について、前記解析対象の細胞が属する確率を算出する第２のアルゴリズムと、
    を含む、請求項１から９のいずれか一項に記載の画像解析方法。
11. 前記第１の形態分類は、前記解析対象の細胞の種類であり、
    前記第２の形態分類は、前記解析対象の細胞の異常所見である、
    請求項１０に記載の画像解析方法。
12. 前記解析データが、染色された血中細胞を撮像した画像のデータである、請求項１から１１のいずれか一項に記載の画像解析方法。
13. 前記染色が、ライト染色、ギムザ染色、ライトギムザ染色及びメイギムザ染色から選択される、請求項１２に記載の画像解析方法。
14. 前記解析データが、解析対象画像の輝度に関する情報と、少なくとも２種の色相に関する情報を含む、請求項１から１３のいずれか一項に記載の画像解析方法。
15. ニューラルネットワーク構造を有する深層学習アルゴリズムを用いて、細胞の形態を解析する画像解析装置であって、
    解析対象の細胞に関する情報を含む解析データを、前記深層学習アルゴリズムに入力し、前記深層学習アルゴリズムによって、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する確率を算出して画像を解析する処理部を備える、
    画像解析装置。
16. 前記形態分類が、前記解析対象の細胞の種類の識別である、請求項１５に記載の画像解析装置。
17. 前記形態分類が、前記解析対象の細胞の異常所見の識別である、請求項１５又は１６に記載の画像解析装置。
18. ニューラルネットワーク構造を有する深層学習アルゴリズムを用いて、細胞の形態を解析する画像解析するためのコンピュータプログラムであって、
    解析対象の細胞に関する情報を含む解析データを、前記深層学習アルゴリズムを含む判別器に入力し、前記深層学習アルゴリズムによって、前記所定の細胞群に属する複数の細胞の形態分類の各々について、前記解析対象の細胞が属する確率を算出して画像を解析する
    処理をコンピュータに実行させる、
    コンピュータプログラム。
19. 前記形態分類が、前記解析対象の細胞の種類の識別である、請求項１８に記載のコンピュータプログラム。
20. 前記形態分類が、前記解析対象の細胞の異常所見の識別である、請求項１８又は１９に記載のコンピュータプログラム。
21. 訓練済みの深層学習アルゴリズムの生成方法であって、
    細胞に関する情報を含む訓練データをニューラルネットワークの入力層に入力し、
    所定の細胞群に属する複数の細胞の形態分類に紐付けられたラベル値を出力層として入力する、
    訓練済み深層学習アルゴリズムの生成方法。
22. 前記形態分類が、前記解析対象の細胞の種類の識別である、請求項２１に記載の訓練済み深層学習アルゴリズムの生成方法。
23. 前記形態分類が、前記解析対象の細胞の異常所見の識別である、請求項２１又は２２に記載の訓練済み深層学習アルゴリズムの生成方法。