JP2023065352A - 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム - Google Patents

Abstract

【課題】解析対象の組織が解析用データに含まれる領域が腫瘍領域であるか否かを示すデータを生成する画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズムを提供する。【解決手段】ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用いた、組織の画像を解析する画像解析方法は、解析対象の組織を含む解析対象画像（７８）から解析用データ（８０）を生成し、解析用データ（８０）を、深層学習アルゴリズム（６０）に入力し、深層学習アルゴリズム（６０）によって、解析用データに含まれる領域が腫瘍領域であるか否かを示すデータを生成する。【選択図】図６

Description

本明細書には、画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリ
ズムの製造方法および学習済み深層学習アルゴリズムが開示される。より詳細には、解析
対象の組織の画像について、解析用データに含まれる領域が腫瘍領域であるか否かを示す
データを生成することを含む画像解析方法、画像解析装置、プログラム、学習済み深層学
習アルゴリズムの製造方法および学習済み深層学習アルゴリズム等が開示される。

特許文献１には、病理組織画像において組織像を、正常、良性腫瘍、前癌状態および癌
状態の４つのグループに分類し、判定する画像診断支援装置が開示されている。画像分類
手段は、画像データから注視領域を抽出し、注視領域の特徴を示す特徴量を算出し、算出
した特徴量に基づいてグループの分類を行う。特徴量は、細胞核における単位面積あたり
の塊の密度、塊面積の密度、塊の面積、塊の太さ、および塊の長さなどである。画像判定
手段は、このような特徴量と判定結果との関係を学習し、学習済みの学習パラメータに基
づいて判定を行う。学習は、サポートベクターマシンなどの学習アルゴリズムを用いて、
機械学習を実行する。

特開２０１０－２０３９４９号公報

悪性腫瘍であるか否かを確定診断する際に、病理組織標本を用いた病理組織診断が行わ
れる。また病理組織診断は、手術中に悪性腫瘍を含む組織の切除部位を決定するための術
中迅速診断として行われることも少なくない。術中迅速診断は、手術中に患者の患部を切
開した状態で待機させ、腫瘍が悪性であるか、切除した組織の断端に腫瘍が残っていない
か、リンパ節転移があるか等の判断を病理組織診断により行うものである。術中迅速診断
の結果により、待機している患者のその後の手術の方向性が決められる。

病理組織診断は、医師、特に病理医が顕微鏡等により組織標本を観察して診断するが、
組織標本の観察により正確な確定診断を行えるようになるためには、長い期間、熟練した
病理専門医の元で、様々な症例の組織標本の観察を繰り返す必要があり、病理医の育成に
も膨大な時間を要している。

病理医の不足は深刻であり、病理医が不足している結果、患者の悪性腫瘍の確定診断が
遅れ、治療開始が遅れる、あるいは確定診断を待たずに治療を開始するという状態も危惧
されている。また、通常の組織診断と術中迅速診断との両方が、少ない病理医に集中する
ために、一人の病理医の業務量が膨大となり、病理医自身の労務状態も問題となっている
。しかし、現在のところこの問題の解消策は見つかっていない。

したがって、病理組織診断を装置がサポートできるようになることは、特にその診断が
人の目による判断に近いほど、病理医不足の解消、および病理医の労務状態の改善に大き
く貢献すると考えられる。

装置が病理組織診断をサポートするという点において、上述の特許文献１に記載の発明
では、機械学習による画像解析に基づいて標本組織の病理判定を行っている。この方法で
は、特徴量を人の手で作成する必要がある。特徴量を人の手で作成する方法には、その人
の力量が画像解析の性能に大きく影響を与えるという問題がある。さらに、特許文献１に
記載の発明は、顕微鏡で強拡大された組織標本の画像内の細胞核１つ１つに対して癌細胞
の核であるか否かの判定を行う。したがって、標本１枚の全体について解析しようとする
と長い解析時間を要するという問題がある。

したがって、個々の細胞について癌細胞の核であるか否かを病理医や機械学習アルゴリ
ズムによって判定する前に、１枚の標本に含まれる組織全体を観察し、その標本のどの部
位に腫瘍組織が含まれるかをスクリーニングすることは、１枚の標本に対する病理診断に
かかる時間を短縮する一助となる。

本発明は、解析対象の組織が解析用データに含まれる領域が腫瘍領域であるか否かを示
すデータを生成する画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴ
リズムの製造方法および学習済み深層学習アルゴリズムを提供することを課題とする。

ある実施形態は、ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用い
て、組織の画像を解析する画像解析方法に関する。前記画像解析方法では、解析対象の組
織を含む解析対象画像（７８）から解析用データ（８０）を生成し、解析用データ（８０
）を、深層学習アルゴリズム（６０）に入力し、深層学習アルゴリズム（６０）によって
、解析用データに含まれる領域が腫瘍領域であるか否かを示すデータを生成する。本発明
によれば、解析対象の組織における解析用データに含まれる領域が腫瘍領域であるか否か
を示すデータを生成することができる。

前記実施形態において、好ましくは、解析用データに含まれる領域が腫瘍領域であるか
否かを示すデータは、腫瘍領域の領域を示すデータである。この実施形態により、ユーザ
が一目で解析対象の組織における腫瘍領域を把握することができる。

前記実施形態において、好ましくは、前記解析対象画像は、組織診断用標本の画像であ
り、２以上の原色を組み合わせた色相を含む。この実施形態により、病理診断を一助する
ことができる。

前記実施形態において、好ましくは、前記解析対象画像は、前記解析対象の組織を３倍
から２０倍に拡大して撮像された画像である。前記実施形態において、解析対象画像に含
まれる領域の大きさが、２００μｍ×２００μｍ以上４００μｍ×４００μｍ以下である
。これらの実施形態により、より精度の高い判別を行うことができる。

前記実施形態において、好ましくは、解析用データに含まれる領域が腫瘍領域であるか
否かを示すデータに基づいて、腫瘍細胞の領域とそれ以外の領域とを区別して提示するた
めのデータを生成する。この実施形態により、ユーザが一目で解析対象の組織における腫
瘍領域を把握することができる。

前記実施形態において、好ましくは、解析用データに含まれる領域が腫瘍領域であるか
否かを示すデータに基づいて、腫瘍細胞の領域とそれ以外の領域との境界を示すデータを
生成する。この実施形態により、ユーザが一目で解析対象の組織における腫瘍領域と非腫
瘍領域の境界を把握することができる。

前記実施形態において、好ましくは、解析用データに含まれる領域が腫瘍領域であるか
否かを示すデータに基づいて、前記解析対象の組織における腫瘍領域の含有率を示すデー
タを生成する。この実施形態により、ユーザが解析対象の組織における腫瘍領域の含有率
を把握することができる。

前記実施形態において、好ましくは、解析用データに含まれる領域が腫瘍領域であるか
否かを示すデータに基づいて、前記解析対象の組織における腫瘍領域と非腫瘍領域の比率
を示すデータを生成する。この実施形態により、ユーザが解析対象の組織における腫瘍領
域の含有率を把握することができる。また、遺伝子検査等に使用されるサンプルが適切に
採取されているか知ることができる。

前記実施態様により、好ましくは、１つの解析対象画像について、腫瘍領域と、非腫瘍
領域と、組織を含まない領域とを区別して提示するためのデータを生成する。この実施形
態により、ユーザが一目で解析対象の組織における腫瘍領域の有無を把握することができ
る。

前記実施形態において、好ましくは、１つの解析対象画像について所定画素数の領域毎
に応じた複数の解析用データを生成する。この実施形態により、解析対象の組織の広い範
囲について、精度よく解析を行うことができる。

前記実施形態において、好ましくは、深層学習アルゴリズム（６０）は、入力された前
記解析用データに対し前記所定画素数の領域が腫瘍領域および非腫瘍領域から選択される
少なくとも一方を含むことを示すラベルを生成する。

前記実施形態において、好ましくは、ニューラルネットワーク（５０）の入力層（５０
ａ）のノード数が、解析用データ（８０）の前記所定画素数と前記組み合わせた原色の数
との積に対応している。この実施形態により、精度の高い解析を行うことができる。

前記実施形態において、好ましくは、前記標本が染色された標本であり、前記解析対象
画像は、前記染色された標本を顕微鏡の明視野下で撮像した画像である。この実施形態に
より、病理診断を一助することができる。

前記実施形態において、好ましくは、前記深層学習アルゴリズムの学習に用いられる訓
練データが、個体から採取された腫瘍領域を含む組織の標本に対して明視野観察用染色を
施して作製された標本の染色像を顕微鏡の明視野下で撮像した明視野画像に基づいて生成
されている。この実施形態により、組織診断を一助することができる。

前記実施形態において、好ましくは、前記明視野観察用染色は、核染色にヘマトキシリ
ンを用いる。より好ましくは、前記明視野観察用染色が、ヘマトキシリン・エオジン染色
（ＨＥ染色）である。この実施形態により、組織診断として汎用性の高い検査を網羅する
ことができる。

前記実施形態において、好ましくは、前記訓練データが、前記明視野画像から判定され
た、腫瘍領域であることを示すラベル値を含む。より好ましくは、前記訓練データが、前
記ラベル値を前記明視野画像の所定画素数の領域毎に含む。この実施形態により、腫瘍領
域の訓練データを生成することができる。

前記実施形態において、好ましくは、前記訓練データが、前記明視野画像における所定
画素数の領域毎に生成されている。この態様により、深層学習アルゴリズム（５０）の学
習効率を上げることができる。

前記実施形態において、好ましくは、前記深層学習アルゴリズムが、前記解析用データ
を、前記解析対象画像に含まれる組織が腫瘍領域であることを示すクラスに分類する。

前記実施形態において、好ましくは、前記ニューラルネットワーク（５０）の出力層（
５０ｂ）がソフトマックス関数を活性化関数とするノードである。この実施形態により、
学習効率および解析精度を上げることができる。

前記実施形態において、好ましくは、前記深層学習アルゴリズムは、解析用データ（７
８）が入力される度に、前記解析対象画像に含まれる組織が腫瘍領域であることを示すデ
ータを所定画素数の領域毎に生成する。この実施形態により、解析効率を上げることがで
きる。

前記実施形態において、好ましくは、深層学習アルゴリズム（６０）が、前記組織の種
類に応じて生成されている。さらに、好ましくは、前記組織の種類に応じて複数の前記深
層学習アルゴリズムの中から選択された、前記解析対象の組織の種類に対応する前記深層
学習アルゴリズムを用いて、前記解析用データを処理する。この実施形態により、解析精
度を上げることができる。

ある実施形態は、ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用い
て、組織の画像を解析する画像解析装置（１００）に関する。前記解析装置は、解析対象
の組織を含む解析対象画像（７８）から解析用データ（８０）を生成し、解析用データ（
８０）を、深層学習アルゴリズム（５０）に入力し、深層学習アルゴリズム（５０）によ
って、前記解析用データに含まれる領域が腫瘍領域であるか否かを示すデータを生成する
処理部（１０）を備える。

ある実施形態は、ニューラルネットワーク構造の深層学習アルゴリズム（６０）を用い
て、組織の画像を解析するコンピュータプログラムに関する。前記コンピュータに、解析
対象の組織を含む解析対象画像（７８）から解析用データ（８０）を生成する処理と、解
析用データ（８０）を、深層学習アルゴリズム（６０）に入力する処理と、深層学習アル
ゴリズム（６０）によって、前記解析用データに含まれる領域が腫瘍領域であるか否かを
示すデータを生成する処理と、を実行させる。

ある実施態様は、深層学習アルゴリズム（５０）の学習に用いられる訓練データを訓練
用の組織標本から取得した訓練用画像に基づいて生成するステップと、前記訓練データを
ニューラルネットワーク（５０）に学習させる学習させるステップと、を含み、前記生成
ステップは、腫瘍領域を撮像した第１の訓練用画像（７０Ｒ１）に対応する第１の訓練デ
ータ（７４Ｒ１）を取得する第１の取得ステップと、非腫瘍領域を撮像した第２の訓練用
画像（７０Ｒ２）に対応する第２の訓練データ（７４Ｒ２）を取得する第２の取得ステッ
プと、組織を含まない領域を撮像した第３の訓練用画像（７０Ｒ３）に対応する第３の訓
練データ（７４Ｒ３）を取得する第３の取得ステップと、を含み、前記学習ステップは、
前記第１の訓練データ（７４Ｒ１）が、腫瘍領域であることをニューラルネットワーク（
５０）に学習させる第１の学習ステップと、前記第２の訓練データ（７４Ｒ２）が、非腫
瘍領域であることをニューラルネットワーク（５０）に学習させる第２の学習ステップと
、前記第３の訓練データ（７４Ｒ３）が、組織を含まない領域であることをニューラルネ
ットワーク（５０）に学習させる第３の学習ステップと、を含む、学習済み深層学習アル
ゴリズムの生成方法に関する。好ましくは、前記第１の訓練データ（７４Ｒ１）と、第２
の訓練データ（７４Ｒ２）と、第３の訓練データ（７４Ｒ３）とをニューラルネットワー
ク（５０）の入力層（５０ａ）とし、腫瘍領域であることと、非腫瘍領域であることと、
組織を含まない領域であることとをそれぞれ前記第１の訓練データ（７４Ｒ１）と、第２
の訓練データ（７４Ｒ２）と、第３の訓練データ（７４Ｒ３）とに対応するニューラルネ
ットワーク（５０）の出力層（５０ｂ）とする。さらに好ましくは、前記第１の取得ステ
ップの前に、前記第１の訓練用画像（７０Ｒ１）から、前記第１の訓練データ（７４Ｒ１
）を生成するステップと、前記第２の取得ステップの前に、前記第２の訓練用画像（７０
Ｒ２）から、前記第２の訓練データ（７４Ｒ２）を生成するステップと、前記第３の取得
ステップの前に、前記第３の訓練用画像（７０Ｒ３）から、前記第３の訓練データ（７４
Ｒ３）を生成するステップと、をさらに含む。本実施形態によれば、解析対象の組織が、
腫瘍領域および非腫瘍領域から選択される少なくとも一方を含むことを判別する、学習済
み深層学習アルゴリズムの生成することができる。

前記生成方法において、好ましくは、前記訓練用画像が、個体から採取された組織に対
して明視野観察用染色を施して作製された標本の染色像を顕微鏡の明視野下で撮像した明
視野画像である。

ある実施形態は、第１の訓練データ（７４Ｒ１）と、第２の訓練データ（７４Ｒ２）と
、第３の訓練データ（７４Ｒ３）とをニューラルネットワーク（５０）の入力層（５０ａ
）とし、腫瘍領域であることと、非腫瘍領域であることと、組織を含まない領域であるこ
ととをそれぞれ前記第１の訓練データ（７４Ｒ１）と、第２の訓練データ（７４Ｒ２）と
、第３の訓練データ（７４Ｒ３）とに対応するニューラルネットワーク（５０）の出力層
（５０ｂ）として学習させた深層学習アルゴリズムであって、前記第１の訓練データ（７
４Ｒ１）は、訓練用の組織の腫瘍領域を撮像した第１の訓練用画像（７０Ｒ１）から生成
され、前記第２の訓練データ（７４Ｒ２）は、訓練用の組織の非腫瘍領域を撮像した第２
の訓練用画像（７０Ｒ２）から生成され、前記第３の訓練データ（７４Ｒ３）は、組織を
含まない領域を撮像した第３の訓練用画像（７０Ｒ３）から生成される、学習済み深層学
習アルゴリズム（６０）である。

標本に含まれる組織全体を観察し、その標本のどの部位に腫瘍組織が含まれるかスクリ
ーニングするためのデータを生成することができる。

深層学習方法の概要を説明するための模式図である。 深層学習方法の概要を説明するための模式図である。 深層学習方法の概要を説明するための模式図である。 訓練データの詳細を説明するための模式図である。 訓練データの詳細を説明するための模式図である。 画像解析方法の概要を説明するための模式図である。 第１の実施形態に係る画像解析システムの概略構成図である。 ベンダ側装置１００のハードウェア構成を示すブロック図である。 ユーザ側装置２００のハードウェア構成を示すブロック図である。 第１の実施形態に係る深層学習装置１００Ａの機能を説明するためのブロック図である。 深層学習処理の手順を示すフローチャートである。 ニューラルネットワークによる学習の詳細を説明するための模式図である。 第１の実施形態に係る画像解析装置２００Ａの機能を説明するためのブロック図である。 画像解析処理の手順を示すフローチャートである。 第２の実施形態に係る画像解析システムの概略構成図である。 第２の実施形態に係る統合型の画像解析装置２００Ｂの機能を説明するためのブロック図である。 第３の実施形態に係る画像解析システムの概略構成図である。 第３の実施形態に係る統合型の画像解析装置１００Ｂの機能を説明するためのブロック図である。 胃がん組織から取得された組織標本の解析結果である。（ａ）は、胃がん組織をＨＥ染色して撮像した明視野画像のホールスライドイメージであり、解析対象の画像である。（ｂ）は、ホールスライドイメージの腫瘍領域を病理医が指定し実線で囲った像である。（ｃ）は、拡大倍率１倍の訓練用画像と解析用画像を用いた解析結果を示す。（ｄ）は、拡大倍率５倍の訓練用画像と解析用画像を用いた解析結果を示す。（ｅ）は、拡大倍率４０倍の訓練用画像と解析用画像を用いた解析結果を示す。図１９（ｃ）から（ｅ）において解析処理により得られた腫瘍領域を白で表示し、非腫瘍領域をグレーで示し、非組織領域を黒で示す。 胃がん組織から取得された組織標本の解析結果である。（ａ）は、胃がん組織をＨＥ染色して撮像した明視野画像のホールスライドイメージであり、解析対象の画像である。（ｂ）は、ホールスライドイメージの腫瘍領域を病理医が指定し実線で囲った像である。（ｃ）は、拡大倍率５倍の訓練用画像と解析用画像を用いた解析結果を示す。（ｄ）は、拡大倍率１６倍の訓練用画像と解析用画像を用いた解析結果を示す。図１９（ｃ）、（ｄ）において解析処理により得られた腫瘍領域を白で表示し、非腫瘍領域をグレーで示し、非組織領域を黒で示す。 組織標本の拡大倍率とウィンドウサイズの画素数による判別精度の違いを示す図である。（ａ）は各拡大倍率の感度、（ｂ）は、各拡大倍率の陽性的中率を示す。（ｃ）は、ウィンドウサイズの画素数の違いによる感度、（ｄ）は陽性的中率の変化を示す。

以下、本発明の概要および実施の形態を、添付の図面を参照して詳細に説明する。なお
、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし
、よって、同じまたは類似の構成要素に関する説明を省略する。

画像解析方法は、組織の画像を解析する。前記画像解析方法は、ニューラルネットワー
ク構造の、好ましくは、畳み込みニューラルネットワーク構造の深層学習アルゴリズムを
用いる。前記画像解析方法は、解析用データに含まれる領域が腫瘍領域であるか否かを示
すデータを生成することを含む。

本発明において、組織または細胞の画像は、組織試料の標本または細胞を含む試料の標
本から取得される画像である。組織試料の標本または細胞を含む試料の標本は、個体から
採取される。個体は、特に制限されないが、好ましくは哺乳類であり、より好ましくはヒ
トである。前記個体から試料が採取される際に、個体が生きているか死亡しているかは問
わない。前記組織は、個体内に存在するものである限り、制限されない。前記個体から採
取された組織としては、外科的な切除組織、生検組織等を挙げることができる。前記腫瘍
は上皮性および非上皮性のいずれであってもよい。前記腫瘍として好ましくは悪性上皮性
腫瘍である。悪性腫瘍は、特に制限されないが、悪性腫瘍としては、例えば、気管、気管
支又は肺等から発生する呼吸器系悪性腫瘍；上咽頭、食道、胃、十二指腸、空腸、回腸、
盲腸、虫垂、上行結腸、横行結腸、Ｓ状結腸、直腸又は肛門部等から発生する消化管系悪
性腫瘍；肝臓癌；膵臓癌；膀胱、尿管又は腎臓から発生する泌尿器系悪性腫瘍；卵巣、卵
管および子宮等から発生する女性生殖器系悪性腫瘍；乳癌；前立腺癌；皮膚癌；視床下部
、下垂体、甲状腺、副甲状腺、副腎等の内分泌系悪性腫瘍；中枢神経系悪性腫瘍；骨軟部
組織から発生する悪性腫瘍等の固形腫瘍が挙げられる。より好ましくは、肺癌（扁平上皮
癌、小細胞癌、大細胞癌、腺癌）等の呼吸器系上皮性悪性腫瘍；胃癌、十二指腸癌、大腸
癌（Ｓ状結腸癌、直腸癌等）等の消化管系上皮性悪性腫瘍；肝臓癌；膵臓癌；膀胱癌；甲
状腺癌；卵巣癌；乳癌；前立腺癌を挙げることができる。最も好ましくは、胃癌である。

前記標本は、前記組織を顕微鏡等で観察ができるように加工した状態のもの、例えばプ
レパラートを意図する。前記標本は、公知の方法に従って作製することができる。例えば
、組織標本の場合には、前記個体から組織を採取した後に、所定の固定液（ホルマリン固
定等）で組織を固定し、その固定組織をパラフィン包埋し、パラフィン包埋組織を薄切す
る。薄切切片をスライドグラスにのせる。切片がのったスライドグラスに対して光学顕微
鏡での観察のため、すなわち明視野観察のための染色を施し、所定の封入処理をして標本
が完成する。組織標本の典型例は、組織診断用標本（病理標本）であり、染色は、へマト
キシリン・エオジン（ＨＥ）染色である。

ＨＥ染色の核染色はヘマトキシリンである。ヘマトキシリンは、組織細胞染色において
核染色剤として幅広く使用されている（例えば、免疫染色、レクチン染色、糖染色、脂肪
染色、膠原線維染色等）。このため、本発明は、このようなヘマトキシリンを核染色に使
う標本全般において、適用が可能である。

前記画像解析には、訓練用画像を用いて訓練された深層学習アルゴリズムを用いる。前
記画像解析は、前記標本から取得した、解析対象の組織を含む解析対象画像から解析デー
タを生成する。前記解析データを、前記深層学習アルゴリズムに入力し、前記解析対象画
像内に存在する組織が解析用データに含まれる領域が腫瘍領域であるか否かを示すデータ
を生成する。解析用データに含まれる領域が腫瘍領域であるか否かを示すデータとは、判
別対象にある組織に含まれる複数の注目画素を含む領域が、腫瘍組織を含む可能性および
／または非腫瘍領域である可能性を示すデータである。解析用データに含まれる領域が腫
瘍領域であるか否かを示すデータは、腫瘍領域を含むことと非腫瘍領域であることを区別
できるラベル値、表示等であり得る。

前記訓練用画像は、学習対象となる標本の複数の領域から取得される。好ましくは、前
記訓練用画像は、学習対象となる組織に含まれる複数の層構造から層構造ごとに腫瘍領域
を含む領域、非腫瘍領域を含む領域、および組織を含まない領域より取得される。

例えば、第１の訓練用画像７０Ｒ１は、個体から採取された組織に含まれる、腫瘍領域
を含む領域から取得された画像である。この画像は、顕微鏡観察により、組織構造が認識
できるように染色された標本から取得される。前記染色は、組織構造が認識できる限り制
限されないが、好ましくは明視野観察用の染色である。前記明視野観察用染色は、少なく
とも細胞核と細胞核以外の部位が、色相で区別可能に染色できる限り制限されない。前記
標本が哺乳類の組織標本である場合には、例えば、ＨＥ染色を挙げることができる。

第１の訓練用画像７０Ｒ１からは、第１の訓練データ７４Ｒ１と、第１の予備訓練デー
タ７０Ｒ１Ｌが生成される。第１の訓練データ７４Ｒ１は、第１の訓練用画像７０Ｒ１に
含まれる色相を原色毎に分離した単一色画像に関する情報である。第１の予備訓練データ
７０Ｒ１Ｌは、第１の訓練用画像７０Ｒ１に含まれている組織の領域が、腫瘍領域を含む
ことを示す二値化データ（ラベル値）として生成される。第１の訓練用画像７０Ｒ１に含
まれる組織の領域が腫瘍領域を含むか否かは、例えば病理医等による標本観察により判定
される。ここで、前記訓練用画像に含まれる組織の領域において、腫瘍細胞と、非腫瘍細
胞と、細胞以外の組織の領域とが混在する場合がある。この場合、前記訓練用画像に含ま
れる組織の領域が、例えば前記訓練用画像に含まれる組織の領域全体の面積を１００％と
した際に、腫瘍細胞がその全体の面積の約１０％以上、約２０％以上、約３０％以上、約
４０％以上、約５０％以上、約６０％以上、約７０％以上、約８０％以上、または約９０
％以上を占める場合に、腫瘍領域を含むと判定することができる。好ましくは、約４０％
以上、約５０％以上、約６０％以上、約７０％以上、約８０％以上、または約９０％以上
を占める場合に、腫瘍領域を含むと判定することができる。前記訓練用画像に含まれる組
織の領域全体の面積（１００％）から非腫瘍細胞および細胞以外の組織（非腫瘍領域）が
占める割合を減じた値を前記腫瘍細胞が組織全体の面積を占める割合として決定してもよ
い。

前記訓練用画像に含まれる第２の訓練用画像７０Ｒ２は、非腫瘍領域を含む組織の領域
（好ましくは、非腫瘍細胞と細胞以外の組織の領域とを含む領域）から取得された画像で
ある。この画像は、顕微鏡観察により、組織構造が認識できるように染色された標本から
取得される。前記染色は、組織構造が認識できる限り制限されないが、好ましくは明視野
観察用の染色である。前記明視野観察用染色は、少なくとも細胞核と細胞核以外の部位が
、色相で区別可能に染色できる限り制限されない。前記標本が哺乳類の組織標本である場
合には、例えば、ＨＥ染色を挙げることができる。前記染色は、第１の訓練用画像７０Ｒ
１を取得した標本と同じものであることが好ましい。

第２の訓練用画像７０Ｒ２からは、第２の訓練データ７４Ｒ２と、第２の予備訓練デー
タ７０Ｒ２Ｌが生成される。第２の訓練データ７４Ｒ２は、第２の訓練用画像７０Ｒ２に
含まれる色相を原色毎に分離した単一色画像に関する情報である。第２の予備訓練データ
７０Ｒ２Ｌは、第２の訓練用画像７０Ｒ２に含まれている組織の領域が、非腫瘍領域を含
むことを示す二値化データ（ラベル値）である。第２の訓練用画像７０Ｒ２に含まれる組
織の領域が非腫瘍領域を含むか否かは、例えば病理医等による標本観察により判定される
。ここで、前記訓練用画像に含まれる組織の領域において、腫瘍細胞と、非腫瘍細胞と、
細胞以外の組織の領域が混在する場合がある。この場合、前記訓練用画像に含まれる組織
の領域が、例えば前記訓練用画像に含まれる組織の領域全体の面積を１００％とした際に
、非腫瘍細胞と細胞以外の組織の領域（非腫瘍領域）とが組織全体の面積の約１０％以上
、約２０％以上、約３０％以上、約４０％以上、約５０％以上、約６０％以上、約７０％
以上、約８０％以上、約９０％以上、または１００％を占める場合に、非腫瘍領域を含む
と判定することができる。好ましくは、約４０％以上、約５０％以上、約６０％以上、約
７０％以上、約８０％以上、約９０％以上、または１００％を占める場合に、非腫瘍領域
を含むと判定することができる。前記第２の訓練用画像７０Ｒ２に含まれる組織の領域全
体の面積（１００％）から腫瘍領域が占める割合を減じた値を前記非腫瘍細胞と細胞以外
の組織の領域とが組織全体の面積を占める割合として決定してもよい。

前記訓練用画像に含まれる第３の訓練用画像７０Ｒ３は、第１の訓練用画像７０Ｒ１、
および／または第２の訓練用画像７０Ｒ２を取得した標本における組織を含まない領域（
非組織領域ともいう）から取得された画像である。

第３訓練用画像からは、第３の訓練データ７４Ｒ３と、第３の予備訓練データ７０Ｒ３
Ｌが生成される。第３の訓練データ７４Ｒ３は、第３の訓練用画像７０Ｒ３に含まれる色
相を原色毎に分離した単一色画像に関する情報である。第３の予備訓練データ７０Ｒ２Ｌ
は、第３の訓練用画像７０Ｒ３に含まれている領域が、組織を含まない領域であることで
あることを示す二値化データ（ラベル値）である。第３の訓練用画像７０Ｒ３に含まれる
領域は、例えば病理医等による標本観察により判定される。ここで、前記訓練用画像には
、組織の領域と背景（例えば、プレパラートのガラス部分）の領域とが混在する場合があ
る。この場合、前記訓練用画像に含まれる背景の領域が、例えば前記１枚の訓練用画像に
含まれる領域全体の面積を１００％とした際に、背景の領域が約９０％以上、約９１％以
上、約９２％以上、約９３％以上、約９４％以上、約９５％以上、約９６％以上、約９７
％以上、約９８％以上、または約９９％以上を占める場合、あるいは背景の領域が１００
％を占める場合に、組織を含まない領域であると判定することができる。好ましくは、背
景の領域が約９５％以上、約９６％以上、約９７％以上、約９８％以上、または約９９％
以上を占める場合、あるいは背景の領域が１００％を占める場合に、組織を含まない領域
であると判定することができる。

各訓練用画像は、訓練用の組織標本を、例えば５倍から２０倍に拡大した画像として取
得されることが好ましい。判別精度の点から、３０倍以上、特に４０倍以上に拡大した画
像は、訓練用画像としては不向きである。

第１の訓練データ７４Ｒ１および第１の予備訓練データ７０Ｒ１Ｌからは腫瘍領域訓練
データが生成され、第２の訓練データ７４Ｒ２および第２の予備訓練データ７０Ｒ２Ｌか
らは非腫瘍領域訓練データが生成され、第３の訓練データ７４Ｒ３および第３の予備訓練
データ７０Ｒ２Ｌからは非組織領域訓練データが生成される。腫瘍領域訓練データ、非腫
瘍領域訓練データおよび非組織領域訓練データを併せて訓練データと呼ぶことがある。

本発明の概要および実施の形態では、ＨＥ染色された組織標本を撮像した画像内に含ま
れる組織が腫瘍領域、非腫瘍領域および非組織領域を含むことを、深層学習アルゴリズム
によって判別する場合を一例として説明する。

［深層学習方法および画像解析方法の概要］
はじめに、深層学習方法について説明する。

・深層学習方法の概要
図１を用いて、第１の訓練データ７４Ｒ１、第１の予備訓練データ７０Ｒ１Ｌおよび腫
瘍領域訓練データ７５Ｒ１の概要を説明する。図１には、スライドイメージスキャナによ
り取得した組織標本のホールスライドイメージ７０Ｗ１を使ったニューラルネットワーク
への訓練データの入力例を示す。ホールスライドイメージ７０Ｗ１は明視野観察用染色と
してＨＥ染色を施して作製された標本を明視野で撮像した組織標本のスライドイメージを
示す。ホールスライドイメージ７０Ｗ２は、病理医によりホールスライドイメージ７０Ｗ
１において腫瘍領域を含む部分を病理医が実線で囲って指定した画像である。ホールスラ
イドイメージ７０Ｗ３は、ホールスライドイメージ７０Ｗ２を訓練用画像として分割（例
えば、５１２分割）した像を示す。ホールスライドイメージ７０Ｗ３内の記号Ｒ１で示さ
れた四角枠で囲まれた領域は、図１に示す第１の訓練用画像７０Ｒ１として使用する領域
を示す。記号Ｒ２で示された四角枠で囲まれた領域は、図２に示す第２の訓練用画像７０
Ｒ２として使用する領域を示す。記号Ｒ３で示された四角枠で囲まれた領域は、図３に示
す第３の訓練用画像７０Ｒ３として使用する領域を示す。第１の訓練用画像７０Ｒ１が腫
瘍領域を含むこと、第２の訓練用画像７０Ｒ２が非腫瘍領域を含むこと、および第３の訓
練用画像７０Ｒ３が組織を含まない領域であることは、それぞれの訓練画像を取得する前
に判定していてもよく、それぞれの訓練画像を取得してから判定してもよい。

図１において、第１の訓練用画像７０Ｒ１は、ＨＥ染色した標本を明視野観察下で例え
ばカラー画像として撮像しているため、第１の訓練用画像７０Ｒ１には複数の色相が含ま
れる。

第１の訓練用画像７０Ｒ１は、例えば公知の光学顕微鏡、蛍光顕微鏡またはバーチャル
スライドスキャナ等の画像取得装置を用いて、予め取得することができる。例示的には、
本実施形態において画像取得装置から取得されるカラー撮像は、カラースペースがＲＧＢ
の２４ビットカラーであることが好ましい。ＲＧＢの２４ビットカラーでは、赤色、緑色
および青色のそれぞれの濃さ（色濃度）を、８ビット（２５６段階）の階調で表すことが
好ましい。第１の訓練用画像７０Ｒ１は、１以上の原色を含む画像であればよい。第１の
訓練用画像７０Ｒ１に対応して、第１の訓練データ７４Ｒ１が生成される。

本発明において、色相は、例示的には、光の３原色の組み合わせ、または色の３原色の
組み合わせで規定される。第１の訓練データ７４Ｒ１は、第１の訓練用画像７０Ｒ１から
生成される、第１の訓練用画像７０Ｒ１に現れる色相を個々の原色に分離して原色毎に生
成し、その濃度に応じた符号で表されたデータである。図１では光の３原色である赤（Ｒ
）、緑（Ｇ）、青（Ｂ）の原色毎に分離した単一色の濃淡で示された画像（以下、「単一
色画像」ともいう）７２Ｒ１Ｒ，７２Ｒ１Ｇ，７２Ｒ１Ｂを得る。

単一色画像７２Ｒ１Ｒ，７２Ｒ１Ｇ，７２Ｒ１Ｂ上の各画素について各色の色濃度を符
号化し、画像全体をＲ、Ｇ、Ｂ毎の各画像について、画素毎の色濃度に対応した符号化図
（以下、「色濃度符号化図」ともいう）７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂを生成する
。色濃度は、各色２５６段階を示す数値で符号化しても良い。また、色濃度は、各色２５
６段階を示す数値に対して、さらに前処理を行って、各画素における色濃度を例えば、値
０から値７の８段階で示す数字で符号化してもよい。図１に例示的に示すＲ、Ｇ、Ｂ各色
の単一色画像から生成された色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂは、説
明の便宜上、各画素における色濃度を値０から値７の８段階の符号で表している。図１に
示す色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂから画素毎にＲ、Ｇ、Ｂの色濃
度値が組み合わされた第１の訓練データ７４Ｒ１が生成される。色濃度を示す符号は、本
明細書において色濃度値ともいう。また、第１の訓練データ７４Ｒ１として、色濃度符号
化図に替えて、各画素に対応した色濃度値の行列を生成してもよい。

図１において、第１の予備訓練データ７０Ｒ１Ｌは、第１の訓練用画像７０Ｒ１に含ま
れている組織が、腫瘍領域を含むことを示すデータである。例えば、第１の訓練用画像７
０Ｒ１は、全領域が病理医の判定により腫瘍領域であると判定されているため第１の訓練
用画像７０Ｒ１には、後述する所定の画素数の領域毎に腫瘍領域を含むことを示すラベル
値として同じ数値、例えば「１」が付され、第１の予備訓練データ７０Ｒ１Ｌとなる。

深層学習方法では、図１に示す第１の訓練データ７４Ｒ１および第１の予備訓練データ
７０Ｒ１Ｌから腫瘍領域訓練データ７５Ｒ１を生成する。そして、腫瘍領域訓練データ７
５Ｒ１の各画素の色濃度値データ７６（第１の訓練データ７４Ｒ１から得られる）を入力
層５０ａとし、ラベル値７７Ｒ１（第１の予備訓練データ７０Ｒ１Ｌから得られる）を出
力層５０ｂとするニューラルネットワーク５０に学習させる。

次に、図２を用いて、第２の訓練データ７４Ｒ２、第２の予備訓練データ７０Ｒ２Ｌお
よび非腫瘍領域訓練データ７５Ｒ２の概要を説明する。図２において、ホールスライドイ
メージ７０Ｗ１、ホールスライドイメージ７０Ｗ２、およびホールスライドイメージ７０
Ｗ３は図１と同様であるため、第２の訓練用画像７０Ｒ２には、第１の訓練用画像７０Ｒ
１と同様に複数の色相が含まれる。

第２の訓練用画像７０Ｒ２は、腫瘍領域を含む組織に替えて非腫瘍領域含む組織を用い
る以外は、第１の訓練用画像７０Ｒ１と同様の方法で取得される。第２の訓練用画像７０
Ｒ２に対応して、第２の訓練データ７４Ｒ２が生成される。

第２の訓練データ７４Ｒ２は、腫瘍領域を含む組織に替えて非腫瘍領域含む組織を用い
る以外は、第１の訓練データ７４Ｒ１と同様の方法で生成される。図２に示す色濃度符号
化図７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂから画素毎にＲ、Ｇ、Ｂの色濃度値が組み合わ
された第２の訓練データ７４Ｒ２が生成される。

図２において、第２の予備訓練データ７０Ｒ２Ｌは、第２の訓練用画像７０Ｒ２が、非
腫瘍領域を含むことを示すデータである。第２の訓練用画像７０Ｒ２は全領域が病理医の
判定により非腫瘍領域であると判定されているため、第２の訓練用画像７０Ｒ２には、後
述する所定の画素数の領域毎に非腫瘍領域を含むことを示すラベル値として同じ数値、例
えば「２」が付され、第２の予備訓練データ７０Ｒ２Ｌとなる。非腫瘍領域を含む領域で
あることを示すラベル値は、腫瘍領域を含む領域および組織を含まない領域を示すラベル
値と区別できる限り制限されない。

深層学習方法では、図２に示す第２の訓練データ７４Ｒ２および第２の予備訓練データ
７０Ｒ２Ｌから非腫瘍領域訓練データ７５Ｒ２を生成する。そして、非腫瘍領域訓練デー
タ７５Ｒ２の各画素の色濃度値データ７６（第２の訓練データ７４Ｒ２から得られる）を
入力層５０ａとし、ラベル値７７Ｒ２（第２の予備訓練データ７０Ｒ２Ｌから得られる）
を出力層５０ｂとするニューラルネットワーク５０に学習させる。

次に、図３を用いて、第３の訓練データ７４Ｒ３、第３の予備訓練データ７０Ｒ３Ｌお
よび非組織領域訓練データ７５Ｒ３の概要を説明する。図３において、ホールスライドイ
メージ７０Ｗ１、ホールスライドイメージ７０Ｗ２、およびホールスライドイメージ７０
Ｗ３は図１と同様であるため、第３の訓練用画像７０Ｒ３には、第１の訓練用画像７０Ｒ
１と同様に複数の色相が含まれる。

第３の訓練用画像７０Ｒ３は、腫瘍領域を含む領域に替えて組織を含まない領域を用い
る以外は、第１の訓練用画像７０Ｒ１と同様の方法で取得される。第３の訓練用画像７０
Ｒ３に対応して、第３の訓練データ７４Ｒ３が生成される。

第３の訓練データ７４Ｒ３は、腫瘍領域を含む領域に替えて組織を含まない領域を用い
る以外は、第１の訓練データ７４Ｒ１と同様の方法で生成される。図３に示す色濃度符号
化図７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂから画素毎にＲ、Ｇ、Ｂの色濃度値が組み合わ
された第３の訓練データ７４Ｒ３が生成される。

図３において、第３の予備訓練データ７０Ｒ３Ｌは、第３の訓練用画像７０Ｒ３に含ま
れている領域が、組織を含まない領域であることを示すデータである。第３の訓練用画像
７０Ｒ３は全領域が病理医の判定により非組織領域であると判定されているため、第３の
訓練用画像７０Ｒ３には、後述する所定の画素数の領域毎に組織を含まない領域であるこ
とを示すラベル値として同じ数値、例えば「０」が付され、第３の予備訓練データ７０Ｒ
３Ｌとなる。組織を含まない領域であることを示すラベル値は、腫瘍領域を含む領域およ
び非腫瘍領域を含む領域を示す数値とは区別される。

深層学習方法では、図３に示す第３の訓練データ７４Ｒ３および第３の予備訓練データ
７０Ｒ３Ｌから非組織領域訓練データ７５Ｒ３を生成するそして、非組織領域訓練データ
７５Ｒ３の各画素の色濃度値データ７６（第３の訓練データ７４Ｒ３から得られる）を入
力層５０ａとし、ラベル値７７Ｒ３（第３の予備訓練データ７０Ｒ３Ｌから得られる）を
出力層５０ｂとするニューラルネットワーク５０に学習させる。

図４（ａ）、（ｂ）を参照して、腫瘍領域訓練データ７５Ｒ１の生成方法を説明する。
図４（ａ）に示す第１の訓練データ７４Ｒ１は、所定の画素数の腫瘍領域の色濃度符号化
図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂのそれぞれの色濃度値を組み合わせたデータであ
る。本明細書において、第１の訓練データ７４Ｒ１の各画素の位置は、便宜上列を左から
ｌ_１、ｌ_２・・・ｌ_i、行を上からｍ_１、ｍ_２・・・ｍ_ｊで表す。第１の訓練データ７４
Ｒ１は、図４（ａ）では、その画像サイズ（訓練データ１つあたりの大きさ）が説明の便
宜のために簡素化されており、第１の訓練データ７４Ｒ１が、縦方向９画素および横方向
９画素の合計８１画素を有する。すなわち、各画素の位置は、列を左からｌ_１、ｌ_２・・
・ｌ_９、行を上からｍ_１、ｍ_２・・・ｍ_９で表す。図４（ａ）に示す３つの値が、各画素
におけるＲ、Ｇ、Ｂ各色の色濃度値である。例示的には、３つの値は、左から、赤（Ｒ）
、緑（Ｇ）および青（Ｂ）の順序で格納されている。第１の訓練データ７４Ｒ１の各画素
の色濃度値は便宜的に値０から値７の８段階で示されている。これは、画像の前処理の一
例として、撮像された際に２５６段階で表されている各色の画像７２Ｒ１Ｒ，７２Ｒ１Ｇ
，７２Ｒ１Ｂの明るさを、８段階の色濃度値にそれぞれ変換する処理である。色濃度値は
、例えば最も低い明るさ（ＲＧＢカラー２５６段階で表した時の輝度値が低い階調群）を
色濃度値０とし、明るさの程度が高くなるに従い徐々に高い値を割り当ててゆき、最も高
い明るさ（ＲＧＢカラー２５６段階で表した時の輝度値が高い階調群）を色濃度値７とす
る。

図１および図４（ｂ）に示す腫瘍領域訓練データ７５Ｒ１は、図４（ａ）に示す第１の
訓練データ７４Ｒ１を所定数の画素からなる領域（以下、「ウィンドウサイズ」と記載す
る）で切り出したデータに第１の予備訓練データ７０Ｒ１Ｌのラベル値に対応するラベル
値７７Ｒ１を付したものである。ウィンドウサイズの腫瘍領域訓練データ７５Ｒ１も、説
明の便宜のために３×３画素（ｌ_１：ｌ_３，ｍ_１：ｍ_３）に簡素化して示すが、各画素の
位置は、便宜上列を左からｌ_１、ｌ_２・・・ｌ_i、行を上からｍ_１、ｍ_２・・・ｍ_ｊで表
す。実際の好ましいウィンドウサイズは、例示的には１２５×１２５画素（ｉ＝１２５、
ｊ＝１２５）、１５０×１５０画素（ｉ＝１５０、ｊ＝１５０）、１６６×１６６画素（
ｉ＝１６６、ｊ＝１６６）、１８０×１８０画素（ｉ＝１８０、ｊ＝１８０）、２００×
２００画素（ｉ＝２００、ｊ＝２００）、２２０×２２０画素（ｉ＝２２０、ｊ＝２２０
）、２５０×２５０画素（ｉ＝２５０、ｊ＝２５０）程度が、学習効率の点から好ましい
。より好ましくは、ウィンドウサイズは２００×２００画素程度である。ウィンドウサイ
ズは、たとえば６０μｍ×６０μｍ以上５００μｍ×５００μｍ以下の範囲である。好ま
しくは、６０μｍ×６０μｍ、１００μｍ×１００μｍ、１５０μｍ×１５０μｍ、２０
０μｍ×２００μｍ、２５０μｍ×２５０μｍ、３００μｍ×３００μｍ、３５０μｍ×
３５０μｍ、４００μｍ×４００μｍ、４５０μｍ×４５０μｍ、５００μｍ×５００μ
ｍである。より好ましくは、２００μｍ×２００μｍ～４００μｍ×４００μｍである。
例えば、図４（ｂ）に示すように、第１の訓練データ７４Ｒ１の左端から３×３画素のウ
ィンドウＷ１（ｌ_１：ｌ_３，ｍ_１：ｍ_３）を設定し、第１の訓練データ７４Ｒ１に対して
左から右にウィンドウＷ１を移動させる。ウィンドウＷ１は（ｌ_１：ｌ_３，ｍ_１：ｍ_３）
の腫瘍領域訓練データ７５Ｒ１を切り出した後、第１の予備訓練データ７０Ｒ１Ｌのラベ
ル値に対応するラベル値７７Ｒ１を腫瘍領域訓練データ７５Ｒ１に付す。ウィンドウＷ１
は点線で示す腫瘍領域訓練データ７４Ｒ１の次のウィンドウ（ｌ_４：ｌ_６，ｍ_４：ｍ_６）
に移動し、（ｌ_４：ｌ_６，ｍ_４：ｍ_６）をウィンドウサイズの腫瘍領域訓練データ７５Ｒ
１として切り出す。新たに切り出された腫瘍領域訓練データ７５Ｒ１に第１の予備訓練デ
ータ７０Ｒ１Ｌのラベル値に対応するラベル値７７Ｒ１を付す。この操作を、繰り返し、
複数のウィンドウサイズの腫瘍領域訓練データ７５Ｒ１を第１の訓練データ７４Ｒ１から
切り出す。切り出したウィンドウサイズの腫瘍領域訓練データ７５Ｒ１は第１の予備訓練
データ７０Ｒ１Ｌのラベル値に対応するラベル値７７Ｒ１が付され図１に示すニューラル
ネットワーク５０の学習に用いられる。

図１に示すように、ニューラルネットワーク５０の入力層５０ａのノード数は、入力さ
れるウィンドウサイズの腫瘍領域訓練データ７５Ｒ１の画素数と画像に含まれる原色の数
（例えば光の三原色であれば、Ｒ、Ｇ、Ｂの３つ）との積に対応している。ウィンドウサ
イズの腫瘍領域訓練データ７５Ｒ１の各画素の色濃度値データ７６をニューラルネットワ
ークの入力層５０ａとし、第１の予備訓練データ７０Ｒ１Ｌに対応するラベル値７７Ｒ１
をニューラルネットワークの出力層５０ｂとして、ニューラルネットワーク５０に学習さ
せる。各画素の色濃度値データ７６は、腫瘍領域訓練データ７５Ｒ１の各画素のＲ、Ｇ、
Ｂ各色の色濃度値の集合データである。例示として、ウィンドウサイズの腫瘍領域訓練デ
ータ７５Ｒ１が３×３画素である場合には、各画素についてＲ、Ｇ、Ｂ毎に１つずつの色
濃度値が与えられるので、色濃度値データ７６の色濃度値数は「２７」（３×３×３＝２
７）となり、ニューラルネットワーク５０の入力層５０ａのノード数も「２７」となる。

このように、ニューラルネットワーク５０に入力するウィンドウサイズの腫瘍領域訓練
データ７５Ｒ１は、ユーザが作成することなく、コンピュータが自動的に作成することが
できる。これにより、ニューラルネットワーク５０の効率的な深層学習が促進される。

図４（ｂ）に示すように、初期状態において、ウィンドウＷ１は、第１の訓練データ７
４Ｒ１の左上角に位置している。以後、ウィンドウＷ１によってウィンドウサイズの腫瘍
領域訓練データ７５Ｒ１を切り出し、ニューラルネットワーク５０の学習を行う度に、ウ
ィンドウＷ１の位置を移動させる。具体的には、ウィンドウＷ１が第１の訓練データ７４
Ｒ１の例えば全ての画素を走査するように、ウィンドウＷ１を移動させる。これにより、
第１の訓練データ７４Ｒ１の全ての画素から切り出されたウィンドウサイズの腫瘍領域訓
練データ７５Ｒ１が、ニューラルネットワーク５０の学習に用いられる。よってニューラ
ルネットワーク５０の学習の程度を向上でき、深層学習の結果、図６に示すニューラルネ
ットワーク６０構造を有する深層学習アルゴリズムが得られる。

図５（ａ）には、第２の訓練データ７４Ｒ２を示す。第２の訓練データ７４Ｒ２から非
腫瘍領域訓練データ７５Ｒ２を生成する方法は、第１の訓練データ７４Ｒ１および第１の
予備訓練データ７０Ｒ１Ｌに替えて、第２の訓練データ７４Ｒ２および第２の予備訓練デ
ータ７０Ｒ２Ｌを使用する点を除き、腫瘍領域訓練データ７５Ｒ１と同様である。非腫瘍
領域訓練データ７５Ｒ２に付される第２の予備訓練データ７０Ｒ２Ｌのラベル値に対応す
るラベル値７７Ｒ２が、図２に示す出力層５０ｂに入力される。

図５（ｂ）には、第３の訓練データ７４Ｒ３を示す。第３の訓練データ７４Ｒ３から非
組織領域訓練データ７５Ｒ３を生成する方法は、第１の訓練データ７４Ｒ１および第１の
予備訓練データ７０Ｒ１Ｌに替えて、第３の訓練データ７４Ｒ３および第３の予備訓練デ
ータ７０Ｒ３Ｌを使用する点を除き、腫瘍領域訓練データ７５Ｒ１と同様である。非組織
領域訓練データ７５Ｒ３に付される第３の予備訓練データ７０Ｒ３Ｌのラベル値に対応す
るラベル値７７Ｒ３が、図３に示す出力層５０ｂに入力される。

各領域訓練データは、１０枚以上、２０枚以上、５０枚以上、１００枚以上の各領域の
訓練用画像を使って生成することが好ましい。

・画像解析方法の概要 図６に示すように、画像解析方法では、解析対象の組織を含む標
本を撮像した解析対象画像（明視野画像）７８から、解析用データ８０を生成する。前記
標本は、第１の訓練用画像と同じ染色が施されていることが好ましい。解析対象画像７８
も、例えば公知の顕微鏡またはバーチャルスライドスキャナ等を用いて、例えばカラー画
像として取得することができる。解析対象画像７８は、訓練用画像と同程度または同じ拡
大倍率で取得されることが好ましい。解析対象画像（明視野画像）７８は、１以上の原色
を含む画像であればよい。カラーの解析対象画像７８を、各画素についてＲ、Ｇ、Ｂ各色
の色濃度値で符号化すると、画像全体をＲ、Ｇ、Ｂ毎に各画素における色濃度値の符号化
図として表すことができる（解析用色濃度符号化図７９ｒ，７９ｇ，７９ｂ）。解析用色
濃度符号化図７９ｒ，７９ｇ，７９ｂから画素毎にＲ、Ｇ、Ｂの色濃度値が組み合わされ
た解析対象データ（図示せず）が生成される。図６に例示的に示すＲ、Ｇ、Ｂ各色の単一
色画像における色濃度の符号を示す色濃度符号化図７９ｒ，７９ｇ，７９ｂは、３原色の
各画像７９Ｒ，７９Ｇ，７９Ｂに代えて、値０から値７の８段階の符号で表された色濃度
値を表示している。本明細書において、解析対象データの各画素の位置は、便宜上列を左
からｌ_１、ｌ_２・・・ｌ_i、行を上からｍ_１、ｍ_２・・・ｍ_ｊで表す。

解析用データ８０は、解析対象データを所定の画素数の領域（すなわち、上記各領域訓
練データと同じウィンドウサイズ）で切り出したデータであり、解析対象画像７８に含ま
れている組織の色濃度値を含むデータである。図６では、ウィンドウサイズの解析用デー
タ８０も、腫瘍領域訓練データ７５Ｒ１、非腫瘍領域訓練データ７５Ｒ２および非組織領
域訓練データ７５Ｒ３と同様に、説明の便宜のために３×３画素に簡素化して示すが、実
際の好ましいウィンドウサイズは、腫瘍領域訓練データ７５Ｒ１、非腫瘍領域訓練データ
７５Ｒ２および非組織領域訓練データ７５Ｒ３と同様である。例えば、３×３画素のウィ
ンドウＷ２を設定し、解析対象データに対してウィンドウＷ２を移動させる。ウィンドウ
Ｗ２は、解析対象データ中の所定数の画素を含んでおり、解析対象データを、各領域訓練
データと同様の方法で例えば３×３画素の黒枠で示すウィンドウＷ２によって切り出すと
、ウィンドウサイズの解析用データ８０が得られる。各領域訓練データと同様の方法で、
複数の解析用データ８０が、解析対象データから、ウィンドウサイズに対応する所定の画
素数の領域毎に生成される。解析対象データ、ウィンドウサイズの解析用データ８０にお
いても、腫瘍領域訓練データ７５Ｒ１、非腫瘍領域訓練データ７５Ｒ２および非組織領域
訓練データ７５Ｒ３と同様に、各画素について、色濃度値が赤（Ｒ）、緑（Ｇ）および青
（Ｂ）の順序で格納されている。

画像解析方法では、図１から図３に示すウィンドウサイズの腫瘍領域訓練データ７５Ｒ
１、非腫瘍領域訓練データ７５Ｒ２および非組織領域訓練データ７５Ｒ３を用いて学習さ
せたニューラルネットワークを有する深層学習アルゴリズム６０を用いて、解析用データ
８０を処理する。解析用データ８０を処理することによって、解析対象の組織における解
析用データに含まれる領域が腫瘍領域であるか否かを示すデータ８３を生成する。

再び図６を参照し、Ｒ、Ｇ、Ｂ各色の色濃度符号化図７９ｒ，７９ｇ，７９ｂに基づき
生成された解析対象データから切り出された解析用データ８０が深層学習アルゴリズムを
構成するニューラルネットワーク６０に入力される。ニューラルネットワーク６０の入力
層６０ａのノード数は、入力される画素数と画像に含まれる原色の数との積に対応してい
る。解析用データ８０の各画素の色濃度値データ８１を、ニューラルネットワーク６０に
入力すると、出力層６０ｂからは、解析用データ８０の推定値８２（３値）が出力される
。例えば推定値が１の場合は解析用データ８０を構成する所定画素数の領域（画素領域）
が腫瘍領域を含むことを示し、推定値が２の場合は前記画素領域が非腫瘍領域を含むこと
を示し、推定値が０の場合は前記画素領域が非組織領域であることを示す。すなわち、ニ
ューラルネットワーク６０の出力層６０ｂから出力される推定値８２は、解析対象画像の
前記画素領域毎に生成されるラベル値であり、解析対象画像における解析用データに含ま
れる領域が腫瘍領域であるか否かを示すデータである。推定値８２は、ニューラルネット
ワークに関する後述する説明ではクラスとも呼ばれる。ニューラルネットワーク６０は、
入力された解析用データ８０に対し、解析用データ８０に含まれる所定数の画素の色濃度
値データ８１に基づいて、腫瘍領域を含むことを示すラベル値、非腫瘍領域を含むことを
示すラベル値、または非組織領域を示すラベル値を生成する。言い替えると、ニューラル
ネットワーク６０は、解析用データ８０を、解析対象画像に含まれる注目画素領域の状態
（腫瘍化しているか、腫瘍化していないか、組織ではないか）を示すクラスに分類する。
ここで、各画素の色濃度値データ８１は、解析用データ８０の各画素のＲ、Ｇ、Ｂ各色の
色濃度値の集合データである。

以後、ウィンドウＷ２が解析対象データの全ての画素を走査するように、ウィンドウＷ
２を所定画素数の領域単位で移動させながら、解析用データ８０をウィンドウサイズで切
り出す。切り出された解析用データ８０を、ニューラルネットワーク６０に入力する。こ
れにより、解析対象画像における組織の解析用データに含まれる領域が腫瘍領域であるか
否かを示すデータに基づいて、ラベル値８３を得る。図６に示す例では、ラベル値８３に
ついてさらに領域検出処理を行うことにより、領域を示す領域強調画像８４を得る。領域
検出処理は、具体的には、例えば推定値８２に応じて各領域を検出する処理となり、実際
に推定値８２が「１」の画素領域を腫瘍領域と、推定値８２が「２」の画素領域を非腫瘍
領域と、推定値８２が０の画素領域を非組織領域と判別する処理となる。領域強調画像８
４は、画像解析処理により検出された領域を、ラベル値８３を色（腫瘍領域を白、非腫瘍
領域をグレー、非組織領域を黒）で表した図である）。また、各領域を判別した後に、腫
瘍領域と、それ以外の領域（すなわち、非腫瘍領域および／又は非組織領域）とを識別可
能に表示装置に表示させる処理を行ってもよい。例えば、腫瘍領域を色で塗りつぶす、腫
瘍領域とそれ以外の領域との間に線を描画する等の処理を行い、これらを表示装置に識別
可能に表示する。また、非腫瘍領域および／又は非組織領域についても識別可能に表示装
置に表示させる処理を行ってもよい。

＜第１の実施形態＞
第１の実施形態では、上述の概要で説明した深層学習方法および画像解析方法を実施す
るシステムの構成について、具体的に説明する。
［構成の概要］

図７を参照すると、第１の実施形態に係る画像解析システムは、深層学習装置１００Ａ
と、画像解析装置２００Ａとを備える。ベンダ側装置１００は深層学習装置１００Ａとし
て動作し、ユーザ側装置２００は画像解析装置２００Ａとして動作する。深層学習装置１
００Ａは、ニューラルネットワーク５０に訓練データを使って学習させ、訓練データによ
って訓練された深層学習アルゴリズム６０をユーザに提供する。学習済みのニューラルネ
ットワーク６０から構成される深層学習アルゴリズムは、記憶媒体９８またはネットワー
ク９９を通じて、深層学習装置１００Ａから画像解析装置２００Ａに提供される。画像解
析装置２００Ａは、学習済みのニューラルネットワーク６０から構成される深層学習アル
ゴリズムを用いて解析対象の画像の解析を行う。

深層学習装置１００Ａは、例えば汎用コンピュータで構成されており、後述するフロー
チャートに基づいて、深層学習処理を行う。画像解析装置２００Ａは、例えば汎用コンピ
ュータで構成されており、後述するフローチャートに基づいて、画像解析処理を行う。記
憶媒体９８は、例えばＤＶＤ－ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能で
あって非一時的な有形の記憶媒体である。

深層学習装置１００Ａは撮像装置３００に接続されている。撮像装置３００は、撮像素
子３０１と、蛍光顕微鏡３０２とを備え、ステージ３０９上にセットされた学習用の標本
３０８の、明視野画像および蛍光画像を撮像する。学習用の標本３０８は、上述の染色が
施されている。深層学習装置１００Ａは、撮像装置３００によって撮像された訓練用画像
を取得する。

画像解析装置２００Ａは撮像装置４００に接続されている。撮像装置４００は、撮像素
子４０１と、蛍光顕微鏡４０２とを備え、ステージ４０９上にセットされた解析対象の標
本４０８の、明視野画像を撮像する。解析対象の標本４０８は、上述の通り予め染色され
ている。画像解析装置２００Ａは、撮像装置４００によって撮像された解析対象画像７８
を取得する。

撮像装置３００，４００には、標本を撮像する機能を有する、公知の蛍光顕微鏡または
バーチャルスライドスキャナ等を用いることができる。撮像装置４００は、標本を撮像す
る機能を有する限り、光学顕微鏡であっても良い。

［ハードウェア構成］
図８を参照すると、ベンダ側装置１００（１００Ａ，１００Ｂ）は、処理部１０（１０
Ａ，１０Ｂ）と、入力部１６と、出力部１７とを備える。

処理部１０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）１１と
、データ処理の作業領域に使用するメモリ１２と、後述するプログラムおよび処理データ
を記憶する記憶部１３と、各部の間でデータを伝送するバス１４と、外部機器とのデータ
の入出力を行うインタフェース部１５と、ＧＰＵ（Graphics Processing Unit）１９とを
備えている。入力部１６および出力部１７は、処理部１０に接続されている。例示的には
、入力部１６はキーボードまたはマウス等の入力装置であり、出力部１７は液晶ディスプ
レイ等の表示装置である。ＧＰＵ１９は、ＣＰＵ１１が行う演算処理（例えば、並列演算
処理）を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ１
１が行う処理とは、ＣＰＵ１１がＧＰＵ１９をアクセラレータとして用いて行う処理も含
むことを意味する。

また、処理部１０は、以下の図１０で説明する各ステップの処理を行うために、本発明
に係るプログラムおよび学習前のニューラルネットワーク５０を、例えば実行形式で記憶
部１３に予め記憶している。実行形式は、例えばプログラミング言語からコンパイラによ
り変換されて生成される形式である。処理部１０は、記憶部１３に記憶したプログラムお
よび学習前のニューラルネットワーク５０を使用して処理を行う。

以下の説明においては、特に断らない限り、処理部１０が行う処理は、記憶部１３また
はメモリ１２に格納されたプログラムおよびニューラルネットワーク５０に基づいて、Ｃ
ＰＵ１１が行う処理を意味する。ＣＰＵ１１はメモリ１２を作業領域として必要なデータ
（処理途中の中間データ等）を一時記憶し、記憶部１３に演算結果等の長期保存するデー
タを適宜記憶する。

図９を参照すると、ユーザ側装置２００（２００Ａ，２００Ｂ，２００Ｃ）は、処理部
２０（２０Ａ，２０Ｂ，２０Ｃ）と、入力部２６と、出力部２７とを備える。

処理部２０は、後述するデータ処理を行うＣＰＵ（Central Processing Unit）２１と
、データ処理の作業領域に使用するメモリ２２と、後述するプログラムおよび処理データ
を記憶する記憶部２３と、各部の間でデータを伝送するバス２４と、外部機器とのデータ
の入出力を行うインタフェース部２５と、ＧＰＵ（Graphics Processing Unit）２９とを
備えている。入力部２６および出力部２７は、処理部２０に接続されている。例示的には
、入力部２６はキーボードまたはマウス等の入力装置であり、出力部２７は液晶ディスプ
レイ等の表示装置である。ＧＰＵ２９は、ＣＰＵ２１が行う演算処理（例えば、並列演算
処理）を補助するアクセラレータとして機能する。すなわち以下の説明においてＣＰＵ２
１が行う処理とは、ＣＰＵ２１がＧＰＵ２９をアクセラレータとして用いて行う処理も含
むことを意味する。

また、処理部２０は、以下の図１４で説明する各ステップの処理を行うために、本発明
に係るプログラムおよび学習済みのニューラルネットワーク構造の深層学習アルゴリズム
６０を、例えば実行形式で記憶部２３に予め記憶している。実行形式は、例えばプログラ
ミング言語からコンパイラにより変換されて生成される形式である。処理部２０は、記憶
部２３に記憶したプログラムおよび深層学習アルゴリズム６０を使用して処理を行う。

以下の説明においては、特に断らない限り、処理部２０が行う処理は、記憶部２３また
はメモリ２２に格納されたプログラムおよび深層学習アルゴリズム６０に基づいて、実際
には処理部２０のＣＰＵ２１が行う処理を意味する。ＣＰＵ２１はメモリ２２を作業領域
として必要なデータ（処理途中の中間データ等）を一時記憶し、記憶部２３に演算結果等
の長期保存するデータを適宜記憶する。

［機能ブロックおよび処理手順］
・深層学習処理
図１０を参照すると、第１の実施形態に係る深層学習装置１００Ａの処理部１０Ａは、
訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３とを
備える。これらの機能ブロックは、コンピュータに深層学習処理を実行させるプログラム
を、処理部１０Ａの記憶部１３またはメモリ１２にインストールし、このプログラムをＣ
ＰＵ１１が実行することにより実現される。ウィンドウサイズデータベース１０４と、ア
ルゴリズムデータベース１０５とは、処理部１０Ａの記憶部１３またはメモリ１２に記憶
される。

学習用の標本の第１の訓練用画像７０Ｒ１、第２の訓練用画像７０Ｒ２、第３の訓練用
画像７０Ｒ３は、撮像装置３００によって予め撮像され、処理部１０Ａの記憶部１３また
はメモリ１２に予め記憶されていることとする。ニューラルネットワーク５０は、例えば
解析対象の標本が由来する組織の種別（例えば組織名）と対応付けられて、アルゴリズム
データベース１０５に予め格納されている。

深層学習装置１００Ａの処理部１０Ａは、図１１に示す処理を行う。図１０に示す各機
能ブロックを用いて説明すると、ステップＳ１０からＳ１２、Ｓ１７およびＳ１８の処理
は、訓練データ生成部１０１が行う。ステップＳ１４の処理は、訓練データ入力部１０２
が行う。ステップＳ１５およびＳ１６の処理は、アルゴリズム更新部１０３が行う。

以下に説明するステップＳ１０からＳ１８では、第１の訓練用画像７０Ｒ１と、第２の
訓練用画像７０Ｒ２と、第３の訓練用画像７０Ｒ３とを用いた深層学習処理を説明する。

処理部１０Ａは、深層学習方法の概要に記載の方法に準じて、腫瘍領域訓練データ７５
Ｒ１、非腫瘍領域訓練データ７５Ｒ２および非組織領域訓練データ７５Ｒ３を生成するた
めの深層学習処理を行う。処理部１０Ａは、例えば、病理医等による入力部１６からの操
作により、第１の訓練用画像７０Ｒ１の領域を含む広い領域の画像（ホールスライドイメ
ージ７０Ｗ１）を、出力部１７に表示する。判定を行う病理医等は、出力部１７に表示さ
れたホールスライドイメージ７０Ｗ１の画像を目視で確認する。病理医等は、腫瘍領域を
含むと判定したホールスライドイメージ７０Ｗ１中の領域を、例えば入力部１６を介して
指定し、ホールスライドイメージ７０Ｗ１に例えば赤色等の実線で囲む。病理医等は、非
腫瘍領域および非組織領域についても、同様に、ホールスライドイメージ７０Ｗ１中の領
域について、例えば赤色とは異なる青色、緑色等の実線で囲む。処理部１０Ａは、ホール
スライドイメージ７０Ｗ１を出力部１７に表示して病理医により判断してもらうことに代
えて、判定済みのホールスライドイメージ７０Ｗ２を、Ｉ／Ｆ部１５を介して例えばネッ
トワーク９９を介して取得してもよい。病理医等は、訓練用画像として好ましい画素にホ
ールスライドイメージ７０Ｗ２を分割してもよい。

処理部１０Ａは、病理医等の入力部１６からの指定により、ホールスライドイメージ７
０Ｗ２中に赤色の実線で囲まれている領域から取得された第１の訓練用画像７０Ｒ１を所
定の画素数を含むように切り出す。同様に、非腫瘍領域および非組織領域と判定された部
分からも、第２の訓練用画像７０Ｒ２、第３の訓練用画像７０Ｒ３のそれぞれを、所定の
画素の領域を含むように切り出す。

ステップＳ１０において、処理部１０Ａは、切り出された第１の訓練用画像７０Ｒ１か
らＲ、Ｇ、Ｂ各色の色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂを生成する。色
濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂは、第１の訓練用画像７０Ｒ１の各画
素のＲ、Ｇ、Ｂ各色の色濃度値を段階的に表す符号を各画素に付すことにより生成する。
本実施形態では、色濃度値を値０から値２５５の２５６階調で表すとして各Ｒ、Ｇ、Ｂ階
調画像について色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂを生成する。色濃度
値の割り当ては、例えば最も低い明るさを色濃度値０とし、明るさの程度が高くなるに従
い徐々に高い値を割り当ててゆき、最も高い明るさを色濃度値２５５とする。処理部１０
Ａは、色濃度符号化図７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂから画素毎にＲ、Ｇ，Ｂの色
濃度値を付した第１の訓練データ７４Ｒ１を生成する。処理部１０Ａは、第１の訓練用画
像７０Ｒ１の各画素に腫瘍領域であることを示すラベル値である「１」を対応させた第１
の予備訓練データ７０Ｒ１Ｌを生成する。

ステップＳ１１において、処理部１０Ａは、第２の訓練用画像７０Ｒ２からステップＳ
１０と同様の方法により第２の訓練データ７４Ｒ２を生成する。処理部１０Ａは、第２の
訓練用画像７０Ｒ２の各画素に非腫瘍領域であることを示すラベル値である「２」を対応
させた第２の予備訓練データ７０Ｒ２Ｌを生成する。

ステップＳ１２において、処理部１０Ａは、第３の訓練用画像７０Ｒ３からステップＳ
１０と同様の方法により第３の訓練データ７４Ｒ３を生成する。処理部１０Ａは、第３の
訓練用画像７０Ｒ３の各画素に非組織領域であることを示すラベル値である「０」を対応
させた第３の予備訓練データ７０Ｒ３Ｌを生成する。

ステップＳ１０からステップＳ１２は同時に行ってもよく、順不同であってもよい。

ステップＳ１３において、処理部１０Ａは、入力部１６を通じて、深層学習装置１００
Ａ側のユーザからの、学習用の組織の種別の入力を受け付ける。処理部１０Ａは、入力さ
れた組織の種別に基づき、ウィンドウサイズデータベース１０４（ウィンドウサイズＤＢ
１０４）を参照して、ウィンドウサイズを設定し、アルゴリズムデータベース１０５（ア
ルゴリズムＤＢ１０５）を参照して、学習に用いるニューラルネットワーク５０を設定す
る。ウィンドウサイズは例えば２００×２００画素とする。ウィンドウサイズは、１回の
入力時にニューラルネットワーク５０に入力する訓練データの単位であり、ウィンドウサ
イズの各領域に対応する訓練データの画素数と画像に含まれる色の原色の数との積が、入
力層５０ａのノード数に対応している。ウィンドウサイズは組織の種別と対応付けられて
、ウィンドウサイズデータベース１０４内に予め記憶されている。

ステップＳ１４において、処理部１０Ａは、各領域に対応する訓練データから、ウィン
ドウサイズの腫瘍領域訓練データ７５Ｒ１、非腫瘍領域訓練データ７５Ｒ２および非組織
領域訓練データ７５Ｒ３を生成する。具体的には、上述の「深層学習方法の概要」におい
て、図４（ａ）、（ｂ）を参照して説明したように、第１の訓練データ７４Ｒ１および第
１の予備訓練データ７０Ｒ１Ｌから、ウィンドウＷ１によってウィンドウサイズの腫瘍領
域訓練データ７５Ｒ１を作成する。処理部１０Ａは、第２の訓練データ７４Ｒ２および第
２の予備訓練データ７０Ｒ２Ｌから、ウィンドウサイズの非腫瘍領域訓練データ７５Ｒ２
を生成する。具体的には、上述の「深層学習方法の概要」において、図４（ａ）、（ｂ）
および図５（ａ）を参照して説明したように、第２の訓練データ７４Ｒ２および第２の予
備訓練データ７０Ｒ２Ｌから、ウィンドウＷ１によってウィンドウサイズの非腫瘍領域訓
練データ７５Ｒ２を作成する。処理部１０Ａは、第３の訓練データ７４Ｒ３および第３の
予備訓練データ７０Ｒ３Ｌから、ウィンドウサイズの非組織領域訓練データ７５Ｒ３を生
成する。具体的には、上述の「深層学習方法の概要」において、図４（ａ）、（ｂ）およ
び図５（ｂ）を参照して説明したように、第３の訓練データ７４Ｒ３および第３の予備訓
練データ７０Ｒ３Ｌから、ウィンドウＷ１によってウィンドウサイズの非組織領域訓練デ
ータ７５Ｒ３を作成する。

図１１に示すステップＳ１５において、処理部１０Ａは、ウィンドウサイズの腫瘍領域
訓練データ７５Ｒ１、非腫瘍領域訓練データ７５Ｒ２および非組織領域訓練データ７５Ｒ
３を用いて、ニューラルネットワーク５０を学習させる。ニューラルネットワーク５０の
学習結果は、ウィンドウサイズの腫瘍領域訓練データ７５Ｒ１、非腫瘍領域訓練データ７
５Ｒ２および非組織領域訓練データ７５Ｒ３を用いてニューラルネットワーク５０を学習
させる度に蓄積される。

実施形態に係る画像解析方法では、畳み込みニューラルネットワークを使用しており、
確率的勾配降下法を用いるため、ステップＳ１６において、処理部１０Ａは、予め定めら
れた所定の試行回数分の学習結果が蓄積されているか否かを判断する。学習結果が所定の
試行回数分蓄積されている場合、処理部１０ＡはステップＳ１７の処理を行い、学習結果
が所定の試行回数分蓄積されていない場合、処理部１０ＡはステップＳ１８の処理を行う
。

学習結果が所定の試行回数分蓄積されている場合、ステップＳ１７において、処理部１
０Ａは、ステップＳ１５において蓄積しておいた学習結果を用いて、ニューラルネットワ
ーク５０の結合重みｗを更新する。実施形態に係る画像解析方法では、確率的勾配降下法
を用いるため、所定の試行回数分の学習結果が蓄積した段階で、ニューラルネットワーク
５０の結合重みｗを更新する。結合重みｗを更新する処理は、具体的には、後述の（式１
１）および（式１２）に示される、勾配降下法による計算を実施する処理である。

ステップＳ１７において、処理部１０Ａは、第１の訓練データ７４Ｒ１、第２の訓練デ
ータ７４Ｒ２および第３の訓練データ７４Ｒ３のそれぞれについて各領域訓練データ内の
規定数の画素を処理したか否かを判断する。各領域訓練データの規定数の画素について、
ステップＳ１５からステップＳ１７の一連の処理がなされている場合は、深層学習処理を
終了する。ニューラルネットワークの学習は、必ずしも各訓練データ内の全ての画素に対
して行う必要は無く、処理部１０Ａは、各訓練データ内の一部の画素、すなわち規定数の
画素に対して処理をし学習を行うことができる。規定数の画素は、各領域訓練データ内の
全ての画素であってもよい。

各領域訓練データ内の規定数の画素が処理されていない場合は、処理部１０Ａは、ステ
ップＳ１９において、図４（ｂ）に示すように、第１の訓練データ７４Ｒ１内、第２の訓
練データ７４Ｒ２内または第３の訓練データ７４Ｒ３内において、ウィンドウの位置を移
動させる。その後、処理部１０Ａは、移動後の新たなウィンドウ位置において、ステップ
Ｓ１４からステップＳ１６の一連の処理を行う。すなわち、処理部１０Ａは、ステップＳ
１４において、移動後の新たなウィンドウ位置において第１の訓練データ７４Ｒ１、第２
の訓練データ７４Ｒ２および第３の訓練データ７４Ｒ３のそれぞれについてウィンドウサ
イズの各領域訓練データ７５Ｒ１，７５Ｒ２，７５Ｒ３を切り出し、各領域を示すラベル
値を付す。引き続き、処理部１０Ａは、ステップＳ１５において、新たに切り出したウィ
ンドウサイズの各領域訓練データ７５Ｒ１，７５Ｒ２，７５Ｒ３を用いて、ニューラルネ
ットワーク５０を学習させる。ステップＳ１６において、所定の試行回数分の学習結果が
蓄積されている場合は、処理部１０Ａは、ステップＳ１７において、ニューラルネットワ
ーク５０の結合重みｗを更新する。このようなウィンドウサイズ毎のニューラルネットワ
ーク５０の学習を、第１の訓練データ７４Ｒ１、第２の訓練データ７４Ｒ２および第３の
訓練データ７４Ｒ３のそれぞれについて規定数の画素に対して行う。

以上説明した、ステップＳ１０からＳ１９の深層学習処理を、さらに別途取得された第
１の訓練用画像７０Ｒ１と、第２の訓練用画像７０Ｒ２と、第３の訓練用画像７０Ｒ３に
対して繰り返し行うことにより、ニューラルネットワーク５０の学習の程度を向上させる
。これにより、図５に示すニューラルネットワーク構造の深層学習アルゴリズム６０を得
る。

・ニューラルネットワークの構造
図１２（ａ）に示すように、第１の実施形態では、深層学習タイプのニューラルネット
ワークを用いる。深層学習タイプのニューラルネットワークは、図１２に示すニューラル
ネットワーク５０のように、入力層５０ａと、出力層５０ｂと、入力層５０ａおよび出力
層５０ｂの間の中間層５０ｃとを備え、中間層５０ｃが複数の層で構成されている。中間
層５０ｃを構成する層の数は、例えば５層以上とすることができる。

ニューラルネットワーク５０では、層状に配置された複数のノード８９が、層間におい
て結合されている。これにより、情報が入力側の層５０ａから出力側の層５０ｂに、図中
矢印Ｄに示す一方向のみに伝播する。本実施形態では、入力層５０ａのノード数は、入力
される画像の画素数すなわち図３（ｃ）に示すウィンドウＷ１の画素数と各画素に含まれ
る色の原色の数との積に対応している。入力層５０ａに画像の画素データ（色濃度値）を
入力することができるので、ユーザは入力画像から特徴量を別途算出することなく、入力
画像を入力層５０ａに入力することができる。

・各ノードにおける演算
図１２（ｂ）は、各ノードにおける演算を示す模式図である。各ノード８９では、複数
の入力を受け取り、１つの出力（ｚ）を計算する。図１２（ｂ）に示す例の場合、ノード
８９は４つの入力を受け取る。ノード８９が受け取る総入力（ｕ）は、以下の（式１）で
表される。

各入力には、それぞれ異なる重みが掛けられる。（式１）中、ｂはバイアスと呼ばれる
値である。ノードの出力（ｚ）は、（式１）で表される総入力（ｕ）に対する所定の関数
ｆの出力となり、以下の（式２）で表される。関数ｆは活性化関数と呼ばれる。

図１２（ｃ）は、ノード間の演算を示す模式図である。ニューラルネットワーク５０で
は、（式１）で表される総入力（ｕ）に対して、（式２）で表される結果（ｚ）を出力す
るノードが層状に並べられている。前の層のノードの出力が、次の層のノードの入力とな
る。図１２（ｃ）に示す例では、図中左側の層のノード８９ａの出力が、図中右側の層の
ノード８９ｂの入力となる。右側の層の各ノード８９ｂは、それぞれ、左側の層のノード
８９ａからの出力を受け取る。左側の層の各ノード８９ａと右側の層の各ノード８９ｂと
の間の各結合には、異なる重みが掛けられる。左側の層の複数のノード８９ａのそれぞれ
の出力をｘ_１～ｘ_４とすると、右側の層の３つのノード８９ｂのそれぞれに対する入力は
、以下の（式３－１）～（式３－３）で表される。

これら（式３－１）～（式３－３）を一般化すると、（式３－４）となる。ここで、ｉ
＝１，・・・Ｉ、ｊ＝１，・・・Ｊである。

（式３－４）を活性化関数に適用すると出力が得られる。出力は以下の（式４）で表さ
れる。

・活性化関数
実施形態に係る画像解析方法では、活性化関数として、正規化線形関数（rectified li
near unit function）を用いる。正規化線形関数は以下の（式５）で表される。

（式５）は、ｚ＝ｕの線形関数のうち、ｕ＜０の部分をｕ＝０とする関数である。図１
２（ｃ）に示す例では、ｊ＝１のノードの出力は、（式５）により、以下の式で表される
。

・ニューラルネットワークの学習
ニューラルネットワークを用いて表現される関数をｙ（ｘ：ｗ）とおくと、関数ｙ（ｘ
：ｗ）は、ニューラルネットワークのパラメータｗを変化させると変化する。入力ｘに対
してニューラルネットワークがより好適なパラメータｗを選択するように、関数ｙ（ｘ：
ｗ）を調整することを、ニューラルネットワークの学習と呼ぶ。ニューラルネットワーク
を用いて表現される関数の入力と出力との組が複数与えられているとする。ある入力ｘに
対する望ましい出力をｄとすると、入出力の組は、｛（ｘ_１，ｄ_１），（ｘ_２，ｄ_２），
・・・，（ｘ_ｎ，ｄ_ｎ）｝と与えられる。（ｘ，ｄ）で表される各組の集合を、訓練デー
タと呼ぶ。具体的には、図３（ｂ）に示す、Ｒ、Ｇ、Ｂ各色の単一色画像における画素毎
の色濃度値と真値像のラベルとの組、の集合が、図３（ａ）に示す訓練データである。

ニューラルネットワークの学習とは、どのような入出力の組（ｘ_ｎ，ｄ_ｎ）に対しても
、入力ｘ_ｎを与えたときのニューラルネットワークの出力ｙ（ｘ_ｎ：ｗ）が、出力ｄ_ｎに
なるべく近づくように重みｗを調整することを意味する。誤差関数（error function）と
は、ニューラルネットワークを用いて表現される関数と訓練データとの近さ

を測る尺度である。誤差関数は損失関数（loss function）とも呼ばれる。実施形態に係
る画像解析方法において用いる誤差関数Ｅ（ｗ）は、以下の（式６）で表される。（式６
）は交差エントロピー（cross entropy）と呼ばれる。

（式６）の交差エントロピーの算出方法を説明する。実施形態に係る画像解析方法にお
いて用いるニューラルネットワーク５０の出力層５０ｂでは、すなわちニューラルネット
ワークの最終層では、入力ｘを内容に応じて有限個のクラスに分類するための活性化関数
を用いる。活性化関数はソフトマックス関数（softmax function）と呼ばれ、以下の（式
７）で表される。なお、出力層５０ｂには、クラス数ｋと同数のノードが並べられている
とする。出力層Ｌの各ノードｋ（ｋ＝１，・・・Ｋ）の総入力ｕは、前層Ｌ－１の出力か
ら、ｕ_ｋ ^（Ｌ）で与えられるとする。これにより、出力層のｋ番目のノードの出力は以下
の（式７）で表される。

（式７）がソフトマックス関数である。（式７）で決まる出力ｙ_１，・・・，ｙ_Ｋの総
和は常に１となる。

各クラスをＣ_１，・・・，Ｃ_Ｋと表すと、出力層Ｌのノードｋの出力ｙ_k（すなわちｕ
_ｋ ^（Ｌ））は、与えられた入力ｘがクラスＣ_kに属する確率を表す。以下の（式８）を参
照されたい。入力ｘは、（式８）で表される確率が最大になるクラスに分類される。

ニューラルネットワークの学習では、ニューラルネットワークで表される関数を、各ク
ラスの事後確率（posterior probability）のモデルとみなし、そのような確率モデルの
下で、訓練データに対する重みｗの尤度（likelihood）を評価し、尤度を最大化するよう
な重みｗを選択する。

（式７）のソフトマックス関数による目標出力ｄ_ｎを、出力が正解のクラスである場合
のみ１とし、出力がそれ以外の場合は０になるとする。目標出力をｄ_ｎ＝［ｄ_ｎ１，・・
・，ｄ_ｎＫ］というベクトル形式で表すと、例えば入力ｘ_ｎの正解クラスがＣ_３である場
合、目標出力ｄ_ｎ３のみが１となり、それ以外の目標出力は０となる。このように符号化
すると、事後分布（posterior）は以下の（式９）で表される。

訓練データ｛（ｘ_ｎ，ｄ_ｎ）｝（ｎ＝１，・・・，Ｎ）に対する重みｗの尤度Ｌ（ｗ）
は、以下の（式１０）で表される。尤度Ｌ（ｗ）の対数をとり符号を反転すると、（式６
）の誤差関数が導出される。

学習は、訓練データを基に計算される誤差関数Ｅ（ｗ）を、ニューラルネットワークの
パラメータｗについて最小化することを意味する。実施形態に係る画像解析方法では、誤
差関数Ｅ（ｗ）は（式６）で表される。

誤差関数Ｅ（ｗ）をパラメータｗについて最小化することは、関数Ｅ（ｗ）の局所的な
極小点を求めることと同じ意味である。パラメータｗはノード間の結合の重みである。重
みｗの極小点は、任意の初期値を出発点として、パラメータｗを繰り返し更新する反復計
算によって求められる。このような計算の一例には、勾配降下法（gradient descent met
hod）がある。
勾配降下法では、次の（式１１）で表されるベクトルを用いる。

勾配降下法では、現在のパラメータｗの値を負の勾配方向（すなわち－∇Ｅ）に移動さ
せる処理を何度も繰り返す。現在の重みをｗ^（ｔ）とし、移動後の重みをｗ^{（ｔ＋１）}と
すると、勾配降下法による演算は、以下の（式１２）で表される。値ｔは、パラメータｗ
を移動させた回数を意味する。

記号

は、パラメータｗの更新量の大きさを決める定数であり、学習係数と呼ばれる。（式１２
）で表される演算を繰り返すことにより、値ｔの増加に伴って誤差関数Ｅ（ｗ^（ｔ））が
減少し、パラメータｗは極小点に到達する。

なお、（式１２）による演算は、全ての訓練データ（ｎ＝１，・・・，Ｎ）に対して実
施してもよく、一部の訓練データのみに対して実施してもよい。一部の訓練データのみに
対して行う勾配降下法は、確率的勾配降下法（stochastic gradient descent）と呼ばれ
る。実施形態に係る画像解析方法では、確率的勾配降下法を用いる。

・画像解析処理
図１３を参照すると、第１の実施形態に係る画像解析装置２００Ａの処理部２０Ａは、
解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３と、領域検出
部２０４とを備える。これらの機能ブロックは、本発明に係るコンピュータに画像解析処
理を実行させるプログラムを、処理部２０Ａの記憶部２３またはメモリ２２にインストー
ルし、このプログラムをＣＰＵ２１が実行することにより実現される。ウィンドウサイズ
データベース１０４と、アルゴリズムデータベース１０５とは、記憶媒体９８またはネッ
トワーク９９を通じて深層学習装置１００Ａから提供され、処理部２０Ａの記憶部２３ま
たはメモリ２２に記憶される。

解析対象の組織の解析対象画像７８は、撮像装置４００によって予め撮像され、処理部
２０Ａの記憶部２３またはメモリ２２に予め記憶されていることとする。学習済みの結合
重みｗを含む深層学習アルゴリズム６０は、解析対象の組織の標本が由来する組織の種類
と対応付けられてアルゴリズムデータベース１０５に格納されており、コンピュータに画
像解析処理を実行させるプログラムの一部であるプログラムモジュールとして機能する。
すなわち、深層学習アルゴリズム６０は、ＣＰＵおよびメモリを備えるコンピュータにて
用いられ、解析対象の組織において各領域を示すデータを出力するという、使用目的に応
じた特有の情報の演算または加工を実行するよう、コンピュータを機能させる。具体的に
は、処理部２０ＡのＣＰＵ２１は、記憶部２３またはメモリ２２に記憶された深層学習ア
ルゴリズム６０に規定されているアルゴリズムに従って、学習済みの結合重みｗに基づく
ニューラルネットワーク６０の演算を行う。処理部２０ＡのＣＰＵ２１は、入力層６０ａ
に入力された、解析対象の組織を撮像した解析対象画像７８に対して演算を行い、出力層
６０ｂから、解析対象の組織において各領域を示すデータである３値画像８３を出力する
。

図１４を参照すると、画像解析装置２００Ａの処理部２０Ａは、図１３に示す処理を行
う。図１３に示す各機能ブロックを用いて説明すると、ステップＳ２１およびＳ２２の処
理は、解析用データ生成部２０１が行う。ステップＳ２３，Ｓ２４，Ｓ２６およびＳ２７
の処理は、解析用データ入力部２０２が行う。ステップＳ２５およびＳ２８の処理は、解
析部２０３が行う。ステップＳ２９の処理は、領域検出部２０４が行う。

ステップＳ２１において、処理部２０Ａは、例えば、ユーザ等が入力部２６から入力し
た処理開始の指令により、入力された解析対象画像７８からＲ、Ｇ、Ｂ各色の色濃度符号
化図７９ｒ，７９ｇ，７９ｂを生成する。色濃度符号化図７９ｒ，７９ｇ，７９ｂから画
素毎にＲ、Ｇ、Ｂ各色の色濃度値を組み合わせた解析対象データが生成される。色濃度符
号化図７９ｒ，７９ｇ，７９ｂの生成方法は、図１１に示す深層学習処理時におけるステ
ップＳ１０での生成方法と同様である。

図１４に示すステップＳ２２において、処理部２０Ａは、入力部２６を通じて、解析条
件として、画像解析装置２００Ａ側のユーザからの、組織の種別の入力を受け付ける。処
理部２０Ａは、入力された組織の種別に基づき、ウィンドウサイズデータベース１０４お
よびアルゴリズムデータベース１０５を参照して、解析に用いるウィンドウサイズを設定
し、解析に用いる深層学習アルゴリズム６０を取得する。ウィンドウサイズは、１回の入
力時にニューラルネットワーク６０に入力する解析用データの単位であり、ウィンドウサ
イズの解析用データ８０の画素数と画像に含まれる色の原色の数との積が、入力層６０ａ
のノード数に対応している。ウィンドウサイズは組織の種別と対応付けられて、ウィンド
ウサイズデータベース１０４内に予め記憶されている。ウィンドウサイズは、図６に示す
ウィンドウＷ２のように、例えば３×３画素である。深層学習アルゴリズム６０も、組織
の種別と対応付けられて、図１３に示すアルゴリズムデータベース１０５内に予め記憶さ
れている。

図１４に示すステップＳ２３において、処理部２０Ａは、色濃度符号化図７９ｒ，７９
ｇ，７９ｂから画素毎にＲ、Ｇ、Ｂ各色の色濃度値を組み合わせた解析対象データを生成
し、さらにウィンドウサイズの解析用データ８０を生成する。

ステップＳ２４において、処理部２０Ａは、図５に示す解析用データ８０を、深層学習
アルゴリズム６０に入力する。ウィンドウの初期位置は、深層学習処理時におけるステッ
プＳ１４と同様に、例えばウィンドウ内の３×３画素に位置する画素が、解析対象データ
の左上角に対応する位置である。処理部２０Ａは、ウィンドウサイズの解析用データ８０
に含まれる、３×３画素×３原色の合計２７個の色濃度値のデータ８１を入力層６０ａに
入力すると、深層学習アルゴリズム６０は、出力層６０ｂに判別結果８２を出力する。

図１４に示すステップＳ２５において、処理部２０Ａは、図５に示す出力層６０ｂに出
力される判別結果８２を記憶する。判別結果８２は、解析対象データの各画素領域につい
ての推定値（０、１、２の３値のいずれか）である。

図１４に示すステップＳ２６において、処理部２０Ａは、入力画像内の全ての画素を処
理したか否かを判断する。入力画像は、図６に示す色濃度符号化図７９ｒ，７９ｇ，７９
ｂであり、解析対象データ内の全ての画素について、図１４に示すステップＳ２３からス
テップＳ２５の一連の処理がなされている場合は、ステップＳ２８の処理を行う。

解析対象データ内の全ての画素が処理されていない場合は、処理部２０Ａは、ステップ
Ｓ２７において、深層学習処理時におけるステップＳ２０と同様に、図５に示す色濃度符
号化図７９ｒ，７９ｇ，７９ｂ内において、ウィンドウＷ２を所定の画素数の単位で移動
させる。その後、処理部２０Ａは、移動後の新たなウィンドウＷ２の位置において、ステ
ップＳ２３からステップＳ２５の一連の処理を行う。処理部２０Ａは、ステップＳ２５に
おいて、移動後の新たなウィンドウ位置に対応する、判別結果８２を記憶する。このよう
なウィンドウサイズ毎の判別結果８２の記憶を、解析対象画像内の全ての画素に対して行
うことにより、解析結果の３値画像８３が得られる。解析結果の３値画像８３の画像サイ
ズは、解析対象画像の画像サイズと同じである。ここで、３値画像８３には、推定値の値
２、値１および値０が各画素に付された数値データであってもよく、推定値の値２、値１
および値０に代えて、例えば値２、値１および値０のそれぞれに対応付けた表示色で示し
た画像であっても良い。

図１４に示すステップＳ２８では、処理部２０Ａは、解析結果の３値画像８３を出力部
２７に出力する。

ステップＳ２９では、ステップＳ２８に引き続き、処理部２０Ａは、解析結果の３値画
像８３についてさらに、領域検出処理を行う。３値画像８３において、腫瘍領域と、非腫
瘍領域と、非組織領域とは、３値で区別して表されている。

任意ではあるが、処理部２０Ａは、得られた各領域を、解析対象の解析対象画像７８に
重ねることにより、領域強調画像８４を作成する。処理部２０Ａは、作成した領域強調画
像８４を出力部２７に出力し、画像解析処理を終了する。

任意ではあるが、処理部２０Ａは、解析対象画像７８に含まれる組織において、腫瘍領
域がどの程度含まれているか算出してもよい。例えば、解析対象画像７８に含まれる組織
に該当する画素数、すなわち腫瘍領域および非腫瘍領域と判定された画素数の合計（組織
領域総画素数）を１００％とした場合に、腫瘍領域と判定された画素数が何％を占めるか
を算出することにより、腫瘍領域の含有率を算出することができる。また、総画素数から
腫瘍領域と判定された画素数を減じることにより、または組織領域総画素数）を１００％
とした場合に、非腫瘍領域と判定された画素数が何％を占めるかを算出することにより、
非腫瘍領域の含有率を算出することができる。そして、腫瘍領域の含有率と非腫瘍領域の
含有率との比率を算出してもよい。前記算出された値は、出力部２７に出力されてもよい
。また、算出された値は、領域強調画像８４と共に出力部２７に出力されてもよい。

このように腫瘍領域の含有率を算出することは、がん組織の遺伝子解析等に用いられる
組織が検査に適した腫瘍組織を含んでいるかスクリーニングする上で有用である。

以上、画像解析装置２００Ａのユーザは、解析対象の組織の解析対象画像７８を画像解
析装置２００Ａに入力することにより、解析結果として、３値画像８３を取得することが
できる。３値画像８３は、解析対象の標本における、腫瘍領域と、非腫瘍領域と、非組織
領域とを表しており、ユーザは、解析対象の標本において、各領域を判別することが可能
となる。

さらに、画像解析装置２００Ａのユーザは、解析結果として、領域強調画像８４を取得
することができる。領域強調画像８４は、例えば、解析対象の解析対象画像７８に、各領
域を色で塗りつぶすことにより生成される。また、別の態様では、各領域の境界線を重ね
ることにより生成されている。これにより、ユーザは、解析対象の組織において、各領域
を一目で把握することが可能となる。

解析対象の標本において腫瘍領域、および／または非腫瘍領域を示すことは、組織診断
に先立って解析対象組織における腫瘍領域をスクリーニングし、標本観察効率を上げる一
助となる。

＜第２の実施形態＞
以下、第１の実施形態に係る画像解析システムと相違する点について、第２の実施形態
に係る画像解析システムを説明する。

［構成の概要］
図１５を参照すると、第２の実施形態に係る画像解析システムは、ユーザ側装置２００
を備え、ユーザ側装置２００が、統合型の画像解析装置２００Ｂとして動作する。画像解
析装置２００Ｂは、例えば汎用コンピュータで構成されており、第１の実施形態において
説明した深層学習処理および画像解析処理の両方の処理を行う。つまり、第２の実施形態
に係る画像解析システムは、ユーザ側で深層学習および画像解析を行う、スタンドアロン
型のシステムである。第２の実施形態に係る画像解析システムは、ユーザ側に設置された
統合型の画像解析装置２００Ｂが、第１の実施形態に係る深層学習装置１００Ａおよび画
像解析装置２００Ａの両方の機能を担う点において、第１の実施形態に係る画像解析シス
テムと異なる。

画像解析装置２００Ｂは撮像装置４００に接続されている。撮像装置４００は、深層学
習処理時には、学習用の組織の訓練用画像を取得し、画像解析処理時には、解析対象の組
織の解析対象画像７８を取得する。

［ハードウェア構成］
画像解析装置２００Ｂのハードウェア構成は、図９に示すユーザ側装置２００のハード
ウェア構成と同様である。

［機能ブロックおよび処理手順］
図１６を参照すると、第２の実施形態に係る画像解析装置２００Ｂの処理部２０Ｂは、
訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３と、
解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３と、領域検出
部２０４とを備える。これらの機能ブロックは、コンピュータに深層学習処理および画像
解析処理を実行させるプログラムを、処理部２０Ｂの記憶部２３またはメモリ２２にイン
ストールし、このプログラムをＣＰＵ２１が実行することにより実現される。ウィンドウ
サイズデータベース１０４と、アルゴリズムデータベース１０５とは、処理部２０Ｂの記
憶部２３またはメモリ２２に記憶され、どちらも深層学習時および画像解析処理時に共通
して使用される。学習済みのニューラルネットワーク６０は、組織の種別または細胞を含
む試料の種別と対応付けられて、アルゴリズムデータベース１０５に予め格納されており
、深層学習処理により結合重みｗが更新されて、深層学習アルゴリズム６０として、アル
ゴリズムデータベース１０５に格納される。なお、訓練用画像である第１の訓練用画像７
０Ｒ１、第２の訓練用画像７０Ｒ２、第３の訓練用画像７０Ｒ３は、撮像装置４００によ
って予め撮像され、処理部２０Ｂの記憶部２３またはメモリ２２に予め記憶されているこ
ととする。解析対象の標本の解析対象画像７８も、撮像装置４００によって予め撮像され
、処理部２０Ｂの記憶部２３またはメモリ２２に予め記憶されていることとする。

画像解析装置２００Ｂの処理部２０Ｂは、深層学習処理時には、図１１に示す処理を行
い、画像解析処理時には、図１４に示す処理を行う。図１６に示す各機能ブロックを用い
て説明すると、深層学習処理時には、ステップＳ１０からＳ１２、Ｓ１４、Ｓ１８および
Ｓ１９の処理は、訓練データ生成部１０１が行う。ステップＳ１３の処理は、訓練データ
入力部１０２が行う。ステップＳ１６およびＳ１７の処理は、アルゴリズム更新部１０３
が行う。画像解析処理時には、ステップＳ２１およびＳ２２の処理は、解析用データ生成
部２０１が行う。ステップＳ２３，Ｓ２４，Ｓ２６およびＳ２７の処理は、解析用データ
入力部２０２が行う。ステップＳ２５およびＳ２８の処理は、解析部２０３が行う。ステ
ップＳ２９の処理は、領域検出部２０４が行う。

第２の実施形態に係る画像解析装置２００Ｂが行う深層学習処理の手順および画像解析
処理の手順は、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａ
がそれぞれ行う手順と同様である。なお、第２の実施形態に係る画像解析装置２００Ｂは
、次の点において第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００
Ａと異なる。

深層学習処理時のステップＳ１３において、処理部２０Ｂは、入力部２６を通じて、画
像解析装置２００Ｂのユーザからの、学習用の組織の種別の入力を受け付ける。処理部２
０Ｂは、入力された組織の種別に基づき、ウィンドウサイズデータベース１０４を参照し
て、ウィンドウサイズを設定し、アルゴリズムデータベース１０５を参照して、学習に用
いるニューラルネットワーク５０を設定する。

以上、画像解析装置２００Ｂのユーザは、解析対象画像７８を画像解析装置２００Ｂに
入力することにより、解析結果として、３値画像８３を取得することができる。さらに、
画像解析装置２００Ｂのユーザは、解析結果として、領域強調画像８４を取得することが
できる。

第２の実施形態に係る画像解析装置２００Ｂによると、ユーザは、自身が選択した種類
の組織を、学習用の組織として用いることができる。これは、ニューラルネットワーク５
０の学習がベンダ側任せではなく、ユーザ自身がニューラルネットワーク５０の学習の程
度を向上できることを意味する。

＜第３の実施形態＞
以下、第２の実施形態に係る画像解析システムと相違する点について、第３の実施形態
に係る画像解析システムを説明する。

［構成の概要］
図１７を参照すると、第３の実施形態に係る画像解析システムは、ベンダ側装置１００
と、ユーザ側装置２００とを備える。ベンダ側装置１００は統合型の画像解析装置１００
Ｂとして動作し、ユーザ側装置２００は端末装置２００Ｃとして動作する。画像解析装置
１００Ｂは、例えば汎用コンピュータで構成されており、第１の実施形態において説明し
た深層学習処理および画像解析処理の両方の処理を行う、クラウドサーバ側の装置である
。端末装置２００Ｃは、例えば汎用コンピュータで構成されており、ネットワーク９９を
通じて、解析対象の画像を画像解析装置１００Ｂに送信し、ネットワーク９９を通じて、
解析結果の画像を画像解析装置１００Ｂから受信する、ユーザ側の端末装置である。

第３の実施形態に係る画像解析システムは、ベンダ側に設置された統合型の画像解析装
置１００Ｂが、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａ
の両方の機能を担う点において、第２の実施形態に係る画像解析システムと同様である。
一方、第３の実施形態に係る画像解析システムは、端末装置２００Ｃを備え、解析対象の
画像の入力インタフェースと、解析結果の画像の出力インタフェースとをユーザ側の端末
装置２００Ｃに提供する点において、第２の実施形態に係る画像解析システムと異なる。
つまり、第３の実施形態に係る画像解析システムは、深層学習処理および画像解析処理を
行うベンダ側が、解析対象の画像および解析結果の画像の入出力インタフェースをユーザ
側に提供する、クラウドサービス型のシステムである。

画像解析装置１００Ｂは撮像装置３００に接続されており、撮像装置３００によって撮
像される、学習用の組織の訓練用画像を取得する。

端末装置２００Ｃは撮像装置４００に接続されており、撮像装置４００によって撮像さ
れる、解析対象の組織の解析対象画像７８を取得する。

［ハードウェア構成］
画像解析装置１００Ｂのハードウェア構成は、図７に示すベンダ側装置１００のハード
ウェア構成と同様である。端末装置２００Ｃのハードウェア構成は、図９に示すユーザ側
装置２００のハードウェア構成と同様である。

［機能ブロックおよび処理手順］
図１８を参照すると、第３の実施形態に係る画像解析装置１００Ｂの処理部１０Ｂは、
訓練データ生成部１０１と、訓練データ入力部１０２と、アルゴリズム更新部１０３と、
解析用データ生成部２０１と、解析用データ入力部２０２と、解析部２０３と、領域検出
部２０４とを備える。これらの機能ブロックは、コンピュータに深層学習処理および画像
解析処理を実行させるプログラムを、処理部１０Ｂの記憶部１３またはメモリ１２にイン
ストールし、このプログラムをＣＰＵ１１が実行することにより実現される。ウィンドウ
サイズデータベース１０４と、アルゴリズムデータベース１０５とは、処理部１０Ｂの記
憶部１３またはメモリ１２に記憶され、どちらも深層学習時および画像解析処理時に共通
して使用される。ニューラルネットワーク５０は、組織の種別と対応付けられて、アルゴ
リズムデータベース１０５に予め格納されており、深層学習処理により結合重みｗが更新
されて、深層学習アルゴリズム６０として、アルゴリズムデータベース１０５に格納され
る。

なお、訓練用画像である第１の訓練用画像７０Ｒ１、第２の訓練用画像７０Ｒ２、第３
の訓練用画像７０Ｒ３は、撮像装置３００によって予め撮像され、処理部１０Ｂの記憶部
１３またはメモリ１２に予め記憶されていることとする。解析対象の組織の解析対象画像
７８も、撮像装置４００によって予め撮像され、端末装置２００Ｃの処理部２０Ｃの記憶
部２３またはメモリ２２に予め記憶されていることとする。

画像解析装置１００Ｂの処理部１０Ｂは、深層学習処理時には、図１１に示す処理を行
い、画像解析処理時には、図１４に示す処理を行う。図１８に示す各機能ブロックを用い
て説明すると、深層学習処理時には、ステップＳ１０からＳ１２、Ｓ１４、Ｓ１８および
Ｓ１９の処理は、訓練データ生成部１０１が行う。ステップＳ１３の処理は、訓練データ
入力部１０２が行う。ステップＳ１６およびＳ１７の処理は、アルゴリズム更新部１０３
が行う。画像解析処理時には、ステップＳ２１およびＳ２２の処理は、解析用データ生成
部２０１が行う。ステップＳ２３，Ｓ２４，Ｓ２６およびＳ２７の処理は、解析用データ
入力部２０２が行う。ステップＳ２５およびＳ２８の処理は、解析部２０３が行う。ステ
ップＳ２９の処理は、領域検出部２０４が行う。

第３の実施形態に係る画像解析装置１００Ｂが行う深層学習処理の手順および画像解析
処理の手順は、第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置２００Ａ
がそれぞれ行う手順と同様である。なお、第３の実施形態に係る画像解析装置１００Ｂは
、次の４つの点において第１の実施形態に係る深層学習装置１００Ａおよび画像解析装置
２００Ａと異なる。

図１４に示す画像解析処理時のステップＳ２１において、処理部１０Ｂは、解析対象の
組織の解析対象画像７８を、ユーザ側の端末装置２００Ｃから受信し、受信した解析対象
画像７８からＲ、Ｇ、Ｂ各色の色濃度符号化図７９ｒ，７９ｇ，７９ｂを生成する。色濃
度符号化図７９ｒ，７９ｇ，７９ｂおよび解析対象データの生成方法は、図１１に示す深
層学習処理時におけるステップＳ１０での生成方法と同様である。

図１４に示す画像解析処理時のステップＳ２２において、処理部１０Ｂは、端末装置２
００Ｃの入力部２６を通じて、解析条件として、端末装置２００Ｃのユーザからの、組織
の種別の入力を受け付ける。処理部１０Ｂは、入力された組織の種別に基づき、ウィンド
ウサイズデータベース１０４およびアルゴリズムデータベース１０５を参照して、解析に
用いるウィンドウサイズを設定し、解析に用いる深層学習アルゴリズム６０を取得する。

画像解析処理時のステップＳ２８において、処理部１０Ｂは、解析結果の３値画像８３
を、ユーザ側の端末装置２００Ｃに送信する。ユーザ側の端末装置２００Ｃでは、処理部
２０Ｃが、受信した解析結果の３画像８３を出力部２７に出力する。

画像解析処理時のステップＳ２９において、処理部１０Ｂは、ステップＳ２８に引き続
き、解析結果の３値画像８３についてさらに、核領域の検出処理を行う。任意のステップ
として、処理部１０Ｂは、得られた各領域を、解析対象の解析対象画像７８に重ねること
により、領域強調画像８４を作成する。処理部１０Ｂは、作成した領域強調画像８４を、
ユーザ側の端末装置２００Ｃに送信する。ユーザ側の端末装置２００Ｃでは、処理部２０
Ｃが、受信した領域強調画像８４を出力部２７に出力し、画像解析処理を終了する。

以上、端末装置２００Ｃのユーザは、解析対象の組織の解析対象画像７８を画像解析装
置１００Ｂに送信することにより、解析結果として、３値画像８３を取得することができ
る。さらに、端末装置２００Ｃのユーザは、解析結果として、領域強調画像８４を取得す
ることができる。

第３の実施形態に係る画像解析装置１００Ｂによると、ユーザは、ウィンドウサイズデ
ータベース１０４およびアルゴリズムデータベース１０５を深層学習装置１００Ａから取
得することなく、画像解析処理の結果を享受することができる。これにより、解析対象の
組織を解析するサービスとして、腫瘍領域および／または非腫瘍領域を判別し各組織にお
ける腫瘍領域をスクリーニングするサービスを、クラウドサービスとして提供することが
できる。

［コンピュータプログラム］
本発明の実施形態には、前記ステップＳ１０からＳ２０を処理部１０Ａ，２０Ｂ，１０
Ｂに実行させ、学習済み深層学習アルゴリズムの生成するコンピュータプログラムおよび
その製品が含まれる。また、本発明の実施形態には、前記ステップＳ２１からＳ２９を処
理部１０Ａ，２０Ｂ，１０Ｂに実行させ、コンピュータを個体から採取された組織の画像
を解析するために機能させるコンピュータプログラムおよびその製品が含まれる。

［その他の形態］
以上、本発明を概要および特定の実施形態によって説明したが、本発明は上記した概要
および各実施形態に限定されるものではない。

上記第１から第３の実施形態では、ステップＳ１３において、処理部１０Ａ，２０Ｂ，
１０Ｂは、ウィンドウサイズデータベース１０４を参照して、ウィンドウサイズの画素数
を設定しているが、オペレータまたはユーザがウィンドウサイズを直接設定してもよい。
この場合、ウィンドウサイズデータベース１０４は不要となる。

上記第１から第３の実施形態では、ステップＳ１３において、処理部１０Ａ，２０Ｂ，
１０Ｂは、入力された組織の種別に基づいて、ウィンドウサイズの画素数を設定している
が、組織の種別の入力に代えて、組織のサイズを入力してもよい。処理部１０Ａ，２０Ｂ
，１０Ｂは、入力された組織のサイズに基づいて、ウィンドウサイズデータベース１０４
を参照して、ウィンドウサイズの画素数を設定すればよい。ステップＳ２２においてもス
テップＳ１３と同様に、組織の種別の入力に代えて、組織のサイズを入力してもよい。処
理部２０Ａ，２０Ｂ，１０Ｂは、入力された組織のサイズに基づいて、ウィンドウサイズ
データベース１０４およびアルゴリズムデータベース１０５を参照して、ウィンドウサイ
ズの画素数を設定し、ニューラルネットワーク６０を取得すればよい。

組織のサイズを入力する態様については、サイズを数値として直接入力してもよいし、
例えば入力のユーザインタフェースをプルダウンメニューとして、ユーザが入力しようと
するサイズに対応する、所定の数値範囲をユーザに選択させて入力してもよい。

また、ステップＳ１３およびステップＳ２２において、組織の種別または組織のサイズ
に加えて、訓練用画像、および解析対象画像７８を撮像した際の撮像倍率を入力してもよ
い。撮像倍率を入力する態様については、倍率を数値として直接入力してもよいし、例え
ば入力のユーザインタフェースをプルダウンメニューとして、ユーザが入力しようとする
倍率に対応する、所定の数値範囲をユーザに選択させて入力してもよい。

上記第１から第３の実施形態では、深層学習処理時および画像解析処理時において、説
明の便宜のためにウィンドウサイズを３×３画素と設定しているが、ウィンドウサイズの
画素数はこれに限定されない。ウィンドウサイズは、例えば組織の種別に応じて設定して
もよい。この場合、ウィンドウサイズの画素数と画像に含まれる色の原色の数との積が、
ニューラルネットワーク５０，６０の入力層５０ａ，６０ａのノード数に対応していれば
よい。

上記第１から第３の実施形態では、ステップＳ１７において、処理部１０Ａ，２０Ｂ，
１０Ｂは、深層学習アルゴリズム６０を、組織の種別と一対一に対応付けて、アルゴリズ
ムデータベース１０５に記憶している。これに代えて、ステップＳ１７において、処理部
１０Ａ，２０Ｂ，１０Ｂは、１つの深層学習アルゴリズム６０に、複数の組織の種別を対
応付けて、アルゴリズムデータベース１０５に記憶してもよい。

上記第１から第３の実施形態では、色相は、光の３原色の組み合わせ、または色の３原
色の組み合わせで規定されているが、色相の数は３つに限定されない。色相の数は、赤（
Ｒ），緑（Ｇ），青（Ｂ）に黄（Ｙ）を加えた４原色としても良いし、赤（Ｒ），緑（Ｇ
），青（Ｂ）の３原色からいずれか１つの色相を減らした２原色としてもよい。あるいは
、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色のいずれか１つ（例えば緑（Ｇ））のみの１原
色としてもよい。例えば公知の顕微鏡またはバーチャルスライドスキャナ等を用いて取得
される訓練用画像７０Ｒ１，７０Ｒ２，７０Ｒ３および解析対象画像７８も、赤（Ｒ），
緑（Ｇ），青（Ｂ）の３原色のカラー画像に限定されず、２原色のカラー画像であっても
よく、１以上の原色を含む画像であればよい。

上記第１から第３の実施形態では、ステップＳ１０において、処理部１０Ａ，２０Ｂ，
１０Ｂは、訓練用画像の各色濃度符号化図（色濃度符号化図７０Ｒ１ｒ，７０Ｒ１ｇ，７
０Ｒ１ｂ、色濃度符号化図７０Ｒ２ｒ，７０Ｒ２ｇ，７０Ｒ２ｂ、色濃度符号化図７０Ｒ
３ｒ，７０Ｒ３ｇ，７０Ｒ３ｂ）を各原色の８ビット（２５６段階）の単一色画像として
生成しているが、各色濃度符号化図を作成する際の原色の階調は、８ビットに制限されな
い。各色濃度符号化図の階調は、スライドイメージスキャナの撮像条件に依存してもよい
。例えば、１ビット以上であり２ビット、４ビット、１６ビット、２４ビットの画像であ
ってもよい。同様に、ステップＳ２１において、処理部２０Ａ，２０Ｂ，１０Ｂは、色濃
度符号化図７９ｒ，７９ｇ，７９ｂ各原色の単一色画像として生成しているが、色濃度符
号化図を作成する際の原色の階調は３階調に制限されない。色濃度符号化図を作成する際
の原色は、８ビットに制限されない。色濃度符号化図７９ｒ，７９ｇ，７９ｂの階調は、
スライドイメージスキャナの撮像条件に依存してもよい。例えば、１ビット以上であり２
ビット、４ビット、１６ビット、２４ビットの画像であってもよい。訓練用画像の各色濃
度符号化図および色濃度符号化図７９ｒ，７９ｇ，７９ｂの階調は、全てが同じ階調であ
ることが好ましい。

上記第１から第３の実施形態では、ステップＳ１０において、処理部１０Ａ，２０Ｂ，
１０Ｂは、訓練用画像から、各色濃度符号化図を生成しているが、予め各画素が階調に応
じて符号化された行列表を訓練用画像として用いてもよい。処理部１０Ａ，２０Ｂ，１０
Ｂは、訓練用画像を各色濃度符号化図として、例えばバーチャルスライドスキャナ等から
直接取得してもよい。同様に、ステップＳ２１において、処理部２０Ａ，２０Ｂ，１０Ｂ
は、解析対象画像７８からＲ、Ｇ、Ｂ各色の色濃度符号化図７９ｒ，７９ｇ，７９ｂを生
成しているが、予め各画素が階調に応じて符号化された行列表を解析用画像として用いて
もよい。すなわち、処理部２０Ａ，２０Ｂ，１０Ｂは、色濃度符号化図７９ｒ，７９ｇ，
７９ｂを、例えばバーチャルスライドスキャナ等から直接取得してもよい。

上記第１から第３の実施形態では、訓練用画像から各色濃度符号化図を生成する際のカ
ラースペースにはＲＧＢを用いているが、カラースペースはＲＧＢに制限されない。ＲＧ
Ｂ以外にも、ＹＵＶ、ＣＭＹ、およびＣＩＥ Ｌ^＊ａ^＊ｂ^＊等の種々のカラースペースを
用いることができる。

上記第１から第３の実施形態では、各領域訓練データおよび解析用データ８０において
、各画素について濃度値が赤（Ｒ），緑（Ｇ），青（Ｂ）の順番で格納されているが、濃
度値を格納および取り扱う順番はこれに限定されない。例えば濃度値は、青（Ｂ），緑（
Ｇ），赤（Ｒ）の順番で格納されていてもよく、各領域訓練データにおける濃度値の並び
順と、解析用データ８０における濃度値の並び順とが同じであればよい。

上記第１から第３の実施形態では、処理部１０Ａ，１０Ｂは一体の装置として実現され
ているが、処理部１０Ａ，１０Ｂは一体の装置である必要はなく、ＣＰＵ１１、メモリ１
２、記憶部１３等が別所に配置され、これらがネットワークで接続されていてもよい。処
理部１０Ａ，１０Ｂと、入力部１６と、出力部１７とについても、一ヶ所に配置される必
要は必ずしもなく、それぞれ別所に配置されて互いにネットワークで通信可能に接続され
ていてもよい。処理部２０Ａ，２０Ｂ，２０Ｃについても処理部１０Ａ，１０Ｂと同様で
ある。

上記第１から第３の実施形態では、訓練データ生成部１０１、訓練データ入力部１０２
、アルゴリズム更新部１０３、解析用データ生成部２０１、解析用データ入力部２０２、
解析部２０３および領域検出部２０４の各機能ブロックは、単一のＣＰＵ１１または単一
のＣＰＵ２１において実行されているが、これら各機能ブロックは単一のＣＰＵにおいて
実行される必要は必ずしもなく、複数のＣＰＵで分散して実行されてもよい。また、これ
ら各機能ブロックは、複数のＧＰＵで分散して実行されてもよいし、複数のＣＰＵと複数
のＧＰＵとで分散して実行されてもよい。

上記第２および第３の実施形態では、図１１および図１４で説明する各ステップの処理
を行うためのプログラムを記憶部１３，２３に予め記憶している。これに代えて、プログ
ラムは、例えばＤＶＤ－ＲＯＭやＵＳＢメモリ等の、コンピュータ読み取り可能であって
非一時的な有形の記憶媒体９８から処理部１０Ｂ，２０Ｂにインストールしてもよい。ま
たは、処理部１０Ｂ，２０Ｂをネットワーク９９と接続し、ネットワーク９９を介して例
えば外部のサーバ（図示せず）からプログラムをダウンロードしてインストールしてもよ
い。

上記第１から第３の実施形態では、入力部１６，２６はキーボードまたはマウス等の入
力装置であり、出力部１７，２７は液晶ディスプレイ等の表示装置として実現されている
。これに代えて、入力部１６、２６と出力部１７、２７とを一体化してタッチパネル式の
表示装置として実現してもよい。または、出力部１７，２７をプリンター等で構成し、解
析結果の３値画像８３または領域強調画像８４を印刷して出力してもよい。

上記第１から第３の実施形態では、撮像装置３００は、深層学習装置１００Ａまたは画
像解析装置１００Ｂと直接接続されているが、撮像装置３００は、ネットワーク９９を介
して深層学習装置１００Ａまたは画像解析装置１００Ｂと接続されていてもよい。撮像装
置４００についても同様に、撮像装置４００は、画像解析装置２００Ａまたは画像解析装
置２００Ｂと直接接続されているが、撮像装置４００は、ネットワーク９９を介して画像
解析装置２００Ａまたは画像解析装置２００Ｂと接続されていてもよい。

＜学習済み深層学習アルゴリズムの検証＞
上記第２の実施形態に示すスタンドアロン型のシステムにて、深層学習処理および画像
解析処理を行った。学習の対象とする組織として、腫瘍領域と正常領域を含むヒト胃がん
組織を用いた。学習済みの深層学習アルゴリズムを作成するにあたり、組織標本の拡大倍
率を１倍、３倍、５倍、１０倍、２０倍、および４０倍と変化させて訓練用画像を撮像し
、異なる拡大倍率の訓練用画像を用いた訓練データをニューラルネットワークに学習させ
、解析結果の正確性を確認した。
学習データおよび解析データの詳細は、次の通りであった。
学習データ：１０６枚のホールスライドイメージ
検証用解析データ：４５枚のホールスライドイメージ

［訓練データの作成および学習］
ＨＥ染色した胃がん組織の明視野画像のホールスライドイメージを、バーチャルスライ
ドスキャナ（NanoZoomer-XR、(Hamamatsu Photonics；スキャン分解能：20倍モードスキ
ャン時0.46 μm/pixel、40倍モードスキャン時0.23 μm/pixel)）を用いてカラー撮像し
た。撮像倍率は１倍、３倍、５倍、１０倍、２０倍、および４０倍とした。学習対象の組
織を含むホールスライドイメージ上で、病理医が腫瘍領域、非腫瘍領域、および非組織領
域を指定した。各領域が指定されたホールスライドイメージを上記の条件で分割し、訓練
用画像とした。個々の訓練用画像について腫瘍領域であるか、非腫瘍領域であるか、非組
織領域であるかを決定した。その際、腫瘍領域と非腫瘍領域が混在する組織の領域につい
ては、訓練用画像内の組織領域に該当する画素数のうち、腫瘍領域と指定された画素数が
５０％以上を占める場合には腫瘍領域とした。また、訓練用画像内の組織領域に該当する
画素数のうち、非腫瘍領域と指定された画素数が占める割合が１００％の場合には非腫瘍
領域とした。非組織領域と組織領域が混在する訓練用画像については、組織領域が訓練用
画像の画素数の０％である場合に非組織領域とし、それ以外は組織領域とした。腫瘍領域
、非腫瘍領域、非組織領域と判定されたそれぞれの訓練用画像の各画素について、各領域
を区別するラベル値（腫瘍領域は「１」、非腫瘍領域は「２」、非組織領域は「０」）を
付与し、第１の予備訓練データ７０Ｒ１Ｌ、第２の予備訓練データ７０Ｒ２Ｌおよび第３
の予備訓練データ７０Ｒ２Ｌを生成した。腫瘍領域と判定された訓練用画像を第１の訓練
用画像とし、非腫瘍領域と判定された訓練用画像を第２の訓練用画像７０Ｒ２とし、非組
織領域と判定された訓練用画像を第３の訓練用画像７０Ｒ３とした。各訓練用画像につい
てＲ、Ｇ、Ｂ各色の色濃度値を８ビットで階調化して、Ｒ、Ｇ、Ｂ各色の色濃度符号化図
を生成し、作成したＲ、Ｇ、Ｂ各色の色濃度符号化図を組み合わせて第１の訓練データ７
４Ｒ１、第２の訓練データ７４Ｒ２、第３の訓練データ７４Ｒ３のそれぞれを生成した。

その後、第１の訓練データ７４Ｒ１と第１の予備訓練データ７０Ｒ１Ｌとを組み合わせ
て腫瘍領域訓練データを作成した。第２の訓練データ７４Ｒ２と第２の予備訓練データ７
０Ｒ２Ｌとを組み合わせて非腫瘍領域訓練データを作成した。第３の訓練データ７４Ｒ３
と第３の予備訓練データ７０Ｒ２Ｌとを組み合わせて非組織領域訓練データを作成した。
作成した各領域訓練データを２００×２００画素のウィンドウサイズに分割し、分割した
ウィンドウサイズの訓練データを入力層として、ニューラルネットワークを学習させた。

各領域訓練データは組織標本の拡大倍率毎に生成し、拡大倍率毎にニューラルネットワ
ークを学習させた。

［解析対象画像の作成］
訓練データと同様に、ＨＥ染色したヒト胃がん組織の明視野画像のホールスライドイメ
ージを、バーチャルスライドスキャナを用いてカラー撮像し解析用画像を得た。撮像倍率
は１倍、３倍、５倍、１０倍、２０倍、および４０倍とした。その後、撮像した解析用画
像をもとにＲ、Ｇ、Ｂ各色の色濃度符号化図を作成し、作成したＲ、Ｇ、Ｂ各色の色濃度
符号化図を組み合わせて解析対象データを生成した。解析対象データは、拡大倍率毎に生
成した。

［解析結果］
解析対象データから２００×２００画素のウィンドウサイズの解析用データを作成し、
解析用データを、拡大倍率に対応した学習済みのニューラルネットワークに入力した。ニ
ューラルネットワークから出力される解析結果をもとに、腫瘍領域と、非腫瘍領域と、非
組織領域（背景）とに分類し、解析処理により得られた腫瘍領域を白で表示し、非腫瘍領
域をグレーで表示し、非組織領域を黒で表示するように処理した。解析結果を図１９に示
す。

図１９中、（ａ）は、胃がん組織をＨＥ染色して撮像した明視野画像のホールスライド
イメージであり、解析対象の画像である。（ｂ）は、ホールスライドイメージの腫瘍領域
を病理医が指定し実線で囲った像である。（ｃ）は、拡大倍率１倍の訓練用画像と解析用
画像を用いた解析結果を示す。病理医が指定した各領域を正確に示すことはできなかった
。（ｄ）は、拡大倍率５倍の訓練用画像と解析用画像を用いた解析結果を示す。病理医が
指定した腫瘍領域を腫瘍領域として概ね判別することができた。また、病理医が指定した
非腫瘍領域を非腫瘍領域として概ね判別することができた。病理医が指定した非組織領域
を非組織領域として概ね判別することができた。（ｅ）は、拡大倍率４０倍の訓練用画像
と解析用画像を用いた解析結果を示す。病理医が指定した腫瘍領域を腫瘍領域としてある
程度判別することができた。しかし、病理医が非腫瘍領域と指定した領域において、腫瘍
領域と判定される領域が増えており、非腫瘍領域を腫瘍領域と誤判定する割合が高くなっ
ていた。

以上の結果から、訓練用画像および解析用画像を取得する際の拡大倍率は低すぎても高
すぎても誤判定の原因となることが示された。

図２０中、（ａ）は、図１９とは異なる胃がん組織をＨＥ染色して撮像した明視野画像
のホールスライドイメージであり、解析対象の画像である。（ｂ）は、ホールスライドイ
メージの腫瘍領域を病理医が指定し実線で囲った像である。（ｃ）は、拡大倍率５倍の訓
練用画像と解析用画像を用いた解析結果を示す。病理医が指定した腫瘍領域を腫瘍領域と
して概ね判別することができた。また、病理医が指定した非腫瘍領域を非腫瘍領域として
概ね判別することができた。病理医が指定した非組織領域を非組織領域として概ね判別す
ることができた。（ｄ）は、拡大倍率２０倍の訓練用画像と解析用画像を用いた解析結果
を示す。拡大倍率５倍の場合と同様に、病理医が指定した各領域を概ね判別することがで
きた。

拡大倍率５倍の解析用画像について、下式にしたがって、ホールスライドイメージ１枚
に存在する組織領域における腫瘍領域の含有率を算出した。

腫瘍領域の含有率（％）＝｛［腫瘍領域と判定された画素数］／［（腫瘍領域と判定さ
れた画素数）＋（非腫瘍領域と判定された画素数）］｝×１００

腫瘍領域の含有率は５４．５％であった。

また、図２１に各拡大倍率の感度（ａ）および陽性的中率（ｂ）を示す。この結果から
、訓練用画像および解析用画像を取得する際の組織標本の拡大倍率は、５から２０倍が適
切であると考えられた。また、図２１にウィンドウサイズの画素数の違いによる感度（ｃ
）および陽性的中率（ｄ）の変化を示す。解析用画像は拡大倍率５倍で撮像した。ウィン
ドウサイズの画素数は、１２５×１２５画素から２００×２００画素が好ましいと考えら
れた。

今回１枚のホールスライドイメージの解析時間は、数分～３０分程度であった。

１０（１０Ａ，１０Ｂ） 処理部
２０（２０Ａ，２０Ｂ，２０Ｃ） 処理部
１１，２１ ＣＰＵ
１２，２２ メモリ
１３，２３ 記録部
１４，２４ バス
１５，２５ インタフェース部
１６，２６ 入力部
１７，２７ 出力部
１９，２９ ＧＰＵ
５０ ニューラルネットワーク（深層学習アルゴリズム）
５０ａ 入力層
５０ｂ 出力層
５０ｃ 中間層
６０ 学習済みのニューラルネットワーク（学習済みの深層学習アルゴリズム）
６０ａ 入力層
６０ｂ 出力層
６０ｃ 中間層
７０Ｗ１ ホールスライドイメージ
７０Ｗ２ ホールスライドイメージ
７０Ｗ３ ホールスライドイメージ
７０Ｒ１Ｌ 第１の予備訓練データ
７０Ｒ２Ｌ 第２の予備訓練データ
７０Ｒ３Ｌ 第３の予備訓練データ
７２Ｒ１ｒ，７２Ｒ１ｇ，７２Ｒ１ｂ 色濃度符号化図
７２Ｒ２ｒ，７２Ｒ２ｇ，７２Ｒ２ｂ 色濃度符号化図
７２Ｒ３ｒ，７２Ｒ３ｇ，７２Ｒ３ｂ 色濃度符号化図
７４Ｒ１，７４Ｒ２，７４Ｒ３ 訓練データ
７５Ｒ１，７５Ｒ２, ７５Ｒ３ ウィンドウサイズの訓練データ
７６ 色濃度値
７７Ｒ１，７７Ｒ２，７７Ｒ３ 真値像のラベル値
７８ 解析対象の明視野画像
７９ｒ，７９ｇ，７９ｂ 解析対象の色濃度符号化図
８０ 解析用データ
８１ 色濃度値
８２ 判別結果（画素の推定値）
８３ 解析結果の３値画像
８４ 領域強調画像
８９（８９ａ，８９ｂ） ノード
９８ 記録媒体
９９ ネットワーク
１００ ベンダ側装置
１００Ａ 深層学習装置
１００Ｂ 統合型の画像解析装置
１０１ 訓練データ生成部
１０２ 訓練データ入力部
１０３ アルゴリズム更新部
１０４ ウィンドウサイズデータベース
１０５ アルゴリズムデータベース
２００ ユーザ側装置
２００Ａ 画像解析装置
２００Ｂ 統合型の画像解析装置
２００Ｃ 端末装置
２０１ 解析用データ生成部
２０２ 解析用データ入力部
２０３ 解析部
２０４ 領域検出部
３００，４００ 撮像装置
３０１，４０１ 撮像素子
３０８，４０８ 試料組織
３０９，４０９ ステージ
Ｗ１ ウィンドウ
Ｗ２ ウィンドウ

Claims (21)

1. ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織の画像を解析する画像解析方法であって、
   解析対象の組織を含む解析対象画像から解析対象データを生成し、解析対象データから複数の画素からなる複数の画素領域を切り出し、切り出した画素領域のそれぞれについて解析用データを生成し、
   前記解析用データのそれぞれを、前記深層学習アルゴリズムに入力し、
   前記深層学習アルゴリズムによって、前記画素領域が腫瘍領域であるか否かを示すデータを生成する、
   ことを含み、
   前記画素領域の前記画素の数は、前記解析対象の組織の種別に応じて設定されている
   、
   画像解析方法。
2. 前記画素領域が腫瘍領域であるか否かを示すデータは、前記画素領域が腫瘍領域であること、前記画素領域が非腫瘍領域であること、又は前記画素領域が組織を含まない領域であることを示す、請求項１に記載の画像解析方法。
3. 前記解析対象画像が、組織診断用標本の画像であり、前記解析対象画像が２以上の原色を組み合わせた色相を含む、
   請求項１または２の画像解析方法。
4. 前記解析対象画像が、前記解析対象の組織を３倍から２０倍に拡大して撮像された画像である、
   請求項１乃至３のいずれか１項の画像解析方法。
5. 前記画素領域が正方形であり、前記画素領域の大きさが、２００μｍ×２００μｍ以上４００μｍ×４００μｍ以下である、
   請求項１乃至４のいずれか１項の画像解析方法。
6. 前記画素領域が腫瘍領域であるか否かを示すデータに基づいて、腫瘍細胞の領域とそれ以外の領域との境界を示すデータを生成する、
   請求項１乃至５のいずれか１項の画像解析方法。
7. 前記画素領域が腫瘍領域であるか否かを示すデータに基づいて、前記解析対象の組織における腫瘍領域の含有率を示すデータを生成する、
   請求項１乃至６のいずれか１項の画像解析方法。
8. 前記画素領域が腫瘍領域であるか否かを示すデータに基づいて、前記解析対象の組織における腫瘍領域と非腫瘍領域の比率を示すデータを生成する、
   請求項１乃至６のいずれか１項の画像解析方法。
9. 前記ニューラルネットワークの入力層のノード数が、前記画素領域の画素数と各画素の原色の数との積に対応している、
   請求項１乃至８のいずれか１項の画像解析方法。
10. 前記標本が染色された標本であり、前記解析対象画像は、前記染色された標本を顕微鏡の明視野下で撮像した画像である、
    請求項３乃至９のいずれか１項の画像解析方法。
11. 前記深層学習アルゴリズムの学習に用いられる訓練データが、個体から採取された腫瘍領域を含む組織の標本に対して明視野観察用染色を施して作製された標本の染色像を顕微鏡の明視野下で撮像した明視野画像に基づいて生成されている、
    請求項１乃至１０のいずれか１項の画像解析方法。
12. 前記明視野観察用染色は、核染色にヘマトキシリンを用いる、
    請求項１１の画像解析方法。
13. 前記明視野観察用染色が、ヘマトキシリン・エオジン染色である、
    請求項１１の画像解析方法。
14. 前記訓練データが、前記明視野画像から判定された、腫瘍領域であることを示すラベル値を含む、
    請求項１１乃至１３のいずれか１項の画像解析方法。
15. 前記訓練データが、前記ラベル値を前記明視野画像の所定画素数の領域毎に含む、
    請求項１４の画像解析方法。
16. 前記訓練データが、前記明視野画像における所定画素数の領域毎に生成されている、請求項１１乃至１５のいずれか１項の画像解析方法。
17. 前記ニューラルネットワークの出力層がソフトマックス関数を活性化関数とするノードである、
    請求項１乃至１６のいずれか１項の画像解析方法。
18. 前記深層学習アルゴリズムは、前記解析用データが入力される度に、前記画素領域が腫瘍領域であるか否かを示すデータを生成する、
    請求項１乃至１７のいずれか１項の画像解析方法。
19. さらに、前記組織の種類に応じて複数の前記深層学習アルゴリズムの中から選択された、前記解析対象の組織の種類に対応する前記深層学習アルゴリズムを用いて、前記解析用データを処理する、
    請求項１乃至１８のいずれか１項の画像解析方法。
20. ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織の画像を解析する画像解析装置であって、
    解析対象の組織を含む解析対象画像から解析対象データを生成し、解析対象データから切り出した複数の画素からなる複数の画素領域を切り出し、切り出した画素領域のそれぞれについて解析用データを生成し、
    前記解析用データのそれぞれを、前記深層学習アルゴリズムに入力し、
    前記深層学習アルゴリズムによって、前記画素領域が腫瘍領域であるか否かを示すデータを生成する処理部、
    を備え、
    前記画素領域の前記画素の数は、前記解析対象の組織の種別に応じて設定されている、
    画像解析装置。
21. ニューラルネットワーク構造の深層学習アルゴリズムを用いて、組織の画像を解析するコンピュータプログラムであって、
    コンピュータに、
    解析対象の組織を含む解析対象画像から解析対象データを生成し、解析対象データから複数の画素からなる複数の画素領域を切り出し、切り出した画素領域のそれぞれについて解析用データを生成する処理と、
    前記解析用データのそれぞれを、前記深層学習アルゴリズムに入力する処理と、
    前記深層学習アルゴリズムによって、前記画素領域が腫瘍領域であるか否かを示すデータを生成する処理と、を実行させ、
    前記画素領域の前記画素の数は、前記解析対象の組織の種別に応じて設定されている、
    コンピュータプログラム。

Images