JP2021535472A - セグメンテーションを行うニューラルネットワークを用いた疾病診断システム及び方法 - Google Patents

Abstract

ニューラルネットワークによる学習を行って、学習されたニューラルネットワークを用いて生体組織の画像において疾病のある領域をセグメンテーションすることのできる疾病診断システム及び該方法が開示される。本発明の一局面によれば、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドとニューラルネットワークを用いた疾病の診断システムにおいて、システムは、スライドが所定の大きさに分割された所定のパッチのそれぞれに対して、パッチを入力レイヤを介して入力されてパッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・ニューラルネットワークを備え、パッチレベル・セグメンテーション・ニューラルネットワークは、パッチを入力レイヤを介して入力されてパッチに疾病が存在するか否かについてのパッチレベルの分類結果を出力するパッチレベル・クラシフィケーション・ニューラルネットワークと、パッチレベル・クラシフィケーション・ニューラルネットワークに含まれている隠れレイヤのうちの２以上のフィーチャマップ抽出レイヤのそれぞれで生成されるフィーチャマップを入力されて、パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・アーキテクチャと、を備える疾病診断システムが提供される。

Description

本発明は、ニューラルネットワークを用いた疾病診断システム及び該方法に関する。さらに詳しくは、ニューラルネットワークによる学習を行って、学習されたニューラルネットワークを用いて生体組織の画像において疾病のある領域をセグメンテーションすることのできる疾病診断システム及び該方法に関する。

病理学または病理科において行う主な業務の一つは、患者の生体画像を読み取って特定の疾病に対する状態または徴候を判断する診断を行うことである。このような診断は、長期間にわたって熟練された医療従事者の経験と知識に依存する方式である。

最近には、機械学習の発達により、画像を認識したり分類したりするなどの業務をコンピュータシステムにより自動化させようとする試みが盛んに行われている。とりわけ、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）を用いたディープラーニング方式）を用いて、熟練された医療従事者が行っていた診断を自動化させるための試みが行われている。

特に、ニューラルネットワーク（例えば、ＣＮＮ）を用いたディープラーニングを通じた診断は、従来に熟練された医療従事者の経験と知識を単に自動化させることではなく、自ら学習を通じて特徴的な要素を見出して所望の解答を導き出すという点において、むしろ熟練された医療従事者が気づかなかった疾病因子の特徴を画像から見出す場合もある。

一般に、生体画像を用いるニューラルネットワークを通じた疾病の診断では、生体画像の断片、すなわち、パッチ（ｐａｔｃｈ、またはタイル（ｔｉｌｅ）ともいう。）を用いる。すなわち、当該タイルに対して熟練された医療従事者は、特定の疾病の状態（例えば、癌が発現したか否か）をアノテーション（ａｎｎｏｔａｉｏｎ）し、このようなアノテーション済みの多数のタイルをトレーニングデータとして用いて、ニューラルネットワークを学習することになる。この際、ニューラルネットワークとしては、畳み込みニューラルネットワークが利用可能である。

しかしながら、このような方式の場合、学習されたニューラルネットワークは、当該タイルの画像特徴だけで当該タイルの疾病の状態を判断することになるが、実際には、特定の疾病に対して特定の生体組織の状態を判断する際には、特定の生体組織それ自体だけではなく、特定の生体組織の周りの組織の現況（例えば、模様、特定のパターンが存在するか否かなど）まで一緒に考慮されなければならない場合が存在する。しかしながら、従来の方式は、このような場合に向いていないという不都合がある。

一方、従来の学習には、生体画像またはパッチのカラーそれ自体を入力データとして入力することになる。例えば、生体画像またはパッチがＲＧＢ形式になっている場合、ＲＧＢの３種類のチャンネル値として定義される入力データをそのまま用いることになる。しかしながら、このような場合、生体画像に相当する生体組織の染色に使われる染色試薬の特性に応じて、染色される組織のカラーがそれぞれ異なることがあり、これは、学習されるニューラルネットワークに直接的な影響を及ぼす虞がある。したがって、このような根源的な組織の画像特性ではなく、染色などに伴う非根源的なカラー特性にさらに強い方式によりニューラルネットワークが学習されることが必要になることがある。

また、パッチ単位の診断結果に基づいて、疾病の発現有無をパッチ別に判断する場合、特定のパッチは、疾病が発現したと診断結果が出力されてもよいが、より広範な範囲では、疾病が発現しなかったと判断される可能性はいくらでも存在することがある。したがって、パッチ別の診断結果を踏まえて、当該パッチを含むスライドの全体において疾病が発現したか否かを別途に判断することが必要になることがある。

また、パッチ単位の診断結果に基づいて、疾病の発現有無をパッチ別に判断（すなわち、パッチ別クラシフィケーション）し、パッチ単位の診断結果を直ちに視覚化する場合に実際に組織（ティッシュ）ではない部分まで視覚化されてしまう不具合が生じる虞がある。したがって、疾病と診断された組織部分を明確に把握できるようにパッチにおいて疾病領域を区別できるセグメンテーションが必要になることがある。

韓国公開特許公報第１０−２０１６−００３４８１４号「ニューラルネットワークを伴ったクライアント装置及びそれを備えるシステム」

本発明が解決しようとする技術的課題は、特定のパッチを用いて、疾病が発症したかどうかだけではなく、当該パッチにおいて疾病が発症した領域を区別できるニューラルネットワークを用いた診断システム及び該方法を提供することである。特に、パッチの疾病が存在するか否かを判断できるクラシフィケーション・ニューラルネットワーク・アーキテクチャにセグメンテーションのためのサブアーキテクチャを追加することにより、疾病が発明した領域を効率よく区別するためのセグメンテーションを行える診断システム及び該方法を提供することである。

また、本発明が解決しようとする他の技術的課題は、疾病の発現有無の診断に根源的な画像特性ではなく、カラーに強い特性を有することのできるニューラルネットワークを用いた診断システム及び該方法を提供することである。

さらに、本発明が解決しようとするさらに他の技術的課題は、特定のタイルの疾病に対する状態（例えば、疾病の発現有無、または疾病の状態を示す指標など）を判断するために前記特定のタイルだけではなく、周りのタイルまで学習に用いてさらに正確度を高めることのできるニューラルネットワークを用いる診断システム及び該方法を提供することである。

さらにまた、本発明が解決しようとするさらに他の技術的課題は、パッチ別の診断結果その自体ではなく、当該パッチを含む幅広い生体組織における疾病の発現有無を前記パッチ別の診断結果を活用して効果的に且つ高い正確度をもって診断することのできる診断システム及び該方法を提供することである。

本発明の一局面によれば、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断システムにおいて、前記システムは、前記スライドが所定の大きさに分割された所定のパッチのそれぞれに対して、前記パッチを入力レイヤを介して入力されて前記パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・ニューラルネットワークを備え、前記パッチレベル・セグメンテーション・ニューラルネットワークは、前記パッチを入力レイヤ（入力層）を介して入力されて前記パッチに前記疾病が存在するか否かについてのパッチレベルの分類結果を出力するパッチレベル・クラシフィケーション・ニューラルネットワークと、前記パッチレベル・クラシフィケーション・ニューラルネットワークに含まれている隠れレイヤのうちの２以上のフィーチャマップ抽出レイヤのそれぞれで生成されるフィーチャマップを入力されて、前記パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・アーキテクチャと、を備える疾病診断システムが提供される。

一実施形態において、前記パッチレベル・セグメンテーション・アーキテクチャは、前記２以上のフィーチャ抽出レイヤのそれぞれに対応する畳み込みノードを含む畳み込みサブアーキテクチャ（前記畳み込みノードのそれぞれは、それに対応するフィーチャ抽出レイヤから入力されるフィーチャマップに対する畳み込みまたは２以上の互いに異なる畳み込みを行う）と、前記畳み込みサブアーキテクチャによって生成される畳み込み結果に基づいて前記パッチのうち疾病が存在する領域を特定するセグメンテーション・サブアーキテクチャと、を備えていてもよい。

一実施形態において、前記パッチレベル・セグメンテーション・アーキテクチャは、前記セグメンテーション・サブアーキテクチャから出力される結果物に対するセンタークロッピングを行うクロッピング・サブアーキテクチャをさらに備えていてもよい。

一実施形態において、パッチレベル・クラシフィケーション・ニューラルネットワークは、前記パッチに対してオリジナル色情報の３チャンネルとグレイチャンネルを含む４チャンネル情報を入力レイヤを介して入力されることを特徴としてもよい。

一実施形態において、前記システムは、前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの分類結果、疾病として分類されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンをさらに備えていてもよい。

一実施形態において、前記スライド診断エンジンは、癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成し、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力することを特徴としてもよい。

一実施形態において、前記疾病は、前立腺癌であることを特徴としてもよい。

本発明の他の局面によれば、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断方法において、前記システムが、前記スライドが所定の大きさに分割された所定のパッチのそれぞれに対して、前記パッチを前記ニューラルネットワークの入力レイヤを介して入力されて前記パッチのうち疾病が存在する領域を特定するステップを含み、前記ニューラルネットワークは、前記パッチを入力レイヤを介して入力されて前記パッチに前記疾病が存在するか否かについてのパッチレベルの分類結果を出力するパッチレベル・クラシフィケーション・ニューラルネットワークと、前記パッチレベル・クラシフィケーション・ニューラルネットワークに含まれている隠れレイヤのうちの２以上のフィーチャマップ抽出レイヤのそれぞれで生成されるフィーチャマップを入力されて、前記パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・アーキテクチャと、を備える疾病診断方法が提供される。

一実施形態において、前記パッチレベル・セグメンテーション・アーキテクチャは、前記２以上のフィーチャ抽出レイヤのそれぞれに対応する畳み込みノードを含む畳み込みサブアーキテクチャ（前記畳み込みノードのそれぞれは、それに対応するフィーチャ抽出レイヤから入力されるフィーチャマップに対する畳み込みまたは２以上の互いに異なる畳み込みを行う）と、前記畳み込みサブアーキテクチャによって生成される畳み込み結果に基づいて前記パッチのうち疾病が存在する領域を特定するセグメンテーション・サブアーキテクチャと、を備えていてもよい。

一実施形態において、前記パッチレベル・セグメンテーション・アーキテクチャは、前記セグメンテーション・サブアーキテクチャから出力される結果物に対するセンタークロッピングを行うクロッピング・サブアーキテクチャをさらに備えていてもよい。

一実施形態において、前記ニューラルネットワークは、前記パッチに対してオリジナル色情報の３チャンネルとグレイチャンネルを含む４チャンネル情報を入力レイヤを介して入力されることを特徴としてもよい。

一実施形態において、前記疾病診断方法は、前記システムが、前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの分類結果、疾病として分類されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するステップをさらに含んでいてもよい。

一実施形態において、前記スライドレベルの診断結果を出力するステップは、前記システムが、疾病と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成するステップと、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力するステップと、を含んでいてもよい。

本発明のさらに他の局面によれば、データ処理装置にインストールされ、上述した方法を行うための媒体に記録されたコンピュータプログラムが提供される。

本発明の技術的思想によれば、パッチ別に疾病の発症有無を判断するパッチレベル・クラシフィケーションだけではなく、当該パッチのうち疾病が発症した領域をも区別できるパッチレベル・セグメンテーションを行える、ニューラルネットワークを用いた疾病診断システム及び方法を提供することができる。

また、本発明の技術的思想によれば、入力される入力データ、すなわち、パッチのオリジナルカラー値（例えば、ＲＧＢ３チャンネル値）だけではなく、グレイチャンネルをさらに入力データとして活用することにより、単にグレイチャンネルのみを用いる場合に生じ得るカラー差が示す疾病に関連する画像特性が無視されることを防ぎながらも、疾病の発現有無の診断に根源的な画像特性ではなく、カラーの様々な要因に伴うバリエーション（ｖａｒｉａｔｏｎ）に強い特性を有することのできる、ニューラルネットワークを用いた診断システム及び方法を提供することができる。

さらに、本発明の技術的思想によれば、特定のパッチに対する診断を行いながら、特定のパッチを含み、周りのパッチをさらに含む巨視パッチまで一緒に考慮して特定のパッチの疾病に対する状態を判断できるニューラルネットワークを提供することにより、さらに高い診断の正確度を提供することができるという効果がある。

さらにまた、本発明の技術的思想によれば、パッチ別の診断結果それ自体だけで当該パッチを含むスライドに疾病が発現したと判断する場合の不都合を解決するために、当該パッチを含むスライドにおける疾病の発現有無をクラスタ及びクラスタのフィーチャ（特徴）を用いて再び判断することにより、効果的に且つ高い正確度をもって診断を行うことができるという効果がある。

本発明の詳細な説明の欄において引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。

本発明の技術的思想に基づく多色モデル及びニューラルネットワークを用いた疾病の診断システムの概略的なシステム構成を示す図である。 本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムのハードウェア的な構成を説明するための図である。 本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムの論理的な構成を説明するための図である。 本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワークの全体的な構造を説明するための図である。 本発明の一実施形態に係るパッチレベル・クラシフィケーション・ニューラルネットワークの例示的な構成を説明するための図である。 本発明の他の実施形態に係るパッチレベル・クラシフィケーション・ニューラルネットワークの例示的な構成を説明するための図である。 本発明の他の実施形態に係るパッチレベル・クラシフィケーション・ニューラルネットワークの例示的な構成を説明するための図である。 本発明の一実施形態に係るパッチレベル診断方法の実験結果を示す図である。 本発明の一実施形態に係るパッチレベル・セグメンテーション・アーキテクチャの全体的な構造を説明するための図である。 本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワークの具体的な例を示す図である。 本発明の実施形態に係るツーフェーズ疾病診断方法の概念を説明するための図である。 本発明の一実施形態に係るパッチレベル診断結果に基づくマーキング結果を示す図である。 本発明の一実施形態に係るスライドレベル診断方法の実験結果を示す図である。

本発明は、様々な変更を加えることができ、種々の実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明において詳しく説明する。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物ないし代替物を含むものと理解されるべきである。なお、本発明について説明するにあたって、関連する公知の技術についての具体的な説明が本発明の要旨を余計に曖昧にする虞があると認められる場合にはその詳細な説明を省略する。

「第１の」、「第２の」などの用語は、様々な構成要素を説明するうえで使用可能であるが、構成要素は、用語によって何等限定されない。用語は、ある構成要素を他の構成要素から区別する目的でしか使えない。

この出願において用いた用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈からみて明らかに他の意味を有さない限り、複数の表現を含む。

この明細書において、「備える」、「含む」または「有する」などの用語は、明細書の上に記載の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものに過ぎず、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたもの存在または付加の可能性を予め排除しないものと理解すべきである。

また、この明細書においては、ある一つの構成要素が他の構成要素にデータを「伝送」する場合には、これは、構成要素が、他の構成要素に直接的にデータを伝送してもよく、少なくとも一つのさらに他の構成要素を介してデータを他の構成要素に伝送してもよいことを意味する。逆に、ある一つの構成要素が他の構成要素にデータを「直接的に伝送」する場合には、これは、構成要素から他の構成要素を介さずに他の構成要素にデータが伝送されることを意味する。

以下、添付図面に基づいて、本発明の実施形態を中心に本発明について詳しく説明する。各図面に示されている同一の参照符号は、同一の部材を示す。

図１は、本発明の技術的思想に基づく多色モデル及びニューラルネットワークを用いた疾病診断システムの概略的なシステム構成を示す図である。

図１を参照すると、本発明の技術的思想に基づく多色モデル及びニューラルネットワークを用いた疾病の診断システム（以下、診断システムと称する。）１００は、所定のサーバ１０に設けられて本発明の技術的思想を実現することができる。前記サーバ１０は、本発明の技術的思想を実現するための演算能力をもったデータ処理装置を意味し、一般に、ネットワークを介してクライアントが接続可能なデータ処理装置だけではなく、パソコン、携帯端末などのように特定のサービスが行えるいかなる装置もまたサーバとして定義可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。

前記サーバ１０は、図２に示すように、プロセッサ１１及び格納装置１２を備えていてもよい。前記プロセッサ１１は、本発明の技術的思想を実現するためのプログラム１２−１を駆動し得る演算装置を意味してもよく、前記プロセッサ１１は、前記プログラム１２−１と、本発明の技術的思想により定義されるニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１２−２とを用いて診断を行うことができる。ニューラルネットワーク１２−２は、後述するように、パッチレベル診断を行うパッチレベル・セグメンテーション・ニューラルネットワークを備えていてもよい。また、パッチレベル・セグメンテーション・ニューラルネットワークは、パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーションを行うこともできる。

実現例に応じて、ニューラルネットワーク１２−２は、スライドレベル診断を行うニューラルネットワークをさらに備えていてもよい。実施形態に応じて、スライドレベル診断を行う構成は、ニューラルネットワークだけではなく、様々なマシンラーニング手法を通じて実現されてもよい。本発明の技術的思想によれば、スライドレベル診断を行う診断エンジンとしては、公知のＸＧＢｏｏｓｔが用いられたが、様々な方式のマシンラーニング手法に基づく診断エンジンが実現されてもよく、このような診断エンジンは、格納装置１２に格納されてもよいことはいうまでもない。

サーバ１０は、図２に示すように、プロセッサ１１及び格納装置１２を備えていてもよい。プロセッサ１１は、本発明の技術的思想を実現するためのプログラム１２−１を駆動し得る演算装置を意味してもよく、プロセッサ１１は、プログラム１２−１と、本発明の技術的思想により定義されるニューラルネットワーク（Ｎｅｒｕａｌ Ｎｅｔｗｏｒｋ）１２−２とを用いて診断を行うことができる。

ニューラルネットワーク１２−２は、後述するように、パッチレベル診断を行うニューラルネットワークを備えていてもよい。パッチレベル診断を行うニューラルネットワークは、スライドを分割した一部であるパッチに疾病が存在するか否かを判断することができる。また、パッチレベル診断を行うニューラルネットワークは、当該パッチのうち疾病の発症領域を特定するセグメンテーションを行うこともあるが、このようなニューラルネットワークを、以下では「パッチレベル・セグメンテーション・ニューラルネットワーク」と称する。

実現例に応じて、ニューラルネットワーク１２−２は、スライドレベル診断を行うニューラルネットワークをさらに備えていてもよい。実施形態に応じて、スライドレベル診断を行う構成は、ニューラルネットワークだけではなく、様々なマシンラーニング手法を通じて実現されてもよい。本発明の技術的思想によれば、スライドレベル診断を行う診断エンジンとしては、公知のＸＧＢｏｏｓｔが用いられたが、様々な方式のマシンラーニング手法に基づく診断エンジンが実現されてもよく、このような診断エンジンは、格納装置１２に格納されてもよいことはいうまでもない。

格納装置１２は、プログラム１２−１、ニューラルネットワーク１２−２、及び／又はスライドレベル診断を行う診断エンジンを格納し得るデータ格納手段を意味してもよく、実現例に応じて、複数の格納手段により実現されてもよい。また、格納装置１２は、サーバ１０に組み込まれている主記憶装置だけではなく、プロセッサ１１に組み込まれ得る一時格納装置またはメモリなどを網羅する意味であってもよい。

診断システム１００は、図１または図２には、いずれか一つの物理的な装置により実現されるものとして示されているが、必要に応じて、複数の物理的な装置が有機的に結合されて本発明の技術的思想に基づく診断システム１００を実現することができるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。

この明細書において、「診断システム１００が診断を行う」とは、生体組織が表現された生体画像、すなわち、スライドの全体またはスライドの一部であるパッチを入力されてこの明細書において定義された出力データを出力する一連のプロセスを意味してもよい。

一例によれば、診断システム１００は、ツーフェーズ（ｔｗｏ ｐｈａｓｅ）診断を行うことができる。一つ目のフェーズは、パッチレベル診断を行う過程であってもよく、このような過程において、診断システム１００は、スライドのパッチ別に入力され、当該パッチに疾病の発現有無を出力し、及び／又は当該パッチにおいて疾病が発症した領域を特定することができる。このためのニューラルネットワークが学習されて実現されてもよいことはいうまでもない。

二つ目のフェーズは、一つ目のフェーズの診断結果を通じてスライドに疾病が発現したか否かを出力することができる。このような過程には、ニューラルネットワークまたは所定のマシンラーニング手法が用いられてもよい。

すなわち、パッチ別の診断結果に基づいて、たとえ一部のパッチに疾病が発現したと判断されたとしても、当該パッチを含むスライドの全体に相当する生体組織において疾病が発現したと判断されない可能性は存在することがある。例えば、疾病が発現したと判断されたパッチがスライド内においてぐちゃぐちゃに乱れているが、あるいは、その枚数が少ない場合、または密集度などその他の疾病が発現したと判断されたパッチの物理的な特性（例えば、位置、大きさ、密集度など）が実際に当該スライドにおける疾病の発現有無の判断に重要な意味を有することもある。したがって、二つ目のフェーズは、パッチ別の診断結果とこのような診断結果に基づいて判断されたパッチ（すなわち、疾病が発現したと診断されたパッチ）の特性に基づいて、スライドにおける疾病の発現有無を判断することにより、効果的に且つ高い正確度をもって診断を行うことができる。

一方、パッチレベル診断を行うニューラルネットワークは、本発明の技術的思想によれば、当該パッチのみを用いて診断を行うわけではなく、当該パッチの周りのパッチまでさらに考慮して診断を行ってもよい。このような技術的思想は、本出願人が出願した韓国特許出願（出願番号第１０−２０１６−０１６８１７６号、ニューラルネットワークを用いた疾病の診断システム及び該方法、以下、「以前の出願」と称する。）に詳しく開示されている。これを通じて、非常に枝葉の領域、すなわち、パッチに当該する領域のみを単独で考慮して診断を行う場合よりは、その周りの領域まで一緒に考慮する場合に診断の正確性を高めることができる。さらに、本発明の技術的思想によれば、特定のパッチの周りのパッチだけではなく、全体のスライドにおけるパッチの位置、密集度、クラスタの大きさなどの物理的な特性をさらに考慮することにより、スライドに疾病が存在するか否かをさらに正確に判断することができるという効果がある。以前の出願は、本発明のレファレンスとして取り込まれ、その内容は、この明細書に記載されたものとして取り扱われてもよい。

いうまでもなく、本発明の他の実施形態によれば、以前の出願のように、微視ネットワークと巨視ネットワーク、すなわち、ツーウェイ（ｔｗｏ−ｗａｙ）方式のニューラルネットワークを用いるわけではなく、単一のワンウェイ（ｏｎｅ−ｗａｙ）ニューラルネットワークを用いてもよい。例えば、本発明の実施形態に係るニューラルネットワークは、図６に示す通りである。

いかなる場合でも、ニューラルネットワークは、パッチを入力されて入力されたパッチに疾病が発現したか否かを出力するように定義されるニューラルネットワークであればよい。この際、ニューラルネットワークは、オリジナル入力値（例えば、ＲＧＢ ３チャンネル）にさらにグレイチャンネルを入力値として入力されて診断を行うように学習されることを特徴としてもよい。

一方、パッチレベル診断を行うニューラルネットワークが出力する状態情報は、パッチに当該する組織に特定の疾病（例えば、特定の種類の癌）が発現したか否かに対する確率を示す情報であってもよい。ニューラルネットワークは、特定の基準値（しきい値）以上の確率が示される場合、パッチを疾病（例えば、前立腺癌）が発現したパッチと判断してもよい。

いうまでもなく、ニューラルネットワークは、以前の出願に開示されているように、特定の疾病の発現有無だけではなく、特定の疾病の進み具合を示す情報（または、進み具合に当該する確率）であってもよい。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進み具合を示す指標であるグリーソンスコア（Ｇｌｅａｓｏｎ Ｐａｔｔｅｒｎ）またはグリーソンスコア（Ｇｌｅａｓｏｎ Ｓｃｏｒｅ）が、ニューラルネットワークが出力する状態情報に含まれてもよい。例えば、グリーソンスコアは、２〜５の値を有し、数字が大きくなれば大きくなるほど、前立腺癌が発現した度合いが激しいことを示す。したがって、状態情報は、診断の対象となるパッチに該当する生体組織がグリーソンスコアの特定の値（例えば、３、４、または５）に当該する確率を意味してもよい。

状態情報は、複数存在してもよい。例えば、第１の状態情報は、グリーソンスコアが３である確率、第２の状態情報は、グリーソンスコアが４である確率、第３の状態情報は、グリーソンスコアが５である確率を示すことができ、これらの第１の状態情報、第２の状態情報、第３の状態情報に相当する状態チャンネルがすべて出力レイヤに定義されてもよい。実現例に応じては、グリーソンスコアが一定の範囲（例えば、３〜５、４〜５など）を有する確率を示す状態情報が定義されてもよい。すなわち、一つの状態情報が疾病の進み具合を表現する複数の指標に対応してもよい。

このような場合、ニューラルネットワークは、グリーソンスコアが３以上である状態情報が所定のしきい値以上である場合、パッチを疾病パッチ、すなわち、疾病が発現したパッチと判断することができる。

一方、ニューラルネットワークが用いるしきい値は、種々に設定されてもよい。実施形態によれば、しきい値は、複数用いられてもよい。しきい値に基づいて、特定のパッチが疾病が発現したパッチ、すなわち、疾病パッチと判断されてもよく、ノーマルパッチと判断されてもよいことはいうまでもない。

本発明の技術的思想によれば、ニューラルネットワークが用いるしきい値は、複数であってもよく、このような場合、複数のしきい値のそれぞれに応じて診断される疾病パッチは異なってくることがある。したがって、しきい値のそれぞれに応じて疾病パッチがスライド上において配置される特性もまた異なってくることがある。このため、あるしきい値を用いる場合、スライドにおける診断結果の正確度もまた異なってくることがある。

したがって、本発明の技術的思想は、後述するように、複数のしきい値のそれぞれに応じて診断された疾病パッチがスライドにおいて有する物理的な特性を多重的に考慮して、スライド診断エンジンがスライドの診断を行うように実現されてもよい。このような技術的思想については、後述する。

診断システム１００が所定のサーバ１０に組み込まれて実現される場合、診断システム１００は、サーバ１０に接続可能な少なくとも一つのクライアント（例えば、２０、２０−１）と通信を行うこともできる。このような場合、クライアント（例えば、２０、２０−１）は、生体画像を診断システム１００に伝送してもよく、診断システム１００は、伝送された生体画像に対して本発明の技術的思想に基づく診断を行ってもよい。そして、診断結果をクライアント（例えば、２０、２０−１）に伝送してもよい。

診断システム１００は、本発明の技術的思想に基づくニューラルネットワークを用いてパッチレベル診断を行ってもよい。いうまでもなく、このような診断を行うために、ニューラルネットワークを学習させるプロセスを先に行ってもよい。
診断システム１００は、本発明の技術的思想に基づくニューラルネットワークを用いてパッチレベル診断を行ってもよい。いうまでもなく、このような診断を行うために、ニューラルネットワークを学習させるプロセスを先に行ってもよい。

なお、スライドレベル診断にもまた、所定のニューラルネットワークが用いられてもよいことは、前述した通りである。

したがって、診断システム１００は、本発明の技術的思想に基づいて学習されたニューラルネットワーク及びニューラルネットワークを用いて診断を行うためのプログラムを外部から受信して診断を行うシステムであってもよく、ニューラルネットワークの学習まで行うシステムであってもよい。なお、診断システム１００は、汎用のデータ処理装置ではなく、本発明の技術的思想を実現するために製作された専用装置として実現されてもよく、このような場合には、生体画像を走査するための手段などがさらに配備されてもよい。

ニューラルネットワークは、以前の出願に開示されているように、特定のパッチに対する診断を行うために特定のパッチそれ自体の画像のみを考慮するわけではなく、特定のパッチの隣の少なくとも一つのパッチの画像までも考慮して特定のパッチの診断を行う特徴を有していてもよい。このような技術的思想によって、実際に特定のパッチに当該する生体組織の診断のために生体組織だけではなく、生体組織の周りの組織の状態まで考慮しなければならない疾病の診断に非常に有意味なレベルまで正確度を向上させることが可能になるという効果がある。なお、生体画像を多数のパッチに分割する場合、パッチの分割方式や分割された領域が生体組織のどのような位置であるかに応じて生じ得る診断結果の影響に強い効果を有することができる。

いうまでもなく、前述したように、ニューラルネットワークは、以前の出願に開示されている特徴を有していなくてもよく、いかなる場合でも、ニューラルネットワークは、パッチ別に診断を行うように学習されるニューラルネットワークであってもよい。

この際、ニューラルネットワークは、従来とは異なり、パッチに含まれているピクセルのそれぞれに対して追加チャンネルをさらに入力値として受け入れてもよい。追加チャンネルは、それぞれのピクセルのグレイ値であってもよい。したがって、ニューラルネットワークは、パッチ別に入力を受け入れながら、パッチに含まれているピクセルのオリジナル値（例えば、ＲＧＢ３チャンネル）と併せて、追加チャンネルであるグレイチャンネルをさらに入力として受け入れてもよい。

このような場合、生体画像のカラーが疾病に関連する画像特性とは無関係な要因（例えば、診断機関の特性、染色試薬など）により変化があり得る場合に強い効果を有することができる。いうまでもなく、単に元のオリジナル値を用いることなく、グレイチャンネルのみを用いる場合に生じ得る、疾病に関連する画像特性がカラーで反映されて表示される際、これらの重要な情報が学習に反映できなくなるという不都合を有する場合があり、このような不都合を解決することもできる。

このような技術的思想を実現するための診断システム１００は、論理的に図３に示すような構成を有することができる。

図３は、本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムの論理的な構成を説明するための図である。

図３を参照すると、診断システム１００は、制御モジュール１１０及びニューラルネットワーク、及び／又はスライド診断エンジンが格納された診断モジュール１２０を備える。また、診断システム１００は、前処理モジュール１３０をさらに備えていてもよい。本発明の実施形態に応じては、上述した構成要素のうちの一部の構成要素は、必ずしも本発明の実現に欠かせない構成要素に該当するとは限らず、また、実施形態に応じて、診断システム１００は、これよりもさらに多い構成要素を備えていてもよいことはいうまでもない。例えば、診断システム１００は、クライアント（例えば、２０、２０−１）と通信するための通信モジュール（図示せず）をさらに備えていてもよい。

診断システム１００は、本発明の技術的思想を実現するために必要とされるハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備えた論理的な構成を意味してもよく、必ずしも一つの物理的な構成要素を意味したり、一つの装置を意味したりするとは限らない。すなわち、診断システム１００は、本発明の技術的思想を実現するために配備されるハードウェア及び／又はソフトウェアの論理的な結合を意味してもよく、必要に応じて、互いに離れている装置に設けられてそれぞれの機能を行うことにより、本発明の技術的思想を実現するための論理的な構成の集まりとして実現されてもよい。また、診断システム１００は、本発明の技術的思想を実現するためのそれぞれの機能または役割別に別途に実現される構成の集まりを意味してもよい。例えば、制御モジュール１１０、診断モジュール１２０、及び／又は前処理モジュール１３０のそれぞれは、互いに異なる物理的な装置に位置してもよく、同一の物理的な装置に位置してもよい。また、実現例に応じては、制御モジュール１１０、診断モジュール１２０及び／又は前処理モジュール１３０のそれぞれを構成するソフトウェア及び／又はハードウェアの結合もまた互いに異なる物理的な装置に位置し、互いに異なる物理的な装置に位置している構成が互いに有機的に結合されてそれぞれのモジュールを実現してもよい。

また、この明細書において、「モジュール」とは、本発明の技術的思想を行うためのハードウェア及びハードウェアを駆動するためのソフトウェアの機能的、構造的な結合を意味してもよい。例えば、モジュールは、所定のコードと所定のコードが実行されるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味してもよく、必ずしも物理的に連結されたコードを意味したり、１種類のハードウェアを意味したりするとは限らないということは、本発明の技術分野における平均的な専門家にとっては容易に推論できる筈である。

制御モジュール１１０は、本発明の技術的思想を実現するために、診断システム１００に備えられている他の構成要素（例えば、診断モジュール１２０及び／又は前処理モジュール１３０など）を制御してもよい。

また、制御モジュール１１０は、診断モジュール１２０に格納されたニューラルネットワーク及び／又はスライド診断エンジンを用いて、本発明の技術的思想に基づく診断を行うことができる。

制御モジュール１１０は、診断モジュール１２０に格納されたパッチレベルニューラルネットワーク、すなわち、学習されたニューラルネットワークに入力データ、すなわち、パッチ別の入力を受けてもよい。この際、前述したように、オリジナル値にグレイチャンネル値が追加された値を入力されてもよい。グレイチャンネル値は、ピクセル値をグレイ値に変換して取得されてもよいことはいうまでもない。そして、ニューラルネットワークにより定義される演算を行って出力データ、すなわち、パッチに該当する疾病の発現確率に相当するフィーチャ値を出力してもよい。なお、実施形態に応じては、パッチのうち疾病が発現した領域を特定してもよい。また、実施形態に応じては、後述するように、スライドレベル診断のためにフィーチャ値が所定のしきい値であるか否かに応じて当該パッチに疾病が発現したか否かを出力してもよい。

診断モジュール１２０は、パッチレベル診断を行うためのパッチ診断エンジン及びスライドレベル診断を行うスライド診断エンジンを備えていてもよい。

パッチレベル診断エンジンは、前述したように、本発明の技術的思想に従ったディープラーニングに基づくニューラルネットワークにより実現されてもよい。スライド診断エンジンには、ディープラーニングに基づくニューラルネットワークが用いられてもよく、ニューラルネットワークではなく、所定のマシンラーニング（例えば、ＸＧＢｏｏｓｔ）エンジンが用いられてもよい。

ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集まりを意味してもよい。この明細書において、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。

畳み込みニューラルネットワークは、周知のごとく、入力レイヤ、複数の隠れレイヤ、及び出力レイヤを備えていてもよい。複数の隠れレイヤのそれぞれは、畳み込みレイヤ及びプーリングレイヤ（または、サブサンプリングレイヤ）を備えていてもよい。

畳み込みニューラルネットワークは、これらのそれぞれのレイヤを定義するための関数、フィルタ、ストライド（ｓｔｒｉｄｅ）、ウェイトファクターなどにより定義されてもよい。また、出力レイヤは、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されたフィードフォワードレイヤ（ＦｅｅｄＦｏｒｗａｒｄ ｌａｙｅｒ）により定義されてもよい。

畳み込みニューラルネットワークを構成するそれぞれのレイヤ別の設計事項は、広く知られている。例えば、複数のレイヤに備えられるべきレイヤの数、複数のレイヤを定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては公知の関数が用いられてもよく、本発明の技術的思想を実現するために別途に定義された関数が用いられてもよい。

前述したように、パッチレベル診断を行うニューラルネットワークは、パッチに疾病が存在するか否かを判断するだけではなく、当該パッチのうち疾病の発症領域を特定するためのセグメンテーションを行うパッチレベル・セグメンテーション・ニューラルネットワークであってもよい。

本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワークは、パッチに疾病が存在するか否かを判断するためのクラシフィケーションを行うニューラルネットワーク（後述する「パッチレベル・クラシフィケーション・ニューラルネットワーク」）をベースにして、ここにセグメンテーションのためのサブアーキテクチャを組み合わせた形で実現されてもよい。このようなパッチレベル・セグメンテーション・ニューラルネットワークの構造が図４に示されている。

図４は、本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワークの全体構造を説明するための図である。

図４に示すように、本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワーク４００は、パッチレベル・クラシフィケーション・ニューラルネットワーク２００及びパッチレベル・セグメンテーション・アーキテクチャ５００を備えていてもよい。

パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、スライドを分割した一部のパッチを入力レイヤを介して入力されてパッチに疾病が存在するか否かについてのパッチレベルの分類結果（例えば、図４に示すようなスコア）を出力してもよい。これをクラシフィケーションと称するが、クラシフィケーション過程において、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、内部に含まれている一部隠れレイヤにおいて中間生成物として入力（すなわち、パッチ）に対するフィーチャを生成してもよい。特に、画像のような２次元以上のマトリックスを入力として受ける場合、生成されるフィーチャは、２次元マトリックスの形態であるため、フィーチャマップという用語を使用してもよい。一方、以下では、パッチレベル・クラシフィケーション・ニューラルネットワーク２００に含まれている隠れレイヤにおけるフィーチャマップを生成するレイヤをフィーチャマップ抽出レイヤと称する。

一方、パッチレベル・セグメンテーション・アーキテクチャ５００は、パッチレベル・クラシフィケーション・ニューラルネットワーク２００に含まれている隠れレイヤのうちの２以上のフィーチャマップ抽出レイヤのそれぞれで生成されるフィーチャマップ（例えば、図４に示すｆ１、ｆ２、ｆ３）を入力されてパッチのうち疾病が存在する領域を特定して出力してもよい。

図４では、パッチレベル・クラシフィケーション・ニューラルネットワーク２００がクラシフィケーションを行う過程において３つのフィーチャマップｆ１、ｆ２、ｆ３を生成する例を示しているが、実施形態に応じて、これより多いか少ない数のフィーチャマップが生成されてもよいことはいうまでもない。

一方、本発明の実施形態によれば、パッチレベル・クラシフィケーションを行うパッチレベル・クラシフィケーション・ニューラルネットワーク２００としては、公知の高密度畳み込みネットワーク（ｄｅｎｓｅｎｅｔ）を利用し、この際、以前の出願に開示されているように、診断の対象となる特定のパッチだけではなく、周りのパッチまでも考慮できるように設計されてもよい。この他にも、様々なニューラルネットワークが活用されてもよく、いかなる場合でも、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、特定のパッチを入力され、当該特定のパッチの疾病発現の確率に相当するフィーチャ値を出力するように定義されてもよい。

図５は、本発明の実施形態に係るパッチレベル・クラシフィケーション・ニューラルネットワーク２００の構成を説明するための図である。

図５を参照すると、本発明の技術的思想に基づくパッチレベル・クラシフィケーション・ニューラルネットワーク２００は、微視ニューラルネットワーク及び巨視ニューラルネットワークを備える。

まず、図５ａを参照すると、以前の出願にも開示されているように、微視ニューラルネットワークは、複数のレイヤ２１０及び出力レイヤ２３０を備える。複数のレイヤ２１０には、入力レイヤ２１１及び複数の隠れレイヤ２１２が備えられる。

巨視ニューラルネットワークは、複数のレイヤ２２０及び出力レイヤ２３０を備える。複数のレイヤ２２０には、入力レイヤ２２１及び複数の隠れレイヤ２２２が備えられる。

微視ニューラルネットワークは、特定のパッチ３０を入力され、特定のパッチの診断結果、すなわち、出力レイヤ２３０に定義された出力データを出力するように定義される。

また、巨視ニューラルネットワークは、特定のパッチ３０を備え、特定のパッチ３０の隣のパッチを少なくとも一つ含む巨視パッチ４０を入力され、特定のパッチの診断結果を出力するように定義される。

すなわち、本発明の技術的思想に基づくパッチレベル・クラシフィケーション・ニューラルネットワーク２００は、特定のパッチ３０の診断結果を出力するために、特定のパッチ３０の画像特性だけではなく、特定のパッチ３０の隣のパッチの画像特性まで考慮して診断結果を出力してもよい。

巨視パッチ４０としては、図５には、パッチを取り囲む３×３のパッチが用いられる一例を示しているが、様々な実施形態が採用可能であることはいうまでもない。

出力レイヤ２３０は、微視ニューラルネットワークに備えられている出力レイヤ２３０の直前のレイヤである第１の直前のレイヤ２１２−１と、巨視ニューラルネットワークに備えられている出力レイヤ２３０の直前のレイヤである第２の直前のレイヤ２２２−１とのそれぞれの出力データを入力されて出力レイヤ２３０に定義された出力データを出力してもよい。第１の直前のレイヤ２１２−１、第２の直前のレイヤ２２２−１、及び出力レイヤ２３０は、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されてもよい。

出力レイヤ２３０を定義するフィードフォワード（Ｆｅｅｄｆｏｒｗａｒｄ）関数としては、入力レイヤを介して入力される入力データがパッチレベル・クラシフィケーション・ニューラルネットワーク２００を介して結果的に出力レイヤ２３０に出力データを出力する様々な関数のいずれか一つが用いられてもよい。

結局、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、特定のパッチ３０に対して診断を行うために、特定のパッチ３０の画像特性と、特定のパッチ３０を含む巨視パッチ４０の画像特性を一緒に考慮して、多数のトレーニングデータのアノテーション値に相当する出力レイヤ２３０の出力データを出力するように学習される。

すなわち、パッチレベル・クラシフィケーション・ニューラルネットワーク２００を学習するためには、多数のトレーニングデータが用いられ、多数のトレーニングデータは、特定のパッチ３０及び巨視パッチ４０の一対を含んでいてもよい。そして、巨視パッチ４０もまた、特定のパッチ３０のアノテーション情報を用いて学習を行ってもよい。

すると、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、特定のパッチ３０と巨視パッチ４０の画像特性をいずれも考慮して、特定のパッチ３０のアノテーション情報に相当する出力データを出力できるように学習されてもよい。

そして、学習されたニューラルネットワーク２００は、診断の対象となる対象パッチ及び対象パッチに相当する巨視パッチをそれぞれ微視ニューラルネットワーク及び巨視ニューラルネットワークの入力レイヤの入力データとして入力されると、対象パッチの診断結果、すなわち、出力レイヤ２３０の出力データを出力することができる。

出力レイヤ２３０は、図５ａに示すように、診断の対象となる特定のパッチ３０の診断結果を出力データとして出力してもよい。診断結果は、特定のパッチ３０の疾病の状態に関する情報を少なくとも含んでいてもよい。疾病の状態に関する情報は、単に特定の疾病が特定のパッチ３０に発現したか否か（または、確率値）に関する情報を意味してもよい。しかしながら、疾病の種類に応じて、疾病の状態に関する情報には、より具体的に、疾病の進み具合を示す情報が含まれてもよい。

出力レイヤは、以前の出願に開示されているように、単に疾病の発現有無を出力するだけではなく、色々なさらなる情報を出力するように設計されてもよい。例えば、疾病の進み具合を示す情報及び／又は状態チャンネルの値と関連付けられた関連因子の発現の度合いを示す関連因子情報を含んでいてもよい。これについては以前の出願に詳しく開示されているため、その詳しい説明は省略する。

図５ａに示すニューラルネットワーク２００が用いられる場合、図５ａには示されていないが、出力レイヤ２３０の出力データを入力されて最終的に入力されたパッチの疾病の発現確率に相当するフィーチャ値を出力するレイヤがさらに存在してもよいことはいうまでもない。

あるいは、図５ｂに示すように、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、図５ａに示すように、複数の状態チャンネル及び関連因子チャンネルを出力するレイヤの代わりに入力されたパッチの疾病の発現確率に相当するフィーチャ値を出力するレイヤ２４０を有するように設計されてもよい。

本発明の他の一実施形態によれば、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、図５ａに示すように、二つの経路（微視ネットワーク及び巨視ネットワークのそれぞれの経路）を有する方式ではなく、単一の経路を有するように設計されてもよい。このような一例は、図６に示す通りである。

図６は、本発明の他の実施形態に係るパッチレベル・クラシフィケーション・ニューラルネットワーク２００の例示的な構成を説明するための図である。

図６を参照すると、前述したように、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、パッチ単位で入力を受け、入力されたパッチの疾病有無を判断するように定義されてもよい。この際、図示のごとく、ニューラルネットワークは、４チャンネル（例えば、ＲＧＢ及びグレイチャンネル）データを入力されてもよい。

入力されたデータは、図６に示すように、畳み込みレイヤ、最大プーリング当たりの多数のレイヤを通過して出力データ、すなわち、入力されたパッチが疾病パッチであるか否かを出力するように定義されてもよい。このようなニューラルネットワークは、公知のｄｅｎｓｅｎｅｔモデルを用いたニューラルネットワークであってもよい。そして、この際、本発明の技術的思想に基づくニューラルネットワークは、元のｄｅｎｓｅｎｅｔモデルに比べて１×１畳み込みが追加されることが分かり、これを通じて、内部のフィーチャマップを確認することができるという効果がある。なお、活性関数としてシグノイド（Ｓｉｇｎｏｉｄ）関数が用いられているが、様々な活性関数が用いられてもよい。

その他の様々な方式でパッチレベル診断を行うニューラルネットワークが定義されてもよいことが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。

グレイチャンネルを含む４チャンネルの入力を受けてパッチレベル・クラシフィケーションを行う方法に関する診断結果は、図７に示す通りである。

図７は、本発明の一実施形態に係るパッチレベル診断方法の実験結果を示す図である。図７の実験では、各ピクセル値のオリジナル３チャンネルの他にグレイチャンネル値をさらに入力されてもよいニューラルネットワークが適用された。

図７を参照すると、トレインデータセットとして、癌とラベル付けされたパッチ６２３５８枚、及びノーマル（正常）とラベル付けされたパッチ１０８３００枚を用いてニューラルネットワークを学習し、バリデーションセットとして、癌であるパッチ８９６３枚、ノーマルであるパッチ１５４９９枚を用いた。そして、テストセットとして、癌であるパッチ１４８９８枚、ノーマルであるパッチ１９０８９枚を用いた。そして、そのときの実験結果であるａｃｃｕｒａｃｙ（正確度）、ｐｒｅｃｉｓｉｏｎ（精度）、ｓｅｎｓｉｔｉｖｉｔｙ（感度）、ｓｐｅｃｉｆｉｃｉｔｙ（特異度）は、それぞれ図１０に示すように、非常に高い性能を示すことが分かる。なお、ピクセルのオリジナル値である３チャンネルのみを用いる場合に比べて性能が向上したことを確認した。

一方、図８は、パッチレベル・セグメンテーション・アーキテクチャ５００の全体構造を説明するための図である。

図８を参照すると、パッチレベル・セグメンテーション・アーキテクチャ５００は、畳み込みサブアーキテクチャ５１０、セグメンテーション・サブアーキテクチャ５２０を備えていてもよく、実施形態に応じて、クロッピング・サブアーキテクチャ５３０をさらに備えていてもよい。

上述したように、パッチレベル・クラシフィケーション・ニューラルネットワーク２００で行われるクラシフィケーションの過程においてそれぞれのフィーチャ抽出レイヤによりフィーチャマップｆ１、ｆ２、ｆ３が生成されてもよいが、フィーチャマップのそれぞれは、畳み込みサブアーキテクチャ５１０に含まれている畳み込みノード５１１−１乃至５１１−３に入力されてもよい。

それぞれの畳み込みノード５１１−１乃至５１１−３は、パッチレベル・クラシフィケーション・ニューラルネットワーク２００に含まれている２以上のフィーチャ抽出レイヤのそれぞれに対応し、それに対応するフィーチャ抽出レイヤから入力されるフィーチャマップｆ１乃至ｆ３に対する畳み込みまたは２以上の互いに異なる畳み込みを行うことができる。一方、実施形態に応じて、それぞれの畳み込みノード５１１−１乃至５１１−３は、アップサンプリングまたはダウンサンプリング後に畳み込みを行うこともできる。

それぞれの畳み込みノード５１１−１乃至５１１−３は、１つ又は２つ以上の畳み込みを行うことで、１つまたは２つ以上の結果物を生成することができる。実施形態によれば、畳み込みノード５１１−１乃至５１１−３により行われる畳み込みは、拡張畳み込み（Ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎ；Ａｔｒｏｕｓ ｃｏｎｖｏｌｕｔｉｏｎともいう。）であってもよい。拡張畳み込みは、通常の畳み込みとは異なり、隣接するピクセルからフィーチャを抽出するのではなく、予め定められた間隔（ｒａｔｅ）を置いて畳み込みを行う方法である。例えば、畳み込みノードのうちのいずれか一つ（例えば、５１１−２）は、１×１の拡張畳み込み、ｒａｔｅ６の３×３の拡張畳み込み、ｒａｔｅ１２の３×３の拡張畳み込み、ｒａｔｅ１８の３×３の拡張畳み込みを行うことで、４つの畳み込み結果物（フィーチャ）を生成することができる。

一方、セグメンテーション・サブアーキテクチャ５２０は、畳み込みサブアーキテクチャ５１０によって生成される畳み込み結果に基づいて、パッチのうち疾病が存在する領域を特定することができる。

セグメンテーション・サブアーキテクチャ５２０は、畳み込みサブアーキテクチャ５１０によって生成される畳み込み結果に対する所定の演算を行うことができる。セグメンテーション・サブアーキテクチャ５２０により行われる演算は、結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）及び／又は畳み込みの組み合わせにより定義されてもよい。実施形態に応じて、結合及び畳み込みが様々な方法で組み合わせられてもよい。

一方、実施形態に応じては、クロッピング・サブアーキテクチャ５３０は、セグメンテーション・サブアーキテクチャ５２０から出力される結果物に対するセンタークロッピングを行うことにより、セグメンテーションに対する最終結果物を生成することができる。これは、畳み込みサブアーキテクチャ５１０及びセグメンテーション・サブアーキテクチャ５２０による結果物では相対的に中央部分がより正確に結果を反映する傾向があるからである。

図９は、本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワークの具体例を示す図である。

図９を参照すると、パッチレベル・セグメンテーション・ニューラルネットワークに含まれているパッチレベル・クラシフィケーション・ニューラルネットワーク２００は、クラシフィケーションを行ってもよい。クラシフィケーションのために、パッチレベル・クラシフィケーション・ニューラルネットワーク２００は、パッチを入力レイヤを介して入力されてもよく、第１のフィーチャ抽出レイヤＬ１において畳み込み及びプーリング演算により１／４大きさのローフィーチャマップｆ１を生成してもよい。続いて、第１のデンスブロック及び第１のトランジションの演算（ｄｅｎｓｅｂｌｏｃｋ１、ｔｒａｎｓｉｔｉｏｎ１）、並びに第２のデンスブロック及び第２のトランジション演算（ｄｅｎｓｅｂｌｏｃｋ２、ｔｒａｎｓｉｔｉｏｎ２）を経て、第２のフィーチャ抽出レイヤＬ２において１／１６大きさのミドルフィーチャマップｆ２を生成してもよい。次いで、第３のデンスブロック及び第３のトランジション演算（ｄｅｎｓｅｂｌｏｃｋ１、ｔｒａｎｓｉｔｉｏｎ１）、第４デンスブロック（ｄｅｎｓｅｂｌｏｃｋ４）、１×１の畳み込みを順番に経て、第３のフィーチャ抽出レイヤＬ３において１／１６大きさのエンドフィーチャマップｆ３を生成してもよい。その後、平均プーリングにより疾病有無に対するスコアを出力してもよい。

一方、パッチレベル・セグメンテーション・アーキテクチャ５００では、パッチレベル・クラシフィケーション・ニューラルネットワーク２００によって生成された各フィーチャを用いてセグメンテーションを行ってもよい。

さらに詳しくは、畳み込みサブアーキテクチャ５１０に含まれている各畳み込みノード５１０は、それに対応するフィーチャ抽出レイヤから入力されるフィーチャマップに対して、予め定義された方式の少なくとも一つの畳み込みを行ってもよい。図９の例において、第１の畳み込みノード５１１−１は、それに対応する第１のフィーチャ抽出レイヤＬ１から入力されるフィーチャマップｆ１に対する１×１の畳み込みを行ってもよい。第２の畳み込みノード５１１−２は、それに対応する第２のフィーチャ抽出レイヤＬ２から入力されるフィーチャマップｆ２に対して、１×１の畳み込み、ｒａｔｅ６の３×３の拡張畳み込み、ｒａｔｅ１２の３×３の拡張畳み込み、ｒａｔｅ１８の３×３の拡張畳み込みを行うことで、４つの畳み込み結果（フィーチャ）を生成してもよい。第３の畳み込みノード５１１−３は、それに対応する第３のフィーチャ抽出レイヤ（Ｌ３から入力されるフィーチャマップｆ３に対して２倍アップサンプリングを行った後、１×１の畳み込みを行ってもよい。

一方、セグメンテーション・サブアーキテクチャ５２０は、畳み込みサブアーキテクチャ５１０によって生成される結果を入力され、予め定義された演算を行ってもよい。図９の例において、セグメンテーション・サブアーキテクチャ５２０は、第２の畳み込みノード５１１−２及び第３の畳み込みノード５１１−３によって生成された畳み込み結果物（フィーチャ）をすべて結合（ｃｏｎｃａｔｅｎａｔｅ）して１×１の畳み込みを行い、これと第１の畳み込みノード５１１−１によって生成された畳み込み結果物
（フィーチャ）とを結合した後、３×３の畳み込みを行ってもよい。

その後、クロッピング・サブアーキテクチャ５３０においてセンタークロッピングが行われてもよい。

このような本発明の技術的特徴を有するニューラルネットワークを用いることにより、セグメンテーションの正確度を非常に高めることができる。通常のニューラルネットワークにおいてセグメンテーション正確度を高めるためには、入力データからフィーチャを十分に抽出する必要があり、トレーニング（訓練）前にニューラルネットワークの初期重み値を適切に設定してトレーニングを行う必要があるということは、経験的によく知られている。ところで、上述したように、本発明の技術的思想によれば、セグメンテーションは、パッチレベル・クラシフィケーション・ニューラルネットワークに基づく特定の構造を有するセグメンテーション・アーキテクチャを組み合わせた方式のニューラルネットワークによって行われ、パッチレベル・クラシフィケーション過程から抽出されたフィーチャには、入力データの特徴が非常によく反映されている。したがって、それをセグメンテーション過程にもそのまま用いることにより、セグメンテーションの正確度を高めることができるという効果がある。

図３に戻ると、診断モジュール１２０は、スライド診断エンジンを備えていてもよく、スライド診断エンジンもまた、制御モジュール１１０により学習されて実現されてもよい。

スライド診断エンジンは、ニューラルネットワークの出力結果に基づいて、疾病パッチをマーキングしてもよい。マーキングとは、スライド内において疾病パッチを区別することを意味してもよい。一例によれば、スライド診断エンジンは、疾病パッチを他のパッチと区別されるように表示してヒートマップを生成してもよい。そして、生成されたヒートマップに基づいて、疾病パッチを複数枚にクラスタリングしてもよい。一実施形態によれば、スライド診断エンジンは、疾病パッチを少なくとも二枚にクラスタリングしてもよい。そして、これらの中で最も大きなクラスタ二つをスライド診断に用いてもよい。しかしながら、二つ以上のクラスタをスライド診断に用いてもよいことはいうまでもない。

スライド診断エンジンは、それぞれのクラスタ別の所定のフィーチャ値を算出してもよい。そして、算出されたフィーチャ値を入力データとして入力された入力データに相当するスライドに疾病が発現したか否かを出力するように学習される。

さらに、スライド診断エンジンは、複数のしきい値をいずれも考慮して学習されてもよい。これを通じて、しきい値の設定に強いスライド診断結果を出力することができる。これについては、後述する。

前処理モジュール１３０は、ニューラルネットワークを用いて診断を行う前に必要とされる生体画像の前処理を行ってもよい。例えば、生体画像の前処理は、生体画像を予め定義された大きさのパッチにパッチ化する過程を含んでいてもよく、前述したように、パッチ別のピクセルのグレイ値を算出してもよい。また、必要に応じて、ニューラルネットワークに適した方式で適切な画像処理を行ってもよいということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。

図１０は、本発明の実施形態に係るツーフェーズ疾病診断方法の概念を説明するための図である。

図１０に示すように、生体組織に相当する生体画像、すなわち、スライドからサンプリングされたパッチがニューラルネットワーク２００の学習に用いられてもよい。パッチは、癌とラベル付けされるパッチとノーマルとラベル付けされるパッチとが、所定の割合を有するようにサンプリングされたものであってもよい。

そして、ニューラルネットワーク２００は、前述したように、グレイチャンネルをさらに備えるパッチ別の入力データを入力されて学習され、その結果、ニューラルネットワーク２００は、それぞれのパッチが癌であるか否か（または、確率値）を出力するように学習される。

すると、このようにして学習されたニューラルネットワーク２００は、図１０の下部に示すように、スライドが入力された場合、それぞれのスライドに含まれているそれぞれのパッチに対してパッチレベル診断を行うことができる。

そして、スライド診断エンジンは、パッチレベル診断結果に基づいて、疾病パッチをマーキングしてもよい。例えば、図１０に示すように、ヒートマップを生成してもよい。

また、図１１は、本発明の一実施形態に係るパッチレベル診断結果に基づくマーキング結果を示す図であるが、図１１ａは、熟練された専門家によりラベル付けされた生体組織の画像を示し、図１１ｂは、学習されたニューラルネットワーク２００により生成されたヒートマップを示す。図１１から明らかなように、非常に正確な診断を行うことが可能であるということが分かる。

一方、生成したヒートマップに基づいて、スライド診断エンジンは、クラスタを生成してもよい。スライド診断エンジンは、所定のクラスタリングアルゴリズムを用いて疾病パッチをクラスタリングしてもよい。本発明の実施形態によれば、スライド診断エンジンは、公知のＤＢＳＣＡＮアルゴリズムを通じてクラスタリングを行ったが、様々なクラスタリング手法が利用可能であることはいうまでもない。

スライド診断エンジンは、クラスタリングの結果として生成されたクラスタ別にクラスタフィーチャを取り出しても良い。

クラスタフィーチャは、疾病の発現に関連する特徴を示し得る特徴的な値であってもよい。

一例によれば、クラスタフィーチャは、クラスタに含まれている疾病パッチの枚数、パッチ別の疾病である確率値の平均、パッチ別の疾病である確率値の最大値、及びパッチ別の疾病である確率値の最小値を含んでいてもよい。このようなクラスタフィーチャが含まれる場合、スライド診断エンジンの診断結果が相対的に高くなることを確認することができた。

また、実施形態に応じて、クラスタフィーチャは、クラスタのそれぞれの長軸（ｍａｊｏｒ ａｘｉｓ）、短軸（ｍｉｎｏｒ ａｘｉｓ）、面積（ａｒｅａ）、及び密度（ｄｅｎｓｉｔｙ）をさらに含んでいてもよい。これは、クラスタの物理的な特徴と密接な関わりがあり、このようなクラスタフィーチャが一緒に用いられる場合にさらに診断性能が高くなる。

一方、クラスタは、それぞれのパッチが疾病パッチと判断されるか否かに応じて、その位置、大きさ、及び上述したようなクラスタフィーチャが異なってくることがある。そして、これは、パッチレベル診断においてどのようなしきい値を用いるかに依存する。

本発明の技術的思想によれば、スライドレベル診断のために複数のしきい値が一緒に用いられてもよい。

一例によれば、本発明の実施形態においては、５個の互いに異なるしきい値が用いられているが、様々な実施形態が採用可能である。

そして、それぞれのしきい値に基づいて、特定のパッチが疾病パッチと診断される結果は異なってくることがあり、これにより、クラスタリング結果もまた異なってくることがあることはいうまでもない。

本発明の実施形態に係るスライド診断エンジンは、例えば、Ｎ（例えば、５）個のしきい値及びＮ個のしきい値のそれぞれを基準として疾病が発現したパッチを所定の方式でクラスタリングしてＭ（例えば、２）個のクラスタを形成した。

そして、形成されたクラスタのそれぞれに対してＰ（例えば、上述した８個のクラスタフィーチャ）個のクラスタフィーチャを算出した。なお、このような場合、一つのスライドに対してＭ×Ｎ×Ｐ（例えば、８０）個のクラスタフィーチャが取り出されてもよい。

そして、このようなフィーチャ値が入力値として入力され、出力データとしてスライドに疾病が存在するか否かを出力するようにスライド診断エンジンは学習されてもよい。

このような実施形態を通じた実験結果は、図１２に示されている。

図１２は、本発明の一実施形態に係るスライドレベル診断方法の実験結果を示す図である。

図１２に示す実験結果は、前述したクラスタフィーチャ８個がいずれも用いられた場合であり、しきい値は５個用いられ、二つのクラスタを用いた場合の実験結果を示す。このような実施形態において、トレインデータセットとして、癌が発現したスライド４７８枚、ノーマルであるスライド２１８枚が用いられた。また、バリデーションセットとして、癌が発現したスライド１１７枚、ノーマルであるスライド５７枚が用いられ、テストセットとして、癌が発現したスライド１３０２枚、ノーマルであるスライド１６５８枚が用いられた。

そして、そのときの実験結果であるａｃｃｕｒａｃｙ（正確度）、ｐｒｅｃｉｓｉｏｎ（精度）、ｓｅｎｓｉｔｉｖｉｔｙ（感度）、ｓｐｅｃｉｆｉｃｉｔｙ（特異度）は、それぞれ図１２に示すように、高い性能を示すことが分かる。

また、この明細書においては、前立腺癌に対して本発明の技術的思想が適用された一例について主として説明したが、特定の組織だけではなく、当該組織の周りの組織の状態まで考慮して特定の組織の診断を行う必要がある他の疾病に対しても本発明の技術的思想が適用される場合に正確な診断を行うことが可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。

一方、実現例に応じて、診断システム１００は、プロセッサ、及びプロセッサにより起動されるプログラムを格納するメモリを備えていてもよい。プロセッサは、シングルコア中央演算処理装置（ＣＰＵ）もしくはマルチコア中央演算処理装置（ＣＰＵ）を備えていてもよい。メモリは、高速ランダムアクセスメモリを備えていてもよく、一台以上の磁気ディスク格納装置、フラッシュメモリ装置、またはその他の不揮発性固体状態メモリ装置などの不揮発性メモリを備えていてもよい。プロセッサ及びその他の構成要素によるメモリへのアクセスは、メモリコントローラにより制御されてもよい。

一方、本発明の実施形態に係る多色モデル及びニューラルネットワークを用いた診断方法は、コンピュータにて読み取り可能なプログラム指令の形態で実現されてコンピュータにて読み取り可能な記録媒体に格納されてもよく、本発明の実施形態に係る制御プログラム及び対象プログラムもまた、コンピュータにて読み取り可能な記録媒体に格納されてもよい。コンピュータにて読み取り可能な記録媒体は、コンピュータシステムにより読み込まれるデータが格納されるあらゆる種類の記録装置を網羅する。

記録媒体に記録されるプログラム指令は、本発明のために特別に設計され且つ構成されたものであってもよく、ソフトウェア分野における当業者にとって公知となって使用可能なものであってもよい。

コンピュータにて読み取り可能な記録媒体の例としては、ハードディスク、フロッピディスク及び磁気テープなどの磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ（読み込み専用のコンパクトディスク）、デジタル多用途ディスク（ＤＶＤ）などの光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）及びＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリなどのプログラム指令を格納しかつ行うように特別に工夫されたハードウェア装置が挙げられる。また、コンピュータにて読み取り可能な記録媒体は、ネットワークにより結ばれたコンピュータシステムに分散されて、分散方式によりコンピュータにて読み取り可能なコードが格納され且つ実行されてもよい。

プログラム指令の例としては、コンパイラにより作成されるような機械語コードだけではなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータにより起動可能な高級言語コードが挙げられる。

上述したハードウェア装置は、本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

上述した本発明の説明は、単なる例示のためのものであり、本発明の属する技術分野における通常の知識を有する者は、本発明の技術的な思想や必須的な特徴を変更することなく、他の具体的な形態へと容易に変形できることが理解できる筈である。よって、上述した実施形態は、あらゆる面において例示的なものに過ぎず、限定的ではないものと理解すべきである。例えば、単一型であると説明されている各構成要素は、分散されて実施されてもよく、同様に、分散されていると説明されている構成要素も、組み合わせられた形態に実施されてもよい。

本発明の範囲は、上記の詳細な説明よりは、特許請求の範囲によって表わされ、特許請求の範囲の意味及び範囲、並びにその均等概念から導き出されるあらゆる変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。

本発明は、「セグメンテーションを行うニューラルネットワークを用いた疾病診断システム及び方法」に利用可能である。

本発明の技術的思想に基づく多色モデル及びニューラルネットワークを用いた疾病の診断システムの概略的なシステム構成を示す図である。 本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムのハードウェア的な構成を説明するための図である。 本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムの論理的な構成を説明するための図である。 本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワークの全体的な構造を説明するための図である。 本発明の一実施形態に係るパッチレベル・クラシフィケーション・ニューラルネットワークの例示的な構成を説明するための図である。 本発明の一実施形態に係るパッチレベル・クラシフィケーション・ニューラルネットワークの例示的な構成を説明するための図である。 本発明の他の実施形態に係るパッチレベル・クラシフィケーション・ニューラルネットワークの例示的な構成を説明するための図である。 本発明の一実施形態に係るパッチレベル診断方法の実験結果を示す図である。 本発明の一実施形態に係るパッチレベル・セグメンテーション・アーキテクチャの全体的な構造を説明するための図である。 本発明の一実施形態に係るパッチレベル・セグメンテーション・ニューラルネットワークの具体的な例を示す図である。 本発明の実施形態に係るツーフェーズ疾病診断方法の概念を説明するための図である。 本発明の一実施形態に係るパッチレベル診断結果に基づくマーキング結果を示す図である。 本発明の一実施形態に係るスライドレベル診断方法の実験結果を示す図である。

Claims (14)

1. プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断システムにおいて、
   前記システムは、
   前記スライドが所定の大きさに分割された所定のパッチのそれぞれに対して、前記パッチを入力レイヤを介して入力されて前記パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・ニューラルネットワークを備え、
   前記パッチレベル・セグメンテーション・ニューラルネットワークは、
   前記パッチを入力レイヤを介して入力されて前記パッチに前記疾病が存在するか否かについてのパッチレベルの分類結果を出力するパッチレベル・クラシフィケーション・ニューラルネットワークと、
   前記パッチレベル・クラシフィケーション・ニューラルネットワークに含まれている隠れレイヤのうちの２以上のフィーチャマップ抽出レイヤのそれぞれで生成されるフィーチャマップを入力されて、前記パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・アーキテクチャと、を備える疾病診断システム。
2. 前記パッチレベル・セグメンテーション・アーキテクチャは、
   前記２以上のフィーチャ抽出レイヤのそれぞれに対応する畳み込みノードを含む畳み込みサブアーキテクチャ（前記畳み込みノードのそれぞれは、それに対応するフィーチャ抽出レイヤから入力されるフィーチャマップに対する畳み込みまたは２以上の互いに異なる畳み込みを行う）と、
   前記畳み込みサブアーキテクチャによって生成される畳み込み結果に基づいて前記パッチのうち疾病が存在する領域を特定するセグメンテーション・サブアーキテクチャと、を備える請求項１に記載の疾病診断システム。
3. 前記パッチレベル・セグメンテーション・アーキテクチャは、
   前記セグメンテーション・サブアーキテクチャから出力される結果物に対するセンタークロッピングを行うクロッピング・サブアーキテクチャをさらに備える請求項２に記載の疾病診断システム。
4. パッチレベル・クラシフィケーション・ニューラルネットワークは、
   前記パッチに対してオリジナル色情報の３チャンネルとグレイチャンネルを含む４チャンネル情報を入力レイヤを介して入力されることを特徴とする請求項１に記載の疾病診断システム。
5. 前記システムは、
   前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの分類結果、疾病として分類されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンをさらに備える請求項１に記載の疾病診断システム。
6. 前記スライド診断エンジンは、
   癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成し、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力することを特徴とする請求項５に記載の疾病診断システム。
7. 前記疾病は、
   前立腺癌であることを特徴とする請求項１に記載の疾病診断システム。
8. プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断方法において、
   前記システムが、前記スライドが所定の大きさに分割された所定のパッチのそれぞれに対して、前記パッチを前記ニューラルネットワークの入力レイヤを介して入力されて前記パッチのうち疾病が存在する領域を特定するステップを含み、
   前記ニューラルネットワークは、
   前記パッチを入力レイヤを介して入力されて前記パッチに前記疾病が存在するか否かについてのパッチレベルの分類結果を出力するパッチレベル・クラシフィケーション・ニューラルネットワークと、
   前記パッチレベル・クラシフィケーション・ニューラルネットワークに含まれている隠れレイヤのうちの２以上のフィーチャマップ抽出レイヤのそれぞれで生成されるフィーチャマップを入力されて、前記パッチのうち疾病が存在する領域を特定するパッチレベル・セグメンテーション・アーキテクチャと、を備える疾病診断方法。
9. 前記パッチレベル・セグメンテーション・アーキテクチャは、
   前記２以上のフィーチャ抽出レイヤのそれぞれに対応する畳み込みノードを含む畳み込みサブアーキテクチャ（前記畳み込みノードのそれぞれは、それに対応するフィーチャ抽出レイヤから入力されるフィーチャマップに対する畳み込みまたは２以上の互いに異なる畳み込みを行う）と、
   前記畳み込みサブアーキテクチャによって生成される畳み込み結果に基づいて前記パッチのうち疾病が存在する領域を特定するセグメンテーション・サブアーキテクチャと、を備える請求項８に記載の疾病診断方法。
10. 前記パッチレベル・セグメンテーション・アーキテクチャは、
    前記セグメンテーション・サブアーキテクチャから出力される結果物に対するセンタークロッピングを行うクロッピング・サブアーキテクチャをさらに備える請求項９に記載の疾病診断方法。
11. 前記ニューラルネットワークは、
    前記パッチに対してオリジナル色情報の３チャンネルとグレイチャンネルを含む４チャンネル情報を入力レイヤを介して入力されることを特徴とする請求項８に記載の疾病診断システム。
12. 前記疾病診断方法は、
    前記システムが、前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの分類結果、疾病として分類されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するステップをさらに含む請求項８に記載の疾病診断方法。
13. 前記スライドレベルの診断結果を出力するステップは、
    前記システムが、疾病と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成するステップと、
    形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力されて前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力するステップと、を含む請求項１２に記載の方法。
14. データ処理装置にインストールされ、請求項８乃至請求項１３のいずれか一項に記載の方法を行うための媒体に記録されたコンピュータプログラム。
    
    

Images