JP2021533471A - 多色モデル及びニューラルネットワークを用いた疾病診断システム及び方法 - Google Patents

Abstract

ニューラルネットワークによる学習を行って、学習されたニューラルネットワークを用いて生体組織の画像を様々な異なる色モデルの形態で入力することにより、所定の疾病（例えば、前立腺癌）を診断することのできるシステム及び該方法が開示される。本発明の一局面によれば、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断システムにおいて、システムは、スライドが所定の大きさに分割されたそれぞれのパッチに対して、パッチに相当する第１の画像情報乃至第Ｋの画像情報（ここで、Ｋは２以上の整数）を生成する前処理モジュール［ここで、第ｉの画像情報（ｉは１＜＝ｉ＜＝Ｋである任意の整数）は、第ｉの色モデル（ｃｏｌｏｒ ｍｏｄｅｌ）に相当する少なくとも一つのチャンネル値で構成され、第１の色モデル乃至第Ｋの色モデルは、いずれも互いに異なる色モデルである］と、分割されたそれぞれのパッチに対して、パッチに相当する第１の画像情報乃至第Ｎの画像情報を入力レイヤを介して入力してパッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するパッチニューラルネットワークと、を備える疾病診断システムが提供される。

Description

本発明は、多色モデル及びニューラルネットワークを用いた疾病診断システム及び該方法に関する。さらに詳しくは、ニューラルネットワークによる学習を行って、学習されたニューラルネットワークを用いて生体組織の画像を様々な異なる色モデルの形態で入力することにより、所定の疾病（例えば、前立腺癌）を診断することのできるシステム及び該方法に関する。

病理学または病理科において行う主な業務の一つは、患者の生体画像を読み取って特定の疾病に対する状態または徴候を判断する診断を行うことである。このような診断は、長期間にわたって熟練された医療従事者の経験と知識に依存する方式である。

最近には、機械学習の発達により、画像を認識したり分類したりするなどの業務をコンピュータシステムにより自動化させようとする試みが盛んに行われている。とりわけ、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ＣＮＮ）を用いたディープラーニング方式）を用いて、熟練された医療従事者が行っていた診断を自動化させるための試みが行われている。

特に、ニューラルネットワーク（例えば、ＣＮＮ）を用いたディープラーニングを通じた診断は、従来に熟練された医療従事者の経験と知識を単に自動化させることではなく、自ら学習を通じて特徴的な要素を見出して所望の解答を導き出すという点において、むしろ熟練された医療従事者が気づかなかった疾病因子の特徴を画像から見出す場合もある。

一般に、生体画像を用いるニューラルネットワークを通じた疾病の診断では、生体画像の断片、すなわち、パッチ（ｐａｔｃｈ、またはタイル（ｔｉｌｅ）ともいう。）を用いる。すなわち、当該タイルに対して熟練された医療従事者は、特定の疾病の状態（例えば、癌が発現したか否か）をアノテーション（ａｎｎｏｔａｉｏｎ）し、このようなアノ
テーション済みの多数のタイルをトレーニングデータとして用いて、ニューラルネットワークを学習することになる。このとき、ニューラルネットワークとしては、畳み込みニューラルネットワークが利用可能である。

しかしながら、このような方式の場合、学習されたニューラルネットワークは、当該タイルの画像特徴だけで当該タイルの疾病の状態を判断することになるが、実際には、特定の疾病に対して特定の生体組織の状態を判断する際には、特定の生体組織それ自体だけではなく、特定の生体組織の周りの組織の現況（例えば、模様、特定のパターンが存在するか否かなど）まで一緒に考慮されなければならない場合が存在する。しかしながら、従来の方式は、このような場合に向いていないという不都合がある。

一方、従来の学習には、生体画像またはパッチのカラーそれ自体を入力データとして入力することになる。例えば、生体画像またはパッチがＲＧＢ形式になっている場合、ＲＧＢの３種類のチャンネル値として定義される入力データをそのまま用いることになる。しかしながら、このような場合、生体画像に相当する生体組織の染色に使われる染色試薬の特性に応じて、染色される組織のカラーがそれぞれ異なることがあり、これは、学習されるニューラルネットワークに直接的な影響を及ぼす虞がある。

したがって、このような根源的な組織の画像特性ではなく、染色などに伴う非根源的なカラー特性にさらに強い方式によりニューラルネットワークが学習されることが必要になることがある。

韓国公開特許公報第１０−２０１６−００３４８１４号「ニューラルネットワークを伴ったクライアント装置及びそれを備えるシステム」

本発明が解決しようとする技術的課題は、多色モデルを用いることにより、疾病の発現有無の診断に根源的な画像特性ではなく、カラーに強い特性を有することのできるニューラルネットワークを用いた診断システム及び該方法を提供することである。

また、本発明が解決しようとする他の技術的課題は、特定のタイルの疾病に対する状態（例えば、疾病の発現有無、または疾病の状態を示す指標など）を判断するために前記特定のタイルだけではなく、周りのタイルまで学習に用いてさらに正確度を高めることのできるニューラルネットワークを用いる診断システム及び該方法を提供することである。

さらに、本発明が解決しようとするさらに他の技術的課題は、パッチ別の診断結果それ自体ではなく、当該パッチを含む広範な生体組織における疾病の発現有無を前記パッチ別の診断結果を活用して効果的に且つ高い正確度をもって診断することのできる診断システム及び該方法を提供することである。

本発明の一局面によれば、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断システムにおいて、前記システムは、前記スライドが所定の大きさに分割されたそれぞれのパッチに対して、前記パッチに相当する第１の画像情報乃至第Ｋの画像情報（ここで、Ｋは２以上の整数）を生成する前処理モジュール［ここで、第ｉの画像情報（ｉは１＜＝ｉ＜＝Ｋである任意の整数）は、第ｉの色モデル（ｃｏｌｏｒ ｍｏｄｅｌ）に相当する少なくとも一つのチャンネル値で構成され、第１の色モデル乃至第Ｋの色モデルは、いずれも互いに異なる色モデルである］と、前記分割されたそれぞれのパッチに対して、前記パッチに相当する前記第１の画像情報乃至第Ｋの画像情報を入力レイヤ（入力層）を介して入力して前記パッチに疾病が存在するか否かであるパッチレベル診断結果を出力するパッチニューラルネットワークと、を備える疾病診断システムが提供される。

一実施形態において、第１の色モデル乃至第Ｋの色モデルのそれぞれは、ＲＧＢモデル、ＨＳＶモデル、ＣＭＹＫモデル、ＹＣｂＣｒモデル、Ｇｒａｙモデルのうちのいずれか一つであることを特徴としてもよい。

一実施形態において、前記システムは、前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンをさらに備えていてもよい。

一実施形態において、前記スライド診断エンジンは、癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成し、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力して前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力することを特徴としてもよい。

一実施形態において、前記疾病は、前立腺癌であることを特徴としてもよい。

本発明の他の局面によれば、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断システムにおいて、前記システムは、前記スライドが所定の大きさに分割されたそれぞれのパッチに対して、前記パッチに相当する前記第１の画像情報乃至第Ｋの画像情報を入力レイヤを介して入力して前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するパッチニューラルネットワークと、前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンと、を備え、前記第ｉの画像情報（ｉは１＜＝ｉ＜＝Ｋである任意の整数）は、第ｉの色モデル（ｃｏｌｏｒ ｍｏｄｅｌ）に相当する少なくとも一つのチャンネル値で構成され、第１の色モデル乃至第Ｋの色モデルは、いずれも互いに異なる色モデルである疾病診断システムが提供される。

本発明のさらに他の局面によれば、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断方法において、前記システムが、前記スライドが所定の大きさに分割されたそれぞれのパッチに対して、前記パッチに相当する第１の画像情報乃至第Ｋの画像情報（ここで、Ｋは２以上の整数）を生成するステップ［ここで、第ｉの画像情報（ｉは１＜＝ｉ＜＝Ｋである任意の整数）は、第ｉの色モデル（ｃｏｌｏｒ ｍｏｄｅｌ）に相当する少なくとも一つのチャンネル値で構成され、第１の色モデル乃至第Ｋの色モデルは、いずれも互いに異なる色モデルである］と、前記分割されたそれぞれのパッチに対して、前記パッチに相当する前記第１の画像情報乃至第Ｋの画像情報を入力レイヤを介して入力して前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するステップと、を含む疾病診断方法が提供される。

一実施形態において、第１の色モデル乃至第Ｋの色モデルのそれぞれは、ＲＧＢモデル、ＨＳＶモデル、ＣＭＹＫモデル、ＹＣｂＣｒモデル、Ｇｒａｙモデルのうちのいずれか一つであることを特徴としてもよい。

一実施形態において、前記疾病診断方法は、前記システムが、前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するステップをさらに含んでいてもよい。

一実施形態において、前記スライドレベルの診断結果を出力するステップは、癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成するステップと、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力して前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力するステップと、を含んでいてもよい。

本発明のさらに他の局面によれば、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断方法において、前記システムが、前記スライドが所定の大きさに分割されたそれぞれのパッチに対して、前記パッチに相当する前記第１の画像情報乃至第Ｋの画像情報を入力レイヤを介して入力して前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するステップと、前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するステップと、を含み、前記第ｉの画像情報（ｉは１＜＝ｉ＜＝Ｋである任意の整数）は、第ｉの色モデル（ｃｏｌｏｒ ｍｏｄｅｌ）に相当する少なくとも一つのチャンネル値で構成され、第１の色モデル乃至第Ｋの色モデルは、いずれも互いに異なる色モデルである疾病診断方法が提供される。

本発明のさらに他の局面によれば、データ処理装置にインストールされ、上述した方法を行うための媒体に記録されたコンピュータプログラムが提供される。

本発明の技術的思想によれば、入力される入力データ、すなわち、パッチのオリジナル色モデルに該当するカラー値（例えば、ＲＧＢ３チャンネル値）だけではなく、他の色モデルに該当するチャンネル値（例えば、ＨＳＶ３チャンネル値、グレイチャンネル値など）をさらに入力データとして活用することにより、カラー差が示す疾病に関連する画像特性をよく反映しながらも、疾病の発現有無の診断に根源的な画像特性ではなく、カラーの様々な要因に伴うバリエーション（ｖａｒｉａｔｏｎ）に強い特性を有することができる。

また、本発明の技術的思想によれば、特定のパッチに対する診断を行いながら、特定のパッチを含み、周りのパッチをさらに含む巨視パッチまで一緒に考慮して特定のパッチの疾病に対する状態を判断できるニューラルネットワークを提供することにより、さらに高い診断の正確度を提供することができるという効果がある。

さらに、本発明の技術的思想によれば、パッチ別の診断結果それ自体だけで当該パッチを含むスライドに疾病が発現したと判断する場合の不都合を解決するために、当該パッチを含むスライドにおける疾病の発現有無をクラスタ及びクラスタフィーチャ（特徴）を用いて再び判断することにより、効果的に且つ高い正確度をもって診断を行うことができるという効果がある。

本発明の詳細な説明の欄において引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。

本発明の技術的思想に基づく多色モデル及びニューラルネットワークを用いた疾病の診断システムの概略的なシステム構成を示す図である。 本発明の実施形態に係る多色モデル及びニューラルネットワークを用いた疾病の診断システムの論理的な構成を説明するための図である。 本発明の実施形態に係る多色モデル及びニューラルネットワークを用いた疾病の診断システムのハードウェア的な構成を説明するための図である。 本発明の実施形態に係るニューラルネットワークの例示的な構成を説明するための図である。 本発明の実施形態に係るニューラルネットワークの例示的な構成を説明するための図である。 本発明の他の実施形態に係るニューラルネットワークの例示的な構成を説明するための図である。 本発明の他の実施形態に係るニューラルネットワークの例示的な構成を説明するための図である。 本発明の実施形態に係るツーフェーズ疾病の診断方法の概念を説明するための図である。 本発明の一実施形態に係るパッチレベル診断方法の実験結果を示す図である。 本発明の一実施形態に係るパッチレベル診断結果に基づくマーキング結果を示す図である。 本発明の一実施形態に係るスライドレベル診断方法の実験結果を示す図である。

本発明は、様々な変更を加えることができ、種々の実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明において詳しく説明する。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物ないし代替物を含むものと理解されるべきである。なお、本発明について説明するにあたって、関連する公知の技術についての具体的な説明が本発明の要旨を余計に曖昧にする虞があると認められる場合にはその詳細な説明を省略する。

「第１の」、「第２の」などの用語は、様々な構成要素を説明するうえで使用可能であるが、構成要素は、用語によって何等限定されない。用語は、ある構成要素を他の構成要素から区別する目的でしか使えない。

この出願において用いた用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈からみて明らかに他の意味を有さない限り、複数の表現を含む。

この明細書において、「備える」、「含む」または「有する」などの用語は、明細書の上に記載の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものに過ぎず、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたもの存在または付加の可能性を予め排除しないものと理解すべきである。

また、この明細書においては、ある一つの構成要素が他の構成要素にデータを「伝送」する場合には、これは、構成要素が、他の構成要素に直接的にデータを伝送してもよく、少なくとも一つのさらに他の構成要素を介してデータを他の構成要素に伝送してもよいことを意味する。逆に、ある一つの構成要素が他の構成要素にデータを「直接的に伝送」する場合には、これは、構成要素から他の構成要素を介さずに他の構成要素にデータが伝送されることを意味する。

以下、添付図面に基づいて、本発明の実施形態を中心に本発明について詳しく説明する。各図面に示されている同一の参照符号は、同一の部材を示す。

図１は、本発明の技術的思想に基づく多色モデル及びニューラルネットワークを用いた疾病診断システムの概略的なシステム構成を示す図である。

図１を参照すると、本発明の技術的思想に基づく多色モデル及びニューラルネットワークを用いた疾病の診断システム（以下、診断システムと称する。）１００は、所定のサーバ１０に設けられて本発明の技術的思想を実現することができる。サーバ１０は、本発明の技術的思想を実現するための演算能力をもったデータ処理装置を意味し、一般に、ネットワークを介してクライアントが接続可能なデータ処理装置だけではなく、パソコン、携帯端末などのように特定のサービスが行えるいかなる装置もまたサーバとして定義可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。

サーバ１０は、図３に示すように、プロセッサ１１及び格納装置１２を備えていてもよい。プロセッサ１１は、本発明の技術的思想を実現するためのプログラム１２−１を駆動し得る演算装置を意味してもよく、プロセッサ１１は、プログラム１２−１と、本発明の技術的思想により定義されるニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）１２−２とを用いて診断を行うことができる。ニューラルネットワーク１２−２は、後述するように、パッチレベル診断を行うパッチニューラルネットワークを備えていてもよい。パッチニューラルネットワークは、多色モデルを用いてパッチレベル診断を行ってもよい。

「多色モデルを用いて診断を行う」とは、すべてが互いに異なる複数の色モデルのそれぞれのチャンネル値を入力レイヤを介して入力し、疾病の存在を診断することを意味してもよい。万が一Ｋ個（ここで、Ｋは２以上の整数）の色モデルである第１の色モデル乃至第Ｋの色モデルを用いる場合、パッチニューラルネットワークは、第１の色モデル乃至第Ｋの色モデルのそれぞれに相当するチャンネル値を入力レイヤを介して入力してもよい。例えば、ＲＧＢ色モデル、ＨＳＶ色モデル及びグレイ色モデルが用いられる場合、パッチニューラルネットワークは、ＲＧＢ３チャンネル、ＨＳＶチャンネル及びグレイチャンネルを入力してもよい。

本発明の一実施形態に係る複数の色モデルを用いたパッチレベル診断には、ＲＧＢモデル、ＨＳＶモデル、ＣＭＹＫモデル、ＹＣｂＣｒモデル、Ｇｒａｙモデルのうちの少なくとも一部が用いられてもよい。

実現例に応じて、ニューラルネットワーク１２−２は、スライドレベル診断を行うニューラルネットワークをさらに備えていてもよい。実施形態に応じて、スライドレベル診断を行う構成は、ニューラルネットワークだけではなく、様々なマシンラーニング手法を通じて実現されてもよい。本発明の技術的思想によれば、スライドレベル診断を行う診断エンジンとしては、公知のＸＧＢｏｏｓｔが用いられたが、様々な方式のマシンラーニング手法に基づく診断エンジンが実現されてもよく、このような診断エンジンは、格納装置１２に格納されてもよいことはいうまでもない。

サーバ１０は、図３に示すように、プロセッサ１１及び格納装置１２を備えていてもよい。プロセッサ１１は、本発明の技術的思想を実現するためのプログラム１２−１を駆動し得る演算装置を意味してもよく、プロセッサ１１は、プログラム１２−１と、本発明の技術的思想により定義されるニューラルネットワーク（Ｎｅｒｕａｌ Ｎｅｔｗｏｒｋ）１２−２を用いて診断を行うことができる。ニューラルネットワーク１２−２は、後述するように、パッチレベル診断を行うパッチニューラルネットワークを備えていてもよい。実現例に応じて、ニューラルネットワーク１２−２は、スライドレベル診断を行うニューラルネットワークをさらに備えていてもよい。実施形態に応じて、スライドレベル診断を行う構成は、ニューラルネットワークだけではなく、様々なマシンラーニング手法を通じて実現されてもよい。本発明の技術的思想によれば、スライドレベル診断を行う診断エンジンとしては、公知のＸＧＢｏｏｓｔが用いられたが、様々な方式のマシンラーニング手法に基づく診断エンジンが実現されてもよく、このような診断エンジンは、格納装置１２に格納されてもよいことはいうまでもない。

格納装置１２は、プログラム１２−１、ニューラルネットワーク１２−２、及び／又はスライドレベル診断を行う診断エンジンを格納し得るデータ格納手段を意味してもよく、実現例に応じて、複数の格納手段により実現されてもよい。また、格納装置１２は、サーバ１０に組み込まれている主記憶装置だけではなく、プロセッサ１１に組み込まれ得る一時格納装置またはメモリなどを網羅する意味であってもよい。

診断システム１００は、図１または図３には、いずれか一つの物理的な装置により実現されるものとして示されているが、必要に応じて、複数の物理的な装置が有機的に結合されて本発明の技術的思想に基づく診断システム１００を実現することができるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。

この明細書において、「診断システム１００が診断を行う」とは、生体組織が表現された生体画像、すなわち、スライドの全体またはスライドの一部であるパッチを入力してこの明細書において定義された出力データを出力する一連のプロセスを意味してもよい。

一例によれば、診断システム１００は、ツーフェーズ（ｔｗｏ ｐｈａｓｅ）診断を行うことができる。一つ目のフェーズは、パッチレベル診断を行う過程であってもよく、このような過程において、診断システム１００は、スライドのパッチ別に入力され、当該パッチに疾病の発現有無を出力することができる。このためのニューラルネットワークが学習されて実現されてもよいことはいうまでもない。

二つ目のフェーズは、一つ目のフェーズの診断結果を通じてスライドに疾病が発現したか否かを出力することができる。このような過程には、ニューラルネットワークまたは所定のマシンラーニング手法が用いられてもよい。

すなわち、パッチ別の診断結果に基づいて、たとえ一部のパッチに疾病が発現したと判断されたとしても、当該パッチを含むスライドの全体に相当する生体組織において疾病が発現したと判断されない可能性は存在することがある。例えば、疾病が発現したと判断されたパッチがスライド内においてぐちゃぐちゃに乱れているが、あるいは、その枚数が少ない場合、または密集度などその他の疾病が発現したと判断されたパッチの物理的な特性（例えば、位置、大きさ、密集度など）が実際に当該スライドにおける疾病の発現有無の判断に重要な意味を有することもある。したがって、二つ目のフェーズは、パッチ別の診断結果とこのような診断結果に基づいて判断されたパッチ（すなわち、疾病が発現したと診断されたパッチ）の特性に基づいて、スライドにおける疾病の発現有無を判断することにより、効果的に且つ高い正確度をもって診断を行うことができる。

一方、パッチレベル診断を行うニューラルネットワークは、本発明の技術的思想によれば、当該パッチのみを用いて診断を行うわけではなく、当該パッチの周りのパッチまでさらに考慮して診断を行ってもよい。このような技術的思想は、本出願人が出願した韓国特許出願（出願番号第１０−２０１６−０１６８１７６号、ニューラルネットワークを用いた疾病の診断システム及び該方法、以下、「以前の出願」と称する。）に詳しく開示されている。これを通じて、枝葉の領域、すなわち、パッチに当該する領域のみを単独で考慮して診断を行う場合よりは、その周りの領域まで一緒に考慮する場合に診断の正確性を高めることができる。さらに、本発明の技術的思想によれば、特定のパッチの周りのパッチだけではなく、全体のスライドにおけるパッチの位置、密集度、クラスタの大きさなどの物理的な特性をさらに考慮することにより、スライドに疾病が存在するか否かをさらに正確に判断することができるという効果がある。以前の出願は、本発明のレファレンスとして取り込まれ、その内容は、この明細書に記載されたものとして取り扱われてもよい。

いうまでもなく、本発明の他の実施形態によれば、以前の出願のように、微視ネットワークと巨視ネットワーク、すなわち、ツーウェイ（ｔｗｏ−ｗａｙ）方式のニューラルネットワークを用いるわけではなく、単一のワンウェイ（ｏｎｅ−ｗａｙ）ニューラルネットワークを用いてもよい。例えば、本発明の実施形態に係るニューラルネットワークは、図５に示す通りである。

いかなる場合でも、ニューラルネットワークは、パッチを入力して入力されたパッチに疾病が発現したか否かを出力するように定義されるニューラルネットワークであればよい。

このとき、ニューラルネットワークは、各パッチに相当する多色モデルのそれぞれのチャンネル値を入力値として入力して診断を行うように学習されることを特徴としてもよい。

万が一、Ｋ個（Ｋは２以上の整数）の色モデルである第１の色モデル乃至第Ｋの色モデルが用いられると、ニューラルネットワークは、第１の色モデル乃至第Ｋの色モデルのそれぞれに相当するチャンネル値を入力値として受けて診断を行うように学習されてもよい。言い換えれば、ニューラルネットワークは、各パッチに対して、パッチに相当する第１の画像情報乃至第Ｋの画像情報を入力レイヤを介して入力してパッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するように学習されてもよい。このとき、第ｉの画像情報（ｉは１＜＝ｉ＜＝Ｋである任意の整数）は、第ｉの色モデルに相当する少なくとも一つのチャンネル値で構成される。

一方、パッチレベル診断を行うニューラルネットワークが出力する状態情報は、パッチに当該する組織に特定の疾病（例えば、特定の種類の癌）が発現したか否かに対する確率を示す情報であってもよい。ニューラルネットワークは、特定の基準値（しきい値）以上の確率が示される場合、パッチを疾病（例えば、前立腺癌）が発現したパッチと判断してもよい。

いうまでもなく、ニューラルネットワークは、以前の出願に開示されているように、特定の疾病の発現有無だけではなく、特定の疾病の進み具合を示す情報（または、進み具合に当該する確率）であってもよい。例えば、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進み具合を示す指標であるグリーソンスコア（Ｇｌｅａｓｏｎ Ｐａｔｔｅｒｎ）またはグリーソンスコア（Ｇｌｅａｓｏｎ Ｓｃｏｒｅ）が、ニューラルネットワークが出力する状態情報に含まれてもよい。例えば、グリーソンスコアは、２〜５の値を有し、数字が大きくなれば大きくなるほど、前立腺癌が発現した度合いが激しいことを示す。したがって、状態情報は、診断の対象となるパッチに当該する生体組織がグリーソンスコアの特定の値（例えば、３、４、または５）に当該する確率を意味してもよい。

状態情報は、複数存在してもよい。例えば、第１の状態情報は、グリーソンスコアが３である確率、第２の状態情報は、グリーソンスコアが４である確率、第３の状態情報は、グリーソンスコアが５である確率を示すことができ、これらの第１の状態情報、第２の状態情報、第３の状態情報に相当する状態チャンネルがすべて出力レイヤに定義されてもよい。実現例に応じては、グリーソンスコアが一定の範囲（例えば、３〜５、４〜５など）を有する確率を示す状態情報が定義されてもよい。すなわち、一つの状態情報が疾病の進み具合を表現する複数の指標に対応してもよい。

このような場合、ニューラルネットワークは、グリーソンスコアが３以上である状態情報が所定のしきい値以上である場合、パッチを疾病パッチ、すなわち、疾病が発現したパッチと判断することができる。

一方、ニューラルネットワークが用いるしきい値は、種々に設定されてもよい。実施形態によれば、しきい値は、複数用いられてもよい。しきい値に基づいて、特定のパッチが、疾病が発現したパッチ、すなわち、疾病パッチと判断されてもよく、ノーマルパッチと判断されてもよいことはいうまでもない。

本発明の技術的思想によれば、ニューラルネットワークが用いるしきい値は、複数であってもよく、このような場合、複数のしきい値のそれぞれに応じて診断される疾病パッチは異なってくることがある。したがって、しきい値のそれぞれに応じて疾病パッチがスライド上において配置される特性もまた異なってくることがある。このため、あるしきい値を用いる場合、スライドにおける診断結果の正確度もまた異なってくることがある。

したがって、本発明の技術的思想は、後述するように、複数のしきい値のそれぞれに応じて診断された疾病パッチがスライドにおいて有する物理的な特性を多重的に考慮して、スライド診断エンジンがスライドの診断を行うように実現されてもよい。このような技術的思想については、後述する。

診断システム１００が所定のサーバ１０に組み込まれて実現される場合、診断システム１００は、サーバ１０に接続可能な少なくとも一つのクライアント（例えば、２０、２０−１）と通信を行うこともできる。このような場合、クライアント（例えば、２０、２０−１）は、生体画像を診断システム１００に伝送してもよく、診断システム１００は、伝送された生体画像に対して本発明の技術的思想に基づく診断を行ってもよい。そして、診断結果をクライアント（例えば、２０、２０−１）に伝送してもよい。

診断システム１００は、本発明の技術的思想に基づくニューラルネットワークを用いてパッチレベル診断を行ってもよい。いうまでもなく、このような診断を行うために、ニューラルネットワークを学習させるプロセスを先に行ってもよい。ニューラルネットワークを学習させるプロセスにおいても前述した多色モデルが用いられてもよいことはいうまでもない。

また、スライドレベル診断にもまた、所定のニューラルネットワークが用いられてもよいことは、前述した通りである。

したがって、診断システム１００は、本発明の技術的思想に基づいて学習されたニューラルネットワーク及びニューラルネットワークを用いて診断を行うためのプログラムを外部から受信して診断を行うシステムであってもよく、ニューラルネットワークの学習まで行うシステムであってもよい。なお、診断システム１００は、汎用のデータ処理装置ではなく、本発明の技術的思想を実現するために製作された専用装置として実現されてもよく、このような場合には、生体画像を走査するための手段などがさらに配備されてもよい。

ニューラルネットワークは、以前の出願に開示されているように、特定のパッチに対する診断を行うために特定のパッチそれ自体の画像のみを考慮するわけではなく、特定のパッチの隣の少なくとも一つのパッチの画像までも考慮して特定のパッチの診断を行う特徴を有していてもよい。このような技術的思想によって、実際に特定のパッチに当該する生体組織の診断のために生体組織だけではなく、生体組織の周りの組織の状態まで考慮しなければならない疾病の診断に非常に有意味なレベルまで正確度を向上させることが可能になるという効果がある。なお、生体画像を多数のパッチに分割する場合、パッチの分割方式や分割された領域が生体組織のどのような位置であるかに応じて生じ得る診断結果の影響に強い効果を有することができる。

いうまでもなく、前述したように、ニューラルネットワークは、以前の出願に開示されている特徴を有していなくてもよく、いかなる場合でも、ニューラルネットワークは、パッチ別に診断を行うように学習されるニューラルネットワークであってもよい。

このとき、ニューラルネットワークは、従来とは異なり、パッチに含まれているピクセルのそれぞれに対して多色モデルのそれぞれのチャンネル値を入力値として受け入れてもよい。すなわち、ニューラルネットワークは、パッチのオリジナル色モデルによって定義されるオリジナルチャンネル値の他に一つ以上の追加色モデルのそれぞれにより定義されるチャンネル値をさらに入力として受け入れてもよい。例えば、ニューラルネットワークは、パッチ別に入力を受け入れながら、パッチに含まれているピクセルのオリジナル色モデルのそれぞれのチャンネル値（例えば、ＲＧＢ３チャンネル）と併せて、追加色モデルのそれぞれのチャンネル値（例えば、グレイチャンネル値、ＨＳＶ３チャンネル値、ＣＭＹＫ４チャンネル値及び／又はＹＣｂＣｒ３チャンネル値など）をさらに入力として受け入れてもよい。

このような場合、生体画像のカラーが疾病に関連する画像特性とは無関係な要因（例えば、診断機関の特性、染色試薬など）により変化があり得る場合に強い効果を有することができる。また、一つの画像を様々な色モデルで表現してこれをすべて用いることにより、疾病に関連する画像特性が反映されて表示される際、これらの重要な情報よりよく反映することができるという利点がある。

このような技術的思想を実現するための診断システム２００は、論理的に図２に示すような構成を有することができる。

図２は、本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムの論理的な構成を説明するための図である。

図２を参照すると、診断システム１００は、制御モジュール１１０及びニューラルネットワーク及び／又はスライド診断エンジンが格納された診断モジュール１２０を備える。また、診断システム１００は、前処理モジュール１３０をさらに備えていてもよい。本発明の実施形態に応じては、上述した構成要素のうちの一部の構成要素は、必ずしも本発明の実現に欠かせない構成要素に該当するとは限らず、また、実施形態に応じて、診断システム１００は、これよりもさらに多い構成要素を備えていてもよいことはいうまでもない。例えば、診断システム１００は、クライアント（例えば、２０、２０−１）と通信するための通信モジュール（図示せず）をさらに備えていてもよい。

診断システム１００は、本発明の技術的思想を実現するために必要とされるハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備えた論理的な構成を意味してもよく、必ずしも一つの物理的な構成要素を意味したり、一つの装置を意味したりするとは限らない。すなわち、診断システム１００は、本発明の技術的思想を実現するために配備されるハードウェア及び／又はソフトウェアの論理的な結合を意味してもよく、必要に応じて、互いに離れている装置に設けられてそれぞれの機能を行うことにより、本発明の技術的思想を実現するための論理的な構成の集まりとして実現されてもよい。また、診断システム１００は、本発明の技術的思想を実現するためのそれぞれの機能または役割別に別途に実現される構成の集まりを意味してもよい。例えば、制御モジュール１１０、診断モジュール１２０及び／又は前処理モジュール１３０のそれぞれは、互いに異なる物理的な装置に位置してもよく、同一の物理的な装置に位置してもよい。また、実現例に応じては、制御モジュール１１０、診断モジュール１２０及び／又は前処理モジュール１３０のそれぞれを構成するソフトウェア及び／又はハードウェアの結合もまた互いに異なる物理的な装置に位置し、互いに異なる物理的な装置に位置している構成が互いに有機的に結合されてそれぞれのモジュールを実現してもよい。

また、この明細書において、「モジュール」とは、本発明の技術的思想を行うためのハードウェア及びハードウェアを駆動するためのソフトウェアの機能的、構造的な結合を意味してもよい。例えば、モジュールは、所定のコードと所定のコードが実行されるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味してもよく、必ずしも物理的に連結されたコードを意味したり、１種類のハードウェアを意味したりするとは限らないということは、本発明の技術分野における平均的な専門家にとっては容易に推論できる筈である。

制御モジュール１１０は、本発明の技術的思想を実現するために、診断システム１００に備えられている他の構成要素（例えば、診断モジュール１２０及び／又は前処理モジュール１３０など）を制御してもよい。

さらに、制御モジュール１１０は、診断モジュール１２０に格納されたニューラルネットワーク及び／又はスライド診断エンジンを用いて、本発明の技術的思想に基づく診断を行ってもよい。

診断モジュール１２０は、パッチレベル診断を行うパッチ診断エンジン及びスライドレベル診断を行うスライド診断エンジンを備えていてもよい。

パッチレベル診断エンジンは、前述したように、本発明の技術的思想に基づくディープラーニングに基づくニューラルネットワークを通じて実現されてもよい。スライド診断エンジンには、ディープラーニングに基づくニューラルネットワークが用いられてもよく、ニューラルネットワークではなく、所定のマシンラーニング（例えば、ＸＧＢｏｏｓｔ）エンジンが用いられてもよい。

ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集まりを意味してもよい。この明細書において、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。

畳み込みニューラルネットワークは、周知のごとく、入力レイヤ、複数の隠れレイヤ、及び出力レイヤを備えていてもよい。複数の隠れレイヤのそれぞれは、畳み込みレイヤ及びプーリングレイヤ（または、サブサンプリングレイヤ）を備えていてもよい。

畳み込みニューラルネットワークは、これらのそれぞれのレイヤを定義するための関数、フィルタ、ストライド（ｓｔｒｉｄｅ）、重み係数などにより定義されてもよい。また、出力レイヤは、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されたフィードフォワードレイヤ（ＦｅｅｄＦｏｒｗａｒｄ ｌａｙｅｒ）により定義されてもよい。

畳み込みニューラルネットワークを構成するそれぞれのレイヤ別の設計事項は、広く知られている。例えば、複数のレイヤに備えられるべきレイヤの数、複数のレイヤを定義するための畳み込み関数、プーリング関数、活性化関数のそれぞれに対しては公知の関数が用いられてもよく、本発明の技術的思想を実現するために別途に定義された関数が用いられてもよい。

本発明の実施形態によれば、パッチレベル診断を行うニューラルネットワークとしては、公知の高密度畳み込みネットワーク（ｄｅｎｓｅｎｅｔ）を利用し、このとき、以前の出願に開示されているように、診断の対象となる特定のパッチだけではなく、周りのパッチまでも考慮できるように設計されてもよい。この他にも、様々なニューラルネットワークが活用されてもよく、いかなる場合でも、ニューラルネットワークは、特定のパッチを入力され、当該特定のパッチの疾病発現の確率に相当する特徴量を出力するように定義されてもよい。

制御モジュール１１０は、診断モジュール１２０に格納されたパッチレベルニューラルネットワーク、すなわち、学習されたニューラルネットワークに入力データ、すなわち、パッチ別の入力を受けてもよい。このとき、前述したように、各パッチ別に多色モデルのそれぞれに相当するチャンネル値を入力してもよい。

さらに詳しくは、パッチレベルニューラルネットワークは、それぞれのパッチに相当する第１の画像情報乃至第Ｋの画像情報を入力レイヤを介して入力してもよく、第ｉの画像情報（ｉは、１＜＝ｉ＜＝Ｋである任意の整数）は、第ｉの色モデル（ｃｏｌｏｒ ｍｏｄｅｌ）に相当する少なくとも一つのチャンネル値で構成される。

例えば、万が一ＲＧＢ色モデル、ＨＳＶ色モデル、ＣＭＹＫ色モデルが用いられる実施形態の場合、パッチレベルニューラルネットワークは、各パッチ別に、第１の画像情報である当該パッチに相当するＲＧＢ３チャンネル値、第２の画像情報である当該パッチに相当するＨＳＶ３チャンネル値、及び第３の画像情報である当該パッチに相当するＣＭＹＫ４チャンネル値を入力してもよい。

入力される複数の色モデルの各チャンネル値は、各パッチのオリジナルピクセル値をそれぞれの色モデルに変換して取得されてもよいことはいうまでもない。

そして、ニューラルネットワークにより定義される演算を行って出力データ、すなわち、パッチに該当する疾病の発現確率に相当する特徴量を出力してもよい。なお、実施形態に応じては、後述するように、スライドレベル診断のために特徴量が所定のしきい値であるか否かに応じて当該パッチに疾病が発現したか否かを出力してもよい。

また、診断モジュール１２０は、スライド診断エンジンを備えていてもよく、スライド診断エンジンもまた、制御モジュール１１０により学習されて実現されてもよい。

スライド診断エンジンは、ニューラルネットワークの出力結果に基づいて、疾病パッチをマーキングしてもよい。マーキングとは、スライド内において疾病パッチを区別することを意味してもよい。一例によれば、スライド診断エンジンは、疾病パッチを他のパッチと区別されるように表示してヒートマップを生成してもよい。そして、生成されたヒートマップに基づいて、疾病パッチを複数枚にクラスタリングしてもよい。一実施形態によれば、スライド診断エンジンは、疾病パッチを少なくとも二枚にクラスタリングしてもよい。そして、これらの中で最も大きなクラスタ二つをスライド診断に用いてもよい。しかしながら、二つ以上のクラスタをスライド診断に用いてもよいことはいうまでもない。

スライド診断エンジンは、それぞれのクラスタ別の所定の特徴量を算出してもよい。そして、算出された特徴量を入力データとして入力された入力データに相当するスライドに疾病が発現したか否かを出力するように学習される。

さらに、スライド診断エンジンは、複数のしきい値をいずれも考慮して学習されてもよい。これを通じて、しきい値の設定に強いスライド診断結果を出力することができる。これについては、後述する。

前処理モジュール１３０は、ニューラルネットワークを用いて診断を行う前に必要とされる生体画像の前処理を行ってもよい。例えば、生体画像の前処理は、生体画像を予め定義された大きさのパッチにパッチ化する過程を含んでいてもよい。

また、実施形態に応じて、前処理モジュール１３０は、パッチ別のピクセルを多色モデルに変換して各色モデルに相当するチャンネル値を算出してもよい。すなわち、前処理モジュール１３０は、パッチに相当する第１の画像情報乃至第Ｋの画像情報（ここで、Ｋは２以上の整数）を生成してもよい。このとき、第ｉの画像情報（ｉは１＜＝ｉ＜＝Ｋである任意の整数）は、第ｉの色モデルに相当する少なくとも一つのチャンネル値で構成される。例えば、ＲＧＢ色モデル、ＨＳＶ色モデル、ＣＭＹＫ色モデルが用いられる実施形態の場合、パッチのオリジナルピクセルがＲＧＢ３チャンネル値で構成されている場合は、前処理モジュール１３０は、当該パッチの各ピクセルのオリジナルＲＧＢ３チャンネル値をＨＳＶ３チャンネル値及びＣＭＹＫ４チャンネル値に変換することができる。

また、前処理モジュール１３０は、必要に応じて、ニューラルネットワークに適した方式で適切な画像処理を行ってもよいということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。

図４は、本発明の実施形態に係るニューラルネットワークの構成を説明するための図である。

図４を参照すると、本発明の技術的思想に基づくニューラルネットワーク２００は、微視ニューラルネットワーク及び巨視ニューラルネットワークを備える。

まず、図４ａを参照すると、以前の出願にも開示されているように、微視ニューラルネットワークは、複数のレイヤ２１０及び出力レイヤ２３０を備える。複数のレイヤ２１０には、入力レイヤ２１１及び複数の隠れレイヤ２１２が備えられる。

巨視ニューラルネットワークは、複数のレイヤ２２０及び出力レイヤ２３０を備える。複数のレイヤ２２０には、入力レイヤ２２１及び複数の隠れレイヤ２２２が備えられる。

微視ニューラルネットワークは、特定のパッチ３０を入力され、特定のパッチの診断結果、すなわち、出力レイヤ２３０に定義された出力データを出力するように定義される。

また、巨視ニューラルネットワークは、特定のパッチ３０を備え、特定のパッチ３０の隣のパッチを少なくとも一つ含む巨視パッチ４０を入力され、特定のパッチの診断結果を出力するように定義される。

すなわち、本発明の技術的思想に基づくニューラルネットワーク２００は、特定のパッチ３０の診断結果を出力するために、特定のパッチ３０の画像特性だけではなく、特定のパッチ３０の隣のパッチの画像特性まで考慮して診断結果を出力してもよい。

巨視パッチ４０としては、図４には、パッチを取り囲む３×３のパッチが用いられる一例を示しているが、様々な実施形態が採用可能であることはいうまでもない。

出力レイヤ２３０は、微視ニューラルネットワークに備えられている出力レイヤ２３０の直前のレイヤである第１の直前のレイヤ２１２−１と、巨視ニューラルネットワークに備えられている出力レイヤ２３０の直前のレイヤである第２の直前のレイヤ２２２−１のそれぞれの出力データを入力して出力レイヤ２３０に定義された出力データを出力してもよい。第１の直前のレイヤ２１２−１、第２の直前のレイヤ２２２−１、及び出力レイヤ２３０は、全結合（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）されてもよい。

出力レイヤ２３０を定義するフィードフォワード（Ｆｅｅｄｆｏｒｗａｒｄ）関数としては、入力レイヤを介して入力される入力データがニューラルネットワーク２００を介して結果的に出力レイヤ２３０に出力データを出力する様々な関数のいずれか一つが用いられてもよい。

結局、ニューラルネットワーク２００は、特定のパッチ３０に対して診断を行うために、特定のパッチ３０の画像特性と、特定のパッチ３０を含む巨視パッチ４０の画像特性を一緒に考慮して、多数のトレーニングデータのアノテーション値に相当する出力レイヤ２３０の出力データを出力するように学習される。

すなわち、ニューラルネットワーク２００を学習するためには、多数のトレーニングデータが用いられ、多数のトレーニングデータは、特定のパッチ３０及び巨視パッチ４０の一対を含んでいてもよい。そして、巨視パッチ４０もまた、特定のパッチ３０のアノテーション情報を用いて学習を行ってもよい。

すると、ニューラルネットワーク２００は、特定のパッチ３０と巨視パッチ４０の画像特性をいずれも考慮して、特定のパッチ３０のアノテーション情報に相当する出力データを出力できるように学習されてもよい。

そして、学習されたニューラルネットワーク２００は、診断の対象となる対象パッチ及び対象パッチに相当する巨視パッチを、それぞれ微視ニューラルネットワーク及び巨視ニューラルネットワークの入力レイヤの入力データとして入力されると、対象パッチの診断結果、すなわち、出力レイヤ２３０の出力データを出力することができる。

出力レイヤ２３０は、図４ａに示すように、診断の対象となる特定のパッチ３０の診断結果を出力データとして出力してもよい。診断結果は、特定のパッチ３０の疾病の状態に関する情報を少なくとも含んでいてもよい。疾病の状態に関する情報は、単に特定の疾病が特定のパッチ３０に発現したか否か（または、確率値）に関する情報を意味してもよい。しかしながら、疾病の種類に応じて、疾病の状態に関する情報には、より具体的に、疾病の進み具合を示す情報が含まれてもよい。

出力レイヤは、以前の出願に開示されているように、単に疾病の発現有無を出力するだけではなく、色々なさらなる情報を出力するように設計されてもよい。例えば、疾病の進み具合を示す情報及び／又は状態チャンネルの値と関連付けられた関連因子の発現の度合いを示す関連因子情報を含んでいてもよい。これについては以前の出願に詳しく開示されているため、その詳しい説明は省略する。

図４ａに示すニューラルネットワーク２００が用いられる場合、図４ａには示されていないが、出力レイヤ２３０の出力データを入力して最終的に入力されたパッチの疾病の発現確率に相当する特徴量を出力するレイヤがさらに存在してもよいことはいうまでもない。

または、図４ｂに示すように、ニューラルネットワークは、図４ａに示すように、複数の状態チャンネル及び関連因子チャンネルを出力するレイヤの代わりに入力されたパッチの疾病の発現確率に相当する特徴量を出力するレイヤ２４０を有するように設計されてもよい。

本発明の他の一実施形態によれば、パッチレベル診断のためのニューラルネットワークは、図４に示すように、二つの経路（微視ネットワーク及び巨視ネットワークのそれぞれの経路）を有する方式ではなく、単一の経路を有するように設計されてもよい。このような一例は、図５に示す通りである。

図５ａ及び図５ｂは、本発明の他の実施形態に係るニューラルネットワークの例示的な構成を説明するための図である。

図５ａ及び図５ｂを参照すると、前述したように、ニューラルネットワークは、パッチ単位で入力を受け、入力されたパッチの疾病有無を判断するように定義されてもよい。このとき、ニューラルネットワークは、多色モデルの各チャンネル値を入力してもよい。図５ａに示すように、ニューラルネットワークは、オリジナルＲＧＢ３チャンネル値とグレイチャンネル値（合計４つのチャンネル値）を入力してもよい。あるいは、図５ｂに示すように、ＲＧＢ３チャンネル値、ＨＳＶ３チャンネル値、及びＣＭＹＫ４チャンネル値（合計１０チャンネル値）を入力してもよい。その他にも、様々な色モデルの組み合わせが可能できることはいうまでもない。

入力されたデータは、図５ａ及び図５ｂに示すように、畳み込みレイヤ、最大プーリング当たりの多数のレイヤを通過して出力データ、すなわち、入力されたパッチが疾病パッチであるか否かを出力するように定義されてもよい。このようなニューラルネットワークは、公知のｄｅｎｓｅｎｅｔモデルを用いたニューラルネットワークであってもよい。そして、このとき、本発明の技術的思想に基づくニューラルネットワークは、元のｄｅｎｓｅｎｅｔモデルに比べて１×１畳み込みが追加されることが分かり、これを通じて、内部の特徴マップを確認することができるという効果がある。なお、活性関数としてシグノイド（Ｓｉｇｎｏｉｄ）関数が用いられているが、様々な活性関数が用いられてもよい。

その他の様々な方式でパッチレベル診断を行うニューラルネットワークが定義されてもよいことが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。

図７は、本発明の一実施形態に係るパッチレベル診断方法の実験結果を示す図である。図７の実験では、各ピクセル値のオリジナル３チャンネルのほか、グレイチャンネル値をさらに入力してもよいニューラルネットワークが適用された。

図７を参照すると、ニューラルネットワークは、トレインデータセットとして、癌とラベル付けされたパッチ６２３５８枚、及びノーマル（正常）とラベル付けされたパッチ１０８３００枚を用いてニューラルネットワークを学習し、バリデーションセットとして、癌であるパッチ８９６３枚、ノーマルであるパッチ１５４９９枚を用いた。そして、テストセットとして、癌であるパッチ１４８９８枚、ノーマルであるパッチ１９０８９枚を用いた。

そして、そのときの実験結果であるａｃｃｕｒａｃｙ（正確度）、ｐｒｅｃｉｓｉｏｎ（精度）、ｓｅｎｓｉｔｉｖｉｔｙ（感度）、ｓｐｅｃｉｆｉｃｉｔｙ（特異度）は、それぞれ図７に示すように、非常に高い性能を示すことが分かる。なお、ピクセル値としてオリジナル値の３チャンネルのみを用いる場合に比べて性能が向上したことを確認した。

図６は、本発明の実施形態に係るツーフェーズ疾病の診断方法の概念を説明するための図である。

図６に示すように、生体組織に相当する生体画像、すなわち、スライドからサンプリングされたパッチがニューラルネットワーク２００の学習に用いられてもよい。パッチは、癌とラベル付けされるパッチとノーマルとラベル付けされるパッチとが、所定の割合を有するようにサンプリングされたものであってもよい。

そして、ニューラルネットワーク２００は、前述したように、グレイチャンネルをさらに備えるパッチ別の入力データを入力して学習され、その結果、ニューラルネットワーク２００は、それぞれのパッチが癌であるか否か（または、確率値）を出力するように学習される。

すると、このようにして学習されたニューラルネットワーク２００は、図６の下部に示すように、スライドが入力された場合、それぞれのスライドに含まれているそれぞれのパッチに対してパッチレベル診断を行うことができる。

そして、スライド診断エンジンは、パッチレベル診断結果に基づいて、疾病パッチをマーキングしてもよい。例えば、図６に示すように、ヒートマップを生成してもよい。

また、図８は、本発明の一実施形態に係るパッチレベル診断結果に基づくマーキング結果を示す図であるが、図８（ａ）は、熟練された専門家によりラベル付けされた生体組織の画像を示し、図８（ｂ）は、学習されたニューラルネットワーク２００により生成されたヒートマップを示す。図８から明らかなように、非常に正確な診断を行うことが可能であるということが分かる。

一方、生成したヒートマップに基づいて、スライド診断エンジンは、クラスタを生成してもよい。スライド診断エンジンは、所定のクラスタリングアルゴリズムを用いて疾病パッチをクラスタリングしてもよい。本発明の実施形態によれば、スライド診断エンジンは、公知のＤＢＳＣＡＮアルゴリズムを通じてクラスタリングを行ったが、様々なクラスタリング手法が利用可能であることはいうまでもない。

スライド診断エンジンは、クラスタリングの結果として生成されたクラスタ別にクラスタフィーチャを取り出しても良い。

クラスタフィーチャは、疾病の発現に関連する特徴を示し得る特徴的な値であってもよい。

一例によれば、クラスタフィーチャは、クラスタに含まれている疾病パッチの枚数、パッチ別の疾病である確率値の平均、パッチ別の疾病である確率値の最大値、及びパッチ別の疾病である確率値の最小値を含んでいてもよい。このようなクラスタフィーチャが含まれる場合、スライド診断エンジンの診断結果が相対的に高くなることを確認することができた。

また、実施形態に応じて、クラスタフィーチャは、クラスタのそれぞれの長軸（ｍａｊｏｒ ａｘｉｓ）、短軸（ｍｉｎｏｒ ａｘｉｓ）、面積（ａｒｅａ）、及び密度（ｄｅｎｓｉｔｙ）をさらに含んでいてもよい。これは、クラスタの物理的な特徴と密接な関わりがあり、このようなクラスタフィーチャが一緒に用いられる場合にさらに診断性能が高くなる。

一方、クラスタは、それぞれのパッチが疾病パッチと判断されるか否かに応じて、その位置、大きさ、及び上述したようなクラスタフィーチャが異なってくることがある。そして、これは、パッチレベル診断においてどのようなしきい値を用いるかに依存する。

本発明の技術的思想によれば、スライドレベル診断のために複数のしきい値が一緒に用いられてもよい。

一例によれば、本発明の実施形態においては、５個の互いに異なるしきい値が用いられているが、様々な実施形態が採用可能である。

そして、それぞれのしきい値に基づいて、特定のパッチが疾病パッチと診断される結果は異なってくることがあり、これにより、クラスタリング結果もまた異なってくることがあることはいうまでもない。

本発明の実施形態に係るスライド診断エンジンは、例えば、Ｎ（例えば、５）個のしきい値及びＮ個のしきい値のそれぞれを基準として疾病が発現したパッチを所定の方式でクラスタリングしてＭ（例えば、２）個のクラスタを形成した。

そして、形成されたクラスタのそれぞれに対してＰ（例えば、上述した８個のクラスタフィーチャ）個のクラスタフィーチャを算出した。なお、このような場合、一つのスライドに対してＭ×Ｎ×Ｐ（例えば、８０）個のクラスタフィーチャが取り出されてもよい。

そして、このような特徴量が入力値として入力され、出力データとしてスライドに疾病が存在するか否かを出力するようにスライド診断エンジンは学習されてもよい。

このような実施形態を通じた実験結果は、図９に示されている。

図９は、本発明の一実施形態に係るスライドレベル診断方法の実験結果を示す図である。

図９に示す実験結果は、前述したクラスタフィーチャ８個がいずれも用いられた場合であり、しきい値は５個用いられ、二つのクラスタを用いた場合の実験結果を示す。このような実施形態において、トレインデータセットとして、癌が発現したスライド４７８枚、ノーマルであるスライド２１８枚が用いられた。また、バリデーションセットとして、癌が発現したスライド１１７枚、ノーマルであるスライド５７枚が用いられ、テストセットとして、癌が発現したスライド１３０２枚、ノーマルであるスライド１６５８枚が用いられた。

そして、そのときの実験結果であるａｃｃｕｒａｃｙ（正確度）、ｐｒｅｃｉｓｉｏｎ（精度）、ｓｅｎｓｉｔｉｖｉｔｙ（感度）、ｓｐｅｃｉｆｉｃｉｔｙ（特異度）は、それぞれ図９に示すように、高い性能を示すことが分かる。

また、この明細書においては、前立腺癌に対して本発明の技術的思想が適用された一例について主として説明したが、特定の組織だけではなく、当該組織の周りの組織の状態まで考慮して特定の組織の診断を行う必要がある他の疾病に対しても本発明の技術的思想が適用される場合に正確な診断を行うことが可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。

一方、実現例に応じて、診断システム１００は、プロセッサ、及びプロセッサにより起動されるプログラムを格納するメモリを備えていてもよい。プロセッサは、シングルコア中央演算処理装置（ＣＰＵ）もしくはマルチコア中央演算処理装置（ＣＰＵ）を備えていてもよい。メモリは、高速ランダムアクセスメモリを備えていてもよく、一台以上の磁気ディスク格納装置、フラッシュメモリ装置、またはその他の不揮発性固体状態メモリ装置などの不揮発性メモリを備えていてもよい。プロセッサ及びその他の構成要素によるメモリへのアクセスは、メモリコントローラにより制御されてもよい。

一方、本発明の実施形態に係る多色モデル及びニューラルネットワークを用いた診断方法は、コンピュータにて読み取り可能なプログラム指令の形態で実現されてコンピュータにて読み取り可能な記録媒体に格納されてもよく、本発明の実施形態に係る制御プログラム及び対象プログラムもまた、コンピュータにて読み取り可能な記録媒体に格納されてもよい。コンピュータにて読み取り可能な記録媒体は、コンピュータシステムにより読み込まれるデータが格納されるあらゆる種類の記録装置を網羅する。

記録媒体に記録されるプログラム指令は、本発明のために特別に設計され且つ構成されたものであってもよく、ソフトウェア分野における当業者にとって公知となって使用可能なものであってもよい。

コンピュータにて読み取り可能な記録媒体の例としては、ハードディスク、フロッピディスク及び磁気テープなどの磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ（読み込み専用のコンパクトディスク）、デジタル多用途ディスク（ＤＶＤ）などの光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）及びＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリなどのプログラム指令を格納しかつ行うように特別に工夫されたハードウェア装置が挙げられる。また、コンピュータにて読み取り可能な記録媒体は、ネットワークにより結ばれたコンピュータシステムに分散されて、分散方式によりコンピュータにて読み取り可能なコードが格納され且つ実行されてもよい。

プログラム指令の例としては、コンパイラにより作成されるような機械語コードだけではなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータにより起動可能な高級言語コードが挙げられる。

上述したハードウェア装置は、本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

上述した本発明の説明は、単なる例示のためのものであり、本発明の属する技術分野における通常の知識を有する者は、本発明の技術的な思想や必須的な特徴を変更することなく、他の具体的な形態へと容易に変形できることが理解できる筈である。よって、上述した実施形態は、あらゆる面において例示的なものに過ぎず、限定的ではないものと理解すべきである。例えば、単一型であると説明されている各構成要素は、分散されて実施されてもよく、同様に、分散されていると説明されている構成要素も、組み合わせられた形態に実施されてもよい。

本発明の範囲は、上記の詳細な説明よりは、特許請求の範囲によって表わされ、特許請求の範囲の意味及び範囲、並びにその均等概念から導き出されるあらゆる変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。

本発明は、「多色モデル及びニューラルネットワークを用いた疾病診断システム及び方法」に利用可能である。

Claims (12)

1. プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断システムにおいて、
   前記システムは、
   前記スライドが所定の大きさに分割されたそれぞれのパッチに対して、前記パッチに相当する第１の画像情報乃至第Ｋの画像情報（ここで、Ｋは２以上の整数）を生成する前処理モジュール［ここで、第ｉの画像情報（ｉは１＜＝ｉ＜＝Ｋである任意の整数）は、第ｉの色モデル（ｃｏｌｏｒ ｍｏｄｅｌ）に相当する少なくとも一つのチャンネル値で構成され、第１の色モデル乃至第Ｋの色モデルは、いずれも互いに異なる色モデルである］と、
   前記分割されたそれぞれのパッチに対して、前記パッチに相当する前記第１の画像情報乃至第Ｋの画像情報を入力レイヤを介して入力して前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するパッチニューラルネットワークと、
   を備える疾病診断システム。
2. 前記第１の色モデル乃至第Ｋの色モデルのそれぞれは、
   ＲＧＢモデル、ＨＳＶモデル、ＣＭＹＫモデル、ＹＣｂＣｒモデル、Ｇｒａｙモデルのうちのいずれか一つであることを特徴とする請求項１に記載の疾病診断システム。
3. 前記システムは、
   前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンをさらに備える請求項１に記載の疾病診断システム。
4. 前記スライド診断エンジンは、
   癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成し、形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力して前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力することを特徴とする請求項３に記載の疾病診断システム。
5. 前記疾病は、
   前立腺癌であることを特徴とする請求項１に記載の疾病診断システム。
6. プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断システムにおいて、
   前記システムは、
   前記スライドが所定の大きさに分割されたそれぞれのパッチに対して、前記パッチに相当する前記第１の画像情報乃至第Ｋの画像情報を入力レイヤを介して入力して前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するパッチニューラルネットワークと、
   前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するスライド診断エンジンと、
   を備え、
   前記第ｉの画像情報（ｉは１＜＝ｉ＜＝Ｋである任意の整数）は、第ｉの色モデルに相当する少なくとも一つのチャンネル値で構成され、第１の色モデル乃至第Ｋの色モデルは、いずれも互いに異なる色モデルである疾病診断システム。
7. プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断方法において、
   前記システムが、前記スライドが所定の大きさに分割されたそれぞれのパッチに対して、前記パッチに相当する第１の画像情報乃至第Ｋの画像情報（ここで、Ｋは２以上の整数）を生成するステップ［ここで、第ｉの画像情報（ｉは１＜＝ｉ＜＝Ｋである任意の整数）は、第ｉの色モデルに相当する少なくとも一つのチャンネル値で構成され、第１の色モデル乃至第Ｋの色モデルは、いずれも互いに異なる色モデルである］と、
   前記分割されたそれぞれのパッチに対して、前記パッチに相当する前記第１の画像情報乃至第Ｋの画像情報を入力レイヤを介して入力して前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するステップと、
   を含む疾病診断方法。
8. 前記第１の色モデル乃至第Ｋの色モデルのそれぞれは、
   ＲＧＢモデル、ＨＳＶモデル、ＣＭＹＫモデル、ＹＣｂＣｒモデル、Ｇｒａｙモデルのうちのいずれか一つであることを特徴とする請求項７に記載の疾病診断方法。
9. 前記疾病診断方法は、
   前記システムが、前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するステップをさらに含む請求項１に記載の疾病診断方法。
10. 前記スライドレベルの診断結果を出力するステップは、
    癌と判断されたパッチを所定の方式でクラスタリングして複数のクラスタを形成するステップと、
    形成されたクラスタのそれぞれに対して複数のクラスタフィーチャを入力値として入力して前記クラスタを含む前記スライドの前記スライドレベルの診断結果を出力するステップと、
    を含む請求項９に記載の疾病診断方法。
11. プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像であるスライドと前記ニューラルネットワークを用いた疾病の診断方法において、
    前記システムが、前記スライドが所定の大きさに分割されたそれぞれのパッチに対して、前記パッチに相当する前記第１の画像情報乃至第Ｋの画像情報を入力レイヤを介して入力して前記パッチに疾病が存在するか否かであるパッチレベルの診断結果を出力するステップと、
    前記スライドに含まれている多数のパッチのそれぞれのパッチレベルの診断結果、癌と判断されたパッチをマーキングし、マーキングされた結果に基づいて、前記スライドに疾病が存在するか否かであるスライドレベルの診断結果を出力するステップと、
    を含み、
    前記第ｉの画像情報（ｉは１＜＝ｉ＜＝Ｋである任意の整数）は、第ｉの色モデルに相当する少なくとも一つのチャンネル値で構成され、第１の色モデル乃至第Ｋの色モデルは、いずれも互いに異なる色モデルである疾病診断方法。
12. データ処理装置にインストールされ、請求項７乃至請求項１１のいずれか一項に記載の方法を行うための媒体に記録されたコンピュータプログラム。
    
    

Images