JP2021526261A - デュアルクラスに対応できる疾病診断システム及び該方法 - Google Patents

デュアルクラスに対応できる疾病診断システム及び該方法 Download PDF

Info

Publication number
JP2021526261A
JP2021526261A JP2020566818A JP2020566818A JP2021526261A JP 2021526261 A JP2021526261 A JP 2021526261A JP 2020566818 A JP2020566818 A JP 2020566818A JP 2020566818 A JP2020566818 A JP 2020566818A JP 2021526261 A JP2021526261 A JP 2021526261A
Authority
JP
Japan
Prior art keywords
state
unit
states
neural network
disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020566818A
Other languages
English (en)
Other versions
JP7109815B2 (ja
Inventor
サン フム リー
サン フム リー
ジョーン ヤン チョウ
ジョーン ヤン チョウ
ソン ワ キム
ソン ワ キム
Original Assignee
ディープ バイオ インク
ディープ バイオ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディープ バイオ インク, ディープ バイオ インク filed Critical ディープ バイオ インク
Publication of JP2021526261A publication Critical patent/JP2021526261A/ja
Application granted granted Critical
Publication of JP7109815B2 publication Critical patent/JP7109815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像とニューラルネットワークを用いた疾病の診断システムが開示される。診断システムのプロセッサは、格納装置に格納されたニューラルネットワークを、所定のロスファンクションと生体画像に含まれている所定の単位ユニットに対して単位ユニットが複数の状態の少なくとも一つの状態を有するとラベル付けされた学習データを用いて、複数の状態の少なくとも一つの状態を有する確率に対応する判断値を出力するように学習し、ニューラルネットワークは、単位ユニットが複数の状態のそれぞれと判断される確率に対応する複数のフィーチャ値を出力する特定のレイヤを備え、ロスファンクションは、多数の単位ユニットのうち、複数の状態−複数の状態は、さらに高い確率の状態を有すると判断される第１の状態及び第１の状態よりは低い状態を有すると判断される第２の状態を含む−を有するとラベル付けされたデュアルラベリング単位ユニットに対して、特定のレイヤのフィーチャ値のうち、第１の状態に相当する第１のフィーチャ値と、第２の状態に相当する第２のフィーチャ値とを両方とも反映してロスを演算するように定義されることを特徴とする。

Description

本発明は、ニューラルネットワーク（神経網）を用いた疾病の診断システム及び該方法に関する。さらに詳しくは、ニューラルネットワークを学習させて疾病を診断するようにしながら、特定の単位ユニット（例えば、生体組織に相当するイメージのピクセル）に対してはデュアルクラスでのラベル付けを許容し、これを用いてさらに高い正確性を有するニューラルネットワークを築くことのできるシステム及び該方法に関する。
病理学または病理科において行う主な業務の一つは、患者の生体画像を読み取って特定の疾病に対する状態または徴候や兆候を判断する診断を行うことである。このような診断は、長期間にわたって熟練された医療従事者の経験と知識に依存する方式である。
最近では、機械学習の発達により、イメージを認識したり分類したりするなどの業務をコンピュータシステムにより自動化させようとする試みが盛んに行われている。とりわけ、機械学習の一種であるニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒｌａ ｎｅｔｗｏｒｋ；ＣＮＮ）を用いたディープラーニング方式）を用いて、熟練された医療従事者が行っていた診断を自動化させるための試みが行われている。
特に、ニューラルネットワーク（例えば、ＣＮＮ）を用いたディープラーニングを通じた診断は、従来に熟練された医療従事者の経験と知識を単に自動化させることではなく、自ら学習を通じて特徴的な要素を見出して所望の解答を導き出すという点において、むしろ熟練された医療従事者が気づかなかった疾病因子の特徴をイメージから見出す場合もある。
一般に、生体画像を用いるニューラルネットワークを通じた疾病の診断では、生体画像の断片、すなわち、パッチ（ｐａｔｃｈ）（または、タイル（ｔｉｌｅ）ともいう。）を用いる。すなわち、当該パッチに対して熟練された医療従事者は、特定の疾病の状態（例えば、癌が発現したか否か）をアノテーション（注釈付け、ａｎｎｏｔａｉｏｎ）し、このようなアノテーション済みの多数枚のパッチをトレーニングデータとして用いて、ニューラルネットワークを学習することになる。この際、ニューラルネットワークとしては、畳み込みニューラルネットワークが利用可能である。
しかしながら、このような方式の場合、パッチ（例えば、５１２×５１２のピクセル）別に疾病の発現有無を判断するようにニューラルネットワークが学習されて、当該パッチ内のどのような部分が疾病であるかが不明になるという不都合がある。
また、既存には、ニューラルネットワークの入力単位である単位ユニット（例えば、パッチ）別にいずれか一つの疾病状態（例えば、疾病があるか否か、あるいは、疾病がある場合にどのような状態であるか（例えば、前立腺癌である場合、グリーソンスコア値））のみを判断するように学習するが、熟練された医療従事者が判断する場合にも、この単位ユニットは、第１の状態である可能性もあれば、第２の状態である可能性もある場合、すなわち、複数の状態のいずれか一つである可能性がはっきりと現れたわけではなく、第１の状態である可能性が大きいとはいえ、第２の状態である可能性も存在する場合が存在することがある。
このような場合に、従前には、特定の単位ユニットが複数の状態のうち任意の状態になる可能性が存在するが、これを無視したままでいずれか一つの特定の状態であると仮定してラベル付けを行って学習データを生成し、そのような学習データを用いて学習されたニューラルネットワークもまた複数の状態を有する可能性がある単位ユニットをまるで明らかに特定の状態を有する単位ユニットのように取り扱ってしまう。
しかしながら、このような場合、特定の単位ユニットに対して複数の状態を有する可能性があるという情報それ自体もまた有意味な情報として学習に反映する場合、そのような情報それ自体が有意味な情報になることができ、ニューラルネットワークの正確度の改善に役立つことができる。
大韓民国公開特許公報第１０−２０１６−００３４８１４号「ニューラルネットワークを伴ったクライアント装置及びそれを備えるシステム」
本発明が解決しようとする技術的課題は、第１の状態または第２の状態などニューラルネットワークが出力するクラスのいずれか一つとして明らかに分類され得る入力データ（単位ユニット）ではなく、分類されるべきクラスの判断が曖昧であるが故に複数の状態である可能性が存在する単位ユニットの場合、このような複数の状態である可能性が存在する単位ユニットの特徴的なフィーチャもまた学習に利用できるようにすることで、性能の改善を図ることのできるシステム及び該方法を提供することである。
また、本発明が解決しようとする他の技術的課題は、パッチ別の診断ではなく、ピクセル別の診断が行えるようにして、疾病が発現する部分とそうではない部分の細密なセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）が可能なディープラーニングモデルに対応できるシステム及び該方法を提供することである。
技術的課題を達成するための、プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像と前記ニューラルネットワークを用いた疾病の診断システムは、前記プロセッサが、前記格納装置に格納された前記ニューラルネットワークを、所定のロスファンクションと前記生体画像に含まれている所定の単位ユニットに対して前記単位ユニットが複数の状態の少なくとも一つの状態を有するとラベル付けされた学習データを用いて、前記複数の状態の少なくとも一つの状態を有する確率に対応する判断値を出力するように学習し、前記ニューラルネットワークは、前記単位ユニットが複数の状態のそれぞれと判断される確率に対応する複数のフィーチャ値を出力する特定のレイヤ（層）を備え、前記ロスファンクションは、多数の単位ユニットのうち、前記複数の状態−前記複数の状態は、さらに高い確率の状態を有すると判断される第１の状態及び第１の状態よりは低い状態を有すると判断される第２の状態を含む−を有するとラベル付けされたデュアルラベリング単位ユニットに対して、前記特定のレイヤのフィーチャ値のうち、第１の状態に相当する第１のフィーチャ値と、前記第２の状態に相当する第２のフィーチャ値とを両方とも反映してロスを演算するように定義されることを特徴とする。
前記ロスファンクションは、前記第１のフィーチャ値に比べて、前記第２のフィーチャ値がさらに多いロスを有するように定義されることを特徴としてもよい。
前記ロスファンクションは、次の数式１で定義されることを特徴としてもよい。
Figure 2021526261
ここで、
Figure 2021526261
は、複数の状態のインデックスであり、
Figure 2021526261
は、複数の状態のうち
Figure 2021526261
番目の状態に相当するフィーチャ値であり、
Figure 2021526261
は、前記第１のフィーチャ値であり、
Figure 2021526261
は、前記第２のフィーチャ値である。
前記単位ユニットは、前記生体画像のピクセル単位であってもよい。
前記プロセッサは、前記ピクセル単位の判断値に基づいて、それぞれのピクセルが予め定められた判断値を有する場合、当該ピクセルは、疾病に当該する疾病ピクセルと判断し、判断結果に基づいて、前記生体画像において疾病ピクセルを他のピクセルと区別して表示してもよい。
前記疾病は、前立腺癌であってもよい。
前記複数の状態は、正常、グリーソンスコア３、グリーソンスコア４、及びグリーソンスコア５を含んでいてもよい。
前記技術的課題を解決するための、プロセッサ及び格納装置を備えるシステムに実現され、生体画像とニューラルネットワークを用いた疾病の診断システムが行う方法は、前記格納装置に格納された前記ニューラルネットワークを、所定のロスファンクションと前記生体画像に含まれている所定の単位ユニットに対して前記単位ユニットが複数の状態の少なくとも一つの状態を有するとラベル付けされた学習データを入力されるステップと、入力された学習データを用いて、それぞれの単位ユニットに対して前記複数の状態の少なくとも一つの状態を有する確率に対応する判断値を出力するように学習するステップと、を含み、前記ニューラルネットワークは、前記単位ユニットが複数の状態のそれぞれと判断される確率に対応する複数のフィーチャ値を出力する特定のレイヤを備え、前記ロスファンクションは、多数の単位ユニットのうち、前記複数の状態−前記複数の状態は、さらに高い確率の状態を有すると判断される第１の状態及び第１の状態よりは低い状態を有すると判断される第２の状態を含む−を有するとラベル付けされたデュアルラベリング単位ユニットに対して、前記特定のレイヤのフィーチャ値のうち、第１の状態に相当する第１のフィーチャ値と、前記第２の状態に相当する第２のフィーチャ値とを両方とも反映してロスを演算するように定義されてもよい。
前記方法は、前記ピクセル単位の判断値に基づいて、それぞれのピクセルが予め定められた判断値を有する場合、当該ピクセルは、疾病に当該する疾病ピクセルと判断するステップと、判断結果に基づいて、前記生体画像において疾病ピクセルを他のピクセルと区別して表示するステップと、をさらに含んでいてもよい。
上記の方法は、データ処理装置にインストールされるコンピュータプログラムと、前記コンピュータプログラムを起動できるデータ処理装置のハードウェアを通じて実現されてもよい。
本発明の技術的思想によれば、複数の状態のいずれか一つとして明らかに分類され得る入力データ（単位ユニット）ではなく、ラベル付けの際にクラスの判断が曖昧であるが故に複数の状態である可能性が存在する単位ユニットの場合、このような複数の状態である可能性が存在する単位ユニットの特徴的なフィーチャもまた学習に利用できるようにすることで、性能の改善を図ることができるという効果がある。
また、パッチ別の診断ではなく、ピクセル別の診断が行えるようにして、疾病が発現する部分とそうではない部分の細密なセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）が可能になるという効果がある。
本発明の詳細な説明の欄において引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
本発明の技術的思想に従ったニューラルネットワークを用いた疾病の診断システムの概略的なシステム構成を示す図である。 本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムの論理的な構成を説明するための図である。 本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムのハードウェア的な構成を説明するための図である。 本発明の他の実施形態に係るニューラルネットワークの構成を概念的に説明するための図である。 本発明の実施形態に係るセグメンテーション結果を例示的に示す図である。
本発明は、様々な変更を加えることができ、種々の実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明において詳しく説明する。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物ないし代替物を含むものと理解されるべきである。なお、本発明について説明するにあたって、関連する公知の技術についての具体的な説明が本発明の要旨を余計に曖昧にする虞があると認められる場合にはその詳細な説明を省略する。
「第１の」、「第２の」などの言い回しは、様々な構成要素を説明するうえで使用可能であるが、構成要素は、言い回しによって何等限定されない。上記の言い回しは、ある構成要素を他の構成要素から区別する目的でしか使えない。
この出願において用いた用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈からみて明らかに他の意味を有さない限り、複数の言い回しを含む。
この明細書において、「備える」、「含む」または「有する」などの用語は、明細書の上に記載の特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものに過ぎず、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたもの存在または付加の可能性を予め排除しないものと理解すべきである。
また、この明細書においては、ある一つの構成要素が他の構成要素にデータを「伝送」する場合には、これは、構成要素が、他の構成要素に直接的にデータを伝送してもよく、少なくとも一つのさらに他の構成要素を介してデータを他の構成要素に伝送してもよいことを意味する。逆に、ある一つの構成要素が他の構成要素にデータを「直接的に伝送」する場合には、これは、構成要素から他の構成要素を介さずに他の構成要素にデータが伝送されることを意味する。
以下、添付図面に基づいて、本発明の実施形態を中心に本発明について詳しく説明する。各図面に示されている同一の参照符号は、同一の部材を示す。
図１は、本発明の技術的思想に従ったニューラルネットワークを用いた疾病の診断システムの概略的なシステム構成を示す図である。
図１を参照すると、本発明の技術的思想に従ったニューラルネットワークを用いた疾病の診断システム（以下、診断システムと称する。）１００は、所定のサーバ１０に設けられて本発明の技術的思想を実現することができる。サーバ１０は、本発明の技術的思想を実現するための演算能力をもったデータ処理装置を意味し、一般に、ネットワークを介してクライアントが接続可能なデータ処理装置だけではなく、パソコン、携帯端末などのように特定のサービスが行えるいかなる装置もまたサーバとして定義可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
サーバ１０は、図３に示すように、プロセッサ１１及び格納装置１２を備えていてもよい。プロセッサ１１は、本発明の技術的思想を実現するためのプログラム１２−１を駆動し得る演算装置を意味してもよく、プロセッサ１１は、プログラム１２−１と、本発明の技術的思想により定義されるニューラルネットワーク（Ｎｅｒｕａｌ Ｎｅｔｗｏｒｋ）１２−２を用いて診断を行うことができる。
プログラム１２−１は、本発明の技術的思想を実現するために定義されるソフトウェアを意味してもよい。
格納装置１２は、プログラム１２−１及びニューラルネットワーク１２−２を格納し得るデータ格納手段を意味してもよく、実現例に応じて、複数の格納手段により実現されてもよい。また、格納装置１２は、サーバ１０に組み込まれている主記憶装置だけではなく、プロセッサ１１に組み込まれ得る一時格納装置またはメモリなどを網羅する意味のものであってもよい。
診断システム１００は、図１または図３には、いずれか一つの物理的な装置により実現されるものとして示されているが、必要に応じて、複数の物理的な装置が有機的に結合されて本発明の技術的思想に従った診断システム１００を実現することができるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
以下、この明細書において、「診断システム１００が所定の機能を行う」とは、プロセッサ１１がプログラム１２−１を用いて所定の機能を行うことを意味してもよいことはいうまでもない。
この明細書において、「診断システム１００が診断を行う」とは、生体組織が表現された生体画像を所定の単位ユニット別に入力されてこの明細書において定義された出力データを出力する一連のプロセスを意味してもよい。
単位ユニットは、診断を行う単位を意味してもよい。一例によれば、単位ユニットは、生体画像のピクセル単位であってもよい。いうまでもなく、実施形態に応じて、単位ユニットは、生体画像のパッチ単位であってもよく、スライド単位であってもよい。
この明細書においては、単位ユニットがピクセル単位である場合、したがって、ピクセル別に診断システム１００により診断された結果が疾病が発現したピクセルであるか、あるいは、そうではないピクセルであるかが判断される場合を一例として挙げて説明するが、実現例に応じて、単位ユニットは異なってくることがあるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
出力データは、診断システム１００が用いるニューラルネットワークの出力レイヤが出力する情報を意味してもよく、出力データは、生体画像に含まれている単位ユニットに当該する生体組織が特定の疾病に対してどのような状態であるかを示す状態情報を含んでいてもよい。
例えば、状態情報は、単位ユニットに当該する組織に特定の疾病（例えば、特定の種類の癌）が発現したか否かに対する確率に相当する情報であってもよい。あるいは、後述するように、単に特定の疾病の発現有無だけではなく、特定の疾病の進み具合を示す情報（または、進み具合に当該する確率）であってもよい。例えば、後述するように、本発明の技術的思想が前立腺癌の診断に用いられる場合、前立腺癌の進み具合を示す指標であるグリーソンパターン（Ｇｌｅａｓｏｎ Ｐａｔｔｅｒｎ）またはグリーソンスコア（Ｇｌｅａｓｏｎ Ｓｃｏｒｅ）が状態情報に含まれ得る。例えば、グリーソンパターンは、２〜５の値を有し、数字が大きくなれば大きくなるほど、前立腺癌が発現した度合いが激しいことを示す。したがって、状態情報は、診断の対象となる単位ユニットに当該する生体組織がグリーソンパターンの特定の値（例えば、３、４、または５）に当該する確率に相当する情報またはノーマル（すなわち、疾病が発現していない場合）に当該する確率に相当する情報を含むことができる。
状態情報は、複数存在してもよい。例えば、本発明の技術的思想によれば、状態は、４個のチャンネルにより実現されてもよい。例えば、第１の状態は、当該単位ユニットがノーマルである状態、第２の状態は、グリーソンパターンが３である状態、第３の状態は、グリーソンパターンが４である状態、第４の状態は、グリーソンパターンが５である状態であってもよい。
それぞれの状態チャンネルに当該するフィーチャ値は、各状態が有する確率に相当する値であってもよく、値が大きくなれば大きくなるほど、その状態である可能性が大きくなるようにニューラルネットワークは学習されてもよい。
このような複数の状態に当該するフィーチャ値を出力するレイヤは、ニューラルネットワークの最終レイヤであってもよく、最終レイヤの直前のレイヤであってもよい。後者の場合、複数の状態に当該するフィーチャ値を出力する直前のレイヤは、複数の状態（例えば、前述した４個の状態）に当該するフィーチャ値を出力し、最終レイヤは、直前のレイヤのフィーチャ値のうち最も大きな値を有する状態（例えば、ノーマル、グリーソンパターン３、４、５のいずれか一つ）を出力値として出力してもよい。
あるいは、最終レイヤが複数の状態を出力するレイヤであってもよい。これは、ニューラルネットワークを設計する実施形態に応じて容易に異なってくることがあるということはいうまでもない。
本発明の技術的思想によれば、ニューラルネットワークの学習データは、複数の状態のいずれか一つとラベル付けされるわけではなく、複数の状態を有するとラベル付けされてもよい。
すなわち、熟練された医療従事者または単位ユニットを目視で確認して当該単位ユニットがどのような状態であるかをアノテーション（ラベル付け）できる専門家にとって、単位ユニットは、複数の状態のいずれか一つの状態であるものとして明らかに区別できるわけではなく、第１の状態または第２の状態として分類される可能性がある場合が存在することがある。
すなわち、学習データとして用いられる生体画像の単位ユニットが明らかにいずれか一つの状態（クラス）として分類できるわけではなく、複数の状態を有する可能性、すなわち、曖昧な場合が存在することがある。
このような場合、従来には、たとえ曖昧性を有するとしても、複数の状態のいずれか一つを選んで、当該単位ユニットは、選ばれた状態とラベル付けされ、このようなラベル付けの結果に基づいて、ニューラルネットワークが学習される。
しかしながら、本発明の技術的思想によれば、曖昧性を有するイメージ特性それ自体が有用な情報を有することができ、このようなイメージ特性は、いずれか一つの可能性が高いクラス（状態）と予断されてラベル付けされる場合よりは、曖昧性を有するそれ自体とラベル付けされる場合に、従来の方式よりもさらに高い正確性を有するようにニューラルネットワークが学習され得る。
例えば、ラベル付けを行う専門家は、ある特定の単位ユニットは、第１の状態（例えば、ノーマル）として分類される可能性が大きいものの、第２の状態（例えば、グリーソンスコア３）と判断される可能性もまた少しはあると判断してもよい。
このような場合及び第１の状態（例えば、ノーマル）として明らかに分類され得る単位ユニットは、微細な違いではあるがイメージ特性に違いが存在する場合であってもよい。しかしながら、従来の方式の通りに、確率が高く見えるいずれか一つの状態（例えば、ノーマル）と単にラベル付けを行うならば、これは、上記の微細な違いが無視される結果を招く虞がある。
しかしながら、本発明の技術的思想によれば、このような曖昧性を有する単位ユニットは、それ自体と（すなわち、より高い確率を有すると判断された第１の状態及び第１の状態よりは低い確率を有するものの、第２の状態である可能性もある状態）ラベル付けされて、第１の状態または第２の状態のどちらか一方とラベル付けされる場合と比較して区別がつくようにラベル付けされてもよい。そして、このような方式、すなわち、複数の状態とラベル付けされる方式（この明細書においては、２つの状態とラベル付けされる場合を例示的に説明し、それにより、「デュアルクラスラベリング」と称する。）によれば、特定の単位ユニットがデュアルクラスでラベル付けされたことそれ自体が学習に反映されてニューラルネットワークの性能を高めることができる。
このようなデュアルクラスラベリング方式の場合には、デュアルクラスラベリングの特性を反映できるロスファンクション（損失関数）が定義されることが必要であるということはいうまでもない。
例えば、特定の単位ユニットは、プライマリ（ｐｒｉｍａｒｙ）状態、すなわち、より高い確率を有すると判断された状態及びセカンダリ（ｓｅｃｏｎｄａｒｙ）状態とラベル付けされてもよい。すなわち、曖昧な（混同される）イメージ特性を有する単位ユニットは、このようにデュアルクラスでラベル付けされることが許容され得る。
このような場合、ニューラルネットワークを定義するロスファンクションは、プライマリ状態及びセカンダリ状態を両方とも反映するように定義されてもよい。例えば、ニューラルネットワークがプライマリ状態を高い確率で出力する場合には、高い補償（低い損失）を有するように定義され、ニューラルネットワークがセカンダリ状態を高い確率で出力する場合には、低い補償（高い損失）を有するように定義されてもよい。いうまでもなく、プライマリ状態やセカンダリ状態ではない他の状態よりは、セカンダリ状態もまた高い確率でフィーチャ値が出力されてはじめて損失が減るようにロスファンクションは定義されてもよい。
したがって、ニューラルネットワークは、損失が最大限に小さくなるように学習されるので、デュアルクラスラベリングの行われた単位ユニットに対してプライマリ状態をさらに高い確率で出力するように学習されるとはいえ、セカンダリ状態もまた、たとえ他のプライマリ状態よりは低い確率を有するとしても、他の状態に比べては高い確率に当該するフィーチャ値を有するように学習されることが可能になる。
このような技術的思想によれば、結局、混同されるイメージ特性を有する単位ユニットの場合、混同される状態それ自体を学習に反映するようにすることで、混同されるイメージ特性が無視されるわけではなく、混同されるイメージ特性もまたニューラルネットワークの診断結果に反映されるようにすることで、より高い正確度を有するディープラーニングに基づく診断システムが築かれ得るという効果が奏される。
一方、診断システム１００が所定のサーバ１０に組み込まれて実現される場合、診断システム１００は、サーバ１０に接続可能な少なくとも一つのクライアント（例えば、２０、２０−１）と通信を行うこともできる。このような場合、クライアント（例えば、２０、２０−１）は、生体画像を診断システム１００に伝送してもよく、診断システム１００は、伝送された生体画像に対して本発明の技術的思想に従った診断を行ってもよい。そして、診断結果をクライアント（例えば、２０、２０−１）に伝送してもよい。
診断システム１００は、本発明の技術的思想に従ったニューラルネットワークを用いて診断を行ってもよい。いうまでもなく、このような診断を行うために、複数の状態チャンネルのいずれか一つまたはデュアルクラスでラベル付けされた学習データを通じてニューラルネットワークを学習させるプロセスを先に行ってもよい。
したがって、診断システム１００は、本発明の技術的思想に従って学習されたニューラルネットワーク及びニューラルネットワークを用いて診断を行うためのプログラムを外部から受信して診断を行うシステムであってもよく、ニューラルネットワークの学習まで行うシステムであってもよい。なお、診断システム１００は、汎用のデータ処理装置ではなく、本発明の技術的思想を実現するために製作された専用装置として実現されてもよく、このような場合には、生体画像を走査するための手段などがさらに配備されてもよい。
ニューラルネットワークは、所定の単位ユニット（例えば、ピクセルまたはパッチ）の情報（例えば、ＲＧＢ ３チャンネル情報）を入力されて当該単位ユニットが有する所定の疾病（例えば、前立腺癌）に関する複数の状態情報のそれぞれをフィーチャ値として出力するか、あるいは、複数の状態情報のうち最も確率が高いいずれか一つの状態を出力するネットワークであってもよい。
一例によれば、ニューラルネットワークは、公知の残差ネットワーク（Ｒｅｓｎｅｔ）ニューラルネットワークを用い、かつ、ｄｅｅｐｌａｂモデルを用いる方式であってもよい。
他の実施形態によれば、ニューラルネットワークは、この出願人が出願した大韓民国特許出願（出願番号第１０−２０１６−０１６８１７６号、ニューラルネットワークを用いた疾病の診断システム及び該方法、以下、「以前の出願」と称する。）に開示されているように、微視ネットワークと巨視ネットワークを同時に用いるニューラルネットワークであってもよい。
このような場合、微視ネットワークは単位ユニットを入力され、巨視ネットワークは単位ユニットを含む周りの単位ユニットを入力されて、単位ユニットに関連する状態情報を出力するようにしてもよい。例えば、単位ユニットがピクセル単位である場合、微視ネットワークは特定のピクセルを入力され、巨視ネットワークは特定のピクセルの周りのピクセルまで含む所定の入力データを入力されて特定のピクセルの状態を出力するように定義されてもよい。このような場合、いずれか一つの単位ユニットだけではなく、周りの単位ユニットまで当該単位ユニットの疾病の発現の判断有無に影響を及ぼすことができるので、より正確度の高い学習を行うことが可能である。また、疾病に応じて、実際に特定の単位ユニットに当該する生体組織の診断のために生体組織だけではなく、生体組織の周りの組織の状態まで考慮しなければならない疾病の診断に非常に有意味なレベルまで正確度を向上させることが可能になるという効果がある。なお、生体画像を多数の単位ユニットに分割する場合、パッチの分割方式や分割された領域が生体組織のどのような位置であるかに応じて生じ得る診断結果の影響に強い効果を有することができる。
以前の出願に開示されている内容は、本発明のレファレンス（参照）として取り込まれてもよく、以前の出願に開示されている内容は、この明細書においてその詳細な説明は省略する。
このような技術的思想を実現するための診断システム１００は、論理的に図２に示すような構成を有していてもよい。
図２は、本発明の実施形態に係るニューラルネットワークを用いた疾病の診断システムの論理的な構成を説明するための図である。
図２を参照すると、診断システム１００は、制御モジュール１１０及びニューラルネットワークが格納されたニューラルネットワークモジュール１２０を備える。また、診断システム１００は、前処理モジュール１３０をさらに備えていてもよい。
診断システム１００は、本発明の技術的思想を実現するために必要とされるハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備えた論理的な構成を意味してもよく、必ずしも一つの物理的な構成要素を意味したり、一つの装置を意味したりするとは限らない。すなわち、診断システム１００は、本発明の技術的思想を実現するために配備されるハードウェア及び／又はソフトウェアの論理的な結合を意味してもよく、必要に応じて、互いに離れている装置に設けられてそれぞれの機能を行うことにより、本発明の技術的思想を実現するための論理的な構成の集まりとして実現されてもよい。また、診断システム１００は、本発明の技術的思想を実現するためのそれぞれの機能または役割別に別途に実現される構成の集まりを意味してもよい。例えば、制御モジュール１１０、ニューラルネットワークモジュール１２０、及び／又は前処理モジュール１３０のそれぞれは、互いに異なる物理的な装置に位置してもよく、同一の物理的な装置に位置してもよい。また、実現例に応じては、制御モジュール１１０、ニューラルネットワークモジュール１２０及び／又は前処理モジュール１３０のそれぞれを構成するソフトウェア及び／又はハードウェアの結合もまた互いに異なる物理的な装置に位置し、互いに異なる物理的な装置に位置している構成が互いに有機的に結合されてそれぞれのモジュールを実現してもよい。
また、この明細書において、「モジュール」とは、本発明の技術的思想を行うためのハードウェア及びハードウェアを駆動するためのソフトウェアの機能的、構造的な結合を意味してもよい。例えば、モジュールは、所定のコードと所定のコードが実行されるためのハードウェアリソース（ｒｅｓｏｕｒｃｅ）の論理的な単位を意味してもよく、必ずしも物理的に連結されたコードを意味したり、１種類のハードウェアを意味したりするとは限らないということは、本発明の技術分野における平均的な専門家にとっては容易に推論できる筈である。
制御モジュール１１０は、本発明の技術的思想を実現するために診断システム１００に組み込まれている他の構成（例えば、ニューラルネットワークモジュール１２０及び／又は前処理モジュール１３０など）を制御してもよい。
さらに、制御モジュール１１０は、ニューラルネットワークモジュール１２０に格納されたニューラルネットワークを用いて、本発明の技術的思想に従った診断を行ってもよい。「診断を行う」とは、前述したように、出力レイヤに定義された少なくとも一つのチャンネルのチャンネル値（フィーチャ値）を出力することを意味してもよい。それぞれのフィーチャ値は、診断の対象となる単位ユニットが当該するチャンネルが定義する情報に当該する確率に相当してもよい。
ニューラルネットワークモジュール１２０は、ニューラルネットワークを格納してもよい。ニューラルネットワークは、ニューラルネットワークを定義する一連の設計事項を表現する情報の集まりを意味してもよい。この明細書において、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。また、前述したように、公知のｄｅｅｐｌａｂニューラルネットワークが用いられてもよく、以前の出願に開示されているニューラルネットワークが用いられてもよい。
いかなる場合でも、ニューラルネットワークは、デュアルクラスラベリングの行われた学習データを用いて学習が可能なようにするロスファンクションが定義されてもよい。
周知のごとく、ロスファンクション（Ｌｏｓｓ ｆｕｎｃｔｉｏｎ）により定義される損失が最小化できるようにニューラルネットワークは学習される。
この際、本発明の技術的思想に従ってデュアルクラスで単位ユニットがラベル付けされ得る場合、すなわち、複数の状態とラベル付けでき、この際、複数の状態はさらに高い確率の状態を有すると判断される第１の状態及び第１の状態よりは低い状態を有すると判断される第２の状態を含むようにラベル付けされた場合、ロスファンクションは、複数の状態に相当するフィーチャ値のうち、第１の状態に相当する第１のフィーチャ値と第２の状態に相当する第２のフィーチャ値とが両方ともロスに反映されるように定義されてもよい。
いうまでもなく、ニューラルネットワークは、当該単位ユニットに相当する第１のフィーチャ値が第２のフィーチャ値に比べて大きな影響を及ぼすように定義されてもよい。
例えば、第１のフィーチャ値が高くなれば高くなるほど、全体のロスは低くなるように定義され、第２のフィーチャ値もまた、値が高くなれば高くなるほど、全体のロスは低くなるように定義され、第１のフィーチャ値が第２のフィーチャ値に比べて影響力がさらに大きくなるように定義されてもよい。そして、残りの状態に相当するフィーチャ値は、値が高くなれば高くなるほど、損失が大きくなるように定義されてもよい。
例えば、本発明の実施形態によれば、ロスファンクションは、従来のクロスエントロピー（Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ）を改善して、すなわち、第２のフィーチャ値もまたロスに反映されるように定義されてもよい。
本発明の一実施形態に係るロスファンクションは、次の数式１の通りである。
Figure 2021526261
ここで、
Figure 2021526261
は、複数の状態のインデックスであり、
Figure 2021526261
は、複数の状態のうち
Figure 2021526261
番目の状態に相当するフィーチャ値であり、
Figure 2021526261
は、第１のフィーチャ値であり、
Figure 2021526261
は、第２のフィーチャ値であってもよい。
そして、ｐは、０と１との間の値を有していてもよい。
例えば、特定の単位ユニットが入力されれば、ニューラルネットワークは、予め定義された複数の状態チャンネル（例えば、ノーマル、グリーソンスコア３、グリーソンスコア４、グリーソンスコア５）のそれぞれのフィーチャ値を出力する所定のレイヤを備えていてもよい。レイヤは、最終レイヤとして設計されてもよく、最終レイヤの直前のレイヤであってもよい。
そして、特定の単位ユニットは、プライマリ状態及びセカンダリ状態とラベル付けされた、すなわち、デュアルクラスラベリングが行われた単位ユニットであってもよい。
このような場合、プライマリ状態のフィーチャ値が大きければ、すなわち、ニューラルネットワークが出力したフィーチャ値のうちプライマリ状態に相当するフィーチャ値が大きくなれば大きくなるほど、
Figure 2021526261
の値は大きくなり、結果的に、全体のロスは小さくなり得る。同様に、セカンダリ状態に相当するフィーチャ値が大きくなれば大きくなるほど、
Figure 2021526261
の値は大きくなり、結果的に、全体のロスは小さくなり得る。しかしながら、プライマリ状態のフィーチャ値が、セカンダリ状態のフィーチャ値に比べて、ｐが１よりも小さい値を有するため、ロスが小さくなるようにする上でさらに大きな影響を有することになる。
いうまでもなく、他の状態に相当するフィーチャ値は、大きくなれば大きくなるほど、
Figure 2021526261
値のみが大きくなって、結局、ロスのみが大きくなるようにするという結果を生む。
したがって、ニューラルネットワークは、上述したようなロスファンクションにより、できる限りプライマリ状態が大きい値を有し、セカンダリ状態もまた相対的に大きい値を有し（たとえプライマリ状態よりは小さい値を有するとしても）、残りの状態は小さい値を有するように学習されることが可能になる。実際に専門家により行われたデュアルクラスラベリングの結果が学習に反映されてもよい。
一方、このように、デュアルクラスを許容するようにラベル付けされる場合のニューラルネットワークの正確度を判断する基準は、次の通りである。
既存の場合、正確度を計算するためには、コンフュージョンマトリックス（混同行列）を用いて正確度を計算していた。コンフュージョンマトリックスとは、正解が「Ａ」であるものに対する予測値が「Ｂ」であるものの数を（Ａ，Ｂ）の位置に表示した行列のことをいう。ピクセル単位の正確度とインターセクションオーバーユニオン（ＩｏＵ：ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）のようなセグメンテーションの性能の測定は、このコンフュージョンマトリックスに基づいて行われる。既存の場合、単に一つの正解しか存在しなかったため、正しいか間違っているか（正否）の結果しか存在しなかったものの、本発明の技術的思想によれば、プライマリ及びセカンダリといった二種類の答案が存在する。したがって、少しは異なる方式によりコンフュージョンマトリックスを計算する必要がある。
もし、プライマリとして正解をいったり、プライマリ及びセカンダリといった二種類ではない他の正解を言ったりすれば、既存と同様に、コンフュージョンマトリックスに反映されるようにする。しかしながら、セカンダリとして正解をいう場合、これは、プライマリの正解に対しては間違っているものの、セカンダリの正解に対しては合っていると認められる。したがって、（プライマリ，セカンダリ）にｐに見合う分を、（セカンダリ，セカンダリ）に１−ｐに見合う分を与えて計算を行ってもよい。ここで、ｐは、０から１までの範囲において定められる値であってもよい。
一方、上述したような技術的思想のために、制御モジュール１１０は、ニューラルネットワークモジュール１２０に格納されたニューラルネットワーク、すなわち、学習されたニューラルネットワークに入力データを入力してもよい。そして、ニューラルネットワークにより定義される演算を行って出力データを出力してもよい。
前処理モジュール１３０は、ニューラルネットワークを用いて診断を行う前に必要とされる生体画像の前処理を行ってもよい。例えば、生体画像の前処理は、生体画像を予め定義された大きさの単位ユニットに区切る過程を含んでいてもよい。必要に応じて、単位ユニットがピクセル単位である場合、前処理モジュール１３０は不要になる場合もあれば、このような単位ユニットへの分割の他にも、必要に応じて、ニューラルネットワークの学習のための様々な前処理モジュール１３０により行われてもよいということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
ニューラルネットワークは、前述したように、入力単位ユニットに対して当該単位ユニットが所定の疾病により有し得る予め定められた状態（例えば、ノーマル、グリーソンスコア３、グリーソンスコア４、及びグリーソンスコア５）をそれぞれのフィーチャ値として出力するレイヤを備えていてもよい。
このようなニューラルネットワークを概念的に示す一例は、図４の通りである。
図４は、本発明の実施形態に係るニューラルネットワークの概念を説明するための図である。
図４を参照すると、本発明の実施形態に係るニューラルネットワーク３００は、図４に示すように、所定の単位ユニット（例えば、ピクセル、パッチなど）を入力されてもよい。図４には、生体画像が所定の大きさ（例えば、５１２×５１２）に分割されたパッチが入力されることが示されているが、各パッチ単位でピクセル値（例えば、ＲＧＢ ３チャンネル値）が入力データとして入力されてもよいということはいうまでもない。
単位ユニットがピクセルである場合、所定の熟練された専門家は、生体画像から所定のツールを用いて特定の領域をマーキングし、マーキングした領域にラベル付けを行ってもよい。すると、ラベル付けされた領域に含まれているピクセルは、当該領域にラベル付け値を有することができる。
いうまでもなく、単位ユニットがパッチである場合には、パッチ別にラベル付けが行われてもよい。
ニューラルネットワーク３００は、前述したように、公知のｄｅｅｐｌａｂモデルであってもよく、以前の出願に開示されたニューラルネットワークであってもよい。または、さらに他のニューラルネットワークであってもよい。
いかなる場合でも、ニューラルネットワーク３００には、所定のレイヤ（例えば、３１０）が備えられてもよい。レイヤ（例えば、３１０）は、単位ユニットに対する複数の状態に相当するフィーチャ値を出力するレイヤであってもよい。例えば、レイヤは、４個のチャンネルに相当するフィーチャ値をそれぞれ出力してもよく、それぞれのフィーチャ値は、予め定められた複数の状態（例えば、ノーマル、グリーソンスコア３、グリーソンスコア４、及びグリーソンスコア５）に当該する確率に相当する値であってもよい。
レイヤ（例えば、３１０）は、最終レイヤであってもよく、レイヤ３１０の直後に最終レイヤ（例えば、３２０）がさらに存在してもよい。このような場合、最終レイヤ（例えば、３２０）は、レイヤ（例えば、３１０）のフィーチャ値のうち最も大きい値を有する状態を出力するレイヤであってもよいことはいうまでもない。
いかなる場合でも、レイヤ（例えば、３１０）が出力する出力値は、ニューラルネットワーク３００に定義されるロスファンクションによりロスが最小となるように学習された結果であってもよい。
ロスファンクションは、前述したように、デュアルクラスでラベル付けされた特定の単位ユニットに対してはプライマリ状態のフィーチャ値が大きくなれば大きくなるほど、そして、プライマリ状態よりは小さいものの、セカンダリ状態のフィーチャ値もまた大きくなれば大きくなるほど、そして、残りの状態のフィーチャ値は小さくなれば小さくなるほど、全体がロスが減るように定義されてもよい。
そのような一例は、上述したような数式であってもよいが、これに限定されるものではなく、他のロスファンクションの実施形態が採用可能であるということはいうまでもない。
これを通じて、実際に混同される単位ユニットは、混同される状態それ自体が学習に反映されて全体的には性能の向上をもたらすことができる。
診断システム１００が診断する疾病の種類が前立腺癌である場合を一例として挙げて説明するが、本発明の技術的思想が必ずしも前立腺癌に制限されて適用されるとは限らないということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
一方、診断システム１００は、単位ユニットがピクセルである場合、ピクセル単位の判断値に基づいて、それぞれのピクセルが予め定められた判断値を有する場合（例えば、グリーソンスコア３〜５）、当該ピクセルは、疾病に当該する疾病ピクセルと判断してもよい。そして、判断結果に基づいて、生体画像において疾病ピクセルを他のピクセルと区別して表示してもよい。
すなわち、本発明の技術的思想によれば、ピクセル単位で診断が行われることができ、このような場合、生体画像において疾病が発現した部分だけがセグメンテーション（ｓｅｇｍｅｎｔａｔｏｎ）されてもよい。
このような一例は、図５に示す通りである。
図５は、本発明の実施形態に係るセグメンテーション結果を例示的に示す図である。
図５の左側部分は、熟練された専門家によりラベル付けされた生体画像を示し、それぞれのラベル付けされた領域は、疾病が発現した領域を示す。
そして、図５の右側部分は、本発明の技術的思想に従ってピクセル単位で疾病が発現したと判断されたピクセルを他の部位とは異なるように表現（例えば、黄色で表示）して、ピクセル単位のセグメンテーションを行った結果を示す図である。
このようなセグメンテーションを通じて、従来のパッチ単位の診断及びセグメンテーションが行われた結果に比べて、さらに精度よいセグメンテーションが行われ得るという効果が奏される。
また、この明細書においては、前立腺癌に対して本発明の技術的思想が適用された一例について主として説明したが、疾病に対する状態が複数の状態に区別できる他の疾病に対しても本発明の技術的思想が適用される場合に正確な診断を行うことが可能であるということが、本発明の技術分野における平均的な専門家であれば容易に推論できる筈である。
本発明の実施形態に係るデュアルクラスに対応できる疾病診断方法は、コンピュータにて読み取り可能な記録媒体においてコンピュータにて読み取り可能なコードの形態で実現することが可能である。コンピュータにて読み取り可能な記録媒体は、コンピュータシステムにより読み込まれるデータが格納されるあらゆる種類の記録装置を網羅する。コンピュータにて読み取り可能な記録媒体の例としては、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＣＤ−ＲＯＭ（読み込み専用のコンパクトディスク）、磁気テープ、ハードディスク、フロッピディスク、光データ格納装置などが挙げられる。また、コンピュータにて読み取り可能な記録媒体は、ネットワークにより結ばれたコンピュータシステムに分散されて、分散方式によりコンピュータにて読み取り可能なコードが格納され且つ実行されてもよい。そして、本発明を実現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野におけるプログラマにより容易に推論可能である。
本発明は、図示の一実施形態を参考として説明されたが、これは単なる例示的なものにすぎず、当該技術分野において通常の知識を有する者であれば、これより様々な変形例及び均等な他の実施形態が採用可能であるという点が理解できる筈である。よって、本発明の真の技術的な保護範囲は、添付の登録特許請求の範囲の技術的思想により定められるべきである。
本発明は、「デュアルクラスに対応できる疾病診断システム及び該方法」に利用可能である。

Claims (12)

  1. プロセッサ及びニューラルネットワークを格納する格納装置を備えるシステムに実現され、生体画像と前記ニューラルネットワークを用いた疾病の診断システムにおいて、
    前記プロセッサは、
    前記格納装置に格納された前記ニューラルネットワークを、所定のロスファンクションと前記生体画像に含まれている所定の単位ユニットに対して前記単位ユニットが複数の状態の少なくとも一つの状態を有するとラベル付けされた学習データを用いて、前記複数の状態の少なくとも一つの状態を有する確率に対応する判断値を出力するように学習し、
    前記ニューラルネットワークは、
    前記単位ユニットが複数の状態のそれぞれと判断される確率に対応する複数のフィーチャ値を出力する特定のレイヤを備え、
    前記ロスファンクションは、
    多数の単位ユニットのうち、前記複数の状態−前記複数の状態は、さらに高い確率の状態を有すると判断される第１の状態及び第１の状態よりは低い状態を有すると判断される第２の状態を含む−を有するとラベル付けされたデュアルラベリング単位ユニットに対して、前記特定のレイヤのフィーチャ値のうち、第１の状態に相当する第１のフィーチャ値と、前記第２の状態に相当する第２のフィーチャ値とを両方とも反映してロスを演算するように定義されることを特徴とするデュアルクラスに対応できる疾病診断システム。
  2. 前記ロスファンクションは、
    前記第１のフィーチャ値に比べて、前記第２のフィーチャ値がさらに多いロスを有するように定義されることを特徴とする請求項１に記載のデュアルクラスに対応できる疾病診断システム。
  3. 前記ロスファンクションは、
    次の数式１で定義されることを特徴とする請求項２に記載のデュアルクラスに対応できる疾病診断システム。
    Figure 2021526261
     ここで、
    Figure 2021526261
    は、複数の状態のインデックスであり、
    Figure 2021526261
    は、複数の状態のうち
    Figure 2021526261
    番目の状態に相当するフィーチャ値であり、
    Figure 2021526261
    は、前記第１のフィーチャ値であり、
    Figure 2021526261
    は、前記第２のフィーチャ値である。
  4. 前記単位ユニットは、
    前記生体画像のピクセル単位であることを特徴とする請求項１に記載のデュアルクラスに対応できる疾病診断システム。
  5. 前記プロセッサは、
    前記ピクセル単位の判断値に基づいて、それぞれのピクセルが予め定められた判断値を有する場合、当該ピクセルは、疾病に当該する疾病ピクセルと判断し、判断結果に基づいて、前記生体画像において疾病ピクセルを他のピクセルと区別して表示することを特徴とする請求項４に記載のデュアルクラスに対応できる疾病診断システム。
  6. 前記疾病は、
    前立腺癌であることを特徴とする請求項１に記載のニューラルネットワークを用いた疾病の診断システム。
  7. 前記複数の状態は、
    正常、グリーソンスコア３、グリーソンスコア４、及びグリーソンスコア５を含むことを特徴とする請求項６に記載のデュアルクラスに対応できる疾病診断システム。
  8. プロセッサ及び格納装置を備えるシステムに実現され、生体画像とニューラルネットワークを用いた疾病の診断システムが行う方法において、
    前記格納装置に格納された前記ニューラルネットワークを、所定のロスファンクションと前記生体画像に含まれている所定の単位ユニットに対して前記単位ユニットが複数の状態の少なくとも一つの状態を有するとラベル付けされた学習データを入力されるステップと、
    入力された学習データを用いて、それぞれの単位ユニットに対して前記複数の状態の少なくとも一つの状態を有する確率に対応する判断値を出力するように学習するステップと、
    を含み、
    前記ニューラルネットワークは、
    前記単位ユニットが複数の状態のそれぞれと判断される確率に対応する複数のフィーチャ値を出力する特定のレイヤを備え、
    前記ロスファンクションは、
    多数の単位ユニットのうち、前記複数の状態−前記複数の状態は、さらに高い確率の状態を有すると判断される第１の状態及び第１の状態よりは低い状態を有すると判断される第２の状態を含む−を有するとラベル付けされたデュアルラベリング単位ユニットに対して、前記特定のレイヤのフィーチャ値のうち、第１の状態に相当する第１のフィーチャ値と、前記第２の状態に相当する第２のフィーチャ値とを両方とも反映してロスを演算するように定義されることを特徴とする方法。
  9. 前記ロスファンクションは、
    前記第１のフィーチャ値に比べて、前記第２のフィーチャ値がさらに多いロスを有するように定義されることを特徴とする請求項８に記載のデュアルクラスに対応できる疾病診断システム。
  10. 前記ロスファンクションは、
    次の数式１で定義されることを特徴とする請求項９に記載の方法。
    Figure 2021526261
     ここで、
    Figure 2021526261
    は、複数の状態のインデックスであり、
    Figure 2021526261
    は、複数の状態のうち
    Figure 2021526261
    番目の状態に相当するフィーチャ値であり、
    Figure 2021526261
    は、前記第１のフィーチャ値であり、
    Figure 2021526261
    は、前記第２のフィーチャ値である。
  11. 前記方法は、
    前記ピクセル単位の判断値に基づいて、それぞれのピクセルが予め定められた判断値を有する場合、当該ピクセルは、疾病に当該する疾病ピクセルと判断するステップと、
    判断結果に基づいて、前記生体画像において疾病ピクセルを他のピクセルと区別して表示するステップと、
    をさらに含む請求項８に記載の方法。
  12. データ処理装置にインストールされ、請求項８乃至請求項１１のいずれか一項に記載の方法を行うための媒体に記録されたコンピュータプログラム。
JP2020566818A 2018-06-04 2019-06-04 デュアルクラスに対応できる疾病診断システム及び該方法 Active JP7109815B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180064331A KR102162895B1 (ko) 2018-06-04 2018-06-04 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법
KR10-2018-0064331 2018-06-04
PCT/KR2019/006758 WO2019235827A1 (ko) 2018-06-04 2019-06-04 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
JP2021526261A true JP2021526261A (ja) 2021-09-30
JP7109815B2 JP7109815B2 (ja) 2022-08-01

Family

ID=68770904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020566818A Active JP7109815B2 (ja) 2018-06-04 2019-06-04 デュアルクラスに対応できる疾病診断システム及び該方法

Country Status (5)

Country Link
EP (1) EP3799070A4 (ja)
JP (1) JP7109815B2 (ja)
KR (1) KR102162895B1 (ja)
CN (1) CN112236829A (ja)
WO (1) WO2019235827A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017030056A1 (ja) * 2015-08-19 2017-02-23 興和株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US20170372471A1 (en) * 2016-06-28 2017-12-28 Contextvision Ab Method and system for detecting pathological anomalies in a digital pathology image and method for annotating a tissue slide
WO2018081537A1 (en) * 2016-10-31 2018-05-03 Konica Minolta Laboratory U.S.A., Inc. Method and system for image segmentation using controlled feedback

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7467119B2 (en) * 2003-07-21 2008-12-16 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
WO2006020627A1 (en) 2004-08-11 2006-02-23 Aureon Laboratories, Inc. Systems and methods for automated diagnosis and grading of tissue images
US7599893B2 (en) 2005-10-13 2009-10-06 Aureon Laboratories, Inc. Methods and systems for feature selection in machine learning based on feature contribution and model fitness
KR101993716B1 (ko) * 2012-09-28 2019-06-27 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
US9430829B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
KR102445468B1 (ko) * 2014-09-26 2022-09-19 삼성전자주식회사 부스트 풀링 뉴럴 네트워크 기반의 데이터 분류 장치 및 그 데이터 분류 장치를 위한 뉴럴 네트워크 학습 방법
CN107209934B (zh) 2014-12-03 2021-03-30 文塔纳医疗系统公司 用于定量分析异质生物标志物分布的方法、系统和装置
WO2016094330A2 (en) * 2014-12-08 2016-06-16 20/20 Genesystems, Inc Methods and machine learning systems for predicting the liklihood or risk of having cancer
KR101980955B1 (ko) * 2016-08-22 2019-05-21 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
KR101869438B1 (ko) * 2016-11-22 2018-06-20 네이버 주식회사 딥 러닝을 이용하여 환자의 진단 이력으로부터 질병 예후를 예측하는 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017030056A1 (ja) * 2015-08-19 2017-02-23 興和株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US20170372471A1 (en) * 2016-06-28 2017-12-28 Contextvision Ab Method and system for detecting pathological anomalies in a digital pathology image and method for annotating a tissue slide
WO2018081537A1 (en) * 2016-10-31 2018-05-03 Konica Minolta Laboratory U.S.A., Inc. Method and system for image segmentation using controlled feedback

Also Published As

Publication number Publication date
JP7109815B2 (ja) 2022-08-01
KR102162895B1 (ko) 2020-10-07
WO2019235827A1 (ko) 2019-12-12
KR20190143509A (ko) 2019-12-31
US20210142900A1 (en) 2021-05-13
EP3799070A4 (en) 2022-03-02
EP3799070A1 (en) 2021-03-31
CN112236829A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN110366759B (zh) 用神经网络诊断疾病的系统及其方法
KR102172213B1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
KR102174379B1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102185893B1 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
JP2022510113A (ja) 半教師あり学習を用いた診断システム提供方法、及びそれを用いた診断システム
US20210295997A1 (en) Bioimage diagnosis system, bioimage diagnosis method, and terminal for executing same
JP7299658B2 (ja) ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システム及び方法
EP3819910A2 (en) Disease diagnosis system and method using multiple color models and neural network
US11995819B2 (en) Diagnosis result generation system and method
JP2021526261A (ja) デュアルクラスに対応できる疾病診断システム及び該方法
EP4293685A1 (en) Prognosis prediction method using result of disease diagnosis through neural network and system therefor
US20230298753A1 (en) Method for annotating pathogenic site of disease by means of semi- supervised learning, and diagnosis system for performing same
KR20220129451A (ko) 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220712

R150 Certificate of patent or registration of utility model

Ref document number: 7109815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350