JP2019530116A - マルチモーダル医用画像処理 - Google Patents

Abstract

本発明は医用画像における関心領域の識別に関する。より具体的には、本発明は、複数の種類の医用画像データについて訓練されたエンコード方法および／または分類方法に基づく医用画像内の関心領域の識別に関する。態様および／または実施形態は、シングルモダリティのデータ入力ソースに基づいて医用画像内の関心領域を分類するために、マルチモーダルデータ入力に基づいてエンコーダおよび／または分類器を訓練する方法を提供しようとするものである。

Description

本発明は医用画像における関心領域の識別に関する。より具体的には、本発明は、複数の種類の医用撮像データについて訓練されたエンコーディング（符号化方法）および／または分類方法に基づく医用画像内の関心領域の識別に関する。

コンピュータ支援診断（Ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ：ＣＡＤとも呼ぶ）は、磁気共鳴映像法、Ｘ線映像法、超音波映像法などの技術を使用して生成された医用画像の解釈を支援するために医療専門家によって過去４０年間開発および使用されてきた技術である。

これらのような医用画像技術は大量の画像データを生成し、それは典型的には放射線科医のような医療専門家によって手動で処理され、そして具体的には診断の決定に関してその医療専門家によって分析又は評価される。典型的な診断は、例えば、マンモグラフィにおけるような癌のスクリーニングおよび検出に関する。

関心のある画像の領域を１以上のたとえば放射線科医の医療専門家に示す可能性がある各画像内で顕著な領域を強調するために、コンピュータ支援診断は、医用画像技術と共に使用して医用画像技術を使用して生成された画像データを処理することができる。

それはまだ医療専門家が容認できると考える信頼性のレベルに達していないので、コンピュータ支援診断は医療専門家の意見の代わりとして使用されることはほとんどない。

さらに、Ｘ線画像データのようないくつかの医用画像データは、得られる画像における解像度または明瞭さの欠如のために、所定の診断を達成するためいつも最適なデータであるというわけにはいかない。そのため、直ちに利用可能な画像データに基づいて予備診断を確認するために、その医療専門家または他の医療専門家によってさらなるデータまたは試験を実行する必要がある。

態様および／または実施形態は、シングルモダリティのデータ入力ソースに基づいて医用画像内の関心領域を分類するために、マルチモーダルデータ入力に基づいてエンコーダおよび／または分類器を訓練する方法を提供しようとしている。

第１の態様によれば、医用または臨床画像データ内の関心領域を自動的に識別するための方法が提供され、その方法は、ラベル付けされていない入力データを受信し、その入力データは、複数のモダリティのデータのうちの１つからのデータを含み、訓練済みエンコーダを使用してそのラベル付けされていない入力データをエンコード（符号化）し、訓練済み共同表現モジュールを使用して共同表現を決定し、訓練済み分類器に対する入力としてその共同表現を使用することによってその入力データに対するラベル付きデータを生成すること、を含む。

このようにして、本方法は、入力データの共同表現を得るために手作業で作成された特徴に頼る必要がない。本方法は、いくつかの事前訓練済み構成要素を使用して自動的に共同表現を決定する。

好ましくは、エンコーダ、共同表現モジュール、および分類器は、複数のモダリティを含む入力訓練データを用いて訓練される。実行時（またはテスト時）に、本方法は１つの入力モダリティだけを受信する（受け取る）ことができる。医用または臨床データにおける関心領域の識別の精度を向上させるために、事前訓練済み構成要素は、１つの入力のみが受信されたときに共同表現を決定するために使用できる複数の入力モダリティを使用して訓練される。

好ましくは、１つまたは複数のモダリティの入力データが提供される。 場合によっては、複数の種類の医用画像を入力として使用することができる。

好ましくは、入力データは、マンモグラフィ; Ｘ線; コンピュータ断層撮影（ＣＴ）スキャン; 磁気共鳴映像法（ＭＲＩ）データ; 組織構造データ; マンモグラフィデータ; 遺伝子配列データおよび／または超音波データのうちの１つまたは複数を含む。

好ましくは、共同表現モジュールは、１つまたは複数の訓練済みエンコーダから受信された１つまたは複数の出力を使用して訓練される。

好ましくは、共同表現モジュールは、エンコードされたデータを浮動小数点数の三次元テンソルとして受け取る。任意選択で、共同表現はベクトルの形をとる。

好ましくは、ラベル付きデータを生成することは、ラベル付けされていない入力データ内の１つまたは複数の関心領域の表示を生成することをさらに含む。

好ましくは、ラベル付けされていない入力データのモダリティの数は、エンコーダ、共同表現モジュール、および分類器を訓練するために使用される入力訓練データのモダリティの数よりも1つ少ない。このようにして、訓練済み構成要素は、入力データを補助するために常にデータの追加的なモダリティを有することになる。

第２の態様によれば、医用または臨床データについて分類器を訓練する方法が提供され、事前ラベル付けされたデータセットからラベル付けされていない入力データを受信すること、前記入力データは複数のモダリティからのデータを含み、共同表現を形成するために、複数のモダリティからのラベル付けされていない入力データをエンコードすることと、共同表現から適応可能な分類アルゴリズムを使用して分類を実行して、共同表現からラベル付けされたデータを生成することと、事前ラベル付けされたデータセットからラベル付けされたデータと事前ラベル付けされたデータとを比較し、比較データを出力することと、比較データに応じて適応可能分類アルゴリズムを調整することと、比較データが適応可能分類アルゴリズムに対してそれ以上の調整を行う必要がないことを示す所定の閾値に達するまで上記方法を繰り返すこととを含む。

好ましくは、共同表現を形成するために複数のモダリティからのラベル付けされていない入力データをエンコーディングするステップは、複数の関連したおよび／または対のエンコーダによって実行される。

少なくとも２つのデータソースを使用して分類器を訓練することによって、例えば関心領域を識別するために、医用または臨床データを分類する際に使用する訓練済みエンコーダペアリングおよび共同表現を生成することができる。

好ましくは、入力データは複数の情報ソースからのデータを含む。好ましくは、２つのモダリティの入力データが受信される。好ましくは、ラベル付けされていない入力データは１つまたは複数の医用画像の形式である。好ましくは、ラベル付けされていない入力データは複数の医用画像の形式である。好ましくは、複数の医用画像は関連している。好ましくは、入力データは、マンモグラフィ；Ｘ線;コンピュータ断層撮影（ＣＴ）スキャン;磁気共鳴映像法（ＭＲＩ）スキャン;および/または超音波スキャンのうちの１つまたは複数を含む。好ましくは、医用画像はダイコムファイルの形式である。

ダイコムファイルのフォーマットとすることができる例えばマンモグラフィ、Ｘ線、ＣＴ、ＭＲＩおよび／または超音波データを含む医用データのような、複数のソースおよび／またはモダリティから入力データを提供することによって、分類器、エンコーダ、および共同表現の訓練をこのデータを使用して実行することができる。複数の医用画像が関連している場合、例えばそれらがすべて特定の種類の癌性成長に関連している場合、分類器、エンコーダ、および共同表現のためのより安定的な訓練を実行することができる。

好ましくは、共同表現を形成するために複数のモダリティからのラベル付けされていない入力データをエンコードするステップは、各モダリティについて別々に実行される。

複数の異なる様式から共同表現を生成することは、その様式について訓練された特定のエンコーダの使用を必要とし、かつ／またはそれから利益を得ることができる。

好ましくは、適応可能分類アルゴリズムは機械学習アルゴリズムを含む。

機械学習アルゴリズムを提供することによって、本明細書に開示されている方法を使用して行われた誤差を将来から学習することができ、それによって将来行われる可能性がある誤差の数を減らすことができる。

好ましくは、適応可能分類アルゴリズムは、サポートベクターマシン（ＳＶＭ）、多層パーセプトロン、および／またはランダムフォレストを含む。

バックプロパゲーションを使用して訓練される分類器、例えば多層パーセプトロンを使用することは、分類器が訓練されている間にエンコーダモデルのパラメータを微調整することを可能にする。ＳＶＭは、あるレベルの安定性と汎化能力を提供することによって、目に見えないデータに対してもうまく機能することができる。ランダムフォレストはより速い訓練速度を提供し、そして特徴選択を容易にすることができる。

第３の態様によれば、医用または臨床の目的のためデータを分類する方法が提供され、ラベル付けされていない入力データを受け取り、前記入力データは、複数のモダリティのデータのうちの１つからのデータを含み、訓練済みエンコーダを使用してラベル付けされていない入力データを訓練済み共同表現にエンコード（符号化）し、訓練済み共同表現に対して学習済み分類アルゴリズムを使用して分類を実行し、訓練済み共同表現からラベル付けされたデータを生成することを含む。好ましくは、１つの様式の入力データが提供される。

２つのデータソースを使用して分類器を訓練することによって、訓練済みエンコーダおよび共同表現は、医用または臨床データを分類するために、例えば関心領域を識別するために使用するために生成され得る。このような分類は、必要に応じてシングルモダリティのみが存在し得るため、例えば患者がＸ線を受けたばかりであるがさらなる検査が行われていない場合に、シングルモダリティのみを使用して実行され得る。しかしながら、先に述べたように、訓練の方法すなわち分類は、その時には欠けている場合でも他の様式から利益を引き出すことができる。

好ましくは、分類を実行することは、ラベル付けされていないデータ内の１つまたは複数の関心領域の表示を生成することをさらに含む。好ましくは、１つまたは複数の関心領域は癌性増殖を示す。

関心領域に注意を引くことによって、ユーザは、そうでなければ無視しているかもしれない医用画像の一部を検討することができる。ユーザはまた、指示されていない領域をより詳細に見直すことができることによって時間を節約することができ、したがって、関心がない画像の部分を分析する無駄な努力を回避することができる。

好ましくは、ラベル付けされていない入力データのモダリティ数は、学習済み分類アルゴリズムを訓練するために使用される入力データのモダリティ数よりも1つ少ない。好ましくは、使用される任意のエンコーダまたはデコーダは、任意のＶＧＧ、および／またはＡｌｅｘＮｅｔ、および／またはＲＮＮを含むＣＮＮｓであり、好ましくは５１２個の隠れユニットを持つ双方向ＬＳＴＭを含む。

第４の態様によれば、本明細書に記載のそれぞれの方法を使用して医用または臨床目的のために分類器を訓練するためのおよび／またはデータを分類するための装置が提供される。

実施形態について、一例として、そして同様の参照番号を有する添付の図面を参照しながら説明する。
図１は、マルチモーダルニューラルエンコーダのための訓練プロセスを示す。 図２は、エンコーダ−デコーダアーキテクチャのより詳細な図を示す。 図３は、分類器のための訓練プロセスを示す。 図４は、使用時の訓練済分類器を示す。 図５は、使用時の訓練済分類器の第２の例を示す。

図１を参照して、第１の実施形態は、マルチモーダルニューラルエンコーダ１の訓練について説明する。

この実施形態では、２つ以上の別々のＤｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ（ダイコム）ファイル５、６を受信するように動作可能なマルチモーダルニューラルエンコーダ１を訓練する方法が提供される。各ダイコムファイル５、６は、ダイコムデコーダ１０、１１に入力される。各ダイコムファイル５、６は、異なる種類のセンサまたは画像化技術（または「モダリティ」）、すなわち異なる情報ソース（情報源）からのものであり得る。例えば、一方のダイコムファイル５はＸ線データからのものであり得、他方のダイコムファイル６は組織構造的データからのものであり得る。同様に、Ｘ線データ、組織構造データ、ＭＲＩデータ、マンモグラフィデータおよび遺伝子配列データの任意の組み合わせを入力として使用することができる。

入力データは、あらゆるモダリティ、およびあらゆるタイプの次元を持つことができる。一例として、一方の入力は二次元マンモグラフィ画像であり得、他方の入力は一次元遺伝子データであり得る。

ダイコムデコーダ１０、１１は、対応するダイコム画像５、６を読み取り、それを無劣化のＪｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＪＰＥＧ）画像に変換する。ＪＰＥＧ画像１５、１６はメモリに読み込まれ、そこで浮動小数点数の３次元テンソルとして表される。

これらのテンソルは、対応するエンコーダ２０、２１に入力されて、共有表現（shared representation）（共同表現（joint representation）と呼ばれることもある）２５が得られる。機械学習技術を実装することによって、システムは自動的に最も適切な共同表現を学習して作成する。共同表現２５は、所与の長さのベクトル（すなわち１次元テンソル）の形であり得る。正確な長さは任意であるが、この実施形態では、通常、５１２から４０００要素の範囲内であり、各要素は実数である。各エンコーダ２０、２１からの出力は、同じ共同表現２５に入力される。共同表現の要素は、エンコーダ２０、２１から受信した重みによって接続された実数である。したがって、共同表現は、マルチモーダル入力からの重みの集合を使用して作成される。各入力は、共同表現を作成するための独自の重みの集合を有する。たとえば、2つの入力モダリティを持つシナリオを考える。最初の入力モダリティの表現は次のように作成される：

y⁽¹⁾=f⁽¹⁾ (W⁽¹⁾x⁽¹⁾+b⁽¹⁾)

f⁽¹⁾ は非線形関数、W⁽¹⁾ は重みの集合、x⁽¹⁾ は入力、b⁽¹⁾ は第１のモダリティに対するバイアスである。２番目のモダリティの表現は次のように作成される：

y⁽²⁾=f⁽²⁾ (W⁽²⁾x⁽²⁾+b⁽²⁾)

f⁽²⁾ は非線形関数、W⁽²⁾ は重みの集合、x⁽²⁾ は入力、b⁽²⁾ は第２のモダリティに対するバイアスである。

したがって、各エンコーダの出力表現はベクトルである。それぞれが異なる入力モダリティを扱う複数のエンコーダがあるとき、それらは同じ長さを有することができる。例えば、n個の異なる入力について：
len(y⁽¹⁾)==len(y⁽²⁾)==len(y⁽³⁾)== … ==len(y⁽ⁿ⁾)

これらのベクトルは、個々のベクトルと同じ長さ（len）の1つの共同表現に結合できる。ベクトルは、ニューラルネットワーク内でいくつかの方法で組み合わせることができる。これは、次の方法でなされる。
１．総和：共同表現は、すべてのn個のベクトルの合計である；
２．平均プ−ルリング：すべてのn個のベクトルの平均が共同表現として扱われる；
３．最大プールリング：ベクトルの最大値が共同表現として扱われる； または
４．学習済みプールリング：１ｘ１カーネルを有する畳み込み層は、ｎ個のベクトルのそれぞれについて加重平均を作成するために使用され、畳み込み層における重みは訓練され得る。

学習済みプーリングは、個々の表現を共同表現にする最良の方法を開発するためのより高い柔軟性を提供することができる。さらに、訓練するプロセスを通じて、最良の加重平均をバックプロパゲーションによって自動的に設定することができる。

図２を参照して、マルチモーダルニューラルエンコーダ１のより詳細なバージョンを説明する。

共同表現の第１の要素２５ａは、各エンコーダ２０、２１から入力重みを受け取り、第２の要素２５ｂ、第３の要素２５ｃ、その他の要素（図示せず）についても同様である。（示されていない他のエンコーダを含むことができる）さらなるエンコーダ２２もまた、分析されている画像モダリティの数に応じて、共通の共同表現２５に入力（Feed）することができる。より多くのモダリティの入力は、エンコーダ２０〜２２を訓練するより効果的および／または効率的な方法を提供することができる。すべてのエンコーダからの各出力は、共同表現内のすべての要素に接続されている。層間の重みは行列に格納される。マルチモーダルニューラルエンコーダ１の一部として使用され得る多くのＣＮＮは、一の終端または終端層に低レベルの表現を有する。したがって、ＣＮＮは、全結合層が後に続くいくつかの畳み込み層を含むことができる。１つまたは複数のＣＮＮは、高次元入力を低次元表現にエンコードするように動作可能であり得る。この実施形態では、そのような表現は、共同表現２５の形態であるが、同じ表現を共有する複数のエンコーダをさらに備える。各エンコーダ２０〜２２は、同じ全結合層に接続するように動作可能である。共同表現２５は、すべてのエンコーダ２０〜２２から入力を受け取り、すべてのデコーダ３０〜３２にその出力を送るように、各エンコーダ２０〜２２の層および各デコーダ３０〜３２の層に全結合され動作可能なデータ構造である。

使用可能な共同表現２５を生成するために、任意のエンコーダの出力に対して加重和が実行される。エンコーダ２０〜２２についてこの表現に示されるように、複数のエンコーダがある場合、共同表現は、すべてのエンコーダ２０〜２２の出力にわたる加重和である。図４を参照して説明するように、共同表現２５の重みは訓練中にのみ更新され、実行時には一定のままである。実行時には、重み更新を実行するアルゴリズム、この実施形態ではバックプロパゲーションアルゴリズムは、まったく実行されない。共同表現２５から提供されるデータは次に１つまたは複数のデコーダに出力される。各デコーダ３０、３１はデータをＪＰＥＧ画像１５、１６に復元する。各デコーダ３０、３１は、元のダイコムファイル５、６のモダリティのうちの１つを含む、少なくとも１つのモダリティの入力データをデコードするのに適している。更なるエンコーダ２２を使用して同じ共同表現２５にデータを入力（ｆｅｅｄ）した場合、更なるデコーダ３２を使用してデータをＪＰＥＧ画像に戻すことができる。

したがって、共同表現２５は、各エンコーダから受信される重みを使用して訓練される。マルチモーダルニューラルオートエンコーダ１のさらなる訓練は、バックプロパゲーションおよび勾配降下法を使用して実行され得る。バックプロパゲーションは、パラメータに関する誤差の勾配を計算する。その後、勾配降下法を使用して重みを更新する。誤差関数、または復元基準は、平均二乗誤差である：
x_iとy_iは、それぞれ入力画像と再構成画像のピクセルである。この訓練する手順は教師なし学習タスクである。したがって、ラベル付けされたデータは必要ない。

D_n={(x₀), … ,(x_n)}

それにより、マルチモーダルニューラルオートエンコーダ１は、エンコーダ２０、２１および共同表現２５を訓練する。デコーダ３０、３１はこのプロセス中に訓練される必要はない。訓練プロセスは、訓練されるすべてのコンポーネントに対して実質的に同時に発生し、これは「エンドツーエンド」プロセスとして知られている。オートエンコーダ１は、入力１５,１６を低次元の共同表現２５にエンコードし、次に、デコーダ３０、３１を介した入力を、エンコーダに与えられた入力１５、１６と実質的に同じである出力１７、１８に再構成するように動作可能である。エンコーダ２０、２１とデコーダ３０、３１の両方における重みは、バックプロパゲーションアルゴリズムを使用して同時に訓練される。

重みは、入力１５を提供することによって更新することができ、その後、入力１５は、プロセスを通じて「順方向パス」を経て、その際に最終的に出力１７に処理される。出力１７が（訓練するセットからの）予想される出力と一致しない場合、２つの間の差は誤差になる。次いで、その誤差は、プロセスを通して逆伝搬する（Ｂａｃｋｐｒｏｐａｇａｔｅｄ）ことができ、それによって各パラメータに関して損失の勾配を計算する。その後、勾配をゼロに設定することで、重みを正確に更新することができる。したがって、出力１７が入力１５とあまりにも異なる場合、アルゴリズムはペナルティを科される。出力が入力と同じになるように構成され、訓練するセットが使用されるので、マルチモーダルニューラルエンコーダ１を訓練するプロセスのこの段階は、教師なしで実行することができる。

図３を参照して、分類器を訓練することの詳細を以下に説明する。

マルチモーダルニューラルオートエンコーダ１が複数のモダリティを用いた教師なし事前訓練を受けると、エンコーダ２０、２１および共同表現２５を含むマルチエンコーダモジュール６５は、訓練時間５０の一部として分類器５５への入力として機能する。分類器は、多層パーセプトロン、サポートベクターマシン（ＳＶＭ）、またはランダムフォレストなどの形態であり得る。分類器に多層パーセプトロンを使用するとき、分類器はバックプロパゲーション法と勾配降下法によっても訓練されることができ、エンコーダからの事前訓練された重みのより利用しやすい微調整を可能にする。この訓練手順は教師付き学習タスクであり、ラベル付きのデータセットを必要とする：

D_n={(x₀,y₀), … ,(x_n,y_n)}


（数２）は、d次元画像、y∈[0,1]はラベルである。

分類器を訓練するこの段階の出力は、以前のように画像自体ではなく、（画像）入力のラベルである。したがって、誤差を計算するために、1つ以上が存在する場合は、これらのラベルを含むデータセットが必要である。そのようなデータセットは、既に分類され、関連するラベルを付されている訓練データ７５の形で提供される。したがって、分類器５５が提供される入力に基づいてラベルを生成するとき、そのラベルは訓練データ７５から正しいことが知られているラベルでチェックできる。図２を参照すると、2つのラベルの違いは誤差の結果であり、誤差の原因を見つけて減らすためにバックプロパゲーションを実行できる。

使用される分類器の種類、例えばＳＶＭ、ランダムフォレスト、または多層パーセプトロンは、別個の訓練アルゴリズムを使用して訓練されることができる。これらのアルゴリズムは、最大マージン最適化、決定木にわたる平均化、およびバックプロパゲーションをそれぞれ含み得る。

ここで図４を参照して、訓練された分類器を使用するプロセスをここでさらに詳細に説明する。

図４は、ラベル付けしたデータのモダリティに対応する事前訓練済みエンコーダモデルを使用して分類器が訓練された後のランタイム１００を示す。ランタイム１００の間、共同表現２５内の実数の値は供給された各データポイントごとに異なるが、共同表現に対する重みは一定のままである。この例では、ダイコムファイル５の形式の単一の入力がダイコムデコーダ１０に入力され、ダイコムデコーダ１０は、前述のように、ダイコム画像を読み取り、それを無劣化のＪＰＥＧ画像１５に変換する。JPEG画像はその後メモリに読み込まれる。ここでは、浮動小数点数の3次元テンソルとして表現されている。共同表現２５を得るために、テンソルはエンコーダ２０に入力される。纏められたエンコーダモジュール７０が設けられ、これはエンコーダ２０と共同表現２５とを含む。纏められたエンコーダモジュール７０は、分類器５５に供給される出力を提供し、そこで分類器は予測を出力する。ランタイム１００の間、および／または纏められたエンコーダモジュール７０の使用を通じて、さらなる訓練も提供され得る。

図４の説明に加えて、図５は、ダイコムファイルの形の複数の入力の例を示す。この例では、各入力は、訓練する段階で上述したように異なるモダリティに関連し得る。

医用画像内の関心領域を識別するように動作可能なコンピュータ支援診断（ＣＡＤ）システムが提供される。医用画像から病理を分類する機能は、非線形の非常に複雑な機能である。畳み込みニューラルネットワーク（ＣＮＮ）は、そのような任意の機能をモデル化することができる：

y=f(Wx+b)

f は非線形関数、W は重みの集合、x は入力、b はバイアスベクトルである。

重みの行列は、マルチフェーズ訓練を使用して誤差基準を最小限に抑えるように最適化されている。マルチフェーズ訓練は、画像再構成基準を使用して、共同表現２５を通して訓練されたマルチモーダルニューラルオートエンコーダ１を得ること、および、両方のモダリティについての共同表現を得るために事前訓練済みの共同表現２５を通過する入力を提供することによって分類器５５を訓練することを含む。

したがって、ＣＡＤは、所与の瞬間にはシングルモダリティしか提供されない場合でも、異なるモダリティの共同表現を使用することによって医用画像内の関心領域の識別を提供することができる。例えば、患者がＸ線を受けただけで、それ以上の情報にアクセスできない場合、画像の分析は、その他の、存在しないモダリティの恩恵を受けて提供され得る。したがって、本発明は、複数のモダリティ（例えば、マンモグラムおよび対応する組織構造画像）から特徴を学習するように動作可能であるが、分析を実行するために実行時にただ１つのモダリティを必要とする。予測を行うための好ましい方法は、細胞レベルの組織構造画像からである。しかしながら、患者が診断されるときには組織構造的データは一般的には存在せず、医用画像データへのアクセスしかない。

分類器５５の出力は、受信された入力１５に異常があるか否かを示す単純な「はい／いいえ」の回答の形態であり得る。ＣＡＤは入力画像のパッチを取り、その個々のパッチに異常があるかどうかを確かめることができる。ＣＡＤは、入力全体をカバーするピッチのグリッドに対してそのような動作を実行することができ、それによって、そのような異常を有するように見える領域の周りの関心領域を識別することを可能にする。

この実施形態では、具体的には２つの入力１５、１６を使用してマルチモーダルニューラルエンコーダ１および分類器５５を訓練する。しかしながら、訓練済みニューラルエンコーダ１および分類器５５を使用するためには単一の入力のみが必要とされる。生成された出力は、ランタイム中に提供されないさらなるデータ（例えば、組織構造的データ）を使用して得られた訓練から利益を得ることができる。いくつかの実施形態では、訓練済みニューラルエンコーダ１および分類器５５を使用して出力を生成するのに必要とされる１つまたは複数のより少ない入力で、複数の入力が提供され得る。

本明細書に記載されているような任意のシステムの特徴も方法の特徴として提供することができ、逆もまた同様である。本明細書で使用されるとき、ミーンズプラスファンクションの特徴は、それらの対応する構造に関して代替的に表現されてもよい。

一態様における任意の特徴は、任意の適切な組み合わせで他の態様に適用され得る。特に、方法の態様はシステムの態様に適用することができ、逆もまた同様である。さらに、ある態様におけるいくつかの、および／またはすべての特徴は、あらゆる適切な組み合わせで、他のあらゆる態様における、いくつかの、および／またはすべての特徴に適用することができる。

また、任意の態様において説明され定義された様々な特徴の特定の組み合わせは、独立して実施および／または提供および／または使用することができることを理解されたい。

Claims (28)

1. 医用または臨床画像データ内の関心領域を自動的に識別するための方法であって、
   複数のモダリティのデータのうちの１つからのデータを含む、ラベル付けされていない入力データを受信し、
   訓練済みエンコーダを使用してそのラベル付けされていない入力データをエンコードし、
   訓練済み共同表現モジュールを使用して共同表現を決定し、および、
   訓練済み分類器に対する入力として共同表現を使用することによって、その入力データに対するラベル付きデータを生成する、
   方法。
2. 前記エンコーダ、前記共同表現モジュール、および前記分類器は、複数のモダリティを含む入力訓練データを用いて訓練される、請求項１に記載の方法。
3. １以上のモダリティの入力データが提供される、請求項１または２に記載の方法。
4. 入力データは、マンモグラフィ、Ｘ線、コンピュータ断層撮影（ＣＴ）スキャン、磁気共鳴映像法（ＭＲＩ）データ、組織構造データ、マンモグラフィデータ、遺伝子配列データ、および／または超音波データのうちの１または複数含む、請求項３に記載の方法。
5. 前記共同表現モジュールは、前記１つまたは複数の訓練済みエンコーダから受信された１つまたは複数の出力を使用して訓練される、請求項１乃至４のいずれかに記載の方法。
6. 前記共同表現モジュールは、前記エンコードされたデータを浮動小数点数の三次元テンソルとして受け取る、請求項１乃至５のいずれかに記載の方法。
7. 前記共同表現は、ベクトルの形式である、請求項１乃至６のいずれかに記載の方法。
8. ラベル付きデータを生成することは、前記ラベル付けされていない入力データ内の１以上の関心領域の表示を生成することをさらに含む、請求項１乃至７のいずれかに記載の方法。
9. 前記ラベル付けされていない入力データのモダリティ数は、前記エンコーダ、前記共同表現モジュール、および前記分類器を訓練するために使用される入力訓練データのモダリティ数より少ない、請求項１乃至８のいずれかに記載の方法。
10. 医用または臨床データのための分類器を訓練する方法であって、
    事前ラベル付けされたデータセットから、複数のモダリティからのデータを含むラベル付けされていない入力データを受信するステップと、
    共同表現を形成するために複数のモダリティから前記ラベル付けされていない入力データをエンコードするステップと、
    前記共同表現から適応可能分類アルゴリズムを使用して分類を行い、前記共同表現からラベル付きデータを生成するステップと、
    事前ラベル付けされたデータセットからの事前ラベル付けされたデータを前記ラベル付きデータと比較し、比較データを出力するステップと、
    前記比較データに応じて前記適応可能分類アルゴリズムを調整するステップと、
    前記比較データが、前記適応可能分類アルゴリズムにさらなる調整が不要であることを示す予め定められた閾値に到達するまで上記を繰り返すステップと、
    を含む方法。
11. 共同表現を形成するために複数のモダリティから前記ラベル付けされていない入力データをエンコードするステップは、複数の関連したおよび／または対のエンコーダにより実行される、請求項１に記載された医用または臨床データのための分類器を訓練する方法。
12. 前記入力データは、複数のソースからのデータを含む、請求項１または２に記載された医用または臨床データのための分類器を訓練する方法。
13. ２つのモダリティの入力データが受信される、請求項１乃至１２のいずれかに記載された医用または臨床データのための分類器を訓練する方法。
14. 前記ラベル付けされていない入力データは１以上の医用画像の形式である、請求項１乃至１３のいずれかに記載された医用または臨床データのための分類器を訓練する方法。
15. 前記ラベル付けされていない入力データは複数の医用画像の形式である、請求項１乃至１４のいずれかに記載された医用または臨床データのための分類器を訓練する方法。
16. 前記複数の医用画像は関連している、請求項６に記載された医用または臨床データのための分類器を訓練する方法。
17. 前記入力データは、マンモグラフィ、Ｘ線、コンピュータ断層撮影（ＣＴ）スキャン、磁気共鳴映像法（ＭＲＩ）スキャン、および／または超音波スキャンのうちの１つまたは複数を含む、請求項１乃至１６のいずれかに記載された医用または臨床データのための分類器を訓練する方法。
18. 前記医用画像は、ダイコム（ＤＩＣＯＭ）ファイルの形式である、請求項５乃至８のいずれかに記載された医用または臨床データのための分類器を訓練する方法。
19. 共同表現を形成するために複数のモダリティから前記ラベル付けされていない入力データをエンコードするステップは、それぞれのモダリティに対して別々に行われる、請求項１乃至１８のいずれかに記載された医用または臨床データのための分類器を訓練する方法。
20. 前記適応可能分類アルゴリズムは、機械学習アルゴリズムを含む、請求項１乃至１９のいずれかに記載された医用または臨床データのための分類器を訓練する方法。
21. 前記適応可能分類アルゴリズムは、サポートベクターマシン（ＳＶＭ）、多層パーセプトロン、および／またはランダムフォレストを含む、請求項１乃至１９のいずれかに記載された医用または臨床データのための分類器を訓練する方法。
22. 医用または臨床目的のためデータを分類する方法であって、
    複数のモダリティのデータの内の１つからのデータを含む、ラベル付けされていない入力データを受信するステップと、
    訓練済みエンコーダを使用して前記ラベル付けされていない入力データを訓練済み共同表現にエンコードするステップと、
    前記訓練済み共同表現からラベル付きデータを生成するために前記訓練済み共同表現で学習済みの分類アルゴリズムを使用して分類を行うステップと、
    を含む方法。
23. １つのモダリティの入力データが提供される、請求項１３に記載された医用または臨床目的のためのデータを分類する方法。
24. 前記分類を行うステップは、ラベル付けされていないデータ内の１以上の関心領域の表示を生成することをさらに含む、請求項１３または１４に記載された医用または臨床目的のためのデータを分類する方法。
25. 前記１以上の関心領域はがん性増殖を示す、請求項１３乃至１５のいずれかに記載された医用または臨床目的のためのデータを分類する方法。
26. ラベル付けされていない入力データのモダリティ数は、前記学習済み分類アルゴリズムを訓練するために使用された入力データのモダリティ数より少ない、請求項１乃至２５のいずれかに記載された医用または臨床目的のためのデータを分類する方法。
27. 使用されるいかなるエンコーダまたはデコーダも、ＶＧＧおよび／またはＡｌｅｘＮｅｔ、および／またはＲＮＮを含み、選択的に５１２個の隠れユニットを有する双方向ＬＳＴＭを含む、ＣＮＮである、請求項１乃至２６のいずれかに記載された医用または臨床目的のための、分類器を訓練しおよび／またはデータを分類する方法。
28. 請求項１乃至２７のいずれかに記載された方法を使用し、医用または臨床目的のための、分類器を訓練しおよび／またはデータを分類する装置。