JP2019526143A

JP2019526143A - 医用画像に変換ベースのラーニングを実施するための方法および装置

Info

Publication number: JP2019526143A
Application number: JP2019527937A
Authority: JP
Inventors: クゥァンチェン; ロングァオジャン
Original assignee: Infervision Co Ltd
Current assignee: Infervision Co Ltd
Priority date: 2016-08-03
Filing date: 2017-06-08
Publication date: 2019-09-12
Anticipated expiration: 2037-06-08
Also published as: CN107025369B; EP3495973A1; JP7028874B2; US10990851B2; EP3495973A4; CN107025369A; US20190180145A1; WO2018024031A1

Abstract

本出願は、医用画像に変換ベースのラーニングを実施するための方法および装置を開示する。方法は、医用画像の生データ情報を読み出すことと、データ属性を解析することによってデータに変換処理を実施することと、解析されるモデルによって受信されることが可能なデータフォーマットにそのデータを統合することと、パラメータ変換を実施し、医用画像に対して解析されるモデルのトレーニングに変換ベースのラーニングを適用するために、トレーニングされたモデルと解析される前記モデルのパラメータを比較することによって変換モードを選択することと、モデルトレーニングが終了すると、画像カテゴリの解析に、トレーニングされたモデルのパラメータを適用することと、を含む。【選択図】図２

Description

本発明は、医用人工知能およびビッグデータ処理の分野に関し、より詳細には、医用画像にトランスファーラーニングを実施するための方法および装置に関する。

顕著な進歩によって、その中核としてディープラーニングフレームワークを有する新しい人工知能技術が、様々な分野で飛躍的な発展と進歩を達成してきた。ＡｌｐｈａＧｏ、自動操作車両、音声認識および長年人々が期待していた他の技術は、非常に短期間でなお躍進を遂げた。近い将来、ディープラーニングは、また、医療産業におけるビッグデータ解析および人工知能の適用を促進するであろう。

しかしながら、上記の躍進をもってさえ、今のところ、ディープラーニング技術は、トレーニングプロセスで比較的大きな問題点を今なお有する。

ｉ）モデルトレーニングにコストがかかる。最も適用されるディープラーニングおよびビッグデータ解析モデルは、非常に大型のモデルである。最初からそのモデルをトレーニングするための時間は、数週か、数か月にもなり、すなわち、モデルトレーニングは、大量の時間と人的資源とを浪費する。モデルトレーニングは、また、モデル製作者によるモデルの研究開発と同様、迅速な反復に寄与しない。

ｉｉ）幾つかの適用シナリオのトレーニングデータが限定され、その中に含まれる情報は、大型のディープラーニングモデルのトレーニングをサポートするのに十分ではなく、それゆえ、このような適用シナリオにディープラーニングモデルを適用する範囲を深刻に限定する。

医療産業に特化すると、上記の二つの問題点は、以下のように具体化される。

１）医療分野における重要性は、一般的な適用シナリオの重要性よりも大きい。各患者の診断および治療データは複雑である。ディープラーニングおよびデータ解析モデルは、また、一般のものよりも、より大きく、かつより複雑である。トレーニングコストは非常に高い。従来の方法で、ディープラーニングおよびビッグデータおよびマシンラーニングモデルに対して学習し、トレーニングすることは、大量の人的資源および物的資源を消費し、その適用の経済的妥当性を著しく減少させる。

２）医療分野の全体のデータ量は大きいが、データソースは、複数の病院にわたって分散され、それゆえ、統一化されたデータベースを使用することができない。単一の適用シナリオにおけるデータ量（症例数など）は非常に限られたものとなる。また、データ変更の量は、大型のディープラーニングおよびビッグデータモデルのトレーニングおよびコンピューティングをサポートするためには不十分なものであり、したがって、ディープラーニングおよびビッグデータ技術が適用されるシナリオを非常に限定する。

上述された点の双方は、医療産業において、ディープラーニングの技術全体の発展および継続的な進歩を顕著に制限する。

一般的なディープラーニングおよびビッグデータモデリングのトレーニングモジュールにおいては、モデル内のパラメータを最適化し、計算するために、サンプルデータが用いられる。トレーニングモジュールの解析および計算を通じて、ディープラーニングおよびビッグデータモデルパラメータは、ますます最適化されることになり、最終的には特定の機能を実施する最適なモデルにつながる。それゆえ、サンプルトレーニングを通じた最適化プロセスは、ビッグデータのモデリング、マシンラーニングおよびディープラーニングにおいて極めて重要である。

医療産業におけるモデリングは、複雑な状況ゆえに、データを学習してトレーニングするために、複雑かつ大型のディープラーニングおよびビッグデータモデルをしばしば必要とする。しかしながら、サンプル数は、異なる適用シナリオでしばしば限定される。これは、ディープラーニングおよびビッグデータモデリングトレーニングモジュールにおいて、パラメータ最適化手順に対して、強い圧力を与える。通常、我々が有するデータ量は、最適化を完了するためにモデル全体で必要とされるサンプルをサポートするほど十分ではない。ほとんどの場合、モデルは、計算後、十分有効なものではなく、最適な点は、最適化プロセスでは発見されない。

従来技術の欠陥を克服するために、本発明は、医用画像にトランスファーラーニングを実施するための方法および装置を提供し、上記の最適化における問題点を効果的に解決し、医用画像分野において、ディープラーニングの実用的な効果を改良する。

本発明の医用画像にトランスファーラーニングを実施するための方法は、以下のステップを含む。

Ｓ１：医用画像の生データ情報を読み出すことと、データ属性を解析することによってデータを変換することと、解析されるモデルによって受信されるデータフォーマットにデータを調整すること。

Ｓ２：すでにトレーニングされたモデルと解析されるモデルのパラメータを比較することによって変換モードを選択することと、それによってパラメータ変換を実施することと、医用画像のために解析されるモデルのトレーニングにトランスファーラーニングを適用すること。

Ｓ３：モデルトレーニングが終了したときに、画像のカテゴリのための解析に、すでにトレーニングされたモデルのパラメータを適用すること。

ステップＳ２において、前記パラメータは、解析されるモデルおよびすでにトレーニングされたモデルのパラメータを含み、前記変換モードは、完全変換モードと、部分変換モードと、ハイブリッド変換モードと、パラメータ変換モードと、タイミングインポートモードと、カスタマイズされたインポートモードとを含む。

望ましくは、ステップＳ２におけるパラメータ変換は、以下のステップを含む。

Ｓ２１：すでにトレーニングされたモデルのパラメータを読み出すことと、すでにトレーニングされたモデルのフォーマットにしたがって、パラメータ読み出しインタフェイスを構築すること。

Ｓ２２：すでにトレーニングされたモデルのパラメータのグループに対して、前処理機能を確立することであって、遮断すること、区分化すること、数学的変換すること、ミキシングすること、データの順序を変更することなどの動作を含むこと。

Ｓ２３：解析するモデルの前処理の完了後、すでにトレーニングされたモデルのパラメータのグループをインポートすることと、解析されるモデルの入力および出力フォーマットに従って、ローディングインタフェイスを構築すること。

Ｓ２４：解析されるモデルの解析プロセスに介入することと、解析されるモデルのトレーニングプロセス内の対応する解析およびトレーニングモジュールの機能パラメータに従って調整すること。

望ましくは、完全変換モードは、解析されるモデルおよびすでにトレーニングされたモデルの全体構造が同一であり、同一のパラメータ数および同一のパラメータ構造を有する場合に、トレーニングを開始するために、すでにトレーニングされたモデルのパラメータが、解析されるモデルに、全体として直接トランスファーされることを含む。

望ましくは、部分変換モードは、解析されるモデルおよびすでにトレーニングされたモデルの全体構造が異なる場合、または解析されるモデルに、すでにトレーニングされたモデルのパラメータ全てをトランスファーすることが望ましくない場合、すでにトレーニングされたモデルのパラメータのうちの幾つかは、解析されるモデルにトランスファーされる、あるいは、解析されるモデルのパラメータ全てが、すでにトレーニングされたモデルに由来することが望ましくない場合、解析されるモデルにおけるパラメータのうちの幾つかはすでにトレーニングされたモデルからトランスファーされるが、残りのパラメータは他のモードで生成され、調整されることを含む。

望ましくは、ハイブリッド変換モードは、すでにトレーニングされた複数のモデルのパラメータが、同時に特定の方法で組み合わせられ、解析されるモデルにトランスファーされることを含む。

望ましくは、パラメータ変換モードは、解析されるモデルのパラメータに、すでにトレーニングされたモデルのパラメータを変換するプロセス中に、すでにトレーニングされたモデルのパラメータは、特定の数学的変換を経て、その後、解析されるモデルにインポートされることを含む。

望ましくは、タイミングインポートモードは、解析されるモデルのパラメータに、すでにトレーニングされたモデルのパラメータを変換するプロセス中に、その変換が、一度に完了するのではなく、要求に従って、トレーニングプロセス中に徐々に実施されることを含む。

望ましくは、カスタマイズされたインポートモードは、解析されるモデルのパラメータに、すでにトレーニングされたモデルのパラメータを変換するプロセス中に、パラメータインポートのプロセスが実際の適用シナリオに対してより適切となるように、解析されるモデルのパラメータに、すでにトレーニングされたモデルのパラメータを変換するプロセスの基本手順、構造、目的、方法などがカスタマイズされることを含む。

本発明は、また、医用画像にトランスファーラーニングを実施するための装置に関連し、その装置は、医用画像の生データ情報を読み出し、データ属性を解析することによってデータを変換し、解析されるモデルによって受信されたデータフォーマットにデータを調整するデータ処理モジュールと、すでにトレーニングされたモデルと、解析されるモデルのパラメータを比較することによって変換モードを選択し、それによってパラメータ変換を実施し、医用画像に対して、解析されるモデルのトレーニングにトランスファーラーニングを適用するトランスファーラーニングモジュールと、モデルトレーニングが終了したときに、画像のカテゴリに対する解析に、すでにトレーニングされたモデルのパラメータを適用する適用モジュールと、を含み、前記パラメータは、解析されるモデルおよびすでにトレーニングされたモデルのパラメータを含み、トランスファーラーニングモジュールの前記変換モードは、完全変換モードと、部分変換モードと、ハイブリッド変換モードと、パラメータ変換モードと、タイミングインポートモードと、カスタマイズされたインポートモードとを含む。

望ましくは、トランスファーラーニングモジュールは、すでにトレーニングされたモデルのパラメータを読み出し、すでにトレーニングされたモデルのフォーマットに従ってパラメータ読み出しインタフェイスを構築するパラメータ取得サブモジュールと、すでにトレーニングされたモデルのパラメータのグループに前処理を実施し、前処理は、遮断すること、区分化すること、数学的変換をすること、ミキシングすること、データの順序を変更することなどの動作を含むパラメータ前処理サブモジュールと、解析されるモデルの前処理の完了後、すでにトレーニングされたモデルのパラメータのグループをインポートし、解析されるモデルの入力および出力フォーマットに従って、ローディングインタフェイスを構築するパラメータインポートサブモジュールと、解析されるモデルの解析プロセスに介入し、解析されるモデルのトレーニングプロセス内の対応する解析およびトレーニングモジュールの機能パラメータに従って調整するモデル介入サブモジュールと、を含む。

本発明によって提供される技術的解決策によってもたらされる有利な効果は、次のように具体化される。つまり、ディープラーニングモデルまたはビッグデータモデルが、データのトレーニングにおけるラーニングおよび最適化の実施を開始する前に、他の適用シナリオでトレーニングされたモデルのパラメータが、既存のモデルにロードされ、その後、モデルの通常の最適化動作が開始される。本発明によって提供される方法および装置は、パラメータ空間内の理想的な開始点でモデルの最適化を開始するのに役立つ。理想的な開始点とは、より少ないトレーニングサンプルで、より短期間により良い最適化点をモデルが見つけることを容易にし、それによってモデルトレーニングのコストおよび条件を大きく低下させ、モデルをより多くの適用シナリオに適用することを可能とする。例えば、さらなる改良および解析のために、胸部の肺疾患を解析して計算するために、大腿骨骨頭を解析するためのデータモデルをトランスファーするために、我々は本発明を利用する。例えば、パラメータトランスファーを用いることなく、肺疾患画像のみがトレーニングのために用いられると、モデルの精度はたった６５％である。対照的に、肺疾患モデルに大腿骨骨頭を解析するためのデータモデルのパラメータをトランスファーした後、トレーニングモデルの精度は８５％を超え、それゆえ、肺疾患のモデリングおよび解析の困難とコストが低下する。

本開示の実施形態において技術的解決策をより明瞭に説明するために、実施形態の記述で用いられる必要のある図面が以下に簡潔に導入されるだろう。明らかに、以下の記述における図面は、本開示の単なるいくつかの実施形態にすぎず、当業者に対して、如何なる創作もなく、他の図面がこれらの図面から得られる。
本発明の一実施形態による、医用画像にトランスファーラーニングを実施するための方法の模式図である。本発明の一実施形態による、医用画像にトランスファーラーニングを実施するための方法のフローチャートである。図２における方法のパラメータ変換ステップのフローチャートである。本発明の一実施形態による、医用画像にトランスファーラーニングを実施するための装置のブロック図である。図３におけるトランスファーラーニングモジュールのブロック図である。

本開示の目的、技術的解決策および利点をより明確にするために、本開示の実施形態が、添付された図面を参照して以下にさらに詳細に記述されるだろう。

本発明は、図１に図示されるように、医用画像にトランスファーラーニングを実施するための方法を提供し、図１は、本発明の一実施形態による、トランスファーラーニングの方法の模式図である。

シナリオＡは、ディープラーニング、マシンラーニングまたはビッグデータ解析によって学習され、解析される所望の医療シナリオである。まず、シナリオＡに関連するトレーニングサンプルデータが収集され、トレーニングサンプルデータベースが確立される。シナリオＡのためのモデルトレーニングモジュールは、トレーニングサンプルデータベースに基づいて構築され、トレーニングモジュールで用いられる数学的モデルは、シナリオＡモデルの基本的フレームワーク（モデルレイヤ）と、フレームワークのパラメータ（パラメータレイヤ）とを含む。トレーニングプロセス中に、トレーニングモジュール内の基本的フレームワークは変更されないままであるが、基本的フレームワーク内に含まれるパラメータは継続的に更新され、セルフラーニングされ、動作手順で徐々に何度も最適化され、期待された解析および知能的効果をそのモデルが徐々に有するようにする。

モデルが非常に複雑であって、トレーニングサンプルが限定されるとき、シナリオＡの最適化プロセスは非常に難しいものになる。多くの場合、モデルは、所望の効果を達成しない。それゆえ、シナリオＡのモデリングおよび解析プロセスは、失敗しやすい。それにもかかわらず、パラメータトランスファーラーニング法は、この問題点を効果的に解決する。シナリオＢは、十分なデータを有し、ディープラーニングまたはビッグデータモデルが非常に良い効果を有する別の適用シナリオとみなされる。

したがって、トランスファーラーニングに必要なパラメータ変換機能は、（解析される）モデルＡと（すでにトレーニングされた）モデルＢとの間で、パラメータ比較を実施することによって完了される。パラメータトランスファーラーニング法を用いて、シナリオＢでトレーニングされたパラメータが取得され、処理および前処理され、モデルＡの基本的モデルフレームワークにトランスファーされる。

したがって、モデルＡは、変換されたパラメータに対するそのパラメータ最適化手順を確立する。モデルＡのトレーニングモジュールは、最初からパラメータを最適化する必要はない。対照的に、モデルＢのパラメータをただ最適化するだけで充分である。モデルＢで強いフィーチャマイニング性能を有するパラメータが、モデルパラメータトランスファーラーニング法によって、適用シナリオＡのモデルに、効率的に変換される。

パラメータ変換の完了後、医用画像は、ディープラーニングモデルでトレーニングされる。トレーニング後、モデルＢのパラメータは、関連する医用画像の解析に適用される。このステップは、特定の医用画像のディープラーニングモデルトレーニングに、トランスファーラーニングを適用することを含む。モデルトレーニングが終了したとき、モデルＢのパラメータは、画像のカテゴリの解析に適用される。

例えば、モデルＡが、Ｘ線での肺結節の特徴を解析し、マイニングするために、ディープラーニングモデルをトレーニングすることを意図し、それによって診断を支援するが、解析によって得られるモデルは、肺結節の限定されたデータが取得されるのに起因して、それほど有効ではない。一方、肺滲出の大量のＸ線データを有することが可能であり、肺滲出に対するディープラーニングモデルＢのトレーニングに成功している。したがって、トレーニングモデルＢによって得られる肺滲出のＸ線モデルのパラメータは、ラーニングを開始するために、肺結節に対するモデルＡに入力される。モデルＡのトレーニングは、モデルＢの変換であるため、データ量の閾値を大きく下回り、それゆえ、トレーニング効果は大幅に改善される。

図２に図示されるように、医用画像にトランスファーラーニングをするための本発明の方法は、以下のステップを含む。

Ｓ１：医用画像の生データ情報を読み出すことと、データ属性を解析することによってデータを変換することと、モデルＡによって受信されるデータフォーマットにデータを調整すること。

Ｓ２：モデルＢとモデルＡのパラメータを比較することによって、変換モードを選択することと、それによってパラメータ変換を実施することと、医用画像のモデルＡのトレーニングにトランスファーラーニングを適用すること。

Ｓ３：モデルトレーニングが終了したときに、画像のカテゴリのための解析に、モデルＢのパラメータを適用すること。

ステップＳ２において、前記変換モードは、完全変換モードと、部分変換モードと、ハイブリッド変換モードと、パラメータ変換モードと、タイミングインポートモードと、カスタマイズされたインポートモードとを含む。

図３に図示されるように、ステップＳ２におけるパラメータ変換は、以下のステップを含む。

Ｓ２１：モデルＢのパラメータを読み出すことと、モデルＢのフォーマットに従って、パラメータ読み出しインタフェイスを構築すること。

Ｓ２２：モデルＢのパラメータのグループに対して、前処理機能を確立することであって、遮断すること、区分化すること、数学的変換すること、ミキシングすること、データの順序を変更することなどの動作を含むこと。

Ｓ２３：モデルＡの前処理の完了後、モデルＢのパラメータのグループをインポートすることと、モデルＡの入力および出力フォーマットに従って、ローディングインタフェイスを構築すること。

Ｓ２４：モデルＡの解析プロセスに介入することと、モデルＡのトレーニングプロセス内の対応する解析およびトレーニングモジュールの機能パラメータに従って調整すること。

モデルＡのトレーニングのプロセス中に、モデルＡのトレーニングプロセスは、また、モデルＡのトレーニングプロセス中に一連の制御パラメータを調整するために介入される。例えば、パラメータ変換モジュールは、モデルＡの様々なパラメータのラーニング速度を選択的に調整し、より低レベルのパラメータのラーニング速度を低下させ、より高レベルのモデルパラメータにより高いラーニング速度を割り当てて、様々なパラメータが異なるラーニングおよび調整速度を有するようにする。

モデルＡのパラメータへのモデルＢのパラメータの変換モードは、完全変換モードと、部分変換モードと、ハイブリッド変換モードと、パラメータ変換モードと、タイミングインポートモードと、カスタマイズされたインポートモードとを含む。完全変換モードは、モデルＡおよびモデルＢの全体構造が同一であり、同一のパラメータ数および同一のパラメータ構造を有する場合に、トレーニングを開始するために、モデルＢのパラメータが全体として直接モデルＡにトランスファーされることであり、部分変換モードは、モデルＡおよびモデルＢの全体構造が異なる場合、または、モデルＡに、モデルＢのパラメータ全てをトランスファーすることが望ましくない場合、パラメータ変換モジュールは、モデルＢのパラメータのうちの幾つかを、モデルＡにそれでもトランスファーし、あるいは、モデルＡのパラメータの全てが、モデルＢに由来することが望ましくない場合、モデルＡにおけるパラメータのうちの幾つかはモデルＢからトランスファーされるが、残りのパラメータは他のモードで生成され、調整されることであり、ハイブリッド変換モードは、すでにトレーニングされた複数のモデル（モデルＢ、モデルＣなど）のパラメータが、同時に特定の方法で組み合わせられ、モデルＡにトランスファーされることであり、パラメータ変換モードは、モデルＡのパラメータに、モデルＢのパラメータを変換するパラメータ変換モジュールのプロセス中に、モデルＢのパラメータは、特定の数学的変換を経て、その後、モデルＡにインポートされることであり、タイミングインポートモードは、モデルＡのパラメータに、モデルＢのパラメータを変換するパラメータ変換モジュールのプロセス中に、変換が一度に完了するのではなく、要求に従って、トレーニングプロセス中に徐々に実施されることであり、カスタマイズされたインポートモードは、モデルＡのパラメータに、モデルＢのパラメータを変換するパラメータ変換モジュールのプロセス中に、モデルＡのパラメータに、モデルＢのパラメータを変換するプロセスの基本手順、構造、目的、方法などがカスタマイズされ、パラメータインポートのプロセスが実際の適用シナリオに対してより適切となるようにすることである。

図４に図示されるように、本発明は、また、医用画像にトランスファーラーニングを実施するための装置に関連し、その装置は以下を含む。

・医用画像の生データ情報を読み出し、データ属性を解析することによってデータを変換し、モデルＡによって受信されたデータフォーマットにデータを調整するデータ処理モジュール。

・モデルＡおよびモデルＢのパラメータを比較することによって変換モードを選択し、それによってパラメータ変換を実施し、医用画像のモデルＡのトレーニングにトランスファーラーニングを適用するトランスファーラーニングモジュール。

・モデルトレーニングが終了したときに、画像のカテゴリに対する解析に、モデルＢのパラメータを適用する適用モジュール。

図５に図示されるように、図５は、図４のトランスファーラーニングモジュールのブロック図を図示する。トランスファーラーニングモジュールは、以下を含む。

１）モデルＢのパラメータを読み出し、モデルＢのフォーマットに従ってパラメータ読み出しインタフェイスを構築するパラメータ取得サブモジュール。

２）モデルＢのパラメータのグループに前処理を実施し、前処理は、遮断すること、区分化すること、数学的変換をすること、ミキシングすること、データの順序を変更することなどの動作を含む、パラメータ前処理サブモジュール。

３）モデルＡの前処理の完了後、モデルＢのパラメータのグループをインポートし、モデルＡの入力および出力フォーマットに従って、ローディングインタフェイスを構築するパラメータインポートサブモジュール。

４）モデルＡの解析プロセスに介入し、モデルＡのトレーニングプロセス内の対応する解析およびトレーニングモジュールの機能パラメータに従って調整するモデル介入サブモジュール。

以下は、例示として説明するために与えられる。

（第一実施形態）
パラメータを知能解析胸部ＣＴモデルに適用するように、知能解析胸部Ｘ線モデルのパラメータにトランスファーラーニングを実施する。

解析のために専用胸部Ｘ線モデルを有するように、大量のデータが学習、解析されていることを仮定する。各Ｘ線画像のデータ画像寸法は、（１，４０９６，４０９６）であり、用いられるモデルパラメータマトリクスの寸法リストは、［３２，３，３，３］、［６４，３２，３，３］、［１２８，６４，３，３］、［２，４０９６］であることを仮定する。

このとき、胸部ＣＴモデルを解析することが望まれる。胸部ＣＴ画像の各スライスの画像寸法は、（３００，２５６，２５６）であり、用いられるモデルパラメータリストは、［３２，３００，３，３］、［６４，３２，３，３］、［１２８，６４，３，３］、［１０００，４０９６］であることを仮定する。

胸部Ｘ線モデルは、十分なデータ量および十分なトレーニングを有し、それゆえ、そのモデルは非常に有効である。対照的に、対象の胸部ＣＴトレーニングモデルは、十分なデータ量を有しておらず、モデルは巨大かつ複雑であり、それゆえ、トレーニング効果は理想からほど遠い。したがって、本発明によって提案されたモデルのパラメータのトランスファーラーニング用の装置であって、以下を含むものが用いられる。

・胸部ＣＴモデルに入力されたフォーマットに、胸部ＣＴデータを処理するデータ処理モジュール。

・胸部ＣＴモデルをトレーニングするために、胸部Ｘ線モデルのパラメータを変換するトランスファーラーニングモジュールであって、以下を含むもの。

・・胸部Ｘ線モデルのパラメータから全てのパラメータマトリクスを取得し、パラメータ取得サブモジュールにそれらを入力するパラメータ取得サブモジュール。

・・胸部Ｘ線モデルのパラメータ寸法が胸部ＣＴモデルのパラメータ寸法とは異なるため、特有の変換法を用いて第一のレイヤパラメータを前処理するパラメータ前処理サブモジュールであって、この変換は、第二の軸上で、胸部Ｘ線モデルの第一レイヤパラメータを１００回繰り返す方法を利用し、最終のレイヤは、ロードされないため、如何なる前処理もなく直接除去されるもの。ここで、パラメータの残りは前処理されず、変換が直接実施され、すなわち、パラメータマトリクスの寸法は、［３２，３，３，３］［３２，３００，３，３］、［６４，３２，３，３］［６４，３２，３，３］、［１２８，６４，３，３］［１２８，６４，３，３］に変換される。

・・胸部ＣＴモデルに胸部Ｘ線モデルのパラメータの最終レイヤを除いてパラメータをロードし、解析のトレーニングを開始し、それによって、胸部ＣＴモデルにおけるパラメータの最終レイヤは変換されない、パラメータインポートサブモジュール。

・・胸部ＣＴモデルがトレーニングおよびラーニングを開始した後で、モデルトレーニングプロセスに介入し、パラメータの変換された最初の３つのレイヤに対して、より遅い更新およびラーニングを実施し、変換されていないパラメータの最終レイヤに、より高いラーニングおよび更新速度を割り当てるモデル介入サブモジュール。

・胸部ＣＴモデルトレーニングが完了した後で実行される適用モジュール。

（第二実施形態）
知能解析心肺Ｘ線モデルにパラメータを適用するように、知能解析大腿骨骨頭Ｘ線モデルのパラメータにトランスファーラーニングを実施する。

解析のために専用大腿骨骨頭モデルで、大量のデータが学習、解析されていることを仮定する。各Ｘ線画像のデータ画像寸法は、（１，２０００，２０００）であり、用いられるモデルパラメータマトリクスの寸法リストは、［３２，３，３，３］、［６４，３２，３，３］、［１２８，６４，３，３］、［２，１０２４］であることを仮定する。

このとき、心肺Ｘ線モデルを解析することが望まれる。心肺Ｘ線画像の各スライスの画像寸法は、（１，２０００，２０００）であり、用いられるモデルパラメータリストは、［３２，３，３，３］、［６４，３２，３，３］、［１２８，６４，３，３］、［２，１０２４］であることを仮定する。

大腿骨骨頭Ｘ線モデルは、十分なデータ量および十分なトレーニングを有し、それゆえ、そのモデルは非常に有効である。対照的に、対象の心肺Ｘ線トレーニングモデルは、十分なデータ量を有しておらず、それゆえ、トレーニング効果は理想からほど遠い。したがって、本発明によって提案されたモデルのパラメータのトランスファーラーニング用の装置であって、以下を含むものが用いられる。

・心肺Ｘ線モデルに入力されたフォーマットに、心肺Ｘ線データを処理するデータ処理モジュール。

・心肺Ｘ線モデルをトレーニングするために、大腿骨骨頭Ｘ線モデルのパラメータを変換するトランスファーラーニングモジュールであって、以下を含むもの。

・・大腿骨骨頭Ｘ線モデルのパラメータから全てのパラメータマトリクスを取得し、パラメータ取得サブモジュールにそれらを入力するパラメータ取得サブモジュール。

・・大腿骨骨頭Ｘ線モデルのパラメータ寸法が心肺Ｘ線モデルのパラメータ寸法と同一であるため、変換はパラメータ完全変換モードを採用するパラメータ前処理サブモジュール。

・・心肺Ｘ線モデルに大腿骨骨頭Ｘ線モデルのパラメータのパラメータを最終レイヤを除いてロードし、解析のトレーニングを開始し、それによって、心肺Ｘ線モデルにおけるパラメータの最終レイヤは変換されない、パラメータインポートサブモジュール。

・・心肺Ｘ線モデルがトレーニングおよびラーニングを開始した後で、モデルトレーニングプロセスに介入し、パラメータの変換された最初の３つのレイヤに対して、より遅い更新およびラーニングを実施し、変換されていないパラメータの最終レイヤに対して、より高いラーニングおよび更新速度を割り当てるモデル介入サブモジュール。

・心肺Ｘ線モデルトレーニングが完了した後で実行される適用モジュール。

（第三実施形態）
知能解析脳ＭＲＩモデルにパラメータを適用するように、知能解析肺ＣＴモデルのパラメータにトランスファーラーニングを実施する。

解析のために専用肺ＣＴモデルで、大量のデータが学習、解析されていることを仮定する。ＣＴモデルに入力されるデータ画像寸法は、（１，１００，５１２，５１２）であり、用いられるモデルパラメータマトリクスの寸法リストは、［３２，１００，３，３］、［６４，３２，３，３］、［１２８，６４，３，３］、［１，１０２４］であることを仮定する。

このとき、脳ＭＲＩモデルを解析することが望まれる。脳ＭＲＩ画像の各スライスの画像寸法は、（１，１００，２５６，２５６）であり、用いられるモデルパラメータリストは、［３２，１００，３，３］、［６４，３２，３，３］、［１２８，６４，３，３］、［２５６，１２８，３，３］、［１，１０２４］であることを仮定する。

肺ＣＴモデルは、十分なデータ量および十分なトレーニングを有し、それゆえ、そのモデルは非常に有効である。対照的に、対象の脳ＭＲＩトレーニングモデルは、十分なデータ量を有しておらず、それゆえ、トレーニング効果は理想からほど遠い。したがって、本発明によって提案されたモデルのパラメータのトランスファーラーニング用の装置であって、以下を含むものが用いられる。

・脳ＭＲＩモデルに入力されたフォーマットに、脳ＭＲＩデータを処理するデータ処理モジュール。

・脳ＭＲＩモデルをトレーニングするために、肺ＣＴモデルのパラメータを変換するトランスファーラーニングモジュールであって、以下を含むもの。

・・肺ＣＴモデルのパラメータから全てのパラメータマトリクスを取得し、パラメータ取得サブモジュールにそれらを入力するパラメータ取得サブモジュール。

・・肺ＣＴモデルのパラメータ寸法が脳ＭＲＩモデルのパラメータ寸法と同一であるが、パラメータ数が異なるため、変換はパラメータ部分変換モードを利用するパラメータ前処理サブモジュール。

・・肺ＣＴモデルのパラメータのパラメータを、最終レイヤを除いて脳ＭＲＩモデルにロードし、脳ＭＲＩモデルのパラメータ［２５６，１２８，３，３］の過剰な集合は、ガウス分布に従うランダム数の初期化を採用し、その後、解析のトレーニングが開始する、パラメータインポートサブモジュール。

・・脳ＭＲＩモデルがトレーニングおよびラーニングを開始した後で、モデルトレーニングプロセスに介入し、パラメータの変換された最初の３つのレイヤに対して、より遅い更新およびラーニングを実施し、変換されていないパラメータの最終レイヤに対して、より高いラーニングおよび更新速度を割り当てるモデル介入サブモジュール。

・脳ＭＲＩモデルトレーニングが完了した後で実行される適用モジュール。

本開示の特定の実施形態が詳細に上述されてきたが、本開示の趣旨から逸脱することなく、そこに改変が行われることが理解されるだろう。本開示の特許請求の範囲は、本開示の真の範囲および趣旨内にあることを保証するために、これらの改変を包含することが意図される。

Claims

医用画像にトランスファーラーニングを実施するための方法であって、
医用画像の生データ情報を読み出すことと、データ属性を解析することによって前記データを変換し、解析されるモデルによって受信されるデータフォーマットに前記データを調整するステップＳ１と、
すでにトレーニングされたモデルと解析される前記モデルのパラメータを比較することによって変換モードを選択し、それによってパラメータ変換を実施し、医用画像のために解析される前記モデルのトレーニングに前記トランスファーラーニングを適用するステップＳ２と、
前記モデルトレーニングが終了したときに、画像のカテゴリのための解析に、すでにトレーニングされた前記モデルの前記パラメータを適用するステップＳ３と、を含み、
ステップＳ２において、前記パラメータは、解析される前記モデルおよびすでにトレーニングされた前記モデルのパラメータを含み、前記変換モードは、完全変換モードと、部分変換モードと、ハイブリッド変換モードと、パラメータ変換モードと、タイミングインポートモードと、カスタマイズされたインポートモードと、を含むことを特徴とする医用画像にトランスファーラーニングを実施するための方法。
ステップＳ２における前記パラメータ変換は、
すでにトレーニングされた前記モデルのパラメータを読み出し、すでにトレーニングされた前記モデルのフォーマットに従って、パラメータ読み出しインタフェイスを構築するステップＳ２１と、
すでにトレーニングされた前記モデルのパラメータのグループに対して、前処理機能を確立するステップであって、遮断すること、区分化すること、数学的変換すること、ミキシングすること、データの順序を変更することなどの動作を含む、ステップＳ２２と、
解析する前記モデルの前処理の完了後、すでにトレーニングされた前記モデルのパラメータのグループをインポートし、解析される前記モデルの入力および出力フォーマットに従って、ローディングインタフェイスを構築するステップＳ２３と、
解析される前記モデルの解析プロセスに介入し、解析される前記モデルのトレーニングプロセス内の対応する解析および前記トレーニングモジュールの機能パラメータに従って調整するステップＳ２４と、を含むことを特徴とする請求項１に記載の医用画像にトランスファーラーニングを実施するための方法。
前記完全変換モードは、
解析される前記モデルおよびすでにトレーニングされた前記モデルの全体構造が同一であり、同一のパラメータ数および同一のパラメータ構造を有する場合に、トレーニングを開始するために、すでにトレーニングされた前記モデルの前記パラメータが、解析される前記モデルに、全体として直接トランスファーされることを含む、
ことを特徴とする、請求項１に記載の医用画像にトランスファーラーニングを実施するための方法。
前記部分変換モードは、
解析される前記モデルおよびすでにトレーニングされた前記モデルの前記全体構造が異なる場合、または解析される前記モデルに、すでにトレーニングされた前記モデルの前記パラメータ全てをトランスファーすることが望ましくない場合、すでにトレーニングされた前記モデルの前記パラメータのうちの幾つかは、解析される前記モデルにトランスファーされ、あるいは、解析される前記モデルの前記パラメータの全てが、すでにトレーニングされた前記モデルに由来することが望ましくない場合、解析される前記モデルにおける前記パラメータのうちの幾つかは、すでにトレーニングされた前記モデルからトランスファーされるが、残りのパラメータは、他のモードで生成され、調整されることを含む、
ことを特徴とする、請求項１に記載の医用画像にトランスファーラーニングを実施するための方法。
前記ハイブリッド変換モードは、
すでにトレーニングされた前記複数のモデルの前記パラメータが、同時に特定の方法で組み合わせられ、解析される前記モデルにトランスファーされることを含む、
ことを特徴とする、請求項１に記載の医用画像にトランスファーラーニングを実施するための方法。
前記パラメータ変換モードは、
解析される前記モデルのパラメータに、すでにトレーニングされた前記モデルのパラメータを変換する前記プロセス中に、すでにトレーニングされた前記モデルの前記パラメータは、特定の数学的変換を経て、その後、解析される前記モデルにインポートされることを含む、
ことを特徴とする、請求項１に記載の医用画像にトランスファーラーニングを実施するための方法。
前記タイミングインポートモードは、
解析される前記モデルのパラメータに、すでにトレーニングされた前記モデルのパラメータを変換する前記プロセス中に、前記変換は、一度に完了するのではなく、要求に従って、前記トレーニングプロセス中に徐々に実施されることを含む、
ことを特徴とする、請求項１に記載の医用画像にトランスファーラーニングを実施するための方法。
前記カスタマイズされたインポートモードは、
解析される前記モデルのパラメータに、すでにトレーニングされた前記モデルのパラメータを変換する前記プロセス中に、解析される前記モデルのパラメータに、すでにトレーニングされた前記モデルのパラメータを変換する基本手順、構造、目的、方法などがカスタマイズされ、パラメータインポートの前記プロセスが実際の適用シナリオに対してより適切となるようにすることを含む、
ことを特徴とする、請求項１に記載の医用画像にトランスファーラーニングを実施するための方法。
医用画像にトランスファーラーニングを実施するための装置であって、
医用画像の生データ情報を読み出し、データ属性を解析することによって前記データを変換し、解析されるモデルによって受信されたデータフォーマットに前記データを調整するデータ処理モジュールと、
すでにトレーニングされたモデルと、解析される前記モデルのパラメータを比較することによって変換モードを選択し、それによってパラメータ変換を実施し、医用画像に対して、解析される前記モデルのトレーニングに前記トランスファーラーニングを適用するトランスファーラーニングモジュールと、
前記モデルトレーニングが終了したときに、画像のカテゴリに対する解析に、すでにトレーニングされた前記モデルの前記パラメータを適用する適用モジュールと、
を含み、
前記パラメータは、解析される前記モデルおよびすでにトレーニングされた前記モデルのパラメータを含み、前記トランスファーラーニングモジュールの前記変換モードは、完全変換モードと、部分変換モードと、ハイブリッド変換モードと、パラメータ変換モードと、タイミングインポートモードと、カスタマイズされたインポートモードとを含む、
ことを特徴とする、医用画像にトランスファーラーニングを実施するための装置。
前記トランスファーラーニングモジュールは、
すでにトレーニングされた前記モデルのパラメータを読み出し、すでにトレーニングされた前記モデルのフォーマットに従ってパラメータ読み出しインタフェイスを構築するパラメータ取得サブモジュールと、
すでにトレーニングされた前記モデルのパラメータのグループに前処理を実施し、遮断すること、区分化すること、数学的変換をすること、ミキシングすること、データの順序を変更することなどの動作を含むパラメータ前処理サブモジュールと、
解析される前記モデルの前処理の完了後、すでにトレーニングされた前記モデルのパラメータのグループをインポートし、解析される前記モデルの入力および出力フォーマットに従って、ローディングインタフェイスを構築するパラメータインポートサブモジュールと、
解析される前記モデルの解析プロセスに介入し、解析される前記モデルの前記トレーニングプロセス内の対応する解析および前記トレーニングモジュールの機能パラメータに従って調整するモデル介入サブモジュールと、を含む、
ことを特徴とする、請求項９に記載の医用画像にトランスファーラーニングを実施するための装置。