JP2019531783A5 - - Google Patents

Description

［００５］
機械学習技術における最近の進歩では、画像内の低コントラスト部分やより低品質の画像ののより正確なセグメンテーションのように改善された画像セグメンテーションを行う。例えば、様々な機械学習アルゴリズムでは、医用画像の各ピクセルまたはボクセルが表す解剖学的構造を（例えば、その可能性を推定することによって）予測するために、機械、コンピュータ、またはコンピュータプログラムを「トレーニング（train）」することができる。そのような予測または推定は通常、入力として医用画像の１つまたは複数の特徴を使用する。したがって、セグメンテーションのパフォーマンスは利用可能な特徴の種類に大きく依存する。例えば、ランダムフォレスト（ＲＦ：Random Forest）法が画像セグメンテーションの目的に使用されており、ある程度成功している。ＲＦモデルは、トレーニングサンプルのセットから異なる特徴を抽出することに基づいて構築することができる。しかしながら、ＲＦ法で使用される特徴は手動で設計される必要があり、ある種類の器官の輪郭を描くことに特有のものである。さまざまなセグメンテーション応用に最適な特徴の組み合わせを設計するのは面倒で時間がかかる。

［００８］
本開示のある実施形態は、三次元画像をセグメンテーションするための装置に関する。この装置は、撮像装置によって取得された三次元画像を受け取る入力インターフェースを含むことができる。この装置は、三次元画像を記憶するように構成された少なくとも１つの記憶装置をさらに含むことができる。この装置は、また、三次元画像の第１の平面から二次元画像の第１のスタックを生成し、三次元画像の第２の平面から二次元画像の第２のスタックを生成するように構成された画像プロセッサを含むことができる。画像プロセッサは、少なくとも１つのニューラルネットワークモデルを使用して二次元画像の第１のスタックと第２のスタックをセグメンテーションするようにさらに構成されることができる。画像プロセッサは、また、第１のスタックと第２のスタックからのセグメンテーション結果を集約することによって三次元画像のラベルマップを決定するように構成されることができる。

［０２４］
本明細書で使用されるとき、セグメント化されるかまたはトレーニングデータとして使用されることになる「３Ｄ医用画像」又は「３Ｄ画像」は、ＣＴ、磁気共鳴イメージング（ＭＲＩ）、機能的ＭＲＩ（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、および拡散ＭＲＩ）、コーンビームコンピュータ断層撮影（ＣＢＣＴ）、スパイラルＣＴ、陽電子放出断層撮影（ＰＥＴ）、単光子放出型コンピュータ断層撮影（ＳＰＥＣＴ）、Ｘ線、光断層撮影、蛍光イメージング、超音波イメージング、放射線治療ポータルイメージング、等のような、任意の種類の画像診断法によって取得された３Ｄ画像データセットを指す。さらに、本明細書では、「機械学習アルゴリズム」とは、既存の情報または知識に基づいてモデルまたはパターンを学習し、新しい情報または知識の入力を使用して出力を予測または推定することができる任意のアルゴリズムを指す。

［０２６］
畳み込みニューラルネットワーク（ＣＮＮ）は、教師あり学習によってトレーニングすることができる一種の機械学習アルゴリズムである。ＣＮＮモデルのアーキテクチャには、入力を出力に変換する個別の層のスタックが含まれている。異なる層の例は、１つまたは複数のコンボリューション層、非線形演算子層（整流線形単位（ＲｅＬｕ）関数、シグモイド関数、または双曲線正接関数など）、プーリングまたはサブサンプリング層、全結合層、および／または最終損失層を含むことができる。各層は、１つの上流層と１つの下流層を接続してもよい。入力は入力層と見なすことができ、出力は最終出力層と考えることができる。

［０３２］
開示された実施形態によれば、ＣＮＮモデルをトレーニングするために、トレーニング処理は少なくとも１組のトレーニング画像を使用する。トレーニング画像の各セットは、解剖学的構造を３Ｄ画像のボクセルの各々に関連付ける３Ｄ画像およびその対応する３Ｄグラウンドトルースラベルマップ（3D ground truth label map）を含み得る。限定されない実施例として、３Ｄ画像は、隣接する２Ｄ画像の順次スタックに分割することができる。そして、３Ｄグラウンドトルースラベルマップは、隣接する２Ｄ画像の順次スタックにそれぞれ対応する順次２Ｄグラウンドトルースラベルマップからなる。本明細書で使用されるように、トレーニング画像は既にセグメント化された画像であり、グラウンドトゥルースラベルマップはトレーニング画像の代表的な画像スライスの各ピクセルについて既知の解剖学的構造ラベルを提供する。言い換えれば、グラウンドトゥルースラベルマップのピクセルは、既知の解剖学的構造と関連している。隣接する２Ｄ画像のスタックが奇数個の画像を含む場合、グラウンドトルースラベルマップは、スタックの中央の画像の構造ラベルを提供する。あるいは、隣接する２Ｄ画像のスタックが偶数の画像を含む場合、グラウンドトルースラベルマップは、スタックの２つの中央画像のうちの一方の構造ラベルを提供する。

［０３５］
開示された実施形態によれば、少なくとも１つのトレーニングされたＣＮＮモデルが３Ｄ画像をセグメント化するために使用される。限定されない実施例として、３Ｄ画像は、複数の隣接する２Ｄ画像の形態に分割されてもよいし、複数の隣接する２Ｄ画像の形態で提供されてもよい。例えば、解剖学的平面に沿った一連の隣接する２Ｄ画像のスタックは、セグメント化されるべき３Ｄ画像から取得され得る。隣接する２Ｄ画像の一連のスタックは連続していて、スタックの中間画像が一緒になって実質的に全体の３Ｄ画像を構成するように１つ以上の重なり合う画像を有していてもよい。シリーズの各スタックはトレーニングされたＣＮＮモデルに入力されて、スタックの中央の画像の２Ｄ出力ラベルマップを決定する。２Ｄ隣接画像のスタックの中間画像の２Ｄラベルマップに基づいて、３Ｄラベルマップを決定することができる。限定されない実施例として、３Ｄラベルマップは、隣接する２Ｄ画像のスタックの解剖学的平面に直交する軸に沿って中間画像のシーケンスに従って中間画像の２Ｄラベルマップを集約することによって得られてもよい。

［０４７］
図３に示すように、ＣＮＮモデル１０は、一般に、２つの部分、すなわち第１の特徴抽出部２０と第２のピクセル単位ラベリング部３０とを含むことができる。特徴抽出部２０は、隣接する２Ｄ画像２２の入力スタックの１つまたは複数の特徴を抽出することができる。特徴抽出部は、畳み込みニューラルネットワーク２４を使用して、隣接する２Ｄ画像２２の入力スタックを受け取り、その入力スタックの特徴を表す少なくとも１つの特徴ベクトルまたは行列を出力する。ピクセル単位ラベリング部３０は、特徴抽出部２０の出力を用いて、隣接する２Ｄ画像２２の入力スタックの中間画像２６の２Ｄラベルマップ３２を予測する。ピクセル単位ラベリング部３０は、以下でさらに詳細に説明されるように、パッチベースのアプローチおよび完全マッピングアプローチのような任意の適切なアプローチを使用して実行することができる。

［０５９］
別の限定されない実施例として、コンボリューション層および／またはプーリング層の後に、１つまたは複数の完全に接続された層２９を追加することができる。完全に接続された層は、前の層のすべてのアクティベーションマップまたは機能マップと完全に接続されている。例えば、全結合層は、最後のコンボリューション層または最後のプーリング層の出力をベクトル形式の入力として取り、高レベルの決定を実行し、深さ次元に沿って配置された特徴ベクトルを出力することができる。出力ベクトルは、出力層と呼ばれることがある。ベクトルは、ＣＮＮモデル１０の画像２２の入力スタック内の解剖学的構造の情報を含むことができる。

［０６２］
いくつかの実施形態では、パッチベースのアプローチが、隣接する２Ｄ画像２２の入力スタックの中間画像２６の２Ｄラベルマップ３２を予測するために使用される。隣接する２Ｄ画像のスタック内の各画像は、それぞれが中央ピクセルを有する、重なり合ったまたは重ならない長方形パッチに同じように分割される。これにより、隣接する２Ｄ画像パッチのスタックが生成される。２Ｄ画像パッチのスタックは、トレーニングデータとＣＮＮモデル１０の入力の両方として使用することができる。パッチは、パッチの中央ピクセルが一緒になって実質的に全体の２Ｄ画像を構成するように設計することができる。ＣＮＮモデル１０は、例えば中央ピクセルによって表される解剖学的構造を予測するなど、パッチの各スタックの中間パッチの中央ピクセルを分類することができる。例えば、ＣＮＮモデル１０は、スタック内の中間パッチの中央ピクセルの特徴ベクトルを予測することができ、それによって中央ピクセルの解剖学的構造を分類することを可能にする。このような分類は、隣接する２Ｄ画像パッチの全てのスタックの中間パッチの全ての中央ピクセルが分類又はラベル付けされるまで繰り返し実行され、それにより隣接する２Ｄ画像のスタックの中間画像のセグメンテーションが達成される。

［０６３］
上述したパッチベースのアプローチでは、隣接する２Ｄ画像２２の入力スタックの中間画像２６のピクセル単位のラベリングは、中間画像２６全体を構成する全ての中央ピクセルが分類されるときに実行される。

［０７２］
いくつかの実施形態では、隣接する２Ｄ画像のスタックは、３、５、７、または任意の適切な奇数のような、奇数の画像を含む。そのような場合、グラウンドトゥルースラベルマップは、スタックの中間画像の各ピクセルに対して既知の解剖学的構造ラベルを提供する。他の実施形態では、隣接する２Ｄ画像のスタックは、２、４、６、または任意の適切な偶数のような、偶数の画像を含む。そのような場合、グラウンドトゥルースラベルマップは、スタックの２つの中間画像のうちの１つの各ピクセルについて既知の解剖学的構造ラベルを提供する。

［０８３］
図５に示すように、画像処理装置２００は、画像処理部２２１、メモリ２２２、医用画像データベース２２５、画像データ記憶装置２２６、入出力インターフェース２２７、ネットワークインターフェース２２８、および画像ディスプレイ２２９を含む。

［０１１１］
ステップ５４８において、セグメンテーションユニット１０３は最終的な３Ｄラベルマップを決定する。３つの解剖学的平面について決定された３つの３Ｄラベルマップを融合することによって最終的な３Ｄラベルマップを決定することができる。いくつかの実施形態では、融合された３Ｄラベルマップのボクセルのラベル付けは、多数決によって決定されてもよい。例えば、３つの３Ｄラベルマップのうち２つが解剖学的構造として３Ｄ画像のボクセルをラベル付けする場合、融合された３Ｄラベルマップの対応するボクセルは同じ解剖学的構造に関連付けられていると決定される。他の実施形態では、融合３Ｄラベルマップのボクセルは、３つの３Ｄラベルマップ内の対応するボクセルについて推定された最大尤度または確率に基づいて決定される。例えば、第１の３Ｄラベルマップが、ボクセルは０．５の確率で膀胱を表すと決定し、第２の３Ｄラベルマップが、ボクセルは０．４の確率で前立腺を表すと決定し、第３の３Ｄラベルマップが、ボクセルは０．２の確率で直腸を表すと決定したならば、そのボクセルは融合された３Ｄラベルマップでは膀胱を表すものとしてラベル付けされる。本明細書に記載されるように、画像セグメンテーション処理５００Ｂにおいて決定された３つの３Ｄラベルマップを融合するために任意の適切な方法が使用されてもよい。

［０１１３］
図８Ａに示すように、セグメンテーションユニット１０３は、１つより多い解剖学的平面（例えば、軸平面、矢状平面、冠状平面）に沿って隣接する２Ｄ画像のスタックを使用してトレーニングされたＣＮＮモデルを受信する。３つの解剖学的平面に沿ってセグメント化されるべき３Ｄ医用画像から生成された隣接する２Ｄ画像の３つの一連のスタックは、２Ｄラベルマップを得るためにトレーニングされたＣＮＮモデルに独立して入力する。あるいは、３つの解剖学的平面に沿った３つの一連の隣接する２Ｄ画像のスタックを組み合わせ、例えば１つずつ積み重ね、そして同じトレーニングされたＣＮＮモデルに入力してもよい。上述したように、各解剖学的平面に沿った一連の隣接する２Ｄ画像のスタックの中間画像の２Ｄラベルマップは、３Ｄラベルマップを得るために、集積することができ、例えば、解剖学的平面に直交する軸に沿って積み重ねることができる。したがって、図８Ａに示すように、３つの異なる解剖学的平面に対応する隣接する画像の３つの一連のスタックに基づいて、３Ｄ画像の３つの３Ｄラベルマップを得る。上述したように、３つの３Ｄラベルマップを融合して３Ｄ医用画像の最終的な３Ｄラベルマップを生成する。

Claims (24)

1. 三次元画像をセグメンテーションするためのコンピュータ実施方法であって、
   前記方法は、
   撮像装置により取得された前記三次元画像を受け取ることと、
   前記三次元画像の第１の解剖学的平面から隣接する二次元画像の第１のスタックを生成し、前記三次元画像の第２の解剖学的平面から隣接する二次元画像の第２のスタックを生成することと、
   プロセッサにより、第１の畳み込みニューラルネットワークモデルを用いて前記二次元画像の前記第１のスタックをセグメンテーションし、第２の畳み込みニューラルネットワークモデルを用いて前記二次元画像の前記第２のスタックをセグメンテーションすることと、
   前記プロセッサにより、前記第１のスタックからの前記セグメンテーション結果および前記第２のスタックからの前記セグメンテーション結果をそれぞれ集約することにより、前記三次元画像の第１のラベルマップおよび第２のラベルマップを決定することと、
   前記プロセッサにより、前記三次元画像の前記第１のラベルマップと前記第２のラベルマップとを融合して前記三次元画像の最終的なラベルマップを生成することと
   を有することを特徴とする方法。
2. 請求項１記載の方法において、
   前記三次元画像の第３の解剖学的平面から隣接する二次元画像の第３のスタックを生成することと、
   第３の畳み込みニューラルネットワークモデルを用いて前記二次元画像の前記第３のスタックをセグメンテーションすることと、
   前記第３のスタックからの前記セグメンテーション結果を集約することにより、前記三次元画像の第３のラベルマップを決定することと
   を更に有し、
   前記三次元画像の前記最終的なラベルマップを生成することは、前記三次元画像の前記第１のラベルマップと前記第２のラベルマップと前記第３のラベルマップとを融合して前記三次元画像の前記最終的なラベルマップを生成することを含む
   ことを特徴とする方法。
3. 請求項１記載の方法において、
   前記第１の解剖学的平面および前記第２の解剖学的平面は、それぞれ前記三次元画像の軸平面、矢状面、冠状面から選択される
   ことを特徴とする方法。
4. 請求項１記載の方法において、
   前記二次元画像の前記第１のスタックと前記第２のスタックをセグメンテーションすることは、前記三次元画像のボクセルに対する複数のラベルを決定することを含む
   ことを特徴とする方法。
5. 請求項４記載の方法において、
   前記三次元画像の前記第１のラベルマップと前記第２のラベルマップとを融合して前記三次元画像の前記最終的なラベルマップを生成することは、前記複数のラベルの中で最も高い確率値を有するラベルを前記ボクセルに割り当てることを含む
   ことを特徴とする方法。
6. 請求項１記載の方法において、
   前記第１の畳み込みニューラルネットワークモデル及び前記第２の畳み込みニューラルネットワークモデルは、深層畳み込みニューラルネットワークモデルである
   ことを特徴とする方法。
7. 請求項１記載の方法において、
   前記三次元画像は、患者の解剖学的構造を示す医用画像であり、
   前記ラベルマップは、前記三次元画像の各ボクセルに解剖学的構造を関連付ける
   ことを特徴とする方法。
8. 請求項１記載の方法において、
   少なくとも１つの三次元トレーニング画像を用いて前記第１の畳み込みニューラルネットワークモデル及び前記第２の畳み込みニューラルネットワークモデルをトレーニングすることを更に含む
   ことを特徴とする方法。
9. 三次元画像をセグメンテーションするための装置であって、
   前記装置は、
   撮像装置によって取得された前記三次元画像を受け取る入力インターフェースと、
   前記三次元画像を記憶するように構成された少なくとも１つの記憶装置と、
   前記三次元画像の第１の解剖学的平面から隣接する二次元画像の第１のスタックを生成し、前記三次元画像の第２の解剖学的平面から隣接する二次元画像の第２のスタックを生成し、
   第１の畳み込みニューラルネットワークモデルを用いて前記二次元画像の前記第１のスタックをセグメンテーションし、第２の畳み込みニューラルネットワークモデルを用いて前記二次元画像の前記第２のスタックをセグメンテーションし、
   前記第１のスタックからの前記セグメンテーション結果および前記第２のスタックからの前記セグメンテーション結果をそれぞれ集約することにより、前記三次元画像の第１のラベルマップおよび第２のラベルマップを決定し、
   前記三次元画像の前記第１のラベルマップと前記第２のラベルマップとを融合して前記三次元画像の最終的なラベルマップを生成する
   ように構成されている画像プロセッサと
   を有することを特徴とする装置。
10. 請求項９記載の装置において、
    前記画像プロセッサは、更に、
    前記三次元画像の第３の解剖学的平面から隣接する二次元画像の第３のスタックを生成し、
    第３の畳み込みニューラルネットワークモデルを用いて前記二次元画像の前記第３のスタックをセグメンテーションし、
    前記第３のスタックからの前記セグメンテーション結果を集約して、前記三次元画像の第３のラベルマップを決定する
    ように構成され、
    前記三次元画像の前記最終的なラベルマップを生成することは、前記三次元画像の前記第１のラベルマップと前記第２のラベルマップと前記第３のラベルマップとを融合して前記三次元画像の前記最終的なラベルマップを生成することを含む
    ことを特徴とする装置。
11. 請求項９記載の装置において、
    前記第１の解剖学的平面および前記第２の解剖学的平面は、それぞれ前記三次元画像の軸平面、矢状面、冠状面から選択される
    ことを特徴とする装置。
12. 請求項９記載の装置において、
    前記二次元画像の前記第１のスタックと前記第２のスタックをセグメンテーションすることは、前記三次元画像のボクセルに対する複数のラベルを決定することを含む
    ことを特徴とする装置。
13. 請求項１２記載の装置において、
    前記三次元画像の前記第１のラベルマップと前記第２のラベルマップとを融合することは、前記複数のラベルの中で最も高い確率値を有するラベルを前記ボクセルに割り当てることを含む
    ことを特徴とする装置。
14. 請求項９記載の装置において、
    前記第１の畳み込みニューラルネットワークモデル及び前記第２の畳み込みニューラルネットワークモデルは、深層畳み込みニューラルネットワークモデルである
    ことを特徴とする装置。
15. 請求項９記載の装置において、
    前記三次元画像は患者の解剖学的構造を示す医用画像であり、前記ラベルマップは前記三次元画像の各ボクセルに解剖学的構造を関連付けている
    ことを特徴とする装置。
16. 請求項９記載の装置において、
    前記画像プロセッサは、更に、少なくとも１つの三次元トレーニング画像を用いて前記第１の畳み込みニューラルネットワークモデル及び前記第２の畳み込みニューラルネットワークモデルをトレーニングするように構成されている
    ことを特徴とする装置。
17. 少なくとも１つのプロセッサにより実行されたときに、前記少なくとも１つのプロセッサが三次元画像をセグメンテーションする方法を実行するような命令を含む非一時的コンピュータ可読媒体であって、
    前記方法は、
    撮像装置により取得された前記三次元画像を受け取ることと、
    前記三次元画像の第１の解剖学的平面から隣接する二次元画像の第１のスタックを生成し、前記三次元画像の第２の解剖学的平面から隣接する二次元画像の第２のスタックを生成することと、
    前記少なくとも１つのプロセッサにより、第１の畳み込みニューラルネットワークモデルを用いて前記二次元画像の前記第１のスタックをセグメンテーションし、第２の畳み込みニューラルネットワークモデルを用いて前記二次元画像の前記第２のスタックをセグメンテーションすることと、
    前記少なくとも１つのプロセッサにより、前記第１のスタックからの前記セグメンテーション結果および前記第２のスタックからの前記セグメンテーション結果をそれぞれ集約することにより、前記三次元画像の第１のラベルマップおよび第２のラベルマップを決定することと、
    前記少なくとも１つのプロセッサにより、前記三次元画像の前記第１のラベルマップと前記第２のラベルマップとを融合して前記三次元画像の最終的なラベルマップを生成することを含む
    を有することを特徴とする非一時的コンピュータ可読媒体。
18. 請求項１７記載の非一時的コンピュータ可読媒体において、
    前記方法は、
    前記三次元画像の第３の解剖学的平面から隣接する二次元画像の第３のスタックを生成することと、
    第３の畳み込みニューラルネットワークモデルを用いて前記二次元画像の前記第３のスタックをセグメンテーションすることと、
    前記第３のスタックからの前記セグメンテーション結果を集約することによって、前記三次元画像の第３のラベルマップを決定することと
    を更に有し、
    前記三次元画像の前記最終的なラベルマップを生成することは、前記三次元画像の前記第１のラベルマップと前記第２のラベルマップと前記第３のラベルマップとを融合して前記三次元画像の前記最終的なラベルマップを生成することを含む
    ことを特徴とする非一時的コンピュータ可読媒体。
19. 請求項１７記載の非一時的コンピュータ可読媒体において、
    前記第１の解剖学的平面および前記第２の解剖学的平面は、それぞれ前記三次元画像の軸平面、矢状面、冠状面から選択される
    ことを特徴とする非一時的コンピュータ可読媒体。
20. 請求項１７記載の非一時的コンピュータ可読媒体において、
    前記二次元画像の前記第１のスタックと前記第２のスタックをセグメンテーションすることは、前記三次元画像のボクセルに対する複数のラベルを決定することを含む
    ことを特徴とする非一時的コンピュータ可読媒体。
21. 請求項２０記載の非一時的コンピュータ可読媒体において、
    前記三次元画像の前記第１のラベルマップと前記第２のラベルマップとを融合することは、前記複数のラベルの中で最も高い確率値を有するラベルを前記ボクセルに割り当てることを含む
    ことを特徴とする非一時的コンピュータ可読媒体。
22. 請求項１７記載の非一時的コンピュータ可読媒体において、
    前記第１の畳み込みニューラルネットワークモデル及び前記第２の畳み込みニューラルネットワークモデルは、深層畳み込みニューラルネットワークモデルである
    ことを特徴とする非一時的コンピュータ可読媒体。
23. 請求項１７記載の非一時的コンピュータ可読媒体において、
    前記三次元画像は、患者の解剖学的構造を示す医用画像であり、
    前記ラベルマップは、前記三次元画像の各ボクセルに解剖学的構造を関連付ける
    ことを特徴とする非一時的コンピュータ可読媒体。
24. 請求項１７記載の非一時的コンピュータ可読媒体において、
    前記方法は、
    少なくとも１つの三次元トレーニング画像を用いて前記第１の畳み込みニューラルネットワークモデル及び前記第２の畳み込みニューラルネットワークモデルをトレーニングすることを更に含む
    ことを特徴とする非一時的コンピュータ可読媒体。

Images