JP2019531783A - 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法 - Google Patents
畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2019531783A JP2019531783A JP2019511584A JP2019511584A JP2019531783A JP 2019531783 A JP2019531783 A JP 2019531783A JP 2019511584 A JP2019511584 A JP 2019511584A JP 2019511584 A JP2019511584 A JP 2019511584A JP 2019531783 A JP2019531783 A JP 2019531783A
- Authority
- JP
- Japan
- Prior art keywords
- stack
- image
- dimensional image
- images
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
Description
本開示は、一般に画像セグメンテーションに関する。より具体的には、本開示は、ニューラルネットワークに基づく自動画像セグメンテーションのためのシステムおよび方法に関する。
放射線治療または放射線外科手術では、治療計画は通常、患者の医用画像に基づいて実行され、医用画像内の標的体積および正常な重要臓器の描写を必要とする。したがって、医用画像における解剖学的構造のセグメンテーションは、放射線治療計画のための前提条件かつ重要なステップである。解剖学的構造の正確かつ自動的なコンピュータベースのセグメンテーションまたは輪郭形成は、最適な治療計画の設計および/または適応を容易にすることができる。しかしながら、医療画像の正確かつ自動的なセグメンテーションは、異なる患者における標的容積および重要臓器の形状、サイズ、位置などの変形および可変性のために、現在も挑戦的な課題である。
図1は、典型的な前立腺癌患者からの例示的な三次元(3D)コンピュータ断層撮影(CT)画像を示す図である。図1(A)は、患者の膀胱、前立腺、および直腸を含む患者の骨盤領域の3Dビューを示す図である。図1(B)、(C)、(D)は、この骨盤領域の3DCT画像からのアキシャルビュー(axial view)、サジタルビュー(sagittal view)、コロナルビュー(coronal view)を示す図である。図1(B)、(C)、(D)に示すように、患者の前立腺境界の大部分は見えない。すなわち、前立腺を他の解剖学的構造と容易に区別することも、前立腺の輪郭を決定することもできない。比較としての図1(E)、(F)、(G)は、同じ3DCT画像上の予想される前立腺輪郭を示す図である。図1に示すように、画像内に提示されたコントラストおよびテクスチャのみに基づく従来の画像セグメンテーション方法は、この例示的な三次元CT画像をセグメント化するために使用されると失敗する可能性が高い。したがって、医用画像の自動セグメンテーションの精度を向上させるために様々な手法が提案されている。
例えば、アトラスベースの自動セグメンテーション(ABAS:atlas-based auto-segmentation)方法は、放射線療法治療計画において解剖学的構造を輪郭付ける課題に取り組むために使用されてきた。ABAS法は、基準画像、すなわちアトラス内の以前に定義された解剖学的構造に基づいて新しい画像内に輪郭をマッピングする。ABAS法の精度は、アトラス登録法のパフォーマンスに大きく依存する。上述のように、いくつかの臓器の形状およびサイズは患者によって異なり、同じ患者に対する異なる段階で大規模に変形することがあり、これは位置合わせ精度を低下させ、ABAS法によって実行される自動セグメンテーションに影響を及ぼす可能性がある。
機械学習技術における最近の進歩では、画像内の低コントラスト部分やより低品質の画像ののより正確なセグメンテーションのように改善された画像セグメンテーションを行う。例えば、様々な機械学習アルゴリズムでは、医用画像の各ピクセルまたはボクセルが表す解剖学的構造を(例えば、その可能性を推定することによって)予測するために、機械、コンピュータ、またはコンピュータプログラムを「トレーニング(トレーニング)」することができる。そのような予測または推定は通常、入力として医用画像の1つまたは複数の特徴を使用する。したがって、セグメンテーションのパフォーマンスは利用可能な特徴の種類に大きく依存する。例えば、ランダムフォレスト(RF:Random Forest)法が画像セグメンテーションの目的に使用されており、ある程度成功している。RFモデルは、トレーニングサンプルのセットから異なる特徴を抽出することに基づいて構築することができる。しかしながら、RF法で使用される特徴は手動で設計される必要があり、ある種類の器官の輪郭を描くことに特有のものである。さまざまなセグメンテーション応用に最適な特徴の組み合わせを設計するのは面倒で時間がかかる。
したがって、放射線療法または関連分野における医用画像上のセグメンテーション性能を改善するための新しい自動セグメンテーション方法が必要とされている。
本開示のある実施形態は、三次元画像をセグメンテーションするためのコンピュータ実施方法に関する。この方法は、撮像装置によって取得された三次元画像を受信することと、三次元画像の第1の平面から二次元画像の第1のスタックを生成し、三次元画像の第2に平面から二次元画像の第2のスタックを生成することとを含むことができる。この方法は、プロセッサにより、少なくとも1つのニューラルネットワークモデルを使用して、二次元画像の第1のスタックと第2のスタックをセグメンテーションすることをさらに含むことができる。この方法は、また、プロセッサにより、第1のスタックと第2のスタックからのセグメンテーション結果を集約することによって三次元画像のラベルマップを決定することを含むことができる。
本開示のある実施形態は、三次元画像をセグメンテーションするための装置に関する。この装置は、撮像装置によって取得された三次元画像を受け取る入力インターフェースを含むことができる。この装置は、三次元画像を記憶するように構成された少なくとも1つの記憶装置をさらに含むことができる。この装置は、また、三次元画像の第1の平面から二次元画像の第1のスタックを生成し、三次元画像の第2の平面から二次元画像の第2のスタックを生成するように構成された画像プロセッサを含むことが。画像プロセッサは、少なくとも1つのニューラルネットワークモデルを使用して二次元画像の第1のスタックと第2のスタックをセグメンテーションするようにさらに構成されることができる。画像プロセッサは、また、第1のスタックと第2のスタックからのセグメンテーション結果を集約することによって三次元画像のラベルマップを決定するように構成されることができる。
本開示のある実施形態は、コンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体に関する。少なくとも1つのプロセッサによって実行されると、コンピュータ実行可能命令は、少なくとも1つのプロセッサに三次元画像をセグメンテーションするための方法を実行させることができる。この方法は、撮像装置によって取得された三次元画像を受信することと、三次元画像の第1の平面から二次元画像の第1のスタックを生成し、三次元画像の第2の平面から二次元画像の第2のスタックとを生成することとを含むことができる。この方法は、プロセッサにより、少なくとも1つのニューラルネットワークモデルを使用して二次元画像の第1のスタックと第2のスタックをセグメンテーションすることをさらに含むことができる。この方法は、また、プロセッサにより、第1のスタックと第2のスタックからのセグメンテーション結果を集約することによって三次元画像のラベルマップを決定することを含むことができる。
本開示の目的および利点は、部分的に以下の詳細な説明に記載され、そして部分的にその説明から明らかになり、または本開示の実施によって理解されることができる。本開示の目的および利点は、添付の特許請求の範囲において特に指摘されているエレメントおよびその組み合わせによって実現され達成されるであろう。
前述した一般的な説明および以下の詳細な説明は例示的かつ説明的なものにすぎず、特許請求の範囲に記載の本発明を限定するものではないことを理解されたい。
本明細書の一部を構成する添付の図面は、いくつかの実施形態を例示し、その説明と共に、開示された原理を説明するのに役立つ。
本開示によるシステム、方法、装置、およびプロセスは、機械学習アルゴリズムに基づく画像セグメンテーション方法を使用して3D画像をセグメント化することに関する。特別に、例示的な実施形態は、3D画像から得られた隣接する2D画像のスタックの依存構造情報を使用して、3D画像をセグメント化することの精度およびロバストネスを改善することを可能にする。
本明細書で使用されるとき、セグメント化されるかまたはトレーニングデータとして使用されることになる「3D医用画像」又は「3D画像」は、CT、磁気共鳴イメージング(MRI)機能的MRI(例えば、fMRI、DCE−MRI、および拡散MRI)、コーンビームコンピュータ断層撮影(CBCT)、スパイラルCT、陽電子放出断層撮影(PET)、単光子放出型コンピュータ断層撮影(SPECT)、X線、光断層撮影、蛍光イメージング、超音波イメージング、放射線治療ポータルイメージング、等のような、任意の種類の画像診断法によって取得された3D画像データセットを指す。さらに、本明細書では、「機械学習アルゴリズム」とは、既存の情報または知識に基づいてモデルまたはパターンを学習し、新しい情報または知識の入力を使用して出力を予測または推定することができる任意のアルゴリズムを指す。
教師あり学習は、一連のトレーニングデータを与えられた予測モデルを推論する機械学習の一分野である。トレーニングデータの各個々のサンプルは、データセット(例えば、画像)と所望の出力値またはデータセットとを含む対である。教師あり学習アルゴリズムは、トレーニングデータを分析し、予測関数を生成する。予測関数は、いったんトレーニングによって導出されると、有効な入力に対する正しい出力値またはデータセットを合理的に予測または推定することができる。予測関数は、様々な機械学習モデル、アルゴリズム、および/またはプロセスに基づいて定式化することができる。
畳み込みニューラルネットワーク(CNN)は、教師あり学習によってトレーニングすることができる一種の機械学習アルゴリズムである。CNNモデルのアーキテクチャには、入力を出力に変換する個別の層のスタックが含まれている。異なる層の例は、1つまたは複数のコンボリューション層、非線形演算子層(整流線形単位(ReLu)関数、シグモイド関数、または双曲線正接関数など)、プーリングまたはサブサンプリング層、完全接続層、および/または最終損失層を含むことができる。各層は、1つの上流層と1つの下流層を接続してもよい。入力は入力層と見なすことができ、出力は最終出力層と考えることができる。
CNNモデルの性能および学習能力を高めるために、異なる層の数を選択的に増やすことができる。入力層から出力層までの中間の別個の層の数は非常に多くなる可能性があり、それによってCNNモデルのアーキテクチャの複雑さが増す。多数の中間層を持つCNNモデルは、深層CNNモデル(deep convolutional neural network model)と呼ばれる。例えば、いくつかの深層CNNモデルは20から30を超える層を含むことができ、他の深層CNNモデルは数百を超える層を含むことさえできる。深層CNNモデルの例には、AlexNet、VGGNet、GoogLeNet、ResNetなどがある。
本開示は、3D画像の解剖学的構造をセグメント化するために、CNNモデル、特に深層CNNモデルの強力な学習機能を利用する。開示された実施形態による3D画像のセグメンテーションは、トレーニングされたCNNモデルを使用して実行されて、入力3D画像の各ボクセルを解剖学的構造でラベル付けする。特に、本開示の実施形態における画像セグメンテーションのためのCNNモデルは、手動の特徴抽出を必要とせずに解剖学的構造の自動セグメンテーションを可能にする。
本明細書で使用されるとき、開示されたセグメンテーション方法によって使用されるCNNモデルは、畳み込みニューラルネットワークのフレームワークに基づいて定式化、適合、または修正された任意のニューラルネットワークモデルを指す。例えば、本開示の実施形態においてセグメンテーションに使用されるCNNモデルは、1つまたは複数のデコンボリューション層、アップサンプリング層またはアッププーリング層、ピクセル単位の予測層、および/またはコピーおよびクロップオペレータ層のような、入力層と出力層との間の中間層を選択的に含み得る。
開示された画像セグメンテーション方法、システム、デバイス、およびプロセスは、一般に、ボクセルごとに異なる解剖学的構造でラベル付けされた3D画像を含むトレーニングデータセットを使用してCNNモデルを「トレーニング」または「学習」するトレーニングステージと、トレーニングされたCNNモデルを使用して入力3D画像の各ボクセルの解剖学的構造を予測し、および/または入力3D画像の各ボクセルを解剖学的構造にラベル付けするステージという、2つのステージを含む。
本明細書で使用されるように、CNNモデルを「トレーニングする」とは、CNNモデル内の少なくとも1つの層の1つまたは複数のパラメータを決定することを指す。例えば、CNNモデルのコンボリューション層は、少なくとも1つのフィルタまたはカーネルを含み得る。少なくとも1つのフィルタのカーネル重み、サイズ、形状、および構造などの1つまたは複数のパラメータは、例えば、逆伝播ベースのトレーニング処理によって決定され得る。
開示された実施形態によれば、CNNモデルをトレーニングするために、トレーニング処理は少なくとも1組のトレーニング画像を使用する。トレーニング画像の各セットは、解剖学的構造を3D画像のボクセルの各々に関連付ける3D画像およびその対応する3Dグラウンドトルースラベルマップ(3D ground truth label map)を含み得る。限定されない実施例として、3D画像は、隣接する2D画像の順次スタックと、隣接する2D画像の順次スタックにそれぞれ対応する順次2Dグラウンドトルースラベルマップからなる3Dグラウンドトルースラベルマップに分割することができる。本明細書で使用されるように、トレーニング画像は既にセグメント化された画像であり、グラウンドトゥルースラベルマップはトレーニング画像の代表的な画像スライスの各ピクセルについて既知の解剖学的構造ラベルを提供する。言い換えれば、グラウンドトゥルースラベルマップのピクセルは、既知の解剖学的構造と関連している。隣接する2D画像のスタックが奇数個の画像を含む場合、グラウンドトルースラベルマップは、スタックの中央の画像の構造ラベルを提供する。あるいは、隣接する2D画像のスタックが偶数の画像を含む場合、グラウンドトルースラベルマップは、スタックの2つの中央画像のうちの一方の構造ラベルを提供する。
開示された実施形態によれば、隣接する2D画像のスタックは、軸平面、矢状面、または冠状面などの選択された解剖学的平面に沿った隣接する2D画像スライスである。したがって、隣接する2D画像内の解剖学的構造は、空間的に依存しているか、相関しているか、または解剖学的平面に直交する軸に沿って連続的である。特には、隣接する2D画像間のこのような依存構造情報は、開示された画像セグメンテーション方法によって使用され、3D医用画像のセグメンテーション結果の頑強さ(robustness)および精度を向上させる。
開示された実施形態によれば、異なる解剖学的平面に沿った隣接する2D画像のスタックは異なるCNNモデルをトレーニングするために使用される。限定されない実施例として、軸平面、矢状面、および冠状面などの解剖学的平面に沿った隣接する2D画像のスタックのセットを含む3つの異なるセットのトレーニング画像が、それぞれ3つのCNNモデルをトレーニングするために使用される。各トレーニングされたCNNモデルは、対応する解剖学的平面に沿って3D画像から得られた隣接する2D画像のスタックを使用して3D画像をセグメント化するために使用することができる。あるいは、3つの異なる解剖学的平面に沿った隣接する2D画像のスタックは、1つのCNNモデルをトレーニングするために組み合わされる。トレーニングされたCNNモデルは、3つの解剖学的平面のいずれかに沿って3D画像から得られた隣接する2D画像のスタックを使用して3D画像をセグメント化するために使用され得る。
開示された実施形態によれば、少なくとも1つのトレーニングされたCNNモデルが3D画像をセグメント化するために使用される。限定されない実施例として、3D画像は、複数の隣接する2D画像の形態にセグメンテーションされてもよい、複数の隣接する2D画像に形態で提供されてもよい。例えば、解剖学的平面に沿った一連の隣接する2D画像のスタックは、セグメント化されるべき3D画像から取得され得る。隣接する2D画像の一連のスタックは連続していて、スタックの中間画像が一緒になって実質的に全体の3D画像を構成するように1つ以上の重なり合う画像を有していてもよい。シリーズの各スタックはトレーニングされたCNNモデルに入力されて、スタックの中央の画像の2D出力ラベルマップを決定する。2D隣接画像のスタックの中間画像の2Dラベルマップに基づいて、3Dラベルマップを決定することができる。限定されない実施例として、3Dラベルマップは、隣接する2D画像のスタックの解剖学的平面に直交する軸に沿って中間画像のシーケンスに従って中間画像の2Dラベルマップを集約することによって得られてもよい。
上述のように、軸平面、矢状面、および冠状面などの解剖学的平面に沿った一連の隣接する2D画像のスタックは、3D画像から取得することができる。そのような場合、3つの3Dラベルマップは、それぞれ3つの解剖学的平面の隣接する2D画像の3つの一連のスタックに基づいて決定されることができる。限定されない実施例として、3つの異なる解剖学的平面の隣接する2D画像の3つの一連のスタックをそれぞれ使用して3つの異なるトレーニングされたCNNモデルによって3つの3Dラベルマップを決定することができる。別の限定されない実施例として、3つの異なる解剖学的平面の隣接する2D画像の3つの一連のスタックをそれぞれ使用して、1つのトレーニングされたCNNモデルによって3つの3Dラベルマップを決定することができる。3つの決定された3Dラベルマップは、3D画像の最終的な3Dラベルマップを決定するために融合することができる。
開示された実施形態によれば、決定された3Dラベルマップは解剖学的構造を3D画像の各ボクセルに関連付ける。限定されない実施例として、3Dラベルマップは、3D画像の各ボクセルが表す解剖学的構造を予測する。
開示された画像セグメンテーションシステム、方法、装置、およびプロセスは、任意の種類の画像診断様式から得られる3D画像のセグメンテーションに適用できる。任意の種類の画像診断様式は、X線、CT、CBCT、スパイラルCT、MRI、機能的MRI(例えば、fMRI、DCE−MRIおよび拡散MRI)、PET、SPECT、光断層撮影、蛍光イメージング、超音波イメージング、放射線治療ポータルイメージング、等を含むが、これらに限定されない。さらに、開示された画像セグメンテーションシステム、方法、装置、およびプロセスは、2D画像と3D画像の両方をセグメント化するために使用することができる。
いくつかの実施形態による、開示された画像セグメンテーションシステムは、図2を参照して説明されるような放射線治療装置の一部であり得る。図2は、本開示のいくつかの実施形態による、例示的な画像誘導型放射線治療装置150を示す図である。装置150は、治療台210と、画像取得装置140に対応する画像取得部と、放射線治療装置130に対応する放射線送達部とを含む。
治療台210は、治療セッション中に患者(図示せず)を支持するために使用することができ、また患者支持システムと呼ぶこともできる。治療台210は、治療台210の上に横たわっている患者が装置150の内外に移動できるように、水平の並進軸(「I」)に沿って移動可能であってもよい。いくつかの実施形態では、治療台210は、並進軸を横切る中心垂直回転軸を中心に回転可能である。治療台210は、治療計画に従って患者を適切に位置決めするために様々な方向に移動し、様々な軸に沿って回転するように電動化されてもよい。
画像取得装置140は、治療セッションの前、最中、および/または後に患者の2Dまたは3DのMRI画像を取得するために使用されるMRI装置を含むことができる。画像取得装置140は、磁気共鳴イメージング用の一次磁場を発生させるための磁石146を含むことができる。磁石146の動作によって発生した磁力線は、中心並進軸Iと実質的に平行に延びる。磁石146は、並進軸Iと平行に延びる軸を有する1つ以上のコイルを含むことができる。いくつかの実施形態では、磁石146内の1つまたは複数のコイルは、磁石146の中央窓147がコイルを含まないように離間されてもよい。他の実施形態では、磁石146内のコイルは、それらが放射線治療装置130によって生成された波長の放射線に対して実質的に透明であるように十分に薄いか、または密度が低くてもよい。画像取得装置140は、磁石146の外側の磁界を打ち消すためにほぼ等しい大きさで反対の極性の磁石146の外側の磁界を発生させることができる1つまたは複数の能動遮蔽コイルも含むことができる。放射線治療装置130の放射線源134は、磁場が相殺される領域に、少なくとも一次的に配置することができる。
画像取得装置140は、また、2つの傾斜磁場コイル148、149を含むことができ、これらは1次磁場に重ね合わされる傾斜磁場を発生させる。傾斜磁場コイル148、149は、プロトンの位置を決定することができるようにプロトンの空間的符号化を可能にする合成磁場内に勾配を生成する。傾斜磁場コイル148、149は、磁石146と共通の中心軸の周りに配置され、その中心軸に沿って他の中心軸から変位されてもよい。その変位は、傾斜磁場コイル148、149との間にギャップまたは窓を作り出す。磁石146が傾斜磁場コイル間の中央窓147を含む実施形態では、2つの窓は互いに整列していてもよい。
画像取得装置140は、X線、CT、CBCT、スパイラルCT、PET、SPECT、光断層撮影、蛍光撮像、超音波撮像、および放射線治療ポータル撮像装置などのようなMRI以外の撮像装置であってもよいとされている。
放射線治療装置130は、X線源または線形加速器のような放射線源134と、マルチリーフコリメータ(MLC)132とを含むことができる。放射線治療装置130はシャーシ138上に取り付けることができる。シャーシ138は、治療領域に挿入されたときに治療台210の周りを連続的に回転可能であり、1つまたは複数のシャーシモータによって駆動される。放射線検出器もシャーシ138に取り付けられ、必要に応じて好ましくは放射線源134の反対側に取り付けられ、シャーシ138の回転軸が放射線源134と検出器との間に配置される。放射線治療装置130の制御回路は、装置150内に統合されてもよく、または装置150外に設けられてもよい。
放射線療法治療セッションの間、患者は治療台210上に配置され、それは磁気コイル146、148、149とシャーシ138によって画定された治療領域内に挿入される。制御コンソール110は、放射線源134、MLC132、シャーシモータを制御して、傾斜磁場コイル148、149の間の窓を通して放射線を患者に送達することができる。
[046]
図3は、本開示のいくつかの実施形態による、画像セグメンテーションのための例示的なCNNモデルを示す図である。図3に示すように、画像セグメンテーション用のCNNモデルは、入力として隣接する2D画像のスタックを受け取り、そのスタックの中央にある画像のうちの1つの予測2Dラベルマップを出力することができる。上述のように、隣接する2D画像のスタックが奇数個の画像を含む場合、2Dラベルマップはスタックの中間画像の構造ラベルを提供する。あるいは、隣接する2D画像のスタックが偶数の画像を含む場合、2Dラベルマップはスタックの2つの中間画像のうちの一方の構造ラベルを提供する。
図3に示すように、CNNモデル10は、一般に、2つの部分、すなわち第1の特徴抽出部20と第2のピクセル単位ラベリング部30とを含むことができる。特徴抽出部20は、隣接する2D画像22の入力スタックの1つまたは複数の特徴を抽出することができる。特徴抽出部は、畳み込みニューラルネットワーク24を使用して、隣接する2D画像22の入力スタックを受け取り、その入力スタックの特徴を表す少なくとも1つの特徴ベクトルまたは行列を出力する。ピクセル単位ラベリング部30は、特徴抽出部20の出力を用いて、隣接する2D画像22の入力スタックの中間画像26の2Dラベルマップ32を予測する。ピクセル単位ラベリング部分30は、以下でさらに詳細に説明されるように、パッチベースのアプローチおよび完全マッピングアプローチのような任意の適切なアプローチを使用して実行することができる。
特には、トレーニングのためおよびCNNモデル10の入力として両方の依存構造情報を含む隣接する2D画像のスタックの使用は、CNNモデル10による出力2Dラベルマップ32の予測の精度を向上させる。これにより、3D画像の各画像スライスについて予測された2Dラベルマップから構築された3D画像の予測3Dラベルマップの精度がさらに向上する。
本明細書で使用されるとき、依存構造情報は、2D画像の解剖学的平面に直交する軸に沿って隣接する2D画像のスタックに示される解剖学的構造の間の空間的に依存する関係を指す。限定されない実施例として、スタックの第1の画像内の第1のセットのピクセルによって表される解剖学的構造の形状および種類はまた、第1の画像に隣接する第2の画像内の第2のセットのピクセルによって表されてもよい。これは、解剖学的平面に直交する軸に沿った第1および第2の画像の空間的な隣接がこれらの画像に示される解剖学的構造のある程度の依存性または連続性を可能にするためである。したがって、1つの画像内の解剖学的構造の形状、サイズ、および/またはタイプは、同じ平面に沿って別の隣接する画像内の解剖学的構造の形状、サイズ、および/またはタイプの情報を提供することができる。
別の限定されない実施例として、隣接する2D画像のスタックが3つの連続画像、例えば順に積み重ねられた第1、第2、および第3の画像スライスを含むとき、解剖学的構造は、スタックの第1の画像スライス内の第1のセットのピクセルとスタックの第3の画像スライス内の第3のセットのピクセルとの両方の中に示されるが、第1の画像スライスと第3の画像スライスの間であって隣接する第2の画像スライスの対応する第2のセットのピクセル(例えば、第1および/または第3のセットのピクセルと同様の空間位置を有するピクセル)の中に示されない。そのような場合、第2の画像スライス内の対応するピクセルは誤ってラベル付けされることがある。3つの隣接する2D画像スライスのスタックにおける解剖学的構造のそのような不連続性は、CNNモデル10をトレーニングするための依存構造情報として使用することができる。
別の限定されない実施例として、3つの隣接する2D画像、例えば、順番に積み重ねられた第1、第2、第3の画像スライスのスタックにおいて、スタックの第1の画像スライス内の第1のセットのピクセルと第3の画像スライスの第3のセットのピクセルの両方はバックグラウンドを示すが、第1の画像スライスと第3の画像スライスの間であって隣接する第2の画像スライスの対応する第2のセットのピクセルは解剖学的構造を示すことができる。第2の画像スライス内の対応するピクセルは、偽陽性信号を生成するノイズを受ける可能性がある。3つの隣接する2D画像スライスのスタックにおけるバックグラウンドのこのような不連続性は、またCNNモデル10をトレーニングするための依存構造情報として使用されてもよい。
異なるタイプの依存構造情報を、スタック内の隣接画像の数、セグメント化される解剖学的構造のタイプ、形状、サイズ、位置、および/または数、および/または、画像を取得するために使用されるイメージングモダリティのような、さまざまな要因に基づいて選択的に使用することができる。上述のように、3D画像から得られる隣接する2D画像のスタックのこのような依存構造情報を使用することにより、3D画像をセグメント化すること、または3Dラベルマップを生成することの精度が向上する。
本開示の実施形態において使用されるCNNモデル10の様々な構成要素および特徴について、以下、詳細に説明する。
[054]
いくつかの実施形態では、CNNモデル10の畳み込みニューラルネットワーク24は入力層、例えば隣接する2D画像22のスタックを含む。隣接する2D画像のスタックが入力として使用されるので、入力層はボリュームを有し、その空間的寸法は2D画像の幅および高さによって決定され、その深さはスタック内の画像の数によって決定される。本明細書に記載されるように、CNNモデル10の入力層の深さは、望ましくは、隣接する2D画像22の入力スタック内の画像の数と一致するように調整される。
いくつかの実施形態では、CNNモデル10の畳み込みニューラルネットワーク24は、1つまたは複数のコンボリューション層28を含む。各コンボリューション層28は、上側入力層(例えば、コンボリューション層28の入力のサイズ)によって決定される幅(「W」)および高さ(「H」)、層内のフィルタまたはカーネルの数(「N」)とそれらのサイズのような、複数のパラメータを有することができる。フィルタの数は、コンボリューション層の深さと呼ばれることがある。したがって、各コンボリューション層28は、図3に示すように3Dボリュームの面で説明することができる。各コンボリューション層28の入力は、その幅と高さにわたって1つのフィルタと畳み込まれ、そのフィルタに対応する2D活性化マップまたは特徴マップを生成する。畳み込みは、各コンボリューション層のすべてのフィルタに対して実行され、結果として得られる活性化マップまたは特徴マップは深度次元に沿って積み重ねられ、3D出力を生成する。先行するコンボリューション層の出力は、次のコンボリューション層への入力として使用できる。
いくつかの実施形態では、CNNモデル10の畳み込みニューラルネットワーク24は、1つまたは複数のプーリング層(図示せず)を含む。CNNモデル10内の2つの連続したコンボリューション層28の間にプーリング層を追加することができる。プーリング層は、入力のあらゆる深さスライス(例えば、先行するコンボリューション層からの活性化マップまたは特徴マップ)に対して独立して動作し、ある形式の非線形ダウンサンプリングを実行することによってその空間的次元を縮小する。図3に示すように、プーリング層の機能は、抽出された活性化マップまたは特徴マップの空間次元を漸進的に減少させて、ネットワーク内のパラメータおよび計算の量を減少させ、したがって過適合も制御することである。プーリング層の数および配置は、畳み込みネットワークアーキテクチャの設計、入力のサイズ、コンボリューション層28のサイズおよび/またはCNNモデル10の適用などの様々な要因に基づいて決定することができる。
プーリング層を実装するために様々な非線形関数を使用することができる。例えば、最大のプーリングが使用されてもよい。最大プーリングは、入力の画像スライスを、所定のストライドを有する一組の重複または非重複サブ領域に分割することができる。各サブ領域に対して、最大プーリングは最大値を出力する。これは、幅と高さの両方に沿って入力の各スライスをダウンサンプリングしながら、奥行きの寸法は変更しないままにする。平均プーリング、またはL2ノルムプーリングのような他の適切な機能がプーリング層を実施するために使用されてもよい。
様々な実施形態において、CNNモデル10は、その畳み込みニューラルネットワーク24内に1つまたは複数の追加の層を選択的に含むことができる。限定されない実施例として、ReLu層(図示せず)をコンボリューション層の後に選択的に追加して中間活性化マップまたは特徴マップを生成することができる。ReLu層は、コンボリューション層28のそれぞれの大きさに影響を与えることなく、予測関数及びCNNモデル10の全体の非線形特性を増加させることができる。さらに、ReLu層は、バックプロパゲーショントレーニング処理中の飽和を低減または回避することができる。
別の限定されない実施例として、コンボリューション層および/またはプーリング層の後に、1つまたは複数の完全に接続された層29を追加することができる。完全に接続された層は、前の層のすべてのアクティベーションマップまたは機能マップと完全に接続されている。例えば、完全に接続された層は、最後のコンボリューション層または最後のプーリング層の出力をベクトル形式の入力として取り、高レベルの決定を実行し、深さ次元に沿って配置された特徴ベクトルを出力することができる。出力ベクトルは、出力層と呼ばれることがある。ベクトルは、CNNモデル10の画像22の入力スタック内の解剖学的構造の情報を含むことができる。
更なる限定されない実施例として、損失層(図示せず)をCNNモデル10に含めることができる。損失層は、畳み込みニューラルネットワーク24またはCNNモデル10の最後の層であり得る。CNNモデル10のトレーニング中に、損失層は、ネットワークトレーニングが予測された2Dラベルマップと2Dグラウンドトゥルースラベルマップとの間の偏差をどのように不利にするかを決定することができる。損失層は、様々な適切な損失関数によって実施することができる。例えば、ソフトマックス関数をCNNモデル10の最終損失層として使用することができる。
[061]
上述のように、CNNモデル10の第2の部分では、畳み込みニューラルネットワーク24によって抽出された1つまたは複数の特徴を入力として使用してピクセル単位のラベリングが行われ、予測2Dラベルマップ32が生成される。2Dラベルマップは、隣接する2D画像のスタックの中間画像の構造ラベル提供することができる。
いくつかの実施形態では、パッチベースのアプローチが、隣接する2D画像22の入力スタックの中間画像26の2Dラベルマップ32を予測するために使用される。隣接する2D画像のスタック内の各画像は、それぞれが中心ピクセルを有する、重なり合ったまたは重ならない長方形パッチに同じように分割される。これにより、隣接する2D画像パッチのスタックが生成される。2D画像パッチのスタックは、トレーニングデータとCNNモデル10の入力の両方として使用することができる。パッチは、パッチの中心ピクセルが一緒になって実質的に全体の2D画像を構成するように設計することができる。CNNモデル10は、例えば中央ピクセルによって表される解剖学的構造を予測するなど、パッチの各スタックの中央パッチの中央ピクセルを分類することができる。例えば、CNNモデル10は、スタック内の中央パッチの中心ピクセルの特徴ベクトルを予測することができ、それによって中心ピクセルの解剖学的構造を分類することを可能にする。このような分類は、隣接する2D画像パッチの全てのスタックの中央パッチの全ての中心ピクセルが分類又はラベル付けされるまで繰り返し実行され、それにより隣接する2D画像のスタックの中央画像のセグメンテーションが達成される。
上述したパッチベースのアプローチでは、隣接する2D画像22の入力スタックの中央画像26のピクセル単位のラベリングは、中央画像26全体を構成する全ての中央ピクセルが分類されるときに実行される。
他の実施形態では、隣接する2D画像22の入力スタックの中間画像26の2Dラベルマップ32を予測するためにフルマップアプローチが使用される。そのような場合、中間画像26の2Dラベルマップ32は、隣接する2D画像22の入力スタックに基づいてCNNモデル10の出力として生成される。CNNモデル10内の畳み込みニューラルネットワーク24は、活性化マップまたは特徴マップを出力として抽出するために使用され、これは、2Dラベルマップを予測するために1つまたは複数の演算層を含むピクセル単位のラベリング構造によって受信される。そのような場合、畳み込みニューラルネットワーク24の最終層は、活性化マップまたは特徴マップを出力するコンボリューション層であり得る。
限定されない実施例として、ピクセル単位予測層(図示せず)をCNNモデル10に追加して、ピクセル単位のラベリングを実行することができる。ピクセル単位予測層は、畳み込みニューラルネットワーク24の粗い出力特徴マップ(例えば、特徴ベクトル)を、隣接する2D画像22の入力スタックの中間画像26の(例えば、各ピクセルのより多くの情報を提供する)高密度の予測ピクセル単位2Dラベルマップ32に変換する。逆方向アップサンプリングまたはアンプーリング(例えば、双一次または非線形補間)、および逆方向畳み込み(デコンボリューション)などの様々な機能を使用して、ピクセル単位の予測層を実装することができる。
他の限定されない実施例として、デコンボリューションネットワーク34がCNNモデル10に追加されて、ピクセル単位のラベリングが行われる。図3に示すように、デコンボリューションネットワーク34は、CNNモデル10の畳み込みニューラルネットワーク24のミラーバージョンであり得る。抽出された活性化マップまたは特徴マップの空間寸法を漸進的に減少させる畳み込みニューラルネットワーク24とは反対に、デコンボリューションネットワーク34は、デコンボリューション層36および/またはアンプーリング層(図示せず)の選択を用いることによって中間活性化マップまたは特徴マップを拡大する。アンプーリング層(例えば、アップサンプリング層)は、特徴マップのピクセルをそれらの前または元のプールの位置に戻し、それによって拡大されたが希薄な活性化マップまたは特徴マップを生成するのに用いることができる。デコンボリューション層を使用して、入力活性化マップまたは特徴マップの単一のピクセルを複数の出力ピクセルに関連付け、それによって活性化マップまたは特徴マップの密度を拡大および増大させることができる。したがって、デコンボリューションネットワーク34は、2Dラベルマップを予測するために畳み込みニューラルネットワーク24と共にトレーニングされて使用される。
当業者には理解されるように、ピクセル単位のラベリングを実行するための他の適切な方法は、本開示の実施形態において適合され、修正され、および/または使用されることができる。
本開示の実施形態による、上述のCNNモデルに基づく画像セグメンテーション方法、システム、デバイス、および/またはプロセスは、2つの段階、すなわち、各ボクセルの異なる解剖学的構造でラベル付けされた3D画像を含むトレーニングデータセットを使用してCNNモデルを「トレーニング」または「学習」するトレーニング段階と、トレーニングされたCNNモデルを使用して入力3D画像の各ボクセルの解剖学的構造を予測するおよび/または入力3D医用画像の各ボクセルにラベル付けするセグメンテーション段階とを含む。上述のCNNモデルに基づく画像セグメンテーション方法、システム、装置、および/またはプロセスは、以下詳細に説明される。
[069]
図4は、本開示のいくつかの実施形態による、少なくとも1つのCNNモデルに基づいて3D画像をセグメント化するための例示的な画像セグメント化システム100を示す図である。図4に示すように、画像セグメンテーションシステム100は、2つの段階、トレーニング段階およびセグメンテーション段階を実行するための構成要素を含むことができる。トレーニング段階を実行するために、画像セグメンテーションシステム100は、トレーニング画像データベース101およびCNNモデルトレーニングユニット102を含むことができる。セグメンテーション段階を実行するために、画像セグメンテーションシステム100は、CNNモデルベースの画像セグメンテーションユニット103および医用画像データベース104を含むことができる。いくつかの実施形態では、画像セグメンテーションシステム100は、図4に示される構成要素のうちのより多くのまたはより少ない構成要素を含むことができる。例えば、画像セグメンテーションのためのCNNモデルが予めトレーニングされ提供されている場合、画像セグメンテーションシステム100はセグメンテーションユニット103および医用画像データベース104を含むだけでもよい。画像セグメンテーションシステム100は任意選択でネットワーク105を含むことができる。いくつかの実施形態では、ネットワーク105は有線データ通信システムまたは装置によって置き換えられることができる。
いくつかの実施形態では、画像セグメンテーションシステム100の様々な構成要素は、互いに離れてまたは異なる空間に配置されてもよく、図4に示されるようにネットワーク105を介して接続されてもよい。いくつかの代替可能な実施形態では、画像セグメンテーションシステム100の特定の構成要素は、同じ場所に配置してもよいし、1つの装置の内部に配置してもよい。例えば、トレーニング画像データベース101は、CNNモデルトレーニングユニット102の場所に配置されてもよく、またはCNNモデルトレーニングユニット102の一部であってもよい。他の例として、CNNモデルトレーニングユニット102およびセグメンテーションユニット103は同じコンピュータまたは処理装置の内部にあってもよい。
図4に示すように、CNNモデルトレーニングユニット102は、トレーニング画像データベース101と通信して、トレーニング画像の1つまたは複数の組を受け取ることができる。トレーニング画像データベース101に格納されたトレーニング画像のセットは、医療画像データベース、例えば、放射線治療セッション中に以前に取得された医療画像を含む医療画像データベースから取得されてもよい。トレーニング画像の各セットは、解剖学的構造を3D画像のボクセルの各々に関連付ける3D画像およびその対応する3Dグラウンドトゥルースラベルマップを含むことができる。3D画像は、隣接する2D画像の1つまたは複数の順次スタックに選択的に分割されてもよい。3Dグラウンドトルースラベルマップは、隣接する2D画像の順次スタックにそれぞれ対応する順次2Dグラウンドトルースラベルマップに分割することができ、2Dグラウンドトルースラベルマップのピクセルは、既知の解剖学的構造と関連付けられる。各スタック内の隣接する2D画像の数は、3D画像のサイズ、CNNモデルの特定の枠組み、2D画像に垂直な軸に沿った隣接する2D画像内の解剖学的構造間の関係、および/またはセグメントのアプリケーションのような、さまざまな要因に基づいて決定される。
いくつかの実施形態では、隣接する2D画像のスタックは、3、5、7、または任意の適切な奇数のような、奇数の画像を含む。そのような場合、グラウンドトゥルースラベルマップは、スタックの中央画像の各ピクセルに対して既知の解剖学的構造ラベルを提供する。他の実施形態では、隣接する2D画像のスタックは、2、4、6、または任意の適切な偶数のような、偶数の画像を含む。そのような場合、グラウンドトゥルースラベルマップは、スタックの2つの中央画像のうちの1つの各ピクセルについて既知の解剖学的構造ラベルを提供する。
開示された実施形態によれば、トレーニング画像は、MRI、機能的MRI(例えば、fMRI、DCE−MRI、拡散MRI)、CT、CBCT、スパイラルCT、PET、SPECT、X線、光トモグラフィ、蛍光イメージング、超音波イメージング、放射線治療ポータルイメージングなどを含む様々な画像診断様式を用いて取得されることができる。いくつかの実施形態では、トレーニングデータは、腫瘍学情報システムから収集することができる。例えば、トレーニング画像は、画像取得装置140によって取得されてもよい。
CNNモデルトレーニングユニット102は、トレーニング画像データベース101から受信したトレーニング画像を使用して、新しい3D画像の画像セグメンテーションを実行するためにCNNモデルをトレーニングすることができる。CNNモデルトレーニングユニット102は、プロセッサおよび非一時的コンピュータ可読媒体(図5で詳細に説明される)を含むことができる。プロセッサは、コンピュータ可読媒体に格納されているトレーニング処理の命令を実行することによってトレーニングを実施することができる。CNNモデルトレーニングユニット102は、入力および出力インターフェース(図5で詳細に説明される)をさらに含み、トレーニング画像データベース101、ネットワーク105、および/またはユーザインターフェース(図示せず)と通信することができる。ユーザインターフェースは、トレーニング画像のセットを選択すること、トレーニング処理の1つまたは複数のパラメータ(例えば、各スタック内の隣接画像スライスの数)を調整すること、CNNモデルのフレームワークを選択または修正すること、および/またはトレーニングのために画像を手動または半自動でセグメント化することに使用される。トレーニング処理の例は、図6を参照して詳細に説明される。
いくつかの実施形態によれば、CNNモデルトレーニングユニット102は、トレーニング処理(例えば、図6に開示されるような)を実行するソフトウェアによって特別にプログラムされたハードウェア(例えば、図5に開示されるような)により実施されてもよい。
セグメンテーションユニット103は、CNNモデルトレーニングユニット102から少なくとも1つのトレーニングされたCNNモデルを受け取ることができる。セグメンテーションユニット103は、プロセッサおよび非一時的コンピュータ可読媒体(図5で詳細に説明される)を含み得る。プロセッサは、媒体に格納されている画像セグメンテーション処理の命令を実行することによって3D画像のセグメンテーションを実行することができる。セグメンテーションユニット103はさらに、入力および出力インターフェース(図5で詳細に説明される)を含み、医用画像データベース104、ネットワーク105、および/またはユーザインターフェース(図示せず)と通信することができる。ユーザインターフェースは、セグメント化される3D画像を選択すること、セグメンテーション処理を開始すること、セグメント化された3D画像または3Dラベルマップを表示すること、および/またはセグメント化された画像または3Dラベルマップに基づいてさらなる分析を実行することのために使用することができる。画像セグメンテーション処理の例については、図7A〜図8Bを参照して詳細に説明する。
いくつかの実施形態によれば、セグメンテーションユニット103は、画像セグメンテーション処理(例えば、図7A、7Bに開示されるような)を実行するソフトウェアによって特別にプログラムされたハードウェア(例えば、図5に開示されるような)により実施されてもよい。
セグメンテーションユニット103は、医用画像データベース104と通信して、1つまたは複数の3D画像を受け取ることができる。医用画像データベース104に格納された3D画像は、例えば、放射線療法治療セッションの2Dおよび/または3D画像を含む医用画像データベースから取得することができる。本明細書で説明されるように、3D画像は、画像取得装置140のような医用撮像装置によって取得された2D投影画像から再構成することができる。これらの3D画像は通常、まだセグメント化されていない。
セグメンテーションユニット103は、CNNモデルトレーニングユニット102から受信した少なくとも1つのトレーニングされたCNNモデルを使用して、3D画像の各ボクセルが表す解剖学的構造を予測することができる。画像セグメンテーションが完了すると、セグメンテーションユニット103は、3D画像の各ボクセルを解剖学的構造に関連付ける3Dラベルマップを出力することができる。3Dラベルマップは、ユーザインターフェースに表示されてもよく、および/または治療計画におけるさらなる使用のために医用画像データベース104に格納されてもよい。いくつかの実施形態では、セグメント化された画像はトレーニング画像データベース101に自動的に格納されてトレーニング画像となることができる。
開示された実施形態によれば、セグメント化されるべき3D画像は、MRI、機能的MRI(例えば、fMRI、DCE−MRI、拡散MRI)、CT、CBCT、スパイラルCT、PET、SPECT、X線、光トモグラフィ、蛍光イメージング、超音波イメージング、および放射線療法ポータルイメージングなどのような、様々な画像診断様式を用いて取得することができる。いくつかの実施形態では、医用画像データベース104は、セグメンテーションユニット103の統合された部分であるか、または、放射線療法治療室のようなセグメンテーションユニット103と同じ場所に配置され得る。
ネットワーク105は、画像セグメンテーションシステム100内の上述の構成要素のうちのいずれかの間の接続を提供することができる。例えば、ネットワーク105は、ローカルエリアネットワーク(LAN)、無線ネットワーク、クラウドコンピューティング環境(例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャ)、クライアントサーバ、広域ネットワーク(WAN)などであり得る。
[082]
図5は、本開示のいくつかの実施形態による、例示的な画像処理装置200を示す図である。画像処理装置200は、CNNモデルトレーニングユニット102、セグメンテーションユニット103、またはその2つの組み合わせの実施形態であり得る当業者には理解されるように、いくつかの実施形態では、画像処理装置200は特殊用途のコンピュータまたは汎用のコンピュータであり得る。例えば、画像処理装置200は、画像取得および画像処理タスクを実行するために病院用の特注のコンピュータとすることができる。
図3に示すように、画像処理装置200は、画像処理部221、メモリ222、医用画像データベース225、画像データ記憶装置226、入出力インターフェース227、ネットワークインターフェース228、および画像ディスプレイ229を含む。
画像プロセッサ221は、マイクロプロセッサ、中央処理装置(CPU)、グラフィック処理装置(GPU)のような1つまたは複数の汎用処理装置とすることができる。画像プロセッサ221は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、システムオンチップ(SoC)などのような1つまたは複数の専用処理装置とすることもできる。
画像プロセッサ221は、メモリ222に通信可能に接続され、その上に格納されているコンピュータ実行可能命令を実行するように構成されてもよい。メモリ222は、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、相変化ランダムアクセスメモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、電気的消去可能プログラマブル読出し専用メモリ(EEPROM)、他の種類のランダムアクセスメモリ(RAM)、フラッシュディスクまたは他の形態のフラッシュメモリ、キャッシュ、レジスタ、静的メモリ、コンパクトディスク読み取り専用メモリ(CD−ROM)、デジタル多用途ディスク(DVD)または他の光学的記憶デバイス、カセットテープまたは他の磁気記憶デバイス、または、コンピュータ装置などによってアクセスされることができる情報または命令を格納するために使用される他の任意の非一時的媒体のような、非一時的コンピュータ可読媒体であり得る。
いくつかの実施形態では、メモリ222は、1つまたは複数の画像処理プログラム223のようなコンピュータ実行可能命令、ならびに医用画像データ224のようなコンピュータプログラムの実行中に使用または生成されるデータを格納することができる。画像プロセッサ221は、画像処理プログラム223を実行して、CNNモデルトレーニングユニット102および/またはセグメンテーションユニット103の機能を実施することができる。画像プロセッサ221は、またメモリ222から医用画像データ224を送信および/または受け取ることができる。例えば、画像プロセッサ221は、メモリ222に格納されているトレーニング画像データまたは医用画像データを受け取ることができる。画像プロセッサ221は、またCNNモデルの更新されたパラメータ、および/または中間の2Dおよび/もしくは3Dのセグメント化画像もしくはラベルマップなどの中間データを生成し、それらをメモリ222に送信することができる。
画像処理装置200は、トレーニング画像データベース101および医用画像データベース104の一方または両方を含む医用画像データベース225を任意に含んでもよい。当業者であれば、医用画像データベース225が集中的または分散的に配置された複数の装置を含むことができることを理解するであろう。画像プロセッサ221は、医用画像データベース225と通信して、画像をメモリ222に読み込む、またはセグメント化された画像をメモリ222から医用画像データベース225に格納することができる。
画像データ記憶装置226は、画像プロセッサ221によって実行される画像処理タスクに関連するデータを記憶するのに利用可能な追加の記憶装置である。いくつかの実施形態では、画像データ記憶装置226は、非一時的機械可読またはコンピュータ可読記憶媒体を含むことができる。一実施形態における機械可読記憶媒体またはコンピュータ可読記憶媒体は単一の媒体とすることができ、「機械可読記憶媒体」または「コンピュータ可読記憶媒体」という用語は、1つまたは複数のコンピュータ実行可能命令またはデータのセットを格納する、単一の媒体または複数の媒体(例えば、集中型または分散型データベースおよび/または関連するキャッシュおよびサーバ)を含むものとして理解されるべきである。用語「機械可読記憶媒体」または「コンピュータ可読記憶媒体」は、機械またはコンピュータによる実行のための一組の命令を記憶またはエンコードすることができ、任意の1つまたは複数の本開示の方法を実行することを機械またはコンピュータに引き起こす任意の媒体を含むと理解されるべきである。したがって、「機械可読記憶媒体」または「コンピュータ可読記憶媒体」という用語は、それだけに限定されないが、固体メモリ、光媒体、および磁気媒体を含むと解釈されるものである。
入出力インターフェース227は、データが画像処理装置200によって受信および/または送信されることを可能にするように構成されることができる。入出力インターフェース227は、画像処理装置200がユーザまたは他の機械および装置と通信することを可能にする1つまたは複数のデジタルおよび/またはアナログ通信装置を含むことができる。例えば、入出力インターフェース227は、ユーザが画像処理装置200に入力するためのキーボードおよびマウスを含むことができる。
ネットワークインターフェース228は、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、USBコネクタ、パラレルコネクタ、ファイバ、USB3.0、サンダーボルトなどのような高速データ伝送アダプター、WiFiアダプター、電気通信(3G、4G/LTEなど)アダプターなどのような無線ネットワークアダプタを含むことができる。画像処理装置200は、ネットワークインターフェース228を介してネットワーク105に接続することができる。画像ディスプレイ229は、医用画像を表示するのに適した任意の表示装置であることができる。例えば、画像ディスプレイ229は、LCD、CRT、またはLEDディスプレイで歩ことができる。
[091]
本開示の画像セグメンテーション方法、システム、およびデバイスによって実行される例示的なトレーニング処理を、図6を参照しながら以下詳細に説明する。
図6は、本開示のいくつかの実施形態による、CNNモデルをトレーニングするための例示的なトレーニング処理400を示すフローチャートである。いくつかの実施形態では、トレーニング処理400は、CNNモデルトレーニングユニット102によって実行される。
トレーニング処理400は、CNNモデルトレーニングユニット102が一組のトレーニング画像を受信したときに開始する(ステップ410)。上記のように、トレーニング画像のセットは、3Dトレーニング画像とそれに対応する3Dグラウンドトゥルースラベルマップとを含むことができる。例えば、3Dトレーニング画像は、患者の骨盤領域、頭部領域、心臓領域、肝臓領域、または他の解剖学的領域を示す。いくつかの実施形態では、トレーニング画像は、セグメント化される画像と同じまたは類似の関心領域である。
図6に示すように、CNNモデルをトレーニングするための反復の開始点を設定するために、ステップ412において、反復回数を追跡するためのインデックスが例えばゼロに設定される。ステップ414において、CNNモデルトレーニングユニット102は、3Dトレーニング画像および対応する2Dグラウンドトゥルースラベルマップから隣接する2D画像の1つ以上のスタックを例えばランダムに選択し、CNNモデルをトレーニングするためのひとつのバッチとして選択された画像およびマップを集約して使用する。例えば、解剖学的平面に沿った隣接する2D画像の一連の順次スタックは、3Dトレーニング画像から得られてもよい。一連のスタックの中間画像が実質的に全体の3Dトレーニング画像を構成することができるように、順次スタックは1つまたは複数の重なり合う画像を有することができる。加えて、CNNモデルトレーニングユニット102は、隣接する2D画像の選択されたスタックのそれぞれの中間画像の対応する2Dグラウンドトルースラベルマップを受け取ることができる。例えば、上述のように、3Dグランドトゥルースラベルマップは、隣接する2D画像の順次スタックにそれぞれ対応する一連の順次2Dグランドトゥルースラベルマップに分割されてもよい。2Dラベルマップは、隣接する2D画像の選択されたスタックの中間画像の各ピクセルに対する既知の解剖学的構造のラベルを提供する。したがって、2Dラベルマップの各ピクセルは、背景、または隣接する2D画像の選択されたスタックに含まれる既知の解剖学的構造のうちの1つのいずれかと関連付けられる。上述のように、隣接する2D画像のスタックは、解剖学的平面に直交する軸に沿ってそれらの間の依存構造情報を含む。
いくつかの実施形態では、ステップ414において選択された隣接する2D画像の1つまたは複数のスタックは、軸平面、矢状面、冠状面のような3つの解剖学的平面から選択された平面に沿っている。そのような場合、処理400は、例えば、この選択された平面に沿ってスライスされた3D画像をセグメント化するために、この選択された平面に対するCNNモデルを出力することができる。いくつかの実施形態では、処理400を繰り返して、3つの解剖学的平面に沿ってそれぞれ3D画像スライスをセグメント化するためにトレーニングされた3つの異なるCNNモデルを出力することができる。
他の実施形態では、ステップ414で選択された隣接する2D画像の1つまたは複数のスタックは、2つ以上の選択された解剖学的平面に沿っていてもよい。処理400は、2つ以上の選択された解剖学的平面のうちの任意の1つに沿って画像をセグメント化するために使用され得る1つのトレーニングされたCNNモデルを出力するために実行される。他の実施形態では、ステップ414で選択された隣接する2D画像の1つまたは複数のスタックは、3つの解剖学的平面のうちのいずれかに沿っていてもよく、例えば、隣接する2D画像の少なくとも1つのスタックが各解剖学的平面に対して選択される。処理400は、3つの解剖学的平面のうちのいずれかに沿って画像をセグメント化するために使用される1つのトレーニングされたCNNモデルを得るために実行される。そのような場合、出力CNNモデルは、3つすべての解剖学的平面に沿って隣接する2D画像の組合せスタックを使用してトレーニングされる。
ステップ414からステップ422までを複数回繰り返して実行して、CNNモデルが、満足できる推定2Dおよび/または3Dラベルマップを出力するまで、CNNモデルをトレーニングする。反復回数は様々な停止基準によって決定される。いくつかの実施形態では、最大の反復回数が使用され得る。各反復において、最大反復回数に達するまで、トレーニングデータの新しいバッチがランダムに選択され、CNNモデルをトレーニングするために使用することができる。追加的または代替的に、期待される精度は、CNNモデルをトレーニングする前に予め決定してもよい。CNNモデルパラメータのバッチ選択および更新は、出力の2Dおよび/または3Dラベルマップの精度が予想される精度を満たすまで繰り返し実行される。
ステップ412において、CNNモデルをトレーニングするための反復の開始点を設定するために、図6に示すように、反復回数を追跡するための指標は、例えば0に設定されている。ステップ414において、トレーニングデータのバッチが、上述のように、例えば、ランダムに選択される。ステップ416において、CNNモデルトレーニングユニット102は、トレーニング用のCNNモデルにトレーニングデータの選択されたバッチを入力する。ステップ418において、CNNモデルトレーニングユニット102は、CNNモデルをその現在のパラメータ、例えばフィルタの重みと共に用いて、隣接する2D画像の入力スタックに対応する推定2Dラベルマップを得る。
ステップ420において、CNNモデルトレーニングユニット102は、推定された2Dラベルマップをステップ412において選択された2Dグラウンドトゥルースラベルマップと比較し、そして対応するエラーマップを計算する。ステップ422において、CNNモデルトレーニングユニット102は、得られたエラーマップに基づいてCNNモデルの1つまたは複数の層のパラメータを決定または更新する。例えば、バックプロパゲーション法を使用して、2Dグラウンドトゥルースラベルマップと出力された推定2Dラベルマップとの間の差に基づいて、CNNモデルの1つまたは複数の層のパラメータを決定または更新することができる。バックプロパゲーション法は、例えば、CNNモデル内のすべてのパラメータに関して損失関数を最小化することによってパラメータを最適化することができる。
ステップ424において、CNNモデルトレーニングユニット102は、反復回数を追跡するためのインデックスを1つ増加させる。ステップ426において、CNNモデルトレーニングユニット102は、反復を停止するための基準が満たされているかどうかを判定する。上述のように、いくつかの実施形態では、CNNモデルトレーニングユニット102は、インデックスが所定の最大インデックス数以上であるかどうかを判定する。追加的または代替的に、CNNモデルトレーニングユニット102は、例えば、損失関数がしきい値より小さいかどうかを判定することによって、推定された2Dラベルマップの正確さが期待される正確さを満たすまたは拡張するかどうかを判定することができる。CNNモデルトレーニングユニット102が、反復を停止するための基準が満たされていないと判断した場合(ステップ426:No)、CNNモデルをトレーニングするためにトレーニングデータの新しいバッチをもう一度選択するためにステップ414に戻る。CNNモデルトレーニングユニット102が、反復を停止するための基準が満たされたと判断した場合(ステップ426:Yes)、トレーニング処理400はステップ428に進み、CNNモデルを更新されたパラメータと共に保存し、および/またはトレーニングされたCNNモデルを出力する。
いくつかの実施形態では、CNNモデルをトレーニングするために、2つ以上のトレーニング画像データセット(例えば、2つ以上の3Dトレーニング画像および対応する3Dグラウンドトゥルースラベルマップ)が使用される。そのような場合、ステップ414においてトレーニングデータのバッチを選択するとき、最初に1つまたは複数の3Dトレーニング画像データセットをランダムに選択し、次に、選択された3D画像データセットから、隣接する2D画像の1つまたは複数のスタックおよび対応する2Dグラウンドトルースラベルマップをランダムに選択する。その後、ステップ414からステップ426は上記と同様に進行する。
[0102]
本開示の画像セグメンテーション方法、システム、およびデバイスによって実行される例示的な画像セグメンテーション処理は、図7Aから図8Bを参照して、以下詳細に説明する。
図7Aは、本開示のいくつかの実施形態による図6の処理を通じて得られたトレーニング済みCNNモデルを使用した例示的な画像セグメンテーション処理500Aを示すフローチャートである。画像セグメンテーション処理500Aは、セグメンテーションユニット103によって実行される。図7Aに示されるように、画像セグメンテーション処理500Aは、セグメンテーションユニット103がセグメンテーションされるべき3D画像を受信したときに開始する(ステップ512)。3D画像は、3D医用画像、例えば、患者の骨盤領域、頭部領域、心臓領域、肝臓領域、または他の解剖学的領域を示す3D医用画像であり得る。ステップ514において、セグメンテーションユニット103はトレーニングされたCNNモデルを受け取る。
ステップ516において、セグメンテーションユニット103は、3D画像から生成された隣接する2D画像の一連のスタックから隣接する2D画像のスタックを選択する。上述のように、隣接する2D画像の一連のスタックは連続していてもよく、スタックの中間画像が一緒になって全体の3D画像を実質的に構成するように、1つまたは複数の重なり合う画像を有してもよい。ステップ518において、シリーズ内のスタックがトレーニング済みCNNモデルに入力される。ステップ520において、セグメンテーションユニット103は、スタック内の中間画像の2D出力ラベルマップを決定する。ステップ522において、セグメンテーションユニット103は、隣接する2D画像の全てのスタックがトレーニングされたCNNモデルに入力されたかどうかを判定する。3D画像から生成された隣接する2D画像の全てのスタックが使用されていないとセグメンテーションユニット103が判定した場合(ステップ522:No)、画像セグメンテーション処理500Aはステップ516に戻る。3D画像から生成された隣接する2D画像のすべてのスタックが使用されているとセグメンテーションユニット103が判定した場合(ステップ522:Yes)、画像セグメンテーション処理500Aはステップ524に進む。
ステップ524において、3Dラベルマップは、隣接する2D画像のスタックの中間画像の2Dラベルマップに基づいて決定される。例えば、3Dラベルマップは、2D画像のスタックの解剖学的平面に直交する軸に沿って中間画像のシーケンスに従って中間画像の2Dラベルマップを集約することによって得ることができる。任意であるが、画像セグメンテーション処理500Aはステップ526を含んでもよい。ステップ526において、セグメンテーションユニット103はセグメンテーション3D画像を出力する。例えば、セグメンテーションユニット103は、さらなる分析または観察のためにセグメント化された3D画像または3Dラベルマップを表示する。
図7Bは、本開示のいくつかの実施形態による図6の処理を通じて得られた1つまたは複数のトレーニングされたCNNモデルを使用した別の例示的な画像セグメンテーション処理500Bを示すフローチャートである。画像セグメンテーション処理500Bは、セグメンテーションユニット103によって実行される。画像セグメンテーション処理500Bは、画像セグメンテーション処理500Aにおけるものと同様のステップを含む。画像セグメンテーション処理500Bは、セグメンテーションユニット103がセグメンテーションされるべき3D画像を受信したときに開始する(ステップ528)。3D画像は、3D医用画像、例えば患者の骨盤領域、頭部領域、心臓領域、肝臓領域、または他の解剖学的領域を示す3D医用画像であり得る。
ステップ530において、セグメンテーションユニット103は、隣接する2D画像のスタックを取得するために、ステップ528において受信された3D画像の平面を選択する。例えば、3D画像が3D医用画像である場合、ステップ530は、軸面、矢状面、および冠状面などの3つの解剖学的面のうちの1つを選択する。ステップ532において、セグメンテーションユニット103は、選択された解剖学的平面に沿って3D画像から一連の隣接する2D画像のスタックを生成する。
ステップ534において、セグメンテーションユニット103は、1つまたは複数のトレーニングされたCNNモデルを受信する。いくつかの実施形態では、受信したトレーニングされたCNNモデルは、ステップ530で選択されたものと同じ解剖学的平面に沿って隣接する2D画像のスタックを用いてトレーニングされていてもよい。そのような場合、ステップ530で選択された平面が変更されると、解剖学的平面に対応する別のトレーニングされたCNNモデルが受信され、画像セグメンテーションを実行するために使用される。他の実施形態では、トレーニングされたCNNモデルは、3D画像の3つ全ての解剖学的平面に沿って隣接する2D画像のスタックを用いてトレーニングされる。そのような場合、同じトレーニングされたCNNモデルは、任意の選択された解剖学的平面に沿って隣接する2D画像のスタック、または3つの解剖学的平面から組み合わされた隣接する2D画像の任意のスタックの画像セグメンテーションを実行するために使用できる。
ステップ536からステップ542は、画像セグメンテーション処理500Aのステップ516からステップ522と同様である。ステップ536において、セグメンテーションユニット103は、ステップ532において生成された一連の隣接する2D画像のスタックから、隣接する2D画像のスタックを選択する。ステップ538において、シリーズ内のスタックがトレーニング済みCNNモデルに入力される。ステップ540において、セグメンテーションユニット103は、スタック内の中間画像の2D出力ラベルマップを決定する。ステップ542において、セグメンテーションユニット103は、隣接する2D画像の全てのスタックがトレーニングされたCNNモデルに入力されたかどうかを判定する。選択された解剖学的平面に沿って3D画像から生成された隣接する2D画像の全てのスタックが使用されていないとセグメンテーションユニット103が判定した場合(ステップ542:No)、画像セグメンテーション処理500Bはステップ536に戻る。選択された解剖学的平面に沿って3D画像から生成された隣接する2D画像のすべてのスタックが使用されているとセグメンテーションユニット103が判定した場合(ステップ542:Yes)、画像セグメンテーション処理500Bはステップ544に進む。
ステップ544において、3Dラベルマップは、2D隣接画像のスタックの中間画像の2Dラベルマップに基づいて決定される。例えば、3Dラベルマップは、2D画像のスタックの解剖学的平面に直交する軸に沿って中間画像のシーケンスに従って中間画像の2Dラベルマップを集約することによって得ることができる。また、画像セグメンテーション処理500Bはステップ546を含んでもよい。ステップ546において、セグメンテーションユニット103は、3つすべての平面(例えば、軸平面、矢状面、冠状面)に沿った3つの一連の隣接する2D画像のスタックすべてが3D画像のセグメント化に使用されたかどうかを判定する。3つ全ての平面に対応する2D画像の3つのシリーズのスタックの全てが使用されていないとセグメンテーションユニット103が判定した場合(ステップ546:No)、別の解剖学的平面を選択するために画像セグメンテーション処理500Bはステップ530に戻る。セグメンテーションユニット103が、3つすべての平面に対応する2つの一連の2D画像スタックすべてが使用されたと判断した場合(ステップ546:Yes)、画像セグメンテーション処理500Bはステップ548に進む。
ステップ548において、セグメンテーションユニット103は最終3Dラベルマップを決定する。3つの解剖学的平面について決定された3つの3Dラベルマップを融合することによって最終的な3Dラベルマップを決定することができる。いくつかの実施形態では、融合された3Dラベルマップのボクセルの値は多数決によって決定されてもよい。例えば、3つの3Dラベルマップのうち2つが解剖学的構造として3D画像のボクセルをラベル付けする場合、融合された3Dラベルマップの対応するボクセルは同じ解剖学的構造に関連付けられていると決定される。他の実施形態では、融合3Dラベルマップのボクセルは、3つの3Dラベルマップ内の対応するボクセルについて推定された最大尤度または確率に基づいて決定される。例えば、第1の3Dラベルマップが、ボクセルは0.5の確率で膀胱を表すと決定し、第2の3Dラベルマップが、ボクセルは0.4の確率で前立腺を表すと決定し、第3の3Dラベルマップが、ボクセルは0.2の確率で直腸を表すと決定したならば、そのボクセルは融合された3Dラベルマップでは膀胱を表すものとしてラベル付けされる。本明細書に記載されるように、画像セグメンテーション処理500Bにおいて決定された3つの3Dラベルマップを融合するために任意の適切な方法が使用されてもよい。
上述のように、CNNモデルは、3つの解剖学的平面に沿って隣接する2D画像のスタックを使用してトレーニングすることができる。そのような場合、画像セグメンテーション処理500Bが第2の解剖学的平面を選択するためにステップ530を実行し、選択された解剖学的平面に沿って隣接する2D画像の一連のスタックを生成するためにステップ532を実行するとき、画像セグメンテーション処理500Bはステップ534をスキップしてステップ536に進む。3D医用画像をセグメント化するための画像セグメンテーション処理500Bは、さらに図8Aおよび図8Bに示されている。
図8Aに示すように、セグメンテーションユニット103は、1つより多い解剖学的平面(例えば、軸平面、矢状平面、冠状平面)に沿って隣接する2D画像のスタックを使用してトレーニングされたCNNモデルを受信する。3つの解剖学的平面に沿ってセグメント化されるべき3D医用画像から生成された隣接する2D画像の3つの一連のスタックは、2Dラベルマップを得るためにトレーニングされたCNNモデルに独立して入力する。あるいは、3つの解剖学的平面に沿った3つの一連の隣接する2D画像のスタックを組み合わせ、例えば1つずつ積み重ね、そして同じトレーニングされたCNNモデルに入力してもよい。上述したように、各解剖学的平面に沿った一連の隣接する2D画像のスタックの中間画像の2Dラベルマップは、3Dラベルマップを得るために、例えば、解剖学的平面に直交する軸に沿って積み重ねることができる。したがって、図8Aに示すように、3つの異なる解剖学的平面に対応する隣接する画像の3つの一連のスタックに基づいて、3D画像の3つの3Dラベルマップを得る。上述したように、3つの3Dラベルマップを融合して3D医用画像の最終的な3Dラベルマップを生成する。
あるいは、図8Bに示すように、セグメンテーションユニット103は、3つの解剖学的平面(例えば、軸平面、冠状平面、矢状面)のうちの1つに沿った隣接する2D画像のスタックをそれぞれ使用してトレーニングされた3つのCNNモデルを受信する。そのような場合、セグメンテーションユニット103は各解剖学的平面を選択し、各解剖学的平面に沿って3D医用画像から一連の隣接する2D画像のスタックを生成する。3つの解剖学的平面のうちの1つに沿って生成された一連の隣接する2D画像のスタックのそれぞれは、対応する解剖学的平面の2D画像のスタックでトレーニングされた別個のCNNモデルに独立して入力されて2Dラベルマップを得る。例えば、図8Bに示すように、3つのCNNモデル、CNNモデル1、CNNモデル2、CNNモデル3は、それぞれ、軸平面、矢状平面、冠状平面に沿って得られた隣接する2D画像のスタックを処理するために別々に使用される。同様に、各解剖学的平面に沿った隣接する2D画像のスタックの中間画像の2Dラベルマップは、3Dラベルマップを得るために、例えば、解剖学的平面に直交する軸に沿って積み重ねることによって集約することができる。したがって、3つの異なる解剖学的平面の隣接する画像の3つの一連のスタックに基づいて3つの3Dラベルマップを得る。上述のように、3つの3Dラベルマップを融合して3D医用画像の最終的な3Dラベルマップを生成する。
本明細書で説明するように、いくつかの実施形態では、セグメンテーションユニット103は、3つの解剖学的平面のうちの1つに沿って隣接する2D画像のスタックを使用してそれぞれトレーニングされた2つまたは3つのCNNモデルを受信し得る。そのような場合、選択された2つまたは3つの異なる解剖学的平面に沿って3D医用画像から得られる隣接する2D画像の2つまたは3つの一連のスタックに基づいて2つまたは3つの3Dラベルマップを得ることができる。同様に、2つまたは3つの3Dラベルマップを融合して3D医用画像の最終的な3Dラベルマップを生成することができる。
本明細書では、ソフトウェアコードまたは命令として実施または定義することができる様々な動作または機能を説明する。そのようなコンテンツは、直接実行可能(「オブジェクト」または「実行可能」形式)、ソースコード、または差分コード(「デルタ」または「パッチ」コード)であり得る。本明細書に記載された実施形態のソフトウェアの実装は、コードまたは命令を格納した製品を介して、または通信インターフェースを介してデータを送信するように通信インターフェースを動作させる方法を介して提供することができる。機械またはコンピュータ可読記憶媒体は、説明された機能または動作を機械(例えば、コンピューティングデバイス、電子システムなど)に実行させることができ、記録可能/記録不可能媒体(例えば、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイスなど)のような機械によってアクセス可能な形式で情報を記憶する任意の機構を含む。通信インターフェースは、メモリバスインターフェース、プロセッサバスインターフェース、インターネット接続、ディスクコントローラ、およびディスクコントローラなどのような、有線、無線、光学など、他の装置への通信する媒体のいずれかにインターフェースする任意の機構を含む。通信インターフェースは、構成パラメータを提供すること、および/またはソフトウェアコンテンツを記述するデータ信号を提供するために通信インターフェースを準備するために信号を送信することによって構成することができる。通信インターフェースは、通信インターフェースに送信された1つまたは複数のコマンドまたは信号を介してアクセスすることができる。
本発明はまた、本明細書の動作を実行するためのシステムに関する。このシステムは、要求される目的のために特別に構築されてもよく、あるいはコンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成された汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、これらに限定されないが、フロッピーディスク、光ディスク、CD−ROM、および光磁気ディスクを含む任意の種類のディスク、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気または光学カード、または電子命令を格納するのに適した任意の種類の媒体であって、それぞれコンピュータシステムバスに結合されているような、コンピュータ可読記憶媒体に記憶することができる。
本明細書に図示および記載された本発明の実施形態における動作の実行または実行の順序は、他に特定されない限り必須ではない。すなわち、動作は、他に特定されない限り、任意の順序で実行されてもよく、本発明の実施形態は、本明細書に開示されたものよりも追加の動作を含んでもよく、またはより少ない動作でもよい。例えば、特定の動作を他の動作の前、それと同時に、またはその後に実行することは、本発明の態様の範囲内であると考えられる。
本発明の実施形態は、コンピュータ実行可能命令を用いて実施することができる。コンピュータ実行可能命令は、1つまたは複数のコンピュータ実行可能コンポーネントまたはモジュールに編成することができる。本発明の態様は、任意の数および構成のそのような構成要素またはモジュールを用いて実施することができる。例えば、本発明の態様は、図に示され本明細書に記載された特定のコンピュータ実行可能命令または特定の構成要素もしくはモジュールに限定されない。本発明の他の実施形態は、本明細書に図示および説明されたものよりも多いまたは少ない機能を有する異なるコンピュータ実行可能命令または構成要素を含み得る。
開示された原理の例および特徴が本明細書に記載されているが、開示された実施形態の精神および範囲から逸脱することなく、修正、適応、および他の実装が可能である。また、「含む」、「有する」、「含む」、「含んでいる」という用語、および他の同様の形態は、意味において同等であり、これらの単語のいずれかに続く単数または複数の項目は、単数または複数の項目の網羅的なリストであることを意味するのではなく、またはリストされた単数または複数の項目のみに限定されることを意味するように、オープンエンドとして解釈されるように意図されている。そして、単数形「a」、「an」、「the」は、文脈が明らかにそうでないことを示さない限り、複数の言及を含むことを意図している。
本発明の態様を詳細に説明してきたが、添付の特許請求の範囲に規定されるような本発明の態様の範囲から逸脱することなく修正および変形が可能であることは明らかであろう。本発明の態様の範囲から逸脱することなく上記の構成、製品、および方法に様々な変更を加えることができるので、上記の説明に含まれ添付の図面に示されるすべての事項は例示として解釈されるべきであり、限定的な意味ではない。
Claims (30)
- 三次元画像をセグメンテーションするためのコンピュータ実施方法であって、
前記方法は、
撮像装置により取得された前記三次元画像を受け取ることと、
前記三次元画像の第1の平面から二次元画像の第1のスタックを生成し、前記三次元画像の第2の平面から二次元画像の第2のスタックを生成することと、
プロセッサにより、少なくとも1つのニューラルネットワークモデルを用いて前記二次元画像の前記第1のスタックと前記第2のスタックをセグメンテーションすることと、
前記プロセッサにより、前記第1のスタックおよび前記第2のスタックからの前記セグメンテーション結果を集約することにより前記三次元画像のラベルマップを決定することと
を有することを特徴とする方法。 - 請求項1記載の方法において、
前記三次元画像の第3の平面から二次元画像の第3のスタックを作成することと、
前記少なくとも1つのニューラルネットワークモデルを使用して、前記二次元画像の前記第3のスタックをセグメンテーションすることと、
前記第1のスタックと前記第2のスタックと前記第2のスタックとからの前記セグメンテーション結果を集約することによって、前記三次元画像の前記ラベルマップを決定することと
を更に有することを特徴とする方法。 - 請求項1記載の方法において、
前記二次元画像の前記第1のスタックをセグメンテーションすることは第1のニューラルネットワークモデルを使用し、前記二次元画像の前記第2のスタックをセグメンテーションすることは第2のニューラルネットワークモデルを使用する
ことを特徴とする方法。 - 請求項1記載の方法において、
前記第1の平面または前記第2の平面は、前記三次元画像の軸平面、矢状面、冠状面から選択される
ことを特徴とする方法。 - 請求項1記載の方法において、
前記二次元画像の前記第1のスタックと前記第2のスタックをセグメンテーションすることは、
前記二次元画像の前記第1のスタックと前記第2のスタックから二次元画像の結合されたスタックを作成することと、
ひとつのニューラルネットワークモデルを用いて前記二次元画像の前記結合スタックをセグメンテーションすることと
を含むことを特徴とする方法。 - 請求項1記載の方法において、
前記二次元画像の前記第1のスタックと前記第2のスタックをセグメンテーションすることは、前記三次元画像のボクセルに対する複数のラベルを決定することを含む
ことを特徴とする方法。 - 請求項6記載の方法において、
前記セグメンテーション結果を集約することは、前記複数のラベルの中で最も高い確率値を有するラベルを前記ボクセルに割り当てることを含む
ことを特徴とする方法。 - 請求項1記載の方法において、
前記少なくとも1つのニューラルネットワークモデルは、深層畳み込みニューラルネットワークモデルである
ことを特徴とする方法。 - 請求項1記載の方法において、
前記三次元画像は、患者の解剖学的構造を示す医用画像であり、
前記ラベルマップは、前記三次元画像の各ボクセルに解剖学的構造を関連付ける
ことを特徴とする方法。 - 請求項1記載の方法において、
少なくとも1つの三次元トレーニング画像を用いて前記少なくとも1つのニューラルネットワークモデルをトレーニングすることを更に含む
ことを特徴とする方法。 - 三次元画像をセグメンテーションするための装置であって、
前記装置は、
撮像装置によって取得された前記三次元画像を受け取る入力インターフェースと、
前記三次元画像を記憶するように構成された少なくとも1つの記憶装置と、
前記三次元画像の第1の平面から二次元画像の第1のスタックを生成し、前記三次元画像の第2の平面から二次元画像の第2のスタックを生成し、
少なくとも1つのニューラルネットワークモデルを用いて、前記二次元画像の前記第1のスタックと前記第2のスタックをセグメンテーションし、
前記第1のスタックと前記第2のスタックからの前記セグメンテーション結果を集約することにより、前記三次元画像のラベルマップを決定する
ように構成されている画像プロセッサと
を有することを特徴とする装置。 - 請求項11記載の装置において、
前記画像プロセッサは、更に、
前記三次元画像の第3の平面から二次元画像の第3のスタックを生成し、
前記少なくとも1つのニューラルネットワークモデルを用いて前記二次元画像の前記第3のスタックをセグメンテーションし、
前記第1のスタックと前記第2のスタックと前記第3のスタックとからの前記セグメンテーション結果を集約して、前記三次元画像の前記ラベルマップを決定するように構成されている
ことを特徴とする装置。 - 請求項11記載の装置において、
前記画像プロセッサは、更に、第1のニューラルネットワークモデルを用いて前記二次元画像の前記第1のスタックをセグメンテーションし、第2のニューラルネットワークモデルを用いて前記二次元画像の前記第2のスタックをセグメンテーションするように構成されている
ことを特徴とする装置。 - 請求項11記載の装置において、
前記第1の平面または前記第2の平面は、前記三次元画像の軸平面、矢状面、冠状面から選択される
ことを特徴とする装置。 - 請求項11記載の装置において、
前記画像プロセッサは、更に、
前記二次元画像の前記第1のスタックと前記第2のスタックから前記二次元画像の結合スタックを生成し、
ひとつのニューラルネットワークモデルを用いて、前記二次元元画像の前記結合スタックをセグメンテーションするように構成されている
ことを特徴とする装置。 - 請求項11記載の装置において、
前記画像プロセッサは。更に、前記三次元画像のボクセルに対する複数のラベルを決定するように構成されている
ことを特徴とする装置。 - 請求項16記載の装置において、
前記画像プロセッサは。更に、前記複数のラベルの中で最も高い確率値を有するラベルを前記ボクセルに割り当てるように構成されている
ことを特徴とする装置。 - 請求項11記載の装置において、
前記少なくともひとつのニューラルネットワークモデルは、深層畳み込みニューラルネットワークモデルである
ことを特徴とする装置。 - 請求項11記載の装置において、
前記三次元画像は患者の解剖学的構造を示す医用画像であり、前記ラベルマップは前記三次元画像の各ボクセルに解剖学的構造を関連付けている
ことを特徴とする装置。 - 請求項11記載の装置において、
前記画像プロセッサは。更に、少なくとも1つの三次元トレーニング画像を用いて、前記少なくとも1つのニューラルネットワークモデルをトレーニングするように構成されている
ことを特徴とする装置。 - 少なくとも1つのプロセッサにより実行されたときに、前記少なくとも1つのプロセッサが三次元画像をセグメンテーションする方法を実行するような命令を含む非一時的コンピュータ可読媒体であって、
前記方法は、
撮像装置により取得された前記三次元画像を受け取ることと、
前記三次元画像の第1の平面から二次元画像の第1のスタックを生成し、前記三次元画像の第2の平面から二次元画像の第2のスタックを生成することと、
プロセッサにより、少なくとも1つのニューラルネットワークモデルを用いて前記二次元画像の前記第1のスタックと前記第2のスタックをセグメンテーションすることと、
前記プロセッサにより、前記第1のスタックおよび前記第2のスタックからの前記セグメンテーション結果を集約することにより前記三次元画像のラベルマップを決定することと
を有することを特徴とする非一時的コンピュータ可読媒体。 - 請求項21記載の非一時的コンピュータ可読媒体において、
前記方法は、
前記三次元画像の第3の平面から二次元画像の第3のスタックを作成することと、
前記少なくとも1つのニューラルネットワークモデルを使用して、前記二次元画像の前記第3のスタックをセグメンテーションすることと、
前記第1のスタックと前記第2のスタックと前記第2のスタックとからの前記セグメンテーション結果を集約することによって、前記三次元画像の前記ラベルマップを決定することと
を更に有することを特徴とする非一時的コンピュータ可読媒体。 - 請求項21記載の非一時的コンピュータ可読媒体において、
前記二次元画像の前記第1のスタックをセグメンテーションすることは第1のニューラルネットワークモデルを使用し、前記二次元画像の前記第2のスタックをセグメンテーションすることは第2のニューラルネットワークモデルを使用する
ことを特徴とする非一時的コンピュータ可読媒体。 - 請求項21記載の非一時的コンピュータ可読媒体において、
前記第1の平面または前記第2の平面は、前記三次元画像の軸平面、矢状面、冠状面から選択される
ことを特徴とする非一時的コンピュータ可読媒体。 - 請求項21記載の非一時的コンピュータ可読媒体において、
前記二次元画像の前記第1のスタックと前記第2のスタックをセグメンテーションすることは、
前記二次元画像の前記第1のスタックと前記第2のスタックから二次元画像の結合されたスタックを作成することと、
ひとつのニューラルネットワークモデルを用いて前記二次元画像の前記結合スタックをセグメンテーションすることと
ことを特徴とする非一時的コンピュータ可読媒体。 - 請求項21記載の非一時的コンピュータ可読媒体において、
前記二次元画像の前記第1のスタックと前記第2のスタックをセグメンテーションすることは、前記三次元画像のボクセルに対する複数のラベルを決定することを含む
ことを特徴とする非一時的コンピュータ可読媒体。 - 請求項26記載の非一時的コンピュータ可読媒体において、
前記セグメンテーション結果を集約することは、前記複数のラベルの中で最も高い確率値を有するラベルを前記ボクセルに割り当てることを含む
ことを特徴とする非一時的コンピュータ可読媒体。 - 請求項21記載の非一時的コンピュータ可読媒体において、
前記少なくとも1つのニューラルネットワークモデルは、深層畳み込みニューラルネットワークモデルである
ことを特徴とする非一時的コンピュータ可読媒体。 - 請求項21記載の非一時的コンピュータ可読媒体において、
前記三次元画像は、患者の解剖学的構造を示す医用画像であり、
前記ラベルマップは、前記三次元画像の各ボクセルに解剖学的構造を関連付ける
ことを特徴とする非一時的コンピュータ可読媒体。 - 請求項21記載の非一時的コンピュータ可読媒体において、
前記方法は、少なくとも1つの三次元トレーニング画像を用いて前記少なくとも1つのニューラルネットワークモデルをトレーニングすることを更に含む
ことを特徴とする非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/248,628 US9965863B2 (en) | 2016-08-26 | 2016-08-26 | System and methods for image segmentation using convolutional neural network |
US15/248,628 | 2016-08-26 | ||
PCT/US2017/048271 WO2018039380A1 (en) | 2016-08-26 | 2017-08-23 | Systems and methods for image segmentation using convolutional neural network |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020174419A Division JP2021035502A (ja) | 2016-08-26 | 2020-10-16 | 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019531783A true JP2019531783A (ja) | 2019-11-07 |
JP2019531783A5 JP2019531783A5 (ja) | 2021-08-05 |
JP6932182B2 JP6932182B2 (ja) | 2021-09-08 |
Family
ID=59791166
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019511584A Active JP6932182B2 (ja) | 2016-08-26 | 2017-08-23 | 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法 |
JP2020174419A Withdrawn JP2021035502A (ja) | 2016-08-26 | 2020-10-16 | 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法 |
JP2021139654A Pending JP2022001261A (ja) | 2016-08-26 | 2021-08-30 | 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020174419A Withdrawn JP2021035502A (ja) | 2016-08-26 | 2020-10-16 | 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法 |
JP2021139654A Pending JP2022001261A (ja) | 2016-08-26 | 2021-08-30 | 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法 |
Country Status (7)
Country | Link |
---|---|
US (3) | US9965863B2 (ja) |
EP (1) | EP3504680B1 (ja) |
JP (3) | JP6932182B2 (ja) |
CN (1) | CN109923582B (ja) |
AU (1) | AU2017315684B2 (ja) |
RU (1) | RU2720070C1 (ja) |
WO (1) | WO2018039380A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021177374A1 (ja) * | 2020-03-04 | 2021-09-10 | ||
JP2021527221A (ja) * | 2018-06-15 | 2021-10-11 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド | 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置 |
JP2021527219A (ja) * | 2018-06-15 | 2021-10-11 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド | 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け |
WO2021260928A1 (ja) * | 2020-06-26 | 2021-12-30 | 株式会社島津製作所 | 吸収係数画像生成方法、核医学診断装置および学習済みモデルの作成方法 |
WO2022045277A1 (ja) * | 2020-08-31 | 2022-03-03 | グローリー株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
JP2022532330A (ja) * | 2019-11-29 | 2022-07-14 | ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド | 画像上の位置決めのインタラクティブ表示方法、装置、電子機器及び記憶媒体 |
JP2022543547A (ja) * | 2020-07-14 | 2022-10-13 | シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド | 画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品 |
JP7399785B2 (ja) | 2020-05-15 | 2023-12-18 | キヤノンメディカルシステムズ株式会社 | 磁気共鳴イメージング装置およびプログラム |
Families Citing this family (91)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10586400B2 (en) * | 2018-02-23 | 2020-03-10 | Robert E Douglas | Processing 3D medical images to enhance visualization |
US9965863B2 (en) | 2016-08-26 | 2018-05-08 | Elekta, Inc. | System and methods for image segmentation using convolutional neural network |
EP3513381A1 (en) * | 2016-09-18 | 2019-07-24 | Yeda Research and Development Co. Ltd | Systems and methods for generating 3d images based on fluorescent illumination |
WO2018055066A1 (en) * | 2016-09-21 | 2018-03-29 | Koninklijke Philips N.V. | Apparatus for adaptive contouring of a body part |
US10402943B2 (en) * | 2016-10-20 | 2019-09-03 | Htc Corporation | Image enhancement device and method for convolutional network apparatus |
EP3533031B1 (en) * | 2016-10-25 | 2023-08-16 | Koninklijke Philips N.V. | A method and apparatus for segmenting a two-dimensional image of an anatomical structure |
US10582907B2 (en) * | 2016-10-31 | 2020-03-10 | Siemens Healthcare Gmbh | Deep learning based bone removal in computed tomography angiography |
US11132529B2 (en) | 2016-11-16 | 2021-09-28 | Ventana Medical Systems, Inc. | Convolutional neural networks for locating objects of interest in images of biological samples |
US10733506B1 (en) * | 2016-12-14 | 2020-08-04 | Waymo Llc | Object detection neural network |
US10699184B2 (en) * | 2016-12-29 | 2020-06-30 | Facebook, Inc. | Updating predictions for a deep-learning model |
JP6987508B2 (ja) * | 2017-02-20 | 2022-01-05 | オムロン株式会社 | 形状推定装置及び方法 |
US10580131B2 (en) * | 2017-02-23 | 2020-03-03 | Zebra Medical Vision Ltd. | Convolutional neural network for segmentation of medical anatomical images |
US11748877B2 (en) * | 2017-05-11 | 2023-09-05 | The Research Foundation For The State University Of New York | System and method associated with predicting segmentation quality of objects in analysis of copious image data |
US10242292B2 (en) | 2017-06-13 | 2019-03-26 | Digital Surgery Limited | Surgical simulation for training detection and classification neural networks |
US10783393B2 (en) * | 2017-06-20 | 2020-09-22 | Nvidia Corporation | Semi-supervised learning for landmark localization |
US10713537B2 (en) | 2017-07-01 | 2020-07-14 | Algolux Inc. | Method and apparatus for joint image processing and perception |
CN108022238B (zh) * | 2017-08-09 | 2020-07-03 | 深圳科亚医疗科技有限公司 | 对3d图像中对象进行检测的方法、计算机存储介质和系统 |
KR101995900B1 (ko) * | 2017-09-11 | 2019-07-04 | 뉴로핏 주식회사 | 3차원 뇌지도 생성 방법 및 프로그램 |
US11517197B2 (en) | 2017-10-06 | 2022-12-06 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction |
US10803984B2 (en) | 2017-10-06 | 2020-10-13 | Canon Medical Systems Corporation | Medical image processing apparatus and medical image processing system |
US10614574B2 (en) * | 2017-10-16 | 2020-04-07 | Adobe Inc. | Generating image segmentation data using a multi-branch neural network |
EP3489627B1 (en) * | 2017-11-24 | 2020-08-19 | Leica Geosystems AG | True to size 3d-model conglomeration |
CA3087740A1 (en) | 2018-01-10 | 2019-07-18 | Institut de Recherche sur les Cancers de l'Appareil Digestif - IRCAD | Automatic segmentation process of a 3d medical image by several neural networks through structured convolution according to the geometry of the 3d medical image |
CA3087691A1 (en) | 2018-01-10 | 2019-07-18 | Institut de Recherche sur les Cancers de l'Appareil Digestif - IRCAD | Automatic segmentation process of a 3d medical image by one or several neural networks through structured convolution according to the anatomic geometry of the 3d medical image |
US10885630B2 (en) * | 2018-03-01 | 2021-01-05 | Intuitive Surgical Operations, Inc | Systems and methods for segmentation of anatomical structures for image-guided surgery |
US10223611B1 (en) * | 2018-03-08 | 2019-03-05 | Capital One Services, Llc | Object detection using image classification models |
EP3547254A1 (de) * | 2018-03-29 | 2019-10-02 | Siemens Healthcare GmbH | Analyse-verfahren und analyseeinheit zur ermittlung radiologischer ergebnisdaten |
CN108764241A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技(深圳)有限公司 | 分割股骨近端的方法、装置、计算机设备和存储介质 |
US10736699B2 (en) | 2018-04-27 | 2020-08-11 | Medtronic Navigation, Inc. | System and method for a tracked procedure |
US10555779B2 (en) * | 2018-04-27 | 2020-02-11 | Medtronic Navigation, Inc. | System and method for a tracked procedure |
US11234666B2 (en) * | 2018-05-31 | 2022-02-01 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (PET) |
WO2019241659A1 (en) * | 2018-06-15 | 2019-12-19 | Subtle Medical, Inc. | Systems and methods for magnetic resonance imaging standardization using deep learning |
EP3586748B1 (de) | 2018-06-26 | 2020-06-24 | Siemens Healthcare GmbH | Verfahren zum betreiben eines medizinischen bildgebungsgeräts sowie bildgebungsgerät |
JP6954719B2 (ja) * | 2018-07-06 | 2021-10-27 | シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 検査ボリュームの差分画像データセットの決定 |
CN110728627A (zh) * | 2018-07-16 | 2020-01-24 | 宁波舜宇光电信息有限公司 | 图像降噪方法、装置、系统和存储介质 |
CN108986891A (zh) * | 2018-07-24 | 2018-12-11 | 北京市商汤科技开发有限公司 | 医疗影像处理方法及装置、电子设备及存储介质 |
CA3107326A1 (en) | 2018-07-30 | 2020-02-06 | Hyperfine Research, Inc. | Deep learning techniques for magnetic resonance image reconstruction |
EP4273793A3 (en) | 2018-08-15 | 2023-12-20 | Hyperfine, Inc. | Deep learning techniques for suppressing artefacts in magnetic resonance images |
CN109146899A (zh) * | 2018-08-28 | 2019-01-04 | 众安信息技术服务有限公司 | Ct图像的危及器官分割方法及装置 |
US10311337B1 (en) * | 2018-09-04 | 2019-06-04 | StradVision, Inc. | Method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network |
CN110766693B (zh) * | 2018-09-06 | 2022-06-21 | 北京连心医疗科技有限公司 | 一种基于多模型神经网络联合预测放疗结构位置的方法 |
CN110889853B (zh) * | 2018-09-07 | 2022-05-03 | 天津大学 | 基于残差-注意力深度神经网络的肿瘤分割方法 |
JP7129870B2 (ja) * | 2018-10-01 | 2022-09-02 | 富士フイルム株式会社 | 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム |
CN109360210B (zh) * | 2018-10-16 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
EP3644275A1 (en) * | 2018-10-22 | 2020-04-29 | Koninklijke Philips N.V. | Predicting correctness of algorithmic segmentation |
US10504027B1 (en) * | 2018-10-26 | 2019-12-10 | StradVision, Inc. | CNN-based learning method, learning device for selecting useful training data and test method, test device using the same |
US11301748B2 (en) | 2018-11-13 | 2022-04-12 | International Business Machines Corporation | Automatic feature extraction from aerial images for test pattern sampling and pattern coverage inspection for lithography |
EP3881230A2 (en) * | 2018-11-14 | 2021-09-22 | Intuitive Surgical Operations, Inc. | Convolutional neural networks for efficient tissue segmentation |
KR101981202B1 (ko) * | 2018-12-11 | 2019-05-22 | 메디컬아이피 주식회사 | 의료영상 재구성 방법 및 그 장치 |
US20200202622A1 (en) * | 2018-12-19 | 2020-06-25 | Nvidia Corporation | Mesh reconstruction using data-driven priors |
US11017542B2 (en) * | 2018-12-21 | 2021-05-25 | Beijing Voyager Technology Co., Ld. | Systems and methods for determining depth information in two-dimensional images |
WO2020138128A1 (ja) * | 2018-12-26 | 2020-07-02 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
TWI697010B (zh) * | 2018-12-28 | 2020-06-21 | 國立成功大學 | 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置 |
WO2020133354A1 (en) * | 2018-12-29 | 2020-07-02 | Shenzhen Malong Technologies Co., Ltd. | 3d segmentation network and 3d refinement module |
CN110613480B (zh) * | 2019-01-14 | 2022-04-26 | 广州爱孕记信息科技有限公司 | 基于深度学习的胎儿超声动态影像检测方法及系统 |
CN110322435A (zh) * | 2019-01-20 | 2019-10-11 | 北京工业大学 | 一种基于深度学习的胃癌病理图像癌变区域分割方法 |
US10373317B1 (en) * | 2019-01-22 | 2019-08-06 | StradVision, Inc. | Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same |
US11062459B2 (en) * | 2019-02-07 | 2021-07-13 | Vysioneer INC. | Method and apparatus for automated target and tissue segmentation using multi-modal imaging and ensemble machine learning models |
US11564590B2 (en) * | 2019-03-14 | 2023-01-31 | Hyperfine Operations, Inc. | Deep learning techniques for generating magnetic resonance images from spatial frequency data |
CN109978037B (zh) * | 2019-03-18 | 2021-08-06 | 腾讯科技(深圳)有限公司 | 图像处理方法、模型训练方法、装置、和存储介质 |
CN109978852B (zh) * | 2019-03-22 | 2022-08-16 | 邃蓝智能科技(上海)有限公司 | 基于深度学习的微小组织器官的放疗影像靶区勾画方法及系统 |
EP3726460B1 (en) * | 2019-04-06 | 2023-08-23 | Kardiolytics Inc. | Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images |
CN110473192B (zh) * | 2019-04-10 | 2021-05-14 | 腾讯医疗健康(深圳)有限公司 | 消化道内镜图像识别模型训练及识别方法、装置及系统 |
CN110059608B (zh) | 2019-04-11 | 2021-07-06 | 腾讯科技(深圳)有限公司 | 一种物体检测方法、装置、电子设备和存储介质 |
WO2020219757A1 (en) * | 2019-04-23 | 2020-10-29 | The Johns Hopkins University | Abdominal multi-organ segmentation with organ-attention networks |
US11410016B2 (en) | 2019-04-26 | 2022-08-09 | Alibaba Group Holding Limited | Selective performance of deterministic computations for neural networks |
CN110084309B (zh) * | 2019-04-30 | 2022-06-21 | 北京市商汤科技开发有限公司 | 特征图放大方法、装置和设备及计算机可读存储介质 |
CN110110130B (zh) * | 2019-05-21 | 2021-03-02 | 山东财经大学 | 基于卷积特征与加权随机游走的个性化标签推荐方法及系统 |
US11062183B2 (en) * | 2019-05-21 | 2021-07-13 | Wipro Limited | System and method for automated 3D training content generation |
CN110189309B (zh) * | 2019-05-21 | 2021-06-15 | 上海商汤智能科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
CN110245710B (zh) * | 2019-06-18 | 2022-11-29 | 腾讯科技(深圳)有限公司 | 语义分割模型的训练方法、语义分割方法及装置 |
JPWO2021002356A1 (ja) * | 2019-07-02 | 2021-01-07 | ||
US11308623B2 (en) | 2019-07-09 | 2022-04-19 | The Johns Hopkins University | System and method for multi-scale coarse-to-fine segmentation of images to detect pancreatic ductal adenocarcinoma |
JP2021015425A (ja) * | 2019-07-11 | 2021-02-12 | 富士通株式会社 | 学習方法、学習プログラム及び学習装置 |
US11100684B2 (en) | 2019-07-11 | 2021-08-24 | Canon Medical Systems Corporation | Apparatus and method for artifact detection and correction using deep learning |
CN110363168A (zh) * | 2019-07-19 | 2019-10-22 | 山东浪潮人工智能研究院有限公司 | 一种基于卷积神经网络的三维立体图识别系统 |
US11238580B2 (en) | 2019-08-29 | 2022-02-01 | Varian Medical Systems International Ag | Systems and methods for image cropping and anatomical structure segmentation in medical imaging |
US11410302B2 (en) * | 2019-10-31 | 2022-08-09 | Tencent America LLC | Two and a half dimensional convolutional neural network for predicting hematoma expansion in non-contrast head computerized tomography images |
CN114730476A (zh) | 2019-12-03 | 2022-07-08 | 美国西门子医疗系统股份有限公司 | 有限角度重建的网络确定 |
CN111062944B (zh) * | 2019-12-10 | 2020-08-14 | 北京推想科技有限公司 | 网络模型训练方法及装置、图像分割方法及装置 |
CN111103275B (zh) * | 2019-12-24 | 2021-06-01 | 电子科技大学 | Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 |
CN113129427B (zh) * | 2019-12-31 | 2023-05-09 | 久瓴(上海)智能科技有限公司 | 建筑模型处理方法、装置、计算机设备及可读存储介质 |
CN111311592B (zh) * | 2020-03-13 | 2021-10-08 | 中南大学 | 一种基于深度学习的三维医学图像自动分割方法 |
CN111829535B (zh) | 2020-06-05 | 2022-05-03 | 阿波罗智能技术(北京)有限公司 | 生成离线地图的方法、装置、电子设备和存储介质 |
US11645733B2 (en) | 2020-06-16 | 2023-05-09 | Bank Of America Corporation | System and method for providing artificial intelligence architectures to people with disabilities |
US11361508B2 (en) * | 2020-08-20 | 2022-06-14 | Qualcomm Incorporated | Object scanning using planar segmentation |
WO2022061840A1 (en) * | 2020-09-27 | 2022-03-31 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for generating radiation therapy plan |
US20230011759A1 (en) * | 2021-07-07 | 2023-01-12 | Canon Medical Systems Corporation | Apparatus, method, and non-transitory computer-readable storage medium for improving image quality of a medical image volume |
KR102615545B1 (ko) * | 2021-07-16 | 2023-12-19 | 오스템임플란트 주식회사 | 상악동 영상 제공 장치와 방법 및 그 학습 방법 |
JP7315935B1 (ja) | 2022-02-16 | 2023-07-27 | 国立大学法人大阪大学 | 予測支援システム、予測支援方法及び予測支援プログラム |
CN116071555B (zh) * | 2023-03-15 | 2023-06-23 | 同心智医科技(北京)有限公司 | 一种建立WMHs分割模型的方法、WMHs分割方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH119590A (ja) * | 1997-06-23 | 1999-01-19 | Toshiba Iyou Syst Eng Kk | 画像処理装置 |
JP2002506666A (ja) * | 1998-03-20 | 2002-03-05 | バーバラ・アン・カーマノス・キャンサー・インスティテュート | 病理組織の多次元検出および特徴付け |
JP2014149713A (ja) * | 2013-02-01 | 2014-08-21 | Ntt Docomo Inc | 画像評価装置 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0114157D0 (en) * | 2001-06-11 | 2001-08-01 | Canon Kk | 3D Computer modelling apparatus |
US6901277B2 (en) | 2001-07-17 | 2005-05-31 | Accuimage Diagnostics Corp. | Methods for generating a lung report |
KR100607985B1 (ko) | 2004-06-12 | 2006-08-02 | 삼성전자주식회사 | 기록/재생 장치 및 그 정보 저장 매체 |
CN101151623B (zh) * | 2005-01-27 | 2010-06-23 | 剑桥研究和仪器设备股份有限公司 | 对样本图像的特征进行分类的方法和设备 |
EP2089851B1 (en) * | 2006-12-06 | 2013-07-10 | Agency for Science, Technology And Research | Method for identifying a pathological region in a scan, such as an ischemic stroke region in an mri scan |
WO2008133951A2 (en) | 2007-04-24 | 2008-11-06 | Massachusetts Institute Of Technology | Method and apparatus for image processing |
US8731255B2 (en) * | 2008-11-05 | 2014-05-20 | University Of Louisville Research Foundation, Inc. | Computer aided diagnostic system incorporating lung segmentation and registration |
WO2010052629A1 (en) * | 2008-11-05 | 2010-05-14 | Koninklijke Philips Electronics N.V. | Automated sequential planning of mr scans |
US20100177190A1 (en) * | 2008-12-16 | 2010-07-15 | Ann-Shyn Chiang | Microscopy system with revolvable stage |
US8391603B2 (en) * | 2009-06-18 | 2013-03-05 | Omisa Inc. | System and method for image segmentation |
US9319640B2 (en) | 2009-12-29 | 2016-04-19 | Kodak Alaris Inc. | Camera and display system interactivity |
US8390648B2 (en) | 2009-12-29 | 2013-03-05 | Eastman Kodak Company | Display system for personalized consumer goods |
US20110157218A1 (en) | 2009-12-29 | 2011-06-30 | Ptucha Raymond W | Method for interactive display |
US8805043B1 (en) * | 2010-04-02 | 2014-08-12 | Jasjit S. Suri | System and method for creating and using intelligent databases for assisting in intima-media thickness (IMT) |
CN101819679B (zh) * | 2010-04-19 | 2011-12-07 | 李楚雅 | 三维医学图像分割方法 |
US9087259B2 (en) * | 2010-07-30 | 2015-07-21 | Koninklijke Philips N.V. | Organ-specific enhancement filter for robust segmentation of medical images |
EP2633495A1 (en) * | 2010-10-25 | 2013-09-04 | Koninklijke Philips Electronics N.V. | System for the segmentation of a medical image |
JP2014512229A (ja) * | 2011-04-18 | 2014-05-22 | パスファインダー セラピューティクス,インコーポレイテッド | 臓器および解剖学的構造の画像セグメンテーション |
US8977629B2 (en) | 2011-05-24 | 2015-03-10 | Ebay Inc. | Image-based popularity prediction |
JP6357108B2 (ja) * | 2012-02-01 | 2018-07-11 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 被写体画像ラベリング装置、方法及びプログラム |
US9230320B2 (en) * | 2012-03-30 | 2016-01-05 | University Of Louisville Research Foundation, Inc. | Computer aided diagnostic system incorporating shape analysis for diagnosing malignant lung nodules |
US9542626B2 (en) | 2013-09-06 | 2017-01-10 | Toyota Jidosha Kabushiki Kaisha | Augmenting layer-based object detection with deep convolutional neural networks |
KR102204437B1 (ko) * | 2013-10-24 | 2021-01-18 | 삼성전자주식회사 | 컴퓨터 보조 진단 방법 및 장치 |
US9202144B2 (en) | 2013-10-30 | 2015-12-01 | Nec Laboratories America, Inc. | Regionlets with shift invariant neural patterns for object detection |
US9354778B2 (en) | 2013-12-06 | 2016-05-31 | Digimarc Corporation | Smartphone-based methods and systems |
WO2015179632A1 (en) | 2014-05-22 | 2015-11-26 | Scheffler Lee J | Methods and systems for neural and cognitive processing |
CN103955942A (zh) * | 2014-05-22 | 2014-07-30 | 哈尔滨工业大学 | 一种基于svm的2d图像的深度图提取方法 |
US9378435B1 (en) * | 2014-06-10 | 2016-06-28 | David Prulhiere | Image segmentation in optical character recognition using neural networks |
WO2015192246A1 (en) | 2014-06-19 | 2015-12-23 | Bitlit Media Inc | Method and system for identifying books on a bookshelf |
US9558268B2 (en) | 2014-08-20 | 2017-01-31 | Mitsubishi Electric Research Laboratories, Inc. | Method for semantically labeling an image of a scene using recursive context propagation |
US9740710B2 (en) * | 2014-09-02 | 2017-08-22 | Elekta Inc. | Systems and methods for segmenting medical images based on anatomical landmark-based features |
US9959486B2 (en) * | 2014-10-20 | 2018-05-01 | Siemens Healthcare Gmbh | Voxel-level machine learning with or without cloud-based support in medical imaging |
US9483704B2 (en) | 2014-12-10 | 2016-11-01 | Ricoh Co., Ltd. | Realogram scene analysis of images: superpixel scene analysis |
KR102307356B1 (ko) | 2014-12-11 | 2021-09-30 | 삼성전자주식회사 | 컴퓨터 보조 진단 장치 및 방법 |
US10219737B2 (en) | 2014-12-11 | 2019-03-05 | Skin Depth Inc. | Topical product dispensing tool |
US9710716B2 (en) | 2014-12-16 | 2017-07-18 | Sighthound, Inc. | Computer vision pipeline and methods for detection of specified moving objects |
US9368110B1 (en) | 2015-07-07 | 2016-06-14 | Mitsubishi Electric Research Laboratories, Inc. | Method for distinguishing components of an acoustic signal |
US10521902B2 (en) * | 2015-10-14 | 2019-12-31 | The Regents Of The University Of California | Automated segmentation of organ chambers using deep learning methods from medical imaging |
CN105825509A (zh) * | 2016-03-17 | 2016-08-03 | 电子科技大学 | 基于3d卷积神经网络的脑血管分割方法 |
US9965863B2 (en) | 2016-08-26 | 2018-05-08 | Elekta, Inc. | System and methods for image segmentation using convolutional neural network |
-
2016
- 2016-08-26 US US15/248,628 patent/US9965863B2/en active Active
-
2017
- 2017-08-23 CN CN201780066346.3A patent/CN109923582B/zh active Active
- 2017-08-23 JP JP2019511584A patent/JP6932182B2/ja active Active
- 2017-08-23 AU AU2017315684A patent/AU2017315684B2/en active Active
- 2017-08-23 EP EP17761992.1A patent/EP3504680B1/en active Active
- 2017-08-23 WO PCT/US2017/048271 patent/WO2018039380A1/en unknown
- 2017-08-23 RU RU2019108610A patent/RU2720070C1/ru active
-
2018
- 2018-03-26 US US15/935,077 patent/US10134141B2/en active Active
- 2018-10-16 US US16/161,796 patent/US10346986B2/en active Active
-
2020
- 2020-10-16 JP JP2020174419A patent/JP2021035502A/ja not_active Withdrawn
-
2021
- 2021-08-30 JP JP2021139654A patent/JP2022001261A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH119590A (ja) * | 1997-06-23 | 1999-01-19 | Toshiba Iyou Syst Eng Kk | 画像処理装置 |
JP2002506666A (ja) * | 1998-03-20 | 2002-03-05 | バーバラ・アン・カーマノス・キャンサー・インスティテュート | 病理組織の多次元検出および特徴付け |
JP2014149713A (ja) * | 2013-02-01 | 2014-08-21 | Ntt Docomo Inc | 画像評価装置 |
Non-Patent Citations (1)
Title |
---|
OMAR EMAD ET AL.: "Automatic localization of the left ventricle in cardiac MRI images using deep learning", THE PROCEEDINGS OF IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY ANNUAL CONFERENCE, JPN6020006931, August 2015 (2015-08-01), pages 683 - 686, XP032810236, ISSN: 0004388872, DOI: 10.1109/EMBC.2015.7318454 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7089072B2 (ja) | 2018-06-15 | 2022-06-21 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド | 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置 |
JP7089071B2 (ja) | 2018-06-15 | 2022-06-21 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド | 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け |
JP2021527221A (ja) * | 2018-06-15 | 2021-10-11 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド | 進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなhil指標決定のための方法および装置 |
JP2021527219A (ja) * | 2018-06-15 | 2021-10-11 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド | 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け |
US11927736B2 (en) | 2018-06-15 | 2024-03-12 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for fine-grained HIL index determination with advanced semantic segmentation and adversarial training |
US11763461B2 (en) | 2018-06-15 | 2023-09-19 | Siemens Healthcare Diagnostics Inc. | Specimen container characterization using a single deep neural network in an end-to-end training fashion |
JP2022532330A (ja) * | 2019-11-29 | 2022-07-14 | ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド | 画像上の位置決めのインタラクティブ表示方法、装置、電子機器及び記憶媒体 |
JPWO2021177374A1 (ja) * | 2020-03-04 | 2021-09-10 | ||
JP7323885B2 (ja) | 2020-03-04 | 2023-08-09 | 株式会社Kompath | 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム |
WO2021177374A1 (ja) * | 2020-03-04 | 2021-09-10 | 株式会社Kompath | 画像処理装置、画像処理モデル生成装置、学習用データ生成装置、及びプログラム |
JP7399785B2 (ja) | 2020-05-15 | 2023-12-18 | キヤノンメディカルシステムズ株式会社 | 磁気共鳴イメージング装置およびプログラム |
WO2021260928A1 (ja) * | 2020-06-26 | 2021-12-30 | 株式会社島津製作所 | 吸収係数画像生成方法、核医学診断装置および学習済みモデルの作成方法 |
JP2022543547A (ja) * | 2020-07-14 | 2022-10-13 | シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド | 画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品 |
WO2022045277A1 (ja) * | 2020-08-31 | 2022-03-03 | グローリー株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022001261A (ja) | 2022-01-06 |
WO2018039380A1 (en) | 2018-03-01 |
US10346986B2 (en) | 2019-07-09 |
AU2017315684B2 (en) | 2020-03-05 |
JP6932182B2 (ja) | 2021-09-08 |
EP3504680B1 (en) | 2023-04-05 |
JP2021035502A (ja) | 2021-03-04 |
EP3504680A1 (en) | 2019-07-03 |
US10134141B2 (en) | 2018-11-20 |
RU2720070C1 (ru) | 2020-04-23 |
CN109923582B (zh) | 2023-06-20 |
CN109923582A (zh) | 2019-06-21 |
US20190050992A1 (en) | 2019-02-14 |
US9965863B2 (en) | 2018-05-08 |
US20180218503A1 (en) | 2018-08-02 |
AU2017315684A1 (en) | 2019-04-18 |
US20180061059A1 (en) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6884853B2 (ja) | ニューラルネットワーク法を用いた画像セグメンテーション | |
JP6932182B2 (ja) | 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法 | |
JP7181963B2 (ja) | 深層学習を用いたアトラスベースセグメンテーション | |
US10751548B2 (en) | Automated image segmentation using DCNN such as for radiation therapy | |
US10489907B2 (en) | Artifact identification and/or correction for medical imaging | |
JP7245364B2 (ja) | 変形可能な層を有するCycleGANを用いたsCT画像生成 | |
CN105096310B (zh) | 利用多通道特征在磁共振图像中分割肝脏的方法和系统 | |
WO2020053216A1 (en) | 3-d convolutional neural networks for organ segmentation in medical images for radiotherapy planning | |
EP4030385A1 (en) | Devices and process for synthesizing images from a source nature to a target nature | |
EP3884501A1 (en) | Interactive iterative image annotation | |
EP3896649A1 (en) | Medical image synthesis of abnormality patterns associated with covid-19 | |
US11908047B2 (en) | Generating synthetic x-ray images and object annotations from CT scans for augmenting x-ray abnormality assessment systems | |
EP4266251A1 (en) | Representation learning for organs at risk and gross tumor volumes for treatment response predicition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200525 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201016 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201016 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20201027 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20201110 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20201120 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20201201 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201208 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210525 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20210616 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20210618 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20210621 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210706 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210706 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210803 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6932182 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |