JP2022553658A - 画像をセグメント化する方法及びシステム - Google Patents
画像をセグメント化する方法及びシステム Download PDFInfo
- Publication number
- JP2022553658A JP2022553658A JP2022522409A JP2022522409A JP2022553658A JP 2022553658 A JP2022553658 A JP 2022553658A JP 2022522409 A JP2022522409 A JP 2022522409A JP 2022522409 A JP2022522409 A JP 2022522409A JP 2022553658 A JP2022553658 A JP 2022553658A
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- shape
- segmentation
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
画像内の特徴をセグメント化する方法において、画像に関連する画像プロダクトが、機械学習プロセスを用いて訓練されたモデルに提供される(102)。画像内の特徴に関する形状記述子の標示が、前記画像プロダクトに基づいて、モデルから受け取られる(104)。次に、モデルベースのセグメンテーションMBSにおいて、標示された形状記述子を使用して該MBSを初期化し、特徴をセグメント化する(106)。
Description
本明細書の実施形態は、画像処理に関する。本明細書の実施形態は、特に、非排他的に、画像の1又は複数の特徴をセグメント化することに関する。
本開示は、画像セグメンテーションの分野にある。本明細書の開示は、例えば医用画像のような多様な範囲の画像に適用されることができる。画像セグメンテーションは、画像内で捕らえられる物体又は形状に関する形状/形態情報を抽出することを含む。これは、画像内の異なる特徴を表す構成ブロック又は「セグメント」に画像を変換することによって達成されることができる。幾つかの方法では、画像セグメンテーションは、モデルを画像内の1又は複数の特徴にフィットさせることを有することができる。
画像セグメンテーションの1つの方法は、モデルベースのセグメンテーション(Model-Based Segmentation、MBS)であり、これにより、ターゲット構造(例えば、心臓、脳、肺など)の三角形メッシュが、画像内の特徴に反復的に適応される。セグメンテーションモデルは、一般に、母集団ベースの外観特徴及び形状情報を符号化する。このような情報は、母集団のメンバにおけるターゲット構造の実際の形状に基づいて、許容される形状バリエーションを記述する。形状バリエーションは、例えば、モデルのある部分に対する変更が、モデルの他の部分の形状に制約される、又は依存する態様を記述する固有モードの形で、符号化されることができる。
モデルベースのセグメンテーションは、医用画像から1又は複数のターゲット臓器をセグメント化する様々な応用例において使用されており、例えば、 Ecabert, O., et al. 2008 entitled "Automatic Model-Based Segmentation of the Heart in CT Images"; IEEE Trans. Med. Imaging 27 (9), 1189-1201を参照されたい。三角形表面メッシュの使用により、MBSは一般的に滑らかなセグメンテーション結果を提供することになった。更に、MBSは、一般に、画質のバリエーションのような画像アーチファクトに対してロバストであると考えられる。
別のセグメンテーション方法は、機械学習(ML)モデルを使用して、類似のピクセル/ボクセル値及び画像勾配に基づいて、画像を複数の構成形状(例えば、ブロック形状又はブロックボリューム)に変換する。これは、例えば、Long et al. "Fully Convolutional Networks for Semantic Segmentation"に記載されている。
本明細書の実施形態の目的は、これらの方法を改良することである。
前述したように、画像セグメンテーションの2つの一般的な方法には、モデルベースのセグメンテーションMBSと機械学習MLセグメンテーションがある。MBSは、フィッティングプロセス中にメッシュ変形の特定の固有モードのみが許可されるため、メッシュに事前の形状知識を含む(形状制約など)。これは、一般的に、セグメント化される物体に関連する典型的な形状と一致する正確なフィットをもたらし得る。例えば、MBSモデルが心臓の場合、実際のヒト集団で観察される心臓の形状をもたらす、許容される変形のみが許容され得る。ただし、モデルをモデルの許容範囲の限界に向けて変形する必要があるエッジのケースは、スプリアスフィットになりうる。
対照的に、機械学習(ML)アプローチは、ボクセル単位で動作し、従って一般的に形状制約を受けない。その結果、それらは任意の形状にフィットすることができるが、事前の形状知識が無いことにより、精度が低くなりうる。これはまた、滑らかでない又はリークのあるセグメンテーション結果を与えうる。
本明細書の実施形態の目的は、特にMBSモデルでは十分に処理されないことがあるエッジのケースに関して、このような方法を改良して改善されたセグメンテーションを提供することである。
従って、本明細書の第1の態様によれば、画像内の特徴をセグメント化する方法がある。この方法は、機械学習プロセスを用いて訓練されたモデルに、画像に関連する画像プロダクトを提供するステップと、画像プロダクトに基づいて、画像内の特徴に関する形状記述子の標示を前記モデルから受け取るステップと、前記標示された形状記述子をモデルベースのセグメンテーションMBSにおいて使用して、MBSを初期化し、特徴をセグメント化するステップと、を有する。
このようにして、機械学習プロセスを使用して訓練されたモデルは、MBSモデルの初期化に使用される1又は複数の形状記述子を予測するために使用されることができる。このようにして、以下により詳細に説明されるように、例えば、ML(機械学習)モデルの粗いセグメンテーション結果を使用して、より正確なMBSセグメンテーションを開始することができる。
第2の態様によれば、画像内の特徴をセグメント化するセグメンテーションプロセスにおいて使用される機械学習モデルを訓練する方法がある。本方法は、訓練データを取得するステップであって、前記訓練データが、i)事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像に関連している該事例画像プロダクトと、ii)各事例画像プロダクト内の特徴の対応するグランドトゥルース形状記述子と、を有する、ステップと、前記訓練データに基づいて、新しい画像プロダクトのための新しい形状記述子を予測するよう前記モデルを訓練するステップと、を有する。
第3の態様によれば、画像内の特徴をセグメント化するシステムがある。システムは、命令セットを表す命令データを含むメモリと、メモリと通信し、命令セットを実行するように構成されたプロセッサと、を有する。命令セットは、プロセッサによって実行される場合、プロセッサに、機械学習プロセスを使用して訓練されたモデルに、画像に関連する画像プロダクトを提供するステップと、画像プロダクトに基づいて、画像内の特徴に関する形状記述子の標示を前記モデルから受信するステップと、前記標示された形状記述子をモデルベースのセグメンテーションMBSにおいて使用して、MBSを初期化し、1又は複数の特徴を初期化するステップと、を実行させる。
第4の態様によれば、画像内の特徴をセグメント化するセグメンテーションプロセスにおいて使用される機械学習モデルを訓練するシステムがある。システムは、命令セットを表す命令データを含むメモリと、メモリと通信し、命令セットを実行するように構成されたプロセッサと、を有する。命令セットは、プロセッサによって実行される場合、プロセッサに、訓練データを取得するステップであって、前記訓練データが、i)事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像に関連している事例画像プロダクトと、ii)各事例画像プロダクトにおける特徴の対応するグランドトゥルースの形状記述子と、を有するステップと、前記訓練データに基づいて、新しい画像プロダクトのための新しい形状記述子を予測するよう前記モデルを訓練するステップと、を実行させる。
第5の態様によれば、コンピュータ可読媒体を含むコンピュータ可読媒体を有するコンピュータプログラム製品があり、前記コンピュータ可読媒体は、コンピュータ可読コードを有し、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行される場合、コンピュータ又はプロセッサに第1又は第2の態様のいずれかの実施形態を実行させるように構成される。
より良い理解のために、また、本明細書中の実施形態がどのように実施され得るかをより明確に示すために、ここでは、単なる例として、以下の添付図面を参照する。
簡単に上述したように、機械学習(ML)セグメンテーションは、機械学習モデルがピクセル/ボクセル値及び画像勾配に基づいて画像をその構成形状に変換するように訓練されるものであり、ある程度の精度で任意の画像をセグメント化することができるが、この方法は、一般に、MLセグメンテーションが、事前の形状知識によって制約されないという点で、制限されることがある。これはまた、滑らかでない又はリークのあるセグメンテーション結果を与えうる。
対照的、モデルベースセグメンテーションMBSは、事前の形状知識の組み込みにより、高精度のセグメンテーションを提供することができるが、MBSモデルは、それらがフィットさせている物体がモデルの許容変形モードの極限に向かう形状を有する場合に、質の悪い(又は誤った)フィットを提供し得る。
本明細書の実施形態の目的は、画像をセグメント化するための改良された方法及びシステムを提供することである。
図1は、本明細書のいくつかの実施形態に従う、画像内の特徴をセグメント化する方法100を示す。第1のブロック102において、方法100は、機械学習プロセスを使用して訓練されたモデルに、画像に関連する画像プロダクトを提供することを含む。第2のブロック104において、本方法は、画像プロダクトに基づいて、前記モデルから、画像内の特徴の形状記述子の標示を受け取ることを含む。第3のブロック106において、モデルベースのセグメンテーションMBSにおいて前記標示された形状記述子を使用することで、MBSを初期化し、特徴をセグメント化する。
このようにMBSモデルの初期化に使用する近似の形状記述子を予測するためにモデル(機械学習モデルなど)を使用することは、MBSモデルがより正確なフィットを生成することを可能にする。例えば、解剖学的形状が「あまりに極端」であり、従ってMBS捕捉範囲外である場合、MBS階層適応は、捕捉範囲内で最良のモデルフィットをもたらす(これは局所的な最小フィット解と考えられることができる)。
従って、(例えば、ここで説明したようにMLアルゴリズムからの形状記述子を使用することによって)モデルをより良く初期化できれば、ML形状記述子を使用しない場合には捕捉範囲外であった「極端な」解剖学的ジオメトリが、捕捉可能になる(別の言い方をすれば、フィッティングアルゴリズムの大域的な最小値を求めることができる)。
より詳細には、画像(例えば、セグメント化されるべき画像)は、任意の種類の画像であってよい。いくつかの実施形態では、画像は科学的な画像を含みうる。いくつかの実施形態では、例えば、画像は医用画像を含みうる。
医用画像は、任意の撮像モダリティを用いて取得された画像を有することができる。医療用画像の例としては、CアームCT画像、スペクトルCT画像又は位相コントラストCT画像などの(例えばCTスキャンからの)コンピュータトモグラフィ(CT)画像、(例えばX線スキャンからの)X線画像、(例えばMRスキャンからの)磁気共鳴(MR)画像、(例えば超音波スキャンからの)超音波(US)画像、透視画像、核医学画像、又は任意の他の3次元医用画像が挙げられるが、これらに限定されない。
より一般的には、画像は、カメラ内にあるような荷電結合素子CCDを用いて捕捉された画像を有することができる。当業者であれば、本明細書の実施形態が、セグメント化され得る他のタイプの画像及び/又は他のデータセットに適用され得ることを理解するであろう。
一般に、画像は、2次元画像又は3次元画像を含むことができる。画像は、複数の(又はセットの)画像コンポーネントを有することができる。例えば、画像が2次元画像を含む実施形態では、画像コンポーネントはピクセルを有することができる。画像が3次元画像を含む実施態様では、3次元画像は、画像コンポーネントがボクセルを有することができる。
画像内の特徴は、画像内で目に見える(例えば識別可能である)任意の(例えば、実際の又はシミュレートされた)物体、物体の形状、又は物体若しくはその形状の部分を有することができる。画像が医用画像を含む実施形態では、特徴は、解剖学的特徴、又は肺、心臓、脳、又は任意の他の解剖学的特徴の部分のような解剖学的特徴の部分を有することができる。
方法100のブロック102及び104(「機械学習プロセスを使用して訓練されたモデルに、画像に関連する画像プロダクトを提供すること」及び「画像プロダクトに基づいて、画像内の1又は複数の特徴に関する形状記述子の標示を前記モデルから受け取ること」)に移る;本明細書の実施形態では、MBSモデルを初期化するために、機械学習モデルを使用して、MBSモデルによって使用され得る画像内の特徴に関する1又は複数の形状記述子を予測する。
以下でより詳細に説明するように、機械学習モデルは、例えば画像自体に基づいて、又は機械学習セグメンテーションプロセスのような別のタイプのセグメンテーションプロセスによって実行される初期セグメンテーションによるセグメント出力に基づいて、形状記述子を予測することができる。このようにして、MBSモデルを初期化するために使用され得るパラメータを予測するために、機械学習モデル(ニューラルネットワークなど)によって初期の粗いセグメンテーションが使用されることができる。このようにして、MBSモデルにより、より正確なセグメンテーションが実施されることができる。
モデルは、例えば、機械学習プロセスを用いて訓練されるモデルのような、任意のタイプのモデルを有することができる。本明細書で使用され得るモデルの例は、深層学習ニューラルネットワークのようなニューラルネットワークモデル、及びランダムフォレストモデルを含むが、これらに限定されない。
当業者はニューラルネットワークに精通しているであろうが、簡単に言えば、ニューラルネットワークは教師つき機械学習モデルの一種であり、与えられた入力データに対して所望の出力を予測するように訓練されることができる。ニューラルネットワークは、事例入力データと、望まれる対応する「正しい」又はグランドトゥルース結果とを含む訓練データを提供することによって訓練される。ニューラルネットワークは、ニューロンの複数の層を含み、各ニューロンは、入力データに適用される数学的演算を表す。ニューラルネットワークの各層の出力は、次の層に供給され、出力が生成される。訓練データの各部分について、対応するグランドトゥルースを反映する訓練事例の予測を生成する最適重みが見つけられるまで、ニューロンに関連する重みが調整される。
本明細書では、ニューラルネットワークの例が提供されるが、一般に、訓練済みモデルは、画像プロダクトを入力として取得し、画像内の1又は複数の特徴に関する形状記述子の標示を出力(例えば、予測)するように訓練され得る任意のモデルを有することができることが、当業者には理解されよう。
いくつかの実施態様において、画像に関連する画像プロダクトは、画像自体を有することができる。例えば、画像に関する画像プロダクトは、画像の部分(例えば、元の画像の全体又は部分)を有することができる。言い換えると、いくつかの実施形態では、モデルを使用して、画像自体に基づいて(例えば、画像を入力として得る)、画像内の特徴の形状記述子を予測することができる。他の例では、画像プロダクトは、前処理プロセスを受けた画像の部分(例えば、元の画像の全体又は部分)を有することができる。前処理プロセスの例には、例えば、特徴を強調する(又は背景ノイズを滑らかにする)ために画像を平滑化する又はフィルタリングすることが含まれるが、これらに限定されない。
いくつかの実施形態では、モデルに提供される画像プロダクトは、別のピクセル又はボクセルベースのセグメンテーション(例えば(それぞれ2D又は3Dで)ピクセル又はボクセルを有するセグメントを結果として生成するセグメンテーションプロセス)によって生成されるセグメントを有することができ。言い換えると、いくつかの実施形態では、画像の初期セグメンテーションにおいて生成されるセグメントに基づいて、画像内の特徴に係る形状記述子を予測するために、モデルが使用されることができる。初期セグメンテーションは、粗い(例えば、近似の又は迅速な)セグメンテーションでありうる。
いくつかの実施形態では、モデルに提供される画像プロダクトは、機械学習(ML)に基づくセグメンテーションプロセスによって生成されるセグメントを有することができる。実施形態では、MLに基づくセグメンテーションプロセスは、MLベースのボリュームセグメンテーションプロセスを有することができる。一般に、MLベースのセグメンテーションプロセスは、意味的(semantic)画像セグメンテーション(2D又は3Dセグメンテーション)のための任意の機械学習方法を有することができる。当業者であれば、MLセグメンテーションプロセスに精通しているであろう。このようなプロセスの一例は、Long他の"Fully Convolutional Networks for Semantic Segmentation"と題する前述の論文に記載されている。
この方法は、したがって、機械学習(ML)ベースのセグメンテーションプロセスを使用して、画像の初期セグメンテーションを実行することを更に含むことができる。次いで、MLベースのセグメンテーションプロセスによって実行される初期セグメンテーションからのセグメントが、モデルへの入力として提供されることができ、入力に基づいて、モデルは、形状記述子の標示を出力し又は予測することができる。
いくつかの実施形態では、モデルが形状パラメータを予測するために、元の画像(又はその前処理バージョン)及び初期セグメンテーションによって生成されたセグメントの両方が、機械学習プロセスを用いて訓練されたモデルに、提供されることができることに更に留意されたい。言い換えると、いくつかの実施形態では、モデルは、画像及びMLセグメンテーションアルゴリズムによって生成されたセグメントを、入力として得ることができる。
これは図2に示されており、図2は、医用画像上で実行されるセグメンテーションのMLベースのボリュームセグメンテーション結果から臓器の形状記述子を推定するために、深層学習(DL)ニューラルネットワークが使用される実施形態を示す。
この例では、セグメント化されるフィーチャーは、画像の上部に向かって上方に曲げられた、シミュレーションされた3Dシリンダを通るスライスを含む。この実施態様において、図2aに示されるように、画像スライスが、MLセグメンテーションプロセスによってセグメント化されることにより、シリンダのセグメント202が生成される。
図2bは、セグメント上に重ねられたシリンダのMBSモデル204のアウトラインを示す。この実施形態では、シリンダ202は、モデル204の許容される変形の限界に向かって変形されている。MBSモデルがこのシリンダに適用される場合、不十分な(又は誤った)フィットが生じる可能性があり、例えば、図2の204aとラベル付けされたモデルの角部が、正しい角部202bの代わりに、シリンダの角部202aに誤ってフィットする可能性がある。
しかしながら、本明細書の実施形態によれば、MLセグメンテーションプロセスによって生成されたセグメント202が、深層学習ニューラルネットワークへの入力として提供され、深層学習ニューラルネットワークは、セグメント202に基づいて、画像内の特徴に関する形状記述子の標示を出力し又は予測する。
形状記述子は、MBSベースのモデルメッシュに、入力パラメータとして提供され、それにより、平均モデルメッシュの形状をML結果の形状と(例えば、おおまかに)アラインすることにより、MBSメッシュが初期化される。これは、図2cに示されており、図2cは、形状記述子を使用して初期化された場合の初期化されたMBSメッシュ206を示す。ここで、MBSメッシュは物体とほぼアラインされており、局所的なMBS微細セグメンテーションが、元の画像に(古典的な/通常の方法で)適用されることで、物体のより正確なセグメンテーション208が提供されることができ、その結果が図2dに示されている。
このようにして、深層学習(DL)モデルのようなモデルは、MLセグメンテーションによって生成されたセグメントからMBSメッシュを初期化するための近似変形を推定することができる。これは、MBSモデル変形の極限に向かって形状をセグメント化する場合に、MBSモデルを使用することに関連する前述の問題を回避することができる。これは、ML(形状にかかわらず粗いセグメンテーションを提供する)とMBSセグメンテーションプロセス(正しく初期化される場合、高精度のセグメンテーションを提供する)の強みを組み合わせて、全体的な改善されたセグメンテーションプロセスを提供する。
ここで方法100に戻って説明すると、いくつかの実施形態において、モデルは、訓練データに基づいて、形状記述子の指示を予測するように訓練されることができ、かかる訓練データは、i)事例画像プロダクト、及びii)各事例画像プロダクトの対応するグランドトゥルース形状記述子、を含む。例えば、訓練データセットは、事例画像プロダクトと、各事例入力画像について「正しい」又は所望の出力と、を含むように集められることができる。訓練についての更なる詳細は、図4に関して、以下に提供される。
いくつかの実施形態では、形状記述子は、MBSモデルを初期化するために、MBSモデルに使用され得る(例えば、入力)1又は複数のパラメータを含むことができる。例えば、これは、標示された形状記述子に従って、MBSに関連付けられる平均モデルメッシュの形状を、MLベースのボリュメトリックセグメンテーションプロセスによって生成された1又は複数のセグメントの形状にアラインすることによって、実行される。
一般に、形状記述子は、モデルの形状を初期化するために使用され得る1又は複数の重み又は固有値を有することができる。いくつかの実施形態では、形状記述子は、MBSモデルにおける個々の頂点のオフセットを記述することができる。いくつかの実施形態では、形状記述子は、適当な境界条件を有するメッシュの部分に適用されるアフィン変換(又は一組のアフィン変換)を規定することができ、それにより、病理に関するメッシュ変形(例えば、自己交差)が生じるようにしてもよい。しかしながら、これらは単なる例であり、当業者は、MBSモデルを初期化することができる他の方法、従って、本明細書の実施形態を実施するために形状記述子がとり得る他の形態に精通するであろう。
上述したように、形状記述子の標示は、MBSモデルを初期化するために使用され得る1又は複数の値を有することができる。いくつかの実施形態では、形状記述子の標示は、1又は複数の値又は分類を有することができ、かかる値又は分類から、形状記述子が決定され又は計算されることができる。いくつかの例では、値は連続値であってもよい。他の例では、値を離散化してもよい。従って、一般に、形状記述子のニューラルネットワークに基づく推定は、回帰タスク又は分類タスクとして扱われることができる。
いくつかの実施形態では、モデルは回帰ニューラルネットワークを含む。この意味で、ニューラルネットワークによって出力される形状記述子は、連続値の形であってもよい。
一実施形態として、一実施形態では、MLベースのセグメンテーションは、整数クラスラベルを含む3Dボリュームとして提供される(例えば、ボリューム内の各ボクセルは、1又は0とラベル付けされることができ、これにより、ボクセルがセグメント化されたボリュームの部分を形成するか、又はセグメント化された物体の部分ではないことを示す)。この実施形態では、MBSモデルの形状記述子は、n次元の実数値ベクトルに対応する。上述したように、このパラメトリゼーションωは、病理に関するメッシュ変形(自己交差のようである)が生じるように、例えば個々の頂点のオフセットを記述することによって(この場合、ωの次元数はかなり高くなるであろう)、又は、適当な境界条件でメッシュの部分に適用されるアフィン変換の集合を記述することによって、元のモデル形状の変形を表現することができる:後者(アフィン変換の集合の記述)の場合、パラメトリゼーションベクトルωは、より少ない次元数を有することになり、これによって、推定作業が単純化され得ることに留意されたい。
この実施形態では、セグメンテーション画像ボリュームIから形状記述子、
を推定するために、回帰ネットワークNが使用される。別の言い方をすれば、Iは、図2に関して上述したように、MLセグメンテーションプロセスからのセグメント出力を含む。古典的な回帰分析で典型的であるように、この実施形態では、損失関数L及びベクトルθによってパラメータ化されたネットワークアーキテクチャが使用される。セグメンテーションボリュームと関連する形状記述子のペアを含む訓練セットTが与えられる場合、最適ネットワークパラメトリゼーションθ*は、訓練データ全体の平均損失を最小化することによって、すなわち最適化タスク:
を解くことによって得ることができる。
を推定するために、回帰ネットワークNが使用される。別の言い方をすれば、Iは、図2に関して上述したように、MLセグメンテーションプロセスからのセグメント出力を含む。古典的な回帰分析で典型的であるように、この実施形態では、損失関数L及びベクトルθによってパラメータ化されたネットワークアーキテクチャが使用される。セグメンテーションボリュームと関連する形状記述子のペアを含む訓練セットTが与えられる場合、最適ネットワークパラメトリゼーションθ*は、訓練データ全体の平均損失を最小化することによって、すなわち最適化タスク:
を解くことによって得ることができる。
ネットワークアーキテクチャの例を図3に示す。この例では、ネットワークは、畳み込み、バッチ正規化、正規化線形ユニット(CBR)ブロック302、プーリング層304、及び線形層306の3つの異なるタイプの層モジュールを含む。入力層300は、入力画像を受け取り、出力層308は、(複数の)形状記述子の予測を提供する。CBRブロックは、3×3×3のパディング畳み込み(C)に続き、バッチ正規化(B)とリーキー正規化線形ユニット活性化(leaky rectified linear unit activation)(R)で構成される。プーリングについては、各ステップで空間テンソル次元を0.5倍減少させるストライド2の2×2×2の平均プーリングが選択される:すなわち(Hm,Wm,Dm)=0.5*(Hm-1,Wm-1,Dm-1)。ネットワーク重みは、SGD、AdaDelta、又はAdamのような顕著な更新規則と共に正規化L2損失を用いてミニバッチで訓練されることができる。この訓練セットアップのハイパーパラメータ、特に隠れ層の数d及び畳み込みによって生成される特徴チャネルの数Fmは、特定の用途に応じて変わりうる。前処理ステップとして、入力セグメンテーションボリュームは、それらの空間的拡張がネットワーク入力テンソルの形状に一致するように、再サンプリング、パッド、及びクロップされる。
このようにして、回帰ディープニューラルネットワークを用いて、形状記述子の値を直接予測することができる。
いくつかの実施形態では、訓練セット全体にわたる形状記述子の分布の事前統計的知識が、損失関数に組み込まれてもよいことに留意されたい。例えば、平均形状記述子ベクトルからの強い偏差は、ペナルティを受ける可能性がある。これは、ネットワークが非常に「起こりそうにない」形状記述子を生成する確率を低減する。これは、形状記述子分布に課された事前知識がバイアスを導入するかもしれないが、分散を減少させるという意味で、ベイズ最適化に類似していると考えることができる。
ここで分類アプローチに移ると、いくつかの実施形態では、モデルは分類ニューラルネットワークを含む。このような実施形態では、形状記述子の出力標示は、離散値に区分される。すなわち、ニューラルネットワークが出力する形状記述子は、離散化されることができる。これにより、この方法を実行するために必要な計算能力が低下させることができる。
例えば、学習した回帰モデルを通じてセグメンテーションボリュームIを形状記述子に直接関連付ける代わりに、ニューラルネットワークを使用して、関連する形状記述子の各コンポーネントの上限及び下限を予測することができる。
一例として、以下のアプローチを用いることができる:
セグメンテーションボリュームと形状記述子のペア(I,ω)を含むグランドトゥルースデータセットSが与えられる場合、形状記述子ベクトルの分布に基づいてRnの区分(partition)が決定されることができる。
分解Rn=UiCiを選択した後、グランドトゥルースデータセットに含まれる各形状記述子は、関連する区分要素に基づいてクラスラベルを割り当てられることができ、すなわち、形状記述子ωは、ωがCiに包含される場合はラベルlω:=iを割り当てられる。
得られた画像ラベル(I,lω)は、分類ネットワークの訓練データとして機能する。ニューラルネットワークを用いて分類タスクを解くことは、文献で集中的に議論されており、従って、当業者であれば可能なネットワーク規格と訓練レジメに精通するであろう。
上で概説したステップに続いて得られるニューラルネットワークは、関連する形状記述子を含む区分要素Ciを予測するために、見えない分割ボリュームに適用されることができる。区分要素の重心を取る又はCiに集中した分布からランダムにサンプリングすることにより、MBS初期化に使用することができる明示的な形状記述子の推定値が得られる。
より形式的には、いくつかの実施形態では、形状記述子の標示をモデルから受け取ることは、区分された離散値に関連する区分要素を分類ニューラルネットワークから受け取ることを含むことができる。区分要素は、画像内の特徴に関する形状記述子の上限又は下限を表すことができる。
形状記述子の(例えば、値ではなく)区分要素がモデルから受け取られる実施形態において、本方法は、区分要素を、MBSモデルを初期化するために使用され得る値又は他の形に変換することを含むことができる。いくつかの実施形態では、方法は、区分要素の重心を決定し、この重心を特徴の形状記述子として使用することによって、区分要素から、画像内の特徴の形状記述子を決定することを更に含むことができる。代替として、本方法は、区分要素を中心とする分布のランダムサンプリングに基づいて形状記述子の推定値を決定するステップと、形状記述子の推定値を、特徴の形状記述子として使用するステップとを更に有することができる。
方法100に戻って説明すると、標示された形状記述子をモデルベースのセグメンテーションにおいて使用してMBSを初期化し特徴をセグメント化するブロック106は、形状記述子を使用してMBSモデルを初期化し、初期化されたMBSモデルを使用して、画像上でセグメンテーションを実行するステップを有することができる。例えば、形状記述子は、画像(例えば、元の又は前処理された画像)上でセグメンテーションを実行するための入力パラメータとしてMBSモデルに提供されることができる。
このアプローチは、MBSモデルの初期化に使用できるMLセグメントからの形状予測因子を予測するモデルを使用することにより、MBS(画像のターゲット臓器形状がモデルの形状から強く逸脱する場合に範囲境界外になること)とMLセグメンテーション(形状の正則化がないこと)のいくつかのマイナス面を克服することができる。このようにして、2つのアプローチを併用することで、改善された成果を生み出すことができる。それは、特に、MLアルゴリズムによって生成されるものにも、臓器の粗いボリュメトリックセグメンテーションのような、任意のボクセルベースのセグメンテーションに適用されることができる。
いくつかの実施形態では、上述のように、提案したアルゴリズムは、ML結果から形状記述子を推定し、その記述子をMBSモデル上にマッピングし、それにより、ML結果とほぼ整合するようにモデルの平均メッシュ形状を効果的に変形する。その結果、MBSは、セグメンテーション結果を微調整するために局所的にのみ適用され、従って、多くの場合に現在採用されている複雑なマルチレベルモデル階層も単純化する。この方法は、モデルが検出すべき臓器境界の捕捉範囲内に良好に収まるように、良好な初期化を必要とするMBSアプローチの一般的な問題を克服することができる。
他の実施形態は、図4に示されており、図4は、機械学習セグメンテーションプロセスが、機械学習プロセスを使用して訓練された(第2の)モデルへの入力として提供されるセグメントを生成するために使用される方法の要約を示す。モデルは、機械学習セグメンテーションプロセスによって生成されたセグメントを使用して、MBSの初期化に使用するための形状記述子を予測する。
この方法は、ブロック402で始まり、ブロック402において、画像が、機械学習セグメンテーションモデル(図4ではMLアルゴリズム*とラベル付けされている)に提供され、ブロック404において、画像がセグメント化され、画像内の特徴の1又は複数のセグメントが生成される。この機械学習セグメンテーションモデルは、元の画像データ上で動作し、ボクセル/ピクセルレベルで画像のセグメンテーションを導出する。
機械学習セグメンテーションモデルによるセグメント出力は、機械学習プロセスを用いて訓練されたモデル(図4ではMLアルゴリズム**とラベル付けされている)への入力として提供される。このモデルは、例えば、ニューラルネットワークを含み、セグメントを使用して当該セグメントに関する形状記述子(406)を予測し又は推定することができる。
予測/推定された形状記述子は、モデルベースのセグメンテーションプロセスMBS408を初期化するために使用される。MBS408は、画像402及び形状記述子406を入力として取り込む。形状記述子は、MBSを初期化するために使用される。モデルベースのセグメンテーションは、(メッシュベースの)セグメンテーション出力を生成する。
別の実施形態において、機械学習プロセス(例えば、図4のMLアルゴリズム**)を用いて訓練されたモデルは更に、元の画像を入力として取り込むことができる。例えば、ニューラルネットワークは、MLベースのセグメンテーションからのセグメンテーション及び元の画像に基づいて形状予測因子を予測するために使用されることができる。
次に図5を参照して、いくつかの実施形態では、画像内の特徴をセグメント化するためのセグメンテーションプロセスで使用するための機械学習モデルを訓練する方法500が存在する。簡単に説明すると、本方法は、第1のブロック502において、訓練データを取得するステップであって、前記訓練データが、i)事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像に関連している該事例画像プロダクトと、ii)各事例画像プロダクト内の特徴の対応するグランドトゥルース形状記述子と、を有する、ステップを有する。第2のブロック504では、本方法は、訓練データに基づいて、新しい画像プロダクトのための新しい形状記述子を予測するように前記モデルを訓練するステップを有する。
画像及びその中の特徴は、方法100に関して上述した画像及び特徴のタイプを含む、任意のタイプの画像及び任意のタイプの特徴を含むことができる。更に、モデルは、方法100に関して上述したように、画像プロダクトから形状記述子を予測するのに適した任意のタイプのモデルでありうる。図1ー図3に関して上述したモデルの詳細及び実施形態は、方法500の実施形態にも同様に適用されることが理解されるであろう。
訓練データを取得するブロック502は、事例画像プロダクトを取得するステップであって、各事例画像プロダクトがそれぞれの画像に関連している、ステップと、取得された事例画像プロダクトに、各事例画像プロダクト内の特徴の対応するグランドトゥルース(「正しい」)形状記述子を付す(アノテートする)ステップと、を含むことができる。
上記のとおり、画像プロダクトは、画像又は画像から導出されたプロダクトを含むことができる。いくつかの実施態様において、上に詳述したように、画像プロダクトは、例えば、MLセグメンテーションプロセスによって生成されたセグメントを有することができる。
訓練データは、多くの訓練事例を含むことができる。一般に、当業者によって理解されるように、形状記述子を予測する際のモデルの精度は、訓練セットが大きくなるほど一層改善されることができる。従って、いくつかの実施形態では、訓練データは、数百又は数千の訓練事例を含むことができる。
方法100に関して上で詳述したように、いくつかの実施形態では、モデルは分類ニューラルネットワークを有することができる。このような実施形態では、グランドトゥルース値は離散化されることができる。そのように、方法500は、訓練データ内のグランドトゥルース形状記述子の値を離散値に区分するステップを更に有することができる。新しい画像プロダクトのための形状記述子を予測するためのモデルの訓練504は、訓練データに基づいて、新しい画像プロダクトに係る形状記述子の新しい区分値を予測するようにモデルを訓練することを含み得る。
いくつかの実施態様において、区分値は、形状記述子の上限又は下限を表す。方法100に関して上述したように、このような上側又は下限は、MBSモデルを初期化するために使用され得る形状区分の値を決定するために使用されることができ、MBSモデルの初期化は、例えば、区分要素の重心を決定し、かかる重心を特徴の形状記述子として使用することによって、又は、区分要素を中心とする分布のランダムサンプリングに基づいて形状記述子の推定値を算出し、形状記述子の推定値を特徴の形状記述子として使用することによって、実行されることができる。
上記で詳述したように、1又は複数の新しい形状記述子は、新しい画像のセグメンテーションのためにモデルベースのセグメンテーションMBSを初期化する際に使用される。
ここで、いくつかの実施形態において図6を参照すると、2次元ディスプレイ上に画像の3次元ボリュームを表示するシステム600が存在する。システムは、特化した医療機器のような特化した機器の部分を形成することができ、代替的に、システムは、例えばラップトップ、デスクトップPC又は他の装置のようなコンピュータシステムの部分を形成することができ、あるいは、システム600は、クラウド/分散コンピューティング構成の部分を形成することができる。
システムは、命令セットを表す命令データを含むメモリ604と、メモリと通信し、命令セットを実行するように構成されるプロセッサ602と、を有する。一般に、命令セットは、プロセッサによって実行される場合、プロセッサに、上述した方法100又は500の実施形態のいずれかを実行させることができる。いくつかの実施形態では、命令セットは、それぞれが本明細書に記載する方法の個々のステップ又は複数のステップを各々が実行する又は実行するように構成された複数のソフトウェア及び/又はハードウェアモジュールを含むことができる。
より具体的には、いくつかの実施形態では、命令セットは、プロセッサによって実行される場合、プロセッサに、機械学習プロセスを用いて訓練されたモデルに、画像に関連する画像プロダクトを提供するステップと、画像プロダクトに基づいて、画像内の特徴の形状記述子の標示を前記モデルから受け取るステップと、モデルベースのセグメンテーションMBSにおいて前記標示された形状記述子を使用してMBSを初期化し、1又は複数の特徴を初期化するステップと、を実行させる。
機械学習プロセスを用いて訓練されたモデルに、画像に関連する画像プロダクトを提供すること、画像プロダクトに基づいて、前記モデルから、画像内の特徴に関する形状記述子の標示を受け取ること、モデルベースのセグメンテーションにおいて前記標示された形状記述子を使用することで該MBSを初期化し、1又は複数の特徴をセグメント化することが、方法100及びブロック102、104及び106に関して詳細に説明されたが、それらの詳細は、システム600の構成にも等しく適用されることが理解されるであろう。
他の実施形態では、命令セットは、プロセッサによって実行される場合、プロセッサに、訓練データを取得するステップであって、該訓練データが、i)事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像に関連している事例画像プロダクトと、ii)各事例画像プロダクトにおける特徴の対応するグランドトゥルースの形状記述子と、を有する、ステップと、新しい画像プロダクトに関する新しい形状記述子を予測するように前記訓練データに基づいて前記モデルを訓練するステップと、を実行させる。
訓練データを取得すること、及び新しい画像プロダクトに関する新しい形状記述子を予測するように訓練データに基づいて前記モデルを訓練することは、方法500に関して詳しく上記で説明されたが、その詳細は、システム600にも等しく適用されることが理解されるであろう。
システム600の実施形態のいずれにおいても、プロセッサ602は、本明細書に記載される方法でシステム600を制御するように構成され又はプログラムされる、1つ又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ又はモジュールを有することができる。実現例において、プロセッサ602は、それぞれが本明細書に記載される方法の個々の又は複数のステップを実行する又は実行するように構成される複数のソフトウェア及び/又はハードウェアモジュールを有することができる。プロセッサ602は、本明細書に記載される態様でシステム600を制御するように構成され又はプログラムされる、1つ又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ及び/又はモジュールを有することができる。一部の実施形態において、例えば、プロセッサ602は、複数の(例えば、相互運用された)プロセッサ、処理ユニット、マルチコアプロセッサ及び/又は分散処理のために構成されたモジュールを有することができる。このようなプロセッサ、処理ユニット、マルチコアプロセッサ及び/又はモジュールは、それぞれ異なる位置に配置されることができ、本明細書に記載される方法の異なるステップ及び/又は単一ステップの異なる部分を実行することができることが当業者には理解されるであろう。
メモリ604は、本明細書に記載する方法を実行するためにプロセッサ102によって実行可能なプログラムコードを記憶するように構成される。代替的に又は付加的に、1又は複数のメモリ604は、システム600の外部にあってもよい(すなわち、分離していてもよいし、遠隔にあってもよい)。例えば、1又は複数のメモリ604は、別の装置の部分でありうる。メモリ604は、装置600のプロセッサ602によって、又はシステム600の外部にある任意のインタフェース、メモリ又は装置から、受信され、計算され、又は決定された、画像、画像プロダクト、モデル、形状記述子、セグメント、情報及び/又はデータを格納するために使用されることができる。プロセッサ602は、画像、画像プロダクト、モデル、形状記述子、セグメント、情報及び/又は受信された、計算された又は決定されたデータを格納するようにメモリ604を制御するように構成されることができる。
いくつかの実施形態では、メモリ604は、複数のサブメモリを有することができ、各サブメモリは、命令データの部分を記憶することができる。例えば、少なくとも1つのサブメモリは、命令セットの少なくとも1つの命令を表す命令データを記憶することができ、少なくとも1つの他のサブメモリは、命令セットの少なくとも1つの他の命令を表す命令データを記憶することができる。
幾つかの実施形態では、システム600は、画像、画像プロダクト、MBSモデル、及び/又はシステム600に入力され又はシステム600から出力される(例えば決定される/計算される)任意の他の情報を表示する/レンダリングするディスプレイを更に有することができる。ディスプレイは、例えば、コンピュータスクリーン、携帯電話又はタブレット上のスクリーン、医療機器又は医療診断ツールの一部を形成するスクリーン、ゴーグル又はバーチャルリアリティディスプレイに関連するバイザの一部を形成するスクリーン、又は任意の他のディスプレイを有することができる。
システムは、例えば、本明細書に記載する態様で使用される初期入力パラメータを提供するために、ユーザがシステムと対話することを可能にするキーボード、マウス又は他の入力デバイスのようなユーザ入力を更に有することができる。
図6は、開示のこの態様を示すために必要なコンポーネントのみを示しており、実際の実現例において、システム600は、図示されたものに対する追加コンポーネントを有することができる。例えば、システム600は、システム600に給電するためのバッテリ又は他の電源、又はシステム600を主電源に接続するための手段を有することができる。
別の実施形態において、コンピュータ可読媒体を含むコンピュータプログラム製品であって、コンピュータ可読媒体は、その中に具体化されたコンピュータ可読コードを有し、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる実行時に、コンピュータ又はプロセッサに本明細書に記載する1又は複数の方法を実行させる。
従って、本開示は、実施形態を実現するように構成されたコンピュータプログラム、特に担体上又は担体内のコンピュータプログラムにも適用されることが理解されるであろう。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び、例えば、部分的にコンパイルされた形のオブジェクトコードの形であってもよく、又は、本明細書に記載される実施形態による方法の実施において使用するのに適した任意の他の形式であってもよい。
また、このようなプログラムは、多くの異なる構造的な設計を有することも認められるであろう。例えば、方法又はシステムの機能を実装するプログラムコードは、1又は複数のサブルーチンにサブ分割されてもよい。これらのサブルーチン間で機能性を分配する多くの異なる方法は、当業者に明らかであろう。サブルーチンは、1つの実行可能ファイルに一緒に記憶されて、自己完結型プログラムを形成することができる。このような実行可能ファイルは、コンピュータ実行可能命令、例えば、プロセッサ命令及び/又はインタプリタ命令(例えば、Javaインタプリタ命令)を含むことができる。代替として、1若しくは複数又はすべてのサブルーチンは、少なくとも1つの外部ライブラリファイルに記憶され、実行時などに静的又は動的にメインプログラムとリンクされることができる。メインプログラムには、少なくとも1つのサブルーチンへの呼び出しが少なくとも1つ含まれている。サブルーチンは、互いに関数呼び出しを含むこともできる。
コンピュータプログラムの担体は、プログラムを搬送することができる任意のエンティティ又は装置でありうる。例えば、担体は、ROMのようなデータ記憶装置、例えば、CD-ROM又は半導体ROM、又は磁気記録媒体、例えば、ハードディスクを含むことができる。更に、担体は、電気又は光信号のような伝送可能な担体であってもよく、電気又は光ケーブルを介して、又は無線又は他の手段によって伝送されることができる。プログラムがこのような信号で具体化される場合、担体は、このようなケーブル又は他のデバイス又は手段によって構成されることができる。代替として、担体は、プログラムが埋め込まれている集積回路でありえ、この集積回路は、関連する方法の性能を実行するように構成され、又は、その実行において使用されるように構成される。
開示された実施形態に対する変形は、図面、開示及び特許請求範囲の研究から、当業者によって理解され、実施されることができる。請求項において、単語「有する、含む(comprising)」は、他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は、複数性を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムは他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶/配布されることができるが、インターネット又は他の有線若しくは無線電気通信システムなどを介して、他の形態で配布されることもできる。請求項におけるいかなる参照符号も、その請求項の範囲を限定するものとして解釈されるべきではない。
Claims (14)
- 画像内の特徴をセグメント化する方法であって、
機械学習プロセスを用いて訓練されるモデルに、画像の全体又は一部に関する画像プロダクトを提供するステップであって、前記モデルは、i)事例画像プロダクトと、ii)各事例画像プロダクトごとの対応するグランドトゥルース形状記述子と、を有する訓練データに基づいて、形状記述子の標示を予測するように訓練される、ステップと、
前記画像プロダクトに基づいて、前記モデルから前記画像内の前記特徴に関する前記形状記述子の標示を受け取るステップと、
前記画像に対するモデルベースのセグメンテーションにおいて前記標示される形状記述子を使用して当該モデルベースのセグメンテーションを初期化し、前記特徴をセグメント化するステップと、
前記画像内の前記特徴に反復的に適応されるターゲット構造のメッシュを使用するステップと、
を有する方法。 - 前記方法が、機械学習ベースのセグメンテーションプロセスを用いて前記画像の初期セグメンテーションを行うステップを有し、前記モデルに提供される前記画像プロダクトが、前記機械学習ベースのセグメンテーションプロセスによって生成されるセグメントを有する、請求項1に記載の方法。
- 前記モデルベースのセグメンテーションにおいて前記標示される形状記述子を使用する前記ステップが、前記標示される形状記述子を使用して、前記モデルベースのセグメンテーションに関連付けられた平均モデルメッシュの形状を、前記機械学習ベースのセグメンテーションプロセスによって生成された前記セグメントの形状にアラインすることによって、前記モデルベースのセグメンテーションを初期化することを含む、請求項2に記載の方法。
- 機械学習プロセスを使用して訓練された前記モデルが、回帰ニューラルネットワークを含む、請求項1乃至3のいずれか1項に記載の方法。
- 機械学習プロセスを使用して訓練された前記モデルが分類ニューラルネットワークを含み、前記形状記述子の出力される前記標示が離散値に区分される、請求項1乃至4のいずれか1項に記載の方法。
- 前記モデルから前記形状記述子の標示を受け取る前記ステップが、前記分類ニューラルネットワークから、区分された離散値に関連する区分要素を受け取ることを含み、前記区分要素が、前記画像内の前記特徴に関する前記形状記述子の上限又は下限を表す、請求項5に記載の方法。
- 前記方法が更に、
前記区分要素の重心を決定し、前記重心を前記特徴に関する前記形状記述子として使用すること、又は
前記区分要素を中心とした分布のランダムサンプリングに基づいて前記形状記述子の推定値を決定し、前記形状記述子の推定値を、前記特徴に関する形状記述子として使用すること、
のいずれかによって、前記区分要素から前記画像内の前記特徴に関する前記形状記述子を決定するステップを有する、請求項6に記載の方法。 - 前記画像に関連する前記画像プロダクトが、前記画像の部分、又は前処理プロセスを経た前記画像の部分を有する、請求項4、5、6又は7に記載の方法。
- 画像内の特徴をセグメント化するためのセグメンテーションプロセスにおいて使用される機械学習モデルを訓練する方法であって、
訓練データを取得するステップであって、前記訓練データが、i)事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像の全体又は部分に関連している該事例画像プロダクトと、ii)各事例画像プロダクト内の特徴の対応するグランドトゥルース形状記述子と、を有する、ステップと、
前記訓練データに基づいて、新しい画像プロダクトのための新しい形状記述子を予測するように前記機械学習モデルを訓練するステップと、
を有する方法。 - 前記新しい形状記述子は、それぞれの新しい画像をモデルベースのセグメンテーションを初期化するために使用される、請求項9に記載の方法。
- 前記方法が更に、前記訓練データ内のグランドトゥルース形状記述子の値を、前記グランドトゥルース形状記述子の上限又は下限を表す離散値に区分するステップを有し、
前記新しい画像プロダクトの新しい形状記述子を予測するように前記機械学習モデルを訓練する前記ステップが、前記訓練データに基づいて、新しい画像プロダクトのための形状記述子の区分値を予測するように前記機械学習モデルを訓練することを含む、請求項9又は10に記載の方法。 - 画像内の特徴をセグメント化するシステムであって、
命令セットを表す命令データを含むメモリと、
前記メモリと通信し、前記命令セットを実行するように構成されるプロセッサと、を有し、
前記命令セットは、前記プロセッサによって実行される場合、前記プロセッサに、
画像の全体又は部分に関連する画像プロダクトを、機械学習プロセスを用いて訓練されたモデルに提供するステップであって、前記モデルは、i)事例画像プロダクトと、ii)各事例画像プロダクトの対応するグランドトゥルース形状記述子と、を有する訓練データに基づいて、形状記述子の標示を予測するように訓練されている、ステップと、
前記画像プロダクトに基づいて、前記モデルから、前記画像内の前記特徴の前記形状記述子の標示を受け取るステップと、
前記画像に対するモデルベースのセグメンテーションにおいて前記標示された形状記述子を使用して前記モデルベースのセグメンテーションを初期化し、1又は複数の前記特徴をセグメント化するステップと、
前記画像内の特徴に対し反復的に適応されるターゲット構造のメッシュを使用するステップと、
を実行させる、システム。 - 画像内の特徴をセグメント化するセグメンテーションプロセスで使用される機械学習モデルを訓練するシステムであって、
命令セットを表す命令データを含むメモリと、
前記メモリと通信し、前記命令セットを実行するように構成されるプロセッサと、
を有し、前記命令セットは、前記プロセッサによって実行される場合、前記プロセッサに、
訓練データを取得するステップであって、前記訓練データが、i)事例画像プロダクトであって、各事例画像プロダクトがそれぞれの画像の全体又は部分に関連している該事例画像プロダクトと、ii)各事例画像プロダクトにおける特徴に関する対応するグランドトゥルース形状記述子と、を有する、ステップと、
前記訓練データに基づいて、新しい画像プロダクトのための新しい形状記述子を予測するように前記機械学習モデルを訓練するステップと、
を実行させる、システム。 - コンピュータ可読媒体であって、その中に具体化されたコンピュータ可読コードを有し、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行される場合、前記コンピュータ又はプロセッサに、請求項1乃至11のいずれか1項に記載の方法を実行させる、コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19204772.8 | 2019-10-23 | ||
EP19204772.8A EP3813013A1 (en) | 2019-10-23 | 2019-10-23 | Methods and systems for segmenting images |
PCT/EP2020/079679 WO2021078823A1 (en) | 2019-10-23 | 2020-10-22 | Methods and systems for segmenting images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022553658A true JP2022553658A (ja) | 2022-12-26 |
JPWO2021078823A5 JPWO2021078823A5 (ja) | 2023-09-27 |
Family
ID=68342604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022522409A Pending JP2022553658A (ja) | 2019-10-23 | 2020-10-22 | 画像をセグメント化する方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220398740A1 (ja) |
EP (2) | EP3813013A1 (ja) |
JP (1) | JP2022553658A (ja) |
CN (1) | CN114586065A (ja) |
WO (1) | WO2021078823A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020214300A1 (de) * | 2020-11-13 | 2022-05-19 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und verfahren zum trainieren eines maschinellen lernmodells zum erkennen einer objekttopologie eines objekts aus einem bild des objekts |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10521902B2 (en) * | 2015-10-14 | 2019-12-31 | The Regents Of The University Of California | Automated segmentation of organ chambers using deep learning methods from medical imaging |
CN109690554B (zh) * | 2016-07-21 | 2023-12-05 | 西门子保健有限责任公司 | 用于基于人工智能的医学图像分割的方法和系统 |
US20180260759A1 (en) * | 2017-03-07 | 2018-09-13 | Mighty AI, Inc. | Segmentation of Images |
-
2019
- 2019-10-23 EP EP19204772.8A patent/EP3813013A1/en not_active Withdrawn
-
2020
- 2020-10-22 JP JP2022522409A patent/JP2022553658A/ja active Pending
- 2020-10-22 WO PCT/EP2020/079679 patent/WO2021078823A1/en unknown
- 2020-10-22 CN CN202080074382.6A patent/CN114586065A/zh active Pending
- 2020-10-22 EP EP20792991.0A patent/EP4049237A1/en active Pending
- 2020-10-22 US US17/770,307 patent/US20220398740A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4049237A1 (en) | 2022-08-31 |
CN114586065A (zh) | 2022-06-03 |
US20220398740A1 (en) | 2022-12-15 |
WO2021078823A1 (en) | 2021-04-29 |
EP3813013A1 (en) | 2021-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10643331B2 (en) | Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging | |
US11593943B2 (en) | RECIST assessment of tumour progression | |
US10664979B2 (en) | Method and system for deep motion model learning in medical images | |
US10210613B2 (en) | Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training | |
US9299145B2 (en) | Image segmentation techniques | |
US20210383534A1 (en) | System and methods for image segmentation and classification using reduced depth convolutional neural networks | |
CN110546685B (zh) | 图像分割和分割预测 | |
WO2013106512A1 (en) | Methods and systems for tomographic reconstruction | |
US20220415021A1 (en) | Data augmentation for a machine learning method | |
JP2022553658A (ja) | 画像をセグメント化する方法及びシステム | |
Habijan et al. | Generation of artificial CT images using patch-based conditional generative adversarial networks | |
Olveres et al. | Deformable models for segmentation based on local analysis | |
US20220277457A1 (en) | Segmentating a tubular feature | |
US20240203039A1 (en) | Interpretable task-specific dimensionality reduction | |
US20230030618A1 (en) | Making measurements in images | |
US20230342933A1 (en) | Representation Learning for Organs at Risk and Gross Tumor Volumes for Treatment Response Prediction | |
EP4184435A1 (en) | Method and systems for boundary detection | |
JP2024028152A (ja) | 表示視野の違いに対する深層学習の頑健性 | |
WO2024110370A1 (en) | Segmenting a feature in an image | |
KR20240051159A (ko) | 의료 이미지 변환을 위한 시스템 및 방법 | |
CN116205844A (zh) | 一种基于扩张残差网络的全自动心脏磁共振成像分割方法 | |
Benešová | Segmentation of anatomical organs in medical data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230919 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230919 |