JP2022546303A - 管状フィーチャのセグメント化 - Google Patents
管状フィーチャのセグメント化 Download PDFInfo
- Publication number
- JP2022546303A JP2022546303A JP2022511227A JP2022511227A JP2022546303A JP 2022546303 A JP2022546303 A JP 2022546303A JP 2022511227 A JP2022511227 A JP 2022511227A JP 2022511227 A JP2022511227 A JP 2022511227A JP 2022546303 A JP2022546303 A JP 2022546303A
- Authority
- JP
- Japan
- Prior art keywords
- image
- tubular
- segmentation
- point
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims description 22
- 210000004204 blood vessel Anatomy 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 28
- 230000002792 vascular Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 6
- 238000013434 data augmentation Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000010968 computed tomography angiography Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30172—Centreline of tubular or elongated structure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
画像内の管状フィーチャをセグメント化する方法において、前記画像の重複部分のシーケンスが、訓練済みモデルを用いてセグメント化される。重複部分は、管状フィーチャの長さに沿って位置決定され、管状フィーチャのセグメンテーションを決定するために組み合わされる。
Description
本開示は、画像セグメンテーションに関する。非排他的な実施形態は、医用画像における血管構造のような管状構造を含む画像をセグメント化することに関する。
画像セグメンテーションは、画像を複数のセグメントに分割又は区分けすることを含み、各セグメントは画像コンテントの異なる部分に対応する。医用画像では、例えば、解剖学的フィーチャ(feature、特徴)の画像が、それぞれ異なる部分にセグメント化されることができ、それによって、各セグメント又は部分が、医用画像における異なる解剖学的フィーチャを表す。セグメンテーションは、更なる分析及び/又はモデリングのために、画像内の異なるフィーチャが抽出/分離されることを可能にする。セグメンテーションは、自動化されたやり方又は(部分的に)対話的なやり方で実行されることができ、医用画像処理において広範囲の応用を有する。
Uネット(U-Net)又はFネット(F-Net)のようなニューラルネットワーク(例えばRonneberger O., et al. (2015) "U-Net: Convolutional Networks for Biomedical Image Segmentation"; MICCAI 2015 Lecture Notes in Computer Science, vol 9351, 234-241及びBrosch T., Saalbach A. (2018) "Foveal fully convolutional nets for multi-organ segmentation" SPIE Volume 10574, 105740U)の文献に記載される)は、解剖学的構造のセグメンテーションに有用であることが分かっており、他のセグメンテーション方法と比較してしばしば最良の実行方法の1つである。かかるニューラルネットワークは更に、血管構造をセグメント化するためにも使用できる。
血管セグメンテーション技法の最近の概要が、S. Moccia et al. 2018: "Blood vessel segmentation algorithms - Review of methods, datasets and evaluation metrics", Computer Methods and Programs in Biomedicine 2018, 158, 71-91に示されている。
本開示の目的は、画像内の血管などの管状構造をセグメント化する改良された方法を提供することである。
上で簡単に概説したように、ニューラルネットワークは、医用画像のセグメンテーションを含む画像セグメンテーションにおいて有望であることを示した。しかしながら、特に3Dにおける、標準的なネットワークアーキテクチャを用いた管状構造(例えば、血管構造)のセグメンテーションは、血管構造(非常に小さな領域)対背景(はるかに大きい領域)の相対的な大きさのため、困難である。その結果、良好な結果を達成するためには、非常に大きな訓練データセットが必要となる。
これに対する1つの解決策は、ニューラルネットワークを訓練するために使用できるシミュレートされたデータを生成するために、敵対的生成ネットワーク(Generative Adversarial Networks)のようなデータ補強技術を使用することである。ただし、これらは2Dから3Dに一般化することが困難でありうる。
従って、本明細書の実施形態の目的は、例えば血管構造のような管状構造をセグメント化する際に使用される改善されたセグメンテーション技法を提供することである。
従って、第1の態様によれば、画像内の管状フィーチャをセグメント化する方法がある。本方法は、訓練済みモデルを用いて画像の重複部分(overlapping portions)のシーケンスをセグメント化するステップであって、重複部分が管状フィーチャの長さに沿って位置特定されるステップと、画像の重複部分のシーケンスのセグメンテーションを組み合わせて管状フィーチャのセグメンテーションを決定するステップと、を有する。
このようにセグメンテーションをより小さな部分のシーケンスに分割することにより、訓練済みモデルに関するセグメンテーションタスクが簡素化される。各部分におけるコンテキスト情報又は背景(background)情報の量は、画像全体におけるものよりも少ない(潜在的に、著しく少ない)。言い換えると、管状フィーチャは、画像全体に対してよりも、各部分における背景に対してより顕著でありえ、従って、これによりセグメント化するのがより容易であり得る。モデルは、より小さなデータセットに基づいて、より迅速かつ容易に訓練されることができる。結果的に得られる訓練済みモデルは、(タスクの前述の簡素化のために)より信頼性が高くなることができる。更に、この方法は、いくつかの従来技術の方法よりも容易に3次元に一般化されることができる。
いくつかの実施態様において、画像の重複部分のシーケンスをセグメント化するステップは、画像の第1の部分をセグメント化するステップであって、画像の第1の部分は、管状フィーチャの第1の部分を含む、ステップと、画像の第1の部分のセグメンテーションに基づいて、管状フィーチャに含まれる第1の点を決定するステップと、第1の点において管状フィーチャの長さに平行に横たわる第1のベクトルを決定するステップと、第1の点及び第1のベクトルに基づいて、画像の重複部分のシーケンスにおける第2の部分を決定することとを含み得る。
いくつかの実施態様において、画像の第2の部分は、管状フィーチャが第1のベクトルに基づいて画像の第2の部分内で回転されるように決定されることができる。
いくつかの実施態様において、管状フィーチャは、第1のベクトルが画像の第2の部分において予め決められた向きに存在するように回転されることができる。
このようにして、血管が画像部分においてほぼ同じ方向を有するので、訓練済みモデルに関するタスクは、更に簡素化されることができる。更に、このようなアライメントは、訓練データを予め決められた向きに回転させることにより、3Dにおけるデータの補強を可能にする。2Dでは、補強は、予め決められた向きを使用して画像部分をミラーリングすることによって達成されることができる。
第2の態様によれば、画像内の管状フィーチャをセグメント化するシステムがある。システムは、命令セットを表す命令データを有するメモリと、メモリと通信し、命令セットを実行するように構成されるプロセッサとを有する。命令セットは、プロセッサによって実行される場合、プロセッサに、訓練済みモデルを使用して、画像の重複部分のシーケンスをセグメント化するステップであって、重複部分が管状フィーチャの長さに沿って位置付けされる、ステップと、画像の重複部分のシーケンスのセグメンテーションを組み合わせて、管状フィーチャのセグメンテーションを決定するステップと、を実行させる。
第3の態様によれば、コンピュータ可読媒体を含むコンピュータプログラム製品があり、前記コンピュータ可読媒体は、その中に具体化されたコンピュータ可読コードを有し、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行される場合、コンピュータ又はプロセッサが第1の態様の方法を実行するように構成される。
より良い理解のために、また、本明細書中の実施形態がどのように実施され得るかをより明確に示すために、ここでは、単なる例として、以下の添付図面を参照する。
前述したように、医用画像セグメンテーションのような画像セグメンテーションにおいてニューラルネットワークなどの訓練済みモデルを用いることには、様々な利点がある。しかしながら、画像の背景領域又はボリュームに対する管状構造の低い面積又はボリュームのため、血管などの管状構造をセグメント化する場合には一般に非常に大きな訓練データセットが必要とされる。これは、特に3D画像では、このタスクのためにモデルを訓練することを困難にする。
本明細書の実施形態は、医用画像内の血管などの管状構造をより良好にセグメント化するために、以前のセグメンテーション方法を改善することを目的とする。
図1は、本明細書のいくつかの実施形態によるコンピュータ実現される方法100を示す。簡単に説明すると、第1のブロック102において、方法100は、訓練済みモデルを使用して、画像の重複部分のシーケンスをセグメント化するステップを含み、複数の重複部分が、管状フィーチャの長さに沿って位置決定される。第2のブロック104において、方法100は、画像の重複部分のシーケンスのセグメンテーションを組み合わせて、管状フィーチャのセグメンテーションを決定することを含む。
このようにして、長い及び/又は細い管状フィーチャのセグメンテーションは、画像のより小さい部分のより小さいセグメンテーションのシーケンスに分解されることができる。これは、各画像部分における管状フィーチャと背景の比が増加するほど訓練済みモデルのタスクを簡素化し、従って、各画像部分におけるコンテキスト情報の量を減少させる。以下により詳細に説明されるように、画像全体と比較して、画像の部分内の管状フィーチャをセグメント化するようモデルを訓練するために必要とされる訓練データセットは、より小さくて済む。従って、結果的に得られるモデルは、より信頼性が高く、訓練するのがより容易でありうる。
より詳細には、一般に、画像は、任意の撮像モダリティを使用して取得される任意のタイプの画像を含むことができる。例えば、幾つかの実施例では、画像は医用画像を含むことができる。医用画像の例としては、CアームCT画像、スペクトルCT画像又は位相コントラストCT画像などのCT画像、X線画像(例えば、X線スキャンから)、磁気共鳴画像(例えば、MRスキャンから)、超音波画像(例えば、超音波スキャンから)、透視画像、核医学画像、又は任意の他の医用画像が挙げられるが、これらに限定されない。
画像が医用画像を含むいくつかの実施形態において、管状フィーチャは、例えば、血管又は動脈のような血管構造の一部を含むことができる。他の例では、管状フィーチャは、肺内の気管支構造を含むことができる。
本明細書に記載されている方法は医用画像に関して説明されているが、本明細書に記載されている教示は、任意の他のタイプの画像における任意の他の管状構造のセグメンテーションにも同様に適用することができることは理解されるであろう。方法100が適用され得るセグメンテーションタスクの種々の例は、以下に限定されるものではないが、衛星画像における河川又は支流システムのセグメンテーション、衛星画像における道路ネットワークのセグメンテーション、及び木の画像における枝のセグメンテーションを含むことができる。
従って、一般に、本明細書の教示は、任意の管状フィーチャのセグメンテーションに適用されることができることが理解される。本明細書中のいくつかの実施態様において、管状は、「管体のような」の意味で使用されることができ、例えば、細長い又は実質的に筒形のフィーチャである。管状フィーチャは、例えば、前述の血管及び/又は気管支構造のような中空管を含むことができる。しかしながら、管状のフィーチャは必ずしも中空ではない(例えば、衛星画像における支流システム)。一般に、管状フィーチャは、湾曲、曲げ、又は他の方法で変形されることができる。更に、管状フィーチャは、その長さに沿って幅が狭くなり得、例えば、血管系内の血管は、主静脈及び動脈から離れるほど狭くなる。本明細書の実施形態は、血管及び/又は気管支構造で観察されるような枝別れした管状フィーチャ(例えば、管状フィーチャが2又はそれより多くのサブ分岐に分割される場合)にも適用される。更に、2次元画像では、管状フィーチャは、線、例えば、曲線を含みうることが理解されよう。
本明細書に記載される実施態様のいずれにおいても、画像は、2次元画像、3次元画像、又は任意の他の次元画像であり得る。画像は、複数の(又はセットの)画素を含むことができる。画像が2次元画像である実施形態において、画素はピクセルである。画像が3次元画像である実施形態において、画素はボクセルである。
方法100に戻ると、ブロック102では、訓練済みモデルを使用して、画像の重複部分を次々に、順番にセグメント化することができる。訓練済みモデルは、訓練済みFネット又は訓練済みUネットのような訓練済みニューラルネットワークを含み得る。当業者はニューラルネットワークに精通しているであろうが、簡単に言えば、ニューラルネットワークは教師つき機械学習モデルの一種であり、与えられた入力データに対して所望の出力を予測するように訓練されることができる。ニューラルネットワークは、例示的な入力データと、所望の対応する「正しい」又はグランドトゥルースの結果とを含む訓練データを提供することによって訓練される。ニューラルネットワークは、ニューロンの複数の層を含み、各ニューロンは、入力データに適用される数学的演算を表す。ニューラルネットワークの各層の出力は、次の層に供給され、出力が生成される。訓練データの各部分について、ニューロンに関連する重み付けは、対応するグランドトゥルースを反映する訓練例のための予測を生成する最適重み付けが見出されるまで調整される。
訓練済みモデルがニューラルネットワークを含む実施形態において、ニューラルネットワークは、ピクセル/ボクセルを血管及び背景に分類するのに適したUネット又はFネットのような畳み込みニューラルネットワークを含みうる。ネットワークは、血管方向及び/又は血管直径を推定するために、追加の出力チャネルで補完されることができる。ネットワーク構造は、サブ画像を構築するために使用される方向情報を反映することができ、例えば、一方向で畳み込み可能であり、直交方向で完全に接続されうる。更に、ネットワーク構造をリカレントネットワーク構造と組み合わせて、血管コースに沿った後続のセグメンテーションを説明することができる。
訓練済みモデルがニューラルネットワークを含む実施形態において、モデルは、画像の数j=1,...,M及び対応するグランドトゥルースのセグメント化された管状フィーチャ(例えば、管状フィーチャである又は管状フィーチャではない、のいずれかとしてラベル付けされるバイナリ)を使用して訓練されることができる。セグメンテーションは、各訓練画像ごとに、点xj,iの各々における管状フィーチャの点xj,i及び対応する方向dj,iの数Njを生成するために使用される。点及び方向は、ニューラルネットワークの訓練に使用できるサブ画像又は画像の部分を生成するために使用されることができる。これは、図4に関して以下により詳細に説明される。
更に、訓練中にデータ増強を適用してもよい。例えば、わずかにシフトしたサブ画像、それらの中心の周りにわずかに回転したサブ画像、又はサブ画像に対応する方向を用いてそれらの中心の周りに大きな角度だけ回転したサブボリュームが、データ補強のために使用されることができる。
本明細書の例では、ニューラルネットワークが説明されているが、この原理は、入力として画像を取得し、その画像のセグメンテーションを出力として予測するように訓練され得る任意の機械学習モデルにも、同様に適用され得ることが理解されよう。本明細書の実施形態で使用され得る他の訓練済みモデルには、訓練済みランダムフォレストモデルが含まれるが、これに限定されない。モデルがどのように訓練され得るかについての更なる詳細は、以下で議論される。
一般に、訓練済みモデルは、入力として画像(本明細書に記載されるように、より大きな画像の一部であり得る)を取り込み、画像のセグメンテーションを出力として生成する。セグメンテーションは、入力画像内の管状フィーチャの可能性のあるロケーションの標示を提供することができる。
いくつかの実施形態において、訓練済みモデルは、入力として画像(本明細書に記載されるように、より大きな画像の一部であり得る)を取得し、入力画像内の各画素が管状フィーチャの一部を含む尤度を記述する確率値を含む確率マップを出力として生成する。
代替例として、一部の実施形態において、訓練済みモデルは、入力として画像(本明細書に記載されるように、より大きな画像の一部であってもよい)を取得し、管状フィーチャの一部として又は管状フィーチャの一部ではないものとして(例えば、血管又は非血管)、各画素を分類するマップを出力として生成することができる。
セグメンテーションに加えて、訓練済みモデルは、画像内の管状フィーチャの他の特性の他の出力推定を提供することができ、例えば、訓練済みモデルは、画素(例えば、ピクセル/ボクセル)ごとに、当該画素における管状フィーチャの長さに平行なベクトル(例えば、各点における血管の方向又は中心線を記述する方向ベクトル)を出力するように訓練されることができる。例えば各画素における管状フィーチャの直径又は曲率のような、他のフィーチャもまた予測されることができる。
いくつかの実施形態において、訓練済みモデル102を使用して画像の重複部分のシーケンスをセグメント化することは、ニューラルネットワークなどの訓練済みモデルを使用して管状フィーチャ(血管など)をセグメント化する再帰的アプローチを含み得る。例えば、血管を用いる場合、再帰的アプローチは、血管の中心線上又はその近くの点xiとおおよその中心線方向diを使用することができる。中心線方向は、第1の点において管状フィーチャの長さに平行に又はそれに沿って存在する方向を含む。この情報は、点xiに対して血管方向に(例えば血管に沿って)シフトされた中心を有する、リフォーマットされた部分又はサブ画像を生成するために使用される。その後、訓練済みモデル(例えば、ニューラルネットワーク又は他の学習されたフィルタ)は、ボリューム内の血管をセグメント化するために適用される。画像のリフォーマットされた部分のセグメンテーションから、新しい点が選択され、新しい点のところで新しい中心線方向が決定される。このプロセスが繰り返されることで、画像の重複部分のセグメント化されたシーケンスが生成される。
これは、重複部分のシーケンスにおける2つの重複部分204及び206が、血管202の画像200内でどのように決定又は位置決定され得るかを示す図2に示されている。この例では、血管セグメンテーションは、血管の中心線に近い点xiと、点xiにおける近似中心線方向di(||di||=1)とを入力として得る。上述のように、中心線方向は、第1の点において管状フィーチャの長さに平行に(例えば、沿って)存在する方向を含む。
この入力により、画素を中心とした画像200(例えばサブ画像)の部分204が生成される。容器に沿った部分間の「シフト」の距離を決定する。この部分(又はサブボリューム)は、寸法及び解像度が固定されている場合がある。次に、部分204に訓練済みモデルを適用して、部分204をセグメント化する。
この実施形態において、訓練済みモデルは、部分204内の各画素が血管を含む相対的尤度(例えば、「血管らしさ(vesselness)」の値)を記述する確率(probability)マップを出力する訓練済みニューラルネットワークを含む。また、ニューラルネットワークは、上述のような中心線ベクトルを記述する、各画素に関するベクトルを計算することもできる。その後、確率マップは(可能性として追加の方向情報とともに)2D画像の座標系に再変換される。
確率マップから、血管に対応する可能性が高い新しい点xi+1と、対応する中心線方向di+1が点xi+1において決定される。点xi+1は、例えば、血管を含む可能性が最も高い部分204のセグメンテーションにおいて画素として選択されることができる。この処理が繰り返されて、点xi+1とベクトルdi+1から次の部分である部分206が得られる。このようにして、各繰り返しにおいて、血管の新しい部分がセグメント化され、画像200全体をセグメント化する必要はない
以上の説明をより一般的に言うと、いくつかの実施形態において、ステップ102は、次のブロックを繰り返し実行することを含み得る。すなわち、i)画像の第1の部分(例えば、部分204)をセグメント化するステップであって、かかる画像の第1の部分が管状フィーチャの第1の部分を含む、ステップ、ii)画像の第1の部分のセグメンテーションに基づいて管状フィーチャに含まれる第1の点(例えば、xi+1)を決定するステップ、iii)管状フィーチャの長さに平行に存在する第1のベクトル(例えば、di+1)を第1の点において決定するステップ、及びiv)第1の点(例えば、xi+1)及び第1のベクトル(例えば、di+1)に基づいて、画像の重複部分のシーケンスにおける第2の部分(例えば、部分206)を決定するステップ。
いくつかの実施形態において、ブロックi)において、第1の部分204は、入力パラメータとして提供されることができ、例えば、第1の部分は、例えば、ユーザによって手動で決定されることができる。ユーザは、本方法への入力として、第1の部分のロケーションを提供することができる。
他の実施形態において、本方法への入力パラメータは、第1の開始点xiと、最初の部分204のロケーションが上述の式に従って決定され得る第1の開始方向diとを含むことができる。第1の開始点xi及び第1の開始方向diは、ユーザによって(例えば、手動で)入力されてもよく、あるいは、例えば、画像200の最初の(例えば、粗い)セグメンテーションからの自動化された処理において決定されてもよい。
ここでブロックiiに移り、第1の点(例えばxi+1)は、第1の部分のセグメンテーションから決定される。例えば、第1の部分のセグメンテーションが確率マップを生成する実施態様において(例えば、画像の第1の部分内の各画素について、画素が管状フィーチャ内に含まれる確率を示す確率値が決定される実施態様について)、画像の第1の部分のセグメンテーションに基づいて管状フィーチャ内に含まれる第1の点を決定するブロックは、所定の閾値を上回る確率値を有する画像の第1の部分のセグメンテーション内の画素に基づいて第1の点を決定することを含むことができる。所定の閾値は、画素が血管を含む高い尤度に対応する閾値(確率)を含むことができる。言い換えると、第1の点は、第1の部分のセグメンテーションにおいて管状フィーチャの部分を形成する可能性が最も高いと示される画素から選択されることができる。
所定の閾値は、一定の値として設定されてもよく、又は画像の異なる部分における管状フィーチャの特性に基づいて設定/変更されてもよい。例えば、管状フィーチャの大きさが小さいほど、所定の閾値が低くされることで、管状フィーチャの大きさが小さいほど管状フィーチャは画像内でより薄くなり得るという事実を反映させることができる。上述のように、いくつかの実施形態において、訓練済みモデルは、画像の各画素における管状フィーチャの直径の推定値を出力するように訓練されてもよく、所定の閾値の大きさは、各点における管状フィーチャの推定直径に基づいて設定/変更されることができる。
他の実施形態において、第1の点は、画素が血管を含む最も高い確率を有する画素(例えば、画像部分の中の、血管の部分である可能性が最もの高いピクセル又はボクセル)として、画像の第1の部分のセグメンテーションから決定されることができる。
ブロックiiiについて言及すると、第1のベクトル(例えば、図2に示されるdi+1;ここでは中心線方向又は方向ベクトルとも呼ばれる)は、開始点xiにおける管状フィーチャの長さと平行である。言い換えると、第1のベクトルは、管状フィーチャの主軸に沿っており、従って、点xi+1における管状フィーチャに沿った中心線方向を表す。ベクトルdi+1を等しく反転させて、管状フィーチャ202に沿って図2に示すものと反対方向の管状フィーチャの部分のシーケンスを決定することができることが理解される。通常、di+1の方向は(di,di+1)= cosα >= 0(ここでαはdiとdi+1の間の角度)のように選択することができ、このような例では、トラッキング方向は初期化によって定められる(例:第1の点と第1の方向)。
いくつかの実施形態において、ブロックiii)は、例えば、ヘッシアンフィルタを用いて第1の部分のセグメンテーションにおける確率値を分析し、diに最も平行な方向な±dH
i+1を選択することによって、第1のベクトルdi+1を決定することを含むことができる。
他の実施形態において、ブロックiii)は、部分内の各画素について、方向di+1を推定するためにニューラルネットワークを使用することを含むことができる。例えば、いくつかの実施形態において、訓練済みモデルは、画像の部分を入力として取得し、部分のセグメンテーションと、部分内の各画素について、その画素における管状フィーチャに沿って存在する推定方向を示すベクトルとの両方を出力するように訓練されることができる。
ブロックivに移り、第1の点(例えば、xi+1)及び第1のベクトル(例えば、di+1)に基づいて、画像の重複部分のシーケンスにおける第2の部分(例えば、部分206)を決定することは、以下の式に従って、画像の第2の部分の中心を決定することを含むことができる:
yi+2 = xi+1 + adi+1;
上式で、yi+2は、画像の第2の部分の中心の座標であり、xi+1は第1の点の座標であり、aは、血管に沿った部分間の「シフト」の距離を決定し、di+1は、第1のベクトルである。
yi+2 = xi+1 + adi+1;
上式で、yi+2は、画像の第2の部分の中心の座標であり、xi+1は第1の点の座標であり、aは、血管に沿った部分間の「シフト」の距離を決定し、di+1は、第1のベクトルである。
上述のように、aは、距離、例えば、画像の第1部分204及び第2部分206間のシフト又はオフセットを表し、設定又は入力パラメータとして提供されることができる。いくつかの実施形態において、パラメータa、及び部分の所望の幅及び/又は高さは、方法100への入力パラメータとして提供されることができる。
一部の実施形態において、aは定数である。他の実施形態において、aは、例えば、直径又は曲率(その推定値は、上述のように訓練済みモデルによって実行される分割の追加の出力として得られ得る)のような管状フィーチャの特性の依存性において、変化されることができる。
画像の部分のサイズ(各次元におけるピクセル/ボクセルの数)及び解像度(ピクセル/ボクセルの幾何学的サイズ)は、一定の入力パラメータとして設定されることができる。代替として、それらは、変更されることもできる。例えば、血管のような管状構造を血流の方向に追跡する場合、血管の直径は一般に小さくなる。そのように、画像の部分のサイズ(各寸法におけるピクセル/ボクセルの数)及び解像度(ピクセル/ボクセルの幾何学的サイズ)は、例えば、直径又は曲率(その推定値は、上述のように訓練済みモデルの出力として得られ得る)に応じて変化されることができる。
一例として、一実施形態において、管状フィーチャが狭くにつれて、解像度を増加させる(すなわち、ピクセル/ボクセルの幾何学的サイズを小さくする)一方で、画像の部分のサイズ(各次元におけるピクセル/ボクセルの数)は管状フィーチャに沿って維持されることができる。これは、全体を通して高解像度を選択する場合と比較して、より計算効率の良い方法を提供する。
ここで他の実施形態に移ると、いくつかの実施形態において、第2の部分206は、管状フィーチャが第1のベクトルdi+1に基づいて画像の第2の部分内で回転されるようにして決定されることができる。例えば、管状フィーチャは、原画像に対して、各部分において回転されることができる。
いくつかの実施形態において、第1のベクトル(例えば、di+1)は、(リフォーマットされた)第2の画像部分206の座標軸を定義することができる。例えば、第2の部分206は、第1のベクトルdが第2の部分206のエッジと平行になるように、回転され又は画像200から選択されることができる。このように画像部分を回転又は選択することによって、管状フィーチャが各画像部分においてほぼ同じ向きに存在するように、各画像部分における管状フィーチャの向きが変更される。例えば、第1のベクトルdi+1が第2の部分のx軸に平行になるように第2の部分が選択される場合、管状フィーチャは、第2の画像部分のエッジにほぼ平行になる。これは、管状フィーチャの向き及び外観が各画像部分においてより正規化されるので、訓練済みモデルに対する問題の複雑さを更に低減する技術的効果を有する。従って、モデルは、より少ない訓練データに基づいて、より高い精度で訓練されることができる。
当然のことながら、画像内の管状フィーチャの特定の向きは重要ではなく、むしろ、管状フィーチャが各画像部分においてほぼ同じ向き(その向きが画像部分を横切って水平、斜め、又は垂直である)になるように画像の部分が選択又は回転される場合には、上記の利点が得られ得る。従って、いくつかの実施態様において、管状フィーチャは、第1のベクトルが画像の第2の部分において予め決められた向きに存在するように回転される。
より一般的には、いくつかの実施形態において、管状フィーチャは、管状フィーチャが画像の第2の部分において予め決められた向きに存在するように回転される。例えば、重複部分のシーケンスにおける部分は、その中の管状フィーチャが特定の方向に(実質的に)存在するように、選択又は回転されることができる。
いくつかの実施態様において、管状フィーチャは、管状フィーチャが、例えば、画像の各部分において特定の方向又は方向から+/-45度の範囲内に存在するように回転されることができる。
更に、本明細書で検討される多くの管状フィーチャ(例えば、血管又は気管支構造)の曲率した性質のために、管状フィーチャは、画像のそれぞれの部分のエッジに対して特定の方向に完全にアラインされなくてもよいことが理解される(例えば、図2では、方向ベクトルdi+1が画像部分206のエッジにアラインされているが、管状フィーチャは、点xi+1からdi+1方向の管状フィーチャの曲率により、前記エッジに対してある角度で存在する)。しかしながら、このようにして部分を回転/選択することは、管状フィーチャがランダムに方向付けられる場合と比較して、画像部分における管状フィーチャの向きの自由度の数を依然として低減させ、従って、これは、訓練済みモデルに対する問題の複雑さを低減させ、その精度を増加させ、必要とされる訓練データの量を減少させる。これは、3次元において特に当てはまり、上述した回転は、管状フィーチャが、各画像部分における類似の位置において、各3次元部分のボリュームに入ることを確実にし得る。
画像の部分が回転される実施形態において、訓練済みモデルは、a)各例示の画像が予め決められた向きに基づいて回転される管状フィーチャの部分を含む例示の画像と、b)各例示の画像について対応するグランドトゥルースのセグメンテーションと、を含む訓練データに対して、訓練されることができる。言い換えると、訓練データ内に含まれる画像部分は、訓練データ内の管状フィーチャが特定の方向に(実質的に)存在するように回転されることができる。上述のように、管状フィーチャの位置及び向きの変動が少ない場合に管状構造の少なくとも一部が共通の向きに存在するように画像部分が回転される実施形態においては、必要とされる訓練データがより少なくなる。
次に、他の実施形態に移り、ブロックi)-iv)は、管状フィーチャの長さに沿って反復的に繰り返されることができることが理解される。例えば、幾つかの実施形態に於いて、本方法は、画像の第2の部分のセグメンテーションに基づき、管状フィーチャに含まれる第2の点を決定するステップと、第2の点において管状フィーチャの長さに平行に存在する第2のベクトルを決定するステップと、第2の点及び第2のベクトルに基づき、画像の重複部分のシーケンスにおいて第3の部分を決定するステップとを含むことができる。
方法100のブロック102は、例えば、部分のセグメンテーションがその部分に管状フィーチャが存在しないことを示す場合のように、管状フィーチャが終端に到達したときに終了することができる。例えば、本方法は、重複部分のシーケンス内の部分のセグメンテーションが、全ての確率値が(前述の)所定の閾値を下回る当該確率値を含む場合(例えば、確率値が、特定の画像部分内の管状フィーチャ上の次の点を選択するための閾値を下回る場合)、画像の更なる部分をセグメント化することを停止することを含むことができる。
所定の閾値は、一定の値として設定されてもよく、又は画像の異なる部分における管状フィーチャの特性に基づいて設定/変更されてもよい。例えば、管状フィーチャの大きさが小さくなるほど、所定の閾値が低下されることで、管状フィーチャの大きさが小さくなるほど画像内で管状フィーチャがより薄くなり得るという事実を反映させることができる。上述のように、いくつかの実施形態において、訓練済みモデルは、画像の各画素における管状フィーチャの直径の推定値を出力するように訓練されてもよく、所定の閾値の大きさは、各点における管状フィーチャの推定直径に基づいて設定/変更されることができる。
また、上述のように、管状フィーチャは、管状フィーチャが2以上の分岐又は別個の管状フィーチャに分割されるように分岐していることがある。管状フィーチャ内の既知の点から所定の距離のところに位置し、かつ閾値確率を超える、セグメンテーション内の確率値を有する複数の点を識別することは、分岐のそれぞれ異なる枝を示すことができる。
従って、より一般的には、いくつかの実施態様において、本方法は、画像の第1の部分のセグメンテーション内の第3の点を決定するステップであって、第3の点は、所定の閾値を上回る確率値を有し、第1の点から所定の距離以上離れて存在するステップと、管状フィーチャにおいて、第1の点及び第3の点のロケーションに基づいて、分岐を決定するステップとを含むことができる。
従って、所定の距離は、所定の閾値を上回る2つの点の間の最小の隔たりであり(それらは両方とも管状フィーチャの一部を形成する可能性が高いことを示す)、かかる点は、別個の分岐内にあるとラベル付けされる必要があり、また、方法は、重複画像の第2のシーケンスを処理する必要がある。
また、所定の距離は、画像の異なる部分における管状フィーチャの特性に基づいて設定及び/又は変更されることができる。例えば、管状フィーチャのサイズが小さくなるほど、所定の距離が低減されることができる。訓練済みモデルが画像の各画素で管状フィーチャの直径の推定値を出力する実施形態において、所定の距離の大きさは、各点での管状フィーチャの推定直径に基づいて設定/変更されることができる。
2つの(又はそれより多くの)画素がこのやり方で決定される場合、本方法は、2つの分岐に沿って進むことを含むことができる(例えば、画像の重複部分の第2の又はそれに続くシーケンスは、並行して処理されることができる)。
ここで図1に戻って説明すると、ブロック104において、本方法は、画像の重複部分のシーケンスのセグメンテーションを組み合わせて、管状フィーチャのセグメンテーションを決定することを含む。画像の重複部分のシーケンスのセグメンテーションは、例えば平均されることができ、他の場合には、スーパーインポーズされて、完全な管状フィーチャの合成されたセグメンテーションを生成することができる。
いくつかの実施形態に於いて、ブロック104は、重複しているセグメンテーションの領域内の、画像の重複部分のシーケンスのセグメンテーション内の画素値を平均することを含み得る。例えば、訓練済みモデルによって生成されたセグメントが確率マップを含む実施態様において、2又はそれより多くの確率が特定の画素について決定される場合(例えば、画素が2つの画像部分の間の重複領域に含まれている場合)、確率は平均化されることができる(例えば、平均、モード、又は中央値)。いくつかの実施形態において、閾値多数決処理を使用して、特定の画素の確率が決定されることができる。
重複領域におけるセグメンテーションを組み合わせることは、例えば、画素が血管を含む確率の2又はそれより多くの推定を平均化することによって実施されることができ、こうして、画素が血管を含む確率の改善された推定及びゆえに改善されたセグメンテーションを提供する技術的効果を有する。関心のある管状フィーチャを含むように決定された/知られているより大きな画像の領域のみが分割されるので、セグメンテーションプロセスは、全体的により効率的である。
いくつかの実施形態において、ブロック104において、セグメンテーションのシーケンスが組み合わされる場合に、重み付けマスクが適用されることができる。重み付けマスクは、画像部分の中心により近い画素が、画像部分の中心から更に離れた画素と比較して、より高い重みを得るように適用されることができる。
ここで他の実施形態を参照すると、特定の実施形態において、管状フィーチャは、心臓コンピュータトモグラフィ血管造影(cardiac computed tomography angiography、CCTA)画像300内の血管を含む。この実施形態において、モデルは、図3に示すようなニューラルネットワークを有する。図3の例では、採用されるアーキテクチャはFネットである。Fネット1は、ローカル画像とグローバル画像のフィーチャを組み合わせるために異なる解像度を見ることができるため、Uネット2と似ている。Fネットにおけるフィーチャ抽出経路は、3つのCBRブロック302(畳み込み、バッチ正規化、ReLu)を含む。Fネットにおけるフィーチャ統合経路は、CBRUブロック304(畳み込み、バッチ正規化、ReLu、アップサンプリング)から構成される(最高解像度レベルを除く)。この実施形態において、使用される解像度レベルの数(CBRブロックを含む行によって示されるように)は4である。ニューラルネットワークは、画像300のセグメンテーション306を出力する。
ニューラルネットワークは、39の心臓コンピュータトモグラフィ血管造影(CCTA)画像を含む訓練データセットを用いて、CCTA画像中の血管をセグメント化するように訓練される。これらの画像の30は、ニューラルネットワークを訓練するために使用され、例えば上述のような部分を表す、管状フィーチャの長さに沿って位置決定された回転部分のシーケンスに分割される。画像のうち9つが、訓練済みニューラルネットワークの精度をテストするためのテスト/バリデーション画像として使用される。データ補強(模倣されたテストデータを生成するための自動化された方法など)を使用すると、訓練サンプルの数(訓練画像部分など)を最大26,500サンプリングまで増やすことができる。
訓練戦略の一例を図4のフローチャートに示す。ブロック402及び404では、(方法100のブロック102に関して上で概説したように第1の部分が決定されたやり方と同様の方法で)ブロック406内のサンプル部分を決定するために、部分の中心及び中心線方向を使用することができる。サンプル部分は、ブロック408内の部分において方向ベクトルが特定の方向にあるように、リフォーマットされるか、又は回転/選択される。これにより、訓練画像の座標系(x,y,z)を基準とした、当該部分の新しい座標系(u,v,w)が定められる。補強された部分は、ブロック410においてモデルを訓練するために使用される。モデルは、ブロック412において、座標系(u,v,w)で出力確率マップを生成し、モデルによって生成された確率マップを、画像部分についてのグランドトゥルース確率マップと比較することによって、(勾配降下プロセスに従って)勾配414を更新するために使用される。モデルパラメータはブロック416で更新される。一般に、全ての(又は、画像部分のサブセットの)出力は蓄積されることができ、勾配更新は蓄積された値に基づくことができる。
訓練済みモデルは、図5に示されるように使用され、ブロック502において、部分のロケーションを記述する座標(例えば、図2に示されるyi+1)が、ブロック504において、方向(例えば、図2に示されるdi)が、入力として提供され、当該方向から、画像の第1の部分がブロック506において決定される。画像の第1の部分は、座標系(u,v,w)を有し、前述のように、軸の1つがベクトルdiにアラインされる。第1の部分は、ブロック508内の訓練済みモデルへの入力として提供される。訓練済みモデルは、上の図4に関して説明したように訓練されたものである。訓練済みモデルは、第1の部分をセグメント化し、ブロック510において確率マップを出力する。出力確率マップは、第1の部分と同じ座標系(u,v,w)にある。確率マップは、ブロック512において、(主要な又は完全な)画像(x,y,z)の座標系に変換(例えば、回転及び/又はシフト)される。
第1の部分のセグメンテーションから、管状フィーチャに含まれる第1の点が、画像の第1の部分のセグメンテーションに基づいて決定される。また、ブロック514において、第1の点における管状フィーチャの長さに平行に存在する第1のベクトルが決定される。これは、図1のブロック102に関して上述したように行われる。
第1の点及び第1のベクトルは、ブロック516内の画像の部分のシーケンスの次の部分の中心座標を決定するために使用される(例えば、方法100のブロック102に関して上述したように、式yi+2 = xi+1 + adi+1を使用する)。次いで、次の部分の中心座標514及び決定されたベクトル516を使用して、ブロック506内のシーケンス内の次の部分のロケーションを抽出又は決定する。
第1の点及び第1のベクトルは、ブロック516内の画像の部分のシーケンスの次の部分の中心座標を決定するために使用される(例えば、方法100のブロック102に関して上述したように、式yi+2 = xi+1 + adi+1を使用する)。次いで、次の部分の中心座標514及び決定されたベクトル516を使用して、ブロック506内のシーケンス内の次の部分のロケーションを抽出又は決定する。
ブロック506、508、510、512、514、516は、このように繰り返されて、血管の長さに沿って位置決定された重複部分のシーケンスのセグメンテーションを生成する。部分のセグメンテーションは、(例えば、ブロック506、508、510、512、514、516の以前のループの以前のセグメント520と)マージ又は組み合わされて、方法100のブロック104に関して上述したように、全体の血管522の最終のセグメンテーションを形成する。
図6aは、図3-図5に関して上述したプロセスを用いた、分岐血管602の画像の出力されるセグメンテーション600の例を示す。この例では、開始点xiとdiは、グランドトゥルースデータ(例えば、ユーザ入力開始位置と方向ベクトル)から生成された。図6bは、セグメンテーションの従来技術の方法を用いた同じ血管のセグメンテーション604を示す。この例では、2つのアプローチのダイスコアはそれぞれ0.81と0.7である。
次に、他の実施形態に移り、図7に示されるように、いくつかの実施形態において、画像内の管状フィーチャをセグメント化するシステム700がある。システムは、特化した医療機器のような特化した機器の一部を形成することができ、代替的に、システムは、コンピュータシステム(例えば、ラップトップ、デスクトップ・コンピュータ、他の装置又はコンピューティングクラウドのようである)の一部を形成することもできる。システムは、命令セットを表す命令データを有するメモリ704と、メモリと通信し、命令セットを実行するように構成されたプロセッサ702とを有する。概して、命令セットは、プロセッサによって実行される場合、プロセッサに、上述した方法100、400又は500の実施形態のいずれかを実行させることができる。
より具体的には、命令セットは、プロセッサによって実行される場合、プロセッサに、訓練済みモデルを使用して、画像の重複部分のシーケンスをセグメント化するステップであって、前記重複部分が、管状フィーチャの長さに沿って位置決定される、ステップと、画像の重複部分のシーケンスのセグメンテーションを組み合わせて、管状フィーチャのセグメンテーションを決定するステップと、を実行させる。
画像の重複部分のシーケンスをセグメント化することがブロック102に関して上で詳細に説明されたが、その中の方法100及びその詳細は、プロセッサ702の構成にも等しく適用されることが理解される。画像の重複部分のシーケンスのセグメンテーションを組み合わせることが、方法100のブロック104に関して上で説明されたが、その詳細は、プロセッサ702の構成に等しく適用されることが理解される。
プロセッサ702は、本明細書に記載する方法でシステム700を制御するように構成又はプログラムされる、1又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ又はモジュールを有することができる。特定の実現例において、プロセッサ702は、本明細書に記載する方法の個々のステップ又は複数のステップを実行し又は実行するように各々が構成された複数のソフトウェアモジュール及び/又はハードウェアモジュールを有することができる。
メモリ704は、本明細書に記載する方法を実行するためにプロセッサ102によって実行可能なプログラムコードを記憶するように構成される。代替的に、又は付加的に、1つ又は複数のメモリ704は、システム700の外部にあってもよい(すなわち、そこから隔てられてもよいし、遠隔にあってもよい)。例えば、1つ又は複数のメモリ704は、別の装置の一部でありうる。メモリ704は、装置700のプロセッサ702によって取得されるか、又は生成される画像、情報、データ、信号、及び測定値を記憶するために、又はシステム700の外部にある任意のインタフェース、メモリ又は装置から使用されることができる。プロセッサ702は、メモリ704を制御して、画像、情報、データ、信号及び測定値を記憶するように構成されることができる。
当然のことながら、システム700は、例えば、画像を表示するためのスクリーン又はディスプレイなどの1つ又は複数のユーザインターフェース、及び/又は管状フィーチャのセグメンテーションなどの他のコンポーネントを含むことができる。システムは、例えば、本明細書に記載する方法で使用される初期入力パラメータを提供するために、ユーザがシステムと対話することを可能にするキーボード、マウス又は他の入力デバイスのようなユーザ入力を更に有することができる。
当然のことながら、図7は、開示のこの態様を示すために必要なコンポーネントのみを示しており、実際の実現例において、システム700は、示されたコンポーネントへの追加コンポーネントを含むことができる。例えば、システム700は、システム700に給電するためのバッテリ又は他の電源、又はシステム700を主電源に接続するための手段を有することができる。
別の実施形態において、コンピュータ可読媒体を含むコンピュータプログラム製品が提供され、前記コンピュータ可読媒体は、その中に具体化されたコンピュータ可読コードを有し、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる実行の際、コンピュータ又はプロセッサが本明細書に記載する方法又は方法を実行するように構成される。従って、本開示は、実施形態を実現するように構成されたコンピュータプログラム、特に担体上又は担体内のコンピュータプログラムにも適用されることが理解される。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び、例えば、部分的にコンパイルされた形式でのオブジェクトコードの形成であってもよく、又は、本明細書に記載される実施形態による方法の実施において使用されるに適した任意の他の形式であってもよい。
このようなプログラムは更に、多くの異なる建築設計を有することが理解される。例えば、方法又はシステムの機能を実現するプログラムコードは、1つ又は複数のサブルーチンに細分割されることができる。これらのサブルーチン間で機能を分配する多くの異なる方法は、当業者には明らかである。サブルーチンは、1つの実行可能ファイルに一緒に記憶されて、自己完結型プログラムを形成することができる。このような実行可能ファイルは、コンピュータ実行可能命令、例えば、プロセッサ命令及び/又はインタプリタ命令(例えば、Javaインタプリタ命令)を含むことができる。代替として、1つ又は複数又はすべてのサブルーチンは、少なくとも1つの外部ライブラリファイルに記憶され、実行時などに静的又は動的にメインプログラムとリンクされることができる。メインプログラムには、少なくとも1つのサブルーチンに対する呼び出しが少なくとも1つ含まれている。サブルーチンは更に、互いに関数呼び出しを含むことができる。
コンピュータプログラムの担体は、プログラムを担持することができる任意の実体物又は装置でありうる。例えば、担体は、ROMのようなデータ記憶装置、例えば、CD-ROM又は半導体ROM、又は磁気記録媒体、例えばハードディスクを含むことができる。更に、担体は、電気信号又は光信号のような伝送可能な担体であってもよく、かかる信号は、電気又は光ケーブルを介して、又は無線又は他の手段によって伝送されることができる。プログラムが上記のような信号で具体化される場合、担体は、このようなケーブル又は他のデバイス又は手段によって構成されることができる。代替として、担体は、プログラムが埋め込まれている集積回路であってもよく、この集積回路は、関連する方法を実行するように適応され、又は、その実行において使用されることができる。
開示された実施形態に対する変更は、図面、開示及び特許請求範囲の検討から、当業者によって理解され、実施されることができる。請求項において、用語「有する、含む(comprising)」は、他の構成要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は、複数性を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムは他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶/配布することができるが、インターネット又は他の有線もしくは無線電気通信システムなどを介して、他の形態で配布されることもできる。請求項におけるいかなる参照符号も、その範囲を制限するものとして解釈されるべきではない。
Claims (14)
- 画像内の管状フィーチャをセグメント化する方法であって、
訓練済みモデルを使用して、前記画像の重複部分のシーケンスをセグメント化するステップであって、前記重複部分は、前記管状フィーチャの長さに沿って位置決定される、ステップと、
前記画像の重複部分のシーケンスのセグメンテーションを組み合わせて前記管状フィーチャのセグメンテーションを決定するステップと、を有し、前記画像の前記重複部分のシーケンスをセグメント化する前記ステップが、
前記画像の第1の部分をセグメント化するステップであって、前記画像の前記第1の部分は前記管状フィーチャの第1の部分を含む、ステップと、
前記画像の前記第1の部分のセグメンテーションに基づいて、前記管状フィーチャに含まれる第1の点を決定するステップと、
前記第1の点において管状フィーチャの長さに平行な第1のベクトルを決定するステップと、前記第1の点及び前記第1のベクトルに基づいて前記画像の重複部分のシーケンスにおける第2の部分を決定するステップと、を有する、方法。 - 前記画像の前記第2の部分の中心が、式、
yi+1 = xi + adi
によって決定され、上式で、yi+1は、前記画像の前記第2の部分の前記中心の座標であり、xiは、前記第1の点の座標であり、aは、前記第1の点と前記第2の部分の中心との間のシフトの大きさを表し、diは、第1のベクトルを表す、請求項1に記載の方法。 - 前記画像の前記第2の部分は、前記管状フィーチャが前記第1のベクトルに基づいて前記画像の前記第2の部分内で回転されるように決定される、請求項1又は2に記載の方法。
- 前記管状フィーチャは、前記第1のベクトルが前記画像の前記第2の部分内の予め決められた向きに存在するように回転される、請求項3に記載の方法。
- 前記訓練済みモデルは、i)各例示の画像が前記予め決められた向きに基づいて回転される前記管状フィーチャの部分を含む例示の画像と、ii)各例示の画像の対応するグランドトゥルースセグメンテーションと、を有する訓練データに対して訓練される、請求項4に記載の方法。
- 前記画像の前記第2の部分のセグメンテーションに基づいて前記管状フィーチャ内に含まれる第2の点を決定するステップと、
前記第2の点において前記管状フィーチャの長さに平行な第2のベクトルを決定するステップと、
前記第2の点及び前記第2のベクトルに基づいて、前記画像の重複部分のシーケンスにおける第3の部分を決定するステップと、
を更に有する、請求項1乃至5のいずれか1項に記載の方法。 - 前記画像の重複部分のシーケンスにおいて前記第1部分をセグメント化する前記ステップは、前記画像の前記第1の部分内の各画素について、当該画素が前記管状フィーチャ内に含まれる確率を示す確率値を決定するステップを更に有し、
前記画像の前記第1の部分のセグメンテーションに基づいて前記管状フィーチャに含まれる前記第1の点を決定する前記ステップが、前記画像の前記第1の部分の前記セグメンテーション内の、所定の閾値を超える確率値を有する画素に基づいて、第1の点を決定することを含む、
請求項1乃至6のいずれか1項に記載の方法。 - 前記画像の前記第1の部分の前記セグメンテーション内の第3の点を決定するステップであって、前記第3の点が、前記所定の閾値を上回る確率値を有し、かつ前記第1の点から所定の距離以上離れて存在する、ステップと、
前記第1の点及び前記第3の点のロケーションに基づいて、前記管状フィーチャにおける分岐を決定するステップと、
を更に有する、請求項7に記載の方法。 - 前記重複部分のシーケンスにおける部分のセグメンテーションが、すべての確率値が所定の閾値を下回る当該確率値を含む場合、前記画像の他の部分をセグメント化することを停止するステップを更に有する、請求項7又は8に記載の方法。
- 前記画像の重複部分のシーケンスのセグメンテーションを組み合わせて、前記管状フィーチャのセグメンテーションを決定するステップと、
重複している前記セグメンテーションの領域において、前記画像の前記重複部分のシーケンスのセグメンテーションの中の画素の値を平均するステップと、
を更に有する、請求項1乃至9のいずれか1項に記載の方法。 - 前記画像が医用画像を含み、前記管状フィーチャが血管又は気管支構造のいずれかを含む、請求項1乃至10のいずれか1項に記載の方法。
- 前記訓練済みモデルは、訓練済みニューラルネットワークモデル又は訓練済みランダムフォレストモデルを有する、請求項1乃至11のいずれか1項に記載の方法。
- 画像内の管状フィーチャをセグメント化するシステムであって、
命令セットを表す命令データを有するメモリと、
前記メモリと通信し、命令セットを実行するように構成されたプロセッサと、
を有し、前記命令セットは、前記命令によって実行される場合、前記プロセッサに、
訓練済みモデルを使用して、前記画像の重複部分のシーケンスをセグメント化するステップであって、前記重複部分は、前記管状フィーチャの長さに沿って位置決定される、ステップと、
前記画像の前記重複部分のシーケンスのセグメンテーションを組み合わせて、前記管状フィーチャのセグメンテーションを決定するステップと、
を有し、前記訓練済みモデルを使用して前記画像の前記重複部分のシーケンスをセグメント化する前記ステップは、
前記画像の第1の部分をセグメント化するステップであって、前記画像の前記第1の部分は前記管状フィーチャの第1の部分を含む、ステップと、
前記画像の前記第1の部分のセグメンテーションに基づいて、前記管状フィーチャ内に含まれる第1の点を決定するステップと、
前記第1の点において前記管状フィーチャの長さに平行に存在する第1のベクトルを決定するステップと、
前記第1の点及び前記第1のベクトルに基づいて、前記画像の前記重複部分のシーケンスにおける前記第2の部分を決定するステップと、
を有する、システム。 - 具体化されたコンピュータ可読コードを有するコンピュータ可読媒体であって、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行される場合、前記コンピュータ又はプロセッサに請求項1乃至12のいずれか1項に記載の方法を実行させる、コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19193547.7A EP3786887A1 (en) | 2019-08-26 | 2019-08-26 | Segmenting a tubular feature |
EP19193547.7 | 2019-08-26 | ||
PCT/EP2020/073819 WO2021037892A1 (en) | 2019-08-26 | 2020-08-26 | Segmenting a tubular feature |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022546303A true JP2022546303A (ja) | 2022-11-04 |
JPWO2021037892A5 JPWO2021037892A5 (ja) | 2023-08-25 |
Family
ID=67766058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022511227A Pending JP2022546303A (ja) | 2019-08-26 | 2020-08-26 | 管状フィーチャのセグメント化 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220277457A1 (ja) |
EP (2) | EP3786887A1 (ja) |
JP (1) | JP2022546303A (ja) |
CN (1) | CN114514558A (ja) |
WO (1) | WO2021037892A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222007B (zh) * | 2021-05-08 | 2022-02-22 | 推想医疗科技股份有限公司 | 支气管分级方法、模型训练方法、装置、设备及存储介质 |
-
2019
- 2019-08-26 EP EP19193547.7A patent/EP3786887A1/en not_active Withdrawn
-
2020
- 2020-08-26 EP EP20758246.1A patent/EP4022565A1/en active Pending
- 2020-08-26 CN CN202080069812.5A patent/CN114514558A/zh active Pending
- 2020-08-26 JP JP2022511227A patent/JP2022546303A/ja active Pending
- 2020-08-26 WO PCT/EP2020/073819 patent/WO2021037892A1/en unknown
- 2020-08-26 US US17/637,492 patent/US20220277457A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021037892A1 (en) | 2021-03-04 |
US20220277457A1 (en) | 2022-09-01 |
CN114514558A (zh) | 2022-05-17 |
EP4022565A1 (en) | 2022-07-06 |
EP3786887A1 (en) | 2021-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111557020B (zh) | 基于完全卷积神经网络的心脏cta解剖结构分割系统 | |
JP7453309B2 (ja) | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 | |
CN107997778B (zh) | 在计算机断层扫描血管造影术中基于深度学习的骨移除 | |
JP6932182B2 (ja) | 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法 | |
JP6884853B2 (ja) | ニューラルネットワーク法を用いた画像セグメンテーション | |
CN108022238B (zh) | 对3d图像中对象进行检测的方法、计算机存储介质和系统 | |
US20170330319A1 (en) | Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training | |
CN109003267B (zh) | 从3d图像自动检测目标对象的计算机实现方法和系统 | |
CN113516659B (zh) | 一种基于深度学习的医学影像自动分割方法 | |
CN111095354A (zh) | 经改进的3-d血管树表面重构 | |
US10258304B1 (en) | Method and system for accurate boundary delineation of tubular structures in medical images using infinitely recurrent neural networks | |
WO2013155358A1 (en) | Techniques for segmentation of lymph nodes, lung lesions and other solid or part-solid objects | |
JP7187680B2 (ja) | 線構造抽出装置及び方法、プログラム並びに学習済みモデル | |
JP2022546303A (ja) | 管状フィーチャのセグメント化 | |
CN112614143A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
JP2023131287A (ja) | 情報処理装置および学習方法 | |
CN114586065A (zh) | 用于分割图像的方法和系统 | |
CN115546089A (zh) | 医学图像分割方法、病理图像处理方法、装置、设备 | |
US11908047B2 (en) | Generating synthetic x-ray images and object annotations from CT scans for augmenting x-ray abnormality assessment systems | |
Kumar et al. | Grey Wolf optimized SwinUNet based transformer framework for liver segmentation from CT images | |
Pan et al. | Markov surfaces: A probabilistic framework for user-assisted three-dimensional image segmentation | |
JP2024069343A (ja) | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 | |
WO2024110370A1 (en) | Segmenting a feature in an image | |
Lidayová et al. | Coverage segmentation of 3D thin structures | |
Williams et al. | Three-dimensional interactive vascular postprocessing techniques: Industrial perspective |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230816 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230816 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240520 |