JP2022191354A - 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 - Google Patents

画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 Download PDF

Info

Publication number
JP2022191354A
JP2022191354A JP2022162262A JP2022162262A JP2022191354A JP 2022191354 A JP2022191354 A JP 2022191354A JP 2022162262 A JP2022162262 A JP 2022162262A JP 2022162262 A JP2022162262 A JP 2022162262A JP 2022191354 A JP2022191354 A JP 2022191354A
Authority
JP
Japan
Prior art keywords
anatomy
boundaries
image data
regression
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022162262A
Other languages
English (en)
Other versions
JP7453309B2 (ja
Inventor
グラディー レオ
Grady Leo
カーステン ピーターセン ピーター
Kersten Petersen Peter
シャープ マイケル
Sharpe Michael
レセージ デイビッド
Lesage David
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HeartFlow Inc
Original Assignee
HeartFlow Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HeartFlow Inc filed Critical HeartFlow Inc
Publication of JP2022191354A publication Critical patent/JP2022191354A/ja
Priority to JP2024034822A priority Critical patent/JP2024069343A/ja
Application granted granted Critical
Publication of JP7453309B2 publication Critical patent/JP7453309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Nuclear Medicine (AREA)

Abstract

【課題】画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法を提供する。【解決手段】方法は、1つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること202、203と、複数のキーポイントから解剖学的構造の境界までの距離を計算すること205と、患者の生体構造の画像における解剖学的構造内の境界を予測するために、1つ以上の画像のデータと計算された距離とを使用してモデルを訓練すること207と、解剖学的構造を含む患者の生体構造の画像を受信すること211と、画像における解剖学的構造内のセグメンテーション境界を推定すること212と、訓練済みのモデルを使用して、画像における解剖学的構造内のキーポイントから、推定された境界までの距離の回帰を生成することによって、画像における解剖学的構造内の境界位置を予測すること214と、を含む。【選択図】図2

Description

関連出願
この出願は、2017年5月9日に出願された米国仮特許出願第62/503,838号に対する優先権を主張するものであり、この米国仮特許出願の開示全体は参照によりその全体が本明細書に援用される。
本開示の様々な実施形態は、全体として、医用イメージング及び関連方法に関する。特に、本開示の特定の実施形態は、画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法に関する。
画像の複数セグメントへの分割の問題は、一般にコンピュータビジョン及び医用画像解析で発生する。現在使用されている手法は、畳み込みニューラルネットワーク(CNN)を使用してこのプロセスを自動化するものであり、このCNNは、各画像要素(例えば、ピクセルまたはボクセル)のクラスラベルを予測するように訓練されている。CNNは通常、複数の畳み込み層を含み、これらの層は入力(例えば、画像または画像の一部)を学習可能なフィルタのセットと非線形活性化関数とに通過させる。畳み込み演算の使用により、CNNは平行移動に対して同変となる。例えば、入力の平行移動されたバージョンが、予測されたセグメンテーションラベルの比例的に平行移動されたバージョンをもたらし得る。異なるストライドの畳み込みを有した一連の層により、CNNは局所的、短距離統計の観点から、画像内の長距離相互作用を表現することができる。
ただし、現在のCNNのセグメンテーション境界は、画像要素(例えば、ピクセルまたはボクセル)のレベルまでは正確である可能性がある。多くの画像アプリケーションでは、セグメンテーション境界をピクセルまたはボクセルの位置に配置することにより、量子化誤差が導入され得る。対象構造が穴を含まず、単一の接続された構成要素として存在し得ることが(例えば、先験的に)知られている場合がある。しかし、このような前提がCNNに組み込まれない可能性があり、その結果、予測されたラベルが、セグメント化されたオブジェクト内に偽りの構成要素及び穴を有する場合がある。したがって、サブピクセルまたはサブボクセルの正確なセグメンテーションを達成することができ、穴または分離された構造のない接続された単一の構成要素のラベルを予測することができるCNNなどのモデルを構築することが望まれている。
本開示は、上記の問題または関心のうちの1つ以上を克服することを対象とする。
本開示の特定の態様によれば、画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法が開示される。画像解析における解剖学的構造のセグメンテーションの1つの方法は、1つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、複数のキーポイントから解剖学的構造の境界までの距離を計算すること、患者の生体構造の画像における解剖学的構造内の境界を予測するために、1つ以上の画像のデータと計算された距離とを使用してモデルを訓練すること、解剖学的構造を含む患者の生体構造の画像を受信すること、患者の生体構造の画像における解剖学的構造内のセグメンテーション境界を推定すること、及び訓練済みのモデルを使用して、患者の生体構造の画像における解剖学的構造内のキーポイントから、推定された境界までの距離の回帰を生成することによって、患者の生体構造の画像における解剖学的構造内の境界位置を予測することを含む。
別の実施形態によれば、画像解析における解剖学的構造のセグメンテーションのためのシステムが開示される。本システムは、画像解析における解剖学的構造のセグメンテーションのための命令を格納するデータ記憶装置と、命令を実行して、1つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、複数のキーポイントから解剖学的構造の境界までの距離を計算すること、患者の生体構造の画像における解剖学的構造内の境界を予測するために、1つ以上の画像のデータと計算された距離とを使用してモデルを訓練すること、解剖学的構造を含む患者の生体構造の画像を受信すること、患者の生体構造の画像における解剖学的構造内のセグメンテーション境界を推定すること、及び訓練済みのモデルを使用して、患者の生体構造の画像における解剖学的構造内のキーポイントから、推定された境界までの距離の回帰を生成することによって、患者の生体構造の画像における解剖学的構造内の境界位置を予測することのステップを含む方法を実行するように構成されたプロセッサと、を含む。
さらに別の実施形態によれば、画像解析における解剖学的構造のセグメンテーションの方法を実施するためのコンピュータ実行可能プログラミング命令を含むコンピュータシステム上で使用するための非一時的コンピュータ可読媒体が提供される。上記の方法は、1つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、複数のキーポイントから解剖学的構造の境界までの距離を計算すること、患者の生体構造の画像における解剖学的構造内の境界を予測するために、1つ以上の画像のデータと計算された距離とを使用してモデルを訓練すること、解剖学的構造を含む患者の生体構造の画像を受信すること、患者の生体構造の画像における解剖学的構造内のセグメンテーション境界を推定すること、及び訓練済みのモデルを使用して、患者の生体構造の画像における解剖学的構造内のキーポイントから、推定された境界までの距離の回帰を生成することによって、患者の生体構造の画像における解剖学的構造内の境界位置を予測することを含む。
開示された実施形態のさらなる目的と利点は、以下の説明の中で一部が述べられており、一部はその説明から明らかとなり、または開示された実施形態の実施によって習得することができる。開示された実施形態の目的と利点は、添付の特許請求の範囲において特に指摘された要素及び組み合わせによって実現され達成されよう。
前述の概要と以下の詳細な説明とは共に具体例であって、例示だけを目的としており、特許請求されている開示された実施形態の範囲を限定するものではないことを理解されたい。
本発明は、例えば、以下の項目を提供する。
(項目1)
画像解析における解剖学的構造のセグメンテーションのコンピュータ実施方法であって、
1つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、
複数の前記キーポイントから前記解剖学的構造の境界までの距離を計算すること、
患者の生体構造の画像における前記解剖学的構造内の境界を予測するために、1つ以上の前記画像のデータと計算された前記距離とを使用してモデルを訓練すること、
前記解剖学的構造を含む前記患者の生体構造の前記画像を受信すること、
前記患者の生体構造の前記画像における前記解剖学的構造内のセグメンテーション境界を推定すること、及び
訓練済みの前記モデルを使用して、前記患者の生体構造の前記画像における前記解剖学的構造内のキーポイントから、推定された前記境界までの距離の回帰を生成することによって、前記患者の生体構造の画像における前記解剖学的構造内の境界位置を予測することを含む前記コンピュータ実施方法。
(項目2)
前記解剖学的構造の前記注釈が、メッシュ、ボクセル、陰関数曲面表現、または点群の形式である、項目1に記載のコンピュータ実施方法。
(項目3)
前記解剖学的構造内の受信した前記キーポイントの位置が既知である、項目1に記載のコンピュータ実施方法。
(項目4)
形状モデルを前記解剖学的構造に適合させて、複数の前記キーポイントの前記位置を判定することをさらに含む、項目1に記載のコンピュータ実施方法。
(項目5)
前記画像座標が連続的である、項目1に記載のコンピュータ実施方法。
(項目6)
前記マッピングが、複数の極次元から、または1つの次元の極形式と1つ以上の追加の次元の線形形式とから行われる、項目1に記載のコンピュータ実施方法。
(項目7)
前記モデルを訓練する前に、計算された前記距離に関連付けられた光線に沿った画像強度を判定することをさらに含み、前記距離に関連付けられた前記光線が前記ユークリッド空間内の固定位置にある、項目1に記載のコンピュータ実施方法。
(項目8)
前記境界位置を予測することが、前記患者の生体構造の前記画像における前記解剖学的構造内のキーポイントから、推定された前記境界までの前記距離の間接的表現を予測することを含む、項目1に記載のコンピュータ実施方法。
(項目9)
前記患者の生体構造の前記画像における前記解剖学的構造の前記セグメンテーション境界を推定することが、前記解剖学的構造内のキーポイントのセットを取得することを含む、項目1に記載のコンピュータ実施方法。
(項目10)
前記患者の生体構造の前記画像における前記解剖学的構造内の予測された前記境界位置が、サブボクセルの正確な境界位置である、項目1に記載のコンピュータ実施方法。
(項目11)
予測された前記境界位置に基づいて3次元表面を構築することをさらに含む、項目1に記載のコンピュータ実施方法。
(項目12)
予測された前記境界位置を電子記憶媒体に出力することをさらに含む、項目1に記載のコンピュータ実施方法。
(項目13)
前記解剖学的構造が血管を含み、前記患者の生体構造が前記患者の脈管構造の血管を含む、項目1に記載のコンピュータ実施方法。
(項目14)
前記解剖学的構造の前記注釈が、血管管腔境界、血管管腔中心線、血管管腔表面、またはこれらの組み合わせを含む、項目1に記載のコンピュータ実施方法。
(項目15)
1つ以上の前記画像内の複数の画像座標からユークリッド空間へのマッピングを定義することをさらに含み、複数の前記画像座標が前記ユークリッド空間における光線内にあり、複数の前記キーポイントの1つが前記光線のそれぞれの上にあり、前記距離を計算することが、前記光線のそれぞれの上の複数の前記キーポイントから、前記解剖学的構造の前記境界までの距離を計算することを含む、項目1に記載のコンピュータ実施方法。
(項目16)
生成された前記回帰が連続値である、項目1に記載のコンピュータ実施方法。
(項目17)
画像解析における解剖学的構造のセグメンテーションのためのシステムであって、
解剖学的構造のセグメンテーションのための命令を格納するデータ記憶装置と、
前記命令を実行して、
1つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、
複数の前記キーポイントから前記解剖学的構造の境界までの距離を計算すること、
患者の生体構造の画像における前記解剖学的構造内の境界を予測するために、1つ以上の前記画像のデータと計算された前記距離とを使用してモデルを訓練すること、
前記解剖学的構造を含む前記患者の生体構造の前記画像を受信すること、
前記患者の生体構造の前記画像における前記解剖学的構造内のセグメンテーション境界を推定すること、及び
訓練済みの前記モデルを使用して、前記患者の生体構造の前記画像における前記解剖学的構造内のキーポイントから、推定された前記境界までの距離の回帰を生成することによって、前記患者の生体構造の画像における前記解剖学的構造内の境界位置を予測すること
を含む方法を実行するように構成されたプロセッサと、を備える前記システム。
(項目18)
前記解剖学的構造が血管を含み、前記患者の生体構造が前記患者の脈管構造の血管を含む、項目17に記載のシステム。
(項目19)
前記患者の生体構造の前記画像における前記解剖学的構造内の予測された前記境界位置が、サブボクセルの正確な境界位置である、項目17に記載のシステム。
(項目20)
画像解析における解剖学的構造のセグメンテーションの方法を実施するためのコンピュータ実行可能プログラミング命令を含むコンピュータシステム上で使用するための非一時的コンピュータ可読媒体であって、前記方法が、
1つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、
複数の前記キーポイントから前記解剖学的構造の境界までの距離を計算すること、
患者の生体構造の画像における前記解剖学的構造内の境界を予測するために、1つ以上の前記画像のデータと計算された前記距離とを使用してモデルを訓練すること、
前記解剖学的構造を含む前記患者の生体構造の前記画像を受信すること、
前記患者の生体構造の前記画像における前記解剖学的構造内のセグメンテーション境界を推定すること、及び
訓練済みの前記モデルを使用して、前記患者の生体構造の前記画像における前記解剖学的構造内のキーポイントから、推定された前記境界までの距離の回帰を生成することによって、前記患者の生体構造の画像における前記解剖学的構造内の境界位置を予測することを含む前記非一時的コンピュータ可読媒体。
添付の図面は、この明細書に組み込まれ、その一部を構成し、種々の例示の実施形態を図示しており、この説明と併せて開示している実施形態の原理を説明するのに役立つ。
本開示の例示的な実施形態による、画像解析における解剖学的構造のセグメンテーションのための例示的なシステム及びネットワークのブロック図である。 図2A及び図2Bは、本開示の例示的な実施形態による、画像解析における解剖学的構造のセグメンテーションのための例示的な方法のフローチャートである。 図3A及び図3Bは、本開示の例示的な実施形態による、冠状動脈のセグメンテーションに適用される図2A及び図2Bの方法の例示的な実施形態のフローチャートである。
以下、本開示の例示的な実施形態について、本開示を例示する添付の図面を参照して詳細に説明する。同じまたは類似の部分を参照するために、可能な限り、図面全体を通して同じ参照番号を使用する。
上記のように、現在の手法によって判定されるセグメンテーション境界の精度は、画像要素、例えば、ピクセルまたはボクセルに制限され得る。このような場合には、セグメンテーション境界をボクセルの位置に配置することによって誤差が導入され得る。場合によっては、現在の予測モデルは、対象構造が穴または分離された構造を含まないことなどの、いくつかの前提を考慮に入れない可能性がある。したがって、サブピクセルまたはサブボクセルの精度でセグメンテーション境界を予測すること、及び/またはモデルに組み込むべき重要な前提を保証することが可能なモデルを構築することが望まれている。
本開示は、セグメンテーション境界位置の正確な予測を可能にすることを対象とする。一実施形態では、本開示は、セグメンテーション境界を推定するための訓練段階及びテスト(または使用)段階の両方を含み得る。訓練済みモデルを構築するための学習システムの1つ以上のパラメータは、訓練段階の間中に最適化され得る。テスト段階では、訓練済みモデルを用いて、目に見えない画像または目に見える画像をセグメント化することができる。
例えば、開示されたシステム及び方法は、対象の患者の受信画像(複数可)の解剖学的構造をセグメント化し、サブピクセルまたはサブボクセルのレベルで対象構造の境界を判定することに応用することができる。本明細書で使用するとき、構造の境界は構造のセグメントの境界を含んでもよい。一実施形態では、訓練段階は、対象構造内のキーポイントから対象構造の境界またはそのセグメントの境界までの距離を予測するためのモデルを構築することを含み得る。例えば、訓練段階は、対象構造内の既知の位置と共に複数のキーポイントを受信し、このキーポイントからそのセグメントの対象構造の境界までの距離を(例えば、既知の位置に基づいて)計算するものであり得る。次に、モデル(例えば、CNNモデル)が、キーポイントの位置、計算された距離、及び/または受信した画像内のデータに基づいて訓練され得る。訓練済みモデルは、標本距離を回帰分析するか、または標本距離の間接的表現を予測することができる。訓練済みモデルからの回帰は連続値とすることができ、したがって、サブピクセルまたはサブボクセルの精度で、回帰分析された距離に基づき、境界位置を予測することが可能となる。
一実施形態では、テスト段階は、患者の生体構造の画像を受信することを含み得る。患者は、対象の患者、例えば、診断検査を希望する患者であってもよい。テスト段階は、患者の生体構造の1つ以上の画像に基づいて、対象構造の境界を推定し、訓練段階で構築したモデルを使用して、対象構造中のキーポイントから推定境界までの距離を回帰分析することにより、境界位置を予測するものであり得る。
本明細書で使用するとき、「例示的」という用語は、「理想的」ではなく「例」の意味で使用される。この例示的な実施形態は、医用画像解析の文脈で書かれているが、本開示は、あらゆる非医用画像解析またはコンピュータビジョン評価に等しく適用することができる。
次に、図面を参照すると、図1は、画像解析における解剖学的構造のセグメンテーションのためのシステム及びネットワークの例示的な環境のブロック図を示す。具体的には、図1は、複数人の医師102及び第三者プロバイダ104を示し、そのいずれもが、1つ以上のコンピュータ、サーバ、及び/またはハンドヘルドモバイルデバイスを介してインターネットなどの電子ネットワーク100に接続され得る。医師102及び/または第三者プロバイダ104は、1人以上の患者の心臓系、血管系、及び/または器官系の画像を作成しまたは別の方法で取得することができる。医師102及び/または第三者プロバイダ104は、年齢、病歴、血圧、血液粘度などの患者固有の情報のいずれかの組み合わせを取得することもできる。医師102及び/または第三者プロバイダ104は、電子ネットワーク100を介して、心臓/血管/器官の画像及び/または患者固有の情報をサーバシステム106に送信することができる。サーバシステム106は、医師102及び/または第三者プロバイダ104から受信した画像及びデータを保存するための記憶装置を含み得る。サーバシステム106はまた、記憶装置に記憶された画像及びデータを処理するための処理装置をも含み得る。代替または追加として、本開示の解剖学的構造のセグメンテーション(または本開示のシステム及び方法の一部)は、外部サーバまたはネットワークが不在のローカル処理装置(例えば、ラップトップ機)上で実行されてもよい。
図2A及び図2Bは、学習システムを使用して解剖学的構造のセグメンテーションを実施するための例示的な方法について述べたものである。図3A及び図3Bでは、図2A及び図2Bで述べた方法の特定の実施形態または用途を対象とする。例として、図3A及び図3Bでは、学習システムを使用した血管のセグメンテーションの実施形態について説明する。本方法は全て、電子ネットワーク100を通じて医師102及び/または第三者プロバイダ104から受信した情報、画像、及びデータに基づいて、サーバシステム106によって実施され得る。
図2A及び図2Bは、画像解析における解剖学的構造のセグメンテーションのための例示的な方法について述べたものである。一実施形態では、この解剖学的構造のセグメンテーションは2つの段階を含み得る。すなわち、訓練段階及びテスト段階である。訓練段階は、サブピクセルまたはサブボクセルの精度で対象構造またはそのセグメントの境界位置を予測するために、学習システム(例えば、深層学習システム)を訓練することを含み得る。テスト段階は、新規受信された画像における対象構造またはそのセグメントの境界位置を予測することを含み得る。
図2Aは、様々な実施形態による、境界位置を予測するために学習システム(例えば、深層学習システム)を訓練するための例示的な訓練段階の方法200のフローチャートである。方法200は、特定の患者の画像化された対象構造の解剖学的構造セグメンテーションのために、図2Bの方法210のテスト段階のための基礎を提供することができる。方法200は、図2Aに示すステップ201~207の1つ以上を含み得る。いくつかの実施形態では、方法200は、ステップ201~207のうちの1つ以上を繰り返すこと、例えば、ステップ201~207を1回以上繰り返すことを含んでもよい。
いくつかの実施形態では、方法200のステップ201は、電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)中の1つ以上の画像及び/または画像データを受信することを含み得る。医療の関連では、これらの画像は、例えば、コンピュータ断層撮影(CT)、陽電子放出型断層撮影(PET)、単一光子放射型コンピュータ断層撮影(SPECT)、磁気共鳴断層撮影(MRI)、顕微鏡、超音波、(マルチビュー)血管造影などの医用イメージングデバイスが提供しているものであり得る。一実施形態では、一人の患者に対して複数の画像が用いられ得る。さらなる実施形態では、画像は、患者の生体構造を含み得る。他の実施形態では、画像は、類似の解剖学的特徴を有する多数の個人のもの、または異なる解剖学的特徴を有する多数の個人のものであってもよい。医療以外の関連では、これらの画像は、任意の入力元、例えば、カメラ、衛星、レーダ、ライダ、ソナー、望遠鏡、顕微鏡などからのものであってもよい。以下の開示では、ステップ201で受信される画像を「訓練画像」と称し得る。
いくつかの実施形態では、ステップ202は、訓練画像の1つ以上における1つ以上の対象構造に対する注釈を受信することを含み得る。場合によっては、訓練画像の1つ以上が対象構造、例えば、患者の解剖学的構造を含み得る。一例では、訓練画像の全てが対象構造を含んでもよい。一実施形態では、全ての訓練画像に注釈付けしてもよい。この種の実施形態は、「教師あり学習」と呼ばれることがある。別の実施形態では、注釈付きの訓練画像の一部のみを含んでもよい。この種のシナリオは、「半教師あり学習」と呼ばれることがある。一実施形態では、対象構造には、患者の血管または組織が含まれ得る。そのような場合、注釈(複数可)には、血管名(例えば、右冠動脈(RCA)、左前下行枝(LAD)、左回旋枝(LCX)など)、血管の目標物(例えば、大動脈弁の場所、小孔の場所、分岐点など)、血管の推定位置、標識(例えば、画像があいまいか、または境界がはっきりせず、または不明瞭であると注記された部分)などのラベルが含まれ得る。いくつかの実施形態では、注釈(複数可)は、メッシュ、ボクセル、陰関数曲面表現、または点群を含むがこれらに限定されない様々な形式であってもよい。
いくつかの実施形態では、ステップ203は、対象構造内の複数のキーポイントを受信することを含み得る。対象構造内のキーポイントの位置は(例えば、対象構造に対する注釈及び/または受信画像内のデータに基づいて)既知であってもよい。例えば、キーポイントの1つ以上が、対象構造の内部、対象構造の境界上、または対象構造の境界近くにあることが既知の場合がある。いくつかの実施形態では、対象構造に形状モデルを適合させることにより、対象構造の境界位置(例えば、おおよその境界位置)及び/またはキーポイントの位置を判定でき、及び/または対象構造内の既知の位置を有するキーポイントを取得できる。
いくつかの実施形態では、ステップ204は、訓練画像内の画像座標からユークリッド空間へのマッピングを定義することを含み得る。画像座標は連続的であってもよい。画像座標は、3D対象構造及び/または光線の交点であってもよい。画像座標はユークリッド空間の光線内にあってもよい。ステップ203で受信したキーポイントの1つが、光線のそれぞれの上に存在してもよい。
一実施形態では、所与のキーポイントが対象構造の内部にあることが既知であってもよい。そのようなシナリオでは、ステップ204は、中心に所与のキーポイントがある極形式でマッピングを定式化することを含んでもよい。この設定では、キーポイントから生じる等角方向の等長光線に沿った画像座標を選択することができる。
別のシナリオとして、ステップ204のマッピングは、複数の極次元からユークリッド空間へのマッピングを含み得る。例えば、球面座標系から標本抽出して、対象構造(例えば、3次元(3D)対象構造)をパラメータ化することが可能である。この実施形態では、2つの回転次元は、光線に沿った距離と2つの回転次元に対応付けられた2つの次元とによって与えられる3つのユークリッド次元にマッピングすることができる。
別のシナリオとして、ステップ204のマッピングは、1次元の極形式と1つ以上の追加次元の線形形式とからユークリッド空間へのマッピングを含んでもよい。例えば、管状の構造は、一連の閉曲線上の標認点によって表すことができる。その場合、この閉曲線は極形式で表されるのに対して、管に沿った方向では線形となり得る。したがって、このマッピングは、結果的に3次元のユークリッド空間の状態に達する。ここで、第1の次元は標本抽出された光線に沿った距離に相当し、第2の次元は回転次元に相当し、第3の次元は管に沿った線寸法に相当する。
一実施形態では、画像表面に近いキーポイントのセットをステップ203で受信することができる。例えば、キーポイントのセットは、所与の3Dメッシュまたは3D陰的表現上の閉曲線のセットに沿って配置され得る。その場合、ステップ204は、それぞれがキーポイントを含み、3Dメッシュに垂直に向けられる等長光線のセットを画定すること、及び対象構造の境界をさらに精密にすることを含んでもよい。次いで、ステップ204でユークリッド空間にマッピングする場合に、画定された光線に沿った距離はユークリッド次元の1つを表し得、その一方で閉曲線上のキーポイントは第2の次元を表し得る。
いくつかの実施形態では、ステップ205は、ステップ204でマッピングされた光線のそれぞれについて、光線上のキーポイントから対象構造の境界までの距離を計算することを含み得る。この計算された距離を、学習システムの目標値とすることができる。
いくつかの実施形態では、ステップ206は、各目標値について、ステップ204で画定された光線に沿った画像強度を判定することを含み得る。画定された光線は、光線上のキーポイントに関連付けられており、したがって目標値に関連付けられている。さらに、ステップ206は、目標値に関連する光線が固定位置にあることを保証することを含んでもよい。例えば、第1の目標値に関連する第1の光線が、固定された第1の位置にあり得る。他の目標値に関連する他の光線は、第1の光線に対して座標を持つことができ、したがって、これらの他の光線の位置もまた、第1の光線の位置に基づいて固定できる。一実施形態では、目標値距離のそれぞれに対する入力は、互いの巡回変換であってもよい。
いくつかの実施形態では、ステップ207は、新規受信された画像における対象構造のセグメンテーション境界位置を予測するためのモデル(例えば、CNNモデル)を訓練することを含み得る。例えば、キーポイントから対象構造のセグメンテーション境界までの距離を予測するように、モデルを訓練することができる。一実施形態では、距離を回帰分析するためにモデルを訓練してもよい。この回帰値は、境界位置がサブピクセルまたはサブボクセルの精度で予測され得るように連続的であり得る。特定の実施形態では、モデルは、距離の間接的表現を予測することのために訓練されてもよい。例えば、モデルは、光線を複数の小さなビンに量子化してもよく、及び/または距離に相当するビンを予測してもよい。
図2Bは、本開示の例示的な実施形態による、特定の患者画像における対象構造のセグメンテーション境界を予測するための例示的なテスト段階(または使用段階)の方法210のブロック図である。方法210は、ステップ211~215のうちの1つ以上を含み得る。一実施形態では、セグメンテーションの境界は、(例えば、方法200が提供している)訓練済みモデルを使用して予測され得る。
いくつかの実施形態では、ステップ211は、電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)中の1つ以上の患者の画像を受信することを含み得る。一実施形態では、画像は医用画像を含んでもよく、例えば、画像は任意の医用イメージングデバイス、例えば、CT、MR、SPECT、PET、顕微鏡、超音波、(マルチビュー)血管造影などが提供しているものであってもよい。一実施形態では、(例えば、方法200の)訓練画像は、1人の患者から取得した画像を含んでもよく、ステップ211は、その1人の患者の画像をも受信することを含み得る。代替として、または追加として、ステップ211は、非医用イメージングデバイス、例えば、カメラ、衛星、レーダ、ライダ、ソナー、望遠鏡、顕微鏡などから1つ以上の画像を受信することを含んでもよい。以下のステップでは、ステップ211の間に受信される画像を「テスト画像」と称し得る。
いくつかの実施形態では、ステップ212は、対象構造のセグメンテーション境界、またはテスト画像内の別のオブジェクト(例えば、対象構造とは異なるオブジェクト)の位置もしくは境界を推定することを含み得る。推定境界または別のオブジェクトの位置もしくは境界を使用して、自動化されたセグメンテーションシステム(例えば、中心線)を初期化することができる。キーポイントのセットを、この初期セグメントから取得することができる。一実施形態では、キーポイントのセットには、対象構造の内部のキーポイントが含まれ得る。
いくつかの実施形態では、ステップ213は、テスト画像内の画像座標からユークリッド空間へのマッピングを定義することを含み得る。画像座標は連続的であってもよい。画像座標はユークリッド空間の光線内にあってもよい。キーポイントを含むことができる光線のそれぞれに、キーポイント(例えば、ステップ202で取得されたキーポイントの1つ)が存在してもよい。一実施形態では、このマッピングの入力は、ステップ204でのマッピングの入力に類似していてもよい。
いくつかの実施形態では、ステップ214は、方法200によって訓練されたモデルを使用して、対象構造の境界を予測することを含み得る。一実施形態では、この予測は、ステップ213で画定された光線上のキーポイントから推定境界までの距離を回帰分析することを含んでもよい。場合によっては、この回帰は連続値とすることができ、したがって、境界をサブピクセルまたはサブボクセルの精度で予測することができる。一実施形態では、ステップ214は、さらに、予測された境界(例えば、境界点群)から表面を取得することを含み得る。この表面は、ポアソン表面再構成などの表面再構成法を使用して取得することができる。
いくつかの実施形態では、ステップ215は、対象構造の予測された境界(例えば、完全なセグメンテーション境界)を電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)に出力することを含み得る。さらに、ステップ215は、インタフェース上に出力結果を表示することを含んでもよい。
図3A及び図3Bは、図2A及び図2Bで説明した例示的な方法の特定の実施形態または応用を対象とする。例えば、図3A及び図3Bは、それぞれ、画像分析における冠状動脈のセグメンテーションのための例示的な訓練段階及びテスト段階について述べたものである。
血管、例えば、冠状動脈の患者固有のセグメンテーションの精度は、血流シミュレーションや血管の幾何学的特性の計算といった医学的評価に影響を与える可能性がある。セグメンテーションの精度が十分ではない場合、例えば、画像要素のレベル(例えば、ピクセルまたはボクセル)に制限されている場合、医療評価は誤った結果を生成する可能性がある。図3A及び図3Bは、サブピクセルまたはサブボクセルの精度で冠状動脈をセグメント化するための例示的な方法を示す。本明細書の例示的な方法では冠状動脈が使用されるが、図3A及び図3Bに示す方法は、他種の血管または血管以外の解剖学的構造のセグメンテーションにも使用され得る。
図3Aは、様々な実施形態による、冠状動脈のサブボクセルセグメンテーションのための基礎を提供するように設計された訓練段階の例示的な方法300のフローチャートである。方法300は、図3Aに示すステップ301~308の1つ以上を含み得る。いくつかの実施形態では、方法200は、ステップ301~308のうちの1つ以上を繰り返すこと、例えば、ステップ301~308を1回以上繰り返すことを含んでもよい。
いくつかの実施形態では、ステップ301は、電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)中の1つ以上の冠状動脈の画像を受信することを含み得る。これらの画像は、CT、MR、SPECT、PET、超音波、(マルチビュー)血管造影などの医用イメージングデバイスからのものであってもよい。これらの画像を「訓練画像」と称し得る。
いくつかの実施形態では、ステップ302は、訓練画像の1つ以上における冠状動脈に対する注釈を受信することを含み得る。例えば、注釈は、血管管腔境界及び/または血管管腔中心線(複数可)を含むものであってもよい。一実施形態では、ステップ303は、受信した画像に表された冠状血管の幾何学的メッシュを受信し、または生成することを含み得る。幾何学的メッシュは、頂点及びエッジのセットとして指定することができる。代替として、または追加として、ステップ303は、冠状血管の中心線を受信することを含んでもよい。中心線は、エッジで接続され得る頂点のセットとして表すこともできる。
いくつかの実施形態では、ステップ303は、訓練画像データ(例えば、幾何学的メッシュ、頂点、エッジ、中心線など)を曲線平面表現(CPR)に変換することを含み得る。この変換によって、血管セグメンテーションプロセスが簡素化することを可能にし得る。例えば、平面(例えば、フレーム)のセットを中心線に沿って(例えば、中心線に直交して)抽出して、3Dボリュームを構成することができる。一実施形態では、3DボリュームはCPRを含んでもよく、基準の座標系フレームが2つの次元を定義し、中心線の長さが第3の次元を定義する。一実施形態では、曲線平面表現では、自由度(例えば、中心線の曲率)を除外してもよく、この自由度は、冠状血管の1つ以上のパラメータを予測することに関係しない可能性がある。例えば、中心線の曲率は、冠状血管の管腔境界の位置に関係したパラメータを決定するのには無関係であり得る。
いくつかの実施形態では、ステップ304は、画像データに基づいてキーポイントを定義することを含み得る。例えば、ステップ304は、冠状動脈の中心線上の点をキーポイントとして定義することを含んでもよい。このように定義されたキーポイントは、血管の内部にあると解釈され得る。これらのキーポイントは、必ずしも中央に配置されなくてもよい。それにもかかわらず、場合によっては、これらのキーポイントは、構造によって、各フレームの中心にある場合がある。
いくつかの実施形態では、ステップ305は、各フレームについて、テスト画像内の画像座標からユークリッド空間へのマッピングを定義することを含み得る。一実施形態では、このマッピングは、フレーム内の極座標サンプリングを使用して定義することができる。特定の実施形態では、マッピングを定義することは、ステップ304で定義されたキーポイントの周りの角度方向のセットにおけるCPR強度値を判定することを含み得る。判定されたCPR強度値は、例えば、半径座標及び角度座標が2次元(2D)画像にマッピングされるように配置されてもよい。例えば、フレームの半径成分及び角度成分によって指定されるサンプルの離散セットは、半径成分及び角度成分を指し示す2D画像の行と列とにマッピングすることができる。CPR強度値の各行は動径座標として定義されてもよく、CPR強度値の各列は角度座標として定義されてもよい。
一部の実施形態では、ステップ306は、目標回帰値を定義することを含み得る。この目標回帰値は、所与のキーポイントから各角度方向の血管管腔の境界までの距離として定義することができる。一実施形態では、ステップ306は、r角度方向の目標回帰値を定義することを含み得る。例えば、r角度方向の所与の目標距離値について、所与の目標回帰値に関連付けられたr角度方向に関連付けられた列が第1の列になるように、ステップ305で作成された2D画像が循環的に回転され得る。例えば、全てのr目標値を予測するときに、それぞれが入力画像の異なる列に関連付けられている場合、列は循環的に回転され得る。画像がr列だけ回転した場合には、r番目の列が第1の列になり、第1の列の目標値を予測するために使用されるのと同じモデルを、循環回転の後に第1の列にあるr番目の列の目標値に適用することができる。
いくつかの実施形態では、ステップ307は、所与のキーポイントから血管管腔の境界までの距離を予測するためのモデル(例えば、CNNモデル)を訓練することを含み得る。一実施形態では、訓練済みモデルは、ステップ305で作成された2D画像のそれぞれから関連する目標距離値へのマッピングを予測することができる。損失関数が、予測距離と目標距離との間の平均二乗誤差を最小化するように指定されてもよい。本明細書で使用するとき、損失関数は、予測値と目標値との間の誤差を指定することができ、適切なモデルパラメータを学習するために最適化される目的関数の積分の部分である。例えば、損失関数は、平均二乗誤差、例えば、予測値と目標値との間の差の二乗平均であってもよい。
図3Bは、一実施形態による、患者の血管(例えば、冠状動脈)のサブボクセルセグメンテーションを提供し得るテスト段階のための例示的な方法310のブロック図である。いくつかの実施形態では、ステップ311は、電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)中の患者の冠状動脈の画像データを受信することを含み得る。
いくつかの実施形態では、ステップ312は、例えば、中心線検出アルゴリズムを使用して、血管の中心線の予測を受信することを含み得る。一実施形態では、ステップ312は、受信した画像または画像データをCPRに変換することを含んでもよい。この変換によって、血管セグメンテーションプロセスが簡素化することを可能にし得る。例えば、平面(例えば、フレーム)のセットを血管管腔の中心線に沿って(例えば、中心線に直交して)抽出して、3Dボリューム(例えば、CPR)を構成することができる。一実施形態では、3DボリュームはCPRを含んでもよく、基準の座標系フレームが2つの次元を定義し、中心線の長さが第3の次元を定義する。変換パラメータ(例えば、平行移動、拡大縮小、回転)は保存することができる。
いくつかの実施形態では、ステップ313は、血管の中心線上の点をキーポイントとして定義することを含んでもよい。
いくつかの実施形態では、ステップ314は、ステップ312で定義されたフレームのそれぞれについて、患者の画像内の画像座標のユークリッド空間へのマッピングを定義することを含み得る。例えば、このマッピングは、フレーム内の極座標サンプリングを使用して定義することができる。このステップは、方法300の1つ以上のステップに類似していてもよい。
いくつかの実施形態では、ステップ315は、ステップ313で定義されたキーポイントの周りの角度方向のセットにおけるCPR強度値を判定することを含み得る。判定されたCPR強度値は、半径座標及び角度座標が2次元(2D)画像にマッピングされるように配置されてもよい。所与の目標距離値に関連付けられたr角度方向に関連付けられた列が第1の列になるように、2D画像を循環的に回転させることができる。さらに、ステップ315は、2D画像の(r角度方向に)循環的に回転したバージョンを作成することを含み得る。
いくつかの実施形態では、ステップ316は、方法300で訓練されたモデルを使用して患者の冠状動脈のセグメンテーション境界を予測することを含み得る。一実施形態では、ステップ316は、ステップ315で作成された回転画像のそれぞれの第1の列に関連する距離を予測し、したがってCPR表現の境界の標認点を予測することを含んでもよい。一実施形態では、ステップ316は、患者の画像化された冠状動脈の解剖学的モデルを生成することを含み得る。解剖学的モデルは、サブピクセルまたはサブボクセルの精度を有する最終的な管腔セグメンテーションを含むことができる。例えば、ステップ317は、予測された標認点(複数可)をCPR表現から元の3D画像空間に変換することを含み得る。中心線に沿った各フレームの方向及び位置は、CPRの作成から判定され得る。例えば、この方向及び位置は、ステップ312で判定され保存されてもよい。一実施形態では、3D点はCPRから計算することができ、任意の3D表面再構成法(例えば、ポアソン表面再構成)が標認点(複数可)の点群に適用されて、解剖学的モデルまたは患者の冠状動脈の最終的な管腔セグメンテーションを構築することができる。
いくつかの実施形態では、ステップ317は、解剖学的モデル及び/または血管の完全なセグメンテーション境界を電子記憶媒体(例えば、ハードドライブ、ネットワークドライブ、クラウドドライブ、携帯電話、タブレット、データベースなど)及び/またはディスプレイに出力することを含み得る。
本発明の他の実施形態は、本明細書の考察と本明細書に開示された本発明の実施とから、当業者には明らかであろう。本明細書及び実施例は例示的なものとしてのみ考慮されることを意図しており、本発明の真の範囲と趣旨とは添付の特許請求の範囲によって示される。

Claims (20)

  1. 画像解析における解剖学的構造のセグメンテーションのコンピュータ実施方法であって、前記方法は、
    患者の解剖学的構造の第1の画像データを受信することと、
    前記解剖学的構造の境界の推定を取得することと、
    前記解剖学的構造の中心線を決定することと、
    前記受信された第1の画像データから複数のフレームを抽出することであって、前記複数のフレームにおける各連続するフレームは、前記中心線に直交しかつ前記中心線の長さに沿ってそれぞれの連続点で前記中心線と交差するそれぞれの平面を画定し、各フレームは、複数のピクセルまたはボクセルから形成される、ことと、
    各フレームにおいて、前記中心線と前記それぞれの平面との交点に基づいて、前記解剖学的構造の中心点を決定することと、
    訓練された畳み込みニューラルネットワーク(CNN)を使用して、前記第1の画像データ、前記フレームの各々の前記決定された中心点、および前記解剖学的構造の前記境界の推定値に基づいて、前記第1の画像データにおける前記解剖学的構造の前記境界の複数の位置の予測を生成することであって、前記訓練されたCNNは、前記第1の画像データにおける前記解剖学的構造の前記境界の前記複数の位置の前記予測を生成するために、各中心点から複数の半径角度方向の各々に沿って前記複数のフレーム内の前記ピクセルまたはボクセルの強度値の回帰を実行するように構成されている、ことと
    を含む、コンピュータ実施方法。
  2. 前記訓練されたCNNは、(i)1つ以上の個体の前記解剖学的構造の第2の画像データ、(ii)前記1つ以上の個体の前記解剖学的構造の前記境界の1つ以上の推定値、および(iii)前記1つ以上の個体の前記解剖学的構造の前記境界の前記1つ以上の推定値と、前記境界の複数の位置との間の距離に基づいて、前記1つ以上の個体の前記境界の前記1つ以上の推定値と前記境界の前記複数の位置との間の関連を学習するように訓練されており、
    前記訓練されたCNNは、前記第1の画像データから抽出された前記複数のフレーム内の前記ピクセルまたはボクセルの前記強度値の前記回帰を実行するために前記学習された関連を使用するように構成されている、請求項1に記載のコンピュータ実施方法。
  3. 前記学習された関連は、前記第2の画像データの各フレームの1つ以上の中心点から前記複数の半径角度方向の各々に沿った前記第2の画像データにおける複数のフレーム内のピクセルまたはボクセルの強度値のさらなる回帰に基づいている、請求項1に記載の方法。
  4. 前記回帰は、連続回帰である、請求項1に記載の方法。
  5. 前記強度値の前記回帰は、
    前記第2の画像データにおける各フレームのそれぞれのセグメント内のピクセルまたはボクセルの行のうちの少なくとも第1の行に対して前記回帰を実行することと、
    ピクセルまたはボクセルの前記行を循環的に回転させることにより、最終行が前記第1の行の代わりとなるように再配列され、任意の残りの行が1だけシフトされるようにすることと、
    前記回帰が前記フレームの各行に対して実行されるまで、前記回帰および前記循環的回転の実行を繰り返すことと
    を含む、請求項1に記載の方法。
  6. 各フレームは、前記解剖学的構造のそれぞれのセグメントに対応している、請求項1に記載の方法。
  7. 前記解剖学的構造の前記境界の前記推定値は、メッシュ、ボクセル、陰関数曲面表現、または点群の形式である、請求項1に記載の方法。
  8. 各中心点の相対位置は、各フレームに対して固定されている、請求項1に記載の方法。
  9. 前記複数のフレームの前記複数の位置の前記予測は共に、点群を形成し、
    前記方法は、前記点群に基づいて、前記境界の連続表面を生成することをさらに含む、請求項1に記載の方法。
  10. 前記解剖学的構造は、血管を含む、請求項1に記載の方法。
  11. 前記境界は、血管管腔境界、血管管腔表面、またはこれらの組み合わせと関連付けられている、請求項10に記載の方法。
  12. 前記解剖学的構造の前記境界の前記複数の位置の前記予測は、サブピクセルまたはサブボクセルの精度を有する、請求項1に記載の方法。
  13. 画像解析における解剖学的構造のセグメンテーションのためのシステムであって、
    少なくとも1つのプロセッサと、
    前記プロセッサに作用可能に接続されたメモリと
    を備え、前記メモリは、
    訓練された畳み込みニューラルネットワーク(CNN)と、
    動作を実行するように前記プロセッサによって実行可能な命令と
    を記憶し、前記動作は、
    患者の解剖学的構造の第1の画像データを受信することと、
    前記解剖学的構造の境界の推定を取得することと、
    前記解剖学的構造の中心線を決定することと、
    前記受信された第1の画像データから複数のフレームを抽出することであって、前記複数のフレームにおける各連続するフレームは、前記中心線に直交しかつ前記中心線の長さに沿ってそれぞれの連続点で前記中心線と交差するそれぞれの平面を画定し、各フレームは、複数のピクセルまたはボクセルから形成されている、ことと、
    各フレームにおいて、前記中心線と前記それぞれの平面との交点に基づいて、前記解剖学的構造の中心点を決定することと、
    訓練された畳み込みニューラルネットワーク(CNN)を使用して、前記第1の画像データ、前記フレームの各々の前記決定された中心点、および前記解剖学的構造の前記境界の推定値に基づいて、前記第1の画像データにおける前記解剖学的構造の前記境界の複数の位置の予測を生成することと
    を含み、前記訓練されたCNNは、各フレームに対して、前記第1の画像データにおける前記解剖学的構造の前記境界の前記複数の位置の前記予測を生成するために、各中心点から複数の半径角度方向の各々に沿って前記フレームを含む複数の隣接フレーム内の前記ピクセルまたはボクセルの強度値の回帰を実行するように構成され、
    前記複数の隣接フレームは、前記フレームの近位の第1の複数のフレームと、前記フレームの遠位の複数のフレームとを含む、方法。
  14. 前記訓練されたCNNは、(i)1つ以上の個体の前記解剖学的構造の第2の画像データ、(ii)前記1つ以上の個体の前記解剖学的構造の前記境界の1つ以上の推定値、および(iii)前記1つ以上の個体の前記解剖学的構造の前記境界の前記1つ以上の推定値と、前記境界の複数の位置との間の距離に基づいて、前記1つ以上の個体の前記境界の前記1つ以上の推定値と前記境界の前記複数の位置との間の関連を学習するように訓練されており、
    前記訓練されたCNNは、前記第1の画像データから抽出された前記複数の隣接フレーム内の前記ピクセルまたはボクセルの前記強度値の前記回帰を実行するために前記学習された関連を使用するように構成されている、請求項13に記載のシステム。
  15. 前記学習された関連は、前記第2の画像データにおける各フレームに対して、前記第2の画像データの各フレームの1つ以上の中心点から前記複数の半径角度方向の各々に沿った前記フレームを含む複数の隣接フレーム内のピクセルまたはボクセルの強度値のさらなる回帰に基づいており、
    前記回帰および前記さらなる回帰は、連続回帰である、請求項13に記載の方法。
  16. 前記強度値の前記回帰は、
    前記第2の画像データにおける各フレームのそれぞれのセグメント内のピクセルまたはボクセルの行のうちの第1の行および少なくとも1つの隣接行に対して前記回帰を実行することと、
    ピクセルまたはボクセルの前記行を循環的に回転させることにより、最終行が前記第1の行の代わりとなるように再配列され、任意の残りの行が1だけシフトされるようにすることと、
    前記回帰が前記フレームの各行に対して実行されるまで、前記回帰および前記循環的回転の実行を繰り返すことと
    を含む、請求項13に記載のシステム。
  17. 前記解剖学的構造の前記境界の前記推定値は、メッシュ、ボクセル、陰関数曲面表現、または点群の形式であり、
    前記複数のフレームの前記複数の位置の前記予測は共に、点群を形成し、
    前記動作は、前記点群に基づいて、前記境界の連続表面を生成することをさらに含む、請求項13に記載のシステム。
  18. 前記解剖学的構造は、血管を含み、
    前記境界は、血管管腔境界、血管管腔表面、またはこれらの組み合わせと関連付けられており、
    前記解剖学的構造の前記境界の前記複数の位置の前記予測は、サブピクセルまたはサブボクセルの精度を有する、請求項1に記載の方法。
  19. 画像解析における解剖学的構造のセグメンテーションのためのコンピュータ実行可能プログラミング命令と訓練された畳み込みニューラルネットワーク(CNN)とを含むコンピュータシステム上で使用するための非一時的コンピュータ可読媒体であって、前記命令は、
    患者の解剖学的構造の第1の画像データを受信することと、
    前記解剖学的構造の境界の推定を取得することと、
    前記解剖学的構造の中心線を決定することと、
    前記受信された第1の画像データから複数のフレームを抽出することであって、前記複数のフレームにおける各連続するフレームは、前記中心線に直交しかつ前記中心線の長さに沿ってそれぞれの連続点で前記中心線と交差するそれぞれの平面を画定し、各フレームは、複数のピクセルまたはボクセルから形成される、ことと、
    各フレームにおいて、前記中心線と前記それぞれの平面との交点に基づいて、前記解剖学的構造の中心点を決定することと、
    訓練された畳み込みニューラルネットワーク(CNN)を使用して、前記第1の画像データ、前記フレームの各々の前記決定された中心点、および前記解剖学的構造の前記境界の推定値に基づいて、前記第1の画像データにおける前記解剖学的構造の前記境界の複数の位置の予測を生成することと
    を含む動作を実行し、前記訓練されたCNNは、前記第1の画像データにおける前記解剖学的構造の前記境界の前記複数の位置の前記予測を生成するために、各中心点から複数の半径角度方向の各々に沿って前記複数のフレーム内の前記ピクセルまたはボクセルの強度値の回帰を実行するように構成されている、非一時的コンピュータ可読媒体。
  20. 前記訓練されたCNNは、(i)1つ以上の個体の前記解剖学的構造の第2の画像データ、(ii)前記1つ以上の個体の前記解剖学的構造の前記境界の1つ以上の推定値、および(iii)前記1つ以上の個体の前記解剖学的構造の前記境界の前記1つ以上の推定値と、前記境界の複数の位置との間の距離に基づいて、前記1つ以上の個体の前記境界の前記1つ以上の推定値と前記境界の前記複数の位置との間の関連を学習するように訓練されており、
    前記訓練されたCNNは、前記第1の画像データから抽出された前記複数のフレーム内の前記ピクセルまたはボクセルの前記強度値の前記回帰を実行するために前記学習された関連を使用するように構成されている、請求項19に記載の非一時的コンピュータ可読媒体。
JP2022162262A 2017-05-09 2022-10-07 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 Active JP7453309B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024034822A JP2024069343A (ja) 2017-05-09 2024-03-07 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762503838P 2017-05-09 2017-05-09
US62/503,838 2017-05-09
PCT/US2018/031817 WO2018208927A1 (en) 2017-05-09 2018-05-09 Systems and methods for anatomic structure segmentation in image analysis
JP2019561293A JP7157765B2 (ja) 2017-05-09 2018-05-09 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019561293A Division JP7157765B2 (ja) 2017-05-09 2018-05-09 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024034822A Division JP2024069343A (ja) 2017-05-09 2024-03-07 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2022191354A true JP2022191354A (ja) 2022-12-27
JP7453309B2 JP7453309B2 (ja) 2024-03-19

Family

ID=62486641

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019561293A Active JP7157765B2 (ja) 2017-05-09 2018-05-09 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法
JP2022162262A Active JP7453309B2 (ja) 2017-05-09 2022-10-07 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法
JP2024034822A Pending JP2024069343A (ja) 2017-05-09 2024-03-07 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019561293A Active JP7157765B2 (ja) 2017-05-09 2018-05-09 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024034822A Pending JP2024069343A (ja) 2017-05-09 2024-03-07 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法

Country Status (5)

Country Link
US (5) US10803592B2 (ja)
EP (2) EP3635683B1 (ja)
JP (3) JP7157765B2 (ja)
CN (2) CN118334070A (ja)
WO (1) WO2018208927A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017199246A1 (en) 2016-05-16 2017-11-23 Cathworks Ltd. Vascular selection from images
JP7036742B2 (ja) 2016-05-16 2022-03-15 キャスワークス リミテッド 血管評価システム
US10803592B2 (en) 2017-05-09 2020-10-13 Heartflow, Inc. Systems and methods for anatomic structure segmentation in image analysis
US10783699B2 (en) * 2018-02-16 2020-09-22 AI Analysis, Inc. Sub-voxel refinement of anatomical models
JP7204326B2 (ja) * 2018-01-15 2023-01-16 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
US10813612B2 (en) 2019-01-25 2020-10-27 Cleerly, Inc. Systems and method of characterizing high risk plaques
WO2020201942A1 (en) 2019-04-01 2020-10-08 Cathworks Ltd. Methods and apparatus for angiographic image selection
CA3132685A1 (en) * 2019-04-08 2020-10-15 Yufan HE A neural-network-driven topology for optical coherence tomography segmentation
EP3760125A1 (en) * 2019-07-05 2021-01-06 Koninklijke Philips N.V. Self-learning distributed system with automated ground-truth generation
US12039685B2 (en) 2019-09-23 2024-07-16 Cathworks Ltd. Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device
JP2023509514A (ja) 2020-01-07 2023-03-08 クリールリー、 インコーポレーテッド 医用画像分析、診断、重症度分類、意思決定、および/または疾患追跡のためのシステム、方法、およびデバイス
US20220392065A1 (en) 2020-01-07 2022-12-08 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
US11969280B2 (en) 2020-01-07 2024-04-30 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
CN111369542B (zh) * 2020-03-06 2023-07-28 上海联影智能医疗科技有限公司 血管标记方法、图像处理系统和存储介质
US11379697B2 (en) 2020-05-20 2022-07-05 Bank Of America Corporation Field programmable gate array architecture for image analysis
US11295430B2 (en) 2020-05-20 2022-04-05 Bank Of America Corporation Image analysis architecture employing logical operations
CN111768399A (zh) * 2020-07-07 2020-10-13 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN116113973A (zh) * 2020-08-06 2023-05-12 现代自动车株式会社 使用基于深度学习的帧间预测的视频编码与解码
CN112562031B (zh) * 2020-12-09 2022-09-27 山西三友和智慧信息技术股份有限公司 一种基于样本距离重构的核磁共振图像聚类方法
CN114693532A (zh) * 2020-12-28 2022-07-01 富泰华工业(深圳)有限公司 图像校正方法及相关设备
CN112766314B (zh) * 2020-12-31 2024-05-28 上海联影智能医疗科技有限公司 解剖结构的识别方法、电子设备及存储介质
CN112734784B (zh) * 2021-01-28 2024-07-19 依未科技(北京)有限公司 一种高精度眼底血管边界确定的方法、装置、介质和设备
CN113240645B (zh) * 2021-05-17 2024-04-16 赤峰学院附属医院 显示处理方法、装置、存储介质、处理器及终端设备
CN113192062A (zh) * 2021-05-25 2021-07-30 湖北工业大学 一种基于图像复原的动脉斑块超声图像自监督分割方法
US11948306B2 (en) * 2021-10-08 2024-04-02 Xerox Corporation Curvilinear object segmentation
US20230289963A1 (en) 2022-03-10 2023-09-14 Cleerly, Inc. Systems, devices, and methods for non-invasive image-based plaque analysis and risk determination
CN114998291B (zh) * 2022-06-21 2024-10-22 北京银河方圆科技有限公司 一种医学图像的处理方法、装置及存储介质
US20240245385A1 (en) * 2023-01-19 2024-07-25 Boston Scientific Scimed Inc. Click-to-correct for automatic vessel lumen border tracing
CN116912430B (zh) * 2023-09-14 2023-12-15 北京唯迈医疗设备有限公司 用于构建远程介入手术室的三维数字孪生系统的装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246941A (ja) * 2005-03-08 2006-09-21 Toshiba Corp 画像処理装置及び管走行トラッキング方法
JP2018501898A (ja) * 2015-01-16 2018-01-25 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 血管腔サブ解像度セグメンテーション
JP2020520005A (ja) * 2017-05-09 2020-07-02 ハートフロー, インコーポレイテッド 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593550B2 (en) * 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
CA2449080A1 (en) * 2003-11-13 2005-05-13 Centre Hospitalier De L'universite De Montreal - Chum Apparatus and method for intravascular ultrasound image segmentation: a fast-marching method
JP4500138B2 (ja) * 2004-09-07 2010-07-14 オリンパス株式会社 細胞画像解析方法
US8103077B2 (en) * 2006-12-11 2012-01-24 Siemens Aktiengesellschaft Method and system for locating opaque regions in chest X-ray radiographs
US8463006B2 (en) * 2007-04-17 2013-06-11 Francine J. Prokoski System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps
US8175348B2 (en) * 2007-06-05 2012-05-08 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Segmenting colon wall via level set techniques
US8577115B2 (en) * 2008-03-04 2013-11-05 Tomotherapy Incorporated Method and system for improved image segmentation
US8073220B2 (en) * 2009-04-20 2011-12-06 Siemens Aktiengesellschaft Methods and systems for fully automatic segmentation of medical images
JP5624481B2 (ja) * 2010-02-03 2014-11-12 株式会社東芝 超音波診断装置及び医用画像処理装置
JP5931755B2 (ja) * 2010-03-11 2016-06-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. モデルベースのセグメント化の確率向上
US9489743B2 (en) * 2013-03-13 2016-11-08 Mecommerce, Inc. Determining dimension of target object in an image using reference object
US9218542B2 (en) * 2013-08-09 2015-12-22 Siemens Medical Solutions Usa, Inc. Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy
WO2015082269A1 (en) * 2013-12-04 2015-06-11 Koninklijke Philips N.V. Model-based segmentation of an anatomical structure.
JP6355346B2 (ja) * 2014-01-29 2018-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
CN106605257B (zh) * 2014-06-09 2019-10-11 西门子保健有限责任公司 医学成像中具有空间和时间约束的界标检测
US9949643B2 (en) * 2014-10-18 2018-04-24 International Business Machines Corporation Automatic visualization of regional functional parameters of left ventricle from cardiac imaging
US9349178B1 (en) * 2014-11-24 2016-05-24 Siemens Aktiengesellschaft Synthetic data-driven hemodynamic determination in medical imaging
JP6734028B2 (ja) * 2014-11-14 2020-08-05 キヤノンメディカルシステムズ株式会社 医用画像診断装置、画像処理装置及び画像生成方法
US9990472B2 (en) * 2015-03-23 2018-06-05 Ohio State Innovation Foundation System and method for segmentation and automated measurement of chronic wound images
US20170061258A1 (en) * 2015-08-25 2017-03-02 Nokia Technologies Oy Method, apparatus, and computer program product for precluding image capture of an image presented on a display
US9754378B2 (en) * 2016-01-21 2017-09-05 Molecular Devices, Llc System and method for segmentation of three-dimensional microscope images
US10366490B2 (en) * 2017-03-27 2019-07-30 Siemens Healthcare Gmbh Highly integrated annotation and segmentation system for medical imaging
EP3392832A1 (en) * 2017-04-21 2018-10-24 General Electric Company Automated organ risk segmentation machine learning methods and systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246941A (ja) * 2005-03-08 2006-09-21 Toshiba Corp 画像処理装置及び管走行トラッキング方法
JP2018501898A (ja) * 2015-01-16 2018-01-25 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 血管腔サブ解像度セグメンテーション
JP2020520005A (ja) * 2017-05-09 2020-07-02 ハートフロー, インコーポレイテッド 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法

Also Published As

Publication number Publication date
EP3635683B1 (en) 2022-07-06
JP2020520005A (ja) 2020-07-02
CN110914866B (zh) 2024-04-30
US10803592B2 (en) 2020-10-13
US10984535B2 (en) 2021-04-20
CN110914866A (zh) 2020-03-24
US20230196582A1 (en) 2023-06-22
US20210225006A1 (en) 2021-07-22
US20200402241A1 (en) 2020-12-24
US12112483B2 (en) 2024-10-08
WO2018208927A1 (en) 2018-11-15
CN118334070A (zh) 2024-07-12
JP7157765B2 (ja) 2022-10-20
US20180330506A1 (en) 2018-11-15
EP3635683A1 (en) 2020-04-15
US11288813B2 (en) 2022-03-29
US11610318B2 (en) 2023-03-21
JP7453309B2 (ja) 2024-03-19
EP4068203A1 (en) 2022-10-05
US20210374969A1 (en) 2021-12-02
JP2024069343A (ja) 2024-05-21

Similar Documents

Publication Publication Date Title
JP7453309B2 (ja) 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法
US12125261B2 (en) Systems and methods for probabilistic segmentation in anatomical image processing
US11288808B2 (en) System and method for n-dimensional image segmentation using convolutional neural networks
US11681952B2 (en) System for augmenting image data of medically invasive devices using optical imaging
EP3123447B1 (en) Systems and methods for data and model-driven image reconstruction and enhancement
CN110648358B (zh) 用于3d医学图像中的对象定位的形状参数的自适应非线性优化
US12100075B2 (en) Image reconstruction by modeling image formation as one or more neural networks
CN116433734A (zh) 一种多模态影像引导放射治疗的配准方法
JP7548296B2 (ja) 管状フィーチャのセグメント化
EP4300414A1 (en) Transferring marker locations from a reference image to a follow-up medical image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240307

R150 Certificate of patent or registration of utility model

Ref document number: 7453309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150