JP2022191354A - 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 - Google Patents
画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 Download PDFInfo
- Publication number
- JP2022191354A JP2022191354A JP2022162262A JP2022162262A JP2022191354A JP 2022191354 A JP2022191354 A JP 2022191354A JP 2022162262 A JP2022162262 A JP 2022162262A JP 2022162262 A JP2022162262 A JP 2022162262A JP 2022191354 A JP2022191354 A JP 2022191354A
- Authority
- JP
- Japan
- Prior art keywords
- anatomy
- boundaries
- image data
- regression
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003484 anatomy Anatomy 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000011218 segmentation Effects 0.000 title claims abstract description 61
- 238000010191 image analysis Methods 0.000 title claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 29
- 210000004204 blood vessel Anatomy 0.000 claims description 10
- 238000012549 training Methods 0.000 abstract description 31
- 238000013507 mapping Methods 0.000 description 19
- 210000004351 coronary vessel Anatomy 0.000 description 18
- 238000012360 testing method Methods 0.000 description 13
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000002583 angiography Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 210000005166 vasculature Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 210000001765 aortic valve Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000004789 organ system Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Nuclear Medicine (AREA)
Abstract
Description
この出願は、2017年5月9日に出願された米国仮特許出願第62/503,838号に対する優先権を主張するものであり、この米国仮特許出願の開示全体は参照によりその全体が本明細書に援用される。
本発明は、例えば、以下の項目を提供する。
(項目1)
画像解析における解剖学的構造のセグメンテーションのコンピュータ実施方法であって、
1つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、
複数の前記キーポイントから前記解剖学的構造の境界までの距離を計算すること、
患者の生体構造の画像における前記解剖学的構造内の境界を予測するために、1つ以上の前記画像のデータと計算された前記距離とを使用してモデルを訓練すること、
前記解剖学的構造を含む前記患者の生体構造の前記画像を受信すること、
前記患者の生体構造の前記画像における前記解剖学的構造内のセグメンテーション境界を推定すること、及び
訓練済みの前記モデルを使用して、前記患者の生体構造の前記画像における前記解剖学的構造内のキーポイントから、推定された前記境界までの距離の回帰を生成することによって、前記患者の生体構造の画像における前記解剖学的構造内の境界位置を予測することを含む前記コンピュータ実施方法。
(項目2)
前記解剖学的構造の前記注釈が、メッシュ、ボクセル、陰関数曲面表現、または点群の形式である、項目1に記載のコンピュータ実施方法。
(項目3)
前記解剖学的構造内の受信した前記キーポイントの位置が既知である、項目1に記載のコンピュータ実施方法。
(項目4)
形状モデルを前記解剖学的構造に適合させて、複数の前記キーポイントの前記位置を判定することをさらに含む、項目1に記載のコンピュータ実施方法。
(項目5)
前記画像座標が連続的である、項目1に記載のコンピュータ実施方法。
(項目6)
前記マッピングが、複数の極次元から、または1つの次元の極形式と1つ以上の追加の次元の線形形式とから行われる、項目1に記載のコンピュータ実施方法。
(項目7)
前記モデルを訓練する前に、計算された前記距離に関連付けられた光線に沿った画像強度を判定することをさらに含み、前記距離に関連付けられた前記光線が前記ユークリッド空間内の固定位置にある、項目1に記載のコンピュータ実施方法。
(項目8)
前記境界位置を予測することが、前記患者の生体構造の前記画像における前記解剖学的構造内のキーポイントから、推定された前記境界までの前記距離の間接的表現を予測することを含む、項目1に記載のコンピュータ実施方法。
(項目9)
前記患者の生体構造の前記画像における前記解剖学的構造の前記セグメンテーション境界を推定することが、前記解剖学的構造内のキーポイントのセットを取得することを含む、項目1に記載のコンピュータ実施方法。
(項目10)
前記患者の生体構造の前記画像における前記解剖学的構造内の予測された前記境界位置が、サブボクセルの正確な境界位置である、項目1に記載のコンピュータ実施方法。
(項目11)
予測された前記境界位置に基づいて3次元表面を構築することをさらに含む、項目1に記載のコンピュータ実施方法。
(項目12)
予測された前記境界位置を電子記憶媒体に出力することをさらに含む、項目1に記載のコンピュータ実施方法。
(項目13)
前記解剖学的構造が血管を含み、前記患者の生体構造が前記患者の脈管構造の血管を含む、項目1に記載のコンピュータ実施方法。
(項目14)
前記解剖学的構造の前記注釈が、血管管腔境界、血管管腔中心線、血管管腔表面、またはこれらの組み合わせを含む、項目1に記載のコンピュータ実施方法。
(項目15)
1つ以上の前記画像内の複数の画像座標からユークリッド空間へのマッピングを定義することをさらに含み、複数の前記画像座標が前記ユークリッド空間における光線内にあり、複数の前記キーポイントの1つが前記光線のそれぞれの上にあり、前記距離を計算することが、前記光線のそれぞれの上の複数の前記キーポイントから、前記解剖学的構造の前記境界までの距離を計算することを含む、項目1に記載のコンピュータ実施方法。
(項目16)
生成された前記回帰が連続値である、項目1に記載のコンピュータ実施方法。
(項目17)
画像解析における解剖学的構造のセグメンテーションのためのシステムであって、
解剖学的構造のセグメンテーションのための命令を格納するデータ記憶装置と、
前記命令を実行して、
1つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、
複数の前記キーポイントから前記解剖学的構造の境界までの距離を計算すること、
患者の生体構造の画像における前記解剖学的構造内の境界を予測するために、1つ以上の前記画像のデータと計算された前記距離とを使用してモデルを訓練すること、
前記解剖学的構造を含む前記患者の生体構造の前記画像を受信すること、
前記患者の生体構造の前記画像における前記解剖学的構造内のセグメンテーション境界を推定すること、及び
訓練済みの前記モデルを使用して、前記患者の生体構造の前記画像における前記解剖学的構造内のキーポイントから、推定された前記境界までの距離の回帰を生成することによって、前記患者の生体構造の画像における前記解剖学的構造内の境界位置を予測すること
を含む方法を実行するように構成されたプロセッサと、を備える前記システム。
(項目18)
前記解剖学的構造が血管を含み、前記患者の生体構造が前記患者の脈管構造の血管を含む、項目17に記載のシステム。
(項目19)
前記患者の生体構造の前記画像における前記解剖学的構造内の予測された前記境界位置が、サブボクセルの正確な境界位置である、項目17に記載のシステム。
(項目20)
画像解析における解剖学的構造のセグメンテーションの方法を実施するためのコンピュータ実行可能プログラミング命令を含むコンピュータシステム上で使用するための非一時的コンピュータ可読媒体であって、前記方法が、
1つ以上の画像における解剖学的構造の注釈と複数のキーポイントとを受信すること、
複数の前記キーポイントから前記解剖学的構造の境界までの距離を計算すること、
患者の生体構造の画像における前記解剖学的構造内の境界を予測するために、1つ以上の前記画像のデータと計算された前記距離とを使用してモデルを訓練すること、
前記解剖学的構造を含む前記患者の生体構造の前記画像を受信すること、
前記患者の生体構造の前記画像における前記解剖学的構造内のセグメンテーション境界を推定すること、及び
訓練済みの前記モデルを使用して、前記患者の生体構造の前記画像における前記解剖学的構造内のキーポイントから、推定された前記境界までの距離の回帰を生成することによって、前記患者の生体構造の画像における前記解剖学的構造内の境界位置を予測することを含む前記非一時的コンピュータ可読媒体。
Claims (20)
- 画像解析における解剖学的構造のセグメンテーションのコンピュータ実施方法であって、前記方法は、
患者の解剖学的構造の第1の画像データを受信することと、
前記解剖学的構造の境界の推定を取得することと、
前記解剖学的構造の中心線を決定することと、
前記受信された第1の画像データから複数のフレームを抽出することであって、前記複数のフレームにおける各連続するフレームは、前記中心線に直交しかつ前記中心線の長さに沿ってそれぞれの連続点で前記中心線と交差するそれぞれの平面を画定し、各フレームは、複数のピクセルまたはボクセルから形成される、ことと、
各フレームにおいて、前記中心線と前記それぞれの平面との交点に基づいて、前記解剖学的構造の中心点を決定することと、
訓練された畳み込みニューラルネットワーク(CNN)を使用して、前記第1の画像データ、前記フレームの各々の前記決定された中心点、および前記解剖学的構造の前記境界の推定値に基づいて、前記第1の画像データにおける前記解剖学的構造の前記境界の複数の位置の予測を生成することであって、前記訓練されたCNNは、前記第1の画像データにおける前記解剖学的構造の前記境界の前記複数の位置の前記予測を生成するために、各中心点から複数の半径角度方向の各々に沿って前記複数のフレーム内の前記ピクセルまたはボクセルの強度値の回帰を実行するように構成されている、ことと
を含む、コンピュータ実施方法。 - 前記訓練されたCNNは、(i)1つ以上の個体の前記解剖学的構造の第2の画像データ、(ii)前記1つ以上の個体の前記解剖学的構造の前記境界の1つ以上の推定値、および(iii)前記1つ以上の個体の前記解剖学的構造の前記境界の前記1つ以上の推定値と、前記境界の複数の位置との間の距離に基づいて、前記1つ以上の個体の前記境界の前記1つ以上の推定値と前記境界の前記複数の位置との間の関連を学習するように訓練されており、
前記訓練されたCNNは、前記第1の画像データから抽出された前記複数のフレーム内の前記ピクセルまたはボクセルの前記強度値の前記回帰を実行するために前記学習された関連を使用するように構成されている、請求項1に記載のコンピュータ実施方法。 - 前記学習された関連は、前記第2の画像データの各フレームの1つ以上の中心点から前記複数の半径角度方向の各々に沿った前記第2の画像データにおける複数のフレーム内のピクセルまたはボクセルの強度値のさらなる回帰に基づいている、請求項1に記載の方法。
- 前記回帰は、連続回帰である、請求項1に記載の方法。
- 前記強度値の前記回帰は、
前記第2の画像データにおける各フレームのそれぞれのセグメント内のピクセルまたはボクセルの行のうちの少なくとも第1の行に対して前記回帰を実行することと、
ピクセルまたはボクセルの前記行を循環的に回転させることにより、最終行が前記第1の行の代わりとなるように再配列され、任意の残りの行が1だけシフトされるようにすることと、
前記回帰が前記フレームの各行に対して実行されるまで、前記回帰および前記循環的回転の実行を繰り返すことと
を含む、請求項1に記載の方法。 - 各フレームは、前記解剖学的構造のそれぞれのセグメントに対応している、請求項1に記載の方法。
- 前記解剖学的構造の前記境界の前記推定値は、メッシュ、ボクセル、陰関数曲面表現、または点群の形式である、請求項1に記載の方法。
- 各中心点の相対位置は、各フレームに対して固定されている、請求項1に記載の方法。
- 前記複数のフレームの前記複数の位置の前記予測は共に、点群を形成し、
前記方法は、前記点群に基づいて、前記境界の連続表面を生成することをさらに含む、請求項1に記載の方法。 - 前記解剖学的構造は、血管を含む、請求項1に記載の方法。
- 前記境界は、血管管腔境界、血管管腔表面、またはこれらの組み合わせと関連付けられている、請求項10に記載の方法。
- 前記解剖学的構造の前記境界の前記複数の位置の前記予測は、サブピクセルまたはサブボクセルの精度を有する、請求項1に記載の方法。
- 画像解析における解剖学的構造のセグメンテーションのためのシステムであって、
少なくとも1つのプロセッサと、
前記プロセッサに作用可能に接続されたメモリと
を備え、前記メモリは、
訓練された畳み込みニューラルネットワーク(CNN)と、
動作を実行するように前記プロセッサによって実行可能な命令と
を記憶し、前記動作は、
患者の解剖学的構造の第1の画像データを受信することと、
前記解剖学的構造の境界の推定を取得することと、
前記解剖学的構造の中心線を決定することと、
前記受信された第1の画像データから複数のフレームを抽出することであって、前記複数のフレームにおける各連続するフレームは、前記中心線に直交しかつ前記中心線の長さに沿ってそれぞれの連続点で前記中心線と交差するそれぞれの平面を画定し、各フレームは、複数のピクセルまたはボクセルから形成されている、ことと、
各フレームにおいて、前記中心線と前記それぞれの平面との交点に基づいて、前記解剖学的構造の中心点を決定することと、
訓練された畳み込みニューラルネットワーク(CNN)を使用して、前記第1の画像データ、前記フレームの各々の前記決定された中心点、および前記解剖学的構造の前記境界の推定値に基づいて、前記第1の画像データにおける前記解剖学的構造の前記境界の複数の位置の予測を生成することと
を含み、前記訓練されたCNNは、各フレームに対して、前記第1の画像データにおける前記解剖学的構造の前記境界の前記複数の位置の前記予測を生成するために、各中心点から複数の半径角度方向の各々に沿って前記フレームを含む複数の隣接フレーム内の前記ピクセルまたはボクセルの強度値の回帰を実行するように構成され、
前記複数の隣接フレームは、前記フレームの近位の第1の複数のフレームと、前記フレームの遠位の複数のフレームとを含む、方法。 - 前記訓練されたCNNは、(i)1つ以上の個体の前記解剖学的構造の第2の画像データ、(ii)前記1つ以上の個体の前記解剖学的構造の前記境界の1つ以上の推定値、および(iii)前記1つ以上の個体の前記解剖学的構造の前記境界の前記1つ以上の推定値と、前記境界の複数の位置との間の距離に基づいて、前記1つ以上の個体の前記境界の前記1つ以上の推定値と前記境界の前記複数の位置との間の関連を学習するように訓練されており、
前記訓練されたCNNは、前記第1の画像データから抽出された前記複数の隣接フレーム内の前記ピクセルまたはボクセルの前記強度値の前記回帰を実行するために前記学習された関連を使用するように構成されている、請求項13に記載のシステム。 - 前記学習された関連は、前記第2の画像データにおける各フレームに対して、前記第2の画像データの各フレームの1つ以上の中心点から前記複数の半径角度方向の各々に沿った前記フレームを含む複数の隣接フレーム内のピクセルまたはボクセルの強度値のさらなる回帰に基づいており、
前記回帰および前記さらなる回帰は、連続回帰である、請求項13に記載の方法。 - 前記強度値の前記回帰は、
前記第2の画像データにおける各フレームのそれぞれのセグメント内のピクセルまたはボクセルの行のうちの第1の行および少なくとも1つの隣接行に対して前記回帰を実行することと、
ピクセルまたはボクセルの前記行を循環的に回転させることにより、最終行が前記第1の行の代わりとなるように再配列され、任意の残りの行が1だけシフトされるようにすることと、
前記回帰が前記フレームの各行に対して実行されるまで、前記回帰および前記循環的回転の実行を繰り返すことと
を含む、請求項13に記載のシステム。 - 前記解剖学的構造の前記境界の前記推定値は、メッシュ、ボクセル、陰関数曲面表現、または点群の形式であり、
前記複数のフレームの前記複数の位置の前記予測は共に、点群を形成し、
前記動作は、前記点群に基づいて、前記境界の連続表面を生成することをさらに含む、請求項13に記載のシステム。 - 前記解剖学的構造は、血管を含み、
前記境界は、血管管腔境界、血管管腔表面、またはこれらの組み合わせと関連付けられており、
前記解剖学的構造の前記境界の前記複数の位置の前記予測は、サブピクセルまたはサブボクセルの精度を有する、請求項1に記載の方法。 - 画像解析における解剖学的構造のセグメンテーションのためのコンピュータ実行可能プログラミング命令と訓練された畳み込みニューラルネットワーク(CNN)とを含むコンピュータシステム上で使用するための非一時的コンピュータ可読媒体であって、前記命令は、
患者の解剖学的構造の第1の画像データを受信することと、
前記解剖学的構造の境界の推定を取得することと、
前記解剖学的構造の中心線を決定することと、
前記受信された第1の画像データから複数のフレームを抽出することであって、前記複数のフレームにおける各連続するフレームは、前記中心線に直交しかつ前記中心線の長さに沿ってそれぞれの連続点で前記中心線と交差するそれぞれの平面を画定し、各フレームは、複数のピクセルまたはボクセルから形成される、ことと、
各フレームにおいて、前記中心線と前記それぞれの平面との交点に基づいて、前記解剖学的構造の中心点を決定することと、
訓練された畳み込みニューラルネットワーク(CNN)を使用して、前記第1の画像データ、前記フレームの各々の前記決定された中心点、および前記解剖学的構造の前記境界の推定値に基づいて、前記第1の画像データにおける前記解剖学的構造の前記境界の複数の位置の予測を生成することと
を含む動作を実行し、前記訓練されたCNNは、前記第1の画像データにおける前記解剖学的構造の前記境界の前記複数の位置の前記予測を生成するために、各中心点から複数の半径角度方向の各々に沿って前記複数のフレーム内の前記ピクセルまたはボクセルの強度値の回帰を実行するように構成されている、非一時的コンピュータ可読媒体。 - 前記訓練されたCNNは、(i)1つ以上の個体の前記解剖学的構造の第2の画像データ、(ii)前記1つ以上の個体の前記解剖学的構造の前記境界の1つ以上の推定値、および(iii)前記1つ以上の個体の前記解剖学的構造の前記境界の前記1つ以上の推定値と、前記境界の複数の位置との間の距離に基づいて、前記1つ以上の個体の前記境界の前記1つ以上の推定値と前記境界の前記複数の位置との間の関連を学習するように訓練されており、
前記訓練されたCNNは、前記第1の画像データから抽出された前記複数のフレーム内の前記ピクセルまたはボクセルの前記強度値の前記回帰を実行するために前記学習された関連を使用するように構成されている、請求項19に記載の非一時的コンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024034822A JP2024069343A (ja) | 2017-05-09 | 2024-03-07 | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762503838P | 2017-05-09 | 2017-05-09 | |
US62/503,838 | 2017-05-09 | ||
PCT/US2018/031817 WO2018208927A1 (en) | 2017-05-09 | 2018-05-09 | Systems and methods for anatomic structure segmentation in image analysis |
JP2019561293A JP7157765B2 (ja) | 2017-05-09 | 2018-05-09 | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019561293A Division JP7157765B2 (ja) | 2017-05-09 | 2018-05-09 | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024034822A Division JP2024069343A (ja) | 2017-05-09 | 2024-03-07 | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022191354A true JP2022191354A (ja) | 2022-12-27 |
JP7453309B2 JP7453309B2 (ja) | 2024-03-19 |
Family
ID=62486641
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019561293A Active JP7157765B2 (ja) | 2017-05-09 | 2018-05-09 | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 |
JP2022162262A Active JP7453309B2 (ja) | 2017-05-09 | 2022-10-07 | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 |
JP2024034822A Pending JP2024069343A (ja) | 2017-05-09 | 2024-03-07 | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019561293A Active JP7157765B2 (ja) | 2017-05-09 | 2018-05-09 | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024034822A Pending JP2024069343A (ja) | 2017-05-09 | 2024-03-07 | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (5) | US10803592B2 (ja) |
EP (2) | EP3635683B1 (ja) |
JP (3) | JP7157765B2 (ja) |
CN (2) | CN118334070A (ja) |
WO (1) | WO2018208927A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017199246A1 (en) | 2016-05-16 | 2017-11-23 | Cathworks Ltd. | Vascular selection from images |
JP7036742B2 (ja) | 2016-05-16 | 2022-03-15 | キャスワークス リミテッド | 血管評価システム |
US10803592B2 (en) | 2017-05-09 | 2020-10-13 | Heartflow, Inc. | Systems and methods for anatomic structure segmentation in image analysis |
US10783699B2 (en) * | 2018-02-16 | 2020-09-22 | AI Analysis, Inc. | Sub-voxel refinement of anatomical models |
JP7204326B2 (ja) * | 2018-01-15 | 2023-01-16 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム |
US10813612B2 (en) | 2019-01-25 | 2020-10-27 | Cleerly, Inc. | Systems and method of characterizing high risk plaques |
WO2020201942A1 (en) | 2019-04-01 | 2020-10-08 | Cathworks Ltd. | Methods and apparatus for angiographic image selection |
CA3132685A1 (en) * | 2019-04-08 | 2020-10-15 | Yufan HE | A neural-network-driven topology for optical coherence tomography segmentation |
EP3760125A1 (en) * | 2019-07-05 | 2021-01-06 | Koninklijke Philips N.V. | Self-learning distributed system with automated ground-truth generation |
US12039685B2 (en) | 2019-09-23 | 2024-07-16 | Cathworks Ltd. | Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device |
JP2023509514A (ja) | 2020-01-07 | 2023-03-08 | クリールリー、 インコーポレーテッド | 医用画像分析、診断、重症度分類、意思決定、および/または疾患追跡のためのシステム、方法、およびデバイス |
US20220392065A1 (en) | 2020-01-07 | 2022-12-08 | Cleerly, Inc. | Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking |
US11969280B2 (en) | 2020-01-07 | 2024-04-30 | Cleerly, Inc. | Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking |
CN111369542B (zh) * | 2020-03-06 | 2023-07-28 | 上海联影智能医疗科技有限公司 | 血管标记方法、图像处理系统和存储介质 |
US11379697B2 (en) | 2020-05-20 | 2022-07-05 | Bank Of America Corporation | Field programmable gate array architecture for image analysis |
US11295430B2 (en) | 2020-05-20 | 2022-04-05 | Bank Of America Corporation | Image analysis architecture employing logical operations |
CN111768399A (zh) * | 2020-07-07 | 2020-10-13 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN116113973A (zh) * | 2020-08-06 | 2023-05-12 | 现代自动车株式会社 | 使用基于深度学习的帧间预测的视频编码与解码 |
CN112562031B (zh) * | 2020-12-09 | 2022-09-27 | 山西三友和智慧信息技术股份有限公司 | 一种基于样本距离重构的核磁共振图像聚类方法 |
CN114693532A (zh) * | 2020-12-28 | 2022-07-01 | 富泰华工业(深圳)有限公司 | 图像校正方法及相关设备 |
CN112766314B (zh) * | 2020-12-31 | 2024-05-28 | 上海联影智能医疗科技有限公司 | 解剖结构的识别方法、电子设备及存储介质 |
CN112734784B (zh) * | 2021-01-28 | 2024-07-19 | 依未科技(北京)有限公司 | 一种高精度眼底血管边界确定的方法、装置、介质和设备 |
CN113240645B (zh) * | 2021-05-17 | 2024-04-16 | 赤峰学院附属医院 | 显示处理方法、装置、存储介质、处理器及终端设备 |
CN113192062A (zh) * | 2021-05-25 | 2021-07-30 | 湖北工业大学 | 一种基于图像复原的动脉斑块超声图像自监督分割方法 |
US11948306B2 (en) * | 2021-10-08 | 2024-04-02 | Xerox Corporation | Curvilinear object segmentation |
US20230289963A1 (en) | 2022-03-10 | 2023-09-14 | Cleerly, Inc. | Systems, devices, and methods for non-invasive image-based plaque analysis and risk determination |
CN114998291B (zh) * | 2022-06-21 | 2024-10-22 | 北京银河方圆科技有限公司 | 一种医学图像的处理方法、装置及存储介质 |
US20240245385A1 (en) * | 2023-01-19 | 2024-07-25 | Boston Scientific Scimed Inc. | Click-to-correct for automatic vessel lumen border tracing |
CN116912430B (zh) * | 2023-09-14 | 2023-12-15 | 北京唯迈医疗设备有限公司 | 用于构建远程介入手术室的三维数字孪生系统的装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006246941A (ja) * | 2005-03-08 | 2006-09-21 | Toshiba Corp | 画像処理装置及び管走行トラッキング方法 |
JP2018501898A (ja) * | 2015-01-16 | 2018-01-25 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 血管腔サブ解像度セグメンテーション |
JP2020520005A (ja) * | 2017-05-09 | 2020-07-02 | ハートフロー, インコーポレイテッド | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7593550B2 (en) * | 2005-01-26 | 2009-09-22 | Honeywell International Inc. | Distance iris recognition |
CA2449080A1 (en) * | 2003-11-13 | 2005-05-13 | Centre Hospitalier De L'universite De Montreal - Chum | Apparatus and method for intravascular ultrasound image segmentation: a fast-marching method |
JP4500138B2 (ja) * | 2004-09-07 | 2010-07-14 | オリンパス株式会社 | 細胞画像解析方法 |
US8103077B2 (en) * | 2006-12-11 | 2012-01-24 | Siemens Aktiengesellschaft | Method and system for locating opaque regions in chest X-ray radiographs |
US8463006B2 (en) * | 2007-04-17 | 2013-06-11 | Francine J. Prokoski | System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps |
US8175348B2 (en) * | 2007-06-05 | 2012-05-08 | The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services | Segmenting colon wall via level set techniques |
US8577115B2 (en) * | 2008-03-04 | 2013-11-05 | Tomotherapy Incorporated | Method and system for improved image segmentation |
US8073220B2 (en) * | 2009-04-20 | 2011-12-06 | Siemens Aktiengesellschaft | Methods and systems for fully automatic segmentation of medical images |
JP5624481B2 (ja) * | 2010-02-03 | 2014-11-12 | 株式会社東芝 | 超音波診断装置及び医用画像処理装置 |
JP5931755B2 (ja) * | 2010-03-11 | 2016-06-08 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | モデルベースのセグメント化の確率向上 |
US9489743B2 (en) * | 2013-03-13 | 2016-11-08 | Mecommerce, Inc. | Determining dimension of target object in an image using reference object |
US9218542B2 (en) * | 2013-08-09 | 2015-12-22 | Siemens Medical Solutions Usa, Inc. | Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy |
WO2015082269A1 (en) * | 2013-12-04 | 2015-06-11 | Koninklijke Philips N.V. | Model-based segmentation of an anatomical structure. |
JP6355346B2 (ja) * | 2014-01-29 | 2018-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
CN106605257B (zh) * | 2014-06-09 | 2019-10-11 | 西门子保健有限责任公司 | 医学成像中具有空间和时间约束的界标检测 |
US9949643B2 (en) * | 2014-10-18 | 2018-04-24 | International Business Machines Corporation | Automatic visualization of regional functional parameters of left ventricle from cardiac imaging |
US9349178B1 (en) * | 2014-11-24 | 2016-05-24 | Siemens Aktiengesellschaft | Synthetic data-driven hemodynamic determination in medical imaging |
JP6734028B2 (ja) * | 2014-11-14 | 2020-08-05 | キヤノンメディカルシステムズ株式会社 | 医用画像診断装置、画像処理装置及び画像生成方法 |
US9990472B2 (en) * | 2015-03-23 | 2018-06-05 | Ohio State Innovation Foundation | System and method for segmentation and automated measurement of chronic wound images |
US20170061258A1 (en) * | 2015-08-25 | 2017-03-02 | Nokia Technologies Oy | Method, apparatus, and computer program product for precluding image capture of an image presented on a display |
US9754378B2 (en) * | 2016-01-21 | 2017-09-05 | Molecular Devices, Llc | System and method for segmentation of three-dimensional microscope images |
US10366490B2 (en) * | 2017-03-27 | 2019-07-30 | Siemens Healthcare Gmbh | Highly integrated annotation and segmentation system for medical imaging |
EP3392832A1 (en) * | 2017-04-21 | 2018-10-24 | General Electric Company | Automated organ risk segmentation machine learning methods and systems |
-
2018
- 2018-05-09 US US15/975,197 patent/US10803592B2/en active Active
- 2018-05-09 JP JP2019561293A patent/JP7157765B2/ja active Active
- 2018-05-09 WO PCT/US2018/031817 patent/WO2018208927A1/en unknown
- 2018-05-09 CN CN202410472640.6A patent/CN118334070A/zh active Pending
- 2018-05-09 EP EP18728489.8A patent/EP3635683B1/en active Active
- 2018-05-09 CN CN201880045930.5A patent/CN110914866B/zh active Active
- 2018-05-09 EP EP22173876.8A patent/EP4068203A1/en active Pending
-
2020
- 2020-09-08 US US17/013,922 patent/US10984535B2/en active Active
-
2021
- 2021-03-17 US US17/203,964 patent/US11610318B2/en active Active
- 2021-08-11 US US17/399,119 patent/US11288813B2/en active Active
-
2022
- 2022-10-07 JP JP2022162262A patent/JP7453309B2/ja active Active
-
2023
- 2023-02-21 US US18/171,915 patent/US12112483B2/en active Active
-
2024
- 2024-03-07 JP JP2024034822A patent/JP2024069343A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006246941A (ja) * | 2005-03-08 | 2006-09-21 | Toshiba Corp | 画像処理装置及び管走行トラッキング方法 |
JP2018501898A (ja) * | 2015-01-16 | 2018-01-25 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 血管腔サブ解像度セグメンテーション |
JP2020520005A (ja) * | 2017-05-09 | 2020-07-02 | ハートフロー, インコーポレイテッド | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3635683B1 (en) | 2022-07-06 |
JP2020520005A (ja) | 2020-07-02 |
CN110914866B (zh) | 2024-04-30 |
US10803592B2 (en) | 2020-10-13 |
US10984535B2 (en) | 2021-04-20 |
CN110914866A (zh) | 2020-03-24 |
US20230196582A1 (en) | 2023-06-22 |
US20210225006A1 (en) | 2021-07-22 |
US20200402241A1 (en) | 2020-12-24 |
US12112483B2 (en) | 2024-10-08 |
WO2018208927A1 (en) | 2018-11-15 |
CN118334070A (zh) | 2024-07-12 |
JP7157765B2 (ja) | 2022-10-20 |
US20180330506A1 (en) | 2018-11-15 |
EP3635683A1 (en) | 2020-04-15 |
US11288813B2 (en) | 2022-03-29 |
US11610318B2 (en) | 2023-03-21 |
JP7453309B2 (ja) | 2024-03-19 |
EP4068203A1 (en) | 2022-10-05 |
US20210374969A1 (en) | 2021-12-02 |
JP2024069343A (ja) | 2024-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7453309B2 (ja) | 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法 | |
US12125261B2 (en) | Systems and methods for probabilistic segmentation in anatomical image processing | |
US11288808B2 (en) | System and method for n-dimensional image segmentation using convolutional neural networks | |
US11681952B2 (en) | System for augmenting image data of medically invasive devices using optical imaging | |
EP3123447B1 (en) | Systems and methods for data and model-driven image reconstruction and enhancement | |
CN110648358B (zh) | 用于3d医学图像中的对象定位的形状参数的自适应非线性优化 | |
US12100075B2 (en) | Image reconstruction by modeling image formation as one or more neural networks | |
CN116433734A (zh) | 一种多模态影像引导放射治疗的配准方法 | |
JP7548296B2 (ja) | 管状フィーチャのセグメント化 | |
EP4300414A1 (en) | Transferring marker locations from a reference image to a follow-up medical image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7453309 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |