JP2022539078A - 血管ロードマップを使用した動き調整装置の誘導のためのシステムおよび方法 - Google Patents

血管ロードマップを使用した動き調整装置の誘導のためのシステムおよび方法 Download PDF

Info

Publication number
JP2022539078A
JP2022539078A JP2021576923A JP2021576923A JP2022539078A JP 2022539078 A JP2022539078 A JP 2022539078A JP 2021576923 A JP2021576923 A JP 2021576923A JP 2021576923 A JP2021576923 A JP 2021576923A JP 2022539078 A JP2022539078 A JP 2022539078A
Authority
JP
Japan
Prior art keywords
motion
images
patient
medical device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021576923A
Other languages
English (en)
Inventor
マーティン ガード ワグナー
ポール フランシス レゼケ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wisconsin Alumni Research Foundation
Original Assignee
Wisconsin Alumni Research Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wisconsin Alumni Research Foundation filed Critical Wisconsin Alumni Research Foundation
Publication of JP2022539078A publication Critical patent/JP2022539078A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/504—Clinical applications involving diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A61B2017/00699—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body correcting for movement caused by respiration, e.g. by triggering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A61B2090/3764—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT] with a rotating C-arm having a cone beam emitting source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

介入医療処置を誘導するために患者の動き調整画像または動き補償画像を作成するシステムおよび方法が提供される。本方法は、動き変換を使用して静的ロードマップ上に位置合わせされた介入医療装置を示すために静的ロードマップおよび複数の動的画像を表示するステップを含む。静的ロードマップへの介入医療装置の位置合わせは、患者の動きを示さない複数の画像を生成するための静的ロードマップに対する介入医療装置の動き補償、または患者の動きを示す複数の画像を生成するための介入医療装置に対する静的ロードマップの動き調整のうちの１つに関するユーザ選択に基づく。【選択図】図１

Description

＜関連出願の相互参照＞
本出願は、その全体が参照により本明細書に組み込まれる２０１９年６月２７日に出願された米国特許出願第１６／４５５，３３１号に基づき、その利益を主張し、それに対する優先権を主張する。
＜連邦政府による資金提供を受けた研究開発の記載＞
本発明は、国立衛生研究所によって授与されたＥＢ０２４５５３の下で政府の支援を受けてなされた。政府は、本発明に一定の権利を有する。
本開示は、介入放射線システムおよび方法に関する。より詳細には、本発明は、患者の動きの存在下で介入装置の展開を誘導するためのシステムおよび方法に関する。
介入放射線医学は、現代の医療における重要な構成要素であり、リスクを低減し、患者の回復時間を短縮することを可能にする。しかしながら、これらの処置は費用がかかる可能性があり、より重要なことには、成功するために多くの複雑なシステム間の完全な一致を必要とする。一般に、これらの処置を調整する介入放射線科医は、多くの、しばしば異なる問題を克服しなければならない。例えば、処置中、放射線科医は、自身だけでなく、比較的狭い空間の周りの器具も効果的に操作することができなければならない。これは、典型的な撮像システムが患者（例えば、ボア）にアクセスするための狭い隙間のみを可能にするので、特に困難であり得、残念なことに、処置中に必要とされる器具は、これらの狭い隙間では扱いにくい傾向がある。
困難はまた、患者の動き（例えば、呼吸）からのアーチファクト、異なるサイズおよび形状の解剖学的構造などを含み得る、患者に由来する理想からの逸脱から生じる。さらに、処置を完了するために、必要な画像を、許容される時間内に正確に取得することから、他の困難が生じる。例えば、いくつかの解剖学的構造、器具などは、画像において十分に鮮明または明るく見えないことがある。他の例は、画像が特定の時間量で取得され、処理され、表示されなければならない撮像システムから生じる。これらの問題は、患者が動いている間に、見ることが困難な解剖学的領域の画像を取得するなど、同時に現れる場合に特に困難になり得る。したがって、介入放射線医学の分野は、これらの問題を克服し、処置を効果的に完了するための決定を下すために、介入放射線科医の技能および知識に大きく依存してきた。
典型的で広く使用されている介入放射線医学処置の一例は、低侵襲処置のための蛍光透視画像誘導である。この処置、特に経動脈的塞栓術は、現在、肝臓の原発性および転移性腫瘍を有する患者の管理において極めて重要な役割を果たしている。肝臓塞栓術の処置の間、カテーテルは、蛍光透視法を介して内臓または肝動脈の特定の分岐部に誘導され、そこで粒子または微小球が（腫瘍のさらなる成長を防止する、腫瘍への血液供給を減少させる、局所治療を提供するなどの目的で）腫瘍の供給動脈に直接送達される。ターゲット化領域のために、カテーテルの正確かつ迅速な配置は、処置時間を最小限に抑え、好ましい腫瘍学的結果を達成するために重要である。器具（例えば、カテーテル、ガイドワイヤなど）を効果的に配置するために、器具と共に領域の画像を表示する必要がある。しかしながら、血管系を含むいくつかの解剖学的構造は、蛍光透視画像から識別することがほぼ不可能である。したがって、典型的には、血管系の基準は、器具を配置または操作する前に、血管系領域に造影剤を注入し、造影増強血管系の蛍光透視画像を取得し、造影増強血管系上に静的２Ｄデジタルサブトラクション血管造影（「ＤＳＡ」）を表示することによって作成される。
ＤＳＡ血管画像は、リアルタイムの蛍光透視画像と重ね合わせるか、または並べて表示することができ、器具は、器具の形状が所望の血管分岐部の経路と一致するまで操作される。残念ながら、この手法は、器具を再配置しなければならないことが多いので、困難であり得、時間がかかり得る。より重要なことに、この手法は、この特定の解剖学的領域の性質、具体的には、血管系の真の形状が患者の動き（例えば、呼吸運動、心臓運動など）によって常に動き、形状を変化させることを考慮していない。したがって、デジタル的に減算される血管画像の取得中に息止めを行うように患者に指示する場合であっても、減算アーチファクトが本質的に発生する。さらに、ＤＳＡ画像は特定の時点における血管系の静止画像を表示するのみであるので、不正確な画像誘導が患者の動きを考慮しないことから生じ得る。
したがって、介入装置誘導のための改善されたシステムおよび方法を有することが望ましいであろう。
本開示は、介入医療処置を誘導するために患者の動き調整されたまたは動き補償された画像を作成するためのシステムおよび方法を提供することによって前述の欠点を克服するシステムおよび方法を提供する。本方法は、動き補償を使用して静的ロードマップ上に位置合わせされた介入医療装置を示すために、静的ロードマップおよび複数の動的画像を表示するステップを含む。静的ロードマップへの介入医療装置の位置合わせは、患者の動きを示さない複数の画像を生成するための静的ロードマップに対する介入医療装置の動き補償、または患者の動きを示す複数の画像を生成するための介入医療装置に対する静的ロードマップの動き調整のうちの１つに関するユーザ選択に基づく。
本開示の別の非限定的な例によれば、介入医療処置を誘導するために患者の動き調整画像を作成するための方法が提供される。この方法は、非造影増強血管系を有する患者の第１の複数の画像を取得するステップと、造影増強血管系を有する患者の第２の複数の画像を取得するステップと、第１の複数の画像および第２の複数の画像を使用して患者の血管系の静的ロードマップを生成するステップとを含む。この方法はまた、第１の複数の画像および第２の複数の画像を使用して患者の動きモデルを生成するステップと、介入医療装置が患者内に展開された状態で患者の第３の複数の画像を取得するステップと、第３の複数の画像を使用して患者または介入医療装置のうちの１つの動き追跡データを生成するステップとを含む。この方法はまた、動き追跡データおよび動きモデルを使用して動き変換を生成するステップと、動き変換を使用して静的ロードマップ上に位置合わせされた介入医療装置を示すために静的ロードマップおよび第３の複数の画像を表示するステップとを含む。静的ロードマップへの介入医療装置の位置合わせは、患者の動きを示さない複数の画像を生成するための静的ロードマップに対する介入医療装置の動き補償、または患者の動きを示す複数の画像を生成するための介入医療装置に対する静的ロードマップの動き調整のうちの１つに関するユーザ選択に基づく。
本開示の別の非限定的な例によれば、一端に結合されたＸ線源アセンブリと、対向端部に結合されたＸ線検出器アレイアセンブリと、コンピュータシステムとを含む蛍光透視撮像システムが提供される。コンピュータシステムは、Ｘ線源アセンブリおよびＸ線検出器アレイアセンブリを制御して非造影増強血管系を有する患者の第１の複数の画像を取得し、Ｘ線源アセンブリおよびＸ線検出器アレイアセンブリを制御して造影増強血管系を有する患者の第２の複数の画像を取得するように構成される。コンピュータシステムはさらに、第１の複数の画像および第２の複数の画像を使用して患者の血管系の静的ロードマップを生成し、第１の複数の画像および第２の複数の画像を使用して患者の動きモデルを生成し、Ｘ線源アセンブリおよびＸ線検出器アレイアセンブリを制御して介入医療装置が患者内に展開された状態で患者の第３の複数の画像を取得するようにプログラムされる。コンピュータシステムはさらに、第３の複数の画像を使用して患者または介入医療装置のうちの１つの動き追跡データを生成し、動き追跡データおよび動きモデルを使用して動き変換を生成し、動き変換を使用して静的ロードマップ上に位置合わせされた介入医療装置を示すために静的ロードマップおよび第３の複数の画像を表示するように構成される。静的ロードマップへの介入医療装置の位置合わせは、患者の動きを示さない複数の画像を生成するための静的ロードマップに対する介入医療装置の動き補償、または患者の動きを示す複数の画像を生成するための介入医療装置に対する静的ロードマップの動き調整のうちの１つに関するユーザ選択に基づく。
本発明の前述および他の態様ならびに利点は、以下の説明から明らかになるであろう。説明では、本明細書の一部を形成し、本発明の好ましい実施形態が例示として示されている添付の図面を参照する。しかしながら、そのような実施形態は必ずしも本発明の全範囲を表すものではなく、したがって、本発明の範囲を解釈するために特許請求の範囲および本明細書を参照されたい。
本開示のいくつかの非限定的な例による、例示的な「Ｃアーム」Ｘ線撮像システムのブロック図である。 本開示のいくつかの非限定的な例による処理アーキテクチャの概略図の一例である。 本開示によるシステムの非限定的な一例によるフローのための特定のプロセスである。 本開示による血管系モデルを作成するためのプロセスの非限定的な一例を示すフローチャートである。 本開示による動的血管系モデルの生成に使用される重畳されたスプライン格子および画像ブロックを有する血管系の画像である。 本開示による動的血管系モデルの生成に使用されるオイラー数および対応する二値化画像のチャートである。 本開示による動的血管系モデル内で呼吸モデルを生成するための非限定的な一例を示すフローチャートである。 本開示による動的血管系モデルの生成に使用される、重畳され色付けされたエッジを有する蛍光透視画像である。 本開示による動的血管系モデル内でリアルタイム追跡システムを生成するための非限定的な一例を示すフローチャートである。 本開示による動的血管モデルの定量的評価を示す相関グラフのセットである。 動的血管系モデルから生成された推定血管系画像とグランドトゥルース画像との間の比較を示す相関画像のセットである。 本開示による、蛍光透視画像内の医療器具の自動セグメント化のためのニューラルネットワークの非限定的な一例のアーキテクチャの概略図である。 典型的なＤＳＡ手順、図１２のニューラルネットワークの出力、およびグランドトゥルース画像の間の結果を４つの例にわたって比較する視覚的表現を提供する画像のセットである。 本開示による二次元（「２Ｄ」）蛍光透視誘導システムを実装するための一例を示すブロック図である。 本開示による別の２Ｄ蛍光透視誘導システムを実装するための一例を示す別のブロック図である。 血管系の単純化された動き、例えば、呼吸によって引き起こされるバルク運動のみに限定された動きを示す画像である。 本開示に従って生成された２枚の蛍光透視画像のセットである。 本開示に従って生成されたさらに２枚の蛍光透視画像のセットである。 動き補償と動き調整との間のユーザ選択を示す表示の一例である。 本開示による三次元（「３Ｄ」）蛍光透視誘導システムを実装するための非限定的な一例を示すブロック図である。 本開示による、呼吸状態対Ｚ次元における血管系の相対運動のグラフである。
本発明の任意の非限定的な例を詳細に説明する前に、本発明は、その適用において、以下の説明に示されるか以下の図面に示される構造の詳細および構成要素の配置に限定されないことを理解されたい。本発明は、他の非限定的な例が可能であり、様々な方法で実施または実行することができる。また、本明細書で使用される表現および用語の使用は、説明のためのものであり、限定するものと見なされるべきではないことを理解されたい。さらに、本明細書における「右」、「左」、「前」、「後」、「上」、「下」、「上方」、「下方」、「頂部」、または「底部」およびそれらの変形の使用は、説明のためのものであり、限定するものと見なされるべきではない。本明細書における「含む（ｉｎｃｌｕｄｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」または「有する（ｈａｖｉｎｇ）」およびそれらの変形の使用は、その後に列挙される項目およびその同等物ならびに追加の項目を包含することを意味する。特に指定または限定されない限り、「取り付けられた」、「接続された」、「支持された」、および「結合された」という用語およびそれらの変形は、広く使用され、直接的および間接的両方における取り付け、接続、支持、および結合を包含する。さらに、「接続された」および「結合された」は、物理的または機械的な接続または結合に限定されない。
特に指定または限定されない限り、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、「Ａ、Ｂ、およびＣのうちの１つ以上」などと同様の語句は、Ａ、またはＢ、またはＣ、あるいはＡ、Ｂ、および／またはＣの任意の組み合わせを示すことを意味し、Ａ、Ｂ、および／またはＣの複数または単一のインスタンスとの組み合わせを含む。
本明細書で使用される場合、「コントローラ」という用語は、コンピュータプログラムを実行することができる任意の装置、または記載された機能を実行するように構成された論理ゲートを含む任意の装置を含む。例えば、これは、プロセッサ、マイクロコントローラ、フィールドプログラマブルゲートアレイ、プログラマブルロジックコントローラなどを含み得る。
上述のように、現在の蛍光透視誘導システムは、患者の動き（例えば、呼吸、心臓の動きなどによる動き）の問題に対処することができない。これらの問題は、ＤＳＡ処置から導入されるアーチファクトを含み、ここで、血管系は絶えず動き、したがって、ＤＳＡ画像は特定の時点における血管系のスナップショットにすぎない。これは、血管系および器具が（例えば、血管系の動きに起因して）常に動いているにもかかわらず、ターゲット領域が静止しているので、誘導の不正確さにつながり得る。さらに、動き補償のない静的ＤＳＡ画像は、介入放射線科医が器具を再配置、取り外し、または再挿入して処置を完了することを必要とする場合がある。このように処置時間が長くなると、患者の放射線被曝量が増加し、器具を効果的に見るために造影剤の追加投与が必要になる場合がある。
これまで、患者の動きに対処し、補償するための試みがなされてきた。例えば、外部センサ（例えば、心電図（「ＥＣＧ」）電極、超音波センサ）は、呼吸周期の特定の時点に対応するセンサデータに基づく一連の以前に撮影された画像から特定の蛍光透視画像を選択して表示するために個人に使用されてきた。これらのセンサベースの試みは、しばしば特定の血管系表現と効果的に相関することができず、処置画像の使用を妨げる可能性があるこれらの外部センサに大きく依存している。動き補償のための他の従来の撮像ベースのシステムは、視野内にある外部センサの使用を必要とするか、または適用の不正確な仮定を行う（例えば、実際には蛍光透視画像で見える高造影の対象物が血管系と比較して異なる速度または方向で動くときに、周囲の軟組織が血管系に対応すると仮定するなど）。
本開示は、これらの課題を克服して、動き変換を使用して静的ロードマップ上に位置合わせされた介入医療装置を示すために静的ロードマップおよび複数の画像を表示するシステムおよび方法を提供する。静的ロードマップへの介入医療装置の位置合わせは、（ｉ）患者の動きを示さない複数の画像を生成するための静的ロードマップに対する介入医療装置の動き補償、または（ｉｉ）患者の動きを示す複数の画像を生成するための介入医療装置に対する静的ロードマップの動き調整のうちの１つに関するユーザ選択に基づく。
非限定的な一例では、システムおよび方法は、呼吸運動を追跡するために追加の撮像モダリティまたは外部センサに依存するのではなく、蛍光透視画像シーケンス内の曲線特徴を抽出することによって呼吸運動を追跡することができる。さらに、この手法は、呼吸状態を判定するために視野内に特定の構造が存在することを必要とせず、したがって、より多様な処置に適している。さらに、この手法は、自由呼吸条件下で造影増強画像シーケンスを利用することによって、呼吸運動に基づいて血管系の局所変形を追跡することを可能にする。
本開示のいくつかの非限定的な例では、蛍光透視装置誘導のための動き補償システムは、明確な利点を提供しながら、従来のシステムに関連する欠点を克服する。これらの利点には、処置時間の短縮、処置精度の向上、必要な造影剤の減量、および（例えば、より迅速な処置による）放射線被曝時間の減少が含まれる。いくつかの非限定的な例では、本開示は、ネイティブ蛍光透視画像における呼吸運動追跡および血管系変形の推定のための技術を含む。動きの追跡および推定は、（例えば、器具の再配置の減少によって）処置の精度および速度の向上を可能にすることによって、肝臓塞栓術などの低侵襲処置のためのワークフローを簡素化することができる。具体的には、システムおよび方法は、造影増強された血管系の蛍光透視画像を利用して動きモデルを作成して、ネイティブ（例えば、非造影剤）蛍光透視画像シーケンスから曲線の背景特徴を抽出することができる。重要なことに、これらの蛍光透視画像は、患者が息止めを行うことを必要とせず、したがって、これらの蛍光透視画像は、自由呼吸状態の間に取得することができる。動き調整を達成するために使用される２つのモデルは、（例えば、曲線の背景特徴から推測される）呼吸状態と、その同じ呼吸状態中の血管形態との間の関係を確立する。したがって、上述のように、血管形態を取得した後、およびリアルタイム撮像処置中に、曲線特徴検出がリアルタイムの蛍光透視画像に適用されて、表示する血管マスクが判定される。これにより、介入医療装置を含むリアルタイムの蛍光透視画像に重畳することができる動的な動き調整された血管マスクが作成される。
ここで図１を参照すると、本開示のシステムおよび方法と共に使用することができる１つの撮像システムの一例が示されている。この非限定的な例では、いわゆる「Ｃアーム」Ｘ線撮像システム１００が示されている。しかしながら、これは単なる一例であり、固定位置、単一ソース、二平面、および他のアーキテクチャもまた、本開示のシステムおよび方法で容易に使用することができる。
図１の非限定的な例では、ＣアームＸ線撮像システム１００は、Ｘ線源アセンブリ１０４が一端で結合され、Ｘ線検出器アレイアセンブリ１０６が他端で結合されるＣアームを有するガントリ１０２を含む。ガントリ１０２は、Ｘ線源アセンブリ１０４および検出器アレイアセンブリ１０６が、テーブル１１０上に配置された医療患者または検査を受けている対象物などの対象１０８の周りの異なる位置および角度に配向されることを可能にする。対象１０８が医療患者である場合、この構成は、医師が対象１０８にアクセスすることを可能にする。
Ｘ線源アセンブリ１０４は、Ｘ線のファンビームまたはコーンビームであり得るＸ線ビームを、ガントリ１０２の対向する側のＸ線検出器アレイアセンブリ１０６に向かって投影する少なくとも１つのＸ線源を含む。Ｘ線検出器アレイアセンブリ１０６は、いくつかのＸ線検出器要素を含み得る少なくとも１つのＸ線検出器を含む。Ｘ線検出器アレイアセンブリ１０６に含まれ得るＸ線検出器の例は、検出器アレイパネルが約センチメートルのサイズであり得る、いわゆる「小型フラットパネル」検出器などのフラットパネル検出器を含む。そのような検出器パネルは、約１２センチメートルの視野範囲を可能にする。
同時に、Ｘ線検出器アレイアセンブリ１０６に収容された１つ以上のＸ線検出器内のＸ線検出器要素は、対象１０８を通過する投影されたＸ線を検知する。各Ｘ線検出器要素は、入射するＸ線ビームの強度、したがってＸ線ビームが対象１０８を通過するときのＸ線ビームの減衰を表すことができる電気信号を生成する。いくつかの構成では、各Ｘ線検出器要素は、検出器に入射するＸ線光子の数をカウントすることができる。Ｘ線投影データを取得するためのスキャン中に、ガントリ１０２およびそれに取り付けられた構成要素は、ＣアームＸ線撮像システム１００のアイソセンタを中心に回転する。
ガントリ１０２は、支持台１１２を含む。支持アーム１１４は、水平な旋回軸１１６を中心に回転するように支持台１１２に回転可能に固定されている。旋回軸１１６は、テーブル１１０の中心線と位置合わせされ、支持アーム１１４は、その外側端部でＣアーム駆動アセンブリ１１８を支持するために旋回軸１１６から半径方向外側に延在する。Ｃアームガントリ１０２は、駆動アセンブリ１１８に摺動可能に固定され、矢印１２０で示すように、Ｃアームガントリ１０２を滑らせてＣ軸を中心に回転させる駆動モータ（図示せず）に結合される。旋回軸１１６およびＣ軸は直交し、テーブル１１０の上に位置する、黒丸で示されるＣアームＸ線撮像システム１００のアイソセンタで互いに交差する。
Ｘ線源アセンブリ１０４およびＸ線検出器アレイアセンブリ１０６は、このＸ線ビームの中心線がシステムのアイソセンタを通過するように、旋回軸１１６に対して半径方向内側に延在する。したがって、Ｘ線ビームの中心光線は、テーブル１１０上に置かれた対象１０８からのＸ線減衰データの取得中に、旋回軸１１６またはＣ軸、あるいはその両方の周りで、システムのアイソセンタを中心に回転することができる。走査中、Ｘ線源および検出器アレイは、異なる角度からＸ線減衰投影データを取得するために、システムアイソセンタを中心に回転する。例として、検出器アレイは、毎秒３０個の投影またはビューを取得することができる。
ＣアームＸ線撮像システム１００はまた、典型的にはディスプレイ１２４を含むオペレータワークステーション１２２、キーボードやマウスなどの１つ以上の入力装置１２６、およびコンピュータプロセッサ１２８を含む。コンピュータプロセッサ１２８は、市販のオペレーティングシステムを実行する市販のプログラマブルマシンを含み得る。オペレータワークステーション１２２は、走査制御パラメータをＣアームＸ線撮像システム１００に入力することを可能にするオペレータインターフェースを提供する。一般に、オペレータワークステーション１２２は、データストアサーバ１３０および画像再構成システム１３２と通信する。例として、オペレータワークステーション１２２、データストアサーバ１３０、および画像再構成システム１３２は、有線、無線、または両方の組み合わせにかかわらず、任意の適切なネットワーク接続を含み得る通信システム１３４を介して接続することができる。一例として、通信システム１３４は、プロプライエタリネットワークまたは専用ネットワークの両方、ならびにインターネットなどのオープンネットワークを含み得る。
オペレータワークステーション１２２はまた、ＣアームＸ線撮像システム１００の動作を制御する制御システム１３６と通信する。制御システム１３６は、一般に、Ｃ軸コントローラ１３８、旋回軸コントローラ１４０、Ｘ線コントローラ１４２、データ収集システム（「ＤＡＳ」）１４４、およびテーブルコントローラ１４６を含む。Ｘ線コントローラ１４２は、電力およびタイミング信号をＸ線源アセンブリ１０４に提供し、テーブルコントローラ１４６は、テーブル１１０をＣアームＸ線撮像システム１００内の異なる位置および向きに動かすように動作可能である。
Ｘ線源アセンブリ１０４およびＸ線検出器アレイアセンブリ１０６が結合されたガントリ１０２の回転は、Ｃ軸コントローラ１３８および旋回軸コントローラ１４０によって制御され、これらはそれぞれ、Ｃ軸および旋回軸１１６を中心としたガントリ１０２の回転を制御する。オペレータワークステーション１２２からの運動コマンドに応答して、Ｃ軸コントローラ１３８および旋回軸コントローラ１４０は、それぞれＣ軸および旋回軸１１６を中心とした回転を生成するＣアームＸ線撮像システム１００内のモータに電力を供給する。例えば、オペレータワークステーション１２２によって実行されるプログラムは、ガントリ１０２、したがってＸ線源アセンブリ１０４およびＸ線検出器アレイアセンブリ１０６を所定の走査経路で動かすために、Ｃ軸コントローラ１３８および旋回軸コントローラ１４０への運動コマンドを生成する。
ＤＡＳ１４４は、Ｘ線検出器アレイアセンブリ１０６内の１つ以上のＸ線検出器からのデータをサンプリングし、その後の処理のためにデータをデジタル信号に変換する。例えば、デジタル化されたＸ線データは、ＤＡＳ１４４からデータストアサーバ１３０に通信される。次いで、画像再構成システム１３２は、データストアサーバ１３０からＸ線データを取り出し、そこから画像を再構成する。画像再構成システム１３０は、市販のコンピュータプロセッサを含み得、またはマルチコアプロセッサおよび大規模並列高密度コンピューティングデバイスを含むシステムなどの高並列コンピュータアーキテクチャであってもよい。任意選択的に、画像再構成をオペレータワークステーション１２２のプロセッサ１２８上で実行することもできる。次いで、再構成された画像は、記憶のためにデータストアサーバ１３０に、またはオペレータまたは臨床医に表示されるオペレータワークステーション１２２に、再び通信され得る。
ＣアームＸ線撮像システム１００はまた、１つ以上のネットワーク化されたワークステーション１４８を含むことができる。例として、ネットワーク化されたワークステーション１４８は、ディスプレイ１５０、キーボードやマウスなどの１つ以上の入力装置１５２、およびプロセッサ１５４を含み得る。ネットワーク化されたワークステーション１４８は、オペレータワークステーション１２２と同じ施設内に、または異なる医療機関もしくは診療所などの異なる施設内に配置され得る。
ネットワーク化されたワークステーション１４８は、オペレータワークステーション１２２と同じ施設内であろうと、異なる施設内であろうと、通信システム１３４を介して、データストアサーバ１３０、画像再構成システム１３２、またはその両方にリモートアクセスすることができる。したがって、複数のネットワーク化されたワークステーション１４８は、データストアサーバ１３０、画像再構成システム１３２、またはその両方にアクセスすることができる。このようにして、Ｘ線データ、再構成画像、または他のデータは、データまたは画像がネットワーク化されたワークステーション１４８によってリモート処理され得るように、データストアサーバ１３０、画像再構成システム１３２、およびネットワーク化されたワークステーション１４８の間で交換され得る。このデータは、伝送制御プロトコル（「ＴＣＰ」）、インターネットプロトコル（「ＩＰ」）、他の既知のもしくは適切なプロトコルなどに従って、任意の適切なフォーマットで交換され得る。
以下の開示は、二平面蛍光透視撮像システム（例えば、「Ｃアーム」Ｘ線撮像システム１００）の使用を参照して説明されるが、他の非限定的な例では、他の撮像システム（例えば、単一平面蛍光透視撮像システム）を利用することができる。
図２は、介入医療処置を誘導するために患者の動き調整画像を作成するためのプロセスフロー２００の概略図である。プロセス２００は、非造影増強血管系を有する複数の画像２０２を（例えば、Ｘ線撮像システム１００を介して）取得するステップと、造影増強血管系を有する患者から第二の複数の画像２０４を取得するステップとを含む。これらの複数の画像の両方は、全呼吸周期（例えば、吸気時に開始し、呼気後に完了する）にわたって取得することができる。プロセス２００は、患者の血管系の静的ロードマップ２０６を生成するステップと、患者の動きモデル２０８を生成するステップとを含み、それぞれが第１の複数の画像２０２と第２の複数の画像２０４の両方を使用する。プロセス２００はさらに、介入医療装置が患者内に展開される（例えば、処置中に挿入される）第３の複数の画像２１０を取得することを含む。
プロセス２００はまた、第３の複数の画像を使用することにより、患者または介入医療装置のいずれかのための動き追跡データ２１２の生成を含むことができる。プロセス２００はさらに、動きモデル２０８および動き追跡データ２１２を使用して動き変換２１４を生成するステップを含むことができる。次いで、プロセス２００は、動き変換２１４を使用して静的ロードマップ上に位置合わせされた介入医療装置を示す、静的ロードマップの表示２１６と第３の複数の画像２１０とを含む。介入医療装置の位置合わせは、（１）患者の動き（例えば、呼吸運動による血管系の動き）を示さない複数の画像を生成するための静的ロードマップに対する介入医療装置の動き補償、および（２）患者の動きを示す複数の画像を生成するための介入医療装置に対する静的ロードマップの動き調整に関するユーザ選択に基づく。
図３は、患者の動き調整画像を作成するためのプロセス２００のより具体的な実施形態である、さらに詳細なプロセス２２０を示す。具体的には、プロセス２２０は、全呼吸周期中（例えば、吸気時に開始し、呼気時に完了する）に患者の非造影画像２２２（例えば、マスク画像）および造影増強画像２２４を最初に取得するステップを含む。いくつかの非限定的な例では、造影増強画像２２４は、造影増強画像２２４が動脈相中にのみ取得されることを保証する特定の手順を使用して取得することができ、その結果、対象の血管系は造影剤で満たされ、すべての捕捉されたフレームでよく見える。特に、プロセス２２０は、血管系における造影剤の到達を自動的に検出して、当該注入に関して動脈相、組織相、および静脈相を判定するステップを含む。次いで、動脈相の造影増強画像のみを利用することができる。例えば、造影剤の到達は、各フレームの平均強度を計算することによって推定される。さらに、現在のフレームを含む過去のフレームにわたる平均強度も計算される。現在の平均強度が連続する２つのフレームの平均強度より高い場合、アルゴリズムによって、造影剤が到達したことが通知される。次いで、Ｙ次元の質量中心を計算することによって相を判定することができる。造影剤は一般に画像の底部に注入されるので（例えば、肝臓の処置の場合）、質量中心は下方に動き、動脈相の終わりに向かう転回点に到達し、これを使用して動脈相の造影画像のみを判定し、したがって利用することができる（例えば、造影剤が到達して動脈相が終了したときの事象間の画像）。その後、質量中心は、灌流相の間に上昇し、静脈相の間に再び下降する。
非造影画像２２２および造影画像２２４が（例えば、動脈相中の造影画像のみを利用して）取得および選択されると、プロセス２２０は、非造影画像２２２からの造影画像２２４の減算によって形成される減算画像を生成する。これらの減算画像を使用して、患者の血管系の静的ロードマップ２２８を生成することができる。例えば、静的ロードマップ２２８は、呼吸状態が一貫している場合に減算画像を平均すること、例えば、呼気終了時（例えば、λｔ＝０）に減算画像の一部または全部を平均することによって生成することができる。非造影画像２２２および造影画像２２４はまた、動きモデル２０８の特定の実施形態である血管系運動モデル２３０を生成するために使用される。プロセス２２０はまた、非造影画像から特徴を追跡するステップ２３２を含む。以下でより詳細に説明するように、特徴の追跡２３２は、曲線特徴の識別および追跡を含むことができる。追加的または代替的に、特徴の追跡２３２は、以下に説明するように、（例えば、３Ｄ誘導システムに関して）非造影画像内の質量中心の識別および追跡を含むことができる。
プロセス２２０はさらに、画像内に介入医療器具を含み、（例えば、プロセス２００に関して）特定の形態の動き追跡データである呼吸状態２３６を追跡するために使用される、複数のライブ画像２３４を取得するステップを含む。複数のライブ画像２３４はまた、複数のライブ画像２３４から介入医療器具を抽出するために使用される。抽出されると、ステップ２４０に示すように、医療器具の画像を強調することができる（例えば、圧縮、伸長、色の変更など）。
さらに説明するように、プロセス２２０はまた、呼吸状態の追跡２３６および血管系運動モデル２３０を使用して、変換されたロードマップ２３８を生成するステップを含む。ある場合には、変換されたロードマップ２３８は、静的ロードマップ２３８に対する医療器具の画像の動き補償とすることができる。あるいは、別の場合には、変換されたロードマップ２３８は、（例えば、ライブ画像２３４から抽出される）医療器具の画像に対する静的ロードマップの動き調整とすることができる。プロセス２２０は、少なくとも２つの構成のいずれかにおいて、変換されたロードマップ２３８と共に、ライブ画像２３４のリアルタイム表示２４２を生成することができる。第１の構成では、ライブ画像２３４および静的ロードマップ２２８が表示され、変換されたロードマップ２３８は、ロードマップ２３８上に重ね合わされた医療装置の画像の動き補償である。第２の表示では、ライブ画像２３４および医療装置の画像が表示され、変換されたロードマップ２３８は、患者の動きを示すために静的ロードマップ２２８に適用される動き補償である。介入放射線科医は、介入放射線科医のユーザ選択に基づいて、第１の表示と第２の表示のそれぞれを切り替えて、どの画像（例えば、医療器具または静的ロードマップ）が動き補償されるかを変更することができる。
図４は、血管系運動モデル２３０を生成するための特定のプロセスの一例を示す。血管系運動モデル２３０は、非造影蛍光透視画像２２２から造影蛍光透視画像２２４を減算することによって生成された減算画像を利用する。しかしながら、減算の前に、非造影蛍光透視画像２２２および造影蛍光透視画像２２４は、ステップ２５２においてマッチングおよび位置合わせされ、これにより、非造影蛍光透視画像２２２内の各画像が造影蛍光透視画像２２４内の各画像と適時に効果的に対応することが保証される。ステップ２５２において、非造影画像シーケンスは、Iｔ Ｎ（ｘ）として定義することができ、造影画像シーケンスは、Ｉｔ Ｆ（ｘ）として定義することができる。両方の画像シーケンス識別子において、ｔは所与の画像の取得時刻を表す。次いで、各造影画像は、それぞれの画像間の平均二乗誤差が最小になるように、非造影画像とマッチングされる。例えば、画像Ｉψ（ｔ） Ｎ（ｘ）は、時刻ｔに取得された造影フレームに対応する非造影フレームを表し、式１によって判定することができる。例えば、式１は、時刻ｔに取得された所与の造影画像に対して、対応する非造影画像の時点ｔｍを判定する。したがって、式１は、所与の造影フレームに対応する非造影フレームのインデックスである値を返す。いくつかの非限定的な例では、２つ以上（例えば、５つ）の非造影画像が１つの所与の造影画像に対応する場合、以下に説明するように、非造影画像を平均化して、対応する造影画像で減算される平均の非造影画像を生成することができる。
Figure 2022539078000002
画像対は互いに適時に対応し得るが、両方の画像の呼吸状態が正確であることは保証されない。例えば、器官または他の解剖学的構造の位置のわずかな違いは、減算アーチファクトを引き起こす可能性がある。この問題を回避するために、ブロックマッチング位置合わせ技術を使用して、非造影画像を対応する造影画像に位置合わせすることができる。したがって、Ｉψ（ｔ） Ｎは、別個のブロックＢｉに分割され得、並進ベクトルΔｉは、式２に従ってグレーバルブ差の分散を最小化することによって各ブロックについて推定され得る。式２に示すように、ｎはブロック当たりの画素数を表し、Ｅ［ｘ］はｘの期待値を表す。
Figure 2022539078000003
次いで、三次スプライン補間を使用して最終的な画像変換が計算される。この手順からの出力の一例を図５に示す。点線２５０は解析されたブロックを表し、実線２５１は画像上に重ね合わされた計算された三次スプラインを表す。図５に示すように、薄灰色の領域は、固定された画像と位置合わせされた動画像との間の差を表す。
対応するフレームがマッチングおよび位置合わせされた後（例えば、ステップ２５２）、ステップ２５４で画像が減算されノイズ除去されて、減算画像が生成される。例えば、位置合わせされた画像対が減算され、差分画像Ｉｔ Ｄ（ｘ）が得られる。減算はノイズの分散を増加させるので、ノイズを低減し、セグメント化を単純化するためにウィーナーフィルタが適用される。
ステップ２５４で対応する画像が減算され、ノイズが緩和されると、グローバル閾値アルゴリズムを適用して、血管系をセグメント化することができ、これは二値化ステップ２５６によって表される。この閾値は、二値画像内の接続された成分の数からこれらの対象物内の穴の数を引いたものによって判定されるオイラー数に基づく。例えば、任意の画像が与えられると、すべての画素が同じ対象物の一部と見なされるため、画像内の最小グレー値よりも小さい閾値のオイラー数は１である。
閾値が増加すると（例えば、図６のグラフに示された「１」の直後）、対象物内に穴が現れ始め、オイラー数が負になる。閾値をさらに増加させると、セグメント化が複数の対象物に分割され、オイラー数が再び増加する（例えば、図６のグラフに示された「２」の直後）。第２の正のピーク（例えば、図６のグラフに示された「３」）に達した後、オイラー数は減少し始める。第２の正のピーク（例えば、図６のグラフに示された「３」）の後のこの極小値（例えば、図６のグラフに示された「４」）は、本開示内の閾値として使用される。言い換えれば、使用される閾値は、第２の正のピーク（例えば、図６のグラフに示された「３」）よりも高いものである。二値化手順２５６後の画像の出力の一例が図６に示されており、ここでは４つの出力画像が表されており、それぞれが特定の閾値および対応するオイラー数を有する。典型的には、使用される閾値は、第２の最大値（例えば、ｘ＞２０の閾値処理）の後に生じる閾値である。
血管系運動モデル２３０を生成するための手順は二値化ステップ２５６を含むが、いくつかの非限定的な例では、二値化ステップ２５６は省略またはバイパスすることができる。このようにして、例えば、減算画像は、ステップ２５４でノイズ除去され、後述するステップ２５８で血管系の動きを推定するために直接使用される。場合によっては、二値化ステップ２５６の回避は、二値化画像を快適に見ることができない放射線科医にとって望ましい可能性がある。
各フレームのセグメント化された血管系を表す二値化手順２５６からの出力画像は、Ｉｔ Ｂ（ｘ）として示される。二値化手順２５６が完了してセグメント化された画像が得られた後、ステップ２５８で血管系の動きが推定される。例えば、呼吸運動に起因する血管系の変形は、異形態性デモン手法を使用して隣接するフレーム間の画素運動を追跡することによって推定することができる。この手法は、各画素の並進ベクトルを推定し、画像変形およびその逆が両方とも滑らかであることを保証する。変換は、式３に従って説明することができる。
Figure 2022539078000004
変換が計算されると、各個々の血管画素の呼吸運動は、（例えば、ステップ２３０において）時間ｔにおける呼吸状態を表す単一のパラメータλｔを使用してパラメータ化することができる。したがって、所与の呼吸状態に対する各血管画素の位置ｐｉは、式４に従って線形関数（または他のパラメータ化）によって近似することができる。
Figure 2022539078000005
式４において、ｐｉ（０）は、初期の造影増強シーケンスにおいて最も吐き出された呼吸状態（すなわち、λｔ＝０）における画素位置を示す。逆に、ｐｉ（１）は、最も吸気された状態（すなわち、λｔ＝１）におけるその位置を指す並進ベクトルを表す。いくつかの非限定的な例では、患者の呼吸運動が初期の造影画像シーケンスの動きを超える場合、λｔはライブ追跡中に範囲［０，１］外の値をとることができる。しかしながら、パラメータ化（例えば、式４による線形関数）により、血管系の動きは、範囲［０，１］外の値について外挿することができる。
動き推定ステップ２５８の代替例では、コスト関数である式５（以下）を使用して、隣接するマスクフレーム間の動きを追跡するが、所与の呼吸状態に対する単一の呼吸変数（例えば、式３と同様）ではなく、所与の呼吸状態に対する複数の呼吸変数に基づく画素ごとの並進ベクトルを生成することができる。
Figure 2022539078000006
例えば、式５に関して、ｔ０は一定のオフセットであり、ｔｃは胸部呼吸に関連する動きベクトルであり、ｔｄは横隔膜呼吸に関連する動きベクトルである。このコスト関数は、ｒｃを０に等しく設定することによって所与の呼吸状態に対する単一の呼吸変数を生成するために利用することもできる。並進ベクトルｔｃおよびｔｄは、それぞれ対応する呼吸パラメータ（変数）ｒｃおよびｒｄを使用して別個にパラメータ化され、各並進ベクトルおよび対応する呼吸パラメータ（例えば、式４と同様）について対応するパラメータ化（例えば、線形関数）を生成することができる。したがって、後述するように、呼吸変数がわかっている場合、血管系運動モデル２３０は、対応する並進ベクトルを生成することができる。複数の並進ベクトル構成において、２つの抽出された呼吸パラメータ（変数）を使用して２つの対応する並進ベクトルを抽出する場合、２つの対応する並進ベクトルを加算して、合成並進ベクトルを生成することができる。
いくつかの非限定的な例では、血管系の動きは、ステップ２５８において、異形態性デモン手法の代わりに、規則的なステップ勾配降下最適化手法を用いて二次元（「２Ｄ」）アフィン画像位置合わせを使用することによって推定することができる。これは、血管系の変形を記述し、（ステップ２３０を使用して）時間ｔにおける呼吸状態を表す単一のパラメータλｔを使用してパラメータ化される変換行列、または代替的に、時間ｔにおける呼吸状態についての複数の呼吸変数を表すマルチパラメータ手法を生成する。具体的には、パラメータ化は、異形態性デモン手法の各画素ではなく、行列要素ごとに完了される。これにより、各呼吸状態λｔについて計算することができるパラメータ化行列が生成される。
血管系の動きがステップ２５８で推定されると、血管系運動モデル２３０が作成され、例えばオペレータワークステーション１２２またはネットワーク化されたワークステーション１４８に記憶することができる。
図７は、患者（例えば、動き追跡データの特定の形式）から呼吸運動追跡データ（例えば、並進ベクトル）を生成するために血管系運動モデル２３０に入力されるべき画像から呼吸状態を抽出するように構成される、呼吸運動モデル２６０を生成するための例示的なプロセスを示す。
前述したように、呼吸運動モデル２６０は、一般に、ネイティブ蛍光透視画像のみを利用することによって、患者の現在の呼吸状態（例えば、２３６の具体的な実施形態）を判定し、したがって、従来のシステムを悩ませていた呼吸状態を判定するための外部センサを必要としない。呼吸運動モデル２６０の生成は、すべての非造影画像（例えば、先にＩｔ Ｎ（ｘ）として定義した画像セット）にわたる平均画像を生成することから始まる。この平均画像は、動くエッジをぼかすが、静的なエッジ（例えば、肋骨の近くのエッジ）は保持する。次いで、呼吸運動モデル２６０は、ステップ２６２において、（例えば、先にＩｔ Ｎ（ｘ）として定義した画像セット内における）非造影蛍光透視画像、ならびに上記の平均画像のそれぞれについて、エッジの検出に進む。いくつかの非限定的な例では、実施されるように、エッジの検出ステップ２６２は、キャニーエッジ検出器を利用することを含み得る。例えば、キャニーエッジ検出器は、解剖学的構造に沿って輪郭を抽出するために第１のネイティブ画像フレーム（すなわち、Ｉ０ Ｎ（ｘ））に適用される。他の非限定的な例では、キャニーエッジ検出器を利用するのではなく、ガウシアンカーネルの導関数と共に畳み込みを使用することによって、ステップ２６２でエッジを検出することができる。
エッジが検出されると、エッジの検出ステップ２６２から出力された平均画像（例えば、エッジフィルタ処理された平均画像）が、エッジの検出ステップ２６２から出力された非造影画像（例えば、エッジフィルタ処理された非造影画像）のそれぞれから減算されて、エッジフィルタ処理された減算画像が生成される。いくつかの非限定的な例では、非造影画像から減算された平均画像の利用は、動かないエッジを除去することができ、これは特徴を追跡するときに問題を引き起こす可能性がある。エッジフィルタ処理された減算画像は、ステップ２６４において、すべての輪郭を単一画素の細い中心線に縮小するトポロジ保存細線化アルゴリズムを使用して中心線を抽出するために使用される。次いで、曲線特徴のセットは、端点から端点まで各輪郭画素を追跡することによって、接続された２Ｄ座標のリストとして中心線から抽出することができる。端点は、１つの他の輪郭画素のみに接続された輪郭画素、または３つ以上の輪郭画素に接続された分岐点として定義される。ステップ２６６によって示されるように、最初の非造影画像フレームからの各特徴ｆｉの位置が残りの非造影画像フレームにわたって追跡され、ステップ２６８で追跡データが生成される。これは、例えば、所与の非造影画像に対して最初にキャニーエッジ検出器を、続いてガウシアン平滑化フィルタ（または場合によっては、ガウシアンカーネルの導関数と共に畳み込み）を適用し、これをエッジの検出ステップ２６２から出力された先に判定された平均画像から減算することによって形成されるコスト画像Ｃ（Ｉｔ Ｎ，ｘ）を作成することによって達成することができる。次いで、Ｎｅｌｄｅｒ－Ｍｅａｄアルゴリズムを利用することによってコスト関数を最適化することができる。コスト画像の一例が、コスト画像に重畳された強調された曲線特徴と共に、図８に示されている。
特徴が空間的にどのように動くかを判定する並進ベクトルｄｉ（ｔ）は、式６を使用して曲線特徴に沿った平均グレー値を最大化することによって推定することができる。
Figure 2022539078000007
次いで、特徴運動は、呼吸状態に基づく線形関数によって近似することができる。時間ｔにおける特徴ｆｉの各点ｆｉｊの座標は、式７で説明することができる。言い換えれば、選択された特徴の動きを使用して、特徴の動きを呼吸状態に関連付ける線形関数を生成することができる。
Figure 2022539078000008
（例えば、ｒｃおよびｒｄを使用する）所与の呼吸状態に対する複数の呼吸パラメータの実施形態では、胸部（例えば、胸部の特徴）の動きを呼吸パラメータｒｃに関連させ、横隔膜（例えば、横隔膜の特徴）の動きを呼吸パラメータｒｄに関連させる別個の線形関数を生成することができる（式７と同様）。この情報を使用して、ステップ２６９で、パラメータ化を完了して呼吸モデル２６０を形成することができる。
単一の呼吸状態に特徴を関連付ける線形関数（例えば、式７）では、特徴のうちのいくつかは呼吸運動を追跡するのに適しておらず、したがって式７では使用されない。したがって、ステップ２６８によって示されるように、呼吸状態の推定に寄与する確実に追跡された特徴（例えば、横隔膜および胸部）のみを含むサブセットが判定される。特徴のこのサブセットは、最初に｜ｆｉ｜を所与の特徴ｆｉ内の点の数とすることによって作成することができる。次いで、｜ｆｉ｜＜２５を有するすべての特徴がサブセットから除外される。言い換えれば、最初に捕捉された２５点未満の特徴は省略される。同様に、｜｜ｄｉ（１）｜｜≧２．５ｍｍの特徴のみが使用される。これは、呼吸周期全体にわたって、２．５ｍｍを超える動きの長さを有する特徴のみが使用されることを意味する。したがって、概して小さい動きの長さを有する残りの特徴は省略される。所与の特徴に対して特定の必要な動きの長さ（例えば、並進長さ）を有することは、静的な特徴、またはほとんど動かない特徴を回避するのに役立つ。最後に、すべてのフレームで追跡に成功しなかった特徴を除去するために、基準ｃａが計算され使用される。基準ｃａは、式８に従って、コスト画像内の経時的な各特徴に沿った平均グレー値から計算される。
Figure 2022539078000009
式８に関して、変数ｎｔは、造影増強画像シーケンスにおける時間フレームの数を示す。ｃａ（ｆｉ）＜τａを有する特徴は、特徴のセットから除外される。いくつかの非限定的な例では、τａは任意の数であり得るが、本実施形態によれば、τａ＝０．３の閾値が使用され、これは経験的に判定された。上記の３つの基準を通過した残りの特徴は、呼吸状態を判定するために利用される（例えば、式７の計算に使用される）。
血管系運動モデル２３０および呼吸運動モデル２６０が生成されると、リアルタイムシステム２８０を利用することができ（例えば、ステップ２３４、２３６、２３８、２４０、２４２の特定の実施形態）、これは図９に示される。リアルタイムシステム２８０は、ライブ画像２８２の取得から始まる（例えば、ライブ画像２３４と同様）。次いで、ライブ画像２８２内の所与のライブ画像は、ステップ２８４によって示されるように、呼吸状態を判定するために曲線特徴を解析および抽出するために呼吸運動モデル２６０内で最適化される。例えば、呼吸状態は、ライブ蛍光透視画像の取得から導出された所与の蛍光透視画像フレームＩｔ Ｐ（ｘ）について推定することができる。上で詳述したように、呼吸状態は、曲線特徴の抽出されたセットに基づいて判定される。したがって、コスト画像Ｃ（Ｉｔ Ｐ，ｘ）は、所与の蛍光透視画像フレームＩｔ Ｐ（ｘ）について計算され、これはＣ（Ｉｔ Ｎ，ｘ）を計算する手順と同じである。計算されると、呼吸状態の全範囲にわたる線形探索が実行されて、（例えば、呼吸運動モデル２６０を利用する）式９を使用して現在の呼吸状態λｔを見つける。
Figure 2022539078000010
ステップ２８６によって示されるように、現在の呼吸状態λｔが見つかった後、現在の状態λｔは、先に生成された血管系運動モデル２３０への入力とすることができる。この入力λｔは、各血管画素の対応する並進ベクトルを生成する。次いで、（例えば、ユーザ選択を介して実施される）表示選択に応じて、各画素の並進ベクトルを血管系の静的ロードマップに適用して、血管系を動き補償するための動的血管マスク２８８を生成することができる。あるいは、並進ベクトルを反転させ、次いで医療器具の画像に適用して、医療器具を動き補償することができる。ステップ２９０によって示されるように、これらの実施形態のいずれかを表示することができる。表示されると、リアルタイムシステム２８０は、最初に（例えば、ライブ画像２８２内の）別のライブ蛍光透視画像を利用することによってステップを繰り返す。したがって、リアルタイムシステム２８０は、任意の時点における個人の呼吸状態を考慮した血管系の正確な表現のリアルタイム表示を実行する。
上述したように、血管系運動モデル２３０を評価して、モデルの性能を判定した。モデルの定量的評価は、高度な呼吸および心臓運動モデルを含む現実的な人体構造を提供するデジタル４Ｄ ＣＴファントム（米国ノースカロライナ州ダーラムのデューク大学のＸＣＡＴ）を使用して行われた。呼吸運動は、呼吸周期長、最大横隔膜運動、および前後方向の最大胸部膨張を変更することによって変更することができる。これらのパラメータは、それぞれ別個に変更することができる。各時間フレームについて、０．２５ｍｍの等方性空間分解能でＣＴボリュームを生成した。次いで、当該ボリュームを、２８．９５×２１．００ｃｍの視野を有する正投影を使用して前後方向に投影した。造影増強画像を、肝動脈系における血管の減衰を１２０ハウンズフィールド単位（「ＨＵ」）に設定することによってシミュレートした。現実的な画質をシミュレートするために、追加のポアソンノイズを画像に加えた。合計で４群のテストデータセットを生成した。各データセットは４つのサブデータセットを含み、各サブデータセットは、１呼吸周期にわたる造影増強画像シーケンスおよびネイティブ画像シーケンス、ならびに４呼吸周期にわたる追跡シーケンスを含む。すべてのシーケンスに５フレーム／秒の時間分解能を使用した。以下の表１に示すように、呼吸運動パラメータを各画像シーケンス中に変更して、不規則な呼吸をシミュレートした。具体的には、表１は、それぞれが変更された呼吸パラメータを有する４群のデータセットを示し、それらは、サイクル長、横隔膜運動、胸部運動、およびコントラストノイズ比（「ＣＮＲ」）を含む。
Figure 2022539078000011
呼吸運動の追跡の精度を単独で評価するために、推定された呼吸状態
Figure 2022539078000012
 と真の状態λｔとの絶対誤差ｅλを式１０に従って計算した。
Figure 2022539078000013
絶対誤差計算と共に、各フレームの推定動的血管マスクもグランドトゥルース血管位置および形状と比較された。精度は、よく知られているセーレンセンダイス係数および周囲誤差の９９番目のパーセンタイルに関して測定された。グラウンドトゥルースおよび推定された血管セグメント化が与えられると、周囲誤差は、グラウンドトゥルースセグメント化における最も近い輪郭点までの距離として、推定された血管セグメント化の輪郭に沿った各点について計算される。
呼吸状態の追跡に関する上記４群からの定量的評価結果を図１０に示す。図１０のヒストグラムは、絶対誤差の分布をパーセントで示し、線２７０は５０番目のパーセンタイルを表し、バー２７２は９０番目のパーセンタイルを表す。図１０の右下のプロットは、第４群のすべてのシーケンスのグラウンドトゥルース（すなわち、実線２７４として示される）および推定呼吸状態（すなわち、点２７６を有する点線として示される）を示す。破線の黒い縦線は、異なるシーケンス間の境界を示している。
呼吸周期長のみを各画像シーケンス内で変化させた第１群では、絶対誤差は１．０３±１．２２％であった。各シーケンス内で最大横隔膜運動のみを変化させた第２群では、１．０３±１．３７％の誤差が観察された。第３群における最大前後運動を変化させる誤差は１．０３±１．２２％であった。すべてのパラメータが動的に変更された第４群では、絶対誤差は、ＣＮＲが１５の場合は１．０１±１．２１％、ＣＮＲが５０の場合は１．０９±１．２５％であった。推定された動的血管マスクの精度は、０．９４±０．０１～０．９６±０．０１のすべての配列について同様のダイス値を生じた。推定された血管マスクの輪郭の９９番目のパーセンタイル誤差は、第１群～第３群についてそれぞれ０．９２±０．２１ｍｍ’’、０．８６±０．２９ｍｍ、および０．６４±０．０９ｍｍであった。第４群の誤差は、ＣＮＲが１５の場合は０．９６±０．１９ｍｍ、ＣＮＲが５０で０．８６±０．２３ｍｍであった。すべての結果の概要を以下の表２に示す。
Figure 2022539078000014
図１１は、異なる呼吸状態に対するグランドトゥルースおよび推定された血管マスクの重なりを示す。具体的には、図１１内の画像の最初の行は、３つの異なる時間フレームの呼吸状態を推定するために使用されるネイティブ画像フレームである。２行目は、ネイティブ画像に重ね合わされた動的ロードマップ（赤色）を示している。３行目は、推定された動的血管およびグラウンドトゥルース動的血管の重複に関する重なりを示している。一致する領域は白色で示され、グラウンドトゥルースマスク自体は緑色で示されている。最後の行では、推定マスクのみがマゼンタ色で示されている。
上述したように、血管系の現在の状態の正確な表現を提供するために血管ロードマップ（例えば、血管系運動モデル２３０）を作成することができ、これによって介入放射線医学処置中の器具の正確な参照が可能になる。しかしながら、蛍光透視処置中、器具、特にガイドワイヤは、周囲組織から識別することが困難な場合がある。したがって、いくつかの非限定的な例では、ニューラルネットワークを利用して蛍光透視画像から器具をセグメント化し、続いて血管ロードマップ（例えば、血管系運動モデル２３０）上に器具を重畳することによって、器具の明確な表現を提供することが考えられる。このシナリオでは、動的血管マスク２８８または静的ロードマップ２２８の画像と共に、器具の明確な表現を別個の画面に表示することができる。あるいは、医療器具の連続的かつ接続された表現は、動的血管マスク２８８または静的ロードマップ２２８に沿って表示されるのではなく、静的画像または動的画像のいずれかで重ね合わせ、重畳することができる。
従来のシステムは、器具（例えば、ガイドワイヤ）の明確な表現を提供しようと試みてきたが、うまくいかなかった。例えば、ガイドワイヤのセグメント化のための１つの従来の手法は、先に取得された非造影画像（例えば、マスク画像）を減算し、続いてグローバル閾値化することである。しかしながら、この技術は、減算アーチファクトによってガイドワイヤの確実なセグメント化が困難になるため、呼吸運動を伴う用途には適していない。蛍光透視画像におけるガイドワイヤのセグメント化のための他の技術は、例えば、ヘッセフィルタ、またはステアラブルフィルタに基づく線強調フィルタの使用を含む。残念ながら、これらの試みは、器具が単一の接続された経路として表されることを保証しない。線強調フィルタによって見られるこの問題を改善するための試みは、ダイクストラのアルゴリズムや自動で駆動されるベクトルなどの経路探索手法を組み合わせて使用することを含む。同様に、ＶｉｎｃｅｎｔらおよびＢｉｓｍｕｔｈらによって提案された異なる手法は、強度加重距離変換に基づく局所最小経路探索を使用して曲線構造を検出した。経路長を増加させるための最小経路を評価することによって、総当たり手法の指数関数的複雑度を低減することができる。逆に、隣接するフレーム間の非剛体位置合わせを使用して、または曲線特徴を検出するために位相一致を使用してスプラインを最適化することによって、最適化ベースの技術が提案されている。
最後に、機械学習ベースの手法が提案されており、この手法は、分類手法を使用して小セグメントを識別し、次いで、これらのセグメントを線形プログラミング、または主成分分析に基づく階層形状モデルを使用して組み合わせるものである。提案された手法の多くは、計算コストの高い反復法を必要とし、すべての手法のロバスト性は、手動で定義された線検出特徴に依存する。
本開示で提案されたディープラーニング手法は、以前の試みに関連する問題を克服する。ガイドワイヤを含む器具の湾曲した性質、一貫性のない形状、および不均衡なクラス周波数のために、従来のシステムは、連続的かつ接続された形状を抽出することが困難であった。むしろ、以前の試みは、器具の分離した非連続的な形状を抽出してきた。同様に、減算を含む従来の試みでは、患者の動き（例えば、呼吸運動）が望ましくないアーチファクトを生成する可能性がある。本開示によるシステムおよび方法は、例えば、所与の蛍光透視画像から器具全体をセグメント化することにより、従来のシステムの上述の欠点を克服し、それにより、医療器具の連続的かつ接続された画像が蛍光透視画像から抽出される。具体的には、医療器具の抽出された連続的かつ接続された画像は、アルゴリズムまたは階層形状モデルの使用を必要としない。例えば、従来の機械学習手法は、医療器具を含む蛍光透視画像を入力し、当該医療器具の分離した非連続的な画像を出力した。したがって、これらの従来の手法は、医療器具の分離したセグメントまたは部分を結合して医療器具の連続的な表現を作成するために、他のアルゴリズムまたは階層形状モデルを必要とした。特に、本開示によるシステムおよび方法は、医療器具を含む所与の蛍光透視画像に対して、医療器具の連続的かつ接続された画像を出力することができる。
具体的には、ニューラルネットワーク３００は、図１２に示すように、「ＩｍａｇｅＮｅｔ Ｌａｒｇｅ Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅ」データセットからの事前訓練された重みを有するＶＧＧ－１６ネットワークを使用して、ＳｅｇＮｅｔアーキテクチャに基づいていた。ニューラルネットワーク３００は、合計９１の層を含み、それらの層は、エンコーダ段３０２またはデコーダ段３０４のいずれかにグループ化される。エンコーダ段３０２は、一般に、情報を低減するように機能し、特定の層から構成される。エンコーダ段３０２は、所与の画像を受け取るように構成された第１の入力層３０６を含む。エンコーダ３０２の後には、一般に１３の層３０８が続き、各層３０８は、畳み込み層、バッチ正規化層、および整流線形ユニット（「ＲｅＬＵ」）を含む。層３０８は、図１２では実線のボックスとして示されている。エンコーダ３０２はまた、入力画像のサイズを１０２４×１０２４画素から３２×３２画素に縮小する５つの最大プーリング層３１０を含む。最大プーリング層３１０は、図１２において一点鎖線のボックスとして示されている。デコーダ３０４は、エンコーダ３０２とほぼ同じ段を有するが、順序が逆である。さらに、デコーダ３０４は、プーリング層３１０を、図１２で破線のボックスとして示されているアンプーリング層３１２に置き換えている。アンプーリング層３１２は、低減された情報をアップサンプリングし、対象物を位置特定する。所与のプーリング層３１０を対応するアンプーリング層３１２に接続する実線は、プーリングウィンドウ内の最大値のインデックスの転送を示す。デコーダ３０４はさらに、図１２において二点鎖線で示されるソフトマックス層３１４を含み、出力を正規化するように機能する。デコーダ３０４およびニューラルネットワーク３００の最後の層は、２つのクラス（例えば、ガイドワイヤおよび背景）に対する重み付きクロスエントロピー損失関数を使用する分類層（図示せず）である。
ニューラルネットワーク３００を訓練するために、画像データを訓練データセット（６０％）、検証データセット（２０％）およびテストデータセット（２０％）にランダムに分割した。訓練は、単一のグラフィックス処理装置（「ＧＰＵ」）（例えば、米国カリフォルニア州サンタクララのＮＶＩＤＩＡ Ｇｅｆｏｒｃｅ ＧＴＸ １０８０ Ｔｉ）を利用して実行された。訓練は、運動量を用いた確率的勾配降下法を使用して、初期学習率０．００１、運動量０．９、Ｌ２正則化０．０００５、バッチサイズを１画像に設定して実行された。２つのクラスの事前確率は非常に異なるので（全画素の約９９．６％が背景画素であった）、クラス重みはネットワークを背景クラスに偏らせないように調整された。そこで、各クラスの相対周波数は、訓練データに基づいて判定された。次いで、クラス重みを相対周波数の逆数に設定した。ニューラルネットワーク３００は、５６，７６８回の反復（１エポック）にわたって訓練され、９９．９１％の検証精度を受け取った。
画質を改善するために、ニューラルネットワーク３００は、現在の画像および過去の２つのフレームをニューラルネットワーク３００への入力として提供することによって訓練され得る。有利には、これは、ニューラルネットワーク３００が、ノイズに起因して静止した対象物より検出が容易であることが多い、画像内の動く部分を追跡することを学習することを可能にする。他の非限定的な例では、ニューラルネットワーク３００は、過去の４つのフレームと共に現在の画像を提供することによって訓練され得る。
上記のデータセットに基づいて訓練した後、テストデータセットにわたるセグメント化結果をマスク減算ベースのセグメント化アルゴリズムと比較することによって、ニューラルネットワーク３００を評価した。対応するマスク画像を、解剖学的背景のみを含む各テスト画像について、マスク画像およびテスト画像の取得の間に動きが生じなかったと仮定して作成した。ガイドワイヤ画像に使用したのと同じ量のポアソンノイズをマスク画像に加え、実際の臨床取得をシミュレートした。次いで、マスク画像をテスト画像から減算し、方向線強調フィルタを使用してフィルタ処理し、全体的に閾値を設定してガイドワイヤ画素を抽出した。強度閾値は、訓練データセットに基づいて選択された。両方のアルゴリズムのセグメント化の精度は、偽陽性率、偽陰性率、ハウスドルフ距離、およびセーレンセンダイス係数に関して測定された。これらの結果を、ディープラーニングおよびマスク減算ベースのセグメント化についてセーレンセンダイス係数（「ＳＤＣ」）、偽陽性率（「ＦＰＲ」）、偽陰性率（「ＦＮＲ」）、およびハウスドルフ距離（「ＨＳＤＦ」）を比較した以下の表３に示す。
Figure 2022539078000015
図１３は、異なる方法間の比較の結果を視覚的に表す。例えば、一列目の画像は開始画像を示し、二列目の画像はニューラルネットワーク３００から出力された結果画像であり、三列目の画像はマスク減算セグメント化アルゴリズムからの結果を表し、最後の列はグラウンドトゥルース列（例えば、蛍光透視画像に重畳された器具の一例の画像）である。
いくつかの非限定的な例では、器具（例えば、ガイドワイヤ）をセグメント化するディープラーニング手法は、取得された蛍光透視画像が大きな強度変動を有し、画像ノイズを含み、（例えば、胸部／腹部の処置において）画像全体に対して小さな装置信号を有する状況では、以前の試みよりも有利であり得る。例えば、以前の減算ベースの方法は大きな背景強度変動を除去し、閾値ベースのセグメント化の使用を可能にしたが、ノイズの存在下での正確なセグメント化は依然として困難であった。実際、減算に基づくセグメント化は、訓練データセットから導出された最適化された閾値を使用したにもかかわらず、しばしば不連続または不完全であった。さらに、減算に基づく結果は、マスク画像とガイドワイヤ画像との間で通常行われるであろう呼吸運動をシミュレートすることなく得られた。したがって、既に存在する減算アーチファクトは、呼吸運動中に取得されると、追加の、典型的にはより悪い減算アーチファクトを導入する可能性があるため、より悪くなる。このように、ディープラーニング手法は、曲線形状を有する器具（例えば、ガイドワイヤ）を正確にセグメント化することを可能にする。
いくつかの非限定的な例では、血管系運動モデル２３０（および対応するシステムまたはプロセス）内の構成要素と器具のディープラーニングセグメント化手法とを組み合わせることができる。例えば、それぞれのシステム内の構成要素を、誘導システム３２０、３４０を作成するように形成することができる。
図１４は、誘導システム３２０のブロック図を示す。図示のように、誘導システム３２０は、既に導入されている同様の構成要素を有する。したがって、これらの構成要素の前述の説明は、誘導システム３２０内の構成要素にも関係する。誘導システム３２０は、非造影蛍光透視画像セット３２２および造影蛍光透視画像セット３２４の取得を含む。これらの画像セットのそれぞれは、前述した画像セットと同様であり、上述したように、血管系運動モデル２３０と呼吸運動モデル２６０の両方を生成するために使用される。画像セット３１６、３１８のそれぞれは、介入処置の前に取得することができ、血管系運動モデル２３０および呼吸運動モデル２６０は、介入処置の前に生成することができる。
血管系運動モデル２３０および呼吸運動モデル２６０が生成されている間、または場合によっては、画像セット３１６、３１８の取得の前に、ニューラルネットワーク３００を訓練することができる。ニューラルネットワーク３００は、例えば処置中に使用されるように意図された器具を含む以前に取得された蛍光透視画像であり得る、訓練画像３１６を使用して訓練され得る。以下のこの説明は、ガイドワイヤを参照して説明されるが、他の器具を使用することもできる。例えば、カテーテルなどの他の曲線器具を使用することができる。しかしながら、ニューラルネットワーク３００は、使用される特定の器具に合わせて訓練される必要がある。あるいは、場合によっては、ニューラルネットワーク３００が連続的かつ接続されたガイドワイヤを抽出するように以前に訓練されている場合、後続の処置では、ニューラルネットワーク３００は、処置の前に再び訓練される必要はない。
ニューラルネットワーク３００が準備されると、ガイドワイヤが患者に挿入されるとき（すなわち、処置が開始されるとき）、リアルタイムの蛍光透視画像３２６が（例えば、Ｘ線撮像システム１００を介して）取得される。場合によっては、図示するように、介入放射線科医が望む場合、リアルタイムの蛍光透視画像３２２を（例えば、ディスプレイ１５０、ディスプレイ１２４などと同様の）ディスプレイ３３１に表示することができる。これに対応して、リアルタイムの蛍光透視画像３２６内の所与の画像は、ニューラルネットワーク３００と呼吸運動モデル２６０の両方に向けられる。前述のように、ニューラルネットワーク３００に入力されるリアルタイムの蛍光透視画像３２６内の所与の画像は、（例えば、ディスプレイ１５０、ディスプレイ１２４などと同様の）ディスプレイ３３０に表示することができるガイドワイヤ３２８の連続的かつ接続された画像を出力する。さらに、リアルタイムの蛍光透視画像３２６内の所与の画像は、呼吸運動モデル２６０に向けられ、呼吸運動モデル２６０は、呼吸運動モデル２６０内で使用される所与の画像から曲線特徴を分析し、続いて抽出して、呼吸状態３３２（例えば、λｔ）を判定する。呼吸状態３３２は、呼吸状態３３２の各画素に対応する並進ベクトルを判定するために、血管系運動モデル２３０に入力される。各画素の並進ベクトルは、動的血管マスク３３４を生成するために、血管系運動モデル２３０内の以前に生成された静的ロードマップに適用される。動的血管マスク３３４は、（例えば、ディスプレイ１５０、ディスプレイ１２４などと同様の）ディスプレイ３３６に表示され得る。
誘導システム３２０内のディスプレイ３３１、３３０、３３６は、介入放射線科医が重要な特徴を別個に見ることを可能にする。例えば、処置中、ディスプレイ３３６は、圧縮および呼吸周期中の血管系の空間位置の変化を考慮した血管系の動き補償表現を示す。これは、血管系がネイティブな未処理の蛍光透視画像で見ることが困難であり、血管系技術の以前のセグメント化は血管系の正確な動きの表現を示さず、むしろ血管系の静的な表現を示すので有利である。処置中、介入放射線科医は、ディスプレイ３３０上にガイドワイヤ（または他の器具）の明確な表現を見ることもできる。いくつかの非限定的な例では、医療器具３２８の連続的かつ接続された画像は、ディスプレイ３３０に表示する前に調整（例えば、サイズを増大させる、色を変更するなど）することができる。これは、血管系と同様に、ガイドワイヤを含むいくつかの器具は、ネイティブな未処理の蛍光透視画像で見ることが不可能ではないにしても困難であるため、有利である。最後に、介入放射線科医は、ディスプレイ３２６上でリアルタイムの蛍光透視画像３２６を見ることができる。したがって、介入放射線科医は、ガイドワイヤをターゲットに効果的に誘導するために所望されるいずれの画面も見ることができる。
場合によっては、介入放射線科医がディスプレイ（例えば、ディスプレイ３３１、３３０、３３６）間で焦点を絶えず移動させるのではなく、単一のディスプレイを見ることができるように、表示前に画像を組み合わせることが望ましい場合がある。したがって、いくつかの非限定的な例では、介入放射線科医が介入処置を効果的に完了するために単一のディスプレイを見るだけでよいように、単一のディスプレイを可能にする誘導システム３４０が提供される。
図１５は、誘導システム３４０のブロック図を示す。誘導システム３４０は、特に誘導システム３２０を考慮して既に導入されている同様の構成要素を有する。したがって、これらの構成要素の前述の説明は、誘導システム３４０内の構成要素にも関係する。例えば、リアルタイムの蛍光透視画像３２６内の所与の画像は、呼吸運動モデル２６０に向けられ、呼吸運動モデル２６０は、呼吸運動モデル２６０内で比較される所与の画像から曲線特徴を分析し、続いて抽出して、呼吸状態３３２（例えば、λｔ）を判定する。また、ニューラルネットワーク３００に入力されるリアルタイムの蛍光透視画像３２６内の所与の画像は、ガイドワイヤ３２８の連続的かつ接続された画像を出力する。しかしながら、器具３２８の連続的かつ接続された画像は、器具の位置合わせステップ３３９内で、静的血管系ロードマップおよび呼吸状態３３２の各画素の並進ベクトルと特定の方法で組み合わされる。これらが組み合わされる方法、例えば、動き補償がどのように適用されるかは、ユーザ選択３３８（例えば、作動ボタン、ユーザインターフェースなど）に依存する。
例えば、ユーザ選択３３８は、呼吸状態３３２の各画素の並進ベクトルの逆数を器具３２８の連続的かつ接続された画像に適用する第１の状態を選択することができる。医療器具のこの動き補償画像は、（例えば、血管系運動モデル２３０からも出力される）静的血管系ロードマップに重ね合わされる。第１の状態からのこの出力が、（例えば、ディスプレイ１５０、ディスプレイ１２４などと同様の）ディスプレイ３４６に表示される。この第１の状態は、血管系画像を静止させたまま（例えば、静的血管系ロードマップ）、動き補償をガイドワイヤに適用する。したがって、この第１の状態は、ターゲット（例えば、血管系の一部）が静止しているので、介入放射線科医にとって有利であり得る。しかしながら、ガイドワイヤは、呼吸運動が補償され、特定の呼吸状態に応じて動かされる（例えば、並進、圧縮される）。したがって、ガイドワイヤが静的血管系ロードマップ上に位置合わせされるように、ガイドワイヤの位置を補正することができる。これにより、介入放射線科医は、ガイドワイヤを静止しているターゲット位置（例えば、静的ロードマップ）に誘導し、ガイドワイヤを操作することが可能になり、その結果、ガイドワイヤの（例えば、ディスプレイ上での）見かけの動きは介入放射線科医によってのみ引き起こされ得る。
ユーザ選択３３８はまた、器具の位置合わせステップ３３９の第２の状態を選択することもできる。上述したように、器具の位置合わせステップ３３９は、器具３２８の連続的かつ接続された画像、静的血管系ロードマップ、および呼吸状態３３２の各画素の並進ベクトルを受け取る。しかしながら、第２の状態では、各画素の並進ベクトルが静的血管系ロードマップに適用されて動的血管マスク（例えば、動的血管マスク３３４）が生成され、器具３２８の連続的かつ接続された画像が動的血管マスクに重ね合わされる。この第２の状態は、動き補償を血管系の画像に適用して、動いている血管系の「ビデオ」を後続の画像と共に生成する。これにより、介入放射線科医は、ターゲット血管系の正確な表現に対してガイドワイヤを明確に見ることができる。例えば、血管系の一部であるガイドワイヤの所望のターゲット点は、呼吸周期全体にわたって動きかつ変形し、理想的にはガイドワイヤと一致する（例えば、ガイドワイヤは、動的血管マスク３３４と位置合わせされる）。したがって、具体的には、血管系は、介入放射線科医がガイドワイヤをターゲット位置に正確に誘導することができるように、リアルタイムビデオを形成する。
いくつかの非限定的な例では、誘導システム３２０、３４０は、Ｘ線撮像システム１００上に実装することができる。場合によっては、Ｘ線撮像システム１００は、（例えば、ＧＰＵ、並列プロセッサなどを含む）ニューラルネットワーク３００を効果的に実行するように変更することができる。
図１６は、動き変換を使用して静的ロードマップ上に位置合わせされた介入医療装置を示すために、静的ロードマップおよび動的な「動いている」血管系を表示するための図を示す。すなわち、後述するように、静的ロードマップ上の介入医療装置の位置合わせは、ユーザ選択に基づくことができる。動き調整は、ユーザにとって少なくとも２つの異なる表示オプションにおける位置合わせを達成する。例えば、動き調整は、患者の動きを示さない複数の画像を生成するために、静的ロードマップに対する介入医療装置の動き補償を含むことができる。あるいは、動き調整は、患者の動きを示す複数の画像を生成するための介入医療装置に対する静的ロードマップのものであり得る。
図１６は、２つの異なる呼吸状態における血管系を示す。図示の例では、同じ血管系が、第１の呼吸状態３５０の第１の位置、および第２の呼吸状態３５２の第２の位置で示されている。同じ血管系のこれらの２つの位置を２つの呼吸状態３５０、３５２の間に重ね合わせるだけでわかるように、患者の動きについて調整することができないと、調整できた場合には明確になるはずである情報が不明瞭になる。さらに複雑さを増すために、上述のシステムおよび方法は、図３のライブ画像２３４の取得中に患者の動きを補償または調整するだけでなく、静的ロードマップ２２８に対して動くライブ画像２３４を補償または調整しなければならない。さらにまた、血管系は、患者が動いている間に単純に動く剛性構造ではない。むしろ、血管系は、並進、回転、圧縮、伸長などを行う。これらのすべての生物学的構造を超えても、介入医療装置は、解剖学的構造の変化に対して追跡され、調整されなければならない。したがって、図１６に示すように、２つの呼吸状態間のライブ画像における血管の動きによって引き起こされる不明瞭な情報は、本開示が対処する複雑さの１つの層にすぎない。
ここでも、上述のシステムおよび方法は、圧縮、膨張、変形、並進、回転などを含む、患者の時間中に生じる動きの全範囲にわたって動き補償または動き調整を実行することができる。図１７は、（例えば、静的血管系ロードマップを伴わない）誘導システム３２０の第１の実施形態から出力された蛍光透視画像を示す。図１７内の上部蛍光透視画像は、より圧縮／収縮した状態（例えば、呼気中）の血管系を示し、図１７内の下部蛍光透視画像は、減圧／膨張状態（例えば、吸気中）の血管系を示す。
図１８は、（例えば、静的血管系画像を伴う）誘導システム３４０の第２の実施形態から出力された蛍光透視画像を示す。示されるように、血管系は、異なる時点で取得された上部蛍光透視画像から下部蛍光透視画像にかけて動いていない。むしろ、各蛍光透視画像は、ガイドワイヤのみが動いていることを示している。
図１９に示すように、本開示によるディスプレイは、ユーザが（１）動き補償と（２）動き調整との間で選択できるように設計されている。すなわち、ユーザは、上述のシステムおよび方法を使用して、静的ロードマップに対する介入医療装置の動き補償を使用して画像を表示し、患者の動きを示さない複数の画像を生成することができる。あるいは、ユーザは、上述のシステムおよび方法を使用して、介入医療装置に対する静的ロードマップの動き調整を使用して画像を表示し、患者の動きを示す複数の画像を生成することができる。
特に、図１９を参照すると、本開示によるディスプレイ３８０が示されている。ディスプレイ３８０は、静的血管ロードマップ３８２（実線で示す）を示す。ディスプレイ３８０はまた、介入医療装置３８４を示す。ディスプレイ３８０は、ユーザが、（１）患者の動きを示さない複数の画像を生成するための静的ロードマップに対する介入医療装置の動き補償と、（２）患者の動きを示す複数の画像を生成するための介入医療装置に対する静的ロードマップの動き調整との間で選択することができることを示すための例示目的のものである。
動き補償が選択された場合、静的血管ロードマップ３８２は永続的なディスプレイに示され、図３のライブ画像２３４内を動く介入医療装置３８４のディスプレイは、静的血管ロードマップ３８２と一貫して位置合わせされて提示される。したがって、これは、補償の適用によりユーザにとっての見かけの動きが除去されるので、「動き補償」と呼ばれる。すなわち、画像のディスプレイ３８０を見るときのユーザの固定された外部視点から、静的血管ロードマップ３８２および介入医療装置３８４は、呼吸運動などの患者の動きとともに動くことはない。代わりに、静的血管ロードマップ３８２は静止構造として表示され、介入医療装置３８４は、静的血管ロードマップ３８２を通って前進するにつれてその中に位置合わせされる。
あるいは、動き調整が選択された場合、静的血管ロードマップ３８２は、図３のライブ画像２３４内の介入医療装置３８４の動きを追跡するように調整される。このようにして、静的血管ロードマップ３８２は、介入医療装置３８４が第２の位置３８６へと動く際の動きに伴い、実線で示される静的位置とトラックとの間で動き調整される。すなわち、静的血管ロードマップ３８２は同様に、介入医療装置３８４が第２の位置３８６へと動く際に、介入医療装置３８４と位置合わせされたままであるように、第２の位置３８８へと動く。このようにして、呼吸運動などの患者の動きがディスプレイ３８０に示される。すなわち、画像のディスプレイ３８０を見るときのユーザの固定された外部の視点から、静的血管ロードマップ３８２および介入医療装置３８４は、呼吸運動などの患者の動きとともに動き、その結果、静的血管ロードマップ３８２は、介入医療装置３８４が静的血管ロードマップ３８２を通って前進し、第２の位置３８６へと動く際に介入医療装置３８４と位置合わせされ動くものとして表示される。
誘導システム３２０、３４０は、蛍光透視誘導の二次元実装のために説明されているが、いくつかの非限定的な例では、三次元誘導を可能にする誘導システムを有することが望ましい。三次元誘導システム４００は、いくつかの以前に開示された構成要素を利用する。したがって、すでに上述した構成要素は、三次元誘導システム４００にも関係する。
図２０は、三次元誘導システム４００のブロック図であり、これは、Ｘ線撮像システム１００（または上述の変更された変形例）上に実装することができ、造影２Ｄ蛍光透視画像セット４０２、非造影２Ｄ蛍光透視画像セット４０４、および３Ｄ造影Ｘ線画像セット４０６の取得を含むことができる。造影２Ｄ蛍光透視画像セット４０２および非造影２Ｄ蛍光透視画像セット４０４は、それぞれ画像セット３２４、３２２と同一であり得る（例えば、両方の画像セットは、呼吸周期全体にわたる蛍光透視画像を含む）。あるいは、以下の手順を用いて画像セット４０２、４０４を取得することができる。
いくつかの非限定的な例では、所望の蛍光透視撮像血管系は門脈系であり得、上腸間膜動脈造影を行うことによって取得することができる。造影剤を注入するために、蛍光透視画像誘導下で血管造影カテーテル（例えば、サイズ５Ｆｒ）を上腸間膜動脈に配置することができ、造影剤（例えば、ヨウ素）を注入し、続いて生理食塩水を注入することができる。注入された造影剤が上腸間膜動脈から門脈に排出されているとき、蛍光透視画像が（例えば、撮像システム１００の単一モードまたは二平面モードを介して）取得される。例えば、造影２Ｄ蛍光透視画像セット４０２は、特定のサンプリングレート（例えば、毎秒１５フレーム）で取得することができ、患者の呼吸周期全体にわたる蛍光透視画像を含む。造影剤が排出された後（例えば、造影剤の残留物が血管系内に残っていない）、または逆に、造影剤を注入する前に、非造影２Ｄ蛍光透視画像セット４０４を取得することができ、その結果、画像セットは、患者の呼吸周期全体にわたる蛍光透視画像を含む。
画像セット４０２、４０４が取得されると、または両方の取得の前に、３Ｄ造影Ｘ線画像セット４０６を取得することができる。３Ｄ画像セットは、最初に（例えば、上腸間膜動脈において）動脈内注入を行い、続いて生理食塩水を注入することによって取得することができる。注入に続いて、画像セット４０６の取得中に患者によって息止めが行われる。具体的には、画像セット４０６は、Ｘ線検出器アレイアセンブリ１０６の２つの異なる空間位置で取得されたＸ線画像を含む。例えば、３Ｄ造影Ｘ線画像セット４０６内の複数のＸ線画像は、水平旋回軸１１６の周りのＸ線源アセンブリ１０４およびＸ線検出器アレイアセンブリ１０６の異なる旋回角度で取得される。したがって、画像セット４０６内の画像は、複数の平面で取得される。いくつかの非限定的な例では、旋回角度は０°～３６０°であり得、その間に任意のステップサイズがある。他の非限定的な例では、血管系の３Ｄボリュームを外挿するために、画像セット４０６内の２つの蛍光透視画像のみが別個の平面からである必要がある。さらに別の非限定的な例では、造影画像セット４０２、４０６の両方の取得からの追加の放射線および造影剤注入を回避するために、造影２Ｄ蛍光透視画像セット４０２の取得中に３Ｄ造影蛍光透視画像セット４０６を取得することができる。例えば、特定のターゲット位置を選択することができ、２つの異なる平面からの蛍光透視画像が取得される場合、３Ｄ位置は、３Ｄボリューム空間内の２Ｄ点の逆投影の交差によって判定され得るが、これについては以下でより詳細に説明する。
３Ｄ造影Ｘ線画像セット４０６が取得されると、３Ｄボリュームを生成することができる。次いで、血管系の３Ｄボリューム４０８（例えば、門脈系）を抽出するか、または３Ｄボリュームから（例えば、３Ｄボリューム内の他の解剖学的部分から）除去することができる。これは、例えば、最初にガウシアンフィルタ（例えば、１．５の標準偏差）を適用してノイズを低減することによって達成することができる。次いで、血管系運動モデル２３０を生成するために使用される手順と同様に、グローバル閾値化手法を使用して（例えば、閾値＝－２５０）、血管系の３Ｄボリューム４０８のみを抽出することもできる。さらに、接続成分分析を実行して、二値化ボリューム内のすべての接続領域を見つけることができる。場合によっては、血管系を表すために最大領域のみを使用することができる。例えば、より小さな領域は、典型的にはノイズおよびアーチファクトであるため、手動で解析および削除することができる。これらからの出力は、血管系の３Ｄボリューム４０８をもたらす。
呼吸運動追跡は、呼吸状態を追跡するために異なるプロセスを利用するが、曲線特徴の抽出は、呼吸状態を判定するために置き換えることができる（例えば、呼吸運動計算４１４の代わりに置き換えられる）。誘導システム４００は、蛍光透視画像内の領域間の輝度の差を利用する呼吸運動モデル４１４を生成するステップを含み、領域は、横隔膜の上および下の位置を含むことができる。具体的には、呼吸運動モデル４１４を生成するために、画像セット４０４内の所与の蛍光透視画像について、ｘ次元における平均輝度を計算することができる。例えば、ｘ次元における平均輝度を計算することは、式１１において
Figure 2022539078000016
 によって表される情報を低減するのに役立ち得る。本質的に、ｘ次元における平均、合計のどちらを使用しても、式１１において平均正規化が相殺されるため、出力は同一である。いくつかの非限定的な例では、ｘ次元における平均輝度を計算する代わりに、合計、最大値、中央値、最小値などを使用して情報を減らすこともできる。ｘ次元計算を使用して、呼吸状態の指標として使用されるｙ次元における質量中心を判定することができる。具体的には、ｙ次元における質量中心は、（ｙ方向の）点に関連し、質量中心より上のすべての画素値の合計は、質量中心より下のすべての画素値の合計と同じである。ｙ方向における質量中心は、ｒ（ｔ）と同様に計算される。所与の画像についてｙ次元における質量中心が計算されると、呼吸状態ｒ（ｔ）は、式１１に従ってｙ方向における質量中心に関連付けられる。この手順は、非造影２Ｄ蛍光透視画像セット４０４内のすべての所与の画像の呼吸状態を計算するために使用される。式１１に関して、ｔは時刻を示し、Ｉｔ（ｘ，ｙ）は時刻ｔに取得された蛍光透視画像である。この手法は、単一または二平面の取得のいずれかに使用することができる。二平面データでは、画像ごとに計算された呼吸状態が平均化される。
Figure 2022539078000017
図２１は、Ｚ次元における血管系の推定される運動に対する式１１（例えば、呼吸状態）の出力のグラフを示す。図示のように、呼吸状態は、Ｚ次元における血管系の相対運動に密接に対応する。
再び図２０を参照すると、血管系運動モデル４１６を作成するために、造影画像セット４０２および非造影画像セット４０４が減算される。より具体的には、造影画像セット４０２内の各フレームについて、ネイティブ２Ｄ画像セット４０４内にはるかに多くの対応するフレームがある。したがって、取得時刻における造影画像セット４０２内の各フレームについて、その取得時刻に対応する非造影画像セット４０４内の最良の対応するフレームのうちの５つが選択される。例えば、画像対を識別するために、平均二乗誤差を計算し、最小化して、造影フレームと非造影フレームの対を生成することができる。これは、式１に関する手順と同様である。しかしながら、典型的には、上述したように、造影画像より多くの非造影画像が存在する。したがって、各造影画像に対して、いくつかのマッチした非造影画像（例えば、５、１０など）がある。これらいくつかのマッチした非造影画像からベストマッチを選択することができ、例えば５つのベストマッチ、あるいは単一のベストマッチを使用することができる。２つ以上のベストマッチが使用される場合、画像は平均化される。次いで、対応する造影画像は、非造影画像からのベストマッチに基づいて平均画像から減算されるか、またはベストマッチした非造影画像から減算される。この減算は、すべての造影画像について完了される。減算は、解剖学的背景を除去する。
次いで、血管系運動モデル４１６を作成するために、血管系の３Ｄボリューム４０８から２Ｄ画像空間にすべての点を投影するコスト関数ＣＦが定義される。３Ｄボリューム４０８が２Ｄ画像空間に投影されると、減算画像内のすべての投影点について平均二乗輝度が計算され、出力はコストとして定義される。
次いで、上記のコスト関数を使用して、すべての減算画像フレームを評価する。評価されると、最小コストを有する減算された２Ｄフレームが識別され、開始フレームとして選択される。この減算された２Ｄフレームは、アフィン変換行列を推定するためにコスト関数を最小化することによって３Ｄから２Ｄへの位置合わせを実行するために使用される。最小化は、正規ステップ勾配降下アルゴリズムを使用して実行される。このアルゴリズムは、異なるぼかしカーネルを有する減算画像のぼかしバージョンに適用され、より大きな変換を可能にするために大きなカーネルから開始される。第１のステップでは、剛体運動のみが考慮され、後のアフィンパラメータが含まれる。血管系の大きな変形を回避するために、正則化項をコスト関数に追加することができる。その後、３Ｄから２Ｄへの位置合わせが残りの減算画像フレームに適用される。いくつかの非限定的な例では、前のフレームまたは次のフレームの結果が初期化として使用される。
減算された各２Ｄフレームの変換行列を生成した後、線形関数、または場合によっては上述のパラメータ化が、呼吸状態をそれぞれのパラメータにマッピングまたは関連付ける変換行列の各パラメータについて推定される。したがって、減算された各２Ｄフレームの呼吸状態がｘとして使用され、減算された各２Ｄフレームのパラメータがｙとして使用される。次いで、二乗コスト関数を使用するロバスト回帰手法を使用して、変換行列内の呼吸状態とパラメータとの間の線形関係を推定し、生成する。
いくつかの非限定的な例では、上述したように、血管系の３Ｄボリューム４０８は、蛍光透視画像の２つの異なる平面を介してのみ生成される。したがって、場合によっては、造影蛍光透視画像セット４０２を使用して血管系の３Ｄボリューム４０８を生成することができ、血管系運動モデル４１６の生成はわずかに異なる。例えば、この代替手法は、取得された３Ｄ ＤＳＡを使用せず、むしろ２Ｄ投影画像の両方のフレームにターゲットが定義される。このターゲット位置は、ターゲット位置の周囲近傍を用いて経時的に追跡される。すべての後続フレームについて、コスト関数が最小化され、これにより、元の画像内のターゲットの周りのパッチと現在の画像内の変換されたターゲットの周りのパッチとの間の平均二乗誤差が計算される。両方の画像シーケンスでターゲットを追跡した後、両方の平面の３Ｄボリュームへの投影光線を判定し、交点（または正確な交点がない場合は両方の線に最も近い点）を計算して３Ｄボリューム４０８を生成することによって、各２Ｄ減算フレームのそれぞれの３Ｄ位置を計算することができる。次いで、３Ｄターゲット位置と呼吸状態との間の線形関係が、上述したアフィン変換行列を使用するのではなく、三要素並進ベクトルを使用して推定され、血管系運動モデル４１６が作成される。
呼吸運動モデル４１４および血管系運動モデル４１６が生成されると、４２０において器具の３Ｄボリュームを生成することができる。最初に、異なる平面から取得された器具を含むＸ線撮像システム１００を介してリアルタイムの蛍光透視画像４１８が取得される。次いで、リアルタイムの蛍光透視画像４１８内のこれらの画像を処理して器具をセグメント化し、（例えば、４２０において）器具の３Ｄボリュームを作成する。器具をセグメント化するために、すべての非造影画像フレームに対する現在の画像の平均二乗誤差が計算され、最良の非造影画像フレーム（例えば、誤差が最も小さいもの）が所与の／現在の画像から減算される。次いで、ライン検出フィルタが適用され、続いて、各画像行の平均強度と共に変化して画像を二値化する動的閾値が適用される。いくつかの非限定的な例では、このプロセスではなく、ニューラルネットワーク（例えば、前述のニューラルネットワーク３００）を使用して、器具のセグメント化を実行することができる。
セグメント化２Ｄ画像が二値化された後、二値化されたセグメント化２Ｄ画像は、トポロジ保存間引きを使用して間引かれ、すべての可能な曲線セグメントが抽出される。次いで、器具の中心線を表す単一の接続された経路を見つける２Ｄ経路探索が適用される。曲線セグメントのセットは有向グラフを表し、各セグメントはノードを表し、接続重みは、２つのセグメントの端点間のユークリッド距離およびセグメント間の角度によって定義される。さらに、すべての未使用セグメントの点の数は、各経路の最終コストに加算される。セグメントにわたる全体的なコストを最小にする経路を見つけるために、ダイクストラの手法が使用される。２つの異なる平面から取得された２つのリアルタイム画像について２Ｄ装置経路がセグメント化された（またはニューラルネットワーク３００から出力された）後、同じ３Ｄ点を表す２つの平面からの対応点の対が識別される。これは、２Ｄ画像を構築することによって行うことができ、ここで、各画素は潜在的な点対を表し、左から右へのすべての画素は、（先端から開始される）第１の平面からの装置経路上の点を表し、上から下への画素は、（先端から開始される）第２の平面上の点を表す。各画素の値は、焦点から２Ｄ平面上のそれぞれの点までの投影３Ｄ光線間の距離である。次いで、単調関数は、上、左の画素から開始され下または右の境界のいずれかまで画像を通るコストを最小にする経路を見つけることによって判定することができる点の対応関係を識別する。経路上の各画素は、１つの点の対応関係を表す。次いで、３Ｄ装置経路は、対応する点の各対を別個に再構成することによって計算され、点はボリューム空間に逆投影され、交点（または両方の線に最も近い点）は３Ｄ位置を表す。この手順は、ステップ４２０において器具の３Ｄ中心線を生成する。次いで、３Ｄ中心線が判定された場合、ステップ４２０において器具の３Ｄボリュームも生成することができる。例えば、器具の断面（または任意の所望の断面）および器具の直径（または任意の所望の直径）を使用して、３Ｄ中心線に沿って押し出し、器具の３Ｄボリュームを生成する。あるいは、３Ｄ中心線手法は、初期化にのみ使用されてもよい。例えば、（例えば、リアルタイムの蛍光透視画像４１８内の）すべての後続フレームについて、３Ｄから２Ｄへの位置合わせを使用して器具を追跡することができる。これは、最初に装置をセグメント化することなく再構成を可能にし、場合によってはよりロバストであり得る。したがって、前のフレームからの３Ｄ装置中心線を表す点群が２Ｄ画像空間に順投影され、平均二乗輝度に基づくコスト関数が計算される。次いで、（例えば、Ｎｅｌｄｅｒ－Ｍｅａｄ Ｓｉｍｐｌｅｘ手法を使用して）コスト関数を最小化することによってアフィン変換を推定し、前の時間フレームと比較した器具の位置および向きの変化を判定する。Ｐが前のフレームからの装置の中心線を表す点のセットを表す場合、変換は、式１２によって現在のライブ画像Ｉに基づいて判定することができる。
Figure 2022539078000018
次いで、新しい装置位置は、点のセットがＰｎである式１３によって記述することができる。
Figure 2022539078000019
呼吸運動モデル４１４、血管系運動モデル４１６、および器具の３Ｄボリュームが生成されると、介入放射線医学処置を進めることができる。上述したように、リアルタイムの蛍光透視画像４１８は、参照符号４２２で示す呼吸状態ｒ（ｔ）を判定するために呼吸運動モデル４１４に向けることができる。呼吸状態ｒ（ｔ）４２２が判定された後、呼吸状態は、血管系運動モデル４１６に入力され、以前に計算された線形関係（例えば、変換行列／三要素並進ベクトルと呼吸状態との間の推定された線形関係）から、対応する変換行列（または三要素並進ベクトル）を生成する。
器具の位置合わせステップ４２８は、オペレータワークステーション１２２、ネットワーク化されたワークステーション１４８などに実装することができ、器具の３Ｄボリュームまたは血管系の３Ｄボリューム４０８のいずれかに動き補償を適用することができる。第１の実施形態では、器具の位置合わせステップ４２８は、呼吸状態４２２に対応する変換行列／三要素並進ベクトルを受け取り、変換行列／三要素並進ベクトルを反転し、これを器具の３Ｄボリュームに適用して、器具を空間的に操作する。しかしながら、代替的に、いくつかの非限定的な例では、変換行列／三要素並進ベクトルの逆数を器具の３Ｄ中心線に適用することができ、続いて、空間的に操作される３Ｄ中心線を押し出して、空間的に操作される器具の３Ｄボリュームを生成することができる。次いで、血管系の３Ｄボリューム４０８は、器具の動き補償された３Ｄボリュームに重畳することができ、（例えば、ディスプレイ１５０、ディスプレイ１２４などと同様の）ディスプレイ４３０に表示することができる。これにより、血管系の比較的静的な表現（例えば、血管系の３Ｄボリューム）を器具の動き補償された３Ｄボリュームと位置合わせすることが可能になり、その結果、器具の見かけの動きは介入放射線科医による操作によってのみ引き起こされ得る。
器具の位置合わせステップ４２８はまた、血管系の３Ｄボリューム４０８に動き補償を適用することもできる。例えば、器具の位置合わせステップ４２８は、呼吸状態４２２に対応する変換行列／三要素並進ベクトルを（例えば、血管系運動モデル４１６から）受け取り、これを血管系の３Ｄボリューム４０８に適用する。次いで、ステップ４２０において、血管系のこの空間的に操作された３Ｄボリュームを器具の３Ｄボリュームに重畳して、ディスプレイ４３０上に表示することができる。これにより、血管系の空間的に移動する３Ｄ表現上に医療器具を位置合わせすることが可能になる。いくつかの非限定的な例では、介入放射線科医は、いずれかの実施形態の方式（例えば、器具の位置合わせステップ４２８）間で容易に切り替え／トグルすることができる。
１つの呼吸状態から別の呼吸状態への血管系の異なる部分の空間的操作に関連する動きデータ（例えば、上記の変換行列／三要素変換ベクトル）は、血管系の３Ｄ動き補償表現、または代替的に、医療器具の３Ｄ動き補償表現を生成するために使用することができる。例えば、呼吸状態がわかっている場合、その呼吸状態について血管系がどのように動くべきかを示す動きデータもわかっていることになる。次いで、この動きデータを血管系の３Ｄボリューム（例えば、完全に吸気された状態または呼気された状態の場合、ｒ（ｔ）に適用して、３Ｄボリュームがその呼吸状態における血管系の現実的な向きを表すように、観察面内の血管系の３Ｄボリュームを操作することができる。あるいは、この動きデータを医療器具に適用して、血管系の３Ｄボリュームの特定の位置の動きに基づいて医療器具を動かすこともできる。例えば、医療器具４６０が並進、回転、圧縮、伸長などを行う血管系の一部に存在する場合、血管系のこの動きの逆が医療器具に適用される。これは、例えば、ターゲット（例えば、血管系）は静的３Ｄボリュームであり得るが、器具はその特定の呼吸状態に対する血管系の動きに基づいて（例えば、圧縮、伸長、回転、並進）動かされ得るため、有利であり得る。上述したように、介入放射線科医は、ユーザ選択に基づいて、動きデータが血管系の３Ｄボリュームに適用されて観察面内の血管系の３Ｄボリュームを動かす（例えば、血管系の呼吸運動を補償する）誘導システム４００の第１の状態と、動きデータが医療器具の３Ｄボリュームに適用されて観察面内の医療器具の３Ｄボリュームを動かす（例えば、血管系の呼吸運動を補償する）誘導システム４００の第２の状態との間で切り換えることができる。
上述のシステムは、本開示によるプロセスを実行するように構成またはその他の方法で使用されてもよい。特に、さらに詳細に説明するように、本発明は、１つまたは複数の好ましい非限定的な例に関して説明されており、明示的に述べられたものを除いて、多くの均等物、代替物、変形、および修正が可能であり、本発明の範囲内であることを理解されたい。

Claims (21)

  1. 介入医療処置を誘導するために患者の動き調整画像を作成する方法であって、
    非造影増強血管系を有する患者の第１の複数の画像を取得するステップと、
    造影増強血管系を有する前記患者の第２の複数の画像を取得するステップと、
    前記第１の複数の画像および前記第２の複数の画像を使用して前記患者の血管系の静的ロードマップを生成するステップと、
    前記第１の複数の画像および前記第２の複数の画像を使用して前記患者の動きモデルを生成するステップと、
    介入医療装置が前記患者内に展開された状態で前記患者の第３の複数の画像を取得するステップと、
    前記第３の複数の画像を使用して前記患者または前記介入医療装置のうちの１つの動き追跡データを生成するステップと、
    前記動き追跡データおよび前記動きモデルを使用して動き変換を生成するステップと、
    前記動き変換を使用して前記静的ロードマップ上に位置合わせされた前記介入医療装置を示すために前記静的ロードマップおよび前記第３の複数の画像を表示するステップであって、
    前記静的ロードマップ上の前記介入医療装置の位置合わせが、患者の動きを示さない複数の画像を生成するための前記静的ロードマップに対する前記介入医療装置の動き補償、
    および患者の動きを示す複数の画像を生成するための前記介入医療装置に対する前記静的ロードマップの動き調整のうちの１つに関するユーザ選択に基づく、前記静的ロードマップおよび前記第３の複数の画像を表示するステップと、を含む方法。
  2. ニューラルネットワークを使用して前記第３の複数の画像から前記介入医療装置を抽出するステップをさらに含む、請求項１に記載の方法。
  3. 前記第１の複数の画像を使用して曲線特徴を判定することによって前記動きモデルを生成するステップをさらに含む、請求項１に記載の方法。
  4. 第３の複数の画像内の曲線特徴を判定することによって前記動き追跡ロードマップを生成するステップをさらに含む、請求項１に記載の方法。
  5. 前記第３の複数の画像を使用して、前記患者の呼吸状態を判定し、前記動き変換に反映された動き調整を判定するために前記動きモデルおよび前記呼吸状態を使用するステップをさらに含む、請求項１に記載の方法。
  6. 前記患者の前記呼吸状態を判定することが、前記第３の複数の画像を使用して一次元における平均輝度を計算することを含む、請求項５に記載の方法。
  7. 前記患者の前記呼吸状態が、前記第３の複数の画像内の１つまたは複数の画素の並進ベクトルを生成するように構成された変換を使用して判定される、請求項６に記載の方法。
  8. 前記第１の複数の画像、前記第２の複数の画像、および前記第３の複数の画像のうちの少なくとも１つが、三次元画像を含む、請求項１に記載の方法。
  9. 患者の動きを示さない複数の画像を生成するための前記静的ロードマップに対する前記介入医療装置の動き補償が、前記ユーザによる前進による前記介入医療装置の動きのみを示す前記ユーザに対する静的表示を提示する、請求項１に記載の方法。
  10. 患者の動きを示す複数の画像を生成するための前記介入医療装置に対する前記静的ロードマップの動き調整が、前記ユーザによる前記介入医療装置の生理学的動きおよび前進による患者および前記介入医療装置の動きを示す前記ユーザに対する動的表示を提示する、請求項１に記載の方法。
  11. 蛍光透視撮像システムであって、
    一端に結合されたＸ線源アセンブリおよび対向端部に結合されたＸ線検出器アレイアセンブリと、
    コンピュータシステムであって、
    非造影増強血管系を有する患者の第１の複数の画像を取得するように前記Ｘ線源アセンブリおよび前記Ｘ線検出器アレイアセンブリを制御するように、
    造影増強された血管系を有する前記患者の第２の複数の画像を取得するように前記Ｘ線源アセンブリおよび前記Ｘ線検出器アレイアセンブリを制御するように、
    前記第１の複数の画像および前記第２の複数の画像を使用して前記患者の血管系の静的ロードマップを生成するように、
    前記第１の複数の画像および前記第２の複数の画像を使用して前記患者の動きモデルを生成するように、
    介入医療装置が前記患者内に展開された状態で前記患者の第３の複数の画像を取得するように前記Ｘ線源アセンブリおよび前記Ｘ線検出器アレイアセンブリを制御するように、
    前記第３の複数の画像を使用して前記患者または前記介入医療装置のうちの１つの動き追跡データを生成するように、
    前記動き追跡データおよび前記動きモデルを使用して動き変換を生成するように、
    前記動き変換を使用して前記静的ロードマップ上に位置合わせされた前記介入医療装置を示すために前記静的ロードマップおよび前記第３の複数の画像を表示し、前記静的ロードマップ上の前記介入医療装置の位置合わせが、
    患者の動きを示さない複数の画像を生成するための前記静的ロードマップに対する前記介入医療装置の動き補償、および患者の動きを示す複数の画像を生成するための前記介入医療装置に対する前記静的ロードマップの動き調整
    のうちの１つに関するユーザ選択に基づくように構成されたコンピュータシステムとを含む、蛍光透視撮像システム。
  12. 前記コンピュータシステムが、ニューラルネットワークを使用して前記第三の複数の画像から前記介入医療装置を抽出するようにさらに構成される、請求項１１に記載のシステム。
  13. 前記コンピュータシステムが、前記第１の複数の画像を使用して曲線特徴を判定することによって前記動きモデルを生成するようにさらに構成される、請求項１１に記載のシステム。
  14. 前記コンピュータシステムが、第３の複数の画像内の曲線特徴を判定することによって前記動き変換を生成するようにさらに構成される、請求項１１に記載のシステム。
  15. 前記コンピュータシステムが、前記第３の複数の画像を使用して前記患者の呼吸状態を判定し、前記動き変換に反映された動き調整を判定するために前記動きモデルおよび前記呼吸状態を使用するようにさらに構成される、請求項１１に記載のシステム。
  16. 前記コンピュータシステムが、前記患者の前記呼吸状態を判定するために、前記第３の複数の画像を使用して一次元における平均輝度を計算するようにさらに構成される、請求項１５に記載のシステム。
  17. 前記コンピュータシステムが、前記患者の前記呼吸状態を判定するために、前記第３の複数の画像内の１つまたは複数の画素について並進ベクトルを生成するように構成された変換を使用するようにさらに構成される、請求項１６に記載のシステム。
  18. 前記第１の複数の画像、前記第２の複数の画像、および前記第３の複数の画像のうちの少なくとも１つが、三次元画像を含む、請求項１１に記載のシステム。
  19. 患者の動きを示さない複数の画像を生成するための前記静的ロードマップに対する前記介入医療装置の動き補償が、前記ユーザによる前進による前記介入医療装置の動きのみを示す前記ユーザに対する静的表示を提示する、請求項１１に記載のシステム。
  20. 患者の動きを示す複数の画像を生成するための前記介入医療装置に対する前記静的ロードマップの動き調整が、前記ユーザによる前記介入医療装置の生理学的動きおよび前進による患者および前記介入医療装置の動きを示す前記ユーザに対する動的表示を提示する、請求項１１に記載のシステム。
  21. 介入医療処置を誘導するために患者の動き調整画像を作成する方法であって、
    造影増強血管系を有する前記患者の複数の画像を取得するステップと、
    前記複数の画像を使用して前記患者の血管系の静的ロードマップを生成するステップと、
    前記複数の画像を使用して前記患者の動きモデルを生成するステップと、
    介入医療装置が前記患者内に展開された状態で前記患者の別の複数の画像を取得するステップと、
    前記別の複数の画像を使用して前記患者または前記介入医療装置のうちの１つの動き追跡データを生成するステップと、
    前記動き追跡データおよび前記動きモデルを使用して動き変換を生成するステップと、
    前記動き変換を使用して前記静的ロードマップ上に位置合わせされた前記介入医療装置を示すために前記静的ロードマップおよび前記別の複数の画像を表示するステップであって、
    前記静的ロードマップ上の前記介入医療装置の位置合わせが、患者の動きを示さない複数の画像を生成するための前記静的ロードマップに対する前記介入医療装置の動き補償、または
    患者の動きを示す複数の画像を生成するための前記介入医療装置に対する前記静的ロードマップの動き調整のうちの１つに関するユーザ選択に基づく、前記静的ロードマップおよび前記別の複数の画像を表示するステップと、を含む方法。
JP2021576923A 2019-06-27 2020-06-26 血管ロードマップを使用した動き調整装置の誘導のためのシステムおよび方法 Pending JP2022539078A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/455,331 US11087464B2 (en) 2019-06-27 2019-06-27 System and method for motion-adjusted device guidance using vascular roadmaps
US16/455,331 2019-06-27
PCT/US2020/039853 WO2020264317A1 (en) 2019-06-27 2020-06-26 System and method for motion-adjusted device guidance using vascular roadmaps

Publications (1)

Publication Number Publication Date
JP2022539078A true JP2022539078A (ja) 2022-09-07

Family

ID=74042889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021576923A Pending JP2022539078A (ja) 2019-06-27 2020-06-26 血管ロードマップを使用した動き調整装置の誘導のためのシステムおよび方法

Country Status (5)

Country Link
US (1) US11087464B2 (ja)
EP (1) EP3989798A4 (ja)
JP (1) JP2022539078A (ja)
CN (1) CN114025658A (ja)
WO (1) WO2020264317A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7264751B2 (ja) * 2019-07-08 2023-04-25 株式会社ニューフレアテクノロジー 検査装置及び検査方法
US20210407648A1 (en) * 2020-06-29 2021-12-30 GE Precision Healthcare LLC Systems and methods for respiratory support recommendations
KR102398522B1 (ko) * 2021-02-08 2022-05-17 광주과학기술원 관상동맥중재술을 위한 영상 정합 방법 및 이를 수행하는 전자 장치
EP4322879A1 (en) * 2021-04-12 2024-02-21 Koninklijke Philips N.V. Navigating an interventional device
KR102305965B1 (ko) * 2021-05-25 2021-09-29 재단법인 아산사회복지재단 가이드와이어 검출 방법 및 장치
DE102021003956A1 (de) * 2021-08-02 2023-02-02 Ziehm Imaging Gmbh Verfahren zum Betreiben eines medizinischen Bildgebungsgeräts zur lagerichtigen Darstellung von nicht-anatomischen Strukturen während einer bildgebenden Untersuchung und Vorrichtung hierfür
US20230267576A1 (en) * 2022-02-22 2023-08-24 GE Precision Healthcare LLC System and method for dynamic phase correction for x-ray phase-contrast imaging

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4878115A (en) 1987-09-25 1989-10-31 University Of Kentucky Research Foundation Dynamic coronary roadmapping
US8442618B2 (en) * 1999-05-18 2013-05-14 Mediguide Ltd. Method and system for delivering a medical device to a selected position within a lumen
US6385476B1 (en) * 1999-09-21 2002-05-07 Biosense, Inc. Method and apparatus for intracardially surveying a condition of a chamber of a heart
WO2001024114A1 (en) 1999-09-30 2001-04-05 Koninklijke Philips Electronics N.V. Image processing method and system for following a moving object in an image sequence
EP1709905A1 (en) 2005-04-06 2006-10-11 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Belt system for measuring respiration dependent girth change during magnetic resonance imaging
EP2358269B1 (en) 2007-03-08 2019-04-10 Sync-RX, Ltd. Image processing and tool actuation for medical procedures
US20080275356A1 (en) 2007-05-03 2008-11-06 Peter Stasz Respiratory sensing belt using piezo film
US8423121B2 (en) 2008-08-11 2013-04-16 Siemens Aktiengesellschaft Method and system for guidewire tracking in fluoroscopic image sequences
JP5537262B2 (ja) * 2010-05-28 2014-07-02 株式会社東芝 Ｘ線画像診断装置
WO2014124447A1 (en) * 2013-02-11 2014-08-14 Angiometrix Corporation Systems for detecting and tracking of objects and co-registration
WO2015173821A1 (en) * 2014-05-14 2015-11-19 Sync-Rx, Ltd. Object identification
US10143526B2 (en) * 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US10433915B2 (en) 2016-05-16 2019-10-08 TrackX Technology, LLC System and method for image localization of effecters during a medical procedure
CA3075933A1 (en) 2017-10-19 2019-04-25 Navi Medical Technologies Pty Ltd Catheter location determination in paediatric patients
US11707242B2 (en) * 2019-01-11 2023-07-25 Pie Medical Imaging B.V. Methods and systems for dynamic coronary roadmapping

Also Published As

Publication number Publication date
WO2020264317A1 (en) 2020-12-30
EP3989798A4 (en) 2023-06-21
US11087464B2 (en) 2021-08-10
EP3989798A1 (en) 2022-05-04
CN114025658A (zh) 2022-02-08
US20200410666A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
US11087464B2 (en) System and method for motion-adjusted device guidance using vascular roadmaps
US11707242B2 (en) Methods and systems for dynamic coronary roadmapping
US20230113154A1 (en) Three-Dimensional Segmentation from Two-Dimensional Intracardiac Echocardiography Imaging
US10762637B2 (en) Vascular segmentation using fully convolutional and recurrent neural networks
EP3403582B1 (en) Method and apparatus for determining blood velocity in x-ray angiography images
US10229516B2 (en) Method and apparatus to improve a 3D + time reconstruction
US7782998B2 (en) Method and apparatus for correcting motion in image reconstruction
US8483432B2 (en) Methods for automatic segmentation and temporal tracking
US20100189337A1 (en) Method for acquiring 3-dimensional images of coronary vessels, particularly of coronary veins
WO2016145010A1 (en) System and method for time-resolved, three-dimensional angiography with flow information
US20230097849A1 (en) Creation method of trained model, image generation method, and image processing device
US20220104888A1 (en) Estimating the endoluminal path of an endoluminal device along a lumen
CN102232845A (zh) 用ct系统自动识别患者血管中造影剂流动的方法及ct 系统
CN111540025A (zh) 预测用于图像处理的图像
JP2022509016A (ja) 深層スペクトルボーラス追跡
CN106446515A (zh) 一种三维医学图像显示方法及装置
US20240104705A1 (en) Systems and methods for image correction
CN107886554B (zh) 流数据的重构
Bredno et al. Algorithmic solutions for live device-to-vessel match
Jeong et al. Deep-learning-based registration of diagnostic angiogram and live fluoroscopy for percutaneous coronary intervention
EP3667618A1 (en) Deep partial-angle coronary restoration
US20240104728A1 (en) Providing a result dataset
US20230252645A1 (en) Vascular plaque extraction apparatus and method
EP4042946A1 (en) Displacement estimation of interventional devices
JP2023547373A (ja) 血管流体流速を決定する方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240419