JP2022517581A - 冠動脈の動的ロードマップを提供するための方法およびシステム - Google Patents

冠動脈の動的ロードマップを提供するための方法およびシステム Download PDF

Info

Publication number
JP2022517581A
JP2022517581A JP2021540065A JP2021540065A JP2022517581A JP 2022517581 A JP2022517581 A JP 2022517581A JP 2021540065 A JP2021540065 A JP 2021540065A JP 2021540065 A JP2021540065 A JP 2021540065A JP 2022517581 A JP2022517581 A JP 2022517581A
Authority
JP
Japan
Prior art keywords
image data
roadmap
image
ray
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021540065A
Other languages
English (en)
Other versions
JPWO2020144374A5 (ja
Inventor
ヴァルサム、 テオ ファン
ファ マ、
アーベン、ジャン－ポール
コーエン、デニス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pie Medical Imaging BV
Original Assignee
Pie Medical Imaging BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pie Medical Imaging BV filed Critical Pie Medical Imaging BV
Publication of JP2022517581A publication Critical patent/JP2022517581A/ja
Publication of JPWO2020144374A5 publication Critical patent/JPWO2020144374A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/464—Displaying means of special interest involving a plurality of displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/503—Clinical applications involving diagnosis of heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/504—Clinical applications involving diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5288—Devices using data or image processing specially adapted for radiation diagnosis involving retrospective matching to a physiological signal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

オフラインフェーズとオンラインフェーズを含む、患者の対象オブジェクトの画像データ内の情報を動的に視覚化するための方法が提供される。オフラインフェーズでは、造影剤により収集された対象オブジェクトの第１の画像データが、第１の画像データ内に存在するインターベンションデバイスにより取得される。第１の画像データは、対象オブジェクトの複数のロードマップを生成するために使用される。第１の画像データにおけるデバイスの複数の参照位置が決定される。複数の参照位置は、複数のロードマップに対応する。オンラインフェーズでは、造影剤を用いずに収集された対象オブジェクトのライブ画像データが、ライブ画像データ内に存在するデバイスを用いて取得され、複数のロードマップからロードマップが選択される。ライブ画像データ内のデバイスの位置が決定される。選択されたロードマップに対応するデバイスの参照位置およびライブ画像データ内のデバイスの位置は、選択されたロードマップを変換して、対象オブジェクトの動的ロードマップを生成するために使用される。動的ロードマップの視覚表現は、表示用のライブ画像データに重ね合わせられる。実施形態では、オフラインフェーズの第１の画像データは、患者の心周期の異なるフェーズをカバーし、オフラインフェーズで生成された複数のロードマップは、患者の心周期の異なるフェーズをカバーする。関連するシステムおよびプログラム保存デバイスも、また、記載され、そして請求されている。【選択図】図１

Description

本出願は、医療用画像化の、特に、経皮的インターベンションの技術分野に関するが、対象構造が良く視認できない画像シーケンスに動的ロードマップを提供する必要がある任意の分野にも用途を見出すことが出来る。
バックグラウンド技術
最小侵襲性の傾向は、臨床のインターベンションにおける画像化の重要性を増大させて来ている。インターベンションのために開けられる切開が小さいので、臨床医は、もはや直接視認検査を使用して彼らのツールを扱うことが出来ず、これの代わりにＸ線血管造影法およびＸ線透視法、超音波エコーおよび手技内における磁気共鳴画像化の様なリアルタイム画像化モダリティから生成される手技内における画像に頼らなければならない。現在、Ｘ線血管造影法は、経皮的冠動脈インターベンション（ＰＣＩ: percutaneous coronary intervention）としても知られる低侵襲手技による心血管疾患の治療の間に使用される主要な画像化モダリティである。Ｘ線血管造影の画像は、例えば、アテローム性動脈硬化症を治療するためのインターベンション手技をガイドするために使用される。アテローム性動脈硬化症とは、動脈の内壁にコレステロールと脂肪沈着物（プラークと呼ばれる）が蓄積することである。これらのプラークは、動脈を物理的に詰まらせることによって、または動脈のトーンと機能を異常にさせることによって、心筋への血流を制限する可能性がある。十分な血液が供給されないと、心臓には、酸素および心臓が適切に機能するために必要な重要な栄養素が不足するようになる。これは、狭心症と呼ばれる胸痛の原因となる可能性がある。心筋の一部への血液供給が完全に遮断された場合、または心臓のエネルギ需要が血液供給よりもはるかに大きくなると、心臓発作（心筋の損傷）または脳卒中が発生する可能性がある。アテローム性動脈硬化症は、心臓、頭、首、および体の周辺部分の動脈で、様々な方法を使用して治療される。血管形成術、ベアメタルステント留置術、薬剤溶出ステント留置術（永久埋め込み型および生分解型）、様々なタイプのエネルギ送達および回転式アテレクトミの様な最も一般的な方法は、全て、動脈内腔の目標長さの周囲で動脈を均等に治療する。
ＰＣＩの間、（インターベンションの）心臓専門医は、カテーテル上の収縮したバルーンまたは他のデバイスを、鼠径大腿動脈または橈骨動脈から血管を通して、動脈の閉塞部位に到達するまで送る。ＰＣＩは、通常、血流妨げられていない状態を回復することを目的として、バルーンを膨らませて動脈を開く。ステントまたはスキャフォールドは、閉塞部位に配置させて、動脈を開いたままにすることができる。これらの手技の間、ガイド用カテーテルにより挿入される医療機器は、例えば、冠動脈狭窄を治療するために進行させる。ガイド用カテーテルは、最初、冠動脈の口に配置される。ガイド用カテーテルにより、ステントを運ぶバルーンカテーテルが、ガイドワイヤにより狭窄位置に導入される。ＰＣＩは、通常、Ｘ線血管造影を使用した画像ガイダンスの下で実行される。冠動脈は、Ｘ線不透明造影剤により視認される。冠動脈の不透明は短期間しか続かないので、手技の間、インターベンションの心臓専門医は、血管を視覚化するために造影剤を繰り返し注入する場合がある。周術期の造影剤の使用量は、操作者の経験、手技の複雑さ、腎機能、および画像設定に相関している。さらに、造影剤誘発性腎症のリスクも、造影剤量に関連している。しかしながら、ガイドワイヤと材料の操作は、通常、造影剤を連続的に注入することなく行われる。このような状況で、デバイスのナビゲーションは、「血管のない」透視画像によりガイドされる。心臓専門医は、以前の血管造影図に基づいて、血管と狭窄のポジションを想像で再構成しなければならない。
例えば、ＰＣＩの様な低侵襲的インターベンションでは、画像のガイダンスおよび視覚化は、医師、器具、および患者のフィードバックループにおいてボトルネックの原因となる可能性がある。手技内画像の目視検査によって行われる画像ガイドナビゲーションは、本質的に、操作者による主観的な評価により、精度が制限される問題そして操作者の思い込みと言う問題を有している。この問題の影響は、胸部の様な動く領域をナビゲートするときにさらに顕著になる。さらに、リアルタイム画像化モダリティによって生成される手技内画像は、通常、画質が低下していて、そして臨床手技に関連する解剖学的構造を常に表すとは限らない。造影剤は、解剖学的構造を視覚化するために使用することが出来る。しかしながら、患者への危害を防ぐために、追加のＸ線照射を含む造影剤の手技内投与は、制限する必要がある。例えば、患者へのＸ線曝露の時間及び量並びに患者の血流に注入される潜在的に毒性のある造影剤は、減らすことが望ましい。このような造影剤のほとんどは、医師を視認的にガイドするために、透視画像内の大動脈と冠動脈を強調するために使用される。例えば、ＰＣＩの間に造影剤が注入されると、冠動脈ツリーは視認され、そして造影剤が注入されない場合、冠動脈ツリーは視認されないであろう。動的冠動脈をロードマッピングすることは、視認的フィードバックを改善し、そしてＰＣＩの間の造影剤の使用を減らすための有望な解決法である。動的冠動脈ロードマッピングシステムを開発するには、冠動脈のロードマップをＸ線透視画像に正確に重ね合わせることが重要であるが、患者の呼吸と心拍に起因する血管の運動の補正を推測するためのターゲット透視画像内には、血管の情報が限られているので、これには課題がある。動的冠動脈ロードマッピングの運動補償に関して提案されている方法は、一般に、直接ロードマッピング法とモデルベースのアプローチの２つのカテゴリに分類することが出来る。
直接ロードマッピング法は、Ｘ線画像と心電図信号からの情報を使用して、呼吸と心拍を起因とする運動を直接修正する。例えば、特許文献１は、造影剤（コントラスト）シーケンスとマスクシーケンスのデジタル差分処理を使用して、冠動脈ロードマップの完全な心周期を作成した。このロードマップは、保存され、そして後に、対応する心電図信号のＲ波と位置合わせすることにより、ライブ透視シーケンスに同期される。このシステムは、血管の心臓の運動は補正するが、インターベンションの間の呼吸の運動と患者の運動は補正しない。さらに、これは、心臓ゲートフレームで実行する必要がある。特許文献２は、差分処理血管造影用のＸ線診断デバイスを開示する。これは、単一のマスクフレームを利用し、そしてそれをフルサイクルで統合する。心周期全体にわたってマスクを統合することにより、位置変位エラーは、単純に分散され、そして最小化されない。
直接ロードマッピング法とは異なり、モデルベースのアプローチは、透視フレーム内の運動を予測するためのモデルを構成する。この運動モデルは、多くの場合、ロードマップの運動を画像または心電図から導出されたサロゲート信号に関連付ける1つ以上の関数であるので、透視フレームのサロゲートが取得されると、運動は、運動モデルによって計算させることが出来る。ＰＣＩを含む心臓インターベンションの場合、臓器の運動は、主に呼吸と心臓の運動の影響を受ける。以前の技術は、例えば、非特許文献１によって教示されるように、ＥＣＧから導出された心臓信号と横隔膜追跡から得られた呼吸信号とによってパラメータ化された運動モデルを構成していた。モデルベースのアプローチの限界は、運動モデルが患者固有である点で、これは、新しい被験者ごとに毎回モデルをトレーニングすることを必要とする。さらに、推論中の代理値が、モデルを構成する代理範囲から外れる（例、運動が異常である場合）と、正確な運動補償を妨げる外挿が必要となる。
従って、前述のような欠点を低減するために、造影剤による強調の無い透視画像において冠動脈ツリーの運動を追跡することが望ましい。この方法の使用は、ＰＣＩの間に心臓専門医をより適切に支援し、そして患者の造影剤への曝露とＸ線放射への曝露を減らすことが出来るであろう。
米国特許第４，８７８，１１５号明細書 欧州特許第０，１９３，７１２号明細書 米国特許第９，２５６，９３６号明細書 米国特許出願公開第１６ ／ ３７９，２４８号明細書 欧州特許出願公開第３２０６１８３号明細書 米国特許第１０，２２９，５１６号明細書 米国特許出願公開第１６ ／ ４３８，９５５号明細書 米国特許出願公開第１６ ／ ２５６，７９３号明細書 米国特許第９，５７６，３６０号明細書 米国特許第１０，１９２，３５２号明細書
Shechter外による、「冠動脈インターベンションのためのＸ線画像の前向き運動補正」、IEEE Transactions on Medical Imaging 2005：24、441–450 Frangi 外による、「マルチスケール血管強調フィルタリング」、Medical Image Computing and Computer-Assisted Intervention – MICCAI 1998 Lecture Notes in Computer Science 1496/1998:130 Ma外による、「畳み込みニューラルを使用したＸ線血管造影図における造影剤流入の高速前向き検出ネットワークとリカレントニューラルネットワーク」、International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer (2017) 453-461 Li 外による、「不完全境界からの灰色スケール画像の骨格化」、Proceedings of the International Conference on Image Processing, ICIP 2008, October 12-15 Maintz 外による、「医療画像登録方法の概要」、ベルギー病院物理学者協会のシンポジウム、１９９６ Hao 外による、「完全畳み込みネットワークを用いたＸ線血管造影図における血管層分離」、Proc。 SPIE 10576、Medical Imaging 2018：Image-Guided Procedures、Robotic Interventions、and Modeling Ma 外による、「形態学的フィルタリングとロバストなPCAを使用したインターベンションのＸ線血管造影における血管強調のための層分離」、Workshop on Augmented Environments for Computer-Assisted Interventions 2017, Springer pp. 104–113 Ma 外による、「経皮的冠動脈インターベンションのためのＸ線血管造影における血管強調のための自動オンライン層分離」、Med Image Anal. 2017 Jul;39:145-161 Zang外による、「２ＤＸ線血管造影における閉塞ランドマーク検出のためのカテーテルアテンションマシン」、Jan 2019 IEEE Winter Conference on Applications of Computer Vision (WACＶ） Ambrosini 外による、「Ｘ線透視における完全自動およびリアルタイムのカテーテルのセグメンテーション」、International Conference on Medical Image Computing and Computer-Assisted Intervention 2017, Springer. pp. 577–585 Nasr-Esfahani外による、「深層学習を使用したＸ線血管造影図での血管抽出」、Conf Proc IEEE Eng Med BiolSoc 2016 Aug;2016:643-646 Girasis外による、「分岐病変の二次元定量的冠動脈造影評価の進歩：改善された小管腔直径検出および自動参照血管直径導出」、EuroIntervention 2012 Mar; 7（1１）：1326-35 Wang 外による、「冠動脈Ｘ線血管造影における血管抽出」、Conf Proc IEEE Eng Med Biol Soc. 2005; 2: 1584–1587 Kim 外による、「画像ガイド経皮的冠動脈インターベンションのための実時間の透視画像への血管造影画像の登録」、International journal of computer assisted radiology and surgery 2018:13, 203–213 Arulampalam 外による、「オンライン非線形/非ガウスベイズ追跡のための粒子フィルタに関するチュートリアル」、IEEE Transactions on signal processing 2002:50, 174–188 Ronneberger 外による、「U-net：生物医学画像セグメント化のための畳み込みネットワーク」、International Conference on Medical image computing and computer-assisted intervention 2015, Springer. pp. 234–241 Milletari 外による、「V-net：容積医療画像セグメント化のための完全畳み込みニューラルネットワーク」、2016 Fourth International Conference on 3D Vision (3DＶ）, IEEE. pp. 565–571 He 外による、「画像認識のための深い残余学習」、2016 Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770– 778 Laina 外による、「手技器具の追跡のための同時セグメント化とローカリゼーション」、2017 International conference on medical image computing and computer-assisted intervention, Springer. pp. 664–672 Farneback 外による、「多項式展開に基づく2フレーム運動推定」、Scandinavian conference on Image analysis 2003, Springer. pp. 363–370 Kingsma 外による、「Adam：確率論的適正化の方法」、International Conference on Learning Representations, ICLR 2015 Lesage外による、「３Ｄ ＣＴ血管造影図からの冠動脈セグメント化のためのベイジアン最大経路」、MICCAI 2009, Part 1, LNCS 5761, pp 222-229 Kirişsli外による、「コンピュータ断層撮影血管造影における冠動脈狭窄検出、狭窄定量化および管腔セグメント化アルゴリズムを評価するための標準化された評価フレームワーク」、Medical Image Analysis, vol. 17, no. 8, pp. 859–876, 2013 Dey外による、「冠動脈ＣＴ血管造影からの非石灰化および石灰化冠動脈プラークの次元定量化」、Cardiovasc Comput Tomogr. 2009;3(6):372-382 Gerretsen 外による、「磁気共鳴画像法を使用した無症候性の被験者および冠動脈疾患の患者における冠動脈壁アテローム性動脈硬化症の視覚化」、PLoS One. 2010 Sep 29;5(9) Adame 外による、「アテローム性動脈硬化症の頸動脈MR画像における自動セグメント化とプラークの特性評価」、Magnetic Resonance Materials in Physics、Biology and Medicine 2004; 16（５）：227- 234 Wentzel外による、「ジオメトリによりガイドされたデータの平均化が、人間の冠動脈におけるせん断応力関連プラークの発達の解釈を可能にする」、Journal of Biomechanics 2005、1551 –1555 Layによる、「線形代数およびその応用」、2012, 4th edition, p142-143, Addison-Wesley Longman Baka外による、「人口ベースの運動推定を使用した３Ｄ＋t / ２Ｄ＋t ＣＴA-XA登録」、Demirci, Lee, Radeva, Unal (eds): MICCAI-STENT 2012, pp 64-71 Chen 外による、「シネ血管造影から再構成された４Ｄ冠動脈ツリーの運動学的および変形分析」、IEEE Transactions on medical imaging, Vol. 22, No. 6, June 2003 pp 710-721 Zheng 外による、「Ｘ線冠動脈造影シーケンスからの血管骨格の順次再構成」、Computerized Medical Imaging and Graphics 34（2010）333-345Zheng et al。、「Ｘ線冠動脈造影シーケンスからの血管骨格の順次再構成」、Computerized Medical Imaging and Graphics 34（2010）333-345 Baka 外による、「Ｘ線冠動脈造影およびＣＴAの２Ｄ＋t / ３Ｄ登録のための統計的冠動脈運動モデル」、Medical Image Analysis, Volume 17, Issue 6, August 2013, Pages 698-709 Dibildox 外による、「改善された画像ガイダンスのための冠動脈ＣＴAおよびバイプレーンXA再構成の３Ｄ / ３Ｄ登録」、MedPhys 2014年9月; 41（9） Baka外による「非剛体２Ｄ / ３Ｄ冠動脈登録のための配向ガウス混合モデル」、Med Phys. 2014 Sep;41(9) Girasis外による、「分岐病変の高度な３次元定量的冠動脈造影評価：方法論とファントム検証」、IEEE Trans Med Imaging. 2017 Mar;36(3):757-768 Ambrosini 外による、「２ＤＸ線カテーテルシーケンスおよび３Ｄ回転血管造影による３Ｄカテーテルの先端追跡のための隠れマルコフモデル」、IEEE Trans Med Imaging. 2017 Mar;36(3):757-768 Ma 外による、「経皮的冠動脈インターベンションのためのＸ線血管造影図からのPCA由来の呼吸運動代理」、Int J Comput Assist Radiol Surg. 2015 Jun;10(6):695-705 Rohr 外による、「近似薄板スプラインを使用したランドマークベースの弾性登録」、IEEE Trans Med Imaging. 2001 Jun;20(6):526-34 Metz外による、「Ｘ線画像とＣＴAの術中動的位置合わせのためのＥＣＧゲートＣＴAデータからの冠動脈モデル」、Med Image Comput Comput Assist Interv. 2009;12(Pt 1):369-76
課題を解決しようとする手段
従って、本明細書の実施形態の目的は、対象オブジェクトの第１の画像データからの情報を、対象オブジェクトの第２の画像データと共に動的に視覚化するためのコンピュータ実装方法を提供することである。この方法は、以下のステップを備える：
ｉ）前記対象オブジェクトの複数のロードマップを生成するために、前記第１の画像データを使用するステップ；
ｉｉ）前記第１の画像データ内の、ガイド用カテーテル、ガイドワイヤまたは他の管腔内デバイスまたは器具の様なデバイスの複数の参照位置を決定するステップであって、前記複数の参照位置が、ｉ）の前記対象オブジェクトの前記複数のロードマップに対応している、ステップ；
ｉｉｉ）前記複数のロードマップから1つのロードマップを選択するステップ；
ｉＶ）前記第２の画像データ内において前記デバイスの位置を決定するステップ；
Ｖ）前記対象オブジェクトの動的ロードマップを生成するためにｉｉｉ）で選択された前記1つのロードマップを変換するために、ｉｉｉ）で選択された前記1つのロードマップに対応する前記デバイスの前記参照位置とｉＶ）で決定された前記デバイスの位置を使用するステップ；および
ｖｉ）Ｖ）で生成された前記対象オブジェクトの動的ロードマップの視覚表現を、表示のために、前記第２の画像データに重ね合わせるステップ。
これに関連するシステムおよびプログラム保存デバイスも、また、記載されていてそして請求されている。
実施形態では、第１の画像データが、患者の少なくとも１つの心周期をカバーし、そして生成された対象オブジェクトの複数のロードマップが、患者の心周期の異なるフェーズをカバーする。
実施形態では、患者の心周期のフェーズが、患者の心周期の事前定義された部分に対して時間的にオフセットされている。
実施形態では、これらの方法は、例えば、第２の画像データと共に収集された第２の画像データと同期するＥＣＧ信号を処理して、第２の画像データに対応する患者の心周期のフェーズを決定することをさらに含むことが出来る。このロードマップは、第２の画像データに対する患者の心周期のフェーズを、選択されたロードマップに対する患者の心周期のフェーズにマッチングさせることによって、選択するｉｉｉ）ことが出来る。
実施形態では、これらの方法は、第１の画像データを処理して、画像フレームに対する患者の心周期のフェーズを決定し、そして心臓周期のフェーズを画像フレームに対応するロードマップに関連付けることをさらに含むことが出来る。
実施形態では、対象オブジェクトの複数のロードマップは、複数の２次元ロードマップまたは複数の３次元ロードマップを含むことが出来る。例えば、複数の３次元ロードマップは、対象オブジェクトの３次元モデルから導出することが出来る。別の例では、複数の３次元ロードマップは、造影剤により収集された対象オブジェクトの２つのＸ線血管造影画像シーケンスから導出することが出来る。さらに別の例では、複数の３次元ロードマップは、対象オブジェクトの３次元モデルおよび造影剤により収集された対象オブジェクトのＸ線血管造影画像シーケンスから導出することが出来る。
実施形態では、複数のロードマップは、（中心線、輪郭、および／または画像マスクの様な）対象オブジェクトの特性を特徴付ける情報を含むことが出来る。
実施形態では、複数のロードマップは、対象オブジェクトに対して少なくとも１つの測定値を含むことが出来る。例えば、少なくとも１つの測定値は、血管閉塞の位置および程度、直径および面積、圧力、血流速度、分画流量、壁剪断応力、血管湾曲、遠近短縮量、位置および範囲、冠動脈プラークのタイプ、冠動脈完全閉塞の位置と範囲、または対象オブジェクトの冠動脈閉塞の位置および範囲からなるグループから選択することが出来る。
実施形態では、第２の画像データ内のデバイスの位置は、ベイジアンフィルタリング法を使用して決定することが出来る。一例では、ベイジアンフィルタリング法は、深層学習ネットワークを使用して、第２の画像データにおけるデバイスの位置の尤度を推定することが出来る。別の例では、ベイジアンフィルタリング法は、第２の画像データ内のデバイスの位置を、複数の位置およびそれらに関連する重みの加重算術平均に等しくするように構成することが出来る。他の例では、ベイジアンフィルタリング法は、重み値が高い位置の周りのポイントをリサンプリングするように構成することが出来る。
実施形態では、Ｖ）の操作は、第１の画像データと第２の画像データとの間の運動を補償するために、選択されたロードマップに変換を適用する。例えば、運動は、呼吸運動および／または心臓運動および／または患者運動および／またはテーブル運動を含むことが出来る。
実施形態では、選択されたロードマップに適用される変換は、選択されたロードマップに対応するデバイスの参照位置および第２の画像データ内のデバイスの位置から取得される変位に基づく剛体変換または非剛体変換とすることが出来る。
実施形態では、動的ロードマップの視覚表現は、透過モードを使用して動的ロードマップの重ね合わせを第２の画像データに投影すること、および／または動的ロードマップを拡張し、動的ロードマップの視覚表現が、対象オブジェクトを処理するために使用される機器を覆い隠さないように構成されるように、結果として生じる動的ロードマップの境界を投影することによって生成することが出来る。
実施形態では、複数の参照ポイントは、対象オブジェクトの複数のロードマップの一部として保存することが出来る。
実施形態では、選択されたロードマップは、第２の画像データに重ね合わせるための少なくとも１つの動的ロードマップを生成するように変換される３次元ロードマップとすることが出来る。例えば、３次元ロードマップは、第２の画像データを収集するために使用される視点（例、視野角）に従って変換することが出来る。これにより、第１の画像データとは異なる視点から第２の画像データを収集することが出来る。
他の実施形態では、特定のロードマップは、第２の画像データに重ね合わせるための少なくとも１つの２次元動的ロードマップを生成するように変換される２次元ロードマップとすることが出来る。この場合、第１の画像データと第２の画像データは、共通の視点から収集することが出来る。
実施形態では、第１の画像データは、ベースライン画像の差分処理によって導出することができ、そして第２の画像データは、ベースライン画像の差分処理によって取得することが出来る。
実施形態では、第１の画像データは、造影剤を用いてＸ線画像化モダリティを使用して収集された血管造影画像データであり、そして第２の画像データは、造影剤を用いずにＸ線画像化モダリティを使用して収集された蛍光画像データである。
実施形態では、ｉｉｉ）からｖｉ）の操作は、造影剤を用いずに収集されたライブ画像シーケンスの連続するフレームに対して繰り返すことが出来る。
実施形態では、動的ガイダンスのために、ロードマップは、第２の画像データの画像フレーム内の変換および重ね合わせのために第２の画像データの連続する画像フレーム内のそれぞれの画像フレームごとに、選択することが出来る。他の実施形態では、静的ガイダンスのために、１つのロードマップ（同じロードマップ）を、第２の画像データの画像フレーム内の変換および重ね合わせのために、第２の画像データの連続する画像フレームに対して選択することが出来る。
実施形態では、このデバイスは、ガイド用カテーテル、ガイドワイヤ、または他の管腔内デバイスまたは器具からなる群から選択される。
実施形態では、このデバイスの位置は、デバイスの終端または先端に対応する。
実施形態では、対象オブジェクトは、心臓、冠動脈ツリーの一部、血管、または血管系の他の部分である。
実施形態では、これらの方法は、対象オブジェクトの動的ロードマップの視覚表現の重ね合わせをｉＶ）の画像データ上に表示することをさらに含むことが出来る。
本明細書の実施形態は、また、患者の対象オブジェクトの画像データ内の情報を視覚化するための方法に関する。この方法は、以下のステップを備える：
ｉ）前記対象オブジェクトの第１の画像データを取得するステップであって、前記第１の画像データが、造影剤により収集され、そしてインターベンションデバイスが前記第１の画像データ内に存在する、ステップ;
ｉｉ）前記対象オブジェクトの複数のロードマップを生成するために、前記第１の画像データを使用するステップ；
ｉｉｉ）前記第１の画像データにおける前記デバイスの複数の参照位置を決定するステップであって、前記複数の参照位置が、前記対象オブジェクトの前記複数のロードマップに対応している、ステップ；
ｉＶ）前記対象オブジェクトの第２の画像データを取得するステップであって、前記第２の画像データが、造影剤を用いずに収集され、そして前記デバイスが、前記第２の画像データ内に存在する、ステップ；
Ｖ）前記対象オブジェクトの前記複数のロードマップから1つのロードマップを選択するステップ；
ｖｉ）前記第２の画像データ内の前記デバイスの位置を決定するステップ；
ｖｉｉ）Ｖ）で選択された前記1つのロードマップを変換して前記対象オブジェクトの動的ロードマップを生成するために、Ｖ）で選択された前記1つのロードマップに対応する前記デバイスの前記参照位置とｖｉ）で決定された前記デバイスの位置とを使用するステップ；および
ｖｉｉｉ）表示のために、ｖｉｉ）で生成された前記対象オブジェクトの前記動的ロードマップの視覚表現を、前記第２の画像データに重ね合わせるステップ。
本明細書の実施形態は、また、メモリに保存されたプログラム命令を実行するときに、本明細書の実施形態による方法の動作を実行するように構成される少なくとも１つのプロセッサを含む、患者の対象オブジェクトの画像を生成するためのシステムにも関する。
一実施形態では、少なくとも１つのプロセッサは、以下のステップ：
ｉ）前記対象オブジェクトの第１の画像データを取得するステップであって、前記第１の画像データが、造影剤により収集され、そしてインターベンションデバイスが前記第１の画像データ内に存在する、ステップ；
ｉｉ）前記対象オブジェクトの複数のロードマップを生成するために、前記第１の画像データを使用するステップ；
ｉｉｉ）前記第１の画像データにおける前記デバイスの複数の参照位置を決定するステップであって、前記複数の参照位置が、前記対象オブジェクトの前記複数のロードマップに対応している、ステップ；
ｉＶ）前記対象オブジェクトの第２の画像データを取得するステップであって、前記第２の画像データが、造影剤を用いずに収集され、そして前記デバイスが、前記第２の画像データ内に存在する、ステップ；
Ｖ）前記対象オブジェクトの前記複数のロードマップから1つのロードマップを選択するステップ；
ｖｉ）前記第２の画像データ内の前記デバイスの位置を決定するステップ；
ｖｉｉ）Ｖ）で選択された前記1つのロードマップを変換して前記対象オブジェクトの動的ロードマップを生成するために、Ｖ）で選択された前記1つのロードマップに対応する前記デバイスの前記参照位置とｖｉ）で決定された前記デバイスの位置とを使用するステップ；および
ｖｉｉｉ）表示のために、ｖｉｉ）で生成された前記対象オブジェクトの前記動的ロードマップの視覚表現を、前記第２の画像データに重ね合わせるステップ、
を実行するように構成されている。
実施形態では、このシステムは、第１の画像データおよび第２の画像データを収集するように構成された、典型的には、Ｘ線画像化モダリティを使用する画像化収集サブシステムをさらに備える。
実施形態では、このシステムは、第２の画像データ上に、ｖｉｉｉ）で生成された対象オブジェクトの動的ロードマップの視覚表現の重ね合わせを表示するように構成された表示サブシステムをさらに備える。
さらなる改善は、従属クレームの目的である。
本明細書の実施形態による動的冠動脈ロードマップを決定するための方法のフローチャートを示す。 本明細書の実施形態による例示的なシングルプレーン血管造影システムの機能ブロック図を示す。 本明細書の実施形態を含むシステムに接続されたＸ線システムの機能ブロック図を示す。 動的ロードマッププロセスの図を示す。 読出された血管造影画像データを示す。 Ｘ線血管造影画像シーケンス内のデバイス位置を取得するための方法のフローチャートを示す。 Ｘ線画像シーケンス内の造影剤注入フレームの開始を検出する方法の例を示す。 連続するＸ線画像フレーム内で心周期を抽出するための幾つかのアプローチを示す。 Ｘ線血管造影フレームでの層分離の例を示す。 幾つかのＸ線透視画像フレームおよびＸ線透視画像シーケンス内の心周期に関するその収集時間の例を示す。 動的ロードマッピングの例を示す。 動的ロードマッピングの別の例を示す。 深層学習ネットワークのトレーニングに使用されるラベルの例を示す。 カテーテルの先端検出のための共同セグメンテーションおよび検出ネットワークを示す。 深層学習ベースのベイジアンフィルタリング法を使用してカテーテルの先端を追跡するアルゴリズムを要約したものである。 深層学習に基づくベイジアンフィルタリングカテーテルの先端追跡法の４つの例を示す。 対象オブジェクトの識別および処理を改善するために画像強調が使用されている、動的冠動脈ロードマップを決定するための方法のフローチャートを示す。 差分処理による画像強調の例を示す。 本明細書の実施形態によるＸ線シネ透視ユニットブロック図の例を示す。 動的３Ｄ冠動脈ロードマップを決定する方法のフローチャートを示す。 ３Ｄ血管造影画像データに基づく３Ｄモデルの生成の幾つかの例を示す。 ＷＳＳが管腔表面に重畳されている冠血管の例を示す。 圧力と冠血流予備量比が管腔表面に重畳されている冠血管の例を示す。 １つの心位相に対しての周囲の血管の遠近短縮、重なり、および面内冠動脈運動に関するガイダンスマップを示す。 遠近短縮、周囲の血管の重なり、および複数の心位相を含む面内冠動脈運動に関するガイダンスマップを示す。 第１の投影に対して最適な第２の投影を選択する際のガイダンスマップを示す。 単一の３Ｄロードマップフレームの幾つかの例を示す。 冠動脈プラークのセグメンテーションを含む、冠動脈内腔の３Ｄセグメンテーションの２つの例を示す。 動的冠動脈ロードマップを決定するための代替方法のフローチャートを示す。 再位置合わせステップの図を示す。 石灰化プラークの位置および量を決定するための方法のフローチャートを示す。 造影剤がシーケンス中に投与されるＸ線血管造影画像シーケンスの典型的な例を示す。 石灰化したプラークの位置と量を決定するためのハイレベルの方法を示す。 骨格が別々の血管枝に分解されていることを示す。 石灰化プラークが強調されている例を示す。 Ｘ線システムに接続されたシステムのプロセッサユニットによって、動作が本明細書の実施形態に従って実行されるセットアップを示す。 ロードマップをＸ線透視画像データに重ね合わせた例を示す。 ロードマップをＸ線血管造影画像データに重ね合わせた例を示す。 デバイスの位置のロードマップへの統合を示す。 例示的な画像フレームに対する代替の提案された方法の追跡結果の例を示す。 提案される追跡方法を示す。
本出願は、ライブＸ線透視または血管造影画像ストリーム／シーケンスに重畳させることが出来るリアルタイムの動的重ね合わせまたは動的冠動脈ロードマップを提供し、これにより、患者の治療を改善するために臨床医をサポートするための方法およびシステムを記載する。このアプローチは、時間的位置合わせにより同じ心位相のロードマップを選択することによって血管形状と心臓の運動の変化を補正し、そしてデバイスを追跡することによって呼吸によって誘発される運動および患者の運動を修正する。
以下の方法およびシステムの記載において、Ｘ線血管造影法は、対象オブジェクトおよび放射線不透過性である他のオブジェクトの視覚化が得られる造影剤の投与後の対象オブジェクト（例、血管系の一部または冠血管ツリー）のＸ線収集を意味するように使用されるであろう。Ｘ線透視とは、造影剤を使用せずにＸ線画像を収集することを意味し、このため、これには対象オブジェクトの視覚化を強調することは含まれない。画像または画像フレームという用語は、単一の画像を意味し、そして画像シーケンスまたは画像ストリームという用語は、時間の経過と共に収集される複数の画像を意味する。Ｘ線血管造影画像シーケンスは、造影剤投与を含んでいても良く、そして造影剤投与に先行する画像フレームは、造影剤を含まず、従って、血管系の強調を含まない。Ｘ線血管造影画像シーケンスは、心周期の１つまたは複数のフェーズをカバーする複数のフレームを備えていても良い。この特許出願全体を通して、心周期は、患者に固有でありそして患者の1つの心拍をカバーする期間として定義される。心周期は、患者のＥＣＧ信号内の連続するＲ波の頂点間の期間として定義することが出来る。フェーズとは、患者の心周期内の瞬間（または期間）を意味する。フェーズは、図９とそれに対応する記載に示されるように、患者のＥＣＧ信号内のＲ波の頂点からのオフセットとして測定することが出来る。
この出願内で、動的重ね合わせまたは動的ロードマップを、以下の要素からなる、ライブＸ線画像ストリームへの重ね合わせとして生成および表示する方法が、提案される。
・（冠動脈ツリーの様な）対象臓器の血管造影画像シーケンスから、対象臓器のモデルを構成する。
・患者の心電図（ＥＣＧ）測定を使用して、患者の心位相に位置合わせされているモデルの部分（またはフレーム）を選択する。
・選択したモデルの部分を更新または変換して、患者のライブＸ線透視または血管造影画像ストリームにおける呼吸運動を、ガイド用カテーテルトラッキングを使用して補正する。
・この結果のモデルの部分をレンダリングし、そしてモデルのレンダリングされたビューを、患者のライブＸ線透視または血管造影画像ストリームの重ね合わせとして統合する。
記載されている動的冠動脈ロードマップ法は、グラフィックスプロセッシングユニット（ＧＰＵ）を使用してリアルタイムで実行されるので、実際の臨床設定でＰＣＩの間に使用することが出来る。
図１は、本出願の一実施形態による操作を示すフローチャートを示す。これらの操作は、血管器官（またはその一部）または他の対象オブジェクトの二次元画像シーケンスを取得および処理することが出来る画像化システムを使用する。シングルプレーンまたはダブルプレーンの血管造影システムには、例えば、シーメンス社（Artis zee Biplane）またはフィリップス社（Allura Xper FD）によって製造される様なものを使用することが出来る。
図２ａは、例示的なシングルプレーン血管造影システムの機能ブロック図である。このシステムは、ユーザインターフェースモジュール２１６からのコマンドの下で動作し、そしてデータ処理モジュール２１０にデータを提供するであろう血管造影画像化装置２１２を含む。シングルプレーン血管造影画像化装置２１２は、例えば、後頭－前頭方向において、対象血管器官の２次元Ｘ線画像シーケンスをキャプチャする。シングルプレーン血管造影画像装置２１２は、典型的には、支持ガントリのアームに取り付けられたＸ線源および検出器の対を含む。ガントリは、Ｘ線源と検出器の間のテーブルで支えられている患者に対して、Ｘ線源と検出器のアームを様々な角度で配置することを可能にする。データ処理モジュール２１０は、パーソナルコンピュータ、ワークステーション、または他のコンピュータ処理システムによって実現させることができる。データ処理モジュール２１４は、シングルプレーン血管造影画像化装置２１２によってキャプチャされた２次元画像シーケンスを処理して、本明細書に記載されているデータを生成する。ユーザインターフェースモジュール２１６は、ユーザと対話し、そしてデータ処理モジュール２１０と通信する。ユーザインターフェースモジュール２１６は、視覚出力用の表示画面、タッチ入力用のタッチスクリーン、入力用のマウスポインタまたは他のポインティングデバイス、音声入力用のマイク、音声出力用のスピーカ、入力用のキーボードおよび／またはキーパッド等を含むことが出来る。このデータ処理モジュール２１０およびユーザインターフェースモジュール２１６は、協働して、以下の図１、図１５、図１８、図２６、または図２８に記載される操作を実行する。
図１、図１５、図１８、図２６または図２８の操作は、また、コンピュータ製品（例えば、光ディスクまたは他の形態の永続的メモリ、ＵＳＢドライブまたはネットワークサーバ）に具体化されるソフトウェアコードによって実行させることも出来る。ソフトウェアコードは、図１、図１５、図１８、図２６、または図２８の操作を実行するために、データ処理システムのメモリに直接ロードさせることが出来る。このようなデータ処理システムは、入力としてこのような画像を得るためにあらゆるタイプのデータ通信を利用して画像を取得するために使用される血管造影システムから、物理的に分離することも出来る。
この例では、画像化システムが、対象オブジェクトの少なくとも1つの２次元画像シーケンスを既に収集していてそして保存していることが想定されている。二次元血管造影画像シーケンスを提供することが出来る如何なる画像デバイスも、この目的に使用することが出来る。例えば、シーメンス社（Artis zee Biplane）またはフィリップス社（Allura Xper FD）によって製造されたものの様なバイプレーンまたはシングルプレーン血管造影システムを使用することが出来る。
図２ｂは、ユーザインターフェースモジュールからのコマンドの下で動作し、そしてデータ分析モジュール２０３にデータを提供するＸ線システム２０２を含む、本明細書の実施形態による例示的な代替の機能ブロック図である。Ｘ線システム２０２は、例えば、心臓の様な対象領域のＸ線画像データを収集する。データ分析モジュール２０３は、パーソナルコンピュータ、ワークステーション、または他のコンピュータ処理システムによって実現させることができる。データ分析モジュール２０３は、Ｘ線システム２０２の収集されたＸ線画像データを処理して、例えば、冠動脈ロードマップまたは冠動脈分析の定量化を生成する。ユーザインターフェースモジュール２０１は、ユーザと対話し、そしてデータ分析モジュール２０３と通信する。ユーザインターフェースモジュール２０１は、視覚出力用のディスプレイスクリーン、タッチ入力用のタッチスクリーン、入力用のマウスポインタまたは他のポインティングデバイス、音声入力用のマイク、音声出力用のスピーカ、入力用のキーボードおよび／またはキーパッド等を含むことが出来る。モジュール２０４は、本出願に記載されている、収集されたＸ線画像データから計算された冠動脈ツリーを表す動的冠動脈ロードマップを表す。動的冠動脈ロードマップは、Ｘ線システムモジュール２０２によって収集されたＸ線画像シーケンスにリアルタイムで重畳される。モジュール２０４は、パーソナルコンピュータ、ワークステーション、または他のコンピュータ処理システムによって実現させるこができ、そしてＸ線システム２０２と対話する。
ここで、図１を参照して一実施形態を開示する。ここに示されている操作は、明らかに、任意の論理順序で実行することができ、そして部分的に省略することが出来る。インターベンションの間に使用することが出来るワークフローを提供することがこの出願の目的であるので、ワークフローの例のステップも参照されるであろう。好ましい実施形態では、この出願の方法は、ＰＣＩ手技をガイドするために動的冠動脈ロードマッピングを実行するシナリオを想定している。図１に示されるように、ワークフローは、オフラインフェーズとオンラインフェーズを表す幾つかのステップを備える。図１のブロック１００で表されるオフラインフェーズは、複数の心位相に渡って造影剤の注入より取得されたＸ線血管造影シーケンスを使用して、冠動脈ロードマップのセットを作成する。図１のブロック１１０で表されるオンラインフェーズは、造影剤を注入せずに取得されたＸ線血管造影シーケンスと組み合わせて、オフラインフェーズで作成されたロードマップのセットを使用して、デバイスのポジションの追跡に基づいて動的ロードマップを作成する。動的ロードマップの視覚表現は、ガイド用カテーテルにより挿入された1つまたは複数の医療機器の配置をサポートして医師に視覚ガイダンスを提供するために、Ｘ線透視画像シーケンスのライブ透視画像ストリームに重ねられる。例えば、医療機器は、ガイドワイヤ、拡張バルーン、ステント、または他の適切な血管内デバイスまたは機器とすることが出来る。
図１の各ステップを詳細に記載する前に、オフラインフェーズとオンラインフェーズのサブステップをハイレベルで容易に説明する。
オフラインフェーズ：
図１のブロック１００によって表されるオフラインフェーズが、実際のロードマッピングが実行される前に実行される。オフラインフェーズでは、心周期の複数のフェーズにわたる冠動脈のロードマップが、心周期の複数のフェーズをカバーするＸ線血管造影画像シーケンスから作成される。通常、少なくとも1つの心周期が考慮される。Ｘ線血管造影シーケンスと共に、心周期の時間情報（例、ＥＣＧ信号）が、取得されそして保存される。ロードマップには、心周期の特定のフェーズにおける冠動脈の特性を特徴付ける情報が含まれている。このような情報は、冠動脈の中心線、冠動脈のそれぞれの長さにわたる冠動脈の輪郭（管腔境界）、および／または冠動脈を表すマスク画像（例、冠動脈により占有されている空間をカバーする画像）を含むことが出来る。実施形態では、ロードマップは、心周期の所与のフェーズの冠動脈を表す中心線、輪郭、および／またはマスク画像の形態の血管モデルを含むことが出来る。1つまたは複数のロードマップは、血管閉塞の位置と割合、直径と面積、圧力、血流速度、分流予備能、壁せん断応力、血管の湾曲、遠近短縮の量、冠動脈プラークの位置と量とタイプ（例、石灰化、軟性プラーク、混合プラーク）、冠動脈の完全閉塞の位置と範囲、または冠動脈閉塞の位置と範囲の様な、臨床的に興味がある情報も含むことが出来る。ロードマップの作成は、図１のステップ１０３で詳しく記載されるであろう。
Ｘ線血管造影シーケンス内のデバイス位置（例、カテーテルの先端位置）が取得され、そしてこの位置が、（図１のステップ１０７によってより詳細に記載されるように）ロードマップ変換のための参照ポイントとして機能するようにロードマップに関連付けられる。この参照ポイント（デバイスの位置）は、図１のステップ１０２で詳細に記載されているように、ロードマップに統合させることが出来る。
オンラインフェーズ：
図１のブロック１１０によって表されるオンラインフェーズの間に、動的ロードマッピングが実際に実行される。オンラインフェーズでは、造影剤を使用せずに、そして望ましくはロードマップがオフラインフェーズの間に作成されたときと同じ視野角（ＣアームのアンギュレーションとＣアームの回転）で、Ｘ線透視画像データのシーケンスが収集される（図１のステップ１０４参照）。同時に、ＥＣＧ信号が、Ｘ線透視画像データと共に取得され、そしてこれが保存されているＥＣＧと比較されて、オフラインフェーズで作成されたものと最も良くマッチするロードマップ（図１のステップ１０５）が選択される。これは、心臓の運動によるフレーム間の血管の形状と位置の変化を補正するためである。同時に、収集されたＸ線透視画像データ内のデバイス位置（例、カテーテルの先端位置）は、画像処理技術を使用して、そして好ましい実施形態では、図１のステップ１０６に記載される提案された深層学習ベースのベイジアンフィルタリング法を使用して、追跡される。Ｘ線透視画像データの現在のフレームと選択されたロードマップに関連付けられた参照ポイント（デバイスの位置）との間のデバイスの位置（例、カテーテルの先端）の変位が取得され、そして選択されたロードマップを変換するように適用されて、図１のステップ１０７に記載されるように動的ロードマップが生成される。最後に、動的ロードマップの視覚表現がレンダリングされ、そしてＰＣＩ手技をガイドするためにＸ線透視画像データの現在のフレームに重ね合わされる（図１のステップ１０８）。
動的ロードマッププロセスが、図３に図示されている。図３内で、オフラインフェーズは、写真３０１および３０２によって表されている。ここで、３０１は、右冠動脈のＸ線血管造影画像シーケンスを示し、そして３０２は、Ｘ線血管造影シーケンス（３０１）から生成されたロードマップを示す。オンラインフェーズの間、写真３０３および３０４によって示されるように、生成されたロードマップ（３０２）が、Ｘ線透視画像ストリーム（３０３）に重畳され、この結果動的冠動脈ロードマップ（３０４）が得られる。説明のために、図３には、（心周期内の1つの瞬間を表す）1つのフレームしか示されていない。
以下のセクションでは、図１に記載されるステップがより詳細に説明される。
ステップ１０１：血管造影画像データを読出す
第１のステップであるステップ１０１では、血管造影画像データが読出される。好ましい実施形態では、血管造影画像データは、Ｘ線血管造影による対象オブジェクトの収集（これは結果的にＸ線血管造影画像シーケンスを生じる）を表す。シングルプレーンまたはダブルプレーンの血管造影システムには、例えば、シーメンス社（Artis zee Biplane）またはフィリップス社（Allura Xper FD）によって製造される様な製品を使用することが出来る。対象オブジェクトは、例えば、心臓、冠動脈ツリーの一部、または血管であり、そして対象オブジェクトは、収集の間に、造影剤によって視認される。Ｘ線血管造影画像シーケンスは、対象オブジェクトが明瞭に視認できるように収集される。従って、Ｃアームは、最良の投影が取得されるように、臨床医が回転およびアンギュレートさせることが出来る。好ましくは、心電図（ＥＣＧ）は血管造影画像データの一部であり、そしてＸ線血管造影の収集の間に同時に記録される。ＥＣＧは、異なるＸ線血管造影フレーム間またはＸ線血管造影取得間の心位相のマッチングを可能にする。心位相のマッチングにより、同じ心位相内の画像フレーム間の心臓運動による対象オブジェクトの変位は、最小限に抑えられる。
図４は、ＥＣＧ信号を含むＸ線血管造影画像シーケンスからなる、読出された血管造影画像データの図解を提供する。写真４０１は、
Figure 2022517581000002
 で収集された第１のＸ線画像フレームを示す。写真４０２は、時間
Figure 2022517581000003
 でのＸ線血管造影画像シーケンスからの別のＸ線画像フレームを示す。写真４０２内では、デバイスが視認可能で、そしてこの例では、デバイスは、ガイド用カテーテル（４０３）を表している。ＰＣＩ手技では、ガイド用カテーテルは、造影剤を注入するために使用され、そしてガイド用カテーテルは、血管形成術または他のデバイスまたは機器のためのレーザ、ステント、バルーンの配置を容易にするために使用される。一般に、Ｘ線血管造影画像シーケンスは、造影剤注入前のある量のＸ線画像フレームと造影剤注入後のある量のＸ線画像フレームを含む（両方とも少なくとも１つの心周期を含むことが好ましい）。ＥＣＧ信号（４０５）は、図４の各フレームで視覚化されていて、そして特定の画像フレームが収集されるＥＣＧ信号に関する時間は、４０４で表されている。図４内で、写真４０６は、造影剤が時間
Figure 2022517581000004
 で冠動脈に入る瞬間のＸ線画像フレームを示し、そして写真４０７は、時間
Figure 2022517581000005
 でのＸ線血管造影画像シーケンス内の最後のＸ線画像フレームを示す。Ｘ線システムの時間分解能は通常１５フレーム／秒である。患者の心拍数が毎分６０拍の場合、５つの心周期をカバーするＸ線血管造影画像シーケンスには７５のＸ線画像フレームが含まれる。
ステップ１０２：血管造影画像データ内のデバイス位置を取得する
Ｘ線血管造影画像シーケンス内の連続するＸ線画像フレーム間または異なるＸ線血管造影画像シーケンス間で、対象オブジェクトまたはロードマップが変位する原因に成り得る多くの要因が存在する。これらの要因は、心臓の収縮による心臓の運動、患者の呼吸による呼吸の運動、および患者が動くことによる患者の運動である。心臓の運動は、例えば、読出されたＥＣＧ信号を使用して心位相をマッチさせることによって補償される。起こり得る患者の運動を含む呼吸の運動は、画像内の参照ポイントを特定することにより補正させることが出来る。（画像シーケンス内で視認できるデバイスによって表される）参照ポイントは、オンラインフェーズの間に、対象オブジェクトまたはロードマップの変換に使用されるであろう。参照ポイントは、例えば、カテーテルの先端、ペースメーカまたは解剖学的ランドマーク、またはその運動を、呼吸の運動および起こり得る患者の運動に相関させることが出来る他の任意のオブジェクトとすることが出来るであろう。このような参照ポイントは、Ｘ線血管造影画像シーケンスの全てのフレームで取得することが出来る。フレーム内の参照ポイントの識別は手動で行われるかもしれない。参照ポイントを手動で識別する代わりに、例えば、図５のステップ５０３に記載されるように、画像処理技術が、医療用画像データ内のオブジェクトまたはランドマークの検出に適用されるかもしれない。
好ましい実施形態では、Ｘ線血管造影画像シーケンス内のデバイス位置を取得するためのステップは、図５のフローチャートによって示される。図５のステップ５０１において、造影剤液が冠動脈ツリーに入るＸ線血管造影画像シーケンス内のフレーム（図４の４０６）が、検出される。図６は、造影剤注入フレームの開始を検出する方法を示す。Ｘ線血管造影画像シーケンス内のフレーム毎に、平均ピクセル強度が計算され、そしてグラフ６０１によって視認される。例えば、第１のフレーム（６０２）の平均ピクセル強度は６０３で表され、そしてフレーム
Figure 2022517581000006
 （６０４）の平均ピクセル強度は６０５で表される。図６では、造影剤が冠動脈に入るフレームは６０６で表される。造影剤は放射線不透過性であるので、Ｘ線放射を吸収し、そして血管は、その周囲よりもより暗くなる（黒は低いピクセル強度に対応し、そして白は高いピクセル強度に対応する）であろう。この結果、画像フレームの平均ピクセル強度はより低くなる。次で、造影剤が冠動脈ツリーに入るフレームが、曲線６０１の一次導関数が最小でありそして図６の６０６によって表されるフレームとして、識別することが出来る。これに代えて、曲線６０１は、血管およびカテーテルの様な管状構造を表すピクセルが、例えば、式1
Figure 2022517581000007
 により、より明確に重み付けされる方法によって生成させることも出来る。ここで、
Figure 2022517581000008
 は、画像フレームの中央値を表し、
Figure 2022517581000009
 は画像フレーム内のピクセルnを表し、
Figure 2022517581000010
 は定数を表し、そして
Figure 2022517581000011
 は、管状構造の尤度が表される画像フレームの重み関数を表す（ゼロは管状構造の尤度が低いことを意味し、そして１．０は管状構造の尤度が高いことを表す）。この尤度は、例えば、Ｆｒａｎｇｉ血管性フィルタ（非特許文献２）を適用することによって計算することが出来る。
造影剤が冠動脈ツリーに入るＸ線血管造影画像シーケンス内のフレームを検出する別のアプローチは、非特許文献３によって教示される方法である。この研究で、非特許文献３は、造影剤が最初に現れる画像シーケンス内のフレームを検出するための２つの異なるアプローチを記載している。第１のアプローチは、畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングして、フレームに造影剤があるか否かを区別する。第２のアプローチでは、血管構造が強調された画像から第１の造影剤特徴を抽出し、そしてリカレントニューラルネットワークアーキテクチャによって確立された長・短期メモリ（long short-term memory）を使用して、特徴曲線の変化に基づいて造影剤フレームを検出する。
次に、ステップ５０２において、心周期情報が、Ｘ線血管造影画像シーケンスから抽出される。ＥＣＧ信号が血管造影画像データ（図１の１０１）の一部である場合、このステップは省略される。前述のように、冠動脈運動には、心臓の収縮による心臓の運動、患者の呼吸による呼吸運動、および患者の動きによる患者の運動が存在する。心周期情報を抽出するには、冠動脈および／またはガイド用カテーテルの様なデバイスの運動のみが考慮されるべきである。従って、冠動脈ツリーやカテーテルの様な心臓の運動を表すオブジェクトの運動パターンを分析することによる心臓の運動の代理抽出は、Ｘ線血管造影画像シーケンス内の心周期に関する情報を提供する。図７内で、７０１は、Ｘ線血管造影画像シーケンス内の幾つかの連続するＸ線画像フレームを表す。横隔膜７０４の運動は、連続するＸ線画像フレーム７０１内で視認可能である。
心周期情報を抽出するための1つのアプローチは、図７の７０２に示されている。写真７０２は、７０１の画像フレームから抽出された冠動脈とカテーテルを表している。これはＦｒａｎｇｉ血管性フィルタ、次に、（例えば、非特許文献４により教示されている）非最大抑制を適用することにより実現させることが出来る（非特許文献２）。次に、連続する各フレーム間で抽出された冠動脈が、（例えば、非特許文献５によって教示された２Ｄ登録技術によって）互いに登録されそしてこの情報
Figure 2022517581000012
 から関数が登録される。これは、連続する各フレーム間の変位値を含む。フーリエ変換を適用することにより、呼吸の運動または患者の運動から、心臓の両方の運動を分離させることが出来る。
図７内の写真７０３は、心周期情報を抽出するための別のアプローチを示す。この状況では、これらの画像は、心臓の運動を表さない構造を排除し、そして血管が強調されるように処理されている。この状況では、心臓の運動が、画像シーケンスの強度変化の主な要因となり、そして主成分分析の様なソース分解機能を備えた方法でさらに分析させることが出来る。先ず、画像シーケンス７０１は、血管およびカテーテルの様なデバイスのみが強調されるように処理される（７０３）。これは、非特許文献６、または非特許文献７または非特許文献８により教示されている層分離法を使用して実行させることが出来る。主成分分析は、通常、次元削減に使用される。これは、このデータセットのほとんどの分散を幾つかの座標で表すことが出来るように、多変量データセットを新しい直交座標系に変換する。従って、この次元の削減は、通常、新しい座標系で幾つかの座標のみを保持することによって、多くの情報を失うことなく達成される。主成分分析は、画像シーケンスの主成分を取得するために、後処理された画像（７０３）に使用される。シーケンスのフレームを
Figure 2022517581000013
 行列で表すと、このような行列の各ピクセルは、サイズが
Figure 2022517581000014
 （ここで、
Figure 2022517581000015
 ）の単一の列ベクトル
Figure 2022517581000016
 に連結される。従って、
Figure 2022517581000017
 フレームからなるシーケンスは、
Figure 2022517581000018
 行列
Figure 2022517581000019
 として表される。
Figure 2022517581000020
 の主成分を求めることは、
Figure 2022517581000021
 行列である共分散行列
Figure 2022517581000022
 の固有ベクトルを計算することと同じである。
Figure 2022517581000023
 は、通常大きな数でありそしてこの場合
Figure 2022517581000024
 であるので、固有解析は
Figure 2022517581000025
 の行列
Figure 2022517581000026
 に適用される。
Figure 2022517581000027
 ここで、
Figure 2022517581000028
 は
Figure 2022517581000029
 の固有ベクトルの
Figure 2022517581000030
 行列、
Figure 2022517581000031
 は固有ベクトルの
Figure 2022517581000032
 行列、そして
Figure 2022517581000033
 は
Figure 2022517581000034
 の固有値の
Figure 2022517581000035
 対角行列である。
次に、後処理されたシーケンス（７０３）は、
Figure 2022517581000036
 を計算することによって第１の主成分
Figure 2022517581000037
 に投影される。ここで、
Figure 2022517581000038
 は、最大分散の方向を表す
Figure 2022517581000039
 の第１の列であり、そして
Figure 2022517581000040
 は、
Figure 2022517581000041
 の射影ベクトルである。従って、このようなシーケンスの各フレームは、ベクトル
Figure 2022517581000042
 の要素で表される。ここに記載されたアプローチの根底にある仮定は、心臓の運動が、呼吸の運動と患者の運動が排除されているこれらのシーケンス（７０３）の変動の主な要因であるということである。従って、
Figure 2022517581000043
 は、画像シーケンス７０１内の心臓の運動を表す心臓の運動の代理として使用される。
図５に戻ってこれを参照すると、次のステップは、Ｘ線血管造影画像シーケンス内のデバイスを検出することである。１回の心周期（
Figure 2022517581000044
 ）を表す少なくともある量の連続するフレーム内で、デバイスの位置が検出される。デバイスは、例えば、カテーテルの先端、ペースメーカまたは解剖学的ランドマーク、またはその運動が呼吸の運動および起こり得る患者の運動に相関させることが出来る画像シーケンス内の他の任意のオブジェクトとすることが出来る。好ましい実施形態では、デバイスはカテーテルの先端である。フレーム
Figure 2022517581000045
 内のデバイスを検出する1つの方法は、フレーム
Figure 2022517581000046
 内のデバイス（例、カテーテルの先端）を、臨床医または技術者および看護師の様なインターベンションを支援する人が、手動で識別することである。
フレーム
Figure 2022517581000047
 内のデバイス（例、カテーテルの先端）を検出する別の方法は、１つのフレーム内のカテーテルの先端を手動で識別し、そして例えば、非特許文献９に教示されるような画像処理技術によって、この位置を
Figure 2022517581000048
 内の残りのフレームに伝播することである。
デバイス（例、カテーテルの先端）を検出する別の方法は、モデルベースの検出によって、または畳み込みニューラルネットワークの使用によって実行することができる。カテーテルの先端の検出は、前処理または後処理に時間情報を組み込むことによって改善されるかもしれない。畳み込みニューラルネットワークに基づく、時間情報を含む完全自動カテーテルセグメンテーション技術は、非特許文献１０に教示されている。
デバイス（例、カテーテルの先端）を検出する別の方法は、先ず、（図５のステップ５０１に記載されている）造影剤が冠動脈に入るフレームの前の、１回の心周期を表す連続フレームの量を、血管造影画像シーケンス（
Figure 2022517581000049
 から選択することによる。次に、フレーム
Figure 2022517581000050
 内のカテーテルの先端が、図１のステップ１０６でより詳細に記載されている方法によって自動的に検出される。
図１に戻ると、次のステップ（１０３）は、ロードマップを作成することである。ステップ１０３内で、デバイスの位置が、（図１のステップ１０７によってより詳細に記載されている）ロードマップ変換の参照ポイントとして機能するように、作成されたロードマップに統合される。
ステップ１０３：ロードマップを作成する
ステップ１０３内で、Ｘ線血管造影画像シーケンスが処理されて、造影剤が冠動脈に入ったフレームの後の心周期の複数のフェーズに対して、冠動脈のロードマップが作成される。通常、ロードマップは、少なくとも1つの心周期をカバーするある量のフレームに対して作成される。
例えば、冠動脈ロードマップは、血管モデルを含むことが出来る。血管モデルは、血管の中心線、血管の境界（等高線）、または血管を表すマスク画像を表すことが出来る。さらに、血管モデルは、また、例えば、血管閉塞の位置およびパーセンテージ、および／または血管の直径、面積、長さまたは曲率、および／または石灰化したプラークの位置および量の様な臨床的に関連する情報を含むことが出来る。
実施形態では、冠動脈ロードマップは、造影剤注入後の１つの心周期内の全てのフレームに対して作成することが出来る。例えば、完全な心周期は、（図５のステップ５０１の結果である）（そして
Figure 2022517581000051
 とも呼ばれる）造影剤が冠動脈に入ったフレームの後に、（ステップ１０１の結果である）Ｘ線血管造影画像シーケンス内で選択することが出来る。フレーム
Figure 2022517581000052
 内で、ロードマップは、層分離方法を使用して作成することができる。層分離法は、例えば、形態学的フィルタリングと主成分分析を使用して、Ｘ線血管造影画像フレーム（８０１、図８）を、３つの層：１）大規模な呼吸構造層（８０２、図８）、 ２）ほぼ静的なバックグラウンド層（８０３、図８）および３）血管構造を含む層（８０４、図８）に分離する。
図８は、Ｘ線血管造影フレーム上の層分離の例を示す。元のＸ線血管造影画像フレーム（８０１、図８）と比較して、血管層（８０４、図８）において冠動脈が著しく強調されていることが分かる。このような層分離方法は、例えば、非特許文献６、または非特許文献７または非特許文献８により教示されている。図３内で、３０２は、層分離によるＸ線画像３０２のロードマップの作成の例を提供する。
ロードマップを作成するための別のアプローチは、例えば、非特許文献４により教示される画像処理骨格技術を適用することである。ロードマップを作成するための別のアプローチは、例えば、非特許文献１１または非特許文献１３によって教示される深層学習技術を利用することである。
Figure 2022517581000053
 と共に
Figure 2022517581000054
 内のフレームに対応する図５のステップ５０１の結果としてのＥＣＧ信号または抽出された心周期が、所与のＸ線透視フレームに対して、後にオンラインフェーズの間に時間的に位置合わせされるロードマップを、選択することを可能とする（図１の１１０）ために、読出され、そして図１のステップ１０５でより詳細に記載されるであろう。オプションでは、ユーザが、作成された1つのロードマップ内またはＸ線血管造影画像シーケンスからの1つのフレーム内で対象血管を識別する。
オプションでは、非特許文献１２または非特許文献１３により教示されているように、生成されたロードマップに基づいて、定量的画像分析を実行して、例えば、血管閉塞の位置およびパーセンテージ、直径および面積、血管の長さまたは血管の湾曲の様な臨床関連情報を抽出することが出来る。オプションでは、石灰化プラークの位置および量は、例えば、本出願内でさらに図２８のフローチャートの記載によって詳細に開示されるように、Ｘ線血管造影画像シーケンスから抽出することも出来る。
最後に、ステップ１０３において、ステップ１０２の結果として取得されたデバイス位置が、作成されたロードマップに統合される。図３５は、例を使用して、デバイスの位置をロードマップに統合する方法を示す。第１の例は、前述した、層分離（３５０１）によるロードマップの作成を表す。３５０１内で、ステップ１０２の結果としてのデバイス位置（３５０２）が、血管層（３５０１）に統合される。血管構造（３５０３）を示す最終ロードマップは、デバイスの位置（３５０２）も含む。第２の例は、前述したように、骨格化（３５０６、および図示目的のために３５０５によってＸ線血管造影フレームに重畳されている）によるロードマップの作成を表す。３５０５内に、ステップ１０２の結果としてのデバイス位置（３５０４）が示されている。
ステップ１０４：透視画像データを収集する
オンラインフェーズ（１１０）の第１のステップは、図１のステップ１０４によって表されるＸ線透視画像データの読出しである。好ましい実施形態では、Ｘ線透視画像シーケンスは、ライブストリームとしてリアルタイムで収集される。同時に、患者のＥＣＧ信号は、Ｘ線透視画像シーケンスに同期させてそしてリアルタイムで取得させることが出来る。Ｘ線透視画像は、ステップ１０１によってオフラインフェーズ（１００）の間に使用されたものと同じ投影（視野角）で連続的に収集される。同じ投影を使用することは、対象オブジェクトおよびロードマップが、ロードマップ（１０３）を生成するために使用されたＸ線血管造影画像シーケンス（１０１）と同じ方位を有することを保証する。図９は、Ｘ線透視画像シーケンスからの３つのＸ線透視画像フレーム（９０１、９０２、および９０４）を示す。カテーテルは、Ｘ線透視画像フレーム内に見ることが出来（９０４）、そして記載のために強調されている。各Ｘ線透視フレームは、心周期（９０９）を表す心電図（ＥＣＧ）信号内の９０６、９０７、および９０８によって示される心周期の任意の瞬間内に収集される。心周期の開始は、例えば、Ｒ波の頂点（９１０）であり、そして取得された全てのＸ線フレーム（９０６、９０７、および９０８）は、心周期（９０９）内のフェーズを表し、これらには、それぞれのＸ線フレームを収集するための心周期（９１０）の開始に対してオフセットが与えられている。Ｘ線フレームの収集と同時にＥＣＧ信号を取得することが好ましい。オンラインフェーズ（１１０）の間、ＥＣＧ信号は、心周期における同じ心位相を表すために、取得されたフレームを、ステップ１０３によって抽出された対応するロードマップとマッチさせるために使用される。これは、心臓の運動によるＸ線透視画像フレーム間の血管の形状と位置の変化を補正するためであり、そして図１のステップ１０５でさらに説明される。同時に、収集されたＸ線透視画像ストリーム内のデバイス（例、カテーテル先端の位置）は、例えば、ステップ１０６によってさらに記載されるように、深層学習ベースのベイジアンフィルタリング法を使用することによって追跡される。次に、現在のＸ線透視画像フレームと選択されたロードマップとの間のカテーテルの先端の変位が取得され、そしてこれがロードマップを変換するために適用され、そしてこれは、ステップ１０７によってさらに記載されるであろう。最後に、変換されたロードマップは、ステップ１０８に記載される手技をガイドするために、現在のＸ線透視画像フレームに重ね合わせられる。
ステップ１０５：ロードマップを選択する
ステップ１０４によって記載されたＥＣＧ信号を含む透視画像を読出した後、（ステップ１０３で作成された）ロードマップから選択されたロードマップが、全ての単一の透視画像に対して選択される。
図１のステップ１０４によって表されるロードマップの選択は、ＥＣＧ信号の最良のマッチングが見出される最適な候補のロードマップが選択されるように、オンライン透視画像に関連付けられているＥＣＧ信号とオフライン血管造影シーケンスのＥＣＧとを比較することによって達成させることが出来る。選択されたロードマップは、オンラインＸ線透視画像と同じ（または非常に類似する）心位相を持ち、これは、心臓の運動によって生じた血管の形状と姿勢の相違を補正する。
ＥＣＧに基づいてロードマップおよび画像を選択するために、先ず、Ｘ線画像とＥＣＧ信号ポイントとの間の時間的マッピングを構築する必要がある。心電図信号とＸ線画像は、収集の間十分に同期されていることが、想定されている。
オフラインフェーズ（図１のブロック１００）では、画像シーケンスの開始および終了は、ＥＣＧ信号ポイントの開始および終了と位置合わせされている。これらの間のＸ線血管造影フレームは、ＥＣＧのタイムライン上に均等に分散される。このようにして、保存されたシーケンス画像とそのＥＣＧ信号の間のマッピングを設定することが出来る。各画像に対して、タイムライン上の画像の位置に最も近いＥＣＧ信号ポイントを見出すことが出来；各ＥＣＧポイントに対して、タイムライン上のこのポイントに最も近い画像を同様に配置させることが出来る。マッピングが利用可能になると、血管造影剤の注入が良好な全ての画像と、これらの画像に関連付けられているＥＣＧポイントとが、ロードマップのプールのＸ線血管造影シーケンスから選択される。このプロセスでは、フレームの少なくとも1つの心拍を収集しなければならない。
これに加えて、ステップ５０１の方法を適用して、造影剤が血管に到着する前の画像は破棄することが出来る。これにより、ＥＣＧデータと画像シーケンスのマッピングプロセスはスピードアップするであろう。
オンラインフェーズ（図１のブロック１１０）では、各画像を収集するために、ＮＥＣＧ最新ＥＣＧ信号ポイントのブロックは、常に保存されている。これらのNＥＣＧＥＣＧ信号ポイントは、オンライン透視フレームに対応するＥＣＧ信号と見なされる。
オフライン血管造影シーケンスとオンライン透視画像に関連付けられているＥＣＧ信号とを比較するために、例えば、相互相関を使用して２つの信号の時間的登録が適用される。これは、非特許文献１４に教示されている。２つのＥＣＧ信号は、最初に信号上の全ての可能な位置に対して相互相関され、この結果、相関スコアの1次元（１Ｄ）ベクトルが得られる。次で、動的重ね合わせとロードマップの候補フレームが、最高の相関スコアに対応するオフライン血管造影シーケンスのＥＣＧ上のポイントに関連付けられたフレームとして選択される。
ステップ１０６：デバイスを追跡する
オンラインフェーズ（図１のブロック１１０）では、呼吸の運動や患者の運動を補正するために、対象オブジェクトまたはロードマップの変換が必要である。従って、ステップ１０２で、デバイスの位置が、血管造影画像データ内で取得される。同時に、図１のステップ１０５のロードマップ選択により、ステップ１０２に配置されたものと同じデバイスが、ステップ１０６の読出された透視画像内で追跡される。デバイスは、例えば、カテーテルの先端、ペースメーカまたは解剖学的ランドマークまたはその運動を、呼吸の運動および可能性がある患者の運動に相関させることが出来る他のオブジェクトとすることが出来る。
次に、デバイスを追跡するための方法が提示され、そして例として、追跡されるオブジェクトはカテーテルの先端である。
例示的なカテーテルの先端の追跡
カテーテルの先端の全体的な追跡は、深層学習ベースのベイジアンフィルタリング法を使用し、図１３に要約されている。この方法は、畳み込みニューラルネットワークを使用してベイジアンフィルタリングの尤度項をモデル化し、そしてそれを包括的な方法で粒子フィルタリングに統合させるが、これは、ロバストな追跡をもたらす。要約すると、画像内の全ての位置に対して、（カテーテルの運動を予測する）カテーテルの先端の（新しい画像内の）新しい位置は、オプティカルフロー法（図１３の6行目を参照）とノイズの追加を使用して予測することが出来る（図１３の５行目を参照）。さらに、深層学習ネットワークを使用して位置の尤度をチェックすることにより、重みが更新される（図１３の８行を参照）。次に、全ての重みが正規化される（図１３の１０行を参照）。実際のカテーテルの先端位置は、全ての位置とその重みの加重算術平均に等しくなる。最後に、ポイントのリサンプルが、重み値の高いポジションの周囲で実行される（図１３の１２行を参照）。次に、追跡方法を、より詳しく記載する。
ベイジアンフィルタリング
ベイジアンフィルタリングは、例えば、非特許文献１５に記載されているように、システムに行われたノイズの多い測定のシーケンスから、時間と共に変化するシステムの真の状態を推定することを目的とした状態空間アプローチである。
ベイジアンフィルタリングは、通常、次のコンポーネント：非表示のシステム状態、状態遷移モデル、観測、および観測モデルを含む。
Figure 2022517581000055
 が、
Figure 2022517581000056
 番目のフレーム内のガイド用カテーテルの先端の位置と、Ｘ線画像空間の座標を表す２Ｄベクトルの状態を表すとする。ある状態から次の状態へのシステムの遷移は、状態遷移モデル
Figure 2022517581000057
 によって与えられる。ここで、
Figure 2022517581000058
 は、独立したそして同一分布の（i.i.d.）プロセスノイズであり、
Figure 2022517581000059
 は、以前の状態
Figure 2022517581000060
 を、ノイズ
Figure 2022517581000061
 で現在の状態
Figure 2022517581000062
 にマッピングする多分非線形である関数である。この作業での観測
Figure 2022517581000063
 は、シーケンスの
Figure 2022517581000064
 番目のＸ線画像として定義され、従って、
Figure 2022517581000065
 となる。ここで、
Figure 2022517581000066
 と
Figure 2022517581000067
 はＸ線画像の幅と高さである。我々は、さらに、観測モデルを
Figure 2022517581000068
 と定義する。ここで、
Figure 2022517581000069
 は、i.i.d測定ノイズ（
Figure 2022517581000070
 は
Figure 2022517581000071
 の次元）で、
Figure 2022517581000072
 は、ノイズ
Figure 2022517581000073
 の状態
Figure 2022517581000074
 から観測値
Figure 2022517581000075
 を生成する高度に非線形な関数である。状態遷移モデル
Figure 2022517581000076
 と観測モデル
Figure 2022517581000077
 は、それぞれ、確率形式、つまり
Figure 2022517581000078
 および
Figure 2022517581000079
 を、サンプリングによって取得することが出来る事前状態遷移
Figure 2022517581000080
 と尤度
Figure 2022517581000081
 とを使用して同等に表すことも出来る。
これらの定義と
Figure 2022517581000082
 の初期ビリーフである
Figure 2022517581000083
 を使用して、ベイジアンフィルタリングは、式４
Figure 2022517581000084
 のように、事後確率
Figure 2022517581000085
 を再帰的に計算することにより、時間
Figure 2022517581000086
 に至るまでの利用可能な全ての観測値のセット
Figure 2022517581000087
 に基づいて、
Figure 2022517581000088
 の推定を求める。
初期確率
Figure 2022517581000089
 が知られていると仮定すると、式４に基づいて、ベイジアンフィルタリングは、予測と更新の２つのステップのサイクルで実行される。予測ステップでは、事前確率
Figure 2022517581000090
 は、
Figure 2022517581000091
 の初期ビリーフが以前の観測値である場合、式４の積分を計算することによって推定される。更新ステップでは、事前確率は、事後確率
Figure 2022517581000092
 を取得するために、現在の尤度
Figure 2022517581000093
 によって補正される。
深層学習ベースの尤度
尤度
Figure 2022517581000094
 を直接モデル化することは、（１）生成プロセス
Figure 2022517581000095
 の複雑さ、および（２）全ての値
Figure 2022517581000096
 に対する
Figure 2022517581000097
 の計算の複雑さのために困難である。この問題は、画像のピクセル空間、つまり整数のピクセル位置で尤度
Figure 2022517581000098
 を計算するだけで簡略化される。サブピクセル
Figure 2022517581000099
 に対して、
Figure 2022517581000100
 の値は、補間によって近似させることが出来る。この目的のために、深層ニューラルネットワークＤが、整数ピクセル位置の
Figure 2022517581000101
 を近似するために使用される。ネットワークは、画像
Figure 2022517581000102
 を入力として受け取り、ピクセル位置
Figure 2022517581000103
 毎に、入力
Figure 2022517581000104
 を観測する確率を出力する。従って、近似尤度は
Figure 2022517581000105
 の関数であり、
Figure 2022517581000106
 として表される。
Figure 2022517581000107
 が、画像のピクセル空間の範囲内で定義されるので、
Figure 2022517581000108
 は、基本的に、入力画像
Figure 2022517581000109
 と同じ次元とサイズの確率マップである。ここで、このマップ内の各位置
Figure 2022517581000110
 のエントリは、
Figure 2022517581000111
 について
Figure 2022517581000112
 を観測する確率を表す。
深層ニューラルネットワークが
Figure 2022517581000113
 の近似に使用されることは言及する価値がある。これは、
Figure 2022517581000114
 を
Figure 2022517581000115
 にマッピングする生成モデル
Figure 2022517581000116
 とは明確に区別されるべきである。
トレーニングラベルを取得するために、
Figure 2022517581000117
 が画像
Figure 2022517581000118
 のグラウンドトゥルースチップの位置から離れるほど、プロセス
Figure 2022517581000119
 により
Figure 2022517581000120
 が与えられた
Figure 2022517581000121
 を観察することが困難になるように、トレーニングラベルは、距離ベースの確率マップとして定義することが出来る、マッピング
Figure 2022517581000122
 が存在することが仮定されている。この定義は、グラウンドトゥルースチップの位置から遠く離れた位置
Figure 2022517581000123
 から、カテーテルチップがグラウンドトゥルースの位置にある
Figure 2022517581000124
 を観察する確率は低いはずであるという直感とマッチする。簡略化のために、画像空間において分散
Figure 2022517581000125
 でグラウンドトゥルースチップ位置
Figure 2022517581000126
 に中心くぉ有する２Ｄガウス確率密度関数(ＰＤＦ)
Figure 2022517581000127
 が、ネットワークをトレーニングするためのラベル（1１０３、図１１）として使用される。このトレーニングラベルにより、
Figure 2022517581000128
 の推定と、深層ニューラルネットワークが、カテーテルの先端の特徴を学習し、そして特徴が存在する位置で高い確率を出力するカテーテルの先端検出問題とが同等になることに留意されたい。この理由により、
Figure 2022517581000129
 は「検出出力」または「検出確率」と呼ばれ、そして
Figure 2022517581000130
 の推定は、「カテーテルの先端検出」と呼ばれる。
使用されるネットワークは、例えば、非特許文献１６に記載されているＵネットに類似するスキップ接続を有するエンコーダ－デコーダに従う。加えて、非特許文献１７の研究と同様に、残差ブロックが、エンコーダとデコーダの各解像度レベルで採用され、そしてこれにより深層ネットワークでの勾配伝播が容易になる。残差ブロックは、基本的に、スキップ接続にゲートがないハイウェイネットワークの特殊なケースである。基本的に、残差ブロックは、例えば、非特許文献１８に記載されているように、第１の層から最後の層へのメモリ（または情報）の流れを可能にする。
エンコーダは、ストライド２畳み込みが続く残差ブロックが、特徴マップの抽出とダウンスケーリングに使用される、４つのダウンブロックから構成される。特徴マップの数は、各ダウンサンプリングステップで２倍になる。デコーダは、ストライド２の転置畳み込みが、入力特徴マップのアップサンプリングに使用される、４つのアップブロックを有する。ドロップアウトは、ネットワークの正則化のためにアップブロックの残差ユニットで使用される。エンコーダによって抽出された特徴マップを処理するために、エンコーダとデコーダの間には、別の残差ブロックが使用される。詳細なネットワークアーキテクチャが、図１２に示されている。図１２は、カテーテルの先端検出のためのジョイントセグメンテーションおよび検出ネットワークを示し、そして４レベルの深さ（ダウンブロックまたはアップブロックの数）を持つネットワークの例を示す。図１２内の略語の意味は、
Figure 2022517581000131
 、２Ｄ畳み込み；
Figure 2022517581000132
 、バッチ正規化；
Figure 2022517581000133
 、Ｒｅｌｕ（正規化線形関数）アクティベーション；
Figure 2022517581000134
 、ドロップアウト；
Figure 2022517581000135
 、連結；
Figure 2022517581000136
 、チャネル数；
Figure 2022517581000137
 、セグメンテーション出力；
Figure 2022517581000138
 、検出出力である。図１２内で、画像または特徴マップの上の数字は、チャネル数を示す。ブロック内の残差ネットワークのチャネル数は、ブロックの上に表示されている。
Figure 2022517581000139
 はチャネルの基本数であり、第１のダウンブロックのチャネル数である。長方形の横の数字は、画像または特徴マップのサイズを示す。赤い矢印は、チャネル数の変更を示す。
ガイド用カテーテルの先端と、椎骨、肺組織、ステッチ、ガイドワイヤの様なバックグラウンド構造の角とは、外観が似ているので、ネットワークが確率マップにおいて1つのブロブしか出力しないと予想される場合、あいまいさが存在する可能性がある。この問題を軽減するために、非特許文献１９により教示されるものと同様の戦略を採用して、カテーテルマスク（１１０２、図１１）を追加のラベルとして使用して、ネットワークを共同でトレーニングして、カテーテルセグメンテーションヒートマップと尤度確率マップの両方を出力する。セグメンテーションヒートマップは、最後のアップブロックの特徴マップに、正規化線形関数（Ｒｅｌｕ: rectified linear units）アクティベーションによる１Ｘ１畳み込みを適用することによって取得される。尤度確率マップを計算するためには、最初に、残差ブロックが、最後のアップブロックの特徴マップに適用される。次で、出力特徴マップが、1つの追加チャネルとしてセグメンテーションヒートマップに連結され、その後に１ｘ１の畳み込みが続く。最後に、ネットワーク検出出力が、画像位置の確率マップの定義に適合することを確認するために、１ｘ１の畳み込みに続いて、空間ソフトマックス層が、式５
Figure 2022517581000140
 のように計算される。
ここで、
Figure 2022517581000141
 は１ｘ１畳み込みの出力特徴マップ、
Figure 2022517581000142
 は位置
Figure 2022517581000143
 での
Figure 2022517581000144
 の値、
Figure 2022517581000145
 は、検出ネットワークの最終出力であり、
Figure 2022517581000146
 を表す。詳細は、図１２に示されている。
トレーニング損失は、セグメンテーション損失と検出損失の組み合わせとして定義される。この作業のセグメンテーション損失
Figure 2022517581000147
 は、式6
Figure 2022517581000148
 で定義されるダイス（Ｄｉｃｅ）損失である。ここで、
Figure 2022517581000149
 はグラウンドトゥルースバイナリカテーテルマスクを示し、
Figure 2022517581000150
 はセグメンテーションヒートマップである。検出
Figure 2022517581000151
 の損失関数は、式７
Figure 2022517581000152
 で与えられる平均二乗誤差である。ここで、
Figure 2022517581000153
 はグラウンドトゥルースＰＤＦ（確率密度関数）を示し、
Figure 2022517581000154
 と
Figure 2022517581000155
 は画像の幅と高さである。総トレーニング損失
Figure 2022517581000156
 は、式８
Figure 2022517581000157
 として定義される。ここで、
Figure 2022517581000158
 は
Figure 2022517581000159
 と
Figure 2022517581000160
 のバランスを取るための重みである。
粒子フィルタによる事後確率の近似
深層ニューラルネットワークがトレーニングされると、その重みは、新しいデータの事後確率
Figure 2022517581000161
 を計算するための推論の間、固定されている。理想的には、ネットワーク検出出力
Figure 2022517581000162
 は、ガウスＰＤＦのラベルでトレーニングされているので、推論の間はガウスＰＤＦでなければならない。しかしながら、バックグラウンド構造または残存造影剤の外観が類似しているので、検出出力が完全なガウス分布になることはあり得ない（非ガウス分布であるまたは複数のモードを持つ可能性がある）。これは、式４の事後確率
Figure 2022517581000163
 が、解析法により解かれることを妨げる。実際には、事後確率は、例えば、非特許文献１４に記載されているように、粒子フィルタ法を使用して近似させることが出来る。
粒子フィルタ法は、関連付けられている重み
Figure 2022517581000164
 を持つＮｓ個のランダムサンプルのセットによって事後ＰＤＦを近似する。
Figure 2022517581000165
 が非常に大きくなると、この離散表現は真の事後確率に近づき、そして事後確率
Figure 2022517581000166
 の近似は、式９
Figure 2022517581000167
 により与えられる。ここで、
Figure 2022517581000168
 はディラックデルタ関数である。重み
Figure 2022517581000169
 は、
Figure 2022517581000170
 が既知であれば、式１０
Figure 2022517581000171
 のように再帰的に計算することが出来る。ここで、
Figure 2022517581000172
 は、
Figure 2022517581000173
 を容易にサンプリングすることが可能でなければならない重要度密度である。簡略化するために、重要度密度の適切かつ便利な選択は、
Figure 2022517581000174
 であり、その結果、事前確率は
Figure 2022517581000175
 。
サンプルは、
Figure 2022517581000176
 から次の様に抽出させることが出来る。まず、プロセスノイズサンプル
Figure 2022517581000177
 が、
Figure 2022517581000178
 のＰＤＦである
Figure 2022517581000179
 からサンプリングされる。次で、
Figure 2022517581000180
 が、状態遷移モデル
Figure 2022517581000181
 により
Figure 2022517581000182
 から生成される。ここで、
Figure 2022517581000183
 はガウス
Figure 2022517581000184
 となるように設定される。
Figure 2022517581000185
 に対する運動モデルの選択は、真の状態遷移事前確率
Figure 2022517581000186
 を正確に表現するために重要である。ランダムな運動は、Ｘ線画像フレーム内のカテーテルの先端の運動を良好に特徴付けることができない。この出願では、この運動は、オプティカルフロー法を使用して隣接するフレームから推定される。このアプローチでは、１）観測
Figure 2022517581000187
 を考慮して、カテーテルの先端の運動をより正確に推測し、そして２）サンプル
Figure 2022517581000188
 の運動を効率的に取得することが出来る高密度の運動フィールド推定が可能になる。従って、
Figure 2022517581000189
 は、式１１
Figure 2022517581000190
 のように定義される。
ここで、
Figure 2022517581000191
 は、非特許文献２０に記載されている方法を使用してオプティカルフローで推定されたフレーム
Figure 2022517581000192
 からフレーム
Figure 2022517581000193
 への運動である。
Figure 2022517581000194
 は、状態
Figure 2022517581000195
 からの運動である。
サンプルが抽出され、そしてそれらの重みが更新されると、退化の問題を防ぐために、サンプルのいわゆる「リサンプリング」が実行されなければならない。この場合、1つを除く全てのサンプルの重みは、数回の繰り返し後には無視出来るであろう。リサンプリングステップでは、更新された重みに従って既存のサンプルをリサンプリングし、次いで、全てのサンプルの重みを
Figure 2022517581000196
 にリセットする。その結果、
Figure 2022517581000197
 を近似することに実際に寄与する有効なサンプルの数が最大になる。リサンプリングが全てのタイムステップで適用される場合、粒子フィルタは、サンプリング重要度リサンプリング（ＳＩＲ: sampling importance resampling）フィルタになり、そして重み更新ルールは、式１２
Figure 2022517581000198
 に従う。
フレーム
Figure 2022517581000199
 内のカテーテルの先端の位置に関する最終決定は、
Figure 2022517581000200
 の期待値として計算することが出来る。これは、この場合、全てのサンプルの加重和
Figure 2022517581000201
 である。
図１４は、ここに記載されたカテーテル追跡方法の４つの例（シーケンス１から４）を提示する。第１の列にはオンライン透視画像が示され、第２の列には前述の追跡方法から得られたカテーテルの先端の位置がポイントで示されている。右側の最後の列には、カテーテルの先端のグラウンドトゥルースが示されている。
追跡方法から取得された最終的なカテーテルの先端位置は、オンライン透視画像内のデバイス位置と選択されたロードマップの対応するオフライン血管造影画像との間の変換を決定するために、次のステップ１０７で使用される。
代替の実施形態では、ステップ１０６は、特許文献３「動く器官の標的領域内のオブジェクトを追跡するための方法および装置」の教示によって達成することが出来る。特許文献３は、同期された周期的運動の特性を使用して、追跡された特徴のポジション間の動的なジオメトリの関係を確立している。これは、経皮的冠動脈インターベンション手技の間に画像ビューに一般的に存在する他の可視デバイスの様な、個々の特徴の周期的な運動を学習することによって実現される。特徴の1つが隠れている場合、両方の特徴の周期的な運動のパターン、特徴の1つのポジション、および周期的な運動のフェーズに関する知識は、隠れている特徴のポジションを導出するために使用することが出来る。もし、第１の特徴が、デバイスのターゲット位置自体（例、カテーテルの先端）である場合、このような位置は即座に決定される。第１の特徴がターゲットの位置ではなく、ターゲットの位置と同じ運動をする特徴（例、視認可能な別のデバイス）である場合、デバイスのターゲットの位置のポジションは、第１の特徴がターゲット領域と同じ運動をするという事実を使用して、第１の特徴のポジションから導出することが出来る。これには、第１の特徴とターゲット領域の間のジオメトリの関係に関する知識が必要である。
ステップ１０７：選択したロードマップを変換して動的ロードマップを生成する
本明細書に記載されているように、参照ポイントを使用して、Ｘ線血管造影画像シーケンス（オフラインフェーズ）から取得されたロードマップとＸ線透視画像ストリーム（オンラインフェーズ）との間の運動を補償することが出来る。デバイスの位置から抽出することが出来る参照ポイントは、その運動を呼吸の運動および患者の運動と相関させることが出来る任意のオブジェクトとすることが出来、そしてこのデバイスは、例えば、カテーテルの先端、ペースメーカ、または解剖学的ランドマークとすることが出来る。好ましい実施形態では、このデバイスはガイド用カテーテルであり、そしてこのデバイスの位置はガイド用カテーテルの先端である。ステップ１０７内で、ステップ１０６の結果としての現在のＸ線透視フレームにおけるデバイス（例、カテーテルの先端）の位置、およびステップ１０５の結果としての選択されたロードマップフレームからのデバイス位置（例、カテーテルの先端）は、選択されたロードマップを現在のＸ線透視画像フレームに位置合わせする変換関数を取得するために使用される。実施形態では、この変換関数は、現在のフレーム内のカテーテルの先端と選択されたロードマップフレーム内のカテーテルの先端との間から取得される変位に基づく剛体変換とすることが出来る。これに代えて、変換関数を非剛体変換とすることも出来る。
例えば、ロードマップの剛体変換は、剛体変換関数を使用して実行することが出来る。元のロードマップを（ステップ１０５の結果としての）関数
Figure 2022517581000202
 および変換関数
Figure 2022517581000203
 として検討すると、変換関数は、
Figure 2022517581000204
 とすることが出来る。ここで、
Figure 2022517581000205
 は、変換されたロードマップである。変換関数
Figure 2022517581000206
 は、例えば、変位関数、回転関数、スケーリング関数等とすることが出来る。例えば、ロードマップが血管モデルを中心線または輪郭として表す場合、前述の変換は、中心線または輪郭の各２次元座標
Figure 2022517581000207
 に適用することが出来る。ロードマップが血管モデルを画像マスクとして表す場合、前述の変換は、画像マスクのピクセルに実行することが出来る。
ステップ１０８：透視画像データに動的ロードマップを重ね合わせる
ロードマップの心臓マッチングおよび変換の結果から得られる動的ロードマップは、患者のライブ血管造影画像データ画像データストリームの対応するＸ線透視または血管造影画像データフレーム上に重ね合わせられるように、レンダリングおよび統合される。
造影剤が無い画像に重ね合わされた動的ロードマップの例を図１０ａおよび図１０ｂに示す。図１０ａには、動的ロードマッピングの例が示されている。左側の画像は冠動脈ツリーの抽出を示し、そして右側の画像は、呼吸運動、患者運動、心臓運動の様な動的運動が補正されている、Ｘ線透視画像シーケンス内の単一フレームに重畳された冠動脈ツリーを示す。
図１０ｂは別の例を示す。左側の画像は、Ｘ線透視画像シーケンス内の単一フレームを示し、そして右側の画像は、呼吸運動、患者の運動、および心臓の運動の様な動的運動が補正されている、動的ロードマップが重畳されている同じ透視Ｘ線画像を示す。
この方法は、動的ロードマップの視覚表現がレンダングされ、そしてライブＸ線透視または血管造影画像ストリーム／シーケンスに重畳されたリアルタイム動的重ね合わせまたはロードマッピングを提供し、これにより、改善された患者治療における臨床医に対するサポートを提供する。
実施形態では、ステップ１０８は、患者のライブ画像ストリーム／シーケンス内の現在のライブ画像の視点に従って、ステップ１０３から生じる変換されたロードマップ（動的ロードマップ）をレンダリングすることによって、達成することが出来る。対象器官（例、冠動脈ツリー）に対応する動的ロードマップのレンダリングのピクセルには、赤から白までの色値の範囲の様な、事前定義された範囲の色値を割り当てることが出来る。動的ロードマップの色付けに加えて、レンダリングされたモデルに透明度も適用させることが出来る。モデルに透明度を与えることにより、Ｘ線透視画像と動的ロードマップが表示される二重のビューが提供される。ステント、バルーン、または他のデバイスまたは器具の視覚的認識を可能にして、病変動脈を治療し、かつ投影された重ね合わせの視覚的認識を可能にするために、重ね合わせは、図３４ａの３４１０によって示されるように、透明モードでＸ線透視画像データに投影させることができる。透明度の程度を、調整させることが出来ることは、明らかである。図３４ａ内で、３４１１は、罹患した動脈を治療するために使用される治療器具を覆い隠すことなく、重ね合わせが投影されている別の例を提供し、そしてこの例では、治療器具はバルーン（３４１２）である。これは、ロードマップ画像の外側の境界のみを表示することによって実現され、これは、最初にロードマップを事前定義された量だけ膨張させ、次に膨張させたロードマップの境界を抽出することによって生成させることが出来る。もちろん、これは、透明度の程度を調整することが出来る透明モードで行うことも出来る。
モデル（図１０ａの血管層画像）の動的ロードマップ重ね合わせへのマッピングは、ピクセル強度を色値（例えば、赤から白へ、図１０ａの例を参照）に変換することによって実行することが出来る。ここで、白は、血管の暗いピクセル強度を表し（図１０ａ、右の画像）、そして赤は、血管の軽く暗い強度を表す（図１０ａ、右の画像）。
配色は、また、定量的パラメータ（例えば、血管の局所的な曲率および局所的な直径の様なジオメトリのパラメータ）を表すことも出来る。これらのジオメトリのパラメータは、例えば、ステップ１０３で作成された血管モデルから導出することが出来る。定量的パラメータの別の例は、ステップ１０３で導出され、より詳しくは、図２８のフローチャートに記述される腔内の石灰化されたプラークの量のような病理パラメータである。ステップ１０８の後、この方法は、ステップ１０４に戻って、次のＸ線透視画像フレームを処理し、そしてステップ１０４に記載されるように、Ｘ線透視画像データの読出しが停止すると、図１に記載されているフローチャートは終了する。
動的冠動脈ロードマッピングの実験的セットアップ
このセクションでは、図１のステップ１０６に記載されるようなデバイス追跡方法をトレーニングするための例が、提供され、この例には、図１２に記載されるような深層ニューラルカテーテル検出ネットワークのトレーニング、および深層学習ベースの図１３のアルゴリズムに記載されているベイジアンフィルタリング追跡方法のチューニングが含まれる。さらに、図１のフローチャートに記載されている動的冠動脈ロードマッピングワークフローを使用して、幾つかの実験が記載されている。ここでは、次の４つのデータベースが使用されている。
１．カテーテルの先端検出のためのトレーニングデータセット。このデータセットは、大量のＸ線透視画像シーケンスと
Figure 2022517581000208
 としての更なる参照とにより構成されている。このデータセットは、図１２に記載されている深層ニューラルネットワークをトレーニングするために使用される。
２．カテーテルの先端検出のための検証データセット。このデータセットは、大量のＸ線透視画像シーケンスと
Figure 2022517581000209
 としての更なる参照とにより構成されている。このデータセットは、図１２に記載されているように、深層ニューラルネットワークを検証するために使用される。
３．カテーテルの先端追跡用のトレーニングデータセット。このデータセットは、図１３のアルゴリズムで記載されている、深層学習ベースのベイジアンフィルタリング追跡方法のパラメータをチューニングするために使用される。このデータセットは、ある量のＸ線透視画像シーケンスと
Figure 2022517581000210
 としての更なる参照とにより構成されている。
４．カテーテルの先端追跡用の検証データセット。このデータセットは、図１３のアルゴリズムに記載されている、チューニングされた深層学習ベースのベイジアンフィルタリング追跡方法を評価するために使用される。
画像は、異なるＸ線システムおよび異なるＸ線画像化プロトコルにより収集することができるので、画像の寸法（行の数および列の数）およびピクセルの深さ（ピクセルの強度の範囲）は様々である可能性がある。従って、データセット内の全ての画像はグリッド
Figure 2022517581000211
 にリサンプリングされ、その強度は0から
Figure 2022517581000212
 の範囲にスケーリングされる。通常、
Figure 2022517581000213
 は２５６で、
Figure 2022517581000214
 は１．０である。
このセクションで実施される全ての実験は、以下のように概説される。最初、最適な検出を取得するために深層ニューラルネットワークをトレーニングする方法が、記載される。次に、カテーテルの先端追跡のトレーニング（粒子フィルタのチューニング）が、記載される。最後に、トレーニングされたカテーテル追跡の評価が、記載される。
深層ニューラルネットワークのトレーニング
正確な尤度確率マップを提供するように深層ニューラルネットワークをトレーニングするために、データセット
Figure 2022517581000215
 および
Figure 2022517581000216
 が、使用される。両方のデータセットには、トレーニングするデータセット内の対象オブジェクトを識別するラベルが含まれている。図１１は、深層ニューラルネットワークのトレーニングで使用されるラベルの例を示す。図１１内で、１１０１は、Ｘ線透視画像フレームの例を示し、１１０２は、カテーテルセグメンテーション用のバイナリカテーテルマスク、そして1１０３は、カテーテルの先端位置の尤度推定用の２ＤガウスＰＤＦを示す。検出ネットワークのトレーニングラベル1１０３のガウスＰＤＦの標準偏差σは、データセットの次元に関連するピクセルの量に設定され、そしてこの量は、ピクセル単位の可能な最大カテーテルの先端半径の推定値に対応する必要がある。通常、データセットのサイズが２５６ｘ２５６の場合、σは４ピクセルに設定される。
データ拡張は、トレーニングサンプルの数とその多様性を高めるために実行される。拡張には、フリッピング（左右、上下）、９０度の倍数の回転、ランダムなアフィン変換（平行移動、スケーリング、回転、せん断等）、およびランダムな弾性変形の様な、ジオメトリの変換が含まれる。トレーニングされたモデルをノイズに対してロバストにするために、ジオメトリの変換に加えて、ピクセル値にガウスノイズを追加することによって、データ拡張を実行することも出来る。
トレーニングの間、２つの項（式８の
Figure 2022517581000217
 と
Figure 2022517581000218
 ）のスケールを類似させるために、トレーニング損失（式８）の
Figure 2022517581000219
 値は、通常１０に設定される。Ａｄａｍオプティマイザ（非特許文献２１）を使用して、通常０．０００１の学習率で損失関数が最小化された。バッチ内のトレーニングサンプルの数は、通常４であり、そしてネットワークは、収束を確実にするために通常１００エポックでトレーニングされる。
妥当な尤度確率マップを出力するための深層ニューラルネットワークのトレーニングは、ネットワークのハイパーパラメータをチューニングすることによって実行される。トレーニングでハイパーパラメータとモデルの重みを選択するためには、評価指標が必要である。深層ネットワークは本質的にカテーテルの先端検出器であるので、先端位置の正確な検出が望まれる。例えば、グラウンドトゥルースと、全ての検証フレームで平均化された予測チップ位置との間の平均ユークリッド距離は、最適なトレーニングエポックとネットワークハイパーパラメータを選択するための検証基準として使用することが出来る。
カテーテルの先端追跡のトレーニング
カテーテルの先端は、前のセクション「深層ニューラルネットワークのトレーニング」からの最適なハイパーパラメータ設定でトレーニングされたネットワークに基づいて、図１２に記載されているアルゴリズムを使用してＸ線透視画像で追跡される。図１２に記載されているアルゴリズムと粒子フィルタリング（図１のステップ１０７の記載内の「粒子フィルタによる事後確率の近似」のセクション）で使用されているオプティカルフロー法のパラメータは、データセット
Figure 2022517581000220
 でチューニングされる。
非特許文献２０のアプローチが、オプティカルフロー法（式１１）として使用される場合、最適なパラメータ設定を見出すためのグリッド検索は、Ｆａｍｅｂａｃｋ法の次のパラメータ：（１）ピラミッドを構築するための画像スケール、（２）ピラミッドレベルの数、（３）平均ウィンドウサイズ、（４）繰り返しの回数、（５）各ピクセルの多項式展開を見出すために使用されるピクセル近傍のサイズ、および最後に（６）標準偏差多項式展開のベースとして使用される導関数を平滑化するために使用されるガウス分布、に基づいて実行される。オプティカルフロー法は、２つのフレーム間のカテーテルの先端の運動を直接推定するので、上記パラメータは、深層ニューラルネットワークとは独立してチューニングされる。パラメータをチューニングするために、オプティカルフロー法で推定された２つの隣接するフレーム間の運動フィールドを使用して、Ｘ線透視室で追跡されたカテーテルチップが、第１のフレームのグラウンドトゥルースチップ位置から開始されて、追跡された。追跡された先端の位置とグラウンドトゥルースの間の平均および中央値の距離は、チューニングの評価基準として使用される。
粒子フィルタをチューニングするパラメータは、サンプル数
Figure 2022517581000221
 （図１３を参照）とプロセスノイズの分散
Figure 2022517581000222
 （図１のステップ１０７の記載内の「粒子フィルタによる事後確率の近似」のセクションを参照）である。これらをチューニングするとき、トレーニングされたネットワークとオプティカルフロー方法のパラメータは、固定されている。図１３のアルゴリズムに従って、第１のフレームのグラウンドトゥルース位置（確率マップ）からカテーテルの先端が追跡され、そして追跡された位置と実際の位置との間の平均距離と中央値が、検証メトリックとして使用される。
カテーテルの先端追跡の評価
図１３に記載されるアルゴリズムで提案されている追跡方法は、第１のフレームのグラウンドトゥルースチップ確率マップを初期ＰＤＦ
Figure 2022517581000223
 として使用して、サンプルを描画する。この方法は「追跡」と呼ばれる。さらに、このセクションでは３つの選択肢が記載され、そして調査される。
第１の選択肢は、図１のステップ１０７の記載内のセクション「深層学習ベースの尤度」に記載されている検出ネットワークのみを使用し、そして上記セクション「カテーテルの先端の追跡のトレーニング」に記載されている、選択されたネットワークアーキテクチャとトレーニングされたパラメータとにより、カテーテルの先端を追跡する。従って、この方法は、時間情報を使用しない。この方法は「検出（ネット）」と呼ばれる。
この実験の他の２つの方法は、オプティカルフロー法のみを使用して、第１のフレームのグラウンドトゥルースチップ位置からカテーテルチップを追跡する。これらの２つの方法で推定された、現在のフレームに向かう運動フィールドは、それぞれ、シーケンスの以前のフレームまたは第１のフレームからの変形に基づいていた。これらは「オプティカルフロー（以前）」「オプティカルフロー（第１）」と呼ばれる。
このセクションで報告された全ての方法の追跡精度は、データセット
Figure 2022517581000224
 で取得された。４つのＸ線透視シーケンスからのサンプル画像フレームでの４つの提案された方法の追跡結果が、図３６に示されている。ここで、（青）ドットは予測されたカテーテルの先端位置を示し、そして（グラウンドトゥルース内の）（赤）ドットは、グラウンドトゥルースの（ラベルが付された）位置を示す。
図３７は、図１のステップ１０７により提案された追跡方法が、図３６の同じ４つのフレーム上でどのように機能するかを示す。図３７は、検出マップ内の高い確率を明るい色で示し、サンプルまたは粒子は緑の点で表示されている。青いポイントは、予測されるカテーテルの先端の位置を示し；赤いポイントはグラウンドトゥルースの位置（ラベル）を示す。図３７は、また、以前の仮説（サンプル）が正しいターゲット位置に焦点を合わせるのに役立ち、そして特に複数のカテーテルまたは造影剤が画像に残存していることにより検出があいまいとなる場合に、信頼出来る事後推定をもたらすことを示す。
代替の実施形態では、このプロセスによって生成されるロードマップおよび動的ロードマップのセットは、図１８のフローチャートによって表される３次元（３Ｄ）ロードマップとすることが出来る。３Ｄロードマップ（３Ｄ＋t）のシーケンスと言う結果をもたらす３Ｄを使用する利点は、ａ）Ｘ線視野角、倍率、テーブルのポジションを、オフラインフェーズ（１８００）とオフラインフェーズ（１８１０）で異ならせることが出来、これにより、インターベンション手技の間、より多くの自由度を医師に与えることが可能になること、そしてｂ）非侵襲的３Ｄ画像化によって取得されたプラークタイプの様な補足情報を、３Ｄロードマップに含めることが出来ること、そしてｃ）冠動脈壁せん断応力（ＷＳＳ: wall shear stress）の計算から、または非侵襲的３Ｄ画像化から、または複数のＸ線血管造影シーケンスからの対象血管の３Ｄ再構成からの何れかから冠血流予備量比（ｃＦＦＲ）またはこれらの組み合わせの計算の様な高度な定量分析）を取得することを可能とすることであろう。次のセクションでは、図１８内のステップが、詳しく説明される。
ステップ１８０１：３Ｄ血管造影画像データから３Ｄモデルを生成する
オプションのステップであるステップ１８０１で、最初に、冠動脈ツリー（の大部分）の３Ｄモデルが生成される。これは、コンピュータ断層撮影（ＣＴ）、Ｘ線回転血管造影、３Ｄ超音波、または磁気共鳴画像（ＭＲＩ）の様な３Ｄ血管造影画像化モダリティから収集されたデータを使用して行われる。この３Ｄモデルは、例えば、３Ｄ中心線、血管の管腔表面および／または血管外表面を表す３Ｄ表面輪郭、プラーク、３Ｄマスク、またはこれらの組み合わせの形態とすることが出来る。
３Ｄ中心線は、例えば、３Ｄ容積画像データ内の血管中心線を示すことによって手動でまたは例えば、非特許文献２２が教示するように自動的に作成することが出来る。
冠動脈内腔、動脈壁、およびＣＴ血管造影画像データからの冠動脈プラークの検出は、例えば、ＣＴ血管造影画像データから冠動脈内腔、動脈壁を検出しそして冠動脈プラークを検出する方法が記載されている非特許文献２３によって教示されているように、（半）自動的に検出することが出来る。
冠動脈プラークは、例えば、特許文献４（機械学習に基づいて血管閉塞を評価するための方法およびシステム）に開示されているように、または例えば、非特許文献２４、または非特許文献２５、または非特許文献２６によって教示されているように検出することが出来る。
図１９は、３Ｄ血管造影画像データに基づく３Ｄモデルの生成の幾つかの例を示す。写真1９０１は、ＣＴに基づいて上行大動脈の一部を含む左冠動脈（ＬＣＡ: left coronary artery）と右冠動脈（ＲＣＡ: right coronary artery）の両方で抽出された冠動脈を示す。写真1９０２は、上行大動脈を除いて、1９０１に似ている。写真1９０３内には、管腔血管ツリーの一部およびＭＲＩに基づいて検出されたアテローム硬化性プラーク（1９０５）が表示され、そして1９０６は、検出された管腔境界（血管内壁;血管内腔を表す）および血管の動脈境界（外壁）を示す。図２５は、冠動脈プラークのセグメンテーションを含む、冠動脈内腔の３Ｄセグメンテーションの２つの例を提供する。これは、図１８のステップ１８０３に記載される３Ｄ血管造影画像データから、またはＸ線血管造影に基づく３Ｄ冠動脈再構成によって抽出することが出来、また、石灰化プラークは、図２８のフローチャートに記載されるＸ線画像データから抽出することが出来る。
オプションでは、３Ｄ血管造影ＣＴ画像データを使用して、例えば、冠動脈に沿った冠血流予備量比を計算する方法を開示する特許文献４によって開示されるように、冠動脈ツリーに沿ったｃＦＦＲを計算することが出来る。オプションでは、ＣＴ、回転血管造影、またはＭＲＩの何れかから抽出された３Ｄモデルを使用して、冠動脈ＷＳＳ、または例えば、非特許文献２７により教示された時間平均ＷＳＳを計算することが出来る。図２０は、ＷＳＳが管腔表面に重畳された冠血管の例を示す。図２１は、圧力と冠血流予備量比が管腔表面に重畳されている冠血管の例を示す。生成された３Ｄモデルは、ステップ１８０１内で上述した全ての要素を含むことができる。回転血管造影およびバイプレーンＸ線血管造影を除いて、データは、インターベンションの間には収集または作成することができないことは明らかである。従って、このデータは、例えば、インターベンションを開始するときにサーバ上で利用可能である必要がある。この生成された３Ｄモデルは、後に使用されるであろう。
ステップ１８０２：Ｘ線血管造影画像データを読出す
ステップ１８０２内で、Ｘ線血管造影画像データが読出され、そしてこれは図１のステップ１０１と同様である。好ましい実施形態では、血管造影画像データは、Ｘ線血管造影による対象オブジェクトの収集を表し、これは結果的にＸ線血管造影画像シーケンスになる。例えば、シーメンス社（Artis zee Biplane）またはフィリップス社（Allura Xper FD）によって製造されたものの様な、シングルプレーンまたはダブルプレーンの血管造影システムを使用することが出来る。対象オブジェクトは、例えば、心臓、冠動脈ツリーの一部、または血管であり、そして対象オブジェクトは、収集の間に造影剤によって視覚化される。好ましくは、心電図（ＥＣＧ）は血管造影画像データの一部であり、そしてＸ線血管造影の収集の間に同時に記録される。Ｘ線血管造影画像シーケンスは、対象オブジェクトが明確に視認できるように収集される。従って、臨床医が、Ｃアームに回転およびアンギュレーションを与えて、最適な投影とも呼ばれる最良の投影を取得することが出来る。
ステップ１８０３に記載される３Ｄロードマップの作成のために、Ｘ線血管造影画像シーケンスが、対象セグメントに関する出来るだけ多くの情報を含む、Ｘ線システムのアンギュレーション（システムの回転とアンギュレーションの両者）として定義される正しいパースペクティブから取得されることが、重要である。このパースペクティブで、周囲の血管の遠近短縮と重なりは、最小限に抑えられる。遠近短縮とは、特定のパースペクティブから見たときにオブジェクトが圧縮されているように見えて、情報に歪みを与えるイベントである。対象オブジェクトが最小の遠近短縮で視認されるパースペクティブは、最適パースペクティブと呼ばれる。好ましい実施形態では、ステップ１８０１に記載される３Ｄ血管造影画像データモダリティから取得される３Ｄモデルは、周囲の血管の遠近短縮および重なりに関してユーザに最適なパースペクティブを提案するために使用される。Ｘ線システムに対するこの３Ｄモデルの方位は、既知である。最小の遠近短縮に関する最適な透視は、３Ｄモデルまたはそのセクションの方位に垂直であるパースペクティブとして決定される。このモデルは、全てが垂直である様々な角度から視認可能であるので、様々な数の最適なパースペクティブが可能である。
しかしながら、最適なパースペクティブは、遠近短縮を最小に抑えることのみならず、周囲の血管の重なりにも依存している。従って、この重なりの測定も考慮される。心臓自体の運動または呼吸運動の何れかの運動により、周囲の血管が特定の瞬間に対象セグメントと重なり合う可能性があるので、周囲の血管の重なりは、１つまたは複数の心位相に対してあり得る。
ステップ１８０１の結果として抽出された３Ｄモデルは、非特許文献２８によって教示されるように、特定のパースペクティブを表す２Ｄ平面に逆投影される。３Ｄモデルの対象血管内にある全てのポイントには、特定の値が割り当てられる。３Ｄポイントごとに、その値が逆投影画像の対応する２Ｄポイントに追加される。値を含む２Ｄポイントの最大量を持つ平面が、重なりが最小であるとの観点から最も望ましいパースペクティブである。
加えて、パースペクティブは、面内冠動脈運動が最小であると言う観点で示すことも出来る。このパースペクティブは、パースペクティブでの面内冠動脈運動の量が最も少ない対象血管を示す。これにより、臨床医は、対象血管を可能な限り静止している位置で視認することが可能になる。パースペクティブ毎の面内冠動脈運動の量の測定値は、例えば、非特許文献２８で教示されているように、ＣＴデータから抽出された３Ｄモデルを、特定のパースペクティブを表す２Ｄ平面に逆投影することによって決定することが出来る。３Ｄモデルの各血管の全ての中心線ポイント毎に、位置は既知である。次で、ＣＴデータから抽出された３Ｄモデルは、異なる時点で３Ｄモデルを生成するために、非特許文献２９により教示されるモデルを使用して、変形させることが出来る。次いで、この変形された３Ｄモデルは、特定のパースペクティブを表す２Ｄ平面にも逆投影される。ここでも、各中心線ポイントのポジションは既知であるが、現在は異なる時点である。中心線ポイント毎に、面内冠動脈運動は、両方の逆投影における各中心線ポイントのポジションを比較することによって、決定することが出来る。全ての中心線ポイントに対して面内の動きが最小である平面が、最小の面内冠動脈運動の観点から最も望ましいパースペクティブである。これは、1つまたは複数の心位相に対して実行することが出来る。
次で、アンギュレーションと回転の全ての組み合わせ毎（従って、各パースペクティブ）に、結果として得られるパースペクティブが最適である程度を示すことが出来る。この表示は、例えば、遠近短縮、周囲の血管の重なり、および／または少なくとも１つの心位相の面内冠動脈運動の加重和である。複数の心位相が考慮される場合、計算は、フレーム毎の時点毎に実行される。次で、複数の心位相内の全てのフレームの加重和が作成され、パースペクティブがどの程度最適であるかが全体的に示される。これは、例えば、図２２に示すカラーマップを使用して視覚化させることが出来る。図２２aは、1つの心位相の、周囲の血管の遠近短縮、重なり、および面内冠動脈運動に関するカラーマップを示すが、図２２bは、複数の心位相を含む、遠近短縮、周囲の血管の重なり、および面内冠動脈運動に関する灰色スケールマップを示す。このマップは、明らかに、カラーマップとして表示することも出来る。この結果を使用して、ユーザは、Ｘ線血管造影画像シーケンスを収集することが出来るパースペクティブを選択することが出来る。好ましい実施形態では、２つのＸ線血管造影画像シーケンスが収集される。しかしながら、３Ｄモデルが利用可能な場合、少なくとも1つのＸ線血管造影画像シーケンスが必要である。
３Ｄモデルが利用できない場合、２つのＸ線血管造影画像シーケンスが必要である。第１のＸ線血管造影画像シーケンスは、図１のステップ１０１に記載したものと同様であり、そして対象オブジェクトを表示するために、医師が最適な投影を選択したことが想定されている。第２の投影は、第１の投影を収集すると同時に収集することが出来、そしてこれは、バイプレーンＸ線血管造影システムを使用して行うことが出来る。これ以外の場合、第２の投影はシングルプレーンＸ線システムにより収集することが出来る。第２の投影は、第１の投影の後に収集される。第１の投影に対する最適な第２の投影の選択について、ユーザはサポートを受けることが出来る。投影マップは、第１の投影（２３０１）および第１の投影における対象オブジェクトの方位（２３０２）に基づいて生成させることが出来る（図２３の２３０３）。この方法は、特許文献５に詳しく記載されている。
ステップ１８０３：３Ｄロードマップを作成する
このステップ内で、３Ｄロードマップ（３Ｄ＋ｔ）のシーケンスが作成され、そしてこれは図１のステップ１０３と同様である。このステップ（１８０３）は、少なくとも１つの心周期の複数のフェーズをカバーする冠動脈の３Ｄロードマップの生成をもたらす。冠動脈の３Ｄロードマップは、例えば、血管モデルとすることが出来る。血管モデルは、中心線、輪郭、マスク等の形態を取るかもしれない。この次に、この血管モデルは、例えば、血管閉塞の位置と割合、血管の直径と面積、長さ、圧力、血流速度、冠血流予備量比、壁せん断応力、血管の湾曲、冠動脈プラークの位置と量と種類、または石灰化プラークの位置と量の様な、臨床関連情報を含むかもしれない。図１のフローチャートで使用される２Ｄロードマップとは対照的に、現在のワークフローでは３Ｄロードマップが使用される。２Ｄロードマップが、２Ｄロードマップの生成に使用されるＸ線画像の座標系内で定義されるので、３Ｄロードマップは、３Ｄワールド座標系で定義され、従って、任意のＸ線ジオメトリが可能になる。３Ｄロードマップは、造影剤注入後の1心周期内のフレームから作成される。従って、完全な心周期は、造影剤が冠動脈に入ったフレームの後のＸ線血管造影画像シーケンス内で選択される。造影剤が冠動脈に入ったＸ線血管造影画像シーケンス内のフレームは、図５のステップ５０１によって前述された方法によって定義することが出来る。ステップ１８０３内で、３Ｄ＋ｔロードマップは、３つの異なる方法によって生成させることが出来、そしてこの方法は、主に、ステップ１８０１および１８０２からの利用可能なデータに依存する。
ステップ１８０１が実行されない場合、３Ｄ＋ｔロードマップを作成するための第１の方法（１８０３ａ）が適用可能であり、そして３Ｄ＋ｔロードマップは、ステップ１８０２の結果から得られる２つのＸ線血管造影画像シーケンスを処理することによって作成される。造影剤注入後の1心周期内の全てのフレームの３Ｄ＋tロードマップは、例えば、非特許文献３０、または非特許文献３１が教示する方法によって生成させることが出来る。このステップの結果として得られる単一の３Ｄロードマップフレームの例は、図２４の２４０２によって提供される。Ｘ線血管造影画像シーケンスがバイプレーンシステムにより収集される場合、３Ｄ＋tロードマップの時間分解能は、正面および側面の画像化ソースにより収集された各フレーム間の遅延を使用することにより改善させることが出来る。
３Ｄモデルが、ステップ１８０１の結果として利用可能であり、そして１つのＸ線血管造影画像シーケンスが、ステップ１８０２の結果として利用可能である場合に、３Ｄ＋ｔロードマップを作成するための第２の方法（１８０３ｂ）が、例えば、非特許文献３２によって教示されている方法に基づいて適用可能となる。この研究の中で、非特許文献３２は、４Ｄ－ＣＴデータセットから、母集団ベースの平均および予測運動を構築する方法を提案した。これは、次いで、1つの心周期での距離最小化に基づいて３Ｄ＋t／２Ｄ＋t登録を実行するために使用される。このステップの結果としての単一の３Ｄロードマップフレームの例は、図２４の２４０８によって提供される。
３Ｄモデルがステップ１８０１の結果として利用可能であり、そして２つのＸ線血管造影画像シーケンスがステップ１８０２の結果として利用可能である場合、３Ｄ＋ｔロードマップを作成するための第３の方法（１８０３ｃ）が、利用可能となる。この方法では、ステップ１８０１の結果から得られた３Ｄモデルと、ステップ１８０２の結果としてのＸ線血管造影画像データに基づく３Ｄ再構成の両方が、組み合わされて、３Ｄ＋ｔロードマップが作成される。これは、例えば、オブジェクトの２つ以上の二次元Ｘ線画像から、オブジェクトの経時的な３次元表面再構成を行う方法を記載している特許文献６「３Ｄ ＋時間再構成を改善するための方法および装置」に記載されている方法によって、達成することが出来る。これに代えて、３Ｄ＋tロードマップは、例えば、非特許文献３３によって教示されているまたは非特許文献３４によって教示されているように作成することも出来る。このステップの結果としての単一の３Ｄロードマップフレームの例は、図２４の２４１０によって提供される。
オプションでは、生成されたロードマップに基づいて、定量的画像分析を実行して、例えば、非特許文献３５または非特許文献１３が教示するように、血管閉塞の位置およびパーセンテージ、直径および面積、血管の長さまたは血管の曲率の様な臨床関連情報を抽出することが出来る。
オプションでは、生成されたロードマップは、例えば、Ｘ線血管造影により取得された３Ｄ冠動脈再構成に基づいて冠動脈に沿って冠血流予備量比を計算する方法を開示する特許文献７によって開示されるように、冠動脈ツリーに沿ったｃＦＦＲの計算に使用することが出来る。３Ｄ＋tモデルは、全ての時点のｃＦＦＲの計算を可能にし、そして心周期中の血管ツリー部分のジオメトリの変化と心周期中の血行力学的変化を考慮に入れる。オプションでは、生成されたロードマップは、冠動脈ＷＳＳ、または例えば、非特許文献２７によって教示されている時間平均ＷＳＳの計算に使用することが出来る。時間平均ＷＳＳは、３Ｄ＋tモデル内の全ての時点
Figure 2022517581000225
 のＷＳＳを計算することによって、導出することも出来る。図２０は、ＷＳＳが管腔表面に重畳されている冠血管の例を示す。図２１は、圧力と冠血流予備量比が管腔表面に重畳されている冠血管の例を示す。
オプションでは、石灰化プラークの位置および量は、例えば、本出願内でさらに図２８のフローチャートの記載によって詳細に開示されるように、Ｘ線血管造影画像シーケンスから抽出することが出来る。
ステップ１８０４：Ｘ線血管造影画像データ内のデバイスを取得する
ステップ１８０４内で、オンラインフェーズ（１８１０）の一部としての、ライブ重ね合わせ（１８０９）の間の（ステップ１８０３の結果としての）３Ｄ＋ｔロードマップの位置合わせ（ステップ１８０８）を可能にするための情報が、取得され、そしてステップ１８０４は図１のステップ１０２に類似している。ステップ１０２に記載されるように、起こり得る患者の運動を含む呼吸の運動は、Ｘ線血管造影画像シーケンス内の参照ポイントを識別することによって補償される。（画像シーケンス内の視認可能なデバイスによって表される）参照ポイントは、オンラインフェーズ（１８１０）の間に、対象オブジェクトまたはロードマップの変換に使用されるであろう。参照ポイントは、例えば、カテーテルの先端、ピースメーカまたは解剖学的ランドマーク、これに代えてその運動が呼吸の運動および起こり得る患者の運動に相関させることが出来る他の任意のオブジェクトとすることが出来る。このような参照ポイントは、Ｘ線血管造影画像シーケンスの全てのフレームで取得することが出来る。
ステップ１８０１が実行されない場合、このステップ（１８０４）は、図５に記載されるステップ５０１、５０２、および５０３と同一であり、そしてステップ１８０２の結果として両方のＸ線血管造影画像シーケンスに適用することが出来る。オプションでは、カテーテルの先端は、例えば、特許文献３６によって教示されているように、３Ｄで再構成される。次に、取得されたデバイス位置（例、カテーテルの先端）は、ステップ１８０３に記載される方法１８０３ａによって作成される３Ｄ＋ｔロードマップに統合される。オプションでは、デバイス（例、カテーテル）は、３Ｄで再構成され、そして３Ｄ＋ｔロードマップに統合される。３Ｄ＋tロードマップが、造影剤開始後
Figure 2022517581000226
 の少なくとも1心周期内に作成され、そしてデバイスの位置が、造影剤開始前
Figure 2022517581000227
 の少なくとも1心周期内に抽出されることが望ましいので、時間的位置合わせが必要となる。これは、ＥＣＧ信号を使用して確立することが出来る。Ｘ線血管造影画像シーケンスが、対応するＥＣＧ信号を有しない場合、抽出された心臓情報が、ステップ５０２の結果として使用される。このサブステップの結果としての単一の３Ｄロードマップフレームの例が、図２４の２４０１によって提供されている。ここで、２４０２は、ステップ１８０３ａの結果としての単一の３Ｄロードマップであり、そして２４０３は、上述したように３Ｄロードマップモデルに統合されたカテーテルおよびカテーテルの先端（２４０４）の３Ｄ再構成を示す。
３Ｄ＋ｔロードマップが方法１８０３ｂによって作成される場合、ステップ５０１、５０２、および５０３が単一のＸ線血管造影画像シーケンスに適用され、そしてデバイスの３Ｄ再構成は実行されない。しかしながら、ステップ５０３からの結果としてのデバイス位置は、方法１８０３ｂによって作成された３Ｄ＋ｔロードマップに統合される。このサブステップの結果としての単一の３Ｄロードマップフレームの例は、図２４の２４０５によって提供される。ここで、２４０８は、ステップ１８０３ｂの結果としての単一の３Ｄロードマップを表し、そして２４０７は、前述した３Ｄロードマップモデルに統合されたカテーテルの先端（２４０７）を表す。
ステップ１８０３に記載されるように３Ｄ＋ｔロードマップが方法１８０３ｃによって作成され、そしてステップ１８０２の結果として少なくとも２つのＸ線血管造影画像シーケンスが利用可能である場合、前述の方法も同様に適用可能である。このサブステップの結果としての単一の３Ｄロードマップフレームの例は、図２４の２４０９によって提供される。ここで、２４１０は、ステップ１８０３ｃの結果としての単一の３Ｄロードマップを表し、そして２４１１は、前述した３Ｄロードマップモデルに統合されたカテーテルとカテーテルチップ（２４１２）の３Ｄ再構成を示す。
ステップ１８０５：透視画像データを読出す
このステップは、ステップ１８０５において、任意のＸ線のアンギュレーションおよび回転、任意のＸ線倍率、任意のテーブル位置等の様な任意のＸ線システムのジオメトリが可能になり、そしてＸ線透視画像データが、シングルプレーンまたはバイプレーン収集の何れかから取得することができることを除いて、図１のステップ１０４と同じである。オプションでは、Ｘ線透視画像データは、バイプレーン収集で取得することが出来る。
オプションでは、図１８のフローチャート内でＸ線システムの任意のジオメトリが可能となるので、医師が最適なＸ線透視投影を選択するのをサポートするガイダンスマップが視覚化される。ステップ１８０２内に記載されているものと同様であり、そして特許文献８に完全に記載されている方法に基づいて、最適なＸ線透視投影が、Ｘ線の視野方向がデバイス（例、カテーテル）に垂直である投影として定義される。このデバイス情報は、ステップ１８０４の結果に基づいて取得される。さらに、このような最適な投影は、デバイスの遠近短縮量の重み付けを含むことができ、遠近短縮が少ないほど、投影は良好である。
ステップ１８０６：３Ｄロードマップを選択する
このステップは、ロードマップの選択がＥＣＧマッチングに基づいている図１のステップ１０５と同じである。ＥＣＧ信号は、オンライン透視画像（図１８の１８０５を参照）およびオフライン血管造影シーケンスのＥＣＧ（図１８の１８０２を参照）に関連付けられている。これにより、ＥＣＧ信号との最適なマッチングが見出される、最適な候補ロードマップが選択される。
これに代えて、Ｘ線透視画像データがバイプレーン収集で取得される場合、両方の投影からの画像は、わずかな時間遅延で互いに短時間で収集することが出来、これにより高い分解能が得られる。この高い時間分解能により、より正確なロードマップの選択が行われる。
ステップ１８０７：デバイスを追跡する
このステップは、オンライン透視画像データ内のデバイスが、例えば、深層学習ベースのベイジアンフィルタリング法を使用して追跡される図１のステップ１０６と同じである。
これに代えて、Ｘ線透視データがバイプレーン収集により取得される場合、デバイスの追跡は、図１のステップ１０６に記載された技術に従って、両方のＸ線透視画像投影において別々に実行することが出来る。これは、両方のバイプレーン投影においてステップ１８０４で取得されたデバイス位置に関してデバイスの２つの並進をもたらす。さらに、カテーテルの先端は、例えば、特許文献３６によって教示されているように、３Ｄで再構成させ、そして次のステップで３Ｄロードマップを変換するために使用することが出来る。
ステップ１８０８：選択した３Ｄロードマップを変換して動的２Ｄロードマップを生成する
このステップは、参照ポイントが、Ｘ線血管造影画像シーケンス（オフラインフェーズ）から取得されて生成されたロードマップとＸ線透視画像ストリーム（オンラインフェーズ）との間の運動を補償するために使用される、図１のステップ１０７と同様である。ステップ１８０８内では、ａ）ロードマップが３Ｄロードマップであり、そしてｂ）デバイスが、ステップ１０７の場合のような２Ｄ位置に加えて、３Ｄ位置または３Ｄとすることが出来る点を除いて、ステップ１０７に記載したものと同じ目標が取得される。
ステップ１８０８内で、ステップ１８０７の結果としての現在のＸ線透視フレーム内のデバイスの位置、およびステップ１８０４の結果として選択された３Ｄロードマップフレームからのデバイス位置（例、カテーテルの先端）は、選択したロードマップを現在のＸ線透視画像フレームに位置合わせするための変換関数を取得するために使用される。実施形態では、この変換関数は、現在のフレームと、選択されたロードマップフレーム内のカテーテルの先端との間のカテーテルの先端から取得される変位に基づく剛体変換とすることが出来る。代替の変換関数は、非剛体変換である。
例えば、ロードマップの剛体変換は、剛体変換関数を使用して実行することが出来る。元の３Ｄロードマップを（ステップ１８０６の結果としての）関数
Figure 2022517581000228
 および変換関数
Figure 2022517581000229
 として考察すると、変換関数は、
Figure 2022517581000230
 とすることが出来る。ここで、
Figure 2022517581000231
 は変換された３Ｄロードマップである。変換関数
Figure 2022517581000232
 は、例えば、変位関数、回転関数、スケーリング関数等とすることが出来る。任意のＸ線システムのジオメトリが、ステップ１８０５によるＸ線透視フレームの取得の間、可能であるので、変換関数は考慮に入れることが出来る。ステップ１８０５によるＸ線透視フレームの取得中、任意のＸ線システムのジオメトリが可能となるので、変換関数は、Ｘ線のアンギュレーション、倍率、およびテーブルの運動を考慮に入れることが出来、そして現在のＸ線透視画像フレームの画像化プレーンを表す２Ｄロードマップを作成することが出来る。例えば、ロードマップが、血管モデルを中心線または等高線として表す場合、前述の変換は、中心線または等高線の各３次元座標
Figure 2022517581000233
 に適用することが出来る。ロードマップが血管モデルを画像マスクとして表す場合、前述の変換は、容積画像マスクの（３次元座標
Figure 2022517581000234
 にマップされる）ボクセルに対して実行することが出来る。
これに代えて、Ｘ線透視データがバイプレーン収集で取得される場合、デバイスの追跡は、両方のＸ線透視画像投影において実行することが出来る。この場合、前述の変換は、透視投影ごとに実行することが出来、そして２つの２Ｄ動的ロードマップが作成される。
ステップ１８０９：透視画像データに動的ロードマップを重ね合わせる
このステップは、図１のステップ１０８と類似していて、変換されたロードマップがレンダリングされて、それぞれのライブ透視画像フレームに重ね合わせられる、変換されたロードマップの視覚表現を生成する。Ｘ線透視データがバイプレーン収集で取得される場合、２つの２Ｄ動的ロードマップの視覚表現は、レンダリングさせ、そしてそれぞれのライブ透視投影に重ね合わせることが出来る。
実施形態では、ステップ１８０９は、患者のライブ画像ストリーム／シーケンス内の現在のライブ画像の視点に従って、ステップ１８０８から得られる変換されたモデルをレンダリングすることによって達成することが出来る。対象器官（例、冠動脈ツリー）に対応するモデルのレンダリングのピクセルには、赤から白までの色値の範囲の様な、事前定義された範囲の色値を割り当てることが出来る。モデルの色付けに加えて、レンダリングされたモデルの透明度も適用することが出来る。モデルの透明性は、Ｘ線透視画像が視認可能である２重のビューを提供する。
動的ロードマップ重ね合わせへのモデルのマッピングは、ピクセル強度をカラー値に変換することによって実行することが出来る。ここで、カラースキームは、ステップ１８０４内に記載される定量的パラメータを表す。
加えて、複数の重ね合わせが、レンダリングされ、そしてライブＸ線透視または血管造影画像ストリーム上の重ね合わせとして統合される。重ね合わせは、３Ｄロードマップそしてこのロードマップに加えて、例えば、３Ｄ容積データまたは定量的パラメータで存在することが出来る。この３Ｄ容積データは、３Ｄロードマップと同じ方法で、投影（視野角）に基づいて現在のＸ線透視画像フレームに逆投影する必要がある。
明らかに、ステップ１８０８および１８０９は、わずかに異なる順序で実行されるかもしれない。ステップ１８０８では、ステップ１８０８および１８０７からの情報に基づいて３Ｄ変換されたロードマップが得られ、そしてステップ１８０９が、逆投影の間、現在のＸ線透視アンギュレーション、倍率、およびテーブルの動きを処理するステップ１８０９において、この変換された３Ｄロードマップが、現在のＸ線透視画像フレームに逆投影される。
ステップ１８０９の後、この方法は、ステップ１８０５に続き、次のＸ線透視画像フレームを処理し、ステップ１８０５に記載されるように、Ｘ線透視画像データの読出しが停止した場合、フローチャートは、図１８に記載した内容を終了させる。
代替の実施形態では、差分処理が、対象オブジェクトの識別および処理を改善するための画像強調技術として、使用される。画像強調は、対象オブジェクトの識別を改善するための便利なツールである。画像強調の例は、差分処理であり、静的オブジェクトとバックグラウンドが、この画像からベースライン画像を差分処理することにより、対象画像から削除される。
図１５は、対象オブジェクトの識別および処理を改善するための画像強調技術として差分処理が使用されている、図１のワークフローと同様のワークフローを示している。オフラインフェーズ１５００およびオンラインフェーズ１５１２が存在する。追加のベースライン画像データセットのみが読出され、画像強調は、例えば、差分処理によって実行される。
先ず、図１の１０１と同一のＥＣＧを含むＸ線血管造影画像データが、読出される１５０１。次に、１５０１におけるものと同一の投影（視野角）を有しそしてカテーテルが小孔から引き戻される、ＥＣＧを含むＸ線透視画像データ（１５０２）が、取得される。１５０２のＸ線透視画像データは、1つの完全な心周期を含むべきでありそしてこの画像データは、バックグラウンドと静止オブジェクトのみが視認可能である、ベースライン画像シーケンスである。
次に、ステップ１５０３において、１５０２のＸ線透視画像データの１つの心周期全体が、選択される。１５０１のＸ線血管造影画像データの全てのフレームに対して、１５０２のベースライン画像フレームが、ＥＣＧマッチングに基づいて選択される。ＥＣＧマッチングは、図１の１０５に記載されているように実行することが出来る。Ｘ線血管造影画像データとベースライン画像データをマッチングさせた後に、Ｘ線血管造影画像データ（図１６の１６０１を参照）に、ベースライン画像データが差分処理され（図１６の１６０２を参照）、画像が強調される（図１６の１６０３を参照）。この強調された画像では、動的オブジェクトが明確に視認できるようになる。さらに、エッジ強調の様な画像処理技術を適用して、対象オブジェクトの輪郭を改善することも出来る。
１５０３から得られた強調画像は、ステップ１５０４でデバイス位置を取得するために使用される。ステップ１５０４は、図１のステップ１０２と同一である。次に、ロードマップが、図１のステップ１０３と同一のステップ１５０５で作成される。
オンラインフェーズ１５１２において、１５０１および１５０２と同じ投影（視野角）を有する１０４と同一のＥＣＧを含む透視画像データが、読出される１５０６。次に、ステップ１５０７において、画像強調が１５０６のＸ線透視画像に適用され、そしてステップ１５０３と同じプロセスが、実行される。これには、Ｘ線透視画像データ１５０６とベースラインデータ１５０２のＥＣＧマッチングが含まれる。Ｘ線透視画像データ１５０６とマッチングされたベースラインデータ１５０２との差分処理により、強調されたＸ線透視画像データが、得られる。さらに、エッジ強調の様な画像処理技術を適用して、対象オブジェクトの輪郭を改善することも出来る。
続いて、ステップ１５０８において、ロードマップ選択が、図１のステップ１０５と同じように行われる。ステップ１５０７からの強調されたＸ線透視画像ステップは、ステップ１５０９においてデバイスを追跡するために使用される。次に、ステップ１５１０において、ステップ１５０８で選択されたロードマップが、図１のステップ１０７と同じように変換される。最後に、ステップ１５１１において、ロードマップが、１５０６で読出されたＸ線透視画像データ上の重ね合わせとして提示される。ステップ１５１１の後、この方法は、ステップ１５０６に戻り、次のＸ線透視画像フレームを処理し、そしてステップ１５０６に記載されるＸ線透視画像データの読出しが停止すると、図１５に記載されるフローチャートが終了する。
代替の実施形態では、動的ロードマッピングのオンラインフェーズは、Ｘ線血管造影画像ストリームによって再開させることが出来、そして図２６のフローチャートによって表される。このようなＸ線血管造影画像ストリームは、医師が限られた量の造影剤を注入する、ロードマップが再位置合わせされた後のライブＸ線透視画像収集の間に、取得される。
図２６のフローチャートは、図１のフローチャート（２Ｄロードマップ）または図１８のフローチャート（３Ｄロードマップ）の何れかの代替方法である。この代替実施形態の利点は、ａ）オンラインフェーズの間にテーブルを動かすことが可能であり、ｂ）（ライブ）手技の間に導入された追加のデバイスを、追跡フェーズの間の再位置合わせに使用することが出来、ｃ）ライブＸ線透視画像に投影されたロードマップの位置合わせが誤っている場合、それが医師に通知されることである。次のセクションでは、図２６のステップを詳しく説明する。
ステップ２６０１：オフラインフェーズ
ステップ２６０１内で、ロードマップのシーケンスが作成され、そしてこのロードマップのシーケンスが２Ｄロードマップを表す場合、ステップは、図１のステップ１０１、１０２、および１０３によって表されるオフラインフェーズ（１００）と同一である。３Ｄロードマップが作成される場合、ステップ２６０１は、図１８のステップ１８０１、１８０２、１８０３、および１８０４で表されるオフラインフェーズ（１８００）と同一である。
ステップ２６０２：Ｘ線血管造影を開始する
このステップ内で、ロードマップは、現在の状況に再位置合わせされる。現在の状況という用語は、オンラインフェーズ（２６１０）の間の真のライブステータスを意味する。このような再位置合わせは、例えば、オンラインフェーズ（２６１０）の間にテーブルを動かした後、またはロードマップの現在の状況からの位置合わせが誤っている可能性がある他の状況で、またはオンラインフェーズの間に追加のデバイスが導入されてより多くの正確な位置合わせが可能となる場合に、役立つ。このステップは、システムがステップ２６０１からオンラインフェーズ（２６１０）に初めて移行する場合には、省略することが出来る。ステップ２６０２は、造影剤ボーラス注入が開始された後、Ｘ線システムまたは別の外部システムによってトリガされた信号から開始することができる。これに代えて、造影剤ボーラス注入は、例えば、非特許文献３によって教示されているように、または図５のステップ５０１により記載されているように、Ｘ線透視画像ストリーム（２６０３）を分析することによって自動的に検出される。
２６０２内の第１のサブステップは、Ｘ線血管造影画像ストリームの読出しであり、これは、シングルプレーンまたはダブルプレーン収集の何れかから取得することが出来る。ある量のＸ線血管造影画像フレームが利用可能になる（好ましくは、少なくとも1つの心周期をカバーする量のフレームが利用可能になる）と、ロードマップは、現在の状況に再位置合わせされる。Ｘ線血管造影画像ストリームと同時に、ＥＣＧ信号も取得される。
オフラインフェーズが２Ｄロードマップを表す場合、２６０２内の第２のサブステップは、２Ｄロードマップシーケンスの更新（再作成、または再位置合わせ）を扱い、そして図１のステップ１０２および１０３と同一である。オフラインフェーズが３Ｄロードマップを表す場合、２６０２内の第２のサブステップは、３Ｄロードマップシーケンスの再作成であり、そして図１８のステップ１８０３および１８０４と同一である。図２７は、３Ｄロードマップの場合の再位置合わせステップ２６０２を図示する。写真２７０１は、２６０２の第１のサブステップで取得されたＸ線血管造影バイプレーンに逆投影されたロードマップ（２６０８）を示す。２７０１内では、説明のために極端に変位している不位置合わせが視認可能である。写真２７０２は、バイプレーン画像の２Ｄ血管系を抽出した結果を示す。これは、図１８のステップ１８０３および１８０４に記載されている３Ｄモデルを作成するために使用されるであろう。２７０３は、位置合わせが成された逆投影ロードマップを示す。
これに代えて、画像データが、異なる投影を有する複数のシングルプレーン画像の収集からまたはオフラインフェーズでのバイプレーン収集から読出される場合、デバイスの位置は、個々の画像データ投影ごとに、図１のステップ１０２または図１８の１８０４に従って決定することが出来る。加えて、画像データの投影情報に基づいて、全ての個別の投影におけるデバイスの個々の位置に対して、３Ｄデバイスの位置を決定することが出来る。
ステップ２６０３：Ｘ線透視画像データを読出す
ステップ２６０１内で、Ｘ線透視画像データが読出され、そしてこのステップは、図１のステップ１０４と同一である。オフラインフェーズが３Ｄロードマップ（ステップ２６０１）を表す場合、任意のＸ線のアンギュレーションと回転、任意のＸ線倍率、任意のテーブル位置のような任意のＸ線システムのジオメトリが、可能でありそしてＸ線透視画像データは、シングルプレーンまたはバイプレーン収集から取得することが出来る。さらに、図１８のステップ１８０５に記載されるように、医師が最適なＸ線透視投影を選択することをサポートするガイダンスマップは、視覚化することが出来る。
ステップ２６０４：ロードマップを選択する
ステップ２６０４内で、ステップ２６０１の結果として、または更新されている場合には、ステップ２０６の結果として、現在のロードマップが、ロードマップのシーケンスから選択される。オフラインフェーズが２Ｄロードマップを表す場合、このステップは、図１のステップ１０５と同一である。オフラインフェーズが３Ｄロードマップを表す場合、このステップは、図１８のステップ１８０６と同一である。
これに代えて、Ｘ線透視データは、バイプレーン収集で取得される。バイプレーンシステムでは、両方の投影からの画像がわずかな時間遅延で次々に収集されるので、高い時間分解能が得られる。この高い時間分解能により、より正確なロードマップの選択が行われる。
ステップ２６０５：デバイスを追跡する
ステップ２６０５において、デバイスが、ライブＸ線透視画像ストリーム内で追跡される。オフラインフェーズが２Ｄロードマップを表す場合、このステップは図１のステップ１０６と同一であり、オフラインフェーズが３Ｄロードマップを表す場合、このステップは図１８のステップ１８０７と同一である。
これに代えて、Ｘ線透視データは、バイプレーン収集で取得することが出来る。この場合、デバイスの追跡は、図１のステップ１０６に記載された技術に従って、両方のＸ線透視画像投影において別々に実行することが出来る。これは、両方のバイプレーン投影でステップ２６０１で取得されたデバイス位置に関して、デバイスの２つの平行移動があると言う結果をもたらす。
次に、デバイス位置は、例えば、非特許文献３５によって教示されているように、バイプレーン収集からの両方の投影に基づいて３Ｄ位置として決定することが出来る。これにより、デバイスの３Ｄ追跡が可能になる。
ステップ２６０６：選択したロードマップを変換して動的ロードマップを生成する
ステップ２６０６において、選択されたロードマップは、現在のライブＸ線透視画像フレームに対する動的ロードマップを作成するために、変換される。オフラインフェーズが２Ｄロードマップを表す場合、このステップは図１のステップ１０７と同じである。オフラインフェーズが３Ｄロードマップを表す場合、このステップは図１８のステップ１８０８と同じである。
これに代えて、Ｘ線透視データは、バイプレーン収集で取得することが出来る。この場合、ステップ２６０５で２つの平行移動が取得される。これらの２つの平行移動と、両方の画像投影の３Ｄ方位により、選択したロードマップの３Ｄ変換が結果的に得られる。
ステップ２６０７：Ｘ線透視画像データに動的ロードマップを重ね合わせる
オフラインフェーズが２Ｄロードマップを生成する場合、このステップは、図１のステップ１０７と同一である。オフラインフェーズが３Ｄロードマップを生成する場合、このステップは、図１８のステップ１８０８と同一である。オプションとして、Ｘ線画像データにロードマップを視覚化する方法は、変更させることができる。ステップ２６０２で造影剤が投与された結果として、造影剤が血管系にある限り（これは、造影剤注入の量および持続時間に依存し、そして平均して約５心周期である）、血管構造は強調されるであろう。血管構造および投影された重ね合わせの視認を可能にするために、重ね合わせは、図３４ｂの３４０１によって示されるように、透明モードでＸ線画像データに投影することができる。透明度の程度は明らかに調整することが出来る。図３４ｂ内で、３４０２は、重ね合わせが対象血管構造を覆い隠すことなく投影されている別の例を提供する。これは、ロードマップ画像の外側の境界線のみを表示することにより実現される。これは、最初にロードマップを事前定義された量だけ膨張させ、次に膨張させたロードマップの境界を抽出することによって生成させることができる。明らかに、これは、透明度の程度を調整することが出来る透過モードとすることも出来る。
ステップ２６０８：ドリフトを検出する
ステップ２６０８の間に、システムは、ロードマップの再位置合わせが必要であるか否かを検出する。例えば、Ｘ線システムは、オンラインフェーズ（２６１０）の間または造影剤投与が開始された後にテーブルが調整された場合、信号をトリガする。オプションでは、ステップ２６０８内で、ロードマップの不位置合わせは、Ｘ線透視画像ストリームの画像処理、例えば、現在の画像フレームと前の心周期の同じ心周期での画像フレームとの比較によって検出することが出来る。両方の画像間の比較は、例えば、画像登録、相互相関、または（最小）差によって実行することが出来る。画像登録を適用する場合、画像登録から生じる変位は、両方の画像間の変動の尺度であり、そしてドリフトを検出するためのしきい値を定義することが出来る。相互相関の場合、相互相関値は、両方の画像間の類似性を表し、そして例えば、ドリフトを検出するためにしきい値を定義することが出来る。これに代えて、一方の画像が他方の画像に対してシフトされ、そして両方の画像間の相互相関が複数のシフトに対して計算される。次に、最大相互相関値は、画像の特定のシフトに対応するかもしれない。シフトの大きさはドリフトの大きさである。両方の画像に差がある場合、差の値はドリフトの尺度である。ドリフト検出用にしきい値が定義されているかもしれない。これに代えて、一方の画像は、他方の画像に対してシフトされ、そして両方の差が、計算された画像である。最小差は、複数のシフトに対して計算することが出来、そして最小差に対応するシフトは、ドリフトの尺度である。
ドリフト検出のための別の方法は、ＥＣＧ信号の評価である。ＥＣＧは周期的な信号である。例えば、不整脈の場合、心拍は、不規則でそして異常な心臓の運動の原因となり、そしてＥＣＧ信号は、正常な周期から逸脱する。ＥＣＧ信号の偏差は、ロードマップの選択を妨げる可能性があり、これが、ロードマップの誤った重ね合わせの原因となる可能性がある。従って、ＥＣＧ信号の評価はドリフトの検出に役立つ。
規則的な呼吸の間、横隔膜は収縮し、これは、いわゆる正常呼吸と呼ばれる。例えば、患者がしゃっくりを起こしている場合、横隔膜の運動は不規則であり、従って、対象オブジェクトの運動も不規則であるかもしれない。横隔膜の収縮は、Ｘ線血管造影画像で視認出来るかもしれない。Ｘ線画像シーケンスで横隔膜を追跡することは、不規則な呼吸とドリフト補正の必要性を検出するのに役立つ。横隔膜の運動の追跡は、例えば、非特許文献３７によって教示されているように実行することが出来る。従って、横隔膜の収縮（運動）の評価は、ドリフトを検出するのに役立つ。
ステップ２６１０が、不位置合わせが存在することを示すと、ステップ２６０２が開始され、そうでない場合には、システムはステップ２６０３に戻る。ステップ２６０３に記載されるＸ線透視画像データの読込みが停止すると、図２６は終了する。
石灰化プラークは放射線不透過性であるが、この存在は、単一のＸ線画像フレームでは認識することはできず、そしてＸ線画像のシーケンスを評価するときにほとんど視認できない。図２８は、Ｘ線画像データによって石灰化プラークの位置および量を抽出する実施形態を示すフローチャートを表す。Ｘ線画像データは、Ｘ線透視画像シーケンス、またはＸ線血管造影画像シーケンスが、造影剤の投与の前後の画像データを含む、Ｘ線血管造影画像シーケンスを表すことができる。何れの場合にも、ＥＣＧ信号は、Ｘ線画像データの一部であると考えるべきである。図３０は、石灰化したプラークを特定する際の課題を示す。図３０には、図２８のフローチャートに記載されるようなハイレベルの方法が、示されている。破線の円（３００６）内には石灰化したプラークが存在するが、これは、画像（３００１、３００２、３００３、および３００５）内ではほとんど認識できない。画像を登録した後、画像情報を単一の画像（３００９）に追加することにより、石灰化したプラーク（３０１０）が、強調されそして視認可能になる。さらに、強調された石灰化プラークに対して定量分析を行うことが出来る。次のセクションでは、図２８内のステップが詳しく説明される。
最初にステップ２８０１で、Ｘ線画像データが読出される。前述したように、これは、Ｘ線透視画像シーケンス、または造影剤の投与前後の画像データを含むＸ線血管造影画像シーケンスの何れかとすることが出来る。最初に、Ｘ線画像データがＸ線血管造影画像データを表す場合のステップが記載され、その後、Ｘ線画像データがＸ線透視画像データを表す場合の方法が説明される。どの場合においても、ＥＣＧ信号はＸ線画像データの一部であると想定されている。
図２９は、Ｘ線血管造影画像シーケンスの典型的な例を示す。ここで、２９００は、このようなシーケンス内の幾つかの連続するＸ線画像フレームを示し、そして２９０６は、対応するＥＣＧ信号を示す。図２９内で、造影剤の投与の瞬間は２９０５によって示され、そして前のフレーム（２９０１、２９０２）は、カテーテルの横の血管構造の強調されていないＸ線画像データを示す（２９０７）。造影剤の投与後、フレームは血管構造（２９０３、２９０４）も表し、そして現在の例では左冠動脈を表す。さらに、ＥＣＧ信号に関して各Ｘ線フレームが取得された瞬間が、視覚化される（２９０１、２９０２、２９０３、および２９０４）。
これに代えて、Ｘ線ビームの特性は、石灰化組織がその周囲の組織よりも効率的にＸ線を吸収するように変化させもことができる。血管構造の評価に適用される場合、Ｘ線ビームの特性は、ヨウ素が豊富な造影剤をＸ線が周囲の組織に対して最適に吸収するように、定義される。Ｘ線管によって生成されるＸ線ビームの特性を定義する２つの主要な手段には、ａ）電流（ｍＡ）を変更することおよびｂ）電圧（ｋＶ）を変更すること、がある。Ｘ線管を横切る電流（測定され、しばしばｍＡまたはミリアンペアと呼ばれる）は、放出されて、陽極に衝突する電子の数を決定する。ｍＡを増加させると、陽極に衝突する電子の数が増加し、その結果、Ｘ線管によって生成される光子の数が直線的に増加する。（しばしばｋＶまたはキロボルトと呼ばれる単位で測定される）Ｘ線管の両端の電圧は、電子が陽極に衝突するときの電子の速度に影響を与える。これは、Ｘ線管によって生成させることが出来る光子のエネルギに影響を与える。さらに、より高速の電子は、（ｋＶ）3のオーダのより多くの光子を生成する。Ｘ線ビームが、組織と相互作用するには、２つの主要な方法がある。第1の主要な効果は光電効果で、光子はそのエネルギを全て使い果たして原子から電子を放出し、他方、電子は動き回って隣接する原子をイオン化するが、散乱光子は無い。第２の主要な効果は、コンプトン（非コヒーレント）散乱である。この散乱では、光子は原子に衝突して電子をイオン化するが、そのエネルギは全て消費されるわけではない。次で、光子は少し少ないエネルギで別の方向に散乱し、そして自由電子は損傷を与える。散乱した光子は、Ｘ線管に戻ったり、患者を通過して任意の奇数の角度から検出器に当たったり、または患者内で再び散乱したりする可能性がある。Ｘ線ビームが組織を通過すると、光子が吸収されるので、エネルギは減少する。これは減衰として知られている。高エネルギの光子は、低エネルギの光子よりも組織内をより容易に通過する（これは、高エネルギの光子が物質と相互作用する可能性が低いことを意味する）。この効果の多くは、光電効果に関連している。光電吸収の確率は（Ｚ／Ｅ）３にほぼ比例する。ここで、Ｚは組織原子の原子番号、Ｅは光子エネルギである。Ｅが大きくなると、相互作用の尤度は急速に低下する。コンプトン散乱は、エネルギが高くなるとゆっくりと減少するが、異なるエネルギに対してはほぼ一定である。従って、これに代えて、Ｘ線システムの管特性（管電圧および／または管電流）は、石灰化組織がＸ線を周囲の組織よりもより効率的に吸収するように最適化される、Ｘ線透視画像シーケンスまたはＸ線血管造影画像シーケンスが収集される。
次に、ステップ２８０２で、対象血管が取得される。これは、図１のステップ１０３またはステップ１０３の結果に記載される方法による、または図１８のステップ１８０３またはステップ１８０３の結果に記載される方法による、またはユーザマニュアルが対象血管を特定する方法の何れかにより実行することが出来る。
ステップ２８０３で、造影剤液体が冠動脈に入るＸ線血管造影画像シーケンスからのフレームが識別され、そして
Figure 2022517581000235
 として識別される。このステップは、例えば、図５のステップ５０１に記載されるような方法によって達成することが出来る。
次に、ステップ２８０４において、血管骨格が、ステップ２８０３の結果としての造影剤の開始後のシーケンス内の各フレーム
Figure 2022517581000236
 で検出され、そして血管骨格は、少なくとも1つの心周期を表す特定量の連続フレームで検出されることが、好ましい。少なくとも３つの心周期が利用可能であることが、好ましい。血管骨格は、例えば、非特許文献３１によって教示されているように検出することが出来る。一例は、骨格が３００７によって示されている図３０内の３００１および３００２によって提供される２つのＸ線血管造影画像フレーム内のこのような血管検出である。次に、骨格は、図３１によって示されるように、別個の血管枝に分解される。この分解は、分岐レベル（３１０２）または分岐レベル（３１０３）の何れかで行うことが出来る。さらに、対象血管（2８０２）の部分ではないとして検出された全ての骨格が、削除される。これは、例えば、図１のステップ１０５（ロードマップ選択のためのセクションＥＣＧマッチング）に記載されているように、ステップ２８０２で使用される心位相に最も良くマッチする検出された骨格のシーケンスからフレームを識別し、そして対象血管の一部ではない（全てのフレームの）骨格を削除することによって達成することが出来る。
ステップ２８０６内で、ステップ２８０５の結果として選択された、対応する透視画像が、互いに登録される。登録は、ステップ２８０４に記載されるように、分解された各血管枝に対して実行される。オプションでは、登録のパフォーマンスを改善するために、ランドマークが、骨格および／または分解された骨格から自動的に識別される。このようなランドマークは、例えば、分岐点（３１０４）または開始／終了位置（３１０５）または大きな局所曲率（３１０６）とすることが出来る。２Ｄから２Ｄへの登録は、例えば、非特許文献５または非特許文献３８により教示されるように実行することが出来る。
ステップ２８０７内で、石灰化プラークが強調された画像が、生成される。強調された画像を生成する前に、（ステップ２８０６の結果として）登録されたＸ線透視画像が前処理される。Ｘ線画像は、通常、石灰化したプラークを潜在的に覆い隠す透明なバックグラウンド層の問題を有している。この効果の影響を排除するために、バックグラウンド差分処理が実行される。静的な透明層を削除するための簡単で効果的な方法は、個々の層が、質量しか追加しないという仮定を使用することである。経時的に各ピクセルに対して最大強度を取得すること（ピクセル強度が低いほどＸ線が吸収される）は、経時的に最小量の質量を示す画像を生成させるであろう。全てのピクセルが、ある時点で移動する質量層からの如何なる寄与も含まないであろうと仮定すると、最大強度の画像は、静的なバックグラウンド層に等しくなる。多くの場合、例えば、前述のように、全てのフレームでの各ピクセルの最大強度に基づいて、単一の一般的なマスク画像が、フレームごとに作成される。しかしながら、このような単一のマスク画像は、バックグラウンドにある大きくて運動の遅い（横隔膜、肋骨、肺のような）オブジェクトによるアーチファクトの影響を受ける。従って、実行されるバックグラウンド差分処理は、それぞれのフレームの周りで対称的な、ｘ（ｘは通常５フレームである）個の連続するフレームのより局所的なバックグラウンドマスクを決定する。これに代えて、静的バックグラウンド層は、非特許文献７または非特許文献８によって教示されているように生成することも出来る。
次に、前処理されたフレームは、単一の画像フレームに結合される。これは、前処理されたフレームを追加する（図３０の３００８）ことによって実行され、そしてオプションでは、例えば、遠近短縮による各フレームの非剛体変形の尤度に相関する重み係数が導入される。このプロセスの結果の例は、図３０３０の３００９に示されている。写真３００９内で、石灰化したプラークが強調されている（３０１０）。
ステップ２８０８に進む前に、Ｘ線画像データが、（ステップ２８０１の結果としての）Ｘ線透視画像シーケンスを表す場合の図２８の方法が、次に記載される。この場合、放射線不透過性マーカを含むデバイスが、対象血管内に存在すると想定されている。これは、例えば、展開されていないステント、測定ガイドワイヤ、または対象血管の運動と同期して動く他の任意のデバイスとすることが出来る。図３２、３２０２内に、展開されていないステントの例が提供されている。ステップ２８０３は、Ｘ線透視画像シーケンスには適用することはできず、そしてステップ２８０４は、今やＸ線透視画像シーケンス内の放射線不透過性マーカを検出および追跡する。Ｘ線透視画像シーケンス内の全ての画像フレームは、透視画像フレームであるので、ステップ２８０５は適用することができない。ステップ２８０６内で、追跡された放射線不透過性マーカは、画像を互いに登録するために使用され、そしてステップ２８０７は、前述されたものと同一である。図３２は、強調された石灰化プラーク画像が、強調された石灰化プラーク画像とＥＣＧによって位置合わせされたＸ線血管造影画像フレームに重畳されている、図解を提供する。画像３２０２は、Ｘ線透視画像シーケンス内の単一の画像フレームを示し、画像３２０３は、強調された石灰化プラーク画像の結果を示す。画像３２０１は、ＥＣＧによって画像３２０３に位置合わせされたＸ線血管造影画像フレームを示す。画像３２０４は、Ｘ線血管造影画像フレームから強調された石灰化プラーク画像を差分処理した結果を示し、そして画像３２０５は、Ｘ線血管造影画像フレームにより強調された石灰化プラークの分割の結果を示す。画像３２０４および３２０５の両方には、石灰化したプラークの位置および血管内腔に関する視認できる量が示されている。
図２８に戻ると、最後のステップ２８０８は、強調された石灰化プラークの定量分析を含む。石灰化プラーク（３０１０、３２０６）の面積は、強調画像（３００９、３２０４）を用いた石灰化プラーク（石灰化プラーク領域）の手動および／または（半）自動検出によって計算することが出来る。ビデオデンシトメトリ分析も実行することが出来る。石灰化プラークの容積および／または質量は、石灰化プラーク領域の密度を、強調画像またはＸ線画像データ（２８０１）内の別の放射線不透過性領域と比較することによって導出することが出来る。ジオメトリおよびその（質量）減衰係数の様な放射線不透過性領域の特性が既知である場合、石灰化プラーク領域の容積および／または質量は、ランベルトベール（Ｂｅｅｒ－Ｌａｍｂｅｒｔ）の法則を使用して計算することが出来る。放射線不透過性領域を、Ｘ線血管造影画像シーケンスから取得される血管の領域とすることも出来る。この状況では、ランベルトベールの法則を使用して石灰化プラーク領域の容積および／または質量を計算することが出来るようにするために、造影剤の（質量）減衰係数を知る必要がある。これに代えて、ビデオデンシトメトリ分析は、例えば、特許文献９によって開示されているように実施することも出来る。
一般に、Ｘ線画像データは、対応するＥＣＧ信号記録を含む。Ｘ線画像データにＥＣＧ情報が含まれていない場合、ＥＣＧ信号に基づく造影画像と非造影画像の心位相のマッチングは不可能である。この問題を解決するために、心臓の運動を模倣する心臓モデルを使用することが出来る。このような心臓モデルは、例えば、幾つかの心臓のＣＴ収集から生成することが出来る。心臓の運動が画像データから抽出され、そして心臓の運動を模倣するモデルが生成される。
心臓運動モデルは、３Ｄ＋ｔで心臓運動を提供する。Ｘ線血管造影法の収集に基づいて、特定の投影における予想される心臓の運動は、心臓の運動のモデルから抽出することが出来る。
心臓運動モデルは、造影剤画像と非造影剤画像の両方に適用され、そして例えば、両方の画像間の相関が、例えば、非特許文献３９により教示されるように、両方の画像間の最良のマッチングを識別するために、計算される。
その他の用途
前述の実施形態は、ライブＸ線投影または冠動脈ロードマップに重畳することが出来るリアルタイムの動的重ね合わせまたは動的血管造影画像ストリーム／シーケンスを提供するために、関連付けられている。
実施形態では、本出願に記載される方法は、ロードマップのシーケンス内で１つのロードマップのみを選択することを意味する静的ガイダンスを提供するために使用することも出来る。冠動脈の心臓運動が最小であるロードマップが、選択されることが、好ましい。さらに、図１８のステップ１８０１に記載される３Ｄ血管造影画像データから作成された３Ｄモデルは、Ｘ線画像データに重畳される静的ロードマップとして使用することが出来る。オプションでは、Ｘ線画像データへの登録は、例えば、以前に記載された技術、または本出願によって開示された技術によって実行することが出来る。例えば、冠動脈プラーク情報も含む図２５によって提示されるモデルは、静的ガイダンスとして使用することもできる。
他の実施形態では、記載された方法は、手技前の計画として使用することができ、そしてオプションでは、Ｘ線血管造影画像は、実際のＰＣＩ手技の準備を改善するために、例えば、特許文献１０に記載されるようにシミュレートすることが出来る。
これに代えて、単一のロードマップを選択することも出来る。選択したロードマップに関連する画像は、参照画像として使用することも出来る。ロードマップと参照画像との関係は、例えば、患者のＥＣＧ信号を使用して決定することが出来る。次に、ライブＸ線透視または血管造影画像ストリーム／シーケンスの全ての画像が、参照画像に登録される。画像登録により、ライブＸ線透視または血管造影画像ストリーム／シーケンスの画像は「フリーズ」され、そして静的ロードマップに位置合わせされる。画像登録は、例えば、非特許文献５によって教示されている当技術分野で知られている方法によって実行することが出来る。
前述の実施形態は、ライブＸ線透視または血管造影画像ストリーム／シーケンスに重畳させることが出来るリアルタイムの動的重畳または動的冠動脈ロードマップを提供するために、関連付けられている。これに代えて、図１、図１５、図１８および図２６に記載されている抽出ロードマップに特に焦点を当てた実施形態は、ロボット支援経皮的冠動脈インターベンション（ＰＣＩ: percutaneous coronary intervention）または末梢血管インターベンションの分野でも使用することができる。
１９７０年代のＰＣＩの最初の導入から、インターベンション心臓学は、（完全な冠動脈閉塞のような）起こり得る最も複雑な病変の平均治療を有する、デバイス技術、治療手技、および薬物療法において重要な進化を遂げて来ている。冠動脈インターベンション分野のほぼ全ての面で進歩が着実に進んでいるにもかかわらず、冠動脈ガイドワイヤ、バルーン、ステントの操作の様なＰＣＩの機械的側面、および操作者とカテーテル検査室スタッフに対する職業上の危険性は、１９７０年代のその導入以来大きく変わらないままである。インターベンション心臓専門医は、直接透視室のガイダンスの下で血管内デバイスを操作し、そしてこれは、重い保護服を着る必要性を課す。心臓病学のインターベンションキャリアの過程で、操作者は、累積される放射線被曝の悪影響と整形外科的損傷の有病率の増加にさらされる。
血管内装置の操作を処理するロボットシステムは、前述の短所および危険を大幅に減少させ、そして経皮的冠動脈インターベンション手技に革命をもたらす可能性がある。このようなロボット支援ＰＣＩシステムは、まだ初期フェーズであるが、例えば、コリンダス血管ロボティクス（Corindus vascular robotics）社によって製造されている。
このようなロボットシステムの要件の１つは、サブミリレベルで血管内デバイスを操作することであり、そして血管系の３Ｄジオメトリおよび形態の知識を必要とする。これは、また、例えば、心臓の運動、呼吸の運動、および／または患者の運動による血管系の３Ｄ形状の変化に関する手技の間の知識も含む。血管内デバイスの操作を処理するロボットシステムに統合された本出願に記載されている方法を使用すると、患者の転帰を改善出来る尤度があり、そしてロボットの精度を備えた高度な前手技計画ツールが、患者に新しい革新的な標準治療をもたらすことが出来る。
操作は、スタンドアロンシステムのプロセッサユニットによって、又はＸ線システムに接続されていて（図２ｂ）かつ図３３を参照して詳細に説明されている、又は例えば、２次元血管造影画像のシーケンスを収集するためのＸ線透視システム又は他の画像システム（図２ａ）に直接含まれる、セミスタンドアロンシステムのプロセッサユニットによって、実行することが出来る。図１７は、Ｘ線シネ透視システムのハイレベルのブロック図の例を示す。このブロック図には、どのようにして実施形態をこのようなシステムに統合させることが出来るかについての例が示されている。
（さまざまな機能ブロックによって定義される）システムの部分は、専用ハードウェア、アナログ及び／又はデジタル回路、及び／又はメモリに格納されているプログラム命令を操作する1つ又は複数のプロセッサにより実装することが出来る。
図１７のＸ線システムは、Ｘ線ビーム１７０３を生成する高電圧発生器１７０２を備えたＸ線管１７０１を含む。高電圧発生器１７０２は、Ｘ線管１７０１に電力を制御及び供給する。電圧発生器１７０２は、Ｘ線管１７０１の陰極と回転陽極との間の真空ギャップに高電圧を印加する。Ｘ線管１７０１に印加される電圧により、陰極からＸ線管１７０１の陽極に、電子伝達が発生し、これにより、Ｂｒｅｍｓｓｔｒａｈｌｕｎｇとも呼ばれるＸ線光子生成効果が起こる。生成された光子は、画像検出器１７０６に向かうＸ線ビーム１７０３を形成する。
Ｘ線ビーム１７０３は、とりわけ、Ｘ線管１７０１に印加される電圧及び電流によって決定される最大値までの範囲のエネルギのスペクトルを有する光子を備える。次に、Ｘ線ビーム１７０３は、調整可能なテーブル１７０５に横たわる患者１７０４を通過する。Ｘ線ビーム１７０３のＸ線光子は、様々なアンギュレーションで患者の組織を透過する。患者１７０４の異なる構造により、放射線の吸収は異なり、これにより、ビーム強度が変調される。患者１７０４から射出される、変調されたＸ線ビーム１７０３は、Ｘ線管の反対側に配置された画像検出器１７０６によって検出される。この画像検出器１７０６は、間接又は直接検出システムの何れかとすることが出来る。
間接検出システムの場合、画像検出器１７０６は、Ｘ線射出ビーム１７０３’を増幅された可視光画像に変換する真空管（Ｘ線画像増強器）を備える。次に、この増幅された可視光画像は、画像の表示及び記録のために、デジタルビデオカメラなどの可視光画像レセプタに送信される。これにより、デジタル画像信号が生成される。
直接検出システムの場合、画像検出器１７０６は、フラットパネル検出器を備える。フラットパネル検出器は、Ｘ線射出ビーム１７０３’を直接デジタル画像信号に変換する。画像検出器１７０６から得られるデジタル画像信号は、デジタル画像処理ユニット１７０７を通過する。デジタル画像処理ユニット１７０７は、１７０６からのデジタル画像信号を、例えば、ＤＩＣＯＭの標準画像ファイル形式で補正された（例えば、反転された及び／又はコントラスト強調された）Ｘ線画像に変換する。次で、この補正されたＸ線画像は、ハードドライブ１７０８に格納することが出来る。
さらに、図１７のＸ線システムは、Ｃアーム１７０９を備える。Ｃアームは、患者１７０４と調整可能なテーブル１７０５が、Ｘ線管１７０１と画像検出器１７０６の間にあるように、Ｘ線管１７０１及び画像検出器１７０６を保持する。Ｃアームを、所望の位置に移動（回転及びアンギュレート）させて、Ｃアーム制御１７１０を使用して、制御された方法で特定の投影を収集することが出来る。Ｃアーム制御は、特定の投影でのＸ線記録のために、Ｃアームを所望の位置に調整するための手動又は自動入力を可能にする。
図１７のＸ線システムは、シングルプレーン又はバイプレーン画像化システムの何れかとすることが出来る。バイプレーン画像化システムには、それぞれが、Ｘ線管１７０１、画像検出器１７０６、及びＣアーム制御１７１０から構成されている複数のＣアーム１７０９が、存在する。
さらに、調整可能テーブル１７０５は、テーブル制御１７１１を使用して移動させることが出来る。調整可能テーブル１７０５は、ｘ、ｙ、及びｚ軸に沿って移動させ、かつ特定のポイントの周りに傾けることが出来る。
さらに、このＸ線システムには、測定ユニット１７１３が存在する。この測定ユニットは、例えば、ＥＣＧ、大動脈圧、バイオマーカ、及び／又は高さ、長さ等に関する情報である、患者に関する情報を含む。
このＸ線システムには汎用ユニット１７１２も存在する。この汎用ユニット１７１２は、Ｃアーム制御１７１０、テーブル制御１７１１、デジタル画像処理ユニット１７０７、及び測定ユニット１７１３と対話するために、使用することが出来る。
一実施形態は、以下のように図１７のＸ線システムによって実施される。臨床医又は他のユーザは、Ｃアーム制御１７１０を使用して、患者１７０４に対してＣアーム１７０９を所望の位置に移動させることにより、患者１７０４について少なくとも２つのＸ線血管造影画像のシーケンスを収集する。患者１７０４は、ユーザがテーブル制御１７１１を使用して既に特定の位置に移動させた、調整可能なテーブル１７０５に横たわっている。
次に、Ｘ線画像のシーケンスが、上述したように、高電圧発生器１７０２、Ｘ線管１７０１、画像検出器１７０６、及びデジタル画像処理ユニット１７０７を使用して生成される。次に、これらの画像は、ハードドライブ１７０８に格納される。これらのＸ線画像のシーケンスを使用して、汎用処理ユニット１７１２は、例えば、測定ユニット１７１３、デジタル画像処理ユニット１７０７、Ｃアーム制御ユニット１７１０及びテーブル制御ユニット１７１１を使用して、図１、図１５、図１８、図２６または図２８に記載される、本出願に記載される方法を実行する。
前述したように、操作は、Ｘ線システムに接続されたセミスタンドアロンシステムのプロセッサユニット（図２ｂ）によっても実行することが出来る。図３３は、このような設定を示す。図３３内で、３３０１はＸ線システムを表し、そして３３０２は、本出願によって記述された操作が実行されるセミスタンドアロンシステムを表す。Ｘ線血管造影画像データストリームまたはＸ線透視画像データストリームの何れかとすることが出来るライブＸ線画像データストリームを取得するために、セミスタンドアロンシステム３３０２は、Ｘ線システムからのビデオ出力から取得されたライブＸ線画像データのデジタル化を可能とするフレームグラバ（３３０３）を備えている。ＥＣＧ信号へのライブアクセスは、Ｘ線システムのＥＣＧ信号出力または患者のＥＣＧを測定する別のシステムに接続されたアナログ・デジタルコンバータ（３３０４）によって取得される。図１、図１５、図１８、図２６、または図２８のフローチャートに関して提示および記載された方法によって作成されたロードマップ重ね合わせは、Ｘ線システムビデオ入力（３３０４）に提供され、そしてＸ線システムモニタにより視覚化される。
本明細書では、定量的フロー分析のための方法および装置の幾つかの実施形態が記載および図示されて来た。特定の実施形態が記載されて来たが、本発明は、当技術分野が許す限りにおいて広い範囲にあり、かつ本明細書も同様に読まれることが、意図されているので、本発明をそれに限定することは意図されていない。例えば、データ処理操作は、医用画像技術で一般的に使用されるＰＡＣＳの様なデジタルストレージに格納された画像に対して、オフラインで実行させることが出来る。これは通常、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）の様な（ベンダに依存しない）ユニバーサル言語で行われる。ストレージは、ハードディスク、ＰＡＣＳ（picture archiving and communications system：画像アーカイブおよび通信システム）サーバ、ＶＮＡ（vendor neutral archive）、または医療用画像技術で一般的に使用される他の画像アーカイブおよび通信システムである。従って、当業者は、請求項に記載されたその精神及び範囲から逸脱することなく、提供された発明に対してさらに他の修正を行うことが出来ることを理解するであろう。
本明細書に記載の実施形態は、上述したように、様々なデータ格納並びに他のメモリ及びストレージ媒体を含むことができる。これらは、1つ又は複数のコンピュータのローカル（及び／又は常駐）ストレージ媒体に、又はネットワーク上の何れか又は全てのコンピュータからリモートにあるストレージ媒体のような、さまざまな場所に配置させることが出来る。実施形態の特定のセットでは、情報は、当業者には周知である格納エリアネットワーク（「ＳＡＮ: storage-area network」）に存在させることができる。同様に、コンピュータ、サーバ、又は他のネットワークデバイスに固有な機能を実行するために必要なファイルは、必要に応じて、ローカル及び／又はリモートに格納させることが出来る。システムがコンピュータデバイスを含む場合、各デバイスは、バスを介して電気的に結合させることができるハードウェア素子を含むことができる。この素子には、例えば、少なくとも１つの中央処理装置（「ＣＰＵ」又は「プロセッサ」）、及び少なくとも１つの入力デバイス（例、マウス、キーボード、コントローラー、タッチスクリーン又はキーパッド）及び少なくとも1つの出力デバイス（例、ディスプレイデバイス、プリンタ又はスピーカ）が含まれる。このようなシステムは、また、ディスクドライブ、光ストレージデバイス、及びランダムアクセスメモリ（「ＲＡＭ」）又は読み取り専用メモリ（「ＲＯＭ」）のようなソリッドステートストレージデバイス及びリムーバブル媒体デバイス、メモリカード、フラッシュカード等のような、1つ又は複数のストレージデバイスを含んでいても良い。
このようなデバイスは、また、コンピュータ可読ストレージ媒体リーダ、通信デバイス（例、モデム、ネットワークカード（無線又は有線）、赤外線通信デバイス等）及び上述のワーキングメモリを含むことが出来る。コンピュータ可読ストレージ媒体リーダは、リモート、ローカル、固定及び／又はリムーバブルストレージデバイスを表すコンピュータ可読ストレージ媒体、並びに一時的及び／又はより恒久的に、コンピュータ可読情報を格納、送信、取得するストレージ媒体に接続させる、又はこれらを受信するように、構成することが出来る。このシステム及び様々なデバイスは、また、通常、オペレーティングシステム及びクライアントアプリケーション又はウェブブラウザのようなアプリケーションプログラムを含む、少なくとも１つのワーキングメモリデバイス内に配置されているいくつかのソフトウェアアプリケーション、モジュール、サービス又は他の要素を含む。代替の実施形態が、上記のものからの多数の変形を有し得ることは、理解されるべきである。例えば、カスタマイズされたハードウェアを使用する、及び／又は特定の要素をハードウェア、ソフトウェア（アプレットなどのポータブルソフトウェアを含む）、又はその両方に実装することも出来る。さらに、ネットワーク入力／出力デバイスのような他のコンピューティングデバイスへの接続も使用することが出来る。
様々な実施形態は、さらに、コンピュータ可読媒体上で前述の説明に従って実装される命令及び／又はデータを、受信、送信、又は格納することを含むことができる。コード又はコードの一部を含むためのストレージ媒体及びコンピュータ可読媒体は、当該技術において公知である又は使用される任意の適切な媒体を含むことが出来る。この適切な媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータのような情報を格納及び／又は送信するための任意の方法又は技術で実装された、揮発性及び非揮発性、取り外し可能及び取り外し不可能な媒体のような、ストレージ媒体及び通信媒体を含むが、これらに限定されるものではない。このストレージ媒体及び通信媒は、ＲＡＭ、ＲＯＭ、電気的に消去可能なプログラム可能な読み取り専用メモリ（「ＥＥＰＲＯＭ」）、フラッシュメモリ又は他のメモリ技術、コンパクトディスク読み取り専用メモリ（「ＣＤ－ＲＯＭ」）、デジタル多用途ディスク（ＤＶＤ）又は他の光ストレージ、磁気カセット、磁気テープ、磁気ディスク格納又は他の磁気ストレージデバイス、又は必要な情報を格納するために使用することが出来そしてシステムデバイスがアクセスすることが出来る他の媒体を含む。本明細書で提供される開示及び教示に基づいて、当業者は、様々な実施形態を実施するための他の方法及び／又は方法を理解するであろう。
開示された実施形態は、シングルまたはバイプレーンＸ線画像化モダリティに関して記載されているが、これらの実施形態内の変形は、例えば、回転血管造影、コンピュータ断層撮影、磁気共鳴画像法などに基づく３Ｄ再構成にも適用可能である。従って、本明細書及び図面は、限定的な意味ではなく例示的な意味で開示されていると見なすべきである。しかしながら、特許請求の範囲に記載されている本発明のより広い精神及び範囲から逸脱せずに、そのような発明に様々な修正及び変更を加えることが出来ることは明らかであろう。
本開示の精神の範囲内には、他の変形例がある。したがって、開示された技法は、様々な修正及び代替の構成を受け入れる余地があり、それらの特定の例示された実施態様は、図面に示されていて、そして上述のように詳細に説明されて来た。しかしながら、本発明を、開示された特定の形態に限定する意図はない。それどころか、その意図は、特許請求の範囲に規定されているように、本発明の精神及び範囲内にある全ての修正形態、代替構造、及び均等物を網羅することである。
開示された実施態様を説明する文脈における（特に以下の特許請求の範囲の文脈における）用語「ａ」及び「ａｎ」及び「ｔｈｅ」及び類似の冠詞の使用は、本明細書に別段の指示がない限り、又は文脈と明らかに矛盾しない限り、単数形及び複数形の両方を網羅すると解釈されるべきである。用語「含む(comprising)」、「有する(having)」、「含む(including)」、及び「含有する(containing)」は、特に断りがない限り、制限しない用語として解釈されるべきである（すなわち、「・・を含むがこれらに限定されない」ことを意味する）。「接続された」という用語は、修正されずに物理的な接続を指す場合、例え介在するものがあっても、その一部又は全部がその中に含まれる、つまり、共に取り付けられている又は共に結合されていると解釈される。本明細書中の値の範囲の列挙は、本明細書中に別段の指示がない限り、単にその範囲内に含まれる各個別の値を個々に指す簡潔な方法として機能することを意図している。「セット」（例えば、「項目のセット」）又は「サブセット」という用語の使用は、別段の記載がない限り、又は文脈と矛盾しない限り、１つ以上の構成要素を含む空でない集合として解釈されるべきである。
本明細書に記載のプロセスの操作は、本明細書に別段の指示がない限り又は文脈と明らかに矛盾しない限り、任意の適切な順序で実行させることが出来る。本明細書に記載のプロセス（又はその変形例及び／又は組み合わせ）は、実行可能命令により構成されている１つ以上のコンピュータシステムの制御下で実行させることができ、かつハードウェア又はそれらの組み合わせによって、１つ以上のプロセッサ上で集合的に実行されるコード（例えば、実行可能命令、１つ以上のコンピュータプログラム又は１つ​​又は複数の本出願）として実装させることができる。コードは、例えば、１つ以上のプロセッサによって実行可能な複数の命令を含むコンピュータプログラムの形で、コンピュータ可読ストレージ媒体に格納させることができる。コンピュータ可読ストレージ媒体は、非一時的としてもよい。
本発明を実施するために本発明者等が知っている最良の形態を含め、本開示の好ましい実施態様が、本明細書に記載されている。これらの好ましい実施態様の変形例は、前述の説明を読めば当業者には明らかになるであろう。本発明者等は、当業者がそのような変形形態を適切に使用することを予想しており、かつ本発明者等は、本明細書に具体的に記載されたものとは別の方法で本開示の実施態様が実施されることを意図する。したがって、本開示の範囲は、適用法によって許容されるように、本明細書に添付の特許請求の範囲に記載の主題の全ての修正形態及び均等物を含む。さらに、その全ての可能な変形形態における上記の要素の任意の組み合わせは、本明細書で別段に示されない限り、又は文脈によって明らかに否定されない限り、本開示の範囲に含まれる。
本明細書で引用されている刊行物、特許出願及び特許を含む全ての参考文献は、あたかも、各参考文献が、個別に及び具体的に参照により組み込まれることが示され、そしてその全体が本明細書に記載されていると同程度に、参照により本明細書に組み込まれている。

Claims (26)

  1. 対象オブジェクトの第１の画像データからの情報を、前記対象オブジェクトの第２の画像データと共に、動的に視覚化するための方法であって、
    ｉ）前記対象オブジェクトの複数のロードマップを生成するために、前記第１の画像データを使用するステップ、
    ｉｉ）前記第１の画像データ内の、ガイド用カテーテル、ガイドワイヤまたは他の管腔内デバイスまたは器具の様なデバイスの複数の参照位置を決定するステップであって、前記複数の参照位置が、ｉ）の前記対象オブジェクトの前記複数のロードマップに対応している、ステップ、
    ｉｉｉ）前記複数のロードマップから1つのロードマップを選択するステップ、
    ｉＶ）前記第２の画像データ内において前記デバイスの位置を決定するステップ、
    Ｖ）前記対象オブジェクトの動的ロードマップを生成するためにｉｉｉ）で選択された前記1つのロードマップを変換するために、ｉｉｉ）で選択された前記1つのロードマップに対応する前記デバイスの前記参照位置とｉＶ）で決定された前記デバイスの位置を使用するステップ、
    ｖｉ）Ｖ）で生成された前記対象オブジェクトの動的ロードマップの視覚表現を、表示のために、前記第２の画像データに重ね合わせるステップ、
    を備える方法。
  2. 前記対象オブジェクトが、前記心臓、前記冠動脈ツリーの一部、血管、または患者の血管系の他の部分を備え、
    前記第１の画像データが、前記患者の少なくとも1つの心周期をカバーし、
    ｉ）で生成された前記対オブジェクトの前記複数のロードマップが、前記患者の前記心周期の異なるフェーズをカバーし、前記患者の前記心周期の前記フェーズが、前記患者の前記心周期の事前定義された参照部分に対して時間的にオフセットされている、
    請求項１に記載の方法。
  3. 前記第２の画像データに対応する前記患者の前記心周期のフェーズを決定するために、前記第２の画像データに同期させてＥＣＧ信号を処理するステップ、
    前記第２の画像データの前記患者の前記心周期の前記フェーズを、前記1つのロードマップの前記患者の前記心周期の前記フェーズにマッチさせることにより、ｉｉｉ）の1つのロードマップを選択するステップ、
    を、さらに備える、請求項１または２に記載の方法。
  4. 画像フレームの前記患者の前記心周期のフェーズを決定するために前記第１の画像データを処理し、そして前記心臓周期の前記フェーズを前記画像フレームに対応するロードマップに関連付けるステップを、さらに備える、
    請求項１～３の何れか１項に記載の方法。
  5. 前記複数のロードマップが、例えば、コンピュータ断層撮影（ＣＴ）、Ｘ線回転血管造影、３Ｄ超音波、または磁気共鳴画像法（ＭＲＩ）から構成されるグループから選択された少なくとも1つの画像モダリティから、抽出された前記対象オブジェクトの３次元モデルから導出されている、
    請求項１～４の何れか１項に記載の方法。
  6. 前記複数のロードマップが、造影剤により収集された前記対象オブジェクトの２つのＸ線血管造影画像シーケンスから導出されている、
    請求項１～５の何れか１項に記載の方法。
  7. 前記複数のロードマップが、前記対象オブジェクトの３次元モデルと、造影剤により収集された前記対象オブジェクトの少なくとも1つのＸ線血管造影画像シーケンスとから導出されている、
    請求項１～６の何れか１項に記載の方法。
  8. 前記複数のロードマップが、前記対象オブジェクトの中心線、等高線、および／または画像マスクの様な特性を特徴付ける情報を含む、
    請求項１～７の何れか１項に記載の方法。
  9. 前記複数のロードマップが、血管閉塞の位置と程度、直径と面積、圧力、血流速度、冠血流予備量比、壁せん断応力、血管湾曲、遠近短縮量、冠動脈プラークの位置および範囲およびタイプ、冠動脈完全閉塞の位置および範囲、または冠動脈閉塞の位置および範囲からなるグループから選択された前記対象オブジェクトの少なくとも1つの測定値を含む、
    請求項１～８の何れか１項に記載の方法。
  10. ｉｉ）において、前記第２の画像データ内の前記デバイスの前記複数の参照位置が、ベイジアンフィルタリング法を使用して決定される、
    請求項１～９の何れか１項に記載の方法。
  11. 前記ベイジアンフィルタリング法が、深層学習ネットワークを使用して、前記第２の画像データ内の前記デバイスの位置の尤度を推定し、および／または
    前記ベイジアンフィルタリング法が、前記デバイスの位置を、複数の位置の加重算術平均およびそれらに関連する重みに等しくさせ、および／または
    前記ベイジアンフィルタリング法が、重み値が高い位置の周囲のポイントをリサンプリングする、
    請求項１０に記載の方法。
  12. 例えば、呼吸運動および／または心臓運動および／または患者運動および／またはテーブル運動を含む、前記第１の画像データと第２の画像データとの間の運動を補償するために、Ｖ）の操作が、前記１つのロードマップに変換を適用する、
    請求項１～１１の何れか１項に記載の方法。
  13. 前記変換が、ｉｉｉ）で選択された前記1つのロードマップに対応する前記デバイスの参照位置とｉＶ）で決定された前記デバイスの位置とから取得された変位に基づく、前記1つのロードマップへの剛体変換または非剛体変換を備える、
    請求項１２に記載の方法。
  14. 前記動的ロードマップの視覚表現が、
    －透過モードを使用して前記動的ロードマップの重ね合わせを前記第２の画像データに投影し、および／または
    －前記動的ロードマップを拡張し、そして前記結果の動的ロードマップの境界を前記第２の画像データに投影する、
    ことによって生成され、
    これにより、前記動的ロードマップの前記視覚表現が、前記インターベンションデバイスを覆い隠さないように構成されている、
    請求項１～１３の何れか１項に記載の方法。
  15. 前記複数の参照位置が、前記対象オブジェクトの複数のロードマップの一部として保存され、前記選択されたロードマップが、前記第２の画像データに重ね合わせるための少なくとも１つの動的ロードマップを生成するように変換されている３次元ロードマップを備える、
    請求項１～１４の何れか１項に記載の方法。
  16. 前記３次元ロードマップが、前記第２の画像データを収集するために使用される前記視点に従って変換される、または前記第２の画像データが、前記第１の画像データとは異なる視点から収集される、
    請求項１５に記載の方法。
  17. 前記1つのロードマップが、前記第２の画像データに重ね合わせるための少なくとも1つの動的ロードマップを生成するように変換されている２次元ロードマップを備え、そして、
    前記第１の画像データと前記第２の画像データが、共通の視点から収集される、
    請求項１～１６の何れか１項に記載の方法。
  18. 前記第１の画像データが、ベースライン画像の差分処理によって導出され、そして
    前記第２の画像が、前記ベースライン画像の差分処理によって収集される、
    請求項１～１７の何れか１項に記載の方法。
  19. 前記第１の画像データが、造影剤を用いてＸ線画像化モダリティを使用して収集された血管造影画像データであり、そして
    前記第２の画像データが、造影剤を用いずにＸ線画像化モダリティを使用して収集された透視画像データである、
    請求項１～１８の何れか１項に記載の方法。
  20. 前記第２の画像データの前記画像フレーム上への前記対象オブジェクトの前記動的ロードマップの前記視覚表現の重ね合わせを表示するために、ｉｉｉ）～ｖｉ）の前記操作が、前記第２の画像データの連続する画像フレームに対して繰り返される、
    請求項１～１９の何れか１項に記載の方法。
  21. 動的ガイダンスのために、前記第２の画像データの前記画像フレーム内の変換および重ね合わせのために、ロードマップが、前記第２の画像データの連続する画像フレーム内のそれぞれの画像フレームごとに選択される、または
    静的ガイダンスのために、前記第２の画像データの前記画像フレーム内の変換および重ね合わせのために、1つのロードマップが、前記第２の画像データの連続する画像フレームに対して選択される、
    請求項２０に記載の方法。
  22. 請求項１～２１の何れか１項に記載の方法を実行するためにマシンで実行可能な命令のプログラムを有形に具体化する非一時的プログラム格納デバイス。
  23. 患者の対象オブジェクトの画像を生成するためのシステムであって、
    メモリに保存されているプログラム命令を実行するときに、少なくとも１つのプロセッサが、
    ｉ）前記対象オブジェクトの第１の画像データを取得するステップであって、前記第１の画像データが、造影剤により収集され、そしてインターベンションデバイスが前記第１の画像データ内に存在する、ステップ、
    ｉｉ）前記対象オブジェクトの複数のロードマップを生成するために、前記第１の画像データを使用するステップ、
    ｉｉｉ）前記第１の画像データにおける前記デバイスの複数の参照位置を決定するステップであって、前記複数の参照位置が、前記対象オブジェクトの前記複数のロードマップに対応している、ステップ、
    ｉＶ）前記対象オブジェクトの第２の画像データを取得するステップであって、前記第２の画像データが、造影剤を用いずに収集され、そして前記デバイスが、前記第２の画像データ内に存在する、ステップ、
    Ｖ）前記対象オブジェクトの前記複数のロードマップから1つのロードマップを選択するステップ、
    ｖｉ）前記第２の画像データ内の前記デバイスの位置を決定するステップ、
    ｖｉｉ）Ｖ）で選択された前記1つのロードマップを変換して前記対象オブジェクトの動的ロードマップを生成するために、Ｖ）で選択された前記1つのロードマップに対応する前記デバイスの前記参照位置とｖｉ）で決定された前記デバイスの位置とを使用するステップ、
    ｖｉｉｉ）表示のために、ｖｉｉ）で生成された前記対象オブジェクトの前記動的ロードマップの視覚表現を、前記第２の画像データに重ね合わせるステップ、
    を実行するように構成されている、システム。
  24. 前記第１の画像データおよび前記第２の画像データを収集するように構成されている画像化収集サブシステムを、さらに、備える、請求項２３に記載のシステム。
  25. 前記画像化取得サブシステムが、Ｘ線画像化モダリティを使用する、請求項２４に記載のシステム。
  26. ｖｉｉｉ）で生成された前記対象オブジェクトの動的ロードマップの視覚表現の重ね合わせを第２の画像データに表示するように構成されている表示サブシステムを、さらに、備える、請求項２３～２５に記載のシステム。
JP2021540065A 2019-01-11 2020-01-11 冠動脈の動的ロードマップを提供するための方法およびシステム Pending JP2022517581A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962791286P 2019-01-11 2019-01-11
US62/791,286 2019-01-11
PCT/EP2020/050613 WO2020144374A1 (en) 2019-01-11 2020-01-11 Methods and systems for dynamic coronary roadmapping

Publications (2)

Publication Number Publication Date
JP2022517581A true JP2022517581A (ja) 2022-03-09
JPWO2020144374A5 JPWO2020144374A5 (ja) 2022-10-18

Family

ID=69165376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021540065A Pending JP2022517581A (ja) 2019-01-11 2020-01-11 冠動脈の動的ロードマップを提供するための方法およびシステム

Country Status (4)

Country Link
US (2) US11707242B2 (ja)
EP (1) EP3909020A1 (ja)
JP (1) JP2022517581A (ja)
WO (1) WO2020144374A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11357573B2 (en) * 2019-04-25 2022-06-14 International Business Machines Corporation Optimum treatment planning during coronary intervention by simultaneous simulation of a continuum of outcomes
US11087464B2 (en) * 2019-06-27 2021-08-10 Wisconsin Alumni Research Foundation System and method for motion-adjusted device guidance using vascular roadmaps
US11205264B2 (en) * 2019-10-15 2021-12-21 GE Precision Healthcare LLC Systems and methods for multi-label segmentation of cardiac computed tomography and angiography images using deep neural networks
EP4114270A1 (en) * 2020-03-06 2023-01-11 Koninklijke Philips N.V. Systems and methods for vascular rendering
US20210282731A1 (en) * 2020-03-10 2021-09-16 GE Precision Healthcare LLC Systems and methods for registration of angiographic projections with computed tomographic data
EP3884868A1 (en) 2020-03-26 2021-09-29 Pie Medical Imaging BV Method and system for registering intra-object data with extra-object data
US11488021B2 (en) * 2020-06-18 2022-11-01 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image segmentation
US20220044408A1 (en) * 2020-08-07 2022-02-10 Canon Medical Systems Corporation Medical image processing apparatus, system, and method
WO2022069254A1 (en) * 2020-09-29 2022-04-07 Koninklijke Philips N.V. Co-registration of intravascular data with angiography-based roadmap image at arbitrary angle, and associated systems, devices, and methods
KR102398522B1 (ko) * 2021-02-08 2022-05-17 광주과학기술원 관상동맥중재술을 위한 영상 정합 방법 및 이를 수행하는 전자 장치
CN112907563B (zh) * 2021-03-17 2023-12-01 复旦大学附属华山医院 基于深度学习的cta全自动侧枝循环评分方法及系统
US20220361834A1 (en) * 2021-05-12 2022-11-17 Angiowave Imaging, Llc Motion-compensated wavelet angiography
CN113768476B (zh) * 2021-09-13 2024-03-26 复旦大学附属中山医院 心动周期时相检测方法、装置及计算机程序产品
NL2029633B1 (en) * 2021-11-04 2023-06-02 Medis Ass B V Method and device for monitoring a flow of a fluid in a vessel
DE102022204170A1 (de) 2022-04-28 2023-11-02 Siemens Healthcare Gmbh Bereitstellen zumindest eines Prozedurparameters
EP4283561A1 (en) * 2022-05-24 2023-11-29 Siemens Healthcare GmbH Dynamic vessel roadmapping
CN115082500B (zh) * 2022-05-31 2023-07-11 苏州大学 基于多尺度与局部特征引导网络的角膜神经纤维分割方法
WO2023239743A1 (en) * 2022-06-06 2023-12-14 Medtronic Vascular, Inc. Use of cath lab images for procedure and device evaluation
EP4321103A1 (en) * 2022-08-12 2024-02-14 Siemens Healthineers AG Dynamic vessel roadmap guidance
DE102022126824A1 (de) 2022-10-13 2024-04-18 Karl Storz Se & Co. Kg Verfahren zum Überlagern von Überlagerungsaufnahmeinformationen mit einem Livebild und eine entsprechende Vorrichtung
CN117252927B (zh) * 2023-11-20 2024-02-02 华中科技大学同济医学院附属协和医院 一种基于小目标检测的导管下介入目标定位方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0193712B1 (de) 1985-02-04 1990-04-25 Siemens Aktiengesellschaft Röntgendiagnostikeinrichtung für Subtraktionsangiographie
US4878115A (en) 1987-09-25 1989-10-31 University Of Kentucky Research Foundation Dynamic coronary roadmapping
CN101622643B (zh) * 2007-03-02 2013-08-21 皇家飞利浦电子股份有限公司 心脏路图
US8615116B2 (en) * 2007-09-28 2013-12-24 The Johns Hopkins University Combined multi-detector CT angiography and CT myocardial perfusion imaging for the diagnosis of coronary artery disease
JP5513394B2 (ja) * 2007-10-11 2014-06-04 ギヴン イメージング（ロサンジェルス）エルエルシー 管腔臓器内部の放射線学的に造影された材料の位置を測定、表示するシステム
CN104519798B (zh) * 2012-08-03 2018-03-23 皇家飞利浦有限公司 用于路线绘图的设备位置依赖性的叠加
EP2709059B1 (en) 2012-09-17 2014-11-05 Pie Medical Imaging BV Method and apparatus for quantitative measurements on sequences of images, particularly angiographic images
EP2757528B1 (en) 2013-01-22 2015-06-24 Pie Medical Imaging BV Method and apparatus for tracking objects in a target area of a moving organ
US10362943B2 (en) * 2013-09-20 2019-07-30 Siemens Healthcare Gmbh Dynamic overlay of anatomy from angiography to fluoroscopy
EP3128481B1 (en) 2015-08-04 2019-12-18 Pie Medical Imaging BV Method and apparatus to improve a 3d + time reconstruction
EP3206183A1 (en) 2016-02-11 2017-08-16 Pie Medical Imaging BV Method and apparatus for user guidance for the choice of a two-dimensional angiographic projection
US10733792B2 (en) 2016-02-11 2020-08-04 Pie Medical Imaging B.V. Method and apparatus for user guidance for the choice of a two-dimensional angiographic projection
EP3279865B2 (en) 2016-08-01 2022-02-16 3mensio Medical Imaging B.V. Method, device and system for simulating shadow images
US10987517B2 (en) * 2017-03-15 2021-04-27 Medtronic, Inc. Detection of noise signals in cardiac signals
US10699407B2 (en) 2018-04-11 2020-06-30 Pie Medical Imaging B.V. Method and system for assessing vessel obstruction based on machine learning

Also Published As

Publication number Publication date
US20200222018A1 (en) 2020-07-16
WO2020144374A1 (en) 2020-07-16
US20230309943A1 (en) 2023-10-05
EP3909020A1 (en) 2021-11-17
US11707242B2 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
US11707242B2 (en) Methods and systems for dynamic coronary roadmapping
EP3403582B1 (en) Method and apparatus for determining blood velocity in x-ray angiography images
US10229516B2 (en) Method and apparatus to improve a 3D + time reconstruction
JP6388632B2 (ja) プロセッサ装置の作動方法
JP5739812B2 (ja) 血管造影画像取得装置の作動方法、コリメータ制御ユニット、血管造影画像取得装置及びコンピュータソフトウェア
US8126239B2 (en) Registering 2D and 3D data using 3D ultrasound data
CN112368781A (zh) 基于机器学习来评估血管阻塞的方法和系统
US11911203B2 (en) Method and system for registering intra-object data with extra-object data
JP2012505009A5 (ja)
US10362943B2 (en) Dynamic overlay of anatomy from angiography to fluoroscopy
EP2940657B1 (en) Regression for periodic phase-dependent modeling in angiography
JP2022539078A (ja) 血管ロードマップを使用した動き調整装置の誘導のためのシステムおよび方法
CN114126491B (zh) 血管造影图像中的冠状动脉钙化的评估
JP7436548B2 (ja) プロセッサ装置の作動方法
US20220254131A1 (en) Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device
Manzke et al. Intra-operative volume imaging of the left atrium and pulmonary veins with rotational X-ray angiography
CN112669449A (zh) 基于3d重建技术的cag和ivus精准联动分析方法及系统
WO2011031134A1 (en) Image processing method and system
JP6726714B2 (ja) 血管内プローブマーカを検出するためのシステムの作動方法、及び血管造影データと、血管に関して取得された血管内データとを重ね合わせ登録するためのシステムの作動方法
CN115089294B (zh) 介入手术导航的方法
WO2023100838A1 (ja) コンピュータプログラム、情報処理装置、情報処理方法及び学習モデル生成方法
JP2023173813A (ja) 画像処理装置、方法およびプログラム
Schwemmer 3-D Imaging of Coronary Vessels Using C-arm CT
Li Data acquisition modeling and hybrid coronary tree 3D reconstruction in C-arm CBCT imaging
Martín-Leung Navigation and positioning aids for intracoronary interventions

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221007

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230630

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109