JP2023175771A - ２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション - Google Patents

２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション Download PDF

Info

Publication number
JP2023175771A
JP2023175771A JP2023147235A JP2023147235A JP2023175771A JP 2023175771 A JP2023175771 A JP 2023175771A JP 2023147235 A JP2023147235 A JP 2023147235A JP 2023147235 A JP2023147235 A JP 2023147235A JP 2023175771 A JP2023175771 A JP 2023175771A
Authority
JP
Japan
Prior art keywords
image
dimensional
marker
medical imaging
imaging modality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023147235A
Other languages
English (en)
Inventor
ホラデイ，マシュー
Holladay Matthew
ゴール，ヴィカッシュ
Goel Vikash
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centerline Biomedical Inc
Original Assignee
Centerline Biomedical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centerline Biomedical Inc filed Critical Centerline Biomedical Inc
Publication of JP2023175771A publication Critical patent/JP2023175771A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/40—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4064—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
    • A61B6/4085—Cone-beams
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/007—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests for contrast media
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T3/147—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3925—Markers, e.g. radio-opaque or breast lesions markers ultrasonic
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3995—Multi-modality markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Multimedia (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Vascular Medicine (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】２次元画像投影を用いてトラッキングシステムを画像空間に対応付けるためのシステムおよび方法に関する。【解決手段】方法は、患者とマルチモーダルマーカーとを含むように２次元視野を含む医用イメージングモダリティを使用した第１の画像の取得を含む。第２の画像は、医用イメージングモダリティを用いて取得される。第２の画像は、患者とマルチモーダルマーカーとを含み、第１の画像とは合わない角度でのものである。マルチモーダルマーカーの複数の所定部分は、第１の画像および第２の画像で可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのセンサーに対する位置と向きが既知である。本方法は、マルチモーダルマーカーの複数の所定部分の３次元位置を推定することも含む。本方法は、トラッキングシステムの３次元座標系を医用イメージングモダリティの３次元座標系に対応付けるためのアフィン変換を決定することも含む。【選択図】図１

Description

関連出願へのクロスリファレンス
本出願は、２０１９年４月４日に出願され、発明の名称を「SPATIAL REGISTRATION OF TRACKING SYSTEM WITH AN IMAGE USING TWO-DIMENSIONAL IMAGE PROJECTIONS（２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション）」とする米国特許仮出願第６２／８２９，３９４号の優先権を主張するものであり、その内容全体を本明細書に援用する。
技術分野
本開示は、広義には、２次元画像投影を用いてトラッキングシステムを画像空間に対応付けるためのシステムおよび方法に関する。
画像レジストレーションとは、空間変換を決定して２つ以上の画像座標系を互いに整合（alignment）させるプロセスである。一例として、コンピュータ断層撮影（ＣＴ）画像とコーンビームコンピュータ断層撮影（ＣＢＣＴ）画像とのレジストレーションがある。
例えば、ＣＴ画像については、施術（例えば、研究または治療）の数日前または数週間前など、処置に先立って取得することができる。ＣＢＣＴ画像は、施術の直前または施術時に取得されることがある。このＣＢＣＴ画像のセットを数学的に処理し、先行するＣＴ画像と空間的に対応付ける。このようなＣＴとＣＢＣＴとのレジストレーションは、計画、診断、治療（例えば、インターベンショナルラジオロジー、画像誘導治療）などの様々な目的で使用される。しかしながら、ＣＢＣＴ画像を取得するための機器が利用できない場合がある。また、ＣＢＣＴイメージングでは一般に、患者や医療従事者にとってかなりの放射線エネルギーを必要とする。
本開示は、広義には、２次元画像投影を用いてトラッキングシステムを画像空間に対応付けるためのシステムおよび方法に関する。
一例として、方法は、医用イメージングモダリティを使用して、第１の２次元投影画像を取得することを含む。第１の画像は、患者とマルチモーダルマーカーとを含む２次元視野を含む。また、この方法は、医用イメージングモダリティを使用して、第２の２次元投影画像を取得することを含む。第２の画像は、患者とマルチモーダルマーカーとを含み、第１の投影画像とは合わない角度でのものである。マルチモーダルマーカーの複数の所定部分は、第１の投影画像および第２の投影画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのセンサーに対する位置と向きが既知である。本方法は、第１の２次元投影画像および第２の２次元投影画像における複数の所定部分の位置に応じて、医用イメージングモダリティの座標系に対するマルチモーダルマーカーの複数の所定部分の３次元位置を推定することも含む。また、本方法は、マルチモーダルマーカーの複数の所定部分それぞれの推定された位置と、少なくとも１つのセンサーとマルチモーダルマーカーの複数の所定部分との既知の関係とに基づいて、トラッキングシステムの３次元座標系を医用イメージングモダリティの３次元座標系に対応付けるためのアフィン変換を決定することを含む。
別の例として、システムは、データとプロセッサによって実行可能な命令とを格納するための１つ以上の非一過性のコンピュータ読み取り可能な媒体を含む。データは、患者について取得された、先行する３次元画像データを含む。また、データは、患者とマルチモーダルマーカーとを含むように医用イメージングモダリティによって取得された少なくとも１つの２次元画像を含む２次元画像データを含む。マルチモーダルマーカーの複数の所定部分は、少なくとも１つの２次元画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのトラッキングセンサーに対して位置と向きが既知である。命令は、
少なくとも１つの２次元画像の各々における複数の所定部分のそれぞれの位置に応じて、医用イメージングモダリティの座標系に対するマルチモーダルマーカーの複数の所定部分の３次元位置を推定する工程と、
マルチモーダルマーカーの複数の所定部分それぞれの推定された位置と、少なくとも１つのトラッキングセンサーとマルチモーダルマーカーの複数の所定部分との間の既知の関係とに基づいて、トラッキングシステムの３次元座標系を医用イメージングモダリティの３次元座標系に対応付けるためのアフィン変換を決定する工程と、
を含む方法を実行するようにプログラムされている。
別の例として、方法は、医用イメージングモダリティを使用して、第１の２次元投影画像を取得することを含み、第１の画像は、患者とマルチモーダルマーカーとを含む２次元視野を含む。また、この方法は、医用イメージングモダリティを使用して、第２の２次元投影画像を取得することを含み、第２の画像は、患者とマルチモーダルマーカーとを含み、第１の投影画像とは合わない角度でのものである。マルチモーダルマーカーの複数の所定部分は、第１の投影画像および第２の投影画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのセンサーに対する位置と向きが既知である。また、この方法は、第１の２次元投影画像および第２の２次元投影画像の各々に対応する先行する３次元画像からの複数の順投影をそれぞれ作成することを含む。また、この方法は、第１の投影画像および第２の投影画像それぞれを順投影と対応付けすることに基づいて、医用イメージングモダリティの座標系から事前の３次元画像の座標系へのアフィン変換を決定することを含む。
さらに別の例として、システムは、データとプロセッサによって実行可能な命令とを格納するための１つ以上の非一過性のコンピュータ読み取り可能な媒体を含むことができる。データは、患者について取得された、先行する３次元画像データを含む。また、データは、患者とマルチモーダルマーカーとを含むように医用イメージングモダリティによって取得された少なくとも１つの２次元画像を含む２次元画像データを含む。マルチモーダルマーカーの複数の所定部分は、少なくとも１つの２次元画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのトラッキングセンサーに対する位置と向きが既知である。命令は、
２次元画像の各々に対応する先行する３次元画像からの複数の順投影をそれぞれ作成することと、
各々の２次元画像を複数の順投影にそれぞれ対応付けることに基づいて、医用イメージングモダリティの座標系と先行する３次元画像の座標系との間のアフィン変換を決定することと、
を含む方法を実行するようにプログラムされている。
図１は、トラッキングシステムのセンサーを医用イメージングモダリティの空間座標系に対応付ける方法の一例を示す流れ図である。 図２は、医用イメージングモダリティの空間座標系から先行する３次元画像の空間座標系に対応付けるための流れ図である。 図３は、マーカーの一例を示す図である。 図４Ａは、マルチモーダルマーカーの一例を示す図である。 図４Ｂは、マルチモーダルマーカーの一例を示す図である。 図５は、別のマルチモーダルマーカーの例を示す。 図６は、マーカーパッドデバイスの一例を示す。 図７Ａは、医用イメージングモダリティの概略例を示す。 図７Ｂは、医用イメージングモダリティの概略例を示す。 図８は、アフィン変換を生成するためのシステムの一例を示す。 図９は、１つ以上のアフィン変換の使用または修正を制御するレジストレーションマネージャの一例を示す。 図１０Ａは、アフィン変換に従って所与のドメインで対応付けられた情報のグラフィカルな表現を示す。 図１０Ｂは、アフィン変換に従って所与のドメインで対応付けられた情報のグラフィカルな表現を示す。
本開示は、広義には、トラッキングシステムをインターベンショナル画像空間に対応付けるための方法およびシステムに関する。本明細書で開示する手法は、多くの既存の手法と比較して、使用する電離放射線を抑えて実施することができるものである。
本方法では、２以上のモダリティで検出可能なフィデューシャルマーカーを含むマーカーデバイス（例えば、マルチモーダルマーカー）を利用する。例えば、マーカーデバイスは、医用イメージングモダリティによって生成される画像で見えるパターンを提供するための第１のフィデューシャルマーカーを含んでもよい。医用イメージングモダリティは、患者の一部と第１のフィデューシャルマーカーとを含む２次元投影として画像を提供するように構成された、フルオロスコピー、Ｘ線あるいは、超音波などの他のモダリティであってもよい。いくつかの例では、マーカーデバイスは、医用イメージングモダリティによって取得された後続の画像で第１のパターンが見えるか否かを選択するように構成可能であってもよい。また、マーカーデバイスは、３次元空間トラッキングシステムによって検出可能な１つ以上の第２のフィデューシャルマーカー（例えば、１つ以上のセンサー）を含む。第２のフィデューシャルマーカーは、第１のフィデューシャルマーカーの空間位置に対して既知の所定の空間位置および向きで配置されている。これは、医用イメージングモダリティによって取得された画像から識別可能である。
別の例として、イメージングモダリティを使用して、２次元画像投影を取得し、画像を（例えば、ＤＩＣＯＭ画像ファイルとして）メモリに格納することができる。各々の画像は、マーカーデバイスの第１のフィデューシャルマーカーに対応するマーカーパターンと患者とを含む視野を含む。したがって、マーカーは、取得時に、取得された画像内でマーカーパターンを可視化するために（例えば、放射線不透過性に）構成される。それぞれの画像は、各画像に含まれるパターンの複数の所定部分の位置を特定して識別するように処理される。マーカーパターンの識別された部分（例えば、点または領域）を、医用イメージングモダリティの３次元空間座標系における対応する３次元位置に変換する。アフィン変換を計算し、マーカーデバイスの第１および第２のフィデューシャルマーカーのそれぞれの間の空間的関係に基づいて、センサー位置を医用イメージングモダリティの座標系にマッピングする（または、イメージングモダリティの座標系におけるマーカーパターンの位置をトラッキングシステムの座標系にマッピングする）。上述したように、空間的関係は、トラッキングデバイスに実装された第２のフィデューシャルマーカーのセンサーと第１のフィデューシャルマーカーのパターンのジオメトリに基づいて、すでにわかっている（メモリに格納されている）。このように、変換によって、システムおよび方法が、少数（例えば、２つまたは３つ）の投影画像に基づいて、トラッキングシステムによって提供される位置と向きの情報を、医用イメージングモダリティの座標系に対応付ける（またはその逆をする）ことができ、その結果、多くの既存の手法（例えば、コーンビームコンピュータトモグラフィ）と比較して、電離放射線が大幅に低減される。
そのような変換の決定後、第２のアフィン変換を決定して、医用イメージングモダリティの空間座標系から、術前３次元画像スキャンに対応するものなどの別の３次元空間座標系にマッピングしてもよい。例えば、術前３次元画像スキャンは、コンピュータ断層撮影画像や磁気共鳴画像などの高解像度のイメージング技術であってもよく、これらは、処置の数時間前、数日前あるいは数週間前に実施されることもある。上述の医用イメージングモダリティを用いて取得された第１および第２（またはそれ以上）の投影画像を、術前３次元画像スキャンから作成された対応する投影（例えば、同一の角度に沿ったもの）に対応付けることによって、第２のアフィン変換を決定してもよい。
図１は、トラッキングシステムの座標系を医用イメージングモダリティ（例えば、フルオロスコピーまたはＸ線システム）の座標系に対応付けるための方法１００の一例を示す流れ図である。１つ以上のセンサーがマルチモーダルマーカーデバイスに統合されており、このマルチモーダルマーカーデバイスには、互いの空間的関係がわかっている複数のフィデューシャルマーカーが配置されている。フィデューシャルマーカーは、トラッキングシステムによって検出可能な一組のマーカー（例えば、センサー）と、イメージングモダリティによって取得される画像で見える別の一組のマーカー（例えば、放射線不透過性マーカー）とを含む。このため、本方法について、トラッキングシステムおよび医用イメージングモダリティとの関連で説明する。
一例として、医用イメージングモダリティは、２次元の画像投影を表す画像データ（例えば、ＤＩＣＯＭ画像ファイル）を提供するように構成されている。例えば、医用イメージングモダリティは、フラットパネルＸ線システム、バイプレーンＸ線システム、Ｃアームフルオロスコピー、超音波イメージングシステムなどのＸ線システムとすることができる。
別の例として、マーカーデバイスは、トラッキングシステムの座標系における３次元位置を示すように構成された１つ以上のセンサーを含む。例えば、トラッキングシステムは、電磁場を発生させる電磁トラッキングシステムである。各センサーは、電磁場に基づいてセンサー信号を提供し、このセンサー信号が各センサーの位置と向きの情報に変換される。電磁場トラッキングシステムの一例が、カナダ国オンタリオ州のNorthern Digital, Inc.から市販されている。トラッキングシステムは、各センサーがセンサー位置を実質的にリアルタイムで決定する（例えば、センサーの位置と向きとを記述するベクトルを提供する）のに十分な出力サンプルレート（例えば、６０サンプル／秒）で、トラッキングデータを提供することができる。このように、トラッキングシステムは、トラッキングデータの各フレームを、このトラッキングデータがトラッキングシステムで取得されるリアルタイムのトラッキングデータを同じように表すことができるような方法で、処理することができる。これは、本明細書で開示するようなイメージングシステムの座標系に対応付けることが可能なものである。いくつかの例では、各センサーをトラッキングシステムで検出し、センサーを５または６の自由度で追跡できるようにすることができる。他の例では、他のタイプのセンサーとトラッキングシステムを使用してもよい。
１０２において、方法１００は、医用イメージングモダリティを使用して第１の２次元投影画像を取得することを含む。したがって、第１の画像は、患者（患者の身体の着目領域）とマルチモーダルマーカーとを含む視野に対する２次元画像投影を含む。本明細書で開示するように、マルチモーダルマーカーは、トラッキングシステムの座標空間における３次元位置を決定するためのセンサーと、医用イメージングモダリティによって検出可能な第２のマーカー（例えば、フィデューシャルパターン）と、を含む。センサーと第２のマーカーは、位置同期（co-locate）されていてもよいし、アプリオリに互いに既知である一定の相対位置にあってもよい。
１０４において、本方法は、医用イメージングモダリティを用いて第２の２次元投影画像を取得することを含む。第２の画像も患者とマルチモーダルマーカーとを含むが、第１の画像が取得される角度とは合わない角度（例えば、約９０度以下）から取得される。画像の総数はいくつでもよいが、ＣＢＣＴなどの他のモダリティと比較して電離放射線への曝露を抑えるために、１０枚以下（例えば、５枚または２枚）など数を少なくしている。
一例として、イメージングモダリティは、右前斜位投影、左前斜位投影ならびに他の投影（例えば、前後方向の投影）を含む画像を（１０２および１０４で）取得するように構成することが可能である。各画像では、マルチモーダルマーカーデバイスの放射線不透過性フィデューシャルマーカーの所定部分が見えている。マルチモーダルマーカーデバイス上には、１つ以上の放射線不透過性フィデューシャルマーカーが存在してもよく、その各々が、トラッキングシステムによって検出可能な１つ以上のトラッキングセンサーそれぞれに対する位置と向きが既知である。本明細書で使用する場合、放射線不透過性とは、イメージングモダリティ（例えば、２次元（２Ｄ）医用イメージングモダリティ４５６）によって得られる対応する画像でオブジェクトを可視化できるだけの電離電磁放射を通すことができないことをいう。このため、放射線不透過性のオブジェクトは、イメージングモダリティに対して電波密度の高い材料となり得る。２枚の画像が取得される例では（例えば、前後方向および横方向の投影）、マルチモーダルマーカーデバイスは、互いに離れて配置された放射線不透過性マーカー（例えば、球体）を３つ含み、これらのマーカーは、各々の画像で全部が同一線上にくるわけではないように配置される場合がある。別の例では、１つのマーカーを使用することもできるが、医用イメージングモダリティでは、異なる相対投影角度から少なくとも３枚の画像を取得する必要がある。
１０６では、医用イメージングモダリティの座標系に対する各々のマルチモーダルマーカーの所定部分それぞれの３次元位置を、各々の画像における当該所定部分の位置に基づいて推定する。１０６では、トラッキングシステム空間で一組の点を提供するなど、マルチモーダルマーカーの所定部分それぞれの位置がトラッキング座標系でも決定される。このように、１つ以上のマーカーの同一部分（例えば、それぞれの空間ドメインにおける座標）が、術中画像の座標系とトラッキングシステムの座標系の両方で識別される。点の数は、使用するマーカーデバイスの構造や数に応じて変化する。
一例として、１０２および１０４でイメージングモダリティから取得された画像に表れるフィデューシャルマーカーは、長方形状（または他の識別可能な形状）で、その辺同士が交わる箇所にそれぞれ角があるマーカー境界線の形態の放射線不透過性材料を含んでもよい。例えば、放射線不透過性の材料は、ＡｒＵｃｏマーカー（例えば、Open Source Computer Vision Library: http://opencv.orgを参照のこと）の形態で、マーカーデバイスに設けられる。このようにして、確立された画像処理アルゴリズム（例えば、OpenCVライブラリのdetectMarkers()関数）をインプリメントし、ＡｒＵｃｏタイプのフィデューシャルマーカーが表現されたものを含む画像投影（１０２および１０４で取得された画像）から、それぞれの角を検出して識別することができる。また、この画像処理アルゴリズムによって、他の付随するパラメータを決定してもよい。このようなＡｒＵｃｏマーカーの例を、図３、図４Ａ、図７Ａおよび図７Ｂに示す。図７Ａおよび図７Ｂとそれに対応する説明は、医用イメージングモダリティの術中空間座標系と（術前画像空間の）術前空間座標系とを対応付けることができるようにするために、そのようなマーカーのそれぞれの角の位置を、術中医用イメージングモダリティの３次元座標でどのように特定するかという例を示すものである。
ＡｒＵｃｏタイプのマーカーに代えて用いるか、これに加えて用いることができる第２の例として、放射線不透過性材料は、球、円錐などの形をとるなど、マーカーデバイス上にあるかマーカーデバイスに埋め込まれた３次元オブジェクトの形であってもよい。球体は、投影２Ｄ画像の視野角とは関係なく、所与の同一形状を示すオブジェクトの一例である。この例では、球体は各々、マーカーデバイスに対して固定されたトラッキングセンサーの向きと座標に対する空間位置がわかっている。このため、それぞれの球体に対して固定された既知のオフセットを定義するセンサー用の変換を乗算することによって、各々の球体（または他の３Ｄオブジェクト）系の点を１０６においてトラッキング座標で計算することができる。各々が３つの球体を含む３つのマーカーデバイスが設けられた例では、１０６での推定により、トラッキングシステム座標系でそれぞれ３つの点からなる３つの組が決定される。同様に、各球体の座標位置は、（１０２および１０４で）取得される２Ｄ画像のそれぞれ（少なくとも２つ）について決定される。例えば、トラッキングセンサーごとに（例えば、本明細書で開示するClosestPoint法を用いて）球体の位置を特定し、この球体の位置（例えば、各球体の中心）を、それぞれのセンサーに接続されたメモリに格納する。結果として、トラッキング座標系で決定されるのと同数の点（各球体について）が得られる。
１０８では、アフィン変換を決定し、トラッキングシステムの座標系を医用イメージングモダリティ（本明細書では術中イメージングモダリティとも称する）の座標系にマッピングする。例えば、この変換は、トラッキング座標系と術中座標系の各々について１０６で提供された複数組の点を整合させるための位置同期法を適用することによって決定される。本明細書で開示するように（例えば、図８の変換計算器を参照）、位置同期法のいくつかの例として、誤差最小化関数（例えば、単一値分解）、基底変換関数ならびに１０８で変換を決定するのに用いられる場合がある他の関数があげられる。
いくつかの例では、医用イメージングモダリティは、回転中心を有するＣアームを含む。このため、医用イメージングモダリティの座標系の原点を、Ｃアームの回転中心として定義してもよい。医用イメージングシステムを、医用イメージングモダリティ（例えば、Ｃアーム）の空間座標系を定義するのに用いられる対応の空間パラメータを有するピンホールカメラとしてモデリングしてもよい。例えば、Ｃアームの空間パラメータ（例えば、回転中心、Ｃアームの回転角、Ｃアームの半径）を手動で測定してもよいし、製造業者から提供を受けてもよいし、ＤＩＣＯＭ画像ファイルのフィールドから誘導してもよい。１０８で決定される変換については、１０６で決定されるマーカーの所定部分について推定された位置に基づくものとすることが可能であり、マーカーの所定部分とマーカーデバイスのトラッキングセンサーとの間の固定された既知の空間的関係に基づくものとすることができる。一例として、マーカーの所定部分とセンサーとの間の固定された関係を製造時に決定し、マーカーに印刷してもよい。別の例として、関係を（例えば、手動で）測定し、１０８で変換を決定するようにプログラムされたコンピュータに（例えば、ユーザーインタフェースを介して）入力してもよい。他の例では、各点の座標を、各マーカーの（例えば、セントロイドまたは中心にある）ピクセル位置に応じて、画像データ内の相対座標として自動的に決定することができる。
図２は、医用イメージングモダリティの空間座標系から、（例えば、ＤＩＣＯＭまたは他の画像ファイルとして）メモリに格納されているものなどの先行する３次元画像の空間座標系に対応付けるための方法１５０の流れ図である。例えば、所定の患者について、３次元医用イメージングモダリティで、先行する３次元画像を術前に取得することができる。一例として、術前画像データを、対応する手術の数週間または数ヶ月前に取得し得るなど、患者の着目領域についての術前動脈ＣＴスキャンに対応させることができる。また、ＭＲＩ、超音波検査、陽電子放出断層撮影など、他のイメージングモダリティを用いて３次元画像データを提供することもできる。このようなスキャンは、プロテーゼの大きさを決定し、手術やその他の介入について計画するための手術のワークフローにおける術前計画では一般的なことである。
いくつかの例では、術前画像データに取り込まれた１つ以上の解剖学的構造を、術前画像の座標系におけるそれぞれの３次元モデルに変換してもよい。一例として、モデルは、管状の解剖学的構造（例えば、患者の血管）を数学的に記述する非明示的モデルであり、例えば、管状構造の中心線と表面とを含む。非明示的モデルは、細長い解剖学的構造に対するロフテッドＢスプライン（基底スプライン）関数に対応するなどの小さなパラメータセットを含むことができる。一例として、本明細書に援用する、発明の名称が「Automated Centerline Extraction Method and Generation of Corresponding Analytical Expression and Use Thereof」である米国特許公開第２０１１／００２６７９３号の開示内容に従って非明示的モデルデータを計算するように、解剖学的モデル作成装置をプログラムすることができる。管状の解剖学的構造に対する非明示的モデルを作成する別の例がAnalytical centerline extraction and surface fitting using CT scans for aortic aneurysm repair, Goel, Vikash R, Master's Thesis, Cornell University (2005)に開示されており、これも本明細書に援用する。他のタイプの幾何学表現を利用して、非明示的モデルを提供することも可能である。例えば、ロフト処理した楕円や三角メッシュを表すパラメータを生成し、３次元座標系で患者の着目される解剖学的構造を表す解剖学的モデルデータを提供することができる。生成された３次元メッシュを、術前イメージングモダリティによって取得された３次元画像に加えて、またはこれに代えて、メモリに格納してもよい。
１５２において、本方法は、取得された画像（例えば、１０２および１０４で取得された第１および第２の画像）に基づいて、先行する３次元画像ボリュームからそれぞれの順投影を作成することを含む。例えば、取得された２次元画像をそれぞれ、同様の角度からの対応する３次元順投影に対応付ける。一例として、フルオロスコピーシステムからの２次元のＬＡＯ画像およびＲＡＯ画像を（例えば、平行移動および回転によって）整合させることによって、そのような画像をＣＴ画像ボリュームから作成される対応のＬＡＯ投影およびＲＡＯ投影に対応付ける。投影角度のレジストレーションは、手動でのアライメントおよび／または自動で行うことができるものである。
術前３次元画像において解剖学的構造（例えば、血管）をモデリングするために３次元メッシュが生成される例では、そのメッシュを用いて、術中画像（例えば、１０２および１０４で取得されたもの）に対するアライメントを行ってもよい。術前画像から生成されたメッシュに、３Ｄ投影行列を適用してもよい。例えば、術中イメージングシステムをピンホールカメラとしてモデリングするための適切なパラメータがわかっている場合には、「透視」投影行列が使用される。他の例では、「平行」投影行列が使用される。マーカーデバイスが放射線不透過性の球体を含む例では、マーカーデバイス上の球体が術中イメージングシステムの焦点距離に対して近接しているため、平行投影行列の適用は十分に正確なものでなければならない。各々の術中画像についてＣアームの角度がわかっている場合、術中画像ごとにその角度に一致させてメッシュの１つを３Ｄ投影する。Ｃアームの角度がわからない場合、異なる角度から複数の３Ｄ投影を行うことができ、それぞれの３Ｄ投影とそれぞれの２次元画像との間の「ベストフィット」マッチを手動または自動で選択することができる。最終的には、各画像ペアが、２Ｄ術中画像と、３Ｄメッシュから作成された２Ｄ投影を含む画像ペアとなる。
１５４において、本方法は、（例えば、１０２および１０４で取得された）第１および第２の投影画像と１５２で決定された順投影それぞれとの対応付けに基づいて、医用イメージングモダリティの座標系から先行する３次元画像の座標系へのアフィン変換を決定することを含む。１５４で生成される変換を、メモリに格納することができる。
一例として、位置同期法を（例えば、プロセッサによって実行可能な命令として）実装し、術中２Ｄ画像空間から術前３Ｄ画像空間へ空間データをマッピングするための変換を１５４で決定することができる。例えば、変換は、位相同期法を適用し、２Ｄ医用画像および先行する３Ｄ画像の座標系の各々について識別される複数組の点を整合させることによって、１５４で決定される。（例えば、１５２で作成される）３Ｄ投影画像および（１０２および１０４で）２Ｄ医用イメージングモダリティによって取得される画像の各々において、１つ以上の組の共通の点が識別される。一例として、これらの点は、解剖学的ランドマークまたは他の識別可能なフィデューシャルポイント、例えば、背骨上の骨のランドマーク、両方の画像セット画像で見える小さな石灰化、あるいは、術中画像と術前画像の両方で造影剤が使用される場合などの血管上の点であってもよい。術前画像は３次元空間にあるため、ユーザーは直交する３つの断像（横断像、冠状断像、矢状断像）を用いて点を識別し、術前の３次元座標系におけるｘ，ｙ，ｚの位置を直接測定することができる。点の識別については、各画像において手動で行ってもよいし、自動特徴抽出方法を用いてもよい。
１０８での決定と同様に、１５４での変換を決定するのに用いることができる位置同期法の例として、誤差最小化関数（例えば、単一値分解）、基底変換関数ならびに他の関数があげられる。一例では、同一の関数を呼び出して、それぞれの変換を生成し、より効率的な格納と計算を提供することができる。
例として、１０８および１５４で生成された変換を各々別の変換として格納してもよいし、一緒に集約して、トラッキングシステムの座標系におけるセンサーのレジストレーションを、画像ボリュームの３Ｄ座標系で表現および視覚化できるようにしてもよい。（１０８および１５４で決定された）変換が別々に維持されている例では、他方に影響を与えることなく、変換の一方を変更する機能が得られる。例えば、第２の工程（例えば、フルオロスコピーから術前ＣＴ）が手動レジストレーションから自動レジストレーションに変更されても、手法は同じであり、図１の変換生成方法１００を変更する必要はない。また、図１の変換生成方法が変更されても、他の変換生成方法１５０を変更する必要はない。
これらの変換が別々に保たれている例では、トラッキングセンサーデータに基づいてオブジェクトをレンダリングする際に、２つの変換を乗算して出力の視覚化を生成してもよい。この乗算の詳細（例えば、順序や、変換と逆変換のどちらで乗算するか）は、断像がトラッキングシステム空間でレンダリングされているのか、イメージングモダリティ空間でレンダリングされているのか、先行する３次元（例えば、ＣＴ）画像空間の座標空間でレンダリングされているのかに依存する。
別の例として、術前ＣＴ空間で出力の視覚化をレンダリングするにあたり、骨と血管系のモデル（例えば、術前ＣＴ画像空間で作られたもの）を変換なしでレンダリングすることができる。ＥＭ空間で追跡されるもの（カテーテル、ガイドワイヤーなど）には、両方の変換が適用されることになろう。一例として、トラッキングシステム空間でレンダリングする場合、骨と血管系のモデル（術前のＣＴ画像空間にある）には両方の変換の逆を適用し、トラッキングシステム空間で追跡されるもの（例えば、カテーテル、ガイドワイヤーなど、１つ以上のトラッキングセンサーを有するオブジェクト）には、変換を適用しないことになろう。さらに、イメージングモダリティ空間でレンダリングする場合の例（例えば、フルオロスコピーなど）では、骨と血管系のモデルには、（例えば、１５４で決定される）イメージングモダリティから術前ＣＴへの変換の逆変換が適用され、トラッキングセンサーによってＥＭ空間で追跡されるもの（例えば、カテーテル、ガイドワイヤーなど）には、（例えば、１０８で決定される変換）トラッキングシステムからイメージングモダリティへの変換が適用されることになろう。
図３は、フィデューシャルマーカー２００の一例を示す。この例に示すように、このマーカーは黒と白の色（例えば、二値）を含み、周縁全体の各辺に沿って太くて黒い長方形（例えば、正方形）の境界線２０２を含む（例えば、ピクセル１つ以上の厚さなどの厚さｔを有する）。マーカー２００には、内側に、ＡｃＵｃｏライブラリによるものなど、マーカーの向きおよび／または他の識別的な特徴を定義するのに使用できる記号２０４および２０６が含まれる。
図４Ａおよび図４Ｂは、マルチモーダルマーカーデバイス２５０の一例を示す。マルチモーダルマーカーは、フルオロスコピーまたはＸ線などの２Ｄイメージングモダリティを用いた第１および第２の画像の取得時に、患者に対して固定することができるものである（例えば、患者の身体に取り付けられる）。図４Ａは、フィデューシャルマーカー（例えば、図３のマーカー）２５４を白色の境界線２５６より内側に配置して、白い境界線とフィデューシャルマーカーの太くて黒い境界線２５８（例えば、点線と白い境界線２５６との間にある）との間にコントラストを持たせたマーカーデバイス２５０の一方の側面２５２を示している。記号２６０および２６２は、黒い境界線２５８から離れてフィデューシャルマーカー上にある。
図４Ｂに示すように、マーカーデバイス２５０の他方の側面の表示面２６８から見て、１つ以上のトラッキングセンサー（例えば、電磁センサー）２７０が、フィデューシャルマーカー２５４の角２６４に対して既知の位置と向きで、マーカーデバイス２５０に取り付けられている。一例では、１つ以上のセンサー２７０は、それぞれ複数の自由度（ＤＯＦ）を空間的に検知することができる。例えば、１つ以上のセンサー２７０を、本明細書で開示するような６つのＤＯＦを検知するように構成することができる。一例では、電磁トラッキングシステムを使用して、センサー２７０の位置を特定することができる。トラッキングシステムを用いることで、電磁場に応答してセンサーからトラッキングシステムに提供されるセンサー信号に基づいて、各センサー２７０の位置と向きを決定することができるようになる。３次元空間における各センサーの位置と向きを追跡するように構成された他のタイプのトラッキングシステムは、他の実施例で使用することができる。
別の例では、マルチモーダルマーカーは、医用イメージングモダリティによって取得された画像においてマーカーの表現黒色部分を可視化するための材料（例えば、放射線不透過性造影剤などの放射線不透過性材料）を保持するように構成された側面２５２と２６８との間のチャンバーを含むことができる。本明細書で開示するように、このチャンバーは、マーカー用の長方形の太い境界線に沿って設けられ、この境界線を確めて、長方形の辺が交わる箇所にある角をそれぞれ定める。これらの角については、取得された画像内でその位置を特定することができる。
例えば、マーカーデバイス２５０は、放射線不透過性材料をチャンバーに出し入れすべくチャンバーにアクセスするための少なくとも１つのポートを（例えば、表面２５２、２６８または装置の縁のうちの１つに）含む。このため、各チャンバーを造影剤で満たし、医用イメージングモダリティによって取得される２次元投影画像に識別可能なパターンを作成することができる。このように、材料がチャンバー内にあるときは、フィデューシャルマーカーの黒い部分が医用画像で可視化され、放射線不透過性が取り除かれると、黒い部分が白い部分と実質的に同じように可視化される。例えば、処置時の以後のイメージングに干渉しないように、レジストレーションの完了後（例えば、少なくともレジストレーション用に１０２および１０４で画像が取得された後）、造影剤を排出し、場合によっては透明な生理食塩水でフラッシュする。他の例では、処置の最初から最後まで放射線不透過性材料はそのままである。
ＡｒｕＣｏタイプのマーカーを含まない組合せマーカーデバイス３００の他の例を、図５および図６に示す。図５の例では、組合せマーカーデバイス３００は、基板３０４内に配置された複数の放射線不透過性フィデューシャリーオブジェクト３０２を含む。放射線不透過性フィデューシャリーオブジェクト３０２は各々、所定の幾何学的形状を有し、互いに所定の幾何学的関係で配置されている。例えば、放射線不透過性オブジェクト３０２を、所定の角度方向と空間的配置（例えば、スカラの直角三角形として構成されている）になるような球体または他の形状として実装することができる。したがって、各々の放射線不透過性オブジェクト３０２を、対応する２Ｄイメージングモダリティ（例えば、フルオロスコピー、バイプレーンＸ線などによって処置の際に得られる）で識別することができる。
上述したように、それぞれのオブジェクト３０２に利用される材料の種類は、（例えば、１０２および１０４でのような２Ｄ画像を取得するために）用いられるイメージングモダリティに応じて変えることが可能である。マーカーデバイス３００は、マルチモーダルマーカーであり、そのようなものとして、トラッキングシステムによって検出可能な１つ以上のセンサー３０６も含む。各センサー３０６は、それぞれの放射線不透過性オブジェクト３０２の幾何学形状に対して所定の空間的関係（例えば、距離および角度）になるように寸法が設定され、位置が決められる。例えば、センサー３０６は、オブジェクト３０２の幾何学的関係に対して計算可能な一対の軸の原点に配置されるセンサーコイルを含むことができる。さらに、センサー本体３０６は、軸３０８に沿ってのびるか、それぞれの放射線不透過性オブジェクト３０２によって画定される軸と平行であっても構わない。
別の例として、マーカーデバイス３００は、（ページの）三角形に配置されたオブジェクト３０２の各々を通る仮想平面にあるＸ軸およびＺ軸を含む座標系を規定する。対応するＹ軸は、仮想平面（例えば、図が示されているページ）に垂直にのびている。一例では、座標系のＺ軸に沿ってセンサー３０６の中心軸３０８がのびている。このため、センサー３０６の本体の幾何学的中心によって、Ｘ軸、Ｙ軸およびＺ軸の原点を画定することができる。上述したように、センサー３０６は、Ｚ軸の長さに沿って軸方向にのびるとともにトラッキングシステムによって検出可能な細長いコイルとして構成することが可能である。例えば、センサー３０６は、マーカーデバイス３００内の導電性材料のコイルとして実装され、センサーコイルの中心は、対応する座標系の原点に位置する。センサー３０６は、トラッキングシステムのフィールドジェネレータによって生成される電磁場に応答して、トラッキングシステムに伝達されるセンサー信号（例えば、誘導電流信号）を提供する。
図６は、組合せマーカーの硬い表面から患者の皮膚を保護しやすくすることができるマーカーパッドデバイス３２０の例を示す。マルチモーダルマーカーデバイス３００（図５）を１つ以上パッドデバイス３２０内に実装し、トラッキングシステムのドメインと、本明細書で開示するような医用イメージングモダリティ（例えば、フルオロスコピーなど）のドメインとの間の位置同期を可能にすることができる。例えば、パッド３２０は、各組合せマーカーの周りにクッションを提供するために、ゲルまたは他の柔らかい可撓性材料を含むことが可能であり、このパッドを患者の皮膚に取り付けることができる。他の例では、患者の隣または下にあるベッドの上など、患者に隣接してパッド３２０を配置する。
図６の例では、パッドデバイス３２０は、互いに離れて分散されたマルチモーダルマーカー３００のうちの３つを含む。パッドデバイス３２０については、患者の動きに対応するための柔軟性を確保しつつ、組合せマーカーを各々実質的に一定の空間的関係で保持するように構成することができる。また、マーカーデバイス３００は各々、トラッキングシステムに接続することができる対応の接続部３１０を含む。例えば、トラッキングシステムを本明細書で開示するような電磁トラッキングシステムとして実装することが可能であり、よって、接続部１１５は各々、電気信号をトラッキングシステムに提供するための電気コネクタを含む。この電気信号は、トラッキングシステムの送信機によって生成され、それぞれの検知用コイルによって検出される電磁場に応答した誘導電流を表す。他の例では、接続を無線にすることが可能であり、センサーはＲＦまたは他の無線技術によって通信することができる。トラッキングシステムは、センサー信号を対応するトラッキングシステムデータに変換することができ、これらのデータは、本明細書で開示するように分析が可能なものである。例えば、トラッキングデータは、各マーカーデバイス１０４のトラッキングシステムの３次元座標空間（本明細書では、トラッキングシステム空間とも称する）における点の位置と向きを含むことができる。
図７Ａおよび図７Ｂは、異なる視野角から２次元投影画像を取得するのに用いることができる医用イメージングモダリティ３５０の概略例を示す。例えば、医用イメージングモダリティ３５０は、電離放射線を用いて画像を取得するように構成されている（例えば、フルオロスコピーシステム、携帯型Ｘ線システムなど）。この例では、イメージングモダリティ３５０は、移動可能なＣアーム３５６によって所望の間隔をあけた位置に取り付けられて保持される検出器３５４と電離放射線（例えば、Ｘ線）を提供するように構成されたＸ線源３５２とを含む。患者は、線源３５２と検出器３５４との間に、１つ以上のマーカーデバイス３６０と一緒に位置することができる。このため、取得された画像は、Ｃアームの位置を調整することによって調整される光源および検出器の視野角（例えば、軸）に応じて変化し得る。レジストレーションの目的で、視野角は、患者とマーカー３６０の着目領域を含む。
例として、レジストレーションは、Ｘ線源３５２を理想的なピンホールカメラとしてモデリングする（すなわち、歪みがないと仮定する）ことによって行われる。このとき、以下のような透視変換を用いて３Ｄ点を画像平面に投影することによって、得られる画像の各ピクセルが形成される。
(数１)
Figure 2023175771000002
ここで、Ｘ、Ｙ、Ｚは、共通座標系における３D点の座標である。
ｕおよびｖは、カメラ画像内の投影点の座標をピクセルで表したものである。
ｆｘおよびｆｙは、ピクセル単位での焦点距離である。
ｃｘおよびｃｙは、ピクセル単位での画像中心である。
ｒ＃＃およびｔ＃は、共通座標系におけるＸ線検出器の位置と向きをそれぞれ定義する。
ベクトルｖ１またはｖ２を作成するために、ＡｒＵｃｏマーカー３６０の角がｕおよびｖとして画像内に配置される。式の残りの値については、すでにわかっている空間位置に基づいて埋めることができ、焦点距離（例えば、検出器とそれぞれの角の位置との間の距離）でＸとＹについて式の解が求められる。その上で、この新しい位置から検出器の位置（ｐ１またはｐ２）を減算することで、ベクトルが計算される。例えば、点ｐ１およびｐ２は、２つの投影用にＣアームの回転角度に基づいて定義される。このとき、回転中心が原点として定義され、中心からの距離がＣアームの半径に基づいて定義される。カメラの焦点距離は、付随するＤＩＣＯＭファイルに保存されているピクセル寸法から計算される。
次に、２つのベクトルｖ１とｖ２の交点（または最接近）を見つけることで、ＡｒＵｃｏマーカーの角の３Ｄ位置を計算することができる。共通の座標系におけるＡｒＵｃｏマーカーの位置と向きについては、それぞれの画像でフィデューシャルマーカーに対して識別された４つの角の位置すべてについて、このプロセスを繰り返すことによって計算される。例として、２つのベクトルの交点（または最接近）を、最接近点関数をインプリメントしたベクトル交点関数に従って計算することができる。一例として、以下の疑似コードには、それぞれのベクトル間の最近接点を決定するための最近接点関数がインプリメントされている。
(数２)
vector ClosestPoint(vector p1, vector v1, vector p2, vector v2)
{
// 方向ベクトルを正規化
v1 = normalize(v1);
v2 = normalize(v2);

// ベクトルが合わない（平行でない）ことを確認
float projDir = dot_product(v1, v2);
if (absolute_value(projDir) > 0.9999f)
{
// ベクトルがほぼ一致（平行）
return p1;
}

// 最も近い点を計算
float proj1 = dot_product(p2 - p1, v1);
float proj2 = dot_product(p2 - p1, v2);
float dist1 = (proj1 - (projDir * proj2)) / (1 - (projDir * projDir));
float dist2 = (proj2 - (projDir * proj1)) / ((projDir * projDir) - 1);
vector pointOnLine1 = p1 + (dist1 * v1);
vector pointOnLine2 = p2 + (dist2 * v2);
return linear_interpolate(pointOnLine1, pointOnLine2, 0.5f);
}
図７Ａおよび図７Ｂの例では、マーカー３６０は、ＡｒｕＣｏタイプの放射線不透過性マーカー（例えば、マーカーデバイス２００、２５０に対応する）として示されている。
他の例では、本明細書で開示するように、異なるタイプのマーカーデバイスすなわち、マルチモーダルマーカーデバイス３００および組合せマーカーシステム３２０を医用イメージングモダリティで使用してもよい。このため、１０８および１５４で決定されたようなそれぞれの変換（例えば、それぞれの変換行列）を使用して、医用イメージングモダリティ３５０によって取得された２Ｄ画像データ、３Ｄ術前画像データおよびリアルタイムのトラッキングデータに基づいて、１つ以上の視覚化をレンダリングできるようにすることが可能である。
図８は、アフィン変換を生成するためのシステム４５０の一例を示す。この例では、アフィン変換は、本明細書で開示するように、トラッキングデータおよび画像データを対応付けるための変換行列４５２および４５３として示されている。システム４５０は、データおよび命令の文脈で説明されており、プロセッサは、データにアクセスし、命令を実行して、本明細書で開示する機能を実行することができる。このシステムを実装するために、すべての機能が必要になるとは限らないことを理解されたい。例えば、異なる変換行列をそれぞれ別に生成してもよい。これによって、イメージングモダリティが変更されたり、別の手段で置き換えられたりしたときに、システム全体を変更する必要がないという利点が得られる。
図８の例では、システム４５０は、第１の変換行列（Ｔ１）４５２を生成するように構成されている。変換行列Ｔ１は、トラッキングシステム４５４のトラッキングシステム座標系から医用イメージングモダリティ４５６の座標系（例えば、フルオロスコピーまたはＸ線などの２Ｄイメージングシステム）および／または医用イメージングモダリティの座標系からトラッキング座標系に変換するように構成されてもよい。トラッキングシステム４５４は、患者の身体４６０内に配置された１つ以上のセンサー４６６の位置および向きを表すトラッキングデータ４５８を提供するように構成されている。
組合せマーカーシステム４６２（例えば、図４Ａ、図４Ｂ、図５または図６の１つ以上のマルチモーダルマーカーを含む）を、患者の身体４６０に取り付けるか、患者の身体の近くに配置することができる。図８の例では、組合せマーカーシステム４６２は、トラッキングシステム４５４の座標系で組合せマーカーの位置を表すそれぞれのセンサー信号をトラッキングシステム４５４に提供する１つ以上のトラッキングセンサー４６４を含むことができる。一例では、１つ以上のオブジェクトセンサー４６６を、患者の身体４６０の中で移動可能なオブジェクトに対して貼り付けて、トラッキングシステムの座標系における当該センサーの位置を識別することができる。このように、当該オブジェクトセンサー４６６は各々、信号をトラッキングシステム４５４に提供することもでき、それに基づいて、トラッキングシステムがトラッキングシステム座標系における当該センサーの位置と向きを表す対応のトラッキングデータを計算することができる。上述したように、トラッキングデータ４５８は、マルチモーダルマーカーシステム４６２のマーカートラッキングセンサー４６４の位置と向きのみならず、それぞれのオブジェクトトラッキングセンサー４６６の位置と向きも表す。
いくつかの例では、例えば変換行列４５２を生成する目的で、センサー４６６および対応するトラッキングデータ４５８を無視（または省略）してもよい。他の例では、センサー４６６を患者の身体４６０に対して既知の位置（例えば、患者の体内または体外の既知の解剖学的ランドマーク）に配置し、（例えば、トラッキングデータ４５８によって提供される）トラッキングシステムの空間ドメインと、（例えば、既知の位置での２Ｄ画像データ４７２によって提供される）イメージングモダリティ４５６の空間ドメインの両方で、変換行列Ｔ１ ４５２の生成を容易にするのに使用することができる追加のデータポイントを提供してもよい。
例として、トラッキングシステム４５４は、４５５で示される非電離場を提供する送信機（例えば、電磁場発生器）を含むことができる。この電磁場は、対応するセンサー信号をトラッキングシステムに提供するために、各センサー４６４および４６６によって検出される。例示的なトラッキングシステム４５４のひとつに、カナダ国オンタリオ州のNorthern Digital, Inc.から市販されているＡＵＲＯＲＡ空間測定システムがある。トラッキングシステム４５４は、各センサーがセンサー位置を実質的にリアルタイムで決定できるようにする（例えば、センサーの位置と向きを記述するベクトルを提供する）のに十分な出力サンプルレート（例えば、６０サンプル／秒）で、トラッキングデータ４５８を提供することができる。本明細書で開示するように、生成された変換４５２および／または４５３の１つ以上を適用して所与のドメインでグラフィカルな表現を作り出しやすくすることで、別の座標系に対応付けが可能なトラッキングシステムによって取得されるリアルタイムのトラッキングデータを、トラッキングデータによって同様に表すことができるように、トラッキングデータの各フレームをトラッキング処理サブシステムによって処理することができる。
トラッキングシステム４５４は、センサーが取り付けられているオブジェクトのみならず組合せマーカーシステムについても視覚化とリアルタイムの位置決めの計算を可能にするために、トラッキングデータ４５８を出力サンプルレートで提供することができる。マーカーシステム４６２は患者の身体４６０に取り付けられているため、トラッキングシステム４５４は、トラッキングデータ４５８を計算してトラッキングシステム４５４の座標系における患者の身体４６０の動きに対応する。
センサー変換４７０は、トラッキングデータ４５８を、本明細書で開示するようなそれぞれのマーカーデバイスに実装された放射線不透過性のオブジェクトの位置に変換するように構成されている。各々の位置は、トラッキングシステムの座標空間における３Ｄ空間座標であり、マーカーデバイスがトラッキング空間で移動しない場合には一定のままであってもよく、マーカーデバイスがトラッキング空間で移動する場合には時間の経過とともに変化してもよい。例えば、トラッキング座標系において、所定のマーカーデバイスの放射線不透過性のマーカーは各々、マーカーシステム４６２の所定のマーカーデバイスの一部であるトラッキングセンサー４６４の位置から、決まった既知のオフセット（例えば、３Ｄベクトル）のところにある。上述したように、マーカーシステムは、ＡｒｕＣｏタイプ（例えば、デバイス２５０）または本明細書で開示するような他のマーカー構成（例えば、デバイス３００）などの複数のマルチモーダルマーカーデバイスを含んでもよい。
このため、センサー変換４７０は、トラッキングデータ４５８と、所定のマーカー位置に対する各トラッキングセンサーの既知のオフセットとに基づいて、トラッキングシステム空間内の点（例えば、マーカー位置の３Ｄ座標）を計算するように構成されている。ＡｒｕＣｏタイプのマルチモーダルマーカーデバイスの場合、本明細書で開示するような、マーカーの角にある一組の４つの点（例えば、emPoint_1, emPoint_2, emPoint_3, emPoint_4）をマーカー位置にすることができる。例えば、所定のマーカーデバイスに対して、以下のようにして、トラッキングセンサーの３Ｄ座標を含むセンサー変換（ＴＳ）とそれぞれのオフセットとを乗算することによって、トラッキングデータを提供するセンサーを有するＡｒＵｃｏタイプのマーカーデバイスの一組のマーカー位置について、トラッキングシステム空間内の点を計算すればよい。
(数３)
emPoint_1 = mult(Ts, offset_1),
emPoint_2 = mult(Ts, offset_2),
emPoint_3 = mult(Ts, offset_3),
emPoint_4 = mult(Ts, offset_4)
球状の放射線不透過性マーカーが配置されたマーカーデバイスの例（例えば、マーカーデバイス３００の場合）では、既知のオフセットの３つの球状マーカーが各トラッキングセンサーの周りに分散している。したがって、センサー変換によって、マーカーシステム４６２の各マーカーデバイスに対して３つの点が生成される。例えば、変換４７０は、以下のように、それぞれの変換をトラッキングセンサーの位置（例えば、３Ｄ点）とそれぞれの放射線不透過性オブジェクトとの間の既知のオフセット（例えば、３Ｄオフセットベクトル）と乗算することに基づいて、各々の球状マーカーの中心に位置する点（例えば、emPoint_1, emPoint_2, emPoint_3）にマーカー位置を決定することができる。
(数４)
emPoint_1 = mult(Ts, offset_1),
emPoint_2 = mult(Ts, offset_2),
emPoint_3 = mult(Ts, offset_3)
他の例では、放射線不透過性マーカーに関連する固定オフセットを有する他の確定的な位置を使用してもよい。いくつかの例では、点を、各マーカーデバイスについての一組の点に配置してもよいし、すべての点を含む単一の組として配置してもよい。
医用イメージングモダリティ４５６は、イメージングモダリティ４５６の視野４７５内のオブジェクトを表す少なくとも２つの画像（例えば、Ｘ線写真）を含む２Ｄ画像データ４７２を生成するように構成される。例えば、イメージングモダリティは、患者の身体４６０に対して異なる視野角で取得された少数（例えば、少なくとも２つ、３つまたは４つ）の２Ｄ投影画像の２Ｄ画像データを取得するように構成されたＸ線スキャナ（例えば、図７Ａおよび７Ｂのシステム）を含むことができる。画像データ４７２内の各画像は、マーカーシステム４６２の各マーカーデバイス内の放射線不透過性マーカーと、視野４７５内の患者の身体４６０の領域についての２Ｄ投影を含むように取得されてもよい。いくつかの例では、患者の身体の領域は、外科手術の一部のように、オブジェクトセンサー４６６が移動されるべき着目領域であってもよい。
マーカー識別機能４７４については、画像データ４７２で提供される各画像における各々の放射線不透過性マーカー（例えば、ＡｒｕＣｏマーカーおよび／または他のオブジェクトマーカー）の位置を特定するように構成することができる。放射線不透過性マーカーは、イメージングモダリティ４５６によって放出される電離放射線を通さないため、画像内で可視化される。ＡｒｕＣｏタイプのマーカーを含む組合せマーカーの例では、マーカー識別機能４７４によってＡｒｕｃｏ検出機能を呼び出して、それぞれのマーカーの位置を特定することができる。ＡｒＵｃｏタイプのマーカー以外の放射線不透過性のオブジェクトを含む組合せマーカーの例では、画像ピクセルの値に適用される画像閾値のみならず他の画像処理技術も用いて、当該各マーカーの周辺の位置を特定すればよい。マーカー識別機能４７４は、完全自動であってもよいおよび／またはマーカーを識別するユーザー入力に応答するユーザーインタラクティブなものであってもよい。識別されたマーカー（例えば、それぞれの画像のピクセル位置）を、後の処理のためにメモリに格納してもよい。
マーカー点生成器４７６は、画像データ４７２によって提供される（例えば、２つ以上の）画像で識別される各マーカーに対する空間座標を生成するようにプログラムされている。放射線不透過性のＡｒｕＣｏタイプのマーカーを含む組合せマーカーの例では、各マーカーの角のそれぞれについての空間座標すなわち、各トラッキングセンサーを囲む一組の４つの点の座標を生成することができる。球状の放射線不透過性マーカーの場合、各マーカーの空間座標は、マーカーシステム４６２に対する視野４７５によって提供される視野角についての各２Ｄ画像における円形投影の中心（例えば、マーカー識別機能４７４によって識別される周縁）の２Ｄ座標として提供される。所与のマーカーデバイスに対して３つの球状マーカーが各々のトラッキングセンサーを囲む例では、マーカー点生成器は、所与のマーカーデバイスに対する一組の３つの点の座標を提供するようにプログラムされている。放射線不透過性マーカーのタイプと構成にかかわらず、マーカー点生成器は、例えば、本明細書で開示するような最近接点関数を実行し、マーカーデバイスに対する各々のトラッキングセンサーの周囲にある一組の点を見つけるようにプログラムされている。
このようにして、各組の点を、それぞれ一緒にトラッキングセンサーの１つとリンクさせて関連付け、第１の変換行列４５２の生成を容易にすることができる。
第１の変換計算器４７８は、マーカー点生成器４７６によって提供された点とセンサー変換機能４７０によって提供された点とに基づいて、第１の変換行列４５２を計算するようにプログラムされている。例えば、変換計算器４７８を適用し、空間座標系で測定された一組の点を整合させる。それぞれのドメイン（例えば、トラッキングシステム座標系および医用イメージング座標系）における点を位置同期させるためのそのような位置同期アルゴリズムの例には、誤差最小化関数または基底変換関数を含んでもよい。
一例として、変換計算器４７８は、誤差最小化関数をインプリメントするようにプログラムされている。順序付けられた一組の点が与えられると、変換計算器４７８は、投影される位置と実測位置との間の距離を最小化する未知の変換Ｔ１を決定することになる。例えば、Ｔ１について、計算器４７８は、例えば以下のように、点間の距離を最小化する変換を見つけるようにプログラムされている。
(数５)
sum(n = 1..i, distance(mult(T1, imPoint_n), emPoint_n)^2)
ここで、ｎは、ｉ個の点のうち、所与の１つを示す（ｉは、所与のマルチモーダルマーカーの点の数である）。
imPoint_nは、点ｎの画像空間における空間座標である。
emPoint_nは、点ｎのトラッキング空間における空間座標である。
一例として、単一値分解または任意の数の誤差最小化アルゴリズムによって、誤差最小化の解を得ることができる。
別の例として、変換計算器４７８は、基底変換関数をインプリメントするようにプログラムされている。変換計算器４７８が一組の基底ベクトル（座標空間を定義するｘ，ｙ，ｚ単位ベクトル）を生成できるように使用される点が配置されている場合、誤差最小化よりも単純な解を得ることが可能である。例えば、変換計算器４７８は、誤差を最小化するのではなく、両方の座標系で基底ベクトルを求め、これらを共通の点に適用するようにプログラムされている。これは、上述した誤差最小化手法よりも計算効率がよいが、点を特定の配置にしなければならない。
例えば、基底ベクトルを明確に定めるのに必要な点の配置は、９０度の角度にある３つの点であり、どの点がどれであるかを変換計算器４７８が識別できる十分な追加情報（例えば、３つの点によって作られる三角形の辺の長さが異なるなど）が必要である。図３および図４に示すＡｒＵｃｏタイプのマーカーと、図５および図６に示すマーカーデバイスは、どちらもこのような基底変換関数を利用できるだけの点の配置があるが、図５および図６のマーカーデバイスでは、３点の各組を別個に扱う必要がある点に注意が必要である。
各座標系において、変換計算器４７８は、３つの点から基底ベクトルを構築する。例えば、point_1、point_2、point_3（例えば、直角三角形の頂点）が与えられると、point_2からpoint_1への１つのセグメントと、point_2からpoint_3への別のセグメントの２つのセグメントが提供される。これらのセグメントは、直角三角形の辺である。これらの点と線分から、以下の基底ベクトルが得られる。
(数６)
basis_z = normalize(point_1 - point_2)
basis_x = normalize(point_3 - point_2)
basis_y = cross(basis_x, basis_z)
基底ベクトルから、変換計算器４７８は、point_2の位置と向きを定義する行列（例えば、４×４行列）を以下のように生成するようにプログラムされている。
(数７)
matrix =
[ basis_x.x, basis_y.x, basis_z.x, point_2.x,
basis_x.y, basis_y.y, basis_z.y, point_2.y,
basis_x.z, basis_y.z, basis_z.z, point_2.z,
0, 0, 0, 1]
各々の座標系で定義されたその行列を用いて、変換計算器４７８は、２つの座標系間の変換４５２を計算することができる。例えば、変換行列Ｔ１の場合、次のようになる。
im_Matrixは、医用イメージング（例えば、術中）座標系の基底ベクトルから定義される行列である。
em_Matrixは、トラッキング座標系の基底ベクトルから定義される行列である。
以上より、変換計算器４７８は、基底ベクトルトラッキング行列（em_Matrix）と、基底ベクトルイメージング行列の逆行列（inv(im_Matrix)）とを乗算することによって、例えば以下のように変換行列（Ｔ１）４５２を決定することができる。
(数８)
T1 = mult(em_Matrix, inv(im_Matrix))
この変換行列をメモリに格納し、トラッキングシステム空間から医用イメージング空間への変換に使用してもよい。例えば、トラッキングデータの位置と向きの情報に変換Ｔ１を適用することによって、トラッキングデータ４５８によって表される、患者の体内にあるオブジェクトセンサー４６６の位置を、医用イメージング空間に対応付けることができる。
また、上述したように、システム４５０は、医用イメージング座標系と先行する３Ｄ画像データ４８０の座標系との間での変換に用いられる第２の変換（Ｔ２）４５３を生成するように構成されている。例えば、先行する３Ｄ画像データ４８０を、（例えば、ＤＩＣＯＭ画像セットとして）メモリに格納することができ、これには、医用イメージングモダリティ４５６がその画像データ４７２を生成するより前の時間（例えば、１０２および１０４で取得された画像に対応するような術中）に実行される、患者の身体４６０の術前スキャン（例えば、ＣＴスキャン）からの３Ｄ画像を含んでいてもよい。
投影計算器４８２（例えば、図２の機能１５２に対応する）は、２Ｄ画像データ４７２で提供される画像（例えば、２つの画像）の各々について、３Ｄ画像データ４８０からそれぞれの投影を生成するようにプログラムされている。投影計算器４８２は、３Ｄ画像空間からの点を２次元平面にマッピングする機能を実現している。例えば、投影計算器は、２Ｄ画像データ４７２の画像の視野角に合わせた順投影を作成する。３Ｄ投影の各々に対する投影角度のレジストレーションは、手動で整合されてもよいおよび／または自動でなされてもよい。一例では、２Ｄ画像の各々の角度を記述する画像データ４７２の画像メタデータ（２Ｄ画像データ４７２から投影計算器４８２への矢印に含まれるものとして示される）に基づくなどして、自動で整合がなされてもよい。例えば、メタデータは、ＡＰ、ＬＡＯ、ＲＡＯなどの投影角度を指定するデータを含み、そのようなデータは、Ｃアームの角度から既知である場合があるおよび／またはイメージングモダリティ４５６が画像データ４７２を取得する際にユーザー入力に応じて提供されてもよい。
いくつかの例では、本明細書で開示するように、３Ｄ画像データは、血管の表面に対応する３Ｄメッシュの形などで、１つ以上の解剖学的構造のモデルを含んでもよい。本明細書で開示するように、術前画像４８０から生成されたメッシュに、３Ｄ投影行列（例えば、透視投影行列または平行投影行列）を適用してもよい。各々の術中画像についてＣアームの角度がわかっている場合、術中画像ごとにその角度に一致させてメッシュの１つを３Ｄ投影する。Ｃアームの角度がわからない場合、異なる角度で複数の３Ｄ投影を行うことができ、それぞれの３Ｄ投影とそれぞれの２次元画像との間の「ベストフィット」マッチを手動または自動で選択することができる。
点生成器４８４は、（画像データ４７２によって提供される）２Ｄ画像および（投影計算器４８２によって提供される）３Ｄ画像の対応する投影の各々において空間点を生成するようにプログラムされている。球体またはマーカーの角を扱うのではなく、２Ｄ画像データ４７２と３Ｄ画像データ４８０の両方で見える特徴として、点が選択される。例えば、特徴は、背骨上の骨のランドマーク、両方のタイプの画像で見える小さな石灰化、あるいは、両方の画像で造影剤を使用する例では血管上の点などの構造を含む。他の例では、他の特徴またはフィデューシャルポイントを使用してもよい。いくつかの例では、自動化された方法（例えば、特徴抽出）で、一組の共通の特徴の位置を特定してもよい。これに加えてまたはこれに代えて、１つ以上のそのような特徴を、点生成器に提供される各々の画像および投影と相互作用するグラフィカルユーザーインタフェースなどのユーザーインタフェース４８６を介して提供されるユーザー入力に応答して選択してもよい。例えば、ユーザーは、異なる断像から視認可能な共通の構造を見て、各断像でそれを（例えば、マウス、キーボード、ジェスチャーまたは他の入力によって）選択／タグ付けすることができる。よって、点生成器４８４は、所定の特徴および／またはユーザーが選択した特徴ごとに点を生成する。このように、点生成器は、異なる一組のランドマークを使用するだけで、マーカー点生成器４７６と同様に動作する。画像データ４８０は３Ｄであるので、いくつかの例では、ユーザーは、画像データ４８０の３Ｄ画像の一組の直交する断像（例えば、横断像、冠状断像、矢状断像）を使用して、選択された点を（ユーザーインタフェース４８６を介して）識別し、画像データ４８０の３Ｄ座標系におけるｘ，ｙ，ｚの位置を直接測定することができる。これらの位置を各々２次元座標に変換し、そのようなものとして、投影計算器４８２によって提供される順投影で提供してもよい。点生成器４８４は、本明細書で開示する最近接点関数など、２Ｄ画像に適用されるベクトル交差関数を使用するなどして、２Ｄ画像データにおける同一の点の位置を特定するようにプログラムされている。
それぞれの画像で得られた点は、変換行列４５３を生成するために第２の変換計算器４８８に提供される。変換計算器４８８は、点生成器４８４によって提供された共通の点に基づいて、第２の画像データの画像を３Ｄ画像データ４８０と整合させる変換行列を計算するようにプログラムされている。例えば、変換計算器４８８は、第１の変換計算器４７８に関して説明した単一値分解など、共通の一組の点に関する誤差最小化関数をインプリメントすることによって、変換行列（Ｔ２）４５３を構築する。他の例では、他の誤差最小化関数を使用してもよい。
いくつかの例では、システム４５０は、補正ユーザーインタフェース４９２を介して提供される命令に基づいて、変換行列４５２および４５３の一方または両方を手動補正するようにプログラムされた、変換補正機能４９０を含む。手動補正は、Ｔ１またはＴ２変換の推定値を用いることが最初に提供された場合でも適用することができる。例えば、レジストレーションを実行するために機能する十分に定義された（例えば、背骨または他の解剖学的構造上の）一組の測定点が画像データ４８０および／または４７２に含まれていない場合、システムは、変換Ｔ２の初期推定値あるいは、いくつかの例では、任意のＴ２変換（例えば、「アイデンティティ」行列）を定義して、ユーザーが補正機能４９０によって補正を行い、最終的なＴ２変換４５３を生成できるようにしてもよい。
別の例として、図９を参照すると、レジストレーションマネージャ５００を使用して、変換Ｔ１ ４５２および変換Ｔ２ ４５３の一方または両方に対するユーザー補正をそれぞれ制御する。レジストレーションマネージャは、図８のシステム４５０の一部として実装されてもよいし、別個の機能として実装されてもよい。したがって、一貫性を保つために、図８で導入した機能とデータについては、同一の参照符号を使用して図９に示してある。そのような機能とデータに関する詳細な情報については、図８および対応する説明を参照することができる。
レジストレーションマネージャ５００は、変換補正機能４９０と、第１の変換行列４５２および第２の変換行列４５３とを含む。この例では、変換行列４５２および４５３の一方または両方が補正を必要としている可能性があるとする。補正の必要性は、変換を適用して２つ以上のドメインを対応付け、得られる視覚化をディスプレイ５１０上で提供することによって、ユーザーに明らかにされてもよい。例えば、出力生成器５１２は、トラッキングシステムの座標系、医用イメージングモダリティ４５６の座標系または先行する３Ｄ画像データ４８０の座標系であってもよいなど、選択されたドメインで視覚化をレンダリングするように構成されている。一例では、マネージャ５００は、ユーザーインタフェース５２０を介して受信したユーザー入力命令に基づいて、出力の視覚化がレンダリングされているドメインを選択するようにプログラムされたドメインセレクタ５１４を含む。
さらに、選択されたドメインに基づいて、レジストレーションマネージャは、それに応じて、変換Ｔ１またはＴ２の一方または両方を適用する。一例として、以下の表は、出力生成器５１２によって出力の視覚化がレンダリングされている選択されたドメインごとに、画像データ４７２、４８０またはトラッキングデータ４５８に、どの１つ以上の変換が適用されるかについての説明を提供する。さらに、表に記載したような１つ以上の変換またはその逆数を適用することなどにより、レジストレーションマネージャ５００を使用してそれぞれの変換の適用を制御し、選択されたドメインで視覚化を提供することができる。
Figure 2023175771000003
別の例として、変換４５２または４５３のいずれかに対する手動補正は、それぞれの変換行列Ｔ１またはＴ２に、以下のような補正行列を乗じることによって提供することができる。
(数９)
correctedT1 = mult(correctionMatrix, T1)または
correctedT2 = mult(correctionMatrix, T2)
一例として、サポートされている補正の種類には、以下のように行列の形で適用されるような、平行移動、回転および拡大縮小がある。
(数１０)
translationMatrix =
[ 1, 0, 0, translation.x,
0, 1, 0, translation.y,
0, 0, 1, translation.z,
0, 0, 0, 1]

scalingMatrix =
[ scale, 0, 0, 0,
0, scale, 0, 0,
0, 0, scale, 0,
0, 0, 0, 1]

rotationMatrix =（回転軸に依存）
別の例として、ユーザーは、ユーザーインタフェース５１６でマウスダウン／ドラッグ／マウスアップアクションまたは他のアクションを使用して、補正を開始する。補正行列で使用される値は、ディスプレイ５１０にビューポートを表示するのに使用される投影行列に基づいて設定されてもよい。例えば、ＡＰビューから開始される平行移動では、ＸおよびＹのマウスの動きがtranslation.xおよびtranslation.zの値の設定に使用されることになる（translation.yは０となる）。このような変換により、ユーザーは、単一の画像のビューを変更したり、複数の画像の配置を変更したりすることができる。
別の例として、例えば変換Ｔ２の補正を実施する場合、ドメインレジストレーションマネージャ５００は、変換Ｔ２を画像データ４７２に適用し、出力生成器５１２は、変換Ｔ２に基づいて３Ｄ画像で対応付けられた２Ｄ画像を視覚化する。ディスプレイ５１０に表示されるように、ランドマークが適切に配置されている場合、補正が必要ない場合もある。しかしながら、２Ｄ画像内のランドマークの位置が３Ｄ画像内のそれぞれの位置と整合しない場合、Ｔ２に補正が必要な場合がある。したがって、ユーザーは、ユーザーインタフェース５１６を介して、３Ｄ画像（またはその順投影）に対する２Ｄ画像のアライメントを調整することができる。上述したように、この調整には、入力装置（例えば、マウスまたはキーボード）を用いてユーザーインタフェースを介して入力された命令に応答してなされる、２次元での平行移動、回転および／または拡大縮小を含んでもよい。出力生成器５１２は、（例えば、リアルタイムで）各々の調整に応答し、ディスプレイに表示される視覚化を更新して、画像の対応付けを示すようにしてもよい。所望のアライメントが視覚化されると、ユーザーは、ユーザーインタフェース５１６を用いて変換Ｔ２に補正を適用してこれを保存し、更新されたＴ２を後で適用するためにメモリに格納することができる。同様のタイプの調整を、第１の変換行列４１２に対して行ってもよい。
図１０Ａおよび図１０Ｂは、（例えば、補正機能４９０によって実装される）手動補正の前後に１つ以上の変換を適用する方法で、ディスプレイ（ディスプレイ５１０）で生成および視覚化することができる画像６００および６３０の例を示す。図１０Ａおよび図１０Ｂの両方において、画像は、解剖学的特徴およびマーカー特徴の共通の組を含む。例えば、解剖学的特徴は、背骨６０２の椎骨を含む。所与のマーカーデバイス６１０についてのマーカー特徴は、ある画像空間（例えば、トラッキングシステム座標系）から別の画像空間（例えば、医用イメージング座標系）への変換を適用することによってマッピングされたトラッキングセンサー６０６と放射線不透過マーカー６０４の位置を含む。また、マーカーデバイス６１０についてのマーカー特徴は、元のドメイン（例えば、医用イメージング座標系）における放射線不透過性マーカー６０８の位置を含む。また、画像は、別のマーカーデバイス６１８についてのマーカー特徴も含み、これは、ある画像空間（例えば、トラッキングシステム座標系）から別の画像空間（例えば、医用イメージング座標系）への変換を適用することによってマッピングされたトラッキングセンサー６１４と放射線不透過性マーカー６１２の位置ならびに、それらの元のドメイン（例えば、医用イメージング座標系）における放射線不透過性マーカー６１６の位置を含む。
図１０Ａに示すように、レジストレーションの誤りがゆえ、それぞれのマーカー特徴と解剖学的特徴とが整合していない。本明細書で開示するように、出力ディスプレイはインタラクティブであり、複数の画像のうち１つを別異の画像に対して調整（例えば、平行移動、回転または拡大縮小）するのに使用することができるＧＵＩ要素６２２を含む。そのような調整に応答して、補正機能４９０は、本明細書で開示するような、１つ以上の補正行列を生成する。図１０Ｂにおいて可視化したもの６３０で示すような所望のアライメントが達成されると、ユーザーは、「フリーズ」ＧＵＩ要素（ボタン）６２４を作動させて適切な変換に補正を適用することができる。更新後の変換については、後の適用のためにメモリに格納することが可能である。
いくつかの例では、ＡＰ画像を用いて第１のステップを実行した後、システムは、患者の左から右、頭から足への２次元のレジストレーションを行わなければならない。上記の手順を横方向または斜め方向のビューで繰り返し、第３の次元すなわち患者の前から後を得ることができる。さらに例を挙げると、ユーザーが大動脈分岐部やその他の識別可能なランドマークの近くでカテーテルやガイドワイヤー（例えば、トラッキングセンサーを含む）を前進させた場合、第２の２Ｄ医用画像がなくても、その第３の次元で大まかなレジストレーションを実行することができる。
例として、２次元画像データは、マルチモーダルマーカーの複数の所定部分が２次元画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのトラッキングセンサーに対する位置と向きが既知であるようにして、（例えば、術中に）医用イメージングモダリティによって患者とマルチモーダルマーカーとを含むように取得された１つの２次元画像を含んでもよい。マルチモーダルマーカーの所定部分の３次元位置は、２次元画像の各々の１つ（または複数）におけるマークの所定部分のそれぞれの位置に応じて、医用イメージングモダリティの座標系に対して推定されてもよい。マルチモーダルマーカーのそれぞれの所定部分について推定された位置と、少なくとも１つのトラッキングセンサー（例えば、既知のランドマークにおけるカテーテルまたはガイドワイヤー上のトラッキングセンサーを含む）とマルチモーダルマーカーの所定部分との間の既知の（アプリオリな）関係とに基づいて、トラッキングシステムの３次元座標系を医用イメージングモダリティの３次元座標系に対応付けるためのアフィン変換が決定される。したがって、第２の２Ｄ画像を省略しても、レジストレーションを可能にすることができる。
上述した構造的および機能的な説明を考慮すると、本明細書で開示するシステムおよび方法の一部を、方法、データ処理システムまたは非一過性のコンピュータ読み取り可能な媒体などのコンピュータプログラム製品として実現してもよいことを、当業者であれば理解するであろう。したがって、本明細書に開示する手法のこれらの部分は、完全にハードウェアの実施形態、（例えば、１つ以上の非一過性の機械読み取り可能な媒体において）完全にソフトウェアの実施形態またはソフトウェアとハードウェアを組み合わせた実施形態の形をとることができる。さらに、本明細書で開示するシステムおよび方法の一部は、コンピュータ読み取り可能なプログラムコードを有するコンピュータで利用できる記憶媒体に格納されたコンピュータプログラム製品であってもよい。静的記憶装置および動的記憶装置、ハードディスク、光学記憶装置および磁気記憶装置を含むがこれらに限定されるものではない、任意の適切なコンピュータ読み取り可能な媒体を用いることができる。
以上、いくつかの実施形態について、方法、システムおよびコンピュータプログラム製品のブロック図を参照して、本明細書で説明してきた。図示のブロックおよび図示のブロックの組み合わせを、コンピュータで実行可能な命令によって実施できることが、理解されるであろう。これらのコンピュータで実行可能な命令を、汎用コンピュータ、専用コンピュータまたは他のプログラム可能なデータ処理装置（または装置と回路の組み合わせ）の１つ以上のプロセッサに提供し、このプロセッサを介して実行される命令が１つ以上のブロックで指定された機能を実現するようなマシンを作ることができる。
これらのコンピュータで実行可能な命令を、コンピュータまたは他のプログラム可能なデータ処理装置に特定の方法で機能するように指示することができるコンピュータ読み取り可能なメモリに格納し、コンピュータ読み取り可能なメモリに格納された命令が、１つ以上のフローチャートブロックで指定された機能を実現する命令を含む製品となるようにすることもできる。また、コンピュータプログラム命令を、コンピュータまたは他のプログラム可能なデータ処理装置にロードし、コンピュータまたは他のプログラム可能な装置上で一連の動作ステップを実行させ、コンピュータ実装プロセスを生成して、コンピュータまたは他のプログラム可能な装置で実行される命令が、１つ以上のフローチャートブロックで指定された機能を実現するためのステップを提供するようにすることができる。
以上説明したものは例である。もちろん、考えられるすべての構成要素または方法論の組み合わせを説明することは不可能であるが、当業者であれば、さらに多くの組み合わせや並べ替えが可能であることを認識するであろう。したがって、本発明は、添付の特許請求の範囲を含めて、本願の範囲内に包含されるそのような変更、改変および変形をすべて包含することを意図している。本明細書で使用する場合、「含む（includes）」という表現は、含むがこれに限定されるものではないことを意味する。「基づく」という表現は、少なくとも部分的に基づくことを意味する。さらに、本開示または特許請求の範囲に「a（１つの）」、「an（１つの）」、「a first（第１の）」、「another（別の）」要素またはそれらの等価物が記載されている場合、２以上のそのような要素を要求することも除外することもなく、１以上のそのような要素を含むと解釈されるべきである。

Claims (28)

  1. 医用イメージングモダリティを使用して、患者とマルチモーダルマーカーとを含む２次元視野を含む第１の２次元投影画像を取得する工程と、
    前記医用イメージングモダリティを使用して、前記患者と前記マルチモーダルマーカーとを含む、前記第１の投影画像とは合わない角度でのものである第２の２次元投影画像を取得する工程と、
    前記第１の投影画像および前記第２の投影画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのセンサーに対する位置と向きが既知である、前記マルチモーダルマーカーの複数の所定部分の、前記第１の投影画像および前記第２の投影画像の各々における位置に応じて、前記医用イメージングモダリティの座標系に対する前記マルチモーダルマーカーの前記複数の所定部分の３次元位置を推定する工程と、
    前記マルチモーダルマーカーの前記複数の所定部分それぞれの前記推定された位置と、前記少なくとも１つのセンサーと前記マルチモーダルマーカーの前記複数の所定部分との間の既知の関係とに基づいて、前記トラッキングシステムの３次元座標系を前記医用イメージングモダリティの３次元座標系に対応付けるためのアフィン変換を決定する工程と、を含む、方法。
  2. 前記アフィン変換は、第１のアフィン変換であり、前記方法は、
    前記第１の２次元投影画像および前記第２の２次元投影画像の各々に対応する先行する３次元画像から複数の順投影をそれぞれ作成する工程と、
    前記第１の投影画像および前記第２の投影画像を、それぞれ前記複数の順投影と対応付けすることに基づいて、前記医用イメージングモダリティの前記座標系から前記先行する３次元画像の前記座標系への第２のアフィン変換を決定する工程と、
    をさらに含む、請求項１に記載の方法。
  3. 前記先行する３次元画像の前記座標系で前記患者の解剖学的構造を表現するために、前記先行する３次元画像から３次元メッシュモデルが作成され、
    前記先行する３次元画像からの前記それぞれの順投影は、前記メッシュモデルに基づいて決定される、請求項２に記載の方法。
  4. 前記第２のアフィン変換を決定する工程は、
    前記先行する３次元画像と前記第１の投影画像および前記第２の投影画像の各々において、共通する一組の特徴を識別する工程と、
    前記医用イメージングモダリティの前記座標系および前記先行する３次元画像の前記座標系において、前記共通する一組の特徴のうちの少なくとも一部の位置を決定する工程と、
    前記医用イメージングモダリティの前記座標系または前記先行する３次元画像の前記座標系のいずれか一方で前記共通する一組の特徴に対して決定された位置をアライメントするように構成されたそれぞれの変換行列として、前記第２のアフィン変換を計算する工程と、
    をさらに含む、請求項２または３に記載の方法。
  5. 前記第１のアフィン変換は、誤差最小化関数または基底変換関数のいずれか一方によって計算され、
    前記第２のアフィン変換は、誤差最小化関数によって計算される、請求項２、３または４に記載の方法。
  6. 前記マルチモーダルマーカーは、チャンバーと、前記チャンバーにアクセスするための少なくとも１つのポートと、を含み、前記チャンバーは、各々のセンサーに対して所定の空間位置および向きにあり、
    前記第１の投影画像および前記第２の投影画像の前記取得の際に、前記マルチモーダルマーカーが患者に対して固定され、
    前記マルチモーダルマーカーは、前記第１の投影画像および前記第２の投影画像の各々で前記チャンバーを可視化するために、前記第１の投影画像および前記第２の投影画像の前記取得の際に前記チャンバー内に造影剤を含み、
    前記方法は、
    前記第１の投影画像および前記第２の投影画像の前記取得よりも前に、前記ポートを経由して前記チャンバーに造影剤を加え、前記医用イメージングモダリティによって取得される画像で前記チャンバーを可視化する工程と、
    前記第１の投影画像および前記第２の投影画像の前記取得の後、前記医用イメージングモダリティによって取得される後続の画像で前記チャンバーが見えなくなるように前記チャンバーから前記造影剤を除去する工程と、
    をさらに含む、請求項１または２に記載の方法。
  7. 前記医療用イメージングモダリティは、電離放射線を用いて画像を取得するように構成されている、請求項１～６のいずれか１項に記載の方法。
  8. 前記医用イメージングモダリティは、回転中心を有するＣアームを含み、前記方法は、前記Ｃアームの前記回転中心に関係づけて前記医用イメージングモダリティの前記座標系の原点を定義することをさらに含む、請求項７に記載の方法。
  9. 前記第１の投影画像および前記第２の投影画像が、右前斜位投影、左前斜位投影および前後方向の投影からなる群から選択されることを特徴とする請求項１～８のいずれか１項に記載の方法。
  10. 前記合わない角度は９０度以下である、請求項１～９のいずれか１項に記載の方法。
  11. 前記先行する３次元画像は、前記患者のコンピュータ断層撮影画像および磁気共鳴画像のうちのいずれか一方を含む、請求項２、３、４、５、６、７、８、９または１０に記載の方法。
  12. 請求項１～１１のいずれか１項に記載の方法を実行するようにプログラムされた、１つ以上の非一過性のコンピュータ読み取り可能な媒体。
  13. データとプロセッサによって実行可能な命令とを格納するための１つ以上の非一過性のコンピュータ読み取り可能な媒体を含むシステムであって、
    前記データは、
    患者について取得された、先行する３次元画像データと、
    患者とマルチモーダルマーカーとを含むように医用イメージングモダリティによって取得された少なくとも１つの２次元画像を含む２次元画像データと、を含み、
    前記マルチモーダルマーカーの複数の所定部分は、前記少なくとも１つの２次元画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのトラッキングセンサーに対する位置と向きが既知であり、
    前記命令は、
    前記少なくとも１つの２次元画像の各々における前記複数の所定部分のそれぞれの位置に応じて、前記医用イメージングモダリティの座標系に対する前記マルチモーダルマーカーの複数の所定部分の３次元位置を推定する工程と、
    前記マルチモーダルマーカーの前記複数の所定部分それぞれの前記推定された位置と、前記少なくとも１つのトラッキングセンサーと前記マルチモーダルマーカーの前記複数の所定部分との間の既知の関係とに基づいて、前記トラッキングシステムの３次元座標系を前記医用イメージングモダリティの３次元座標系に対応付けるためのアフィン変換を決定する工程と、
    を含む方法を実行するようにプログラムされている、システム。
  14. 前記少なくとも１つの２次元画像が第１の２次元画像であり、
    前記２次元画像データは、前記医用イメージングモダリティによって取得された第２の２次元画像をさらに含み、前記第２の２次元画像は、前記患者と前記マルチモーダルマーカーとを含み、前記第１の２次元画像とは合わない角度でのものである、請求項１３に記載のシステム。
  15. 前記アフィン変換は第１のアフィン変換であり、前記命令によって実行される前記方法は、
    各々の２次元画像に対応する先行する３次元画像から複数の順投影をそれぞれ作成する工程と、
    前記２次元画像の各々を前記複数の順投影にそれぞれ対応付けることに基づいて、前記医用イメージングモダリティの前記座標系と前記先行する３次元画像の前記座標系との間の第２のアフィン変換を決定する工程と、
    をさらに含む、請求項１３または１４に記載のシステム。
  16. 前記先行する３次元画像の前記座標系で前記患者の解剖学的構造を表現するために、前記先行する３次元画像から３次元メッシュモデルが作成され、
    前記先行する３次元画像からの前記それぞれの順投影は、前記メッシュモデルに基づく投影として決定される、請求項１５に記載のシステム。
  17. 前記第２のアフィン変換を決定する工程は、
    前記２次元画像の各々と前記先行する３次元画像において、共通する一組の特徴を識別する工程と、
    前記医用イメージングモダリティの前記座標系および前記先行する３次元画像の前記座標系において、前記共通する一組の特徴のうちの少なくとも一部の位置を決定する工程と、
    前記医用イメージングモダリティの前記座標系または前記先行する３次元画像の前記座標系のいずれか一方で前記共通する一組の特徴に対して決定された位置をアライメントするように構成されたそれぞれの変換行列として、前記第２のアフィン変換を計算する工程と、
    をさらに含む、請求項１５または１６に記載のシステム。
  18. 前記第１のアフィン変換は、誤差最小化関数または基底変換関数のいずれか一方によって計算され、
    前記第２のアフィン変換は、誤差最小化関数によって計算される、請求項１５、１６または１７に記載のシステム。
  19. マルチモーダルマーカーをさらに備え、前記マルチモーダルマーカーは、チャンバーと、前記チャンバーにアクセスするための少なくとも１つのポートと、を含み、前記チャンバーは、前記少なくとも１つのトラッキングセンサーに対して所定の空間位置および向きにあり、
    前記第１の画像および前記第２の画像の前記取得の際に、前記マルチモーダルマーカーは患者に対して固定され、
    前記マルチモーダルマーカーは、前記第１の画像および前記第２の画像の各々で前記チャンバーを可視化するために、前記第１の画像および前記第２の画像の前記取得の際に前記チャンバー内に流体の造影剤を含む、
    請求項１３、１４または１５に記載のシステム。
  20. 前記システムは、前記医療用イメージングモダリティをさらに備え、前記医用イメージングモダリティは、電離放射線を用いて前記少なくとも１つの２次元画像の各々を取得するように構成されている、請求項１３に記載のシステム。
  21. 前記医用イメージングモダリティは、回転中心を有するＣアームを含み、前記医用イメージングモダリティの座標系の原点が、前記Ｃアームの前記回転中心に関係づけて定義される、請求項２０に記載のシステム。
  22. 前記少なくとも１つの２次元画像は、右前斜位投影、左前斜位投影および前後方向の投影からなる群から選択される２つの画像を含む、請求項１３、１４、１５、１６、１７、１８、１９、２０または２１に記載のシステム。
  23. 前記合わない角度は９０度以下である、請求項１３、１４、１５、１６、１７、１８、１９、２０、２１、２２のいずれか１項に記載のシステム。
  24. 医用イメージングモダリティを使用して、患者とマルチモーダルマーカーとを含む２次元視野を含む第１の２次元投影画像を取得する工程と、
    前記医用イメージングモダリティを使用して、前記患者と前記マルチモーダルマーカーとを含む、前記第１の投影画像とは合わない角度でのものである第２の２次元投影画像を取得する工程と、
    前記第１の２次元投影画像および前記第２の２次元投影画像の各々に対応する先行する３次元画像から複数の順投影をそれぞれ作成する工程と、
    前記第１の投影画像および前記第２の投影画像を前記それぞれの順投影と対応付けることに基づいて、前記医用イメージングモダリティの座標系から前記先行する３次元画像の座標系へのアフィン変換を決定する工程と、を含み、
    前記マルチモーダルマーカーの複数の所定部分は、前記第１の投影画像および前記第２の投影画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのセンサーに対する位置と向きが既知である、方法。
  25. 前記第１の２次元投影画像および前記第２の２次元投影画像の各々における前記複数の所定部分の位置に応じて、前記医用イメージングモダリティの前記座標系に対する前記マルチモーダルマーカーの複数の所定部分の３次元位置を推定する工程と、
    前記マルチモーダルマーカーの前記複数の所定部分それぞれの前記推定された位置と、前記少なくとも１つのセンサーと前記マルチモーダルマーカーの前記複数の所定部分との間の既知の関係とに基づいて、前記トラッキングシステムの３次元座標系を前記医用イメージングモダリティの３次元座標系に対応付けるための第２のアフィン変換を決定する工程と、をさらに含む、請求項２４に記載の方法。
  26. データとプロセッサによって実行可能な命令とを格納するための１つ以上の非一過性のコンピュータ読み取り可能な媒体を含むシステムであって、
    前記データは、
    患者について取得された、先行する３次元画像データと、
    患者とマルチモーダルマーカーとを含むように医用イメージングモダリティによって取得された少なくとも１つの２次元画像を含む２次元画像データと、を含み、
    前記マルチモーダルマーカーの複数の所定部分は、前記少なくとも１つの２次元画像において可視であり、かつ、トラッキングシステムによって検出可能な少なくとも１つのトラッキングセンサーに対する位置と向きが既知であり、
    前記命令は、
    各々の２次元画像に対応する、前記先行する３次元画像データから複数の順投影をそれぞれ作成する工程と、
    各々の２次元画像を前記複数の順投影にそれぞれ対応付けることに基づいて、前記医用イメージングモダリティの前記座標系と前記先行する３次元画像の前記座標系との間のアフィン変換を決定する工程と、
    を含む方法を実行するようにプログラムされている、システム。
  27. 前記アフィン変換は第１のアフィン変換であり、前記命令によって実行される前記方法は、
    前記少なくとも１つの２次元画像の各々における前記複数の所定部分のそれぞれの位置に応じて、前記医用イメージングモダリティの座標系に対する前記マルチモーダルマーカーの複数の所定部分の３次元位置を推定する工程と、
    前記マルチモーダルマーカーの前記複数の所定部分それぞれの前記推定された位置と、前記少なくとも１つのトラッキングセンサーと前記マルチモーダルマーカーの前記複数の所定部分との間の既知の関係とに基づいて、前記トラッキングシステムの３次元座標系を前記医用イメージングモダリティの３次元座標系に対応付けるための第２のアフィン変換を決定する工程と、
    をさらに含む、請求項２６に記載のシステム。
  28. 前記少なくとも１つの２次元画像が第１の２次元画像であり、
    前記２次元画像データは、前記医用イメージングモダリティによって取得された第２の２次元画像をさらに含み、前記第２の２次元画像は、前記患者と前記マルチモーダルマーカーとを含み、前記第１の２次元画像とは合わない角度でのものである、請求項２６または２７に記載のシステム。
JP2023147235A 2019-04-04 2023-09-11 ２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション Pending JP2023175771A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962829394P 2019-04-04 2019-04-04
US62/829,394 2019-04-04
JP2021559271A JP7440534B2 (ja) 2019-04-04 2020-04-06 ２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション
PCT/US2020/026865 WO2020206421A1 (en) 2019-04-04 2020-04-06 Spatial registration of tracking system with an image using two-dimensional image projections

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021559271A Division JP7440534B2 (ja) 2019-04-04 2020-04-06 ２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション

Publications (1)

Publication Number Publication Date
JP2023175771A true JP2023175771A (ja) 2023-12-12

Family

ID=72662360

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021559271A Active JP7440534B2 (ja) 2019-04-04 2020-04-06 ２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション
JP2023147235A Pending JP2023175771A (ja) 2019-04-04 2023-09-11 ２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021559271A Active JP7440534B2 (ja) 2019-04-04 2020-04-06 ２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション

Country Status (6)

Country Link
US (1) US11393110B2 (ja)
EP (1) EP3946062A4 (ja)
JP (2) JP7440534B2 (ja)
CN (1) CN113573641A (ja)
CA (1) CA3131071A1 (ja)
WO (1) WO2020206421A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11918406B2 (en) * 2019-02-15 2024-03-05 Koninklijke Philips N.V. Marker registration correction by virtual model manipulation
CA3210881A1 (en) * 2019-09-26 2021-03-26 Ascension Technology Corporation Reconfigurable transmitter array for electromagnetic tracking systems
US11253216B2 (en) * 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
CN115516513A (zh) * 2020-05-06 2022-12-23 奇跃公司 基于卷积的相机和显示器校准
CN112750520A (zh) * 2020-12-31 2021-05-04 四川桑瑞思环境技术工程有限公司 一种信息处理系统
CN115137481A (zh) * 2021-02-02 2022-10-04 武汉联影智融医疗科技有限公司 手术导航的配准方法、装置、计算机设备和存储介质
CN113384361B (zh) * 2021-05-21 2022-10-28 中山大学 一种视觉定位方法、系统、装置及存储介质
CN113764076B (zh) * 2021-07-26 2024-02-20 北京天智航医疗科技股份有限公司 检测医疗透视图像中标记点的方法、装置及电子设备
CN113823399B (zh) * 2021-09-18 2023-08-22 武汉联影智融医疗科技有限公司 二维医学影像设备的摆位控制方法、装置和计算机设备
CN113842216B (zh) * 2021-12-01 2022-02-22 极限人工智能有限公司 一种上下牙对合模拟方法、装置及电子设备
CN114366300B (zh) * 2021-12-24 2024-02-09 苏州国科康成医疗科技有限公司 一种手术图像空间映射装置、设备以及方法
CN114404041B (zh) * 2022-01-19 2023-11-14 上海精劢医疗科技有限公司 C型臂成像参数校准系统及方法
CN117357250A (zh) * 2022-06-28 2024-01-09 上海微创电生理医疗科技股份有限公司 X射线图像与三维标测图像的融合方法和介入手术系统
CN115063290B (zh) * 2022-08-17 2022-11-22 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、系统及存储介质
CN115205417B (zh) * 2022-09-14 2023-03-14 首都医科大学附属北京安贞医院 一种投影变换的计算方法、装置、设备及存储介质

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6782287B2 (en) * 2000-06-27 2004-08-24 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for tracking a medical instrument based on image registration
US6533455B2 (en) 2000-08-31 2003-03-18 Siemens Aktiengesellschaft Method for determining a coordinate transformation for use in navigating an object
US7840393B1 (en) 2000-10-04 2010-11-23 Trivascular, Inc. Virtual prototyping and testing for medical device development
FR2822273B1 (fr) 2001-03-13 2003-07-11 Ge Med Sys Global Tech Co Llc Procede d'etalonnage pour la reconstruction de modelisations tri-dimensionnelles a partir d'images obtenues par tomographie
US20030011624A1 (en) 2001-07-13 2003-01-16 Randy Ellis Deformable transformations for interventional guidance
DE10201644A1 (de) * 2002-01-17 2003-08-07 Siemens Ag Registrierungsprozedur bei projektiver intraoperativer 3D-Bildgebung
DE10202091B4 (de) 2002-01-21 2005-09-08 Siemens Ag Vorrichtung zur Ermittlung einer Koordinatentransformation
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
JP4415762B2 (ja) * 2003-06-10 2010-02-17 株式会社島津製作所 断層撮影装置
EP1774454A2 (en) 2004-06-02 2007-04-18 M2S, Inc. Anatomical visualization and measurement system
WO2006020792A2 (en) 2004-08-10 2006-02-23 The General Hospital Corporation Methods and apparatus for simulation of endovascular and endoluminal procedures
WO2007025081A2 (en) 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
US7950849B2 (en) * 2005-11-29 2011-05-31 General Electric Company Method and device for geometry analysis and calibration of volumetric imaging systems
JP4491420B2 (ja) 2006-01-12 2010-06-30 株式会社日立メディコ 手術支援装置及び手術支援撮像装置
JP4836122B2 (ja) 2006-02-09 2011-12-14 国立大学法人浜松医科大学 手術支援装置、方法及びプログラム
US7556428B2 (en) 2006-04-14 2009-07-07 Xoran Technologies, Inc. Surgical navigation system including patient tracker with removable registration appendage
JP2008061858A (ja) 2006-09-08 2008-03-21 Toshiba Corp 穿刺治療ナビゲーション装置
US8248413B2 (en) 2006-09-18 2012-08-21 Stryker Corporation Visual navigation system for endoscopic surgery
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
WO2008035271A2 (en) 2006-09-20 2008-03-27 Koninklijke Philips Electronics N.V. Device for registering a 3d model
US7996060B2 (en) 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
US7671887B2 (en) 2006-11-20 2010-03-02 General Electric Company System and method of navigating a medical instrument
IL188569A (en) 2007-01-17 2014-05-28 Mediguide Ltd Method and system for coordinating a 3D image coordinate system with a medical position coordinate system and a 2D image coordinate system
US8301226B2 (en) 2007-04-24 2012-10-30 Medtronic, Inc. Method and apparatus for performing a navigated procedure
US8213693B1 (en) 2007-05-16 2012-07-03 General Electric Company System and method to track and navigate a tool through an imaged subject
EP2431943B1 (en) 2007-05-30 2015-04-01 The Cleveland Clinic Foundation Automated centerline extraction method and generation of corresponding analytical expression and use
JP2009072317A (ja) 2007-09-19 2009-04-09 Toshiba Medical System Co Ltd 医療用チューブ操作支援システム
US10398393B2 (en) 2007-10-02 2019-09-03 Stryker European Holdings I, Llc Dynamic reference method and system for interventional procedures
US8472689B2 (en) * 2008-03-04 2013-06-25 Carestream Health, Inc. Method for enhanced voxel resolution in MRI image
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
ES2573945T3 (es) 2008-09-16 2016-06-13 Novartis Ag Cuantificación reproducible de expresión de biomarcadores
US8175681B2 (en) 2008-12-16 2012-05-08 Medtronic Navigation Inc. Combination of electromagnetic and electropotential localization
WO2010086374A1 (en) 2009-01-29 2010-08-05 Imactis Method and device for navigation of a surgical tool
EP2433262B1 (en) * 2009-05-18 2016-07-27 Koninklijke Philips N.V. Marker-free tracking registration and calibration for em-tracked endoscopic system
EP2440129A4 (en) 2009-06-08 2015-06-03 Mri Interventions Inc MRI-CONTROLLED SURGICAL SYSTEMS WITH PRESET SCAN SURFACES
US8315355B2 (en) 2009-10-28 2012-11-20 Siemens Aktiengesellschaft Method for operating C-arm systems during repeated angiographic medical procedures
JP5674814B2 (ja) 2010-01-06 2015-02-25 シブコ メディカル インストルメンツ カンパニー インコーポレイテッドＣｉｖｃｏ Ｍｅｄｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｃｏ．，Ｉｎｃ． マーカ装置、取り付け部材、フレームアセンブリ
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
JP5600272B2 (ja) 2010-07-16 2014-10-01 富士フイルム株式会社 放射線撮影装置および方法並びにプログラム
JP2012147858A (ja) 2011-01-17 2012-08-09 Tokyo Univ Of Agriculture & Technology 画像処理装置、画像処理方法及び画像処理プログラム
WO2012127353A1 (en) 2011-03-18 2012-09-27 Koninklijke Philips Electronics N.V. Multi-leg geometry reference tracker for multi-modality data fusion
DE102011007796B4 (de) 2011-04-20 2019-07-04 Siemens Healthcare Gmbh Verfahren zur Ermittlung einer Zielposition für eine medizinische Maßnahme
US8705832B2 (en) * 2011-08-03 2014-04-22 Siemens Medical Solutions Usa, Inc. Registration of emission tomography and computed tomography
US8948487B2 (en) * 2011-09-28 2015-02-03 Siemens Aktiengesellschaft Non-rigid 2D/3D registration of coronary artery models with live fluoroscopy images
GB201208886D0 (en) 2012-05-18 2012-07-04 King S College London Virtual fiducial markers
US9183354B2 (en) * 2012-08-15 2015-11-10 Musc Foundation For Research Development Systems and methods for image guided surgery
CN105228518B (zh) * 2013-03-12 2018-10-09 火山公司 用于诊断冠状微脉管疾病的系统和方法
US20140276001A1 (en) * 2013-03-15 2014-09-18 Queen's University At Kingston Device and Method for Image-Guided Surgery
EP2996607B1 (en) * 2013-03-15 2021-06-16 The Cleveland Clinic Foundation System to facilitate intraoperative positioning and guidance
WO2015010859A1 (en) * 2013-07-23 2015-01-29 Koninklijke Philips N.V. Registration system for registering an imaging device with a tracking device
GB201313810D0 (en) 2013-08-01 2013-09-18 King S College London Method and system for tomosynthesis imaging
EP2868277B1 (en) 2013-11-04 2017-03-01 Surgivisio Method for reconstructing a 3d image from 2d x-ray images
US10786309B2 (en) * 2013-12-10 2020-09-29 Koninklijke Philips N.V. Radiation-free registration of an optical shape sensing system to an imaging system
US9480448B2 (en) * 2014-07-23 2016-11-01 General Electric Company System and method for use in mapping a radiation dose applied in an angiography imaging procedure of a patient
GB201502877D0 (en) 2015-02-20 2015-04-08 Cydar Ltd Digital image remapping
ES2588257B1 (es) * 2015-03-31 2017-08-04 Consejo Superior De Investigaciones Científicas (Csic) Dispositivo para extraer información tridimensional de imágenes radiográficas de un objeto; procedimiento de calibración de dicho dispositivo; y procedimiento para generar dichas imágenes radiográficas
US10524756B2 (en) * 2015-08-27 2020-01-07 Varian Medical Systems International Methods and systems for image artifacts reduction
US20170367766A1 (en) * 2016-03-14 2017-12-28 Mohamed R. Mahfouz Ultra-wideband positioning for wireless ultrasound tracking and communication
CN106683180B (zh) * 2017-01-03 2019-08-27 清华大学 图像处理方法及系统
CN107028626B (zh) * 2017-05-26 2023-06-06 北京龙慧珩医疗科技发展有限公司 一种前列腺术弹性配准方法及装置
JP7270331B2 (ja) * 2017-06-15 2023-05-10 キヤノンメディカルシステムズ株式会社 医用画像診断装置及び画像処理装置
JP7227168B2 (ja) * 2017-06-19 2023-02-21 モハメド・アール・マーフーズ 蛍光透視法および追跡センサを使用する股関節の外科手術ナビゲーション
US11801114B2 (en) * 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
US10893842B2 (en) * 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
WO2019165430A1 (en) * 2018-02-26 2019-08-29 Cornell University Augmented reality guided system for cardiac interventional surgery
GB201805299D0 (en) 2018-03-29 2018-05-16 Cydar Ltd Deformation correction
JP7165600B2 (ja) * 2019-02-28 2022-11-04 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置及び医療情報処理装置

Also Published As

Publication number Publication date
EP3946062A4 (en) 2023-06-14
WO2020206421A1 (en) 2020-10-08
CA3131071A1 (en) 2020-10-08
JP7440534B2 (ja) 2024-02-28
EP3946062A1 (en) 2022-02-09
JP2022526989A (ja) 2022-05-27
US11393110B2 (en) 2022-07-19
US20200320721A1 (en) 2020-10-08
CN113573641A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
JP7440534B2 (ja) ２次元画像投影を用いた、トラッキングシステムと画像との空間レジストレーション
US11538574B2 (en) Registration of spatial tracking system with augmented reality display
JP7290763B2 (ja) 手術中の位置調整および誘導を容易にするシステム
Weese et al. Voxel-based 2-D/3-D registration of fluoroscopy images and CT scans for image-guided surgery
US10650513B2 (en) Method and system for tomosynthesis imaging
EP1719078B1 (en) Device and process for multimodal registration of images
EP2951779B1 (en) Three-dimensional image segmentation based on a two-dimensional image information
US20120155732A1 (en) CT Atlas of Musculoskeletal Anatomy to Guide Treatment of Sarcoma
JP2014507235A (ja) ナビゲーションガイダンスのための視覚化
AU2015238800A1 (en) Real-time simulation of fluoroscopic images
WO2016131955A1 (en) Automatic 3d model based tracking of deformable medical devices with variable appearance
US20210145372A1 (en) Image acquisition based on treatment device position
CN111028326A (zh) 用于使3d对象的空间表面曲率可视化的方法、系统和介质
Weese et al. 2D/3D registration and motion tracking for surgical interventions
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
US20140309476A1 (en) Ct atlas of musculoskeletal anatomy to guide treatment of sarcoma
WO2012123852A1 (en) Modeling of a body volume from projections

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231011