JP2023076700A - ホログラフィック画像ガイダンスのための非血管性経皮処置のシステム及び方法 - Google Patents

ホログラフィック画像ガイダンスのための非血管性経皮処置のシステム及び方法 Download PDF

Info

Publication number
JP2023076700A
JP2023076700A JP2023062416A JP2023062416A JP2023076700A JP 2023076700 A JP2023076700 A JP 2023076700A JP 2023062416 A JP2023062416 A JP 2023062416A JP 2023062416 A JP2023062416 A JP 2023062416A JP 2023076700 A JP2023076700 A JP 2023076700A
Authority
JP
Japan
Prior art keywords
coordinate system
holographic
patient
tracking
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023062416A
Other languages
English (en)
Inventor
ウエスト，カール
West Karl
エイチ． ヤーノフ，ジェフリー
H Yanof Jeffrey
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cleveland Clinic Foundation
Original Assignee
Cleveland Clinic Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cleveland Clinic Foundation filed Critical Cleveland Clinic Foundation
Publication of JP2023076700A publication Critical patent/JP2023076700A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852—Catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/745—Details of notification to user or communication with user or patient ; user input means using visual displays using a holographic display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】ホログラフィック画像ガイダンスは、非血管性経皮処置で介入デバイスを追跡するために使用することができる。【解決手段】頭部装着型デバイスは、追跡データ及び身体画像データを共通座標系に変換し、患者の体に対するホログラフィック表示を作成することで、ホログラフィック画像ガイダンスを供給し、非血管性経皮処置期間の介入デバイスを追跡する。ホログラフィックディスプレイは、物理的介入デバイスが患者の解剖構造を通る時にガイダンスを供給するために、グラフィックをさらに含むことができる。【選択図】図１

Description

発明の詳細な説明
（関連出願へのクロスリファレンス）
この出願は、２０１７年４月２０日に提出された米国臨時出願番号が６２／４８７,５１９、発明名称が「経皮処置の介入部位に強化された３Ｄホログラフィックガイダンス及びデバイスナビゲーション（３Ｄ ＨＯＬＯＧＲＡＰＨＩＣ ＧＵＩＤＡＮＣＥ ＡＮＤ ＤＥＶＩＣＥ ＮＡＶＩＧＡＴＩＯＮ ＡＵＧＭＥＮＴＥＤ ＴＯ ＴＨＥ ＩＮＴＥＲＶＥＮＴＩＯＮＡＬ ＳＩＴＥ ＦＯＲ ＰＥＲＣＵＴＡＮＥＯＵＳ ＰＲＯＣＥＤＵＲＥＳ）」の権利を要求する。この臨時出願の全ての内容は、すべての目的のためにここに援用されている。
本発明は、全体的に非血管性経皮処置に関し、より具体的に、非血管性経皮処置にホログラフィック画像ガイダンスを供給するシステムおよび方法に関する。
画像ガイダンスによる手術（ＩＧＳ）は、外科手術ナビゲーションとも呼ばれ、リアルタイムに（または「即時に」）術中の解剖構造を術前の画像と視覚的に関連付けさせる。通常、ＩＧＳは、全地球測位システム（ＧＰＳ）に類似すると考えられる。当該技術は、個体がコンピュータで生成された地図にその相対位置を表示することを許容する。ＩＧＳでは、術前画像は、地図として使用可能であり、術中追跡システムは、ＧＰＳに用いられる衛星や装置に類似する。ＩＧＳを用いることで、外科手術手順をよりよく制御し、介入の効果のフィードバックをリアルタイムに取得し、手術ターゲットに接近する時に外傷／混乱を減少することができる。したがって、ＩＧＳは、通常、ニードルヘッドまたは他の介入器械を用いる生検と他の非血管性介入処置に利用される。
術中の解剖構造と術前画像の視覚関連のため、ＩＧＳの理論的有用性は実際に制限されている。術中結像の使用が増加すると、重要な構造を回避してターゲットを位置決める自信が高まるが、リアルタイム蛍光透視法またはコンピューター断層撮影（ＣＴ）は、患者とインターベンショニストへの放射線量の負担が増加する。また、ターゲットと針または他の介入器具の画像は、現在、現場の平面２Ｄモニタに表示される。針または他の介入器具を制御するために、インターベンショニストは、２Ｄモニタで観察したターゲットに対する位置及び軌跡を、器具の経路を修正するために必要な物理的軌跡調整に変換する必要がある。現在の画像ガイダンス技術は、処置関連の合併症（例えば、肺結節生検の場合の気胸、または肝生検に伴う出血など）を引き起こす恐れがある。なお、ＣＴガイダンスを経皮処置に使用すると、実行中の診断走査の数（スループットを減少する）が減少するため、施設の収益に影響を与える可能性がある。ＣＴスキャナースイートでは、典型的なＣＴガイダンスの生検処置は、約１時間がかかる。これは、診断結像手順の実行での使用に支障をきたす。平均的に、１回の生検（約１時間）を完了するのにかかる時間で、４種類の診断ＣＴ手順を実行することが可能であり、収益の損失に直接つながる。
本発明は、全体的に非血管性経皮処置に関し、より具体的に、非血管性経皮処置にホログラフィック画像ガイダンスを供給するシステム及び方法に関する。
一態様では、本発明は、非血管性経皮処置にホログラフィック画像ガイダンスの方法を提供することを含むことができる。当該方法は、物理的介入デバイスに対する、追跡座標系における追跡データを受信可能な、プロセッサを含む頭部装着型デバイスによって実行可能であり、物理的介入デバイスに対する追跡座標系における追跡データをヘッドセット座標系に変換し、結像座標系における物理的な手術部位を含む患者の解剖構造の術前画像からの画像データへアクセスし、結像座標系における画像データをヘッドセット座標系に変換し、物理的介入デバイスに対するヘッドセット座標系における追跡データに基づく介入デバイスの３Ｄホログラフィック表現を、ヘッドセット座標系における結像データに基づく患者の解剖構造の３Ｄホログラフィック投影に位置合わせ、３Ｄ解剖ホログラフィック投影を表示し、患者の解剖構造内の物理的な手術部位に関連する参照グラフィックにより、患者の解剖構造のホログラフィック図の視覚化を供給し、介入デバイスの３Ｄホログラフィック表現を表示し、物理的介入デバイスに関連するガイダンス制御グラフィックにより介入デバイスのホログラフィック図の視覚化を供給し、介入デバイスのヘッドセット座標系における追跡データに基づいて３Ｄ解剖ホログラフィック投影において介入デバイスの３Ｄホログラフィック表現をナビゲーションする。参照グラフィックとガイダンス制御グラフィックは、３Ｄ解剖ホログラフィック投影及び介入デバイスの３Ｄホログラフィック表現を使用して患者の解剖構造を通す物理的介入デバイスを追跡するためのガイダンスを供給する。
他の態様では、本発明は、非血管性経皮処置のためのホログラフィック画像ガイダンスに用いられる頭部装着型デバイスを含むことができる。頭部装着型デバイスは、指令を実行して操作を行うためにプロセッサによってアクセスされる非一時的なメモリを含む。当該操作は、物理的介入デバイスに対する追跡座標系における追跡データを受信することと、物理的介入デバイスに対する追跡座標系における追跡データをヘッドセット座標系に変換することと、結像座標系における物理的な手術部位を含む患者の解剖構造の術前画像からの画像データへアクセスすることと、結像座標系における画像データをヘッドセット座標系に変換することと、物理的介入デバイスに対するヘッドセット座標系における追跡データに基づく介入デバイスの３Ｄホログラフィック表現を、ヘッドセット座標系における結像データに基づく患者の解剖構造の３Ｄホログラフィック投影に位置合わせることと、３Ｄ解剖ホログラフィック投影を表示することと、患者の解剖構造内の物理的な手術部位に関連する参照グラフィックにより、患者の解剖構造のホログラフィック図の視覚化を供給することと、介入デバイスの３Ｄホログラフィック表現を表示することと、物理的介入デバイスに関連するガイダンス制御グラフィックにより介入デバイスのホログラフィック図の視覚化を供給することと、介入デバイスのヘッドセット座標系における追跡データに基づいて３Ｄ解剖ホログラフィック投影において介入デバイスの３Ｄホログラフィック表現をナビゲーションすることとを含む。参照グラフィックとガイダンス制御グラフィックは、３Ｄ解剖ホログラフィック投影及び介入デバイスの３Ｄホログラフィック表現を使用して患者の解剖構造を通る物理的介入デバイスを追跡するためのガイダンスを供給する。
図面を参照しながら以下の説明を閲読するとき、本開示の上記及び他の特徴は、本開示に関係する当業者にとって明らかになる。図面において、
本発明の一態様にかかる非血管性経皮処置にホログラフィック画像ガイダンスを供給するシステムの例示を示すブロック図の図示である。 図１の頭部装着型デバイスにより達成される座標変換の例示を示すブロック図の図示である。 模擬生検針を含む解剖学的マネキンのホログラフィック図に拡張された例示の図示である。 ホログラフィック図の例示の図示である。ただし、ホログラフィック図は、ホログラフィック画像ガイダンスを使用して身体を通す物理的介入デバイスのナビゲーションを制御するために使用される参照グラフィックとガイダンス制御グラフィックを示す。 本発明の他の態様にかかる非血管性経皮処置にホログラフィック画像ガイダンスを供給する例示的な方法のプロセスのフローチャートである。 本発明の他の態様にかかる非血管性経皮処置にホログラフィック画像ガイダンスを供給する例示的な方法のプロセスのフローチャートである。
Ｉ． 定義
他に定義されない限り、本明細書に使用されている全ての技術用語は、当業者が一般的に理解するものと同じ意味を有する。
本開示の文脈において、単数形「１」、「１種」及び「前記」は、文脈上他に明白に示さない限り、複数形を含んでもよい。
本明細書に記載のとおり、用語「含む」は、記載された特徴、ステップ、操作、素子及び／または部品の存在を特定することができるが、１つまたは複数の他の特徴、ステップ、操作、素子、部品及び／または組の存在または追加を排除しない。
本明細書に記載のとおり、用語「及び／または」は、１つ又は複数の関連する列挙された項目の任意の及びすべての組み合わせを含み得る。
また、本明細書では「第１」、「第２」などの用語を用いて様々な要素を説明することができるが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語はある要素を別の要素と区別するためにのみ使用される。したがって、以下に説明する「第１」要素は、本開示の教示から逸脱することなく「第２」要素と呼ぶことも可能である。操作（又は動作／ステップ）の順番は、特に断りのない限り、請求項又は図に示された順序に限定されない。
本明細書に記載のとおり、用語「経皮」とは、皮膚を通して製造され、達成され、または実現されるものを指す。
本明細書に記載のとおり、用語「経皮医療処置」とは、内部器官または組織（通常用解剖刀）を露出させる打開の方法で行うことではなく、皮膚の針穿刺を介して内部器官または組織にアクセスすることを指す。
本明細書に記載のとおり、「経皮医療処置」とともに使用されるときの用語「非血管性」とは、経皮的にアクセスされる脈管と異なる被検者の身体の任意の部位で実行される医療処置を指す。経皮医療処置の例示は、生検、組織アブレーション、凍結療法処置、近接照射療法処置、血管内処置、排液処置、骨科処置、疼痛処理処置、椎体成形術処置、椎弓根／スクリュー配置処置、ガイドワイヤ設置処置、ＳＩ－Ｊｏｉｎｔ固定処置、トレーニング処置などを含んでもよい。
本明細書に記載のとおり、用語「介入デバイス」とは、非血管性経皮医療処置の間に使用される医療器具を指す。
本明細書に記載のとおり、用語「追跡システム」とは、さらに処理されるものに用いるために、運動中の１つまたは複数の対象を観察し、タイムリーな順序付けられた追跡座標系における追跡データ（例えば、位置データ、方位データ等）を供給することである。例として、追跡システムは、電磁追跡システムであってもよく、当該電磁追跡システムは、介入デバイスが患者の体を移動して通るときに、センサコイルを備える介入デバイスを観察することができる。
本明細書に記載のとおり、用語「追跡データ」とは、追跡システムに記録された運動中の１つまたは複数の対象の観察に関連する情報を指す。
本明細書に記載のとおり、用語「追跡座標系」とは、１つまたは複数の数字を使用して特定の追跡システムに固有の点または他の幾何元素の位置を確定する３Ｄデカルト座標系を指す。例えば、追跡座標系は、標準３Ｄデカルト座標系から回転、拡大縮小等を行うことができる。
本明細書に記載のとおり、用語「頭部装着型デバイス」または「ヘッドセット」とは、頭部に装着されるように配置され、１つまたは複数の目の前の１つまたは複数のディスプレイ光学装置（レンズを含む）を有するディスプレイデバイスを指す。場合によって、頭部装着型デバイスは、非一時的なメモリと処理手段を含むこともできる。頭部装着型デバイスの１つの例示は、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓである。
本明細書に記載のとおり、用語「ヘッドセット座標系」とは、１つまたは複数の数字を用いて特定の頭部装着型デバイスシステムに固有の点または他の幾何元素の位置を確定する３Ｄデカルト座標系を指す。例えば、ヘッドセット座標系は、標準３Ｄデカルト座標系システムから回転、拡大縮小または類似する操作を行うことができる。
本明細書に記載のとおり、用語「結像システム」とは、患者の体内を視覚的に表現可能なものを指す。例えば、結像システムは、コンピュータ断層撮影（ＣＴ）システム、磁気共鳴イメージング（ＭＲＩ）システム、超音波（ＵＳ）システム等であり得る。
本明細書に記載のとおり、用語「画像データ」とは、患者の体内の観察に関連する結像システムによって３Ｄで記録された情報を指す。例えば、画像データは、医学におけるデジタルイメージング及び通信（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ、ＤＩＣＯＭ）標準に従ってフォーマット化されたデータ（本明細書では、ＤＩＣＯＭデータと呼ばれる）によって示される断層画像を含むことができる。
本明細書に記載のとおり、用語「結像座標系」とは、１つまたは複数の数字を用いて特定の結像システムに固有の点または他の幾何元素の位置を確定する３Ｄデカルト座標系を指す。例えば、結像座標系は、標準３Ｄデカルト座標系システムから回転、拡大縮小することができる。
本明細書に記載のとおり、用語「ホログラフィック図」、「ホログラフィック投影」または「ホログラフィック表現」とは、ヘッドセットのレンズに投影されるコンピュータが生成した画像を指す。通常、ホログラフィック図は、合成的に生成することができ（拡張現実（ＡＲ）で）、物理的な現実とは関係がない。
本明細書に記載のとおり、用語「物理的」とは、現実的なものを指す。物理的なものはホログラフィックではない（または、コンピュータが生成したものではない）。
本明細書に記載のとおり、用語「二次元」または「２Ｄ」とは、２つの物理的次元で示されるものを指す。
本明細書に記載のとおり、用語「三次元」または「３Ｄ」とは、３つの物理的次元で示されるものを指す。三次元または３Ｄの定義には、「４Ｄ」要素が含まれる（例えば、３Ｄに時間及び／または動きの次元を加えたもの）。
本明細書に記載のとおり、用語「参照グラフィック」とは、介入デバイスのガイダンスを支援するための患者の解剖構造内の物理的な手術部位に関連するホログラフィック画像を指す。
本明細書に記載のとおり、用語「ガイダンス制御グラフィック」とは、介入デバイスのガイダンスを支援するための介入デバイスに関連するホログラフィック画像を指す。
本明細書に記載のとおり、用語「集積」とは、リンクまたは調整されている２つの事柄を指す。例えば、コイルセンサは、介入デバイスと集積することができる。
本明細書に記載のとおり、用語「自由度」とは、独立に可変する要素の数を指す。例えば、追跡システムは、６つの自由度―３Ｄ点及び３つの回転角度を有することができる。
本明細書に記載のとおり、用語「リアルタイム」とは、プロセスまたはイベントが発生する実際の時間を指す。換言すると、リアルタイムイベントはリアルタイムに行われる（ミリ秒単位で、結果がフィードバックとして即時に利用可能である）。例えば、リアルタイムイベントは、イベント発生後の１００ミリ秒内に表すことができる。
本明細書に記載のとおり、用語「被検者」と「患者」は互換的に使用でき、任意の脊椎動物を指す。
ＩＩ．概要
本発明は、全体的に非血管性経皮処置に関し、より具体的に、非血管性経皮処置にホログラフィック画像ガイダンスを供給するシステム及び方法に関する。ホログラフィック画像ガイダンスは、物理的介入デバイスが患者の体を通って介入ターゲットに到達することをリアルタイムに追跡することができる。物理的介入デバイスが患者の体を通すことを追跡するために、追跡システムを用いて物理的介入デバイスに対する追跡データ（位置と配向）を把握することができる。３Ｄホログラフィック介入デバイスは、追跡データに基づいて物理的介入デバイスの経路をたどり、術前画像に基づいて生成された３Ｄホログラフィック解剖画像に３Ｄ投影することができる。追跡データであるため、３Ｄホログラフィック解剖画像内で３Ｄホログラフィック介入デバイスを表示でき、画像データは、それぞれ３Ｄホログラフィック画像を表示するヘッドセットの座標系に変換される。
このようなホログラフィック画像ガイダンスは、２Ｄモニタにソース画像を表示する代わりに、拡張現実（ＡＲ）を用いることで、物理的な患者と位置合わせた介入部位に３Ｄホログラフィック投影を表示して実現される。本発明のシステム及び方法は、ＣＴおよび蛍光透視法を使用する従来の画像ガイダンスの処置の制限を克服することに役立つ。ホログラフィック画像ガイダンスの使用は、処置時間を短縮するとともに、インターベンショニストと患者への照射線量を減少し、手術中に重要な構造に接触することによる手術合併症を減少することができる。なお、ホログラフィック画像ガイダンスは、手術現場の無菌性に有利であるために、ハンズフリーガイダンスおよびナビゲーションを可能にする。ホログラフィック画像ガイダンスの使用は、ハイテク３Ｄ ＣＴスイートの外部で経皮処置を実行することを許容し、より安価な（例えば２Ｄなどのローテク）ガイダンス結像を使用して（例えば、超音波とモバイルＣ型アーム蛍光透視法検査にホログラフィック画像ガイダンスに合わせる）、収益を増加させることができる。
ＩＩＩ．システム
本発明の一態様は、システム１０（図１）を含むことができ、当該システム１０は、非血管性経皮処置にホログラフィック画像ガイダンスを供給する。非血管性経皮処置とは、経皮的にアクセスされる脈管システムと異なる被検者の身体の任意の部位で実行される任意の医療処置を指すことができる。非血管性経皮医療処置の例示は、生検、組織アブレーション、凍結療法処置、近接照射療法処置、血管内処置、排液処置、骨科処置、疼痛処理処置、椎体成形術処置、椎弓根／スクリュー配置処置、ガイドワイヤ設置処置、ＳＩ－Ｊｏｉｎｔ固定処置、トレーニング処置などを含みえる。
ホログラフィック画像ガイダンスは、３Ｄ拡張現実を使用して従来の２Ｄ画像ガイダンスを置き換えることができる。システム１０は、頭部装着型デバイス１１を含むことができ、当該頭部装着型デバイス１１は、３Ｄ拡張現実ホログラフィック表示を促進するように配置されることができる。頭部装着型デバイス１１は、ホログラフィックディスプレイの表示を支援可能な非一時的なメモリ１３と処理手段１２（１つまたは複数のハードウェアプロセッサを含むことができる）を含むことができる。頭部装着型デバイスは、１つまたは複数の画像を記録するカメラ、ホログラフィック図の視覚化を生成／表示する１つまたは複数の画像生成コンポーネント、及び／または他の視覚化及び／または記録要素も含むことができる。
頭部装着型デバイス１１は、追跡データを受信するように、追跡システム１４と通信することができる。追跡システム１４は、物理的介入デバイスの位置と配向を検出できる電磁（ＥＭ）追跡システムであってもよい。物理的介入デバイスは、１つまたは複数のセンサコイルと集積することができ、また、追跡システム１４は、物理的介入デバイスの位置と配向に関連付けられる当該１つまたは複数のセンサコイルの位置和配向を確定することができる。非剛性デバイスの場合、物理的介入デバイスの先端に１つまたは複数のセンサコイルを配置することができる。ただし、剛性デバイスの場合、１つまたは複数のセンサコイルは、物理的介入デバイスに沿って任意の位置に配置されてもよく、物理的介入デバイス上に位置する必要がない（例えば、患者の体外に配置することができる）。物理的介入デバイスが患者の体を横断する時、追跡システム１４は、当該１つまたは複数のセンサコイルを検出し、当該検出に応じて追跡データ（例えば、６つの自由度を有する）を供給することができる。例えば、追跡データには、リアルタイムの３Ｄ位置データとリアルタイムの３Ｄ配向データを含むことができる。追跡システムは、物理的介入デバイス上に位置しない（例えば、基準マーカーまたは他の結像標的に配置されている）コイルセンサを検出することもできる。追跡データは、追跡システム１４の座標系に記録され、頭部装着型デバイス１１に送信（無線及び／または有線接続を介して）されることができる。
頭部装着型デバイス１１は、関連する解剖構造の少なくとも一部の術前結像研究に関連するデータを受信するように、算出機器１５と通信することができる。術前結像研究は、患者の解剖構造の当該部分の３Ｄ画像（例えば断層画像）を記録することができる。当該３Ｄ画像は、結像データ（ＤＩＣＯＭデータであってもよい）で表示されることができ、当該結像データは、結像データを記録することに用いられ、頭部装着型デバイス１１に送信された特定の結像モードの結像座標系に従ってフォーマット化されることができる。
図２に示すように、追跡座標系１６と結像座標系１８は、それぞれ（例えば、平行移動および回転）ヘッドセット座標系１７に変換することができる。当該変換は、例えば剛体アフィン変換に基づくことができる。従って、追跡座標系１６における追跡データは、ヘッドセット座標系１７に変換（例えば平行移動及び回転）することができる。同様に、結像座標系１８における結像データは、ヘッドセット座標系１７に変換（例えば平行移動及び回転）することができる。追跡データと結像データがそれぞれヘッドセット座標系に変換される場合のみ、患者の体内の物理的介入デバイスのナビゲーションを示す３Ｄホログラフィックビューを示す視覚化を生成することができる。
図３と図４は、それぞれホログラフィック画像ガイダンスの視覚化を示す画像である。図３は、模擬生検針３２を含む解剖学的マネキンに強化されたホログラフィック図を示す。図４は、ターゲット組織内に配置されているトロカールのホログラフィック図を示す。ホログラフィック図には、ガイダンスグラフィックと追跡情報を示す注釈が含まれている。ただし、当該ガイダンスは、物理的介入デバイスの位置と配向に関連する視覚及び／または聴覚フィードバックであってもよい。図４は、位置合わせに使用される３つの非共線の基準マーカー４２も示す。基準マーカー４２は、追跡座標系及びヘッドセット座標系で基準マーカー４２の位置を検出できるように、組み合わせマーカーとすることができる。また、基準マーカー４２の位置（例えば、物理的な患者の皮膚上のセンサコイル）を特定することができる。基準マーカーの位置は、画像座標系における３つ以上の位置にマッチングすることができる。
頭部装着型デバイス１１は、ホログラフィック画像ガイダンスの視覚化をさらに変換することができる。例えば、平行移動、回転及び／または拡大縮小で変換することができる。ただし、変換後の視覚化は、患者の体と正確に一致しなくなる。
ＩＶ．方法
本発明の他の態様は、非血管性経皮処置にホログラフィック画像ガイダンスを供給する方法５０、６０（図５及び６）を含むことができる。方法５０、６０は、ハードウェアにより実行することができ、例えば、図１に示す上述した頭部装着型デバイス１１により実行することができる。
方法５０及び６０は、フローチャートで示すプロセスフローチャートを有するように図示される。簡単にするために、示されて記載される方法５０及び６０は、順次に実行されるものである。ただし、本発明が示される順番に制限されないと理解されるべきであり、いくつかのステップは、異なる順番及び／またはここで示されて記載される他のステップと同時に発生することが可能であるからである。なお、方法５０および６０を実現するために、示される全ての態様必要とされるわけではない。また、方法５０および６０を実現する１つまたは複数の素子、例えば、図１に示す頭部装着型デバイス１１は、、非一時的なメモリ１３およびホログラフィック画像ガイダンスを促進できる１つまたは複数のプロセッサ（処理手段１２）を含むことができる。
図５を参照すると、ホログラフィック画像ガイダンスを供給及び使用する方法５０が示されている。ホログラフィック画像ガイダンスは、術中結像及び／または術中結像の使用補助を必要とせず、患者の体内の標的に介入デバイスをガイダンスすることができる。方法５０のステップは、図１の頭部装着型デバイス１１によって実行することができる。
ステップ５２では、患者の解剖構造の３Ｄ解剖ホログラフィック投影を表示することができる。ホログラフィック投影には、患者の解剖構造を有する物理的な手術部位に関連する参照グラフィックを含むことができる。ステップ５４では、物理的介入デバイスのホログラフィック表現を表示することができる。ホログラフィック表現は、物理的介入デバイスに関連するガイダンス制御グラフィックを含んでもよい。ステップ５６では、介入デバイスの３Ｄホログラフィック表現は、３Ｄ解剖ホログラフィック投影を通してナビゲーションすることができる。参照グラフィックとガイダンス制御グラフィックは、ホログラフィックガイダンス（３Ｄ解剖ホログラフィック投影と介入デバイスの３Ｄホログラフィック表現を使用）を使用して物理的介入デバイスが患者の解剖構造を通ることを追跡するために、ガイダンス（例えば、視覚ガイダンス（ピクチャの、タイプ、注釈など）及び／または聴覚ガイダンス）を供給することができる。例えば、参照グラフィックに関連する線と、ガイダンス制御グラフィックに関連する線とが交差する時、物理的介入デバイスは、解剖ターゲット組織に交差する軌跡と位置合わせることができる。これには、ターゲット位置または配向からの距離及び／または角度偏差を報告するホログラフィック注釈が付随することができる。
参照グラフィックとガイダンス制御グラフィックは、イベント駆動のガイダンスを供給するために用いることができる。例えば、トロカールが患者の体内にある時、参照グラフィックとガイダンス制御グラフィックは、トロカールの移動時に、聴覚及び／または視覚ガイダンスを供給することができる。トロカールが移動して患者の体を通っている時、ビープ音を使用してターゲットへの近接を示すことができる。同様に、グラフィックは、トロカールの位置と角度のリアルタイムの注釈を供給し、及び／またはターゲットと交差することを表示することができる。
介入デバイスの３Ｄ解剖ホログラフィック投影と３Ｄホログラフィック表現は、共通座標系（３Ｄヘッドセット座標系）で示すことができる。最初に結像座標系にある画像データに基づいて３Ｄ解剖ホログラフィック投影を作成する。同様に、最初に追跡座標系にある追跡データに基づいて、３Ｄ解剖ホログラフィック投影を通して介入デバイスの３Ｄホログラフィック表現を追跡する。図６は、追跡システム及び結像システムからの座標を共通座標系（頭部装着型デバイスは、ホログラフィック図の座標系を生成するために用いられる）に位置合わせるための方法６０を示す。位置合わせのための３つの非共線の基準マーカー４２をさらに含む（例えば、追跡システムとヘッドセットデバイスで検出できるセンサコイル）。
物理的介入デバイスは、１つまたは複数のセンサコイルと集積することができる。非剛性デバイスの場合、物理的介入デバイスの先端に１つまたは複数のセンサコイルを配置することができる。ただし、剛性デバイスの場合、センサコイルは、物理的介入デバイスに沿った任意の位置（ひいては、患者の体外）に位置することができる。物理的介入デバイスが患者の体を横断する時、追跡システム（例えば電磁追跡システム）は、当該１つまたは複数のセンサコイルをサンプリングし、検出に応じて追跡データ（例えば、６自由度を有する）を供給することができる。例えば、追跡データには、リアルタイムの３Ｄ位置データとリアルタイムの３Ｄ配向データを含むことができる。追跡座標系における追跡データは、頭部装着型デバイスに送信することができる。ステップ６２では、追跡座標における物理的介入デバイスに対する追跡データをヘッドセット座標系に変換することができる（頭部装着型デバイスを介する）。
患者は、術前結像研究を受けることができ、当該結像研究は、関連する解剖構造の少なくとも一部を結像する。術前結像研究は、患者の解剖構造の当該部分の３Ｄ画像（例えば断層画像）を記録することができる。結像データ（ＤＩＣＯＭデータであってもよい）により３Ｄ画像を表すことができ、結像データを記録するために使用され、結像データを頭部装着型デバイスに送信された特定の結像モードの結像座標系に従って、当該結像データをフォーマット化することができる。ステップ６４では、結像座標における画像データをヘッドセット座標系に変換することができる（頭部装着型デバイスにより）。画像データに基づいて生成された３Ｄ解剖階層投影は、１つまたは複数の表面メッシュモデル、多平面再フォーマット化の画像などに基づくことができる。
ステップ６６では、ヘッドセット座標における追跡データとヘッドセット座標における結像データを使用して視覚化をレンダリングすることができる（頭部装着型デバイスにより）。ホログラフィック図は、ヘッドセット座標に変換された結像データに基づく３Ｄ解剖ホログラフィック投影と、追跡座標に基づく介入デバイスの３Ｄホログラフィック表現を含むことができる。前述のように、参照グラフィックとガイダンス制御グラフィックを含むグラフィックは、ホログラフィックガイダンスを使用して（３Ｄ解剖ホログラフィック投影と介入デバイスの３Ｄホログラフィック表現を使用）物理的介入デバイスが患者の解剖構造を通ることを追跡するために、ガイダンスを供給することができる。平行移動、回転及び／または縮小拡大でナビゲーションを強化して視覚化を変換することができる。頭部装着型デバイスの物理的な移動によって当該変換をトリガすることができる（例えば、特定の方式で頭部を傾ける）。
Ｖ． 位置合わせる技術の例
以下の説明は、位置合わせる技術の例を説明し、当該位置合わせる技術は、追跡データ（追跡座標系において）と結像データ（結像座標系において）をホログラフィック図を提供する頭部装着型デバイスによって利用される共通のホログラフィック座標系に位置合わせるために、使用することができる。これは単なる一例の説明であり、本開示のの範囲内で他の位置合わせる技術を使用できると留意されたい。
位置合わせる技術は、追跡データ及び結像データをヘッドセット座標系に変換する。そのために、頭部装着型デバイスは、ＥＭからＨＬへ（または追跡システムから頭部装着型デバイスへ）及びＵからＨＬへ（または結像システムから頭部装着型デバイスへ）という２つのアフィン変換を実行することができる。この例では、変換は、異なる座標系における画像ターゲット（例えば、患者の皮膚及び／または解剖ターゲットに配置された基準マーカー）の共通位置に依存する。３つ以上の非共線の画像ターゲットを使用することができる。例えば、少なくとも一部の画像ターゲットは、追跡システム（各画像ターゲットにおいて１つのセンサコイルが必要）と頭部装着型デバイスに関連するカメラから見える必要がある。場合によっては、同じまたは他の画像ターゲットは、術前結像システムと頭部装着型デバイスとに関連するカメラから見える必要がある。
ＥＭからＨＬへの変換のために、対応する（位置合わせされた）ポイントペアからなる２つの３ＤポイントセットＰＥＭとＰＨが使用され、（１）画像ターゲットが頭部装着型デバイスによって位置決めされたＨＬ座標で示すＰｉ(ｘｈｌ, ｙｈｌ, ｚｈｌ)、と（２）４つの対応するポイントのＥＭセンサ（画像ターゲットに物理的に関連付けられている）によって位置決めされたＥＭ座標で示すＰｉ(ｘＥＭ, ｙＥＭ, ｚＥＭ)である。３Ｄポイントセット（ＰＥＭ, ＰＨ, 画像ターゲット）は、最小二乗法（ＬＳＭ）を用いて頭部装着型デバイスに関連する処理手段上のＥＭからＨＬへの変換（[ＥＭＭＨＬ] ＝ ＬＳＭ{ＰＥＭ, ＰＨ, 画像ターゲット}）を特定するために使用される。その後、画像ターゲット（ランドマークセンサと呼ばれる）及び介入デバイス上のセンサコイルからの位置及び配向データ（ＰＥＭ,ｌｍ,ｉ(ｔ) [ＥＭＭＨＬ,ｃａｌ] ＝ ＰＨＬ,ｌｍ,ｉ (ｔ)）は、 [ＥＭＭＨＬ]を使用することで、ＨＬ座標に変換される。なお、ＬＳＭ方法は、使用できる排他的な方法ではないことを留意されたい。
ＨＬ座標で追跡されたランドマークセンサおよび介入デバイス上のセンサコイルの位置により、マーカーおよび機器センサの結像（Ｕ）座標で示される、対応する３ＤポイントセットをＨＬ座標に変換することができる。そこで、ＬＳＭは、結像座標とＨＬ座標([ＵＭＨＬ] ＝ ＬＳＭ{ＰＵ, ｌｍ&ｄ,ｉ,, ＰＨＬ,ｌｍ,ｉ})間の変換[ＵＭＨＬ(ｔ)]の特定にも使用される。その後、[ＵＭＨＬ(ｔ)]を使用して結像座標をＨＬ座標に変換する。これは、頭部装着型デバイスがホログラフィック図を患者の体に投射することを許容する（例えば、外科手術現場で）。
上記の説明から、当業者であれば、改良、変更おや修正が理解できる。そのような改良、変更や修正は、当業者の技術の範囲内であり、添付の特許請求の範囲によってカバーされることが意図される。本明細書に引用された全ての特許、特許出願、本明細書に引用された開示は、それら全体が参照により援用される。

Claims (4)

  1. 頭部装着型デバイスであって、
    指令が記憶される非一時的なメモリと、
    プロセッサとを含み、
    前記プロセッサは、前記非一時的なメモリへアクセスして前記指令を実行することで、
    非血管性経皮医療処置に使用される物理的介入デバイスに対する、追跡座標系における追跡データを受信することと、
    前記物理的介入デバイスに対する追跡座標系における追跡データをヘッドセット座標系に変換することと、
    結像座標系における物理的な手術部位を含む患者の解剖構造の術前画像からの画像データへアクセスすることと、
    前記結像座標系における前記画像データを前記ヘッドセット座標系に変換することと、
    前記物理的介入デバイスに対する前記ヘッドセット座標系における追跡データに基づく前記介入デバイスの３Ｄホログラフィック表現を、前記ヘッドセット座標系における前記結像データに基づく前記患者の解剖構造の３Ｄホログラフィック投影に位置合わせることと、
    前記３Ｄ解剖ホログラフィック投影を前記患者の解剖構造に投影し、前記患者の解剖構造内の物理的な手術部位に関連する参照グラフィックによって前記患者の解剖構造のホログラフィック図の視覚化を供給することと、
    前記介入デバイスの３Ｄホログラフィック表現を前記患者の解剖構造に投影し、前記物理的介入デバイスに関連するガイダンス制御グラフィックによって前記介入デバイスのホログラフィック図の視覚化を供給することと、
    前記介入デバイスに対する、前記ヘッドセット座標系における追跡データに基づいて、前記３Ｄ解剖ホログラフィック投影において前記介入デバイスの３Ｄホログラフィック表現をナビゲーションすることとを実行させ、
    前記参照グラフィックと前記ガイダンス制御グラフィックは、前記３Ｄ解剖ホログラフィック投影及び前記介入デバイスの３Ｄホログラフィック表現を使用して前記患者の解剖構造を通る前記物理的介入デバイスを追跡するためのガイダンスを供給することを特徴とする頭部装着型デバイス。
  2. 前記視覚化を表示するための頭部装着型ディスプレイをさらに含むことを特徴とする請求項１に記載の頭部装着型デバイス。
  3. 前記プロセッサは、さらに前記指令を実行することで、平行移動、回転及び縮小拡大のうちの少なくとも１つで前記視覚化を変換して、前記頭部装着型デバイスの物理移動によってトリガされるナビゲーションを強化することを特徴とする請求項２に記載の頭部装着型デバイス。
  4. 前記変換は、
    ３つ以上の基準マーカーの位置であって、前記追跡座標系における非共線な位置を前記患者の皮膚に位置決めすることと、
    前記３つ以上の基準マーカーの位置を前記画像座標系における前記画像データ内の３つ以上の位置にマッチングすることと、をさらに含むことを特徴とする請求項１に記載の頭部装着型デバイス。
JP2023062416A 2017-04-20 2023-04-06 ホログラフィック画像ガイダンスのための非血管性経皮処置のシステム及び方法 Pending JP2023076700A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762487519P 2017-04-20 2017-04-20
US62/487,519 2017-04-20
PCT/US2018/028615 WO2018195456A1 (en) 2017-04-20 2018-04-20 System and method for holographic image-guided non-vascular percutaneous procedures
JP2019556987A JP7429120B2 (ja) 2017-04-20 2018-04-20 ホログラフィック画像ガイダンスのための非血管性経皮処置のシステム及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019556987A Division JP7429120B2 (ja) 2017-04-20 2018-04-20 ホログラフィック画像ガイダンスのための非血管性経皮処置のシステム及び方法

Publications (1)

Publication Number Publication Date
JP2023076700A true JP2023076700A (ja) 2023-06-01

Family

ID=62223199

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019556987A Active JP7429120B2 (ja) 2017-04-20 2018-04-20 ホログラフィック画像ガイダンスのための非血管性経皮処置のシステム及び方法
JP2023062416A Pending JP2023076700A (ja) 2017-04-20 2023-04-06 ホログラフィック画像ガイダンスのための非血管性経皮処置のシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019556987A Active JP7429120B2 (ja) 2017-04-20 2018-04-20 ホログラフィック画像ガイダンスのための非血管性経皮処置のシステム及び方法

Country Status (5)

Country Link
US (4) US10478255B2 (ja)
EP (2) EP3612126A1 (ja)
JP (2) JP7429120B2 (ja)
CA (1) CA3060617C (ja)
WO (2) WO2018195463A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3612126A1 (en) 2017-04-20 2020-02-26 The Cleveland Clinic Foundation System and method for holographic image-guided non-vascular percutaneous procedures
US10265138B2 (en) * 2017-09-18 2019-04-23 MediVis, Inc. Methods and systems for generating and using 3D images in surgical settings
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11875693B2 (en) 2018-05-01 2024-01-16 Codescribe Corporation Simulated reality technologies for enhanced medical protocol training
US11270597B2 (en) * 2018-05-01 2022-03-08 Codescribe Llc Simulated reality technologies for enhanced medical protocol training
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US10869727B2 (en) * 2018-05-07 2020-12-22 The Cleveland Clinic Foundation Live 3D holographic guidance and navigation for performing interventional procedures
WO2019245869A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Closed-loop tool control for orthopedic surgical procedures
EP3682808A1 (fr) * 2019-01-17 2020-07-22 Université Paris Est Créteil Val De Marne Dispositif médical en radiologie interventionnelle de guidage en temps réel d'une aiguille médicale d'opération dans un volume
WO2020206423A1 (en) 2019-04-04 2020-10-08 Centerline Biomedical, In C. Registration of spatial tracking system with augmented reality display
EP3760157A1 (en) * 2019-07-04 2021-01-06 Scopis GmbH Technique for calibrating a registration of an augmented reality device
US10832486B1 (en) * 2019-07-17 2020-11-10 Gustav Lo Systems and methods for displaying augmented anatomical features
CN114980832A (zh) 2019-12-10 2022-08-30 医疗视野Xr有限公司 用于规划和执行三维全息介入手术的系统和方法
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
CN115361915A (zh) 2020-03-26 2022-11-18 医疗视野Xr有限公司 用于外科手术的全息治疗区建模和反馈回路
US11694374B2 (en) * 2020-04-13 2023-07-04 Delta Electronics, Inc. Method for gating in tomographic imaging system
US11806184B2 (en) 2020-04-13 2023-11-07 Delta Electronics, Inc. Method for gating in tomographic imaging system
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11967036B2 (en) 2020-05-15 2024-04-23 Mediview Xr, Inc. Dynamic registration of anatomy using augmented reality
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
EP4307995A1 (en) * 2021-03-18 2024-01-24 3D Systems, Incorporated Devices and methods for registering an imaging model to an augmented reality system before or during surgery
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CN113786228B (zh) * 2021-09-15 2024-04-12 苏州朗润医疗系统有限公司 一种基于ar增强现实的辅助穿刺导航系统
US20230301719A1 (en) * 2022-03-25 2023-09-28 Stephen B. Murphy, M.D. Systems and methods for planning screw lengths and guiding screw trajectories during surgery
CN117252927B (zh) * 2023-11-20 2024-02-02 华中科技大学同济医学院附属协和医院 一种基于小目标检测的导管下介入目标定位方法及系统

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6149592A (en) 1997-11-26 2000-11-21 Picker International, Inc. Integrated fluoroscopic projection image data, volumetric image data, and surgical device position data
JP2002034949A (ja) * 2000-07-21 2002-02-05 Toshiba Corp ３次元位置決め表示装置及び磁気共鳴イメージング装置
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US7327872B2 (en) * 2004-10-13 2008-02-05 General Electric Company Method and system for registering 3D models of anatomical regions with projection images of the same
US8862200B2 (en) * 2005-12-30 2014-10-14 DePuy Synthes Products, LLC Method for determining a position of a magnetic source
US20080013809A1 (en) * 2006-07-14 2008-01-17 Bracco Imaging, Spa Methods and apparatuses for registration in image guided surgery
US8926511B2 (en) * 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
JP5372406B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US9036887B2 (en) * 2009-09-16 2015-05-19 Monash University Particle image velocimetry suitable for X-ray projection imaging
US8380289B2 (en) * 2010-11-18 2013-02-19 Robert D. Zellers Medical device location systems, devices and methods
CA2826122A1 (en) * 2011-01-30 2012-08-16 Guided Interventions, Llc System for detection of blood pressure using a pressure sensing guide wire
US20140005465A1 (en) * 2011-03-24 2014-01-02 Koninklijke Philips N.V. Apparatus and method for electronic brachytherapy
EP2882368A4 (en) * 2012-08-08 2016-03-16 Ortoma Ab METHOD AND SYSTEM FOR COMPUTER-ASSISTED SURGERY
US9888967B2 (en) * 2012-12-31 2018-02-13 Mako Surgical Corp. Systems and methods for guiding a user during surgical planning
WO2015066639A1 (en) * 2013-11-04 2015-05-07 Sidra Medical and Research Center System to facilitate and streamline communication and information-flow in healthy-care
US9740821B2 (en) * 2013-12-23 2017-08-22 Biosense Webster (Israel) Ltd. Real-time communication between medical devices over a DICOM network
CN106937531B (zh) * 2014-06-14 2020-11-06 奇跃公司 用于产生虚拟和增强现实的方法和系统
IL236003A (en) * 2014-11-30 2016-02-29 Ben-Yishai Rani Model and method for registering a model
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US20160242623A1 (en) 2015-02-20 2016-08-25 Cefla Societá Cooperativa Apparatus and method for visualizing data and images and for controlling a medical device through a wearable electronic device
US10098567B2 (en) * 2015-04-29 2018-10-16 Teleflex Medical Devices S.À R.L Medical device position location systems, devices and methods
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
EP3280344A2 (en) * 2015-04-07 2018-02-14 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US9956054B2 (en) * 2015-06-25 2018-05-01 EchoPixel, Inc. Dynamic minimally invasive surgical-aware assistant
JP2018534011A (ja) * 2015-10-14 2018-11-22 サージカル シアター エルエルシー 拡張現実感手術ナビゲーション
CN114795472A (zh) * 2015-10-28 2022-07-29 安多卓思公司 用于在患者体内跟踪内窥镜的位置的装置和方法
US10201320B2 (en) * 2015-12-18 2019-02-12 OrthoGrid Systems, Inc Deformed grid based intra-operative system and method of use
CN109310476B (zh) * 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
CN108882854B (zh) * 2016-03-21 2022-05-24 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
US11515030B2 (en) * 2016-06-23 2022-11-29 Siemens Healthcare Gmbh System and method for artificial agent based cognitive operating rooms
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
EP3612126A1 (en) 2017-04-20 2020-02-26 The Cleveland Clinic Foundation System and method for holographic image-guided non-vascular percutaneous procedures

Also Published As

Publication number Publication date
CA3060617C (en) 2022-10-04
US10820948B2 (en) 2020-11-03
US10895906B2 (en) 2021-01-19
US20210081035A1 (en) 2021-03-18
US20180303563A1 (en) 2018-10-25
US11269401B2 (en) 2022-03-08
US20200038117A1 (en) 2020-02-06
WO2018195463A1 (en) 2018-10-25
US10478255B2 (en) 2019-11-19
WO2018195456A1 (en) 2018-10-25
JP2020517352A (ja) 2020-06-18
EP3612127A1 (en) 2020-02-26
CA3060617A1 (en) 2018-10-25
US20180303377A1 (en) 2018-10-25
EP3612126A1 (en) 2020-02-26
JP7429120B2 (ja) 2024-02-07

Similar Documents

Publication Publication Date Title
JP7429120B2 (ja) ホログラフィック画像ガイダンスのための非血管性経皮処置のシステム及び方法
US11819292B2 (en) Methods and systems for providing visuospatial information
AU2019267809B2 (en) Live 3D holographic guidance and navigation for performing interventional procedures
US11357575B2 (en) Methods and systems for providing visuospatial information and representations
US10390890B2 (en) Navigational feedback for intraoperative waypoint
CN103040525B (zh) 一种多模医学影像手术导航方法及系统
Ukimura et al. Imaging-assisted endoscopic surgery: Cleveland Clinic experience
US20070038065A1 (en) Operation of a remote medical navigation system using ultrasound image
US20140078138A1 (en) Apparatus and methods for localization and relative positioning of a surgical instrument
Ukimura et al. Augmented reality for computer-assisted image-guided minimally invasive urology
Herrell et al. Image guidance in robotic-assisted renal surgery
Shamir et al. An augmented reality guidance probe and method for image-guided surgical navigation
Simpfendörfer et al. Use of Surgical Navigation During Urologic Surgery

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230506

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240226