JP2022027695A - 外科用デバイスを追跡するためのシステム及び方法 - Google Patents

外科用デバイスを追跡するためのシステム及び方法 Download PDF

Info

Publication number
JP2022027695A
JP2022027695A JP2021125208A JP2021125208A JP2022027695A JP 2022027695 A JP2022027695 A JP 2022027695A JP 2021125208 A JP2021125208 A JP 2021125208A JP 2021125208 A JP2021125208 A JP 2021125208A JP 2022027695 A JP2022027695 A JP 2022027695A
Authority
JP
Japan
Prior art keywords
image
sensor
magnetic
camera
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021125208A
Other languages
English (en)
Inventor
ウリエル・ホッド
Hod Uriel
ヘレン・ヴォルフソン
Volfson Helen
ノーム・ラクリ
Rachli Noam
イタマル・ブスタン
Bustan Itamar
モラン・レヴィ
Levi Moran
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of JP2022027695A publication Critical patent/JP2022027695A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072Reference field transducer attached to an instrument or patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983Reference marker arrangements for use with image guided surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0223Magnetic field sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Figure 2022027695000001
【課題】3Dカメラ画像とCT画像を位置合わせするための合理化されたシステム及び方法を提供すること。
【解決手段】磁気座標と患者の3D画像を位置合わせするためのシステム、方法、及びデバイスが開示される。三軸センサ(TAS)を3Dカメラに追加してもよい。TASセンサの位置及び配向は、磁場送信機によって印加される既知の磁場に基づいて決定されてもよい。次いで、カメラ座標系を磁気座標系に転送することができる。CT画像を用いる3D画像と磁気座標を用いる3D画像の位置合わせを完了した後、次いで、磁気座標とCT画像を位置合わせすることができる。
【選択図】図1

Description

(関連出願の相互参照)
本出願は、米国仮出願第63/059,805号の利益を主張するものであり、この仮出願は、完全に記載されているかのように参照により組み込まれる。
(発明の分野)
本発明は、概して、異なる座標系の位置合わせに関し、具体的には、外科処置のための異なる座標系の位置合わせに関する。
低侵襲的処置を含む侵襲的外科処置では、典型的には、処置を行う医師には直接見えない患者の体内で、カテーテルなどの外科用デバイスを追跡することが必要である。典型的には、患者の透視法又は磁気共鳴撮像法(MRI)などからのコンピュータ断層撮影(CT)画像が医師に利用可能である。
患者の体内で外科用デバイスを追跡するために使用される1つの方法は、Acclarent,Inc.(33 Technology Drive,Irvine,CA 92618 USA)製のTruDi(商標)電磁画像誘導ナビゲーションシステムである。このシステムでは、患者の外部にある固定型送信機から交流磁場が送信されて、患者の体内を通過する。処置が、耳、鼻、及び咽喉(ENT)処置などの患者の頭部に対して実行される場合、固定磁場送信機が、特許の頭部の周囲に配置されてもよい。処置の一部として、外科用デバイスは較正チャンバの中央に配置され、3つの直交磁場が適用されてもよい。センサ、典型的には単一又は複数の軸コイルが外科用デバイスに取り付けられ、患者に挿入され、電圧測定を行う。プロセッサは、センサを横断する磁場によって生成された電流を記録する。プロセッサは電流を解析して、固定型送信機によって画定された電磁基準フレーム内でのセンサの位置及び配向の両方を決定するようにする。
電流磁気ベースの位置検出システムはまた、センサによって取られた電圧測定値に基づいて、外科用デバイスの位置、形状、及びサイズを推定するために、アルゴリズム又はプロセッサと組み合わせて、外科用デバイス上に位置する可撓性センサを利用してもよい。可撓性センサは、典型的には、単一点で取られた合計9つの測定のために、9個の送信機及び1つのセンサを有する単軸センサ(SAS)からなる。9個の送信機及び2個のコイルを有する3つのセンサを備える三軸センサ(TAS)は、単一点で合計27個の電圧測定値を収集する。外科用デバイスがナビゲート又は前進するとき、追加の点が短時間内に収集されてもよい。
3次元(3D)カメラ画像を用いるCT画像の位置合わせは、TruDi(商標)ナビゲーション手順における予備工程である。位置合わせは、位置合わせされたCT画像に対する外科用デバイスの位置決定を伴う。換言すれば、3D画像及び磁気座標とCT画像を位置合わせすること又は整合させることによって、電磁追跡システムによって追跡されている外科用デバイスの位置を正確に決定し、当該3Dカメラ画像、CT画像、又はこれらの組み合わせ上に表示することができる。一部の症例では、患者の頭部内の解剖学的構造の表面の3Dビューを操作者に提供することが有益である場合がある。CT画像を用いる3D画像及び磁気座標を用いる3D画像の位置合わせを完了した後、次いで、磁気座標とCT画像を位置合わせすることができる。3Dカメラ画像とCT画像を位置合わせするための現行のシステムは、患者の頭部に取り付けられる患者追跡装置などの装置を必要とし、位置合わせ中に患者追跡装置を考慮するために特定の手段を講じる必要がある。
3Dカメラ画像とCT画像を位置合わせするための合理化されたシステム及び方法を有することが望ましいであろう。
磁気座標と患者の3D画像を位置合わせするためのシステム、方法、及びデバイスが開示される。三軸センサ(TAS)を3Dカメラに追加してもよい。TASセンサの位置及び配向は、磁場送信機によって印加される既知の磁場に基づいて決定されてもよい。次いで、カメラ座標系を磁気座標系に転送することができる。CT画像を用いる3D画像と磁気座標を用いる3D画像の位置合わせを完了した後、次いで、磁気座標とCT画像を位置合わせすることができる。磁気座標とCT画像を位置合わせすることによって、電磁追跡システムによって追跡されるカテーテルの位置は、CT画像、光学画像、又はこれらの組み合わせのディスプレイ上に正確に示すことができる。
一実施形態による、位置合わせシステムの概略図である。 一実施形態による、図1のシステムで使用される患者追跡装置を示す概略図である。 一実施形態による、図1のシステムで使用される患者追跡装置を示す概略図である。 一実施形態による、位置合わせアルゴリズムを実行するための方法のフローチャート図である。 別の実施形態による、位置合わせアルゴリズムを実行するための方法のフローチャート図である。 一実施形態による、位置合わせシステム内に位置付けられた患者の光学画像に対応する3D散布図の概略図である。 CT画像に対する光学画像に対応する3D散布図のマッピングを示す概略図である。 CT画像に対する光学画像に対応する3D散布図のマッピングを示す概略図である。 CT画像に対する光学画像に対応する3D散布図のマッピングを示す概略図である。
図1は、本開示の一実施形態による、位置合わせシステム20の概略図である。
患者が受ける医療処置は、医療専門家25によって患者に挿入されるカテーテルなどの外科用デバイスの追跡を含むと想定される。追跡は、以下により詳細に記載する電磁追跡システム24によって提供される。
電磁追跡システムは、患者の頭部の周囲に位置付けられた磁気放射体アセンブリ26を備える。アセンブリ26は磁場送信機28を備え、この磁場送信機は、定位置に固定され、また患者22の頭部が位置する領域30に正弦波交流磁場を送信する。一例として、アセンブリ24の磁場送信機28は、患者22の頭部の周りに、ほぼ蹄鉄形に配置される。しかしながら、アセンブリ26の放射体の別の構成が当業者に明らかとなり、かかる全ての構成は本発明の範囲内に含まれると想定される。
本明細書ではコイルであると想定される磁気センサは、患者22の体内で追跡されている外科用デバイスに取り付けられる。取り付けられたコイルは、コイルを横断する交流磁場に応答して電気信号を生成し、これらの信号は、システムプロセッサ40に転送される。プロセッサ40は、信号を処理してセンサの位置及び配向値を導出するように構成されている。磁気送信機28を含むシステム20の他の要素は、システムプロセッサ40により制御される。
上記のTruDi(商標)システムは、磁場によって照射された領域内にあるコイルの位置及び配向を見出すために、本明細書に記載の追跡システムに類似の追跡システムを使用する。
プロセッサ40は、メモリ42に記憶されたソフトウェアを使用してシステム20を操作する。ソフトウェアは、例えば、ネットワークを介して電子形式でプロセッサ40にダウンロードされてもよく、又は、ソフトウェアは、付加的に若しくは代替的に、磁気的、光学的、又は電子的メモリなどの非一時的な有形媒体上に提供及び/又は記憶されてもよい。プロセッサ40はソフトウェアを使用して、磁気センサから受信した信号を解析する。プロセッサ40によって実行される位置合わせシステム20を実装する際の位置合わせアルゴリズム60のためのソフトウェアもまた、メモリ42に記憶される。位置合わせアルゴリズム60については、以下でより詳細に記載する。
プロセッサ40は、典型的には、キーパッド、及び/又はマウス若しくはトラックボールなどのポインティングデバイスを含む、動作制御装置58を備えるコンソール50内に搭載され得る。コンソール50は、ケーブル92を介して、及び/又は無線で放射体に接続する。医療専門家25は、上記の医療処置を実行しつつ、動作制御装置58を使用してプロセッサと相互作用してよい。処置を実行している間、プロセッサは画面56に処置の結果を提示してよい。画面56上での処置の結果の提示は、システムを使用して医療専門家25が、患者のCT画像に対して、カテーテルなどの外科用デバイスの正確な位置を可視化することを可能にする。
上記のように、電磁追跡システム24は、磁気送信機28から領域内へと送信された磁場によって、領域30内での磁気センサの位置及び配向を追跡することができる。システム24のために導出された位置及び配向は、磁気送信機28の位置によって定義されるように、磁気システムの基準フレーム(FOR)を基準にしていることが理解されるであろう。センサの追跡が有用であるためには、磁気システムのFORが、メモリ42内に記憶される患者22の画像のFORと位置合わせされる必要がある。以下に更に記載する画像64のサブセット66及び68はまた、メモリ42に記憶される。
CT画像は、典型的には、磁気共鳴撮像(MRI)画像又は透視画像を含むことができるが、本明細書の説明では、画像は、一例として、透視CT画像を含むことが想定されている。
医療専門家25は、3次元(3D)カメラ70を使用して、患者22の顔面の3D光学画像をキャプチャする。いくつかの実施形態では、カメラ70は、Intel Corporation(Santa Clara,California)製のRealSense 3Dカメラである。3Dカメラ70は、少なくとも1つの光学センサを備えてもよい。いくつかの実施形態では、3Dカメラ70は、2つの別個の光学センサを備えてもよい。3D光学画像は、光ボクセルのセットを含み、各ボクセルは3つのデカルト座標並びに色、典型的には赤、緑、青(RGB)値を有する。光ボクセルのセットは、本明細書では、3D散布図74とも呼ばれ、散布図74の光ボクセルは、メモリ42に記憶される。
システム20によって実施される位置合わせのために、患者追跡装置78は患者22上に位置付けられる。患者追跡装置78は、図2A及び図2Bを参照して以下で説明する。
図2A及び図2Bは、一実施形態による、患者追跡装置78を示す概略図である。患者追跡装置78は、実質的に平面シートとして形成され、図2Aは、カメラ70から見た、すなわち追跡装置が患者22上に位置付けられた後の追跡装置の図を示す。図2Bは、追跡装置の分解組立て図である。
いくつかの実施形態では、患者追跡装置78は、5枚の層状シート80A、80B、80C、80D、及び80Eから構成され、全てのシートは実質的に同じ形状を有し、互いに接合されている。シート80Aは、図2Aにも示した上部シートであり、複数の光学的に識別可能な目印82がシートに組み込まれている。例として、シート80Aは、3つの光学目印82を含む。しかしながら、他の実施形態は、他の数の目印を含んでもよい。
シート80Cは、典型的には、可撓性絶縁材料から形成された層状中間シートであり、このシートが(典型的には印刷によって)形成されると、導電性螺旋状の平面導電コイル84が形成される。コイル84は電磁センサとして作用する。これらは目印82と同じ数のコイル84であり、各コイルは、それぞれの目印82との既知の空間的関係にあるようにシート80C上に位置する。一例として、各コイル84は、追跡装置のシートが互いに接合されたときに、それぞれの目印82と直接位置合わせされるように位置する。しかしながら、他の実施形態は、コイルと目印との異なる既知の空間的関係を用いて形成されてよい。例えば、コイル及び目印は、既知の空間量でずれていてよい。
ケーブル90(図1に図示)は、コイル84をプロセッサ40に接続する。コイル84のケーブルへの接続は、簡略化のために図2A及び図2Bには示されていない。
シート80Eは、生体適合性接着剤から形成された下部層状シートであり、システム20の動作中に患者22と接触するのは、このシートである。
シート80B及び80Dは、コイル84の電気的シールドとして機能するように導電性材料で形成された、中間層状シートである。シート80B内には、コイル84と整列した非導電性領域86がある。非導電性領域86の存在は、コイルが正しく動作することを可能にする。いくつかの実施形態では、非導電性領域86は開口部である。
図3は、一実施形態による、位置合わせアルゴリズム60を実行するための方法300のフローチャート図である。方法300は、図1に示す位置合わせシステム20上で実行されてもよい。
301では、電磁追跡システム24を起動し、患者22の頭部をシステムの領域30内に配置する。生体適合性接着剤シート80Eを使用して、患者追跡装置78を患者の額に取り付ける。その結果、光学的目印82は最上部にあり、目に見える。ケーブル90は、患者追跡装置とプロセッサ40との間に接続され、プロセッサ40は起動されて、ケーブルによってコイル84から伝達された信号を取得してよい。プロセッサは信号を解析して、磁気送信機28によって画定されたFOR内でのコイルの位置を計算する。計算した位置が領域30の予想部分内にあることが見出された場合、プロセッサ40は、電磁追跡システム24が正しく動作しているという指示を医療専門家25に提供してよい。電磁追跡システム24が正しく動作している例示的な指示は、プロセッサが画面56上に表示される通知を送信することである。
302において、プロセッサ40は、メモリ42に記憶された患者の頭部のCT画像を解析してもよい。いくつかの実施形態では、プロセッサ40は、画像を解析して、患者の頭部の表面特徴に対応する記憶した画像のCTボクセルのサブセットを識別し、このサブセットを表面サブセット66として記憶してもよい。
303において、医療専門家25は、3Dカメラ70を起動して、患者22の顔面の3D光学画像を取得し、取得した画像を散布図74としてメモリ42に記憶する。3Dカメラ70によって取得された画像は、患者の顔面に位置する患者追跡装置78の画像を含むことが理解されるであろう。
任意の好適なアルゴリズムを使用して、CTボクセル66の表面サブセットを3D散布図74の光学ボクセルに最適にマッピングする変換を見出すことができる。例えば、ロバストポイントマッチング及びカーネル相関などの、任意のクラウドポイントマッチングアルゴリズムを使用することができる。いくつかの実施形態では、反復最近接点(ICP)アルゴリズムを使用することができる。しかしながら、303までは、2つのボクセルセットに既知の差異が存在する。これは、患者追跡装置の画像が、散布図74内には存在するが、CTボクセルサブセット66には存在しないためである。
304において、CTボクセルサブセット66に患者追跡装置の画像が存在しないことは、患者追跡装置の画像をCTボクセルサブセットに追加することによって補償される。この追加は、医療専門家25に対して画面56にCTボクセルサブセットの画像を提示して、専門家が、提示された画像に患者追跡装置の画像を重ね合わせることを可能にし、合成画像を調節済みCTボクセルサブセット68として記憶することによって実施され得る。
あるいは、304では、調節済みサブセット68は、専門家25が患者追跡装置の画像を含まないサブセット66の部分を選択することによって、CTボクセルサブセット66から抽出される。医療専門家25は、画面56に提示されたサブセット66の画像上で選択を実行してよく、選択した部分は、調節済みCTボクセルサブセット68として記憶される。
305では、プロセッサ40は、調節済みCTボクセルサブセット68を散布図74のボクセルにマッピングする。304において、調節済みCTサブセットが患者追跡装置の画像を含む場合、マッピングは、2つのセットの全ボクセルに対して実行されてもよい。あるいは、304が、患者追跡装置の画像を含まないサブセット66の部分を選択することによって実施される場合、プロセッサ40は、散布図74のボクセルで対応する選択を行い、マッピングは、選択したボクセルセット間で行われる。
マッピングは、患者22のCT画像のFORと患者の光学画像のFORとの間の位置合わせをもたらす。プロセッサ40は、第1の変換行列M[CT-OPT]として位置合わせを定量化してよく、これは、基準フレームのうちの1つに含まれるエンティティを他のFORに変換するために使用され得る。
306において、プロセッサ40は、光学的目印82とコイル84との間の既知の空間的関係を使用して、光学的3D散布図74内の目印の位置と、301において見つけたような、電磁追跡システム24のFORのコイルの位置との間のマッピングを実行する。マッピングは、電磁追跡システムのFORと光学画像のFORの間の位置合わせをもたらし、これは、第2の変換行列M[MAGN-OPT]として定量化され得る。
307において、プロセッサ40は、305及び306で生成された2つの位置合わせを組み合わせて、電磁追跡システム24のFORとCT画像のFORとの間の第3の位置合わせを生成する。得られた位置合わせは、第3の変換行列M[CT-MAGN]として定量化されてもよく、マトリックスM]CT-MAGN]は、マトリックスM[MAGN-OPT]及びM[CT-OPT]から生成され得ることが理解されるであろう。
上述したように、図3の方法は、患者追跡装置78を含む図1の位置合わせシステム20上で実行されてもよい。いくつかの実施形態では、位置合わせシステム20は患者追跡装置78を含まない。代わりに、追加のセンサを3Dカメラ70に追加して、患者22の頭部の3D画像を電磁追跡システム24の磁気座標と位置合わせしてもよい。追加のセンサは、3Dカメラ70の位置及び配向を決定してもよい。3Dカメラ70の位置及び配向は、以下により詳細に記載されるように、電磁システムとCT画像との間の位置合わせを見出すために使用してもよい。
いくつかの実施形態では、追加のセンサは、三軸センサ(TAS)である。TASは、9個の送信機及び2個のコイルを有する3つのセンサを含み、単一点で合計27(3×9=27)の電圧測定値を収集する。TASの3つのセンサは、3つの直交する方向に同時測定を提供することができる。3Dカメラは、TASの実位置(磁気位置及び配向)に一致するように追跡及びナビゲートされてもよい。TASセンサの位置及び配向は、磁場送信機によって印加される既知の磁場に基づいて決定されてもよい。3Dカメラ70は、3Dカメラ70の位置及び配向を検索するために磁場の構成を読み取るTASセンサを使用して追跡及びナビゲートされてもよい。3Dカメラ70へのTASセンサの追加は、磁気座標と3Dカメラ画像を位置合わせする能力を提供し、これにより、磁気座標を用いるCT画像の位置合わせの精度が向上する。
他の実施形態では、追加のセンサは、単軸センサ(SAS)又は二軸センサ(DAS)である。SASは、合計9個の電圧測定値(1×9=9)を収集する。DASは、18個の電圧測定値(2×9=18)を収集する。
図4は、一実施形態による位置合わせアルゴリズムを実行するための方法400のフローチャート図である。方法400は、図1に示す位置合わせシステム20で実行されてもよいが、方法400は、患者追跡装置78の使用を必要としない。患者追跡装置78を使用する代わりに、3Dカメラ70は、少なくとも1つの光学センサに加えて、少なくとも1つの磁気センサを更に備える。これにより、3Dカメラの位置及び配向を決定し、CT画像と3D画像を位置合わせするために使用することができる。いくつかの実施形態では、磁気センサは、上述のようにTASである。TASは、3つの直交方向に同時測定を提供することができる。他の実施形態では、SAS又はDASをTASの代わりに使用してもよい。
上述のように、3Dカメラ70はまた、少なくとも1つの光学センサを備える。いくつかの実施形態では、3Dカメラ70は、2つの別個の光学センサを備えてもよい。3D光学画像は、光ボクセルのセットを含み、各ボクセルは3つのデカルト座標並びに色、典型的には赤、緑、青(RGB)値を有する。光ボクセルのセットは、本明細書では、3D散布図74とも呼ばれ、散布図74の光ボクセルは、メモリ42に記憶される。
401では、電磁追跡システム24を起動し、患者22の頭部をシステムの領域30内に配置する。電磁追跡システム24が起動されると、磁場送信機28は、定位置に固定され、また領域30内に正弦波交流磁場を送信し、患者22の頭部が位置する場所に配置される。
402において、医療専門家25は、カメラ70を作動させて、患者22の顔面の3D光学画像を取得する。プロセッサ40は、取得した3D画像を、メモリ42内の3D散布図74として記憶する。
403において、プロセッサ40は、TASの電圧測定値を解析するために起動されてもよい。プロセッサ40は、信号を処理してセンサの位置及び配向値を導出するように構成されている。プロセッサ40は、信号を処理してセンサの位置及び配向値を導出するように構成されている。磁気送信機28を含むシステム20の他の要素は、システムプロセッサ40により制御される。磁気送信機28を含むシステム20の他の要素は、システムプロセッサ40により制御される。プロセッサ40は、信号を処理して、センサ、それによってカメラの位置及び配向値を導出するように構成されている。磁気送信機28を含むシステム20の他の要素は、システムプロセッサ40により制御される。
いくつかの実施形態では、402及び403を同時に実行する。更なる実施形態では、タイムスタンプは、402及び403の両方で取られてもよく、それらが一致することを確保するために(すなわち、402で取得された患者の3D画像が、カメラ位置及び配向が403で決定された時間と同時であることを確認するために)相互参照されてもよい。
404において、プロセッサ40は、光学的3D散布図74を電磁追跡システムの磁気座標系に転送する。403で決定された3Dカメラ70の位置及び配向を使用して、3D散布図74を磁気座標にマッピングしてもよい。任意の好適な位置アルゴリズムを使用して、3D散布図74を磁気座標にマッピングしてもよい。例えば、ICP又はロバストポイントマッチングなどのクラウドポイントマッチングアルゴリズムを使用してもよい。マッピングは、光学画像と磁気座標との間の位置合わせを提供することができる。
405において、プロセッサは、患者22のCT画像と3D画像を位置合わせすることができる。患者22の頭部のCT画像は、メモリ42から取得され得る。プロセッサ40は、画像を解析して、患者22の頭部の表面特徴に対応する記憶された画像のCTボクセルを識別することができる。CTボクセルは、3D散布図74の光学ボクセルにマッピングすることができる。任意の好適なアルゴリズムを使用して、3D散布図74の光学ボクセルをCTボクセルの表面に最適にマッピングする変換を見出してもよい。いくつかの実施形態では、ICPアルゴリズムを使用してもよい。このマッピングは、光学画像とCT画像との間の位置合わせを提供することができる。
いくつかの実施形態では、CT画像を用いる3D画像と磁気座標を用いる3D画像の位置合わせを完了した後、次いで、磁気座標とCT画像を位置合わせしてもよい。例えば、プロセッサ40は、光学画像と磁気座標との間の位置合わせと、光学画像とCT画像との間の位置合わせを組み合わせて、磁気座標とCT画像との間の別の位置合わせを生成してもよい。磁気座標と3D画像を最初に位置合わせすることにより、磁気座標を用いるCT画像の位置合わせの精度を高めることができる。
図5は、一実施形態による、位置合わせシステムの領域30で位置付けられた患者22の3D光学画像に対応する3D散布図510の概略図である。位置合わせシステムは、図1に示す位置合わせシステム20を含んでもよく、患者追跡装置78は任意選択的である。図5では、取得された3D画像の3D散布図510は、例示目的のために患者22の顔面上に重ね合わされる。
図6A~図6Cは、一実施形態による、取得された3D画像の3D散布図510を電磁追跡システムのCT座標系520にマッピングする概略図である。このマッピングは、図4に関して記載されている方法の405において行われ得る。図6Aは、3D散布図510及びCTボクセル520が別個であるときを示す。図6B及び図6Cは、CTボクセル520にマッピングされる3D散布図510の概略図である。いくつかの実施形態では、3D画像が取得されたときの3Dカメラ70の位置及び配向は、上述のように、3D散布図を磁気座標にマッピングするためのアルゴリズムにおいて使用される。
上に記載される実施形態は例として挙げたものであり、本開示は本明細書の上記で具体的に図示及び記載されるものに限定されない点が理解されよう。むしろ、本開示の範囲は、本明細書の上記した様々な特徴の組み合わせ及び部分的組み合わせの両方、並びに前述の記載を読むと当業者に着想されるであろう、先行技術に開示されていないその変形及び修正を含む。
〔実施の態様〕
(1) 方法であって、
患者の頭部上で電磁追跡システムを起動することと、
前記患者の前記頭部の3次元(3D)画像を受信して、前記3D画像の散布図をメモリに記憶することであって、前記3D画像が、少なくとも1つの光学センサ及び少なくとも1つの磁気センサを含む3Dカメラを使用して取得される、記憶することと、
前記3D画像が前記電磁追跡システムの1つ又は2つ以上の送信機によって印加された既知の磁場に基づいて磁気センサを介して取得されたときの前記3Dカメラの位置及び配向を決定することと、
前記3Dカメラの決定された前記位置及び前記配向を使用して前記電磁追跡システムの磁気座標に前記散布図を位置合わせすることであって、位置合わせされた前記散布図が前記メモリに記憶される、位置合わせすることと、を含む、方法。
(2) 前記少なくとも1つの磁気センサが、三軸センサ(TAS)である、実施態様1に記載の方法。
(3) 前記少なくとも1つの磁気センサが、単軸センサ(SAS)又は二軸センサ(DAS)である、実施態様1に記載の方法。
(4) 前記散布図が、前記3Dカメラ上の2つの別個の光学センサに固定された基準である、実施態様1に記載の方法。
(5) 前記被験者の受信した前記3D画像を、前記被験者のコンピュータ断層撮影(CT)画像と位置合わせすることを更に含む、実施態様1に記載の方法。
(6) 前記CT画像が、反復最近接点(ICP)アルゴリズムを使用して前記磁気座標と位置合わせされる、実施態様5に記載の方法。
(7) 前記磁気座標と前記患者のCT画像を位置合わせすることを更に含む、実施態様5に記載の方法。
(8) システムであって、
磁場を印加するように構成された1つ又は2つ以上の送信機を備える電磁追跡システムと、
少なくとも1つの光学センサ及び少なくとも1つの磁気センサを含む3Dカメラと、
前記3Dカメラによって取得された被験者の3D画像を散布図として記憶するように構成されたメモリと、
プロセッサであって、
前記電磁追跡システムを起動し、
前記メモリから前記散布図を取得し、
前記3Dカメラが前記電磁追跡システムの送信機によって印加された既知の磁場に基づいて前記磁気センサを介して前記3D画像を取得したときの前記3Dカメラの位置及び配向を判定し、
前記散布図を前記電磁追跡システムの磁気座標に位置合わせするように構成された、プロセッサと、を備え、
前記メモリが、位置合わせされた前記散布図を記憶するように更に構成されている、システム。
(9) 前記少なくとも1つの磁気センサが、三軸センサ(TAS)である、実施態様8に記載のシステム。
(10) 前記少なくとも1つの磁気センサが、単軸センサ(SAS)又は二軸センサ(DAS)である、実施態様8に記載のシステム。
(11) 前記散布図が、前記3Dカメラの前記少なくとも1つの光学センサに固定された基準である、実施態様8に記載のシステム。
(12) 前記プロセッサが、前記3D画像とコンピュータ断層撮影(CT)画像を位置合わせするように更に構成されている、実施態様8に記載のシステム。
(13) 前記CT画像が、ICPアルゴリズムを使用して前記磁気座標と位置合わせされている、実施態様12に記載のシステム。
(14) 前記プロセッサが、前記磁気座標と前記被験者の前記CT画像を位置合わせするように更に構成されている、実施態様12に記載のシステム。
(15) プログラム命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記命令がプロセッサによって読み取られると、前記プロセッサに、
電磁追跡システムを起動することと、
被験者の3D画像の散布図を取得することであって、前記3D画像は、少なくとも1つの光学センサ及び少なくとも1つの磁気センサを含む3Dカメラによって取得される、取得することと、
前記電磁追跡システムの送信機によって印加された既知の磁場に基づいて、前記磁気センサを介して前記3D画像が取得されたときの前記3Dカメラの位置及び配向を判定することと、
前記散布図を前記電磁追跡システムの磁気座標に位置合わせすることと、
を行わせる、非一時的コンピュータ可読記憶媒体。
(16) 前記少なくとも1つの磁気センサが、三軸センサ(TAS)である、実施態様15に記載の非一時的コンピュータ可読記憶媒体。
(17) 前記少なくとも1つの磁気センサが、単軸センサ(SAS)又は二軸センサ(DAS)である、実施態様15に記載の非一時的コンピュータ可読記憶媒体。
(18) 前記散布図が、前記少なくとも1つの光学センサに固定された基準である、実施態様15に記載の非一時的コンピュータ可読記憶媒体。
(19) 記憶された前記プログラム命令が、プロセッサによって読み取られると、前記プロセッサに更に、前記3D画像とコンピュータ断層撮影(CT)画像を位置合わせさせる、実施態様15に記載の非一時的コンピュータ可読記憶媒体。
(20) 前記記憶されたプログラム命令が、プロセッサによって読み取られると、前記プロセッサに更に、前記磁気座標と前記CT画像を位置合わせさせる、実施態様19に記載の非一時的コンピュータ可読記憶媒体。

Claims (20)

  1. システムであって、
    磁場を印加するように構成された1つ又は2つ以上の送信機を備える電磁追跡システムと、
    少なくとも1つの光学センサ及び少なくとも1つの磁気センサを含む3Dカメラと、
    前記3Dカメラによって取得された被験者の3D画像を散布図として記憶するように構成されたメモリと、
    プロセッサであって、
    前記電磁追跡システムを起動し、
    前記メモリから前記散布図を取得し、
    前記3Dカメラが前記電磁追跡システムの送信機によって印加された既知の磁場に基づいて前記磁気センサを介して前記3D画像を取得したときの前記3Dカメラの位置及び配向を判定し、
    前記散布図を前記電磁追跡システムの磁気座標に位置合わせするように構成された、プロセッサと、を備え、
    前記メモリが、位置合わせされた前記散布図を記憶するように更に構成されている、システム。
  2. 前記少なくとも1つの磁気センサが、三軸センサ(TAS)である、請求項1に記載のシステム。
  3. 前記少なくとも1つの磁気センサが、単軸センサ(SAS)又は二軸センサ(DAS)である、請求項1に記載のシステム。
  4. 前記散布図が、前記3Dカメラの前記少なくとも1つの光学センサに固定された基準である、請求項1に記載のシステム。
  5. 前記プロセッサが、前記3D画像とコンピュータ断層撮影(CT)画像を位置合わせするように更に構成されている、請求項1に記載のシステム。
  6. 前記CT画像が、ICPアルゴリズムを使用して前記磁気座標と位置合わせされている、請求項5に記載のシステム。
  7. 前記プロセッサが、前記磁気座標と前記被験者の前記CT画像を位置合わせするように更に構成されている、請求項5に記載のシステム。
  8. プログラム命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記命令がプロセッサによって読み取られると、前記プロセッサに、
    電磁追跡システムを起動することと、
    被験者の3D画像の散布図を取得することであって、前記3D画像は、少なくとも1つの光学センサ及び少なくとも1つの磁気センサを含む3Dカメラによって取得される、取得することと、
    前記電磁追跡システムの送信機によって印加された既知の磁場に基づいて、前記磁気センサを介して前記3D画像が取得されたときの前記3Dカメラの位置及び配向を判定することと、
    前記散布図を前記電磁追跡システムの磁気座標に位置合わせすることと、
    を行わせる、非一時的コンピュータ可読記憶媒体。
  9. 前記少なくとも1つの磁気センサが、三軸センサ(TAS)である、請求項8に記載の非一時的コンピュータ可読記憶媒体。
  10. 前記少なくとも1つの磁気センサが、単軸センサ(SAS)又は二軸センサ(DAS)である、請求項8に記載の非一時的コンピュータ可読記憶媒体。
  11. 前記散布図が、前記少なくとも1つの光学センサに固定された基準である、請求項8に記載の非一時的コンピュータ可読記憶媒体。
  12. 記憶された前記プログラム命令が、プロセッサによって読み取られると、前記プロセッサに更に、前記3D画像とコンピュータ断層撮影(CT)画像を位置合わせさせる、請求項8に記載の非一時的コンピュータ可読記憶媒体。
  13. 前記記憶されたプログラム命令が、プロセッサによって読み取られると、前記プロセッサに更に、前記磁気座標と前記CT画像を位置合わせさせる、請求項12に記載の非一時的コンピュータ可読記憶媒体。
  14. 方法であって、
    患者の頭部上で電磁追跡システムを起動することと、
    前記患者の前記頭部の3次元(3D)画像を受信して、前記3D画像の散布図をメモリに記憶することであって、前記3D画像が、少なくとも1つの光学センサ及び少なくとも1つの磁気センサを含む3Dカメラを使用して取得される、記憶することと、
    前記3D画像が前記電磁追跡システムの1つ又は2つ以上の送信機によって印加された既知の磁場に基づいて磁気センサを介して取得されたときの前記3Dカメラの位置及び配向を決定することと、
    前記3Dカメラの決定された前記位置及び前記配向を使用して前記電磁追跡システムの磁気座標に前記散布図を位置合わせすることであって、位置合わせされた前記散布図が前記メモリに記憶される、位置合わせすることと、を含む、方法。
  15. 前記少なくとも1つの磁気センサが、三軸センサ(TAS)である、請求項14に記載の方法。
  16. 前記少なくとも1つの磁気センサが、単軸センサ(SAS)又は二軸センサ(DAS)である、請求項14に記載の方法。
  17. 前記散布図が、前記3Dカメラ上の2つの別個の光学センサに固定された基準である、請求項14に記載の方法。
  18. 前記被験者の受信した前記3D画像を、前記被験者のコンピュータ断層撮影(CT)画像と位置合わせすることを更に含む、請求項14に記載の方法。
  19. 前記CT画像が、反復最近接点(ICP)アルゴリズムを使用して前記磁気座標と位置合わせされる、請求項18に記載の方法。
  20. 前記磁気座標と前記患者のCT画像を位置合わせすることを更に含む、請求項18に記載の方法。
JP2021125208A 2020-07-31 2021-07-30 外科用デバイスを追跡するためのシステム及び方法 Pending JP2022027695A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063059805P 2020-07-31 2020-07-31
US63/059,805 2020-07-31
US17/383,980 US20220031400A1 (en) 2020-07-31 2021-07-23 Systems and methods for tracking a surgical device
US17/383,980 2021-07-23

Publications (1)

Publication Number Publication Date
JP2022027695A true JP2022027695A (ja) 2022-02-14

Family

ID=77431096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021125208A Pending JP2022027695A (ja) 2020-07-31 2021-07-30 外科用デバイスを追跡するためのシステム及び方法

Country Status (5)

Country Link
US (1) US20220031400A1 (ja)
EP (1) EP3944835A1 (ja)
JP (1) JP2022027695A (ja)
CN (1) CN114052904A (ja)
IL (1) IL285191A (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005079492A2 (en) * 2004-02-17 2005-09-01 Traxtal Technologies Inc. Method and apparatus for registration, verification, and referencing of internal organs
US7561733B2 (en) * 2004-11-15 2009-07-14 BrainLAG AG Patient registration with video image assistance
US9265589B2 (en) * 2007-11-06 2016-02-23 Medtronic Navigation, Inc. System and method for navigated drill guide
DE102011012460A1 (de) * 2011-02-25 2012-08-30 Hicat Gmbh Chirurgisches Instrument mit integrierter Navigationskontrolle
US11666203B2 (en) * 2018-10-04 2023-06-06 Biosense Webster (Israel) Ltd. Using a camera with an ENT tool
US11457981B2 (en) * 2018-10-04 2022-10-04 Acclarent, Inc. Computerized tomography (CT) image correction using position and direction (P andD) tracking assisted optical visualization
US20200237459A1 (en) * 2019-01-25 2020-07-30 Biosense Webster (Israel) Ltd. Flexible multi-coil tracking sensor

Also Published As

Publication number Publication date
CN114052904A (zh) 2022-02-18
EP3944835A1 (en) 2022-02-02
US20220031400A1 (en) 2022-02-03
IL285191A (en) 2022-02-01

Similar Documents

Publication Publication Date Title
CN113347937B (zh) 参照系的配准
CN107106241B (zh) 用于对外科器械进行导航的系统
US8694075B2 (en) Intra-operative registration for navigated surgical procedures
US7664542B2 (en) Registering intra-operative image data sets with pre-operative 3D image data sets on the basis of optical surface extraction
EP3007635B1 (en) Computer-implemented technique for determining a coordinate transformation for surgical navigation
US9248000B2 (en) System for and method of visualizing an interior of body
JP4822634B2 (ja) 対象物の案内のための座標変換を求める方法
US20210137605A1 (en) Using augmented reality in surgical navigation
DK2061556T3 (en) PROCEDURE AND APPARATUS TO CORRECT A ERROR IN THE CO-REGISTRATION OF COORDINATE SYSTEMS USED TO REPRESENT OBJECTS UNDER NAVIGATED BRAIN STIMULATION
AU2015238800B2 (en) Real-time simulation of fluoroscopic images
EP3195823B1 (en) Optical tracking system
US10362966B2 (en) Intraoperative image registration by means of reference markers
CN107133637B (zh) 一种手术导航图像自动注册设备以及方法
JP2002177406A (ja) 放射線照射システム及びその照射ターゲット動きモニタ方法並びに照射ターゲット定位化方法
WO2008035271A2 (en) Device for registering a 3d model
JP2017514614A (ja) 椎骨レベル用イメージングシステム
CA2950940A1 (en) Registration between coordinate systems for visualizing a tool
Alam et al. A review on extrinsic registration methods for medical images
CN116744875A (zh) 导航支持
KR20160057024A (ko) 마커리스 3차원 객체추적 장치 및 그 방법
JP2022027695A (ja) 外科用デバイスを追跡するためのシステム及び方法
JP7511555B2 (ja) 画像装置のための空間的位置合わせ方法
US20220096165A1 (en) Interventional device tracking
KR20190038042A (ko) 영상 처리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240528