JP2021518243A - 3d医用画像データにおける皮膚表面上の仮想デバイス配置のための方法 - Google Patents

3d医用画像データにおける皮膚表面上の仮想デバイス配置のための方法 Download PDF

Info

Publication number
JP2021518243A
JP2021518243A JP2020573094A JP2020573094A JP2021518243A JP 2021518243 A JP2021518243 A JP 2021518243A JP 2020573094 A JP2020573094 A JP 2020573094A JP 2020573094 A JP2020573094 A JP 2020573094A JP 2021518243 A JP2021518243 A JP 2021518243A
Authority
JP
Japan
Prior art keywords
planned
computing system
needle
guide device
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020573094A
Other languages
English (en)
Other versions
JP7252268B2 (ja
Inventor
ヴァカ アントニオ ボニラス
ヴァカ アントニオ ボニラス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon USA Inc
Original Assignee
Canon USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon USA Inc filed Critical Canon USA Inc
Publication of JP2021518243A publication Critical patent/JP2021518243A/ja
Application granted granted Critical
Publication of JP7252268B2 publication Critical patent/JP7252268B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/003Steerable
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577Ablation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/374NMR or MRI
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30021Catheter; Guide wire
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection

Abstract

システム、方法及びコンピュータ可読媒体が提供される。一部の実施形態は、仮想デバイスモデルを画像空間に自動的にレジストレーションし、実際のデバイスが患者上に配置される前に皮膚表面上のデバイスの最も見込みのある構成を概算するためのアルゴリズムを備える画像誘導ソフトウェアを含む。デバイスの仮想モデルとその到達可能エリアは、標的の到達可能性を可視化及び定量化するために、計画画像データにオーバーレイされる。【選択図】図2A

Description

関連出願への相互参照
本願は、2018年3月17日に提出された米国仮特許出願第62/644,496号の利益を主張する、2019年3月15日に提出された米国非仮特許出願第16/355,023号の利益を主張する、特許協力条約に基づく出願である。米国非仮特許出願第16/355,023号及び米国仮特許出願第62/644,496号の各々は、参照により、その全体が本明細書に組み込まれる。
本開示は、概して医用イメージングに関し、より詳細には、針誘導のための外部デバイスを用いて低侵襲処置を計画し実行するためのシステム、方法及びデバイスに関する。
医用画像は、処置の計画、実行及び術後解析において、医師を支援する。いくつかの有用なイメージングモダリティとして、超音波イメージング、コンピュータ断層撮影法(CT)及び磁気共鳴イメージング(MRI)が挙げられる。医用画像はまた、処置を実施している間に、患者に対して様々な器具をナビゲートするのを支援するために用いることもできる。治療エリアに対して、患者上にデバイスを正確に配置することが重要である。
低侵襲画像誘導針インターベンション(生検、アブレーション療法等)の計画時、標的の病変又は解剖学的構造は、通常、CTやMRI等のモダリティの医用画像内で識別される。針軌道を決定するために、通常、皮膚表面上の挿入点も識別される。可能な軌道は、針のジオメトリと操縦性によって決まる。計画軌道に沿って針を方向付けるのを支援するために、患者の皮膚の上又は近くに配置された状態で、誘導デバイスを使用することができる。デバイスのジオメトリと針の長さ及びジオメトリによって到達可能エリアが制限されるので、デバイスの知識、経験、及び画像データの測定結果に基づいて、心象が形成されて、選択された挿入点から標的に到達可能かどうかが決定される。処置中、デバイスは患者上に配置され、新しい画像が取得され、画像上でデバイスを識別し、画像空間にレジストレーションすることができる。次いで、標的が到達可能かどうかを確認することができる。
米国特許第6,782,288号には、旋回点を中心に旋回する針ガイドを備えるデバイスと、イメージングシステム及び関連ソフトウェアを用いて、ガイドを所望の針軌道に合わせる方法とが記載されている。米国特許第9,408,627号には、円形のベースプレート、半円形の回転弧及び針ガイド、並びに関連画像誘導ソフトウェアから成る全身定位針配置デバイスが記載されている。しかしながら、上記のような従来のシステムでは、標的の到達可能性を評価するために、計画時にイメージングソフトウェアにおいてデバイス配置をシミュレートするための規定がない。よって、針誘導デバイスが患者上に配置され、撮像され、画像空間に対してレジストレーションされる前に、デバイスを用いて、選択された挿入点から目標点に到達できるかどうかを確認することは難しい。
したがって、標的到達可能性を評価し、最適なデバイス配置を支援するために、計画時にイメージングソフトウェアにおいてデバイス配置をシミュレーションするシステム及び方法を提供することが望ましい。
標的の到達可能性を可視化及び定量化するために、計画時にデバイス配置をシミュレーションするためのシステム、方法及びコンピュータ可読媒体が開示される。本開示の実施形態によれば、医用画像データは、何らかのイメージングシステム(CT、MRI等)から取得される。一部の実施形態は、標的及び挿入点の場所を設定することによって針軌道を定めることを可能にし、かつ、物理誘導デバイスと処置に用いられる針又は器具の3Dモデル表現を含む画像誘導システムを含む。
一部の実施形態は、仮想デバイスモデルを画像空間に自動的にレジストレーションし、実際のデバイスが患者上に配置される前に皮膚表面上のデバイスの可能な構成を概算し、推奨配置を提案するためのアルゴリズムを備える画像誘導ソフトウェアを含む。標的の到達可能性を可視化及び定量化するために、デバイスの仮想モデルとその到達可能エリアは、針ジオメトリに基づいて、計画画像データにオーバーレイされる。
一部の実施形態によれば、本明細書に開示されるシステム及び方法は、医用画像データを入力として用いる。更に、一部の実施形態では、本明細書のシステム及び方法は、底面(平面及びフットプリント)、デバイスの到達可能エリア、及び底面と到達可能エリアの間の幾何学的関係を含む、針ガイドデバイスモデル表現を入力として用いる。一部の実施形態では、本明細書のシステム及び方法は、医用画像データを可視化することと、皮膚進入点及び標的を定めることと、針ガイドデバイスについて最良の底面位置及び向きを計算することとを可能にする画像誘導ソフトウェアを用いる。一部の実施形態によれば、針ガイドデバイスの向きを決定することは、皮膚進入点に関してデバイス中心の周りでデバイスモデルを旋回させることと、皮膚と底面の間の対応関係に関連するメトリックを計算することと、上記のステップを反復してメトリックを最適化することと、を含む。一部の実施形態では、皮膚進入点に関するデバイス中心は、複数の構成を有することができ、最適な構成は、到達可能性に関するメトリックを計算し、反復してメトリックを最適化することによって決定される。更に、一部の実施形態は、既知の幾何学的関係と計算されたデバイス対画像レジストレーションを用いることにより、医用画像データ上にデバイスの到達可能エリアを表示することを含む。更に、一部の実施形態は、本開示によれば、皮膚進入点の周りでデバイスモデルを旋回させることと、計算用にデバイスモデル上で軸を定めることと、皮膚平面と針ガイドデバイスの底面との間の対応関係に関連するメトリックを計算することと、計算するステップを反復してメトリックを最適化することと、別の軸について上記ステップを繰り返すこととによって、最良の底面向きを計算することを含む。
本開示の更なる特徴は、添付の図面を参照した例示の実施形態の以下の説明から明らかになるであろう。図中、同様の参照文字は、その図面全体を通して同じ又は類似の部分を示す。
添付の図面(本明細書に組み込まれ、その一部を構成する)は、本開示の実施形態を示し、説明とともに、本開示の原理を説明するのに役立つ。
図1は、一部の実施形態による、例示のグラフィカルユーザインタフェース上に提示された医用画像と、例示の針誘導デバイスのデバイスモデルと、医用画像上にオーバーレイされたデバイスモデルを示す画像とを示す図である。 図2Aは、一部の実施形態による、画像及びデバイスモデルデータの処理を示すフローチャートである。 図2Bは、画像及びデバイスモデルデータから最適なデバイス位置及び向きマトリクスを計算するための一般のプロセスを示すフローチャートである。 図3は、一部の実施形態による、標的到達可能性を評価するための最適な向きを決定するプロセスを示すフローチャートである。 図4は、一部の実施形態による、画像誘導ソフトウェアと、針ガイドロボットのロボット制御サーバと、MRIスキャナを含むMRIシステムとを含む針ガイドロボットシステムの例示のシステム図である。 図5は、一部の実施形態による例示のコンピューティングシステムを示す図である。
以下、図面を参照して、例示の実施形態を説明する。図1は、計画画像データ101と、デバイスモデル102と、アルゴリズム300を適用した後に計画画像データ101にオーバーレイされた、レジストレーションされたデバイスモデル103とを示す。アルゴリズム300は、図3を参照して以下で詳述される。一部の実施形態では、コンピューティングシステム上で動作する画像誘導ソフトウェアは、計画画像データ101を受信し、デバイスモデル102を用いて、アルゴリズム300を実行することにより、レジストレーションされたデバイスモデル103の向きを決定する。
一部の実施形態では、計画画像データ101は、何らかのイメージングシステム(CT、MRI等)から取得された医用画像データである。画像誘導ソフトウェアは、標的と挿入点の場所を設定することにより、針軌道を定めることを可能にする。更に、画像誘導ソフトウェアは、針軌道及び計画画像データ101に基づいて、挿入深さを計算してよい。一部の実施形態では、画像誘導ソフトウェアは、デバイスモデル102を含む。デバイスモデル102は、処置に用いられる物理誘導デバイスの3Dモデル表現である。デバイスモデル102は、例えば、患者又は他の画像対象の表面上に配置された(又は配置される予定の)物理誘導デバイスの仮想表現の表面モデルを提供するために、対象の画像データと併せてオーバーレイすることができ、そうでなければ提示することができる。物理誘導デバイスは、処置の準備中又は実行中に、針、プローブ又は他の医療機器を誘導するための任意の適切なデバイスであってよい。針は、処置に適した任意のサイズ又は長さの針であってよい。一部の実施形態では、複数の針の各針又は他の医療機器に対応するデータは、画像誘導ソフトウェアに含まれるそれぞれのデバイスモデルとして、コンピューティングシステムに格納される。
一部の実施形態では、画像誘導ソフトウェアは、仮想デバイスモデル102を画像空間に自動的にレジストレーションするための、本開示に記載されるアルゴリズム300を含む。アルゴリズム300は、実際のデバイスが患者上に配置される前に、皮膚表面上のデバイスの最も可能性の高い構成を概算する。レジストレーションされたデバイスモデル103とその到達可能エリアは、標的の到達可能性を可視化及び定量化するために、計画画像データ101にオーバーレイされる。
アルゴリズム300は、図3に示されるプロセスを実行して、標的の到達可能性を評価するための最適な向きを決定する。以下でより詳細に説明するように、計画挿入点は、デバイス原点の位置を決定するために用いられ、また、デバイスモデル102の表面が皮膚表面に適応するように、患者上でのおおよその向きを決定するためのピボットとして機能する。
図3によれば、デバイスモデル102は、挿入点を通過する任意軸を中心に回転し、下にある画像データ値のサンプルは、回転軸に垂直なジオメトリでのデバイスモデル102表面に対応する一連のポイントにおいて、様々な角度位置について収集される。範囲、勾配又はそれらの組合わせ等、イメージングモダリティに固有であり得る各角度でのポイントサンプル値について、最適化される計量情報(メトリック)が計算され、最適値により、第1のデバイスモデル回転角度が決まる。
次に、結果として得られるデバイスモデルは、その後、第1の回転軸に直交し、かつ、第1の軸の回転後にデバイスモデルの表面に平行となる第2の軸を中心に回転され、第2の回転軸に垂直であるジオメトリにおいて、デバイスモデル表面上の一連のポイントで同様にサンプリングされる。最適値により、第2の回転角度が決まる。
2回の回転を適用した後に得られるデバイスモデルは、患者の皮膚表面の向きにほぼ一致すると予想されるが、結果として得られたデバイスモデルの新しい軸を用いて、追加の反復を実行することができる。最後のステップは、デバイスモデルが180度反転され得るかどうかを確認することであり、この場合、結果の表面平面のいずれかの側の画像データ値のサンプルが取得され、必要に応じてデバイスモデルが反転される。アルゴリズム300については、図3を参照して以下で更に説明する。
図2A及び図2Bは、画像誘導ソフトウェアを実行するコンピューティングシステムにおける例示の動作を示すフローチャートである。一部の実施形態では、図5を参照して記載されるコンピューティングシステム500上で動作する画像誘導ソフトウェアは、前処置計画に関連する情報に基づいて、図2A及び図2Bに示される動作を実行する。一部の実施形態によれば、図1の計画画像データ101は、図2AのステップS201で取得された医用画像データである。
ステップS201において、コンピューティングシステム500は、対象の画像データを取得する。例えば、画像データは、患者の解剖学的構造の医用画像データであってよい。一部の実施形態では、画像データはMRIデータを含む。例えば、患者がMRIスキャナのガントリ内にいる間、MRIスキャナは、患者の体の少なくとも一部をスキャンする。スキャンに基づいて、MRIスキャナは、患者の解剖学的構造の画像を生成し、MRIシステム404は、患者の解剖学的構造の3D画像データをコンピューティングシステム500に送信する。一部の実施形態では、画像データはCTデータを含む。例えば、患者の体の一部のCTスキャンが実施され、CTスキャンに基づいて画像データが生成されてもよい。画像データが生成された後、イメージングシステムは、画像データをコンピューティングシステム500に送信する。
一部の実施形態では、コンピューティングシステム500は、画像データを生成したイメージングシステム以外のソースからのファイルとして、画像データを取得する。例えば、コンピューティングシステム500は、コンピューティングシステム500に接続されたUSBフラッシュドライブや、コンピューティングシステム500にアクセス可能な任意の他の適切な記憶媒体等の記憶装置から、ファイルを読み取るか又は取り出してよい。一部の実施形態では、コンピューティングシステム500は、LAN、WAN、他の適切なネットワーク、又はネットワークの組合わせ等のネットワークを介して画像データファイルを送信するコンピューティングシステムから、画像データを取得する。
よって、コンピューティングシステム500上で動作する画像誘導ソフトウェアは、例えば、画像データを生成したイメージングシステムから、又は記憶媒体から、又はネットワーク上の別のコンピューティングシステムから、コンピューティングシステム500において画像データを取得する。
ステップS202において、コンピューティングシステム500上で動作する画像誘導ソフトウェアは、画像データ(ステップS201で取得された)をディスプレイ上のGUIに提示する。一部の実施形態では、コンピューティングシステム500はディスプレイを含み、画像データは、コンピューティングシステム500のディスプレイ上のGUIに提示される。一部の実施形態では、ディスプレイは出力デバイスであり、コンピューティングシステム500上で動作する画像誘導ソフトウェアは、I/Oインタフェース504を介して、画像データをディスプレイに出力する。一部の実施形態では、ステップS202は、GUIにおける医用画像の提示を含み、医用画像は、患者の解剖学的構造の3D表現を含む。GUIに提示された医用画像は、医療処置の前処置計画のための計画画像として用いることができる。例えば、コンピューティングシステム500上で動作する画像誘導ソフトウェアは、ユーザ(医師等)がGUIを介して入力を提供して、GUIに表示された医用画像上の1つ以上の場所を指定できるようにするインタフェース要素及び特徴を含むGUIを提供する。一部の実施形態では、GUIは、任意の平面に沿った計画画像の一部を表示し、医師が標的及び皮膚進入点を指定することを可能にする。したがって、医師は、計画画像上で標的及び皮膚進入点を指定することにより、針配置の軌道を定めることができる。
ステップS203において、コンピューティングシステム500は、医用画像上の挿入点及び標的の指定を示す1つ以上の入力を受け取る。一部の実施形態では、ステップS203は、医用画像がディスプレイ上のGUIに提示されている間に入力を受け取ることを含む。入力は、任意の適切な方法で受け取ることができる。限定ではなく例として、ユーザは、指、スタイラス又は他のツールでタッチセンサ式ディスプレイにタッチすること、マウス又はタッチパッドでカーソルを制御すること、キー、ボタン又は他の入力構造を押すこと、GUIに含まれる1つ以上のインタフェース要素を操作又は選択すること、入力を提供するための別の手法、又は、これらのうちの2つ以上の組合わせのうちの1つ以上により、医用画像上で挿入点及び標的を指定する1つ以上の入力を提供することができる。計画挿入点は、患者の体内に針が挿入されることになる皮膚進入点である。標的は、治療される場所、スポット若しくはエリア、及び/又はアクセスされる解剖学的構造である。針配置の軌道は、計画挿入点と標的を接続することによって定められる。
ステップS204において、コンピューティングシステム500は、物理誘導デバイスのデバイスモデルを取得する。デバイスモデルは、典型的には、例えばコンピュータ支援設計(CAD)ソフトウェアプログラムを用いて、対象に対して用いられる特定の物理誘導デバイスの様々な構成要素のジオメトリ及び機能の技術仕様に基づいて、前もってソフトウェアでコード化される。例えば、図1に示されるように、物理誘導デバイスは、対象(患者等)に垂直な回転軸の周りを回転することができ、弧状のハンドル部分を有する針誘導デバイスであってよく、弧状のハンドル部分により、針ガイドは、上述の回転軸からある角度だけ傾くことができ、針(或いは医用プローブ又は他の医療用具)をカント角に沿って対象内に誘導することができる。カント角は、例えば図1に示される計画画像データ101に示されるように、例えば対象の画像スキャンにおいて針進入点と標的位置表現から直線を決定することによって、決定することができる。
ステップS205において、コンピューティングシステム500は、対象上での物理誘導デバイスの配置のための場所を指定するデバイスマトリクスを計算する。特に、例えば、コンピューティングシステム500は、スキャンデータ又は他の画像データに示されるような、対象の表面上の物理誘導デバイスの仮想表現を計算してよい。更に、ステップS205は、物理誘導デバイスがどのように対象の表面に取り付けられ、対象の表面上で安定した方法で静止することができるかを指定してよい。更に、ステップS205は、物理誘導デバイス(例えば図1に示されるような針挿入デバイス102)のベースにどのように角度を付けるのかを決定することができ、それにより、患者又は他の撮像対象の表面に安定した取付けを提供するように、物理誘導デバイスのベースの全体又は大部分にわたって接触が提供される。更に、ステップS205は、物理誘導デバイスを用いて医療機器が対象内に誘導され得る範囲を示す到達可能性メトリックを計算してよく、更に、対象内で誘導される医療機器の使用のために、十分な追加の範囲(例えばヘッドルーム)があるかどうかの指示を計算してよい。対象の表面上と同じ状態の物理誘導デバイスの仮想表現を提供し(例えば表示し)、画像データに重ね合わせることができる。更に、複数の潜在的な取付け場所を決定することができ、そして、ユーザのために、最良適合を特定することができ、或いは、ユーザに、ユーザの医学的知識に基づいて、最良適合を選択することを許可することができる。ステップS205の特定の実装の追加の詳細は、図2Bを参照して以下に提供される。
ここで図2Bを参照すると、画像及びデバイスモデルデータから最適なデバイス位置及び向きマトリクスを計算するために、図5のコンピューティングシステム500によって実行され得る一般プロセスを図示するフローチャートが示されている。図2Bのプロセスは、例えば、図2AのステップS205の処理を実行するのに有用である。ステップS211において、コンピューティングシステム500は、例えば、以前に作成された対象のスキャンデータを記憶装置503から読み取ることによって、対象の画像データを取得する。ステップS212において、コンピューティングシステム500は、物理誘導デバイスのソフトウェアモデルを、記憶装置503からメモリ502にロードする。物理誘導デバイスのソフトウェアモデルがメモリ502にロードされると、コンピューティングシステム500は、対象の画像データに基づいて、物理誘導デバイスのソフトウェアモデルを対象のソフトウェアモデルのジオメトリにリンクさせる。これは、例えば、スキャンデータに重ね合わされた物理誘導デバイスの仮想表現を作成することを含んでよく、また、医師、医療提供者又は他のユーザが、対象(例えば患者)上に配置された場合に物理誘導デバイスがどのように見えるかを確認することができるように、例えばディスプレイデバイス上に、スキャンデータの表示に重ね合わせられた物理誘導デバイスの仮想表現の表示を提供することを含んでもよい。
ステップS213において、コンピューティングシステム500は、スキャンデータにおいて選択されたサンプルラインに沿って、スキャンデータのスカラ値をサンプリングする。サンプルラインは、例えば、対象のソフトウェアモデルのジオメトリにリンクされた、物理誘導デバイスの仮想表現の下にある対象上のポイントを通る直線又は曲線の進路とすることができる。例として、物理誘導デバイスの仮想表現の下の任意のポイントを用いることができるが、特に、物理誘導デバイスが回転対称性を有し、かつ/又は物理誘導デバイスのベースの回転軸の周りで回転可能である場合は、物理誘導デバイスのソフトウェアモデルの下に中心がある(又は軸方向に中心がある)ポイントを選択することがよく用いられる。よって、例えば、物理誘導デバイスのベースの回転軸と、スキャンデータに重ね合わされた物理誘導デバイスの仮想表現に示された対象の表面(例えば皮膚表面)との交点を通るサンプルラインを選択することができる。ラインに沿った複数のポイントを選択することができる。このようなポイントごとに、スキャンデータがサンプリングされる。サンプリングされたデータは、ポイントを中心とする(又は別の方法でポイントを含む)小さな球等、ポイントを囲む小さな領域を表すデータを含む。したがって、そのようなポイントのサンプリングされたデータは、サンプルポイント周辺の近傍における場所を表すデータを含み、したがって、ポイントのサンプリングされたデータの数学的属性(近傍のデータ値の勾配導関数等)を用いて、ポイントの属性を決定することができる。当該の例は、サンプルポイント周辺の近傍のサンプルデータの値fの勾配導関数(一般に勾配と呼ばれる)∇fを計算することである。ステップS213の更なる例は、図3に関して、ステップS303、S307及びS310において以下に提供される。
ステップS214において、コンピューティングシステム500は、スキャンデータに重ね合わされた物理誘導デバイスの仮想表現の皮膚適合メトリックを決定する。例えば、コンピューティングシステム500は、ステップS213に関して上述されたサンプルラインに沿ったサンプルポイントの各々のそれぞれの近傍における勾配∇fを計算してよい。勾配∇fがそのような近傍全体で定数(ゼロ等)であるか、又はそれに近い場合、コンピューティングシステム500は、サンプルポイントが、対象の上か又は隣接する空気中にあるが、対象の表面上又は対象内部には存在しない可能性が最も高いと決定する。なぜなら、スキャンによって検出可能な密度、温度及び他の物理的パラメータは、対象周囲の空気中ではあまり変化しないので、空気中のスキャンデータの値は、典型的には値が非常に近くなるからである。つまり、対象周囲の空気中のポイントから取得されるスキャンデータのほとんどの値は、典型的には値がほぼ同じであるので、勾配∇fの変化はほとんどないという結果になる。勾配∇fの値は、空気中のサンプルポイント周囲の近傍全体において、ほぼゼロになる場合がある。勾配∇fが近傍のライン又は平面に沿った値の急激な変化を含む場合、そのようなライン又は平面での値の急激な変化は対象の表面で発生するので、コンピューティングシステム500は、サンプルポイントが対象の表面にあるか又は非常に近い可能性が最も高いと決定する。勾配∇fが近傍の値の小さな変化を含むが、値の急激な変化を含まない場合、コンピューティングシステム500は、サンプルポイントが患者の内部にある可能性が最も高いと決定する。なぜなら、勾配の値の小さな変化は、そのような近傍全体における対象の組織の性質における変化(例えば、対象の筋肉又は皮膚深部の膜若しくは血管で生じる、勾配∇fの値の変化)を表すからである。サンプルラインに沿ったそのような各ポイントについて、コンピューティングシステム500は、サンプルポイントが対象の表面上にあるか又は非常に近いポイントを表す可能性が高いかどうかを決定する。対象の表面上にあるか又は非常に近い、サンプルライン上のサンプルポイントの数は、コンピューティングシステム500によってカウントされる。そのカウントが予め選択された値(3等)を満たすか又は超える場合、コンピューティングシステム500は、物理誘導デバイスの仮想表現が、スキャンデータによって表される対象の表面上にあると決定してよい。
ステップS215において、コンピューティングシステム500は、対象の表面上に物理誘導デバイスの仮想配置を配置するために、更なる計算が必要かどうかを決定する。例えば、ステップS214のカウントが予め選択された値(例えば3)を満たすか又は超える場合、コンピューティングシステム500は、対象の表面上に物理誘導デバイスの仮想配置を位置付けるために、更なる計算は必要ではないと決定してよい(ステップS215でYES)。一方、ステップS214のカウントが予め選択された値を満たさないか、又は超えない場合(例えば、カウントが2以下である場合)、コンピューティングシステム500は、対象の表面上に物理誘導デバイスの仮想配置を位置付けるために、更なる計算が必要であると決定してよい(ステップS215でNO)。しかしながら、好ましくは、コンピューティングシステムは、ステップS213及びS214を複数回実行するようにプログラムされ、その結果、次に取り上げられるように、反復後、対象の表面上での物理誘導デバイスの複数の仮想配置が見つかるまで、ステップS215でNOが複数回決定される。ステップS215において決定がNOである場合、処理はステップS213に戻り、スキャンデータ内の新たに選択されたラインに沿って、ステップS213及びS214の処理の反復を実行する。新しく選択されたサンプルラインは、物理誘導デバイスの仮想表現の回転軸に沿って前のサンプルラインを回転させることによって得られる直線又は曲線の進路であってよく、これは、例えば、前のサンプルラインのサンプルポイントのうち少なくとも1つが、対象の表面上にあるか又は非常に近くにあると決定された場合に、有用である。或いは、特に、前のサンプルラインのサンプルポイントのいずれも対象の表面上になく、又はあまり近くにないと決定された場合、コンピューティングシステム500は、例えば前のサンプルラインをシフトさせるか、又はシフト及び回転することにより、前のサンプルラインと交差しないサンプルデータを通るラインを選択することによって、新しく選択されたサンプルラインを決定してよい。ステップS215において決定がYESである場合、コンピューティングシステム500は、処理はステップS216に進む。
ステップS216において、コンピューティングシステム500は、反復を伴う前の処理ステップS211、S212、S213、S214及びS215によって提供される物理誘導デバイスの仮想配置の中から、最良適合又は最適適合を選択する。例えば、一実施形態では、コンピューティングシステム500は、物理誘導デバイスの仮想配置を比較し、対象の表面上にあるか又は非常に近いサンプルポイントが最も多い仮想配置であるとして、最良適合又は最適適合を決定する。別の実施形態では、コンピューティングシステム500は、前の処理ステップS211、S212、S213、S214及びS215によって提供された物理誘導デバイスの仮想配置の各々について、対象の皮膚までの距離を計算する。皮膚に最も近い仮想配置が、最良適合又は最適適合として選択される。次いで、処理はステップS217へ進む。
ステップS217において、コンピューティングシステム500は、選択された最良適合又は最適適合について到達可能性メトリック計算する。特に、コンピューティングシステム500は、対象内の候補目標点(例えば、注射の負荷を受けるか又はアブレーションを受ける予定の場所)が、物理誘導デバイスによって誘導される針又は医療機器の到達可能範囲(到達可能エリア)内にあり得るかどうかを決定する。更に、コンピューティングシステム500は、候補目標点が到達可能範囲の境界にどれだけ近いかを計算してよい。これは、医師、医療提供者又は他のユーザにとって、医療機器(針やアブレーションプローブ等)の使用に十分なヘッドルームが貴重であるので、特に価値がある。
ステップS218において、コンピューティングシステム500は、前の処理ステップS211、S212、S213、S214、S215、S216及びS217の更なる反復が有用である可能性があるかどうかを決定する。例えば、到達可能範囲の境界が候補目標点に近い場合、医師、医療提供者又は他のユーザに十分なヘッドルームを提供するように、到達可能範囲の中心(又は中心付近)に候補目標点をもつ物理誘導デバイスの仮想配置を発見することができるので、前の処理ステップS211、S212、S213、S214、S215、S216及びS217の更なる反復は有用であり得る。更なる反復が有用である可能性がある場合(ステップS218でNO)、処理はステップS211に戻り、そうでない場合(ステップS218でYES)、処理はステップS219に続く。
ステップS219において、コンピューティングシステム500は、物理誘導デバイスの最良又は最適な仮想配置を選択する。物理誘導デバイスの最良又は最適な仮想配置は、医師、医療提供者又は他のユーザに表示することができる。或いは、医師、医療提供者又は他のユーザは、ステップS218から提供される物理誘導デバイスの仮想配置の各々を示されることができ、次いで、医療知識又はスキルに基づいて、最良の仮想配置を選択することができる。本実施形態の一態様によれば、図2A及び/又は図2Bの上記処理は、医療処置中に実行することができる。しかしながら、本実施形態の別の態様によれば、例えば、対象のスキャンを1回で実行し、その後、図2A及び/又は図2Bの処理を実行し、その後(潜在的に後の時間又は日付に)、図2A及び/又は図2Bの処理によって決定された最良又は最適な配置で物理誘導デバイスを配置することで、物理誘導デバイスを用いて実際の医療処置を実行することにより、図2A及び/又は図2Bの上述の処理は、対象に物理誘導デバイスを使用する医療処置の前(例えば、かなり前)に実行することができる。本実施形態のそのような態様は、例えば、医師、医療提供者又は他のユーザが、物理誘導デバイスを最適に配置できる場所を十分に事前に決定することができ、したがって、かなり早めに医療処置を十分に計画することができるので、非常に有用である。
一部の実施形態では、医用画像がディスプレイ上のGUIに提示されることなく、挿入点と標的の一方又は両方が設定される。例えば、計画画像データ101に対応する座標系における点を表す入力に基づいて、挿入点又は標的を設定することができる。一部の実施形態では、挿入点及び/又は標的は、計画画像データ101に基づいて計算される。
挿入点及び標的が設定された後、コンピューティングシステム500上で動作する画像誘導ソフトウェアは、図4を参照して説明されるように、定められた軌道をロボット制御サーバに送信してよい。一部の実施形態では、標的及び計画挿入点を示す情報は、図2A及び図2Bのいずれか又は両方の処理の一部として送信される。例えば、一部の実施形態によれば、ロボット制御サーバは、標的及び挿入点の情報を用いて、ロボット制御サーバで軌道を決定する。一部の実施形態では、画像誘導ソフトウェアは、計画挿入点と標的を接続することにより、針配置の軌道を決定する。次に、画像誘導ソフトウェアは、定められた軌道をロボット制御サーバに転送する。
一部の実施形態では、コンピューティングシステム500上で動作する画像誘導ソフトウェアは、ディスプレイ上のGUIに、定められた軌道とともに3D画像を提示する。例えば、コンピューティングシステム500は、軌道が定められると、ディスプレイ上のGUIに、定められた軌道に沿った平面で再スライスされた3D画像を提示してよい。画像誘導ソフトウェアは、医師が進路周辺の重要な構造物や障害物を見つけることができるように、軌道に沿った平面で3D画像を再スライスしてよい。例として、図1の計画画像データ101は、画像誘導ソフトウェアのグラフィカルユーザインタフェース上に医用画像として提示することができる。画像は、患者の解剖学的構造の3D表現と、計画された軌道及び標的を識別する情報を含んでよく、また、画像は、定められた軌道に沿った平面でスライスされてよい。
図3は、一部の実施形態による、標的到達可能性を評価するための最適な向きを決定するプロセスを示すフローチャートである。
ステップS301において、コンピューティングシステム500は、デバイスモデル102の原点を挿入点に設定する。例えば、デバイスモデル102の原点は、計画画像データ101に示される挿入点に設定することができる。一部の実施形態では、コンピューティングシステム500は、デバイスモデル102の原点を、図2A及び図2Bを参照して説明した方法で指定/設定された挿入点に設定する。計画挿入点は、デバイスの原点の位置を決定するために用いられ、また、デバイスモデル102の表面が皮膚表面に適応するように、患者上でのおおよその向きを決定するためのピボットとして機能する。図1に示されるデバイスモデル102の表面(すなわちデバイスモデル102のベース平面)は、図1に示されるXZ平面に平行である。
他の実施形態では、デバイスの旋回点は、デバイスのジオメトリに応じて、挿入点から一定の距離にあってよく、複数のデバイス原点位置を評価することができる。
ステップS302において、コンピューティングシステム500は、任意軸の周りでデバイスモデル102を回転させる。例えば、コンピューティングシステム500は、図1に示されるZ軸の周りでデバイスモデル102を回転させてよい。デバイスモデル102は、挿入点を通過する任意軸を中心に回転される。
ステップS303において、コンピューティングシステム500は、X軸に沿ってスカラ値をサンプリングする。ステップS304において、コンピューティングシステム500は、デバイスモデル102が180度回転されたかどうかを決定する。そうでない場合(ステップS304のNo)、プロセスはステップS302に戻り、プロセスS302〜S304が繰り返される。したがって、デバイスモデル102が回転されるときの各角度について、回転軸に垂直なジオメトリでのデバイスモデル102表面に対応する一連のポイントでの異なる角度位置について、下にある画像データ値のサンプルが収集される。収集されるサンプルスカラ値の量は、所望の解像度に基づく。例えば、一部の実施形態では、プロセスS302〜S304は1度ごとに繰り返され、合計で180個のサンプルスカラ値となる。各角度について、画像内の複数のポイントがサンプリングされ、各ポイントは画像のボクセルに対応する。サンプルスカラ値は、Z軸周りの回転の増分ごとに、X軸に沿って取得される。コンピューティングシステム500が、デバイスモデル102が180度回転され、サンプリングされた角度ごとに全てのサンプルスカラ値が収集されたと決定すると(ステップS304でYes)、次いで、プロセスはステップS305に進む。
ステップS305において、イメージングモダリティに固有であり得る各角度でのポイントサンプル値(範囲、勾配、又はそれらの組合わせ等)について、最適化されるべきメトリックが計算され、最適値により、第1のデバイスモデル回転角度が決定される。ステップS305で選択されるデバイスモデル102の回転角度は、収集された上方範囲値の中で最小値であるサンプルスカラ値に対応する角度であってよい。例えば、ステップS303のプロセスを繰り返し実行する間に収集されたそれぞれのサンプルスカラ値は、デバイスモデル102がZ軸の周りを回転するときにX軸に沿ってサンプルが取られるので、より低い強度値とより上方の(高い)強度値を含むことになる。メトリックは上方強度値であり、一部の実施形態によれば、コンピューティングシステム500は、ステップS305におけるZ回転角度として、上方範囲値の最小値を選択する。例えば、1度ごとに値を収集することができる(ステップS303において)。次に、コンピューティングシステム500は、その180個の値(例えば、サンプルスカラ値が収集される度ごとの180個のそれぞれの値)から、上位の(高い)強度値であるその値の中で最小値を有するものを選択する。Z回転角度は、デバイスモデル102の表面が皮膚表面と位置合わせされる可能性が最も高い角度である。
ステップS306〜S309では、回転がX軸の周りであり(ステップS306参照)、X軸周りの回転の増分ごとにZ軸に沿ってサンプルスカラ値が取得されることを除いて、S302〜S305を参照して説明したプロセスと同様のプロセスが実行される。よって、ステップS306において、結果として得られるデバイスモデルは、その後、第1の回転軸に直交し、第1の軸の回転後のデバイスモデルの表面に平行な第2の軸を中心に回転される。ステップS307において、デバイスモデル表面上の一連のポイントで、第2の回転軸に垂直なジオメトリでの方法と同じ方法で、サンプリングされる。ステップS308において、180度の1度ごとにステップS306及びS307が実行されたかどうかが決定される。次に、ステップS309において、最適値によって第2の回転角度が決定される。
一部の実施形態では、ステップS306において、コンピューティングシステム500は、X軸を中心にデバイスモデルを回転させる。例えば、コンピューティングシステム500は、図1に示されるX軸の周りでデバイスモデルを回転させてよい。デバイスモデル102は、挿入点を通過するX軸を中心に回転する。
ステップS307において、コンピューティングシステム500は、Z軸に沿ってスカラ値をサンプリングする。ステップS308において、コンピューティングシステム500は、デバイスモデルが180度回転されたかどうかを決定する。そうでない場合(ステップS308のNo)、プロセスはステップS306に戻り、プロセスS306〜S308が繰り返される。したがって、デバイスモデル102が回転されるときの各角度について、回転軸に垂直なジオメトリでのデバイスモデル102表面に対応する一連のポイントでの異なる角度位置について、下にある画像データ値のサンプルが収集される。収集されるサンプルスカラ値の量は、所望の解像度に基づく。例えば、一部の実施形態では、プロセスS306〜S308は、1度ごとに繰り返され、合計で180個のサンプルスカラ値となる。各角度について、画像内の複数のポイントがサンプリングされ、各ポイントは画像のボクセルに対応する。サンプルスカラ値は、X軸周りの回転の増分ごとに、Z軸に沿って取得される。コンピューティングシステム500が、デバイスモデルが180度回転され、サンプリングされた角度ごとに全てのサンプルスカラ値が収集されたと決定すると(ステップS308でYes)、次いで、プロセスはステップS309に進む。
ステップS309において、イメージングモダリティに固有であり得る各角度でのポイントサンプル値(範囲、勾配、又はそれらの組合わせ等)について、最適化されるべきメトリックが計算され、最適値により、第2のデバイスモデル回転角度が決定される。ステップS309で選択されるデバイスモデル回転角度は、収集された上方範囲値の中で最小値であるサンプルスカラ値に対応する角度であってよい。例えば、ステップS307のプロセスを繰り返し実行する間に収集されたそれぞれのサンプルスカラ値は、デバイスモデルがX軸の周りを回転するときにZ軸に沿ってサンプルが取られるので、より低い強度値とより上方の(高い)強度値を含むことになる。メトリックは上方強度値であり、一部の実施形態によれば、コンピューティングシステム500は、ステップS309におけるX回転角度として、上方範囲値の最小値を選択する。例えば、1度ごとに値を収集することができる(ステップS307において)。次に、コンピューティングシステム500は、その180個の値(例えば、サンプルスカラ値が収集される度ごとの180個のそれぞれの値)から、上位の(高い)強度値であるその値の中で最小値を有するものを選択する。X回転角度は、デバイスモデル表面が皮膚表面と位置合わせされる可能性が最も高い角度である。
2回の回転(例えばZ軸とX軸に沿った)を適用した後に得られるデバイスモデルは、患者の皮膚表面の向きにほぼ一致すると予想されるが、結果として得られたデバイスモデルの新しい軸を用いて、追加の反復を実行することができる。ステップS310において、コンピューティングシステム500は、デバイスモデルが180度反転され得るかどうかをチェックし、その結果として得られる表面平面のいずれかの側の画像データ値のサンプルが抽出される。ステップS311において、コンピューティングシステム500は、上述のプロセスの結果として得られるデバイスモデルを反転する必要があるかどうかを決定する。デバイスモデルを反転する必要がある場合(ステップS311でYes)、次にステップS312において、デバイスモデルが反転され、アルゴリズム300のプロセスが終了する。一方、デバイスモデルを反転させる必要がない場合(ステップS311でNo)、アルゴリズム300のプロセスは、デバイスモデルを反転させることなく終了する。ステップS310に関して、コンピューティングシステム500は、円錐の垂直軸であるY軸に沿って、画像データ値をサンプリングする。コンピューティングシステム500は、デバイスモデル平面の両側で、Y軸に沿ってボクセル値をサンプリングする。強度値が高いほど医用画像内側のボクセルを表し、強度値が低いほど外側のボクセルを表す。例えば、正の(+)Y値が高い強度値をもつ場合、正の(+)Y値は医用画像の外側の皮膚平面(低い強度値をもつ領域)よりも上であるべきであるので、デバイスモデルを反転する必要があると決定される。一方、負の(−)Y値が高い強度値をもつ場合、負の(−)Y値は医用画像領域の内側の皮膚平面(高い強度値をもつはずの領域)よりも下であるので、デバイスモデルを反転する必要はないと決定される。言い換えると、負の(−)Y値が高い強度値をもつとき、デバイスモデルは、患者の解剖学的構造に対して正しく方向付けられる。
一部の実施形態では、2回の回転ステップ(S302及びS306)を同時に実行することができ、画像は、単一のデバイス軸に沿ってだけでなく、デバイスのベース平面又は表面上の選択されたポイントの組合わせにおいて、サンプリングすることができる。
図3のアルゴリズム300を実行することにより、仮想デバイスモデルは、画像空間に自動的にレジストレーションされており、皮膚表面上のデバイスの最も可能性の高い構成は、実際のデバイスが患者上に配置される前に概算されている。標的の到達可能性を可視化及び定量化するために、デバイスの仮想モデルとその到達可能エリアは、計画画像データにオーバーレイされる(図1の103に示されるように)。例えば、一部の実施形態では、図3のプロセスに続いて、ディスプレイ上のGUIに画像(図1の項目103に示される画像等)が提示される。ただし、デバイス向きと標的の到達可能性についての情報は、グラフィック情報ではなく、又はグラフィック情報に加えて、例えばテキスト情報及び/又は数値情報を含む任意の適切な方法で出力することができる。
一部の実施形態では、挿入点に対するデバイスの配置に複数のオプションがある場合、アルゴリズムは、考えられる様々なデバイスの場所について繰り返し実行されてよく、好適なデバイス配置を評価するのに役立ち得る到達可能性のメトリック(例えばエッジへの近接性)を計算することができる。
本開示の上記の特徴によれば、本明細書に開示されるシステム及び方法は、デバイスを取り付ける前に、デバイスを用いて選択された挿入点から標的に到達できるかどうかについて、より高い信頼性を提供する。よって、本開示は、処置時間を短縮し、取付けをやり直すステップを回避し、かつ、モデルとデバイスの間の良好な整合性を保ちながらより良い計画立案を可能にするシステム及び方法を提供する。本明細書に開示されるシステム及び方法は、皮膚セグメンテーションを用いて想定することのできる他のより複雑な技法を回避する単純性を提供し、これにより、計算リソースの必要性を低減する。更に、ユーザから追加の入力を必要とすることがないので、デバイスを自動的に配置することにより、使いやすくなり、計画立案の時間が短縮される。更に、本開示のシステム及び方法は、計算時間を短縮し、異なるデバイスとのより高い互換性を可能にする。
図4は、一部の実施形態による、画像誘導ソフトウェアと、針ガイドロボットのロボット制御サーバと、MRIスキャナを含むMRIシステムとを含む針ガイドロボットシステムの例示のシステム図を示す。図4は針ガイドシステムの一例を表すが、本開示はそのようなシステムに限定されない。例えば、一部の実施形態によれば、針ガイドデバイスは、手動で操作されるデバイスである。例えば、本明細書に記載のシステムと組み合わせて用いることのできる針ガイドデバイスは、米国特許第9,222,996号及び米国特許出願第15/808,703号(どちらも参照により全体が本明細書に組み込まれる)に記載されている。本開示の実施形態と併せて、任意の適切な針ガイドデバイスを用いることができる。図4の以下の説明は、本明細書に記載されるシステム及び方法と併せて用いることのできる針ガイドシステムの例にすぎない。
ロボット制御ソフトウェア
一部の実施形態では、画像誘導ソフトウェア400、論理制御層406及び物理制御インタフェース408(図4)を含むコンポーネントの3つの層を有するソフトウェアシステムが提供される。これらのコンポーネントは、独立したソフトウェアプロセスとして実装され、例えばイーサネットやユニバーサルシリアルバス(USB)等を介して互いに通信する。しかしながら、他の実施形態では、これらのコンポーネントのうちの2つ以上が、単一のソフトウェアプロセスに統合される。
これらの3つのコンポーネントの詳細は、以下のとおりである。
画像誘導ソフトウェア
画像誘導ソフトウェア400は、システムの最上層コンポーネントであり、図4に例示されている。画像誘導ソフトウェア400は、例えば、医師及び/又は操作者のための主要なユーザインタフェースとして機能する。これは、本明細書で説明されるように、オープンソースの医用画像計算ソフトウェアである3D Slicer用のプラグインモジュールとして実装され、このソフトウェア又は他のソフトウェアを通して、コンソール412及びMRIハードウェア414(MRIスキャナを含む)を含むMRIシステム404から画像を受け取る。画像誘導ソフトウェア400は、医師が以下のタスクを実行するのを支援する。
針配置計画。医師は、計画画像で標的及び皮膚進入点を指定することにより、針配置の軌道を定めることができる。ソフトウェアは、任意の平面に沿って計画画像の一部を表示し、医師がマウスでクリックすることによって点を指定できるようにする。軌道が定められると、軌道に沿った平面で3D画像を再スライスすることができ、それにより、医師は、進路の周りの重要な構造や障害物を見つけることができる(図1を参照)。定められた軌道は、ロボット制御サーバ402に転送される。しかしながら、アクチュエータを動かす最終決定は、ガントリ付近に立っている医師によってなされてよく、医師がフットスイッチを押したときに、アクチュエータの電源を入れることができる。
デバイス対画像レジストレーション。ソフトウェアは、針ガイドデバイスを画像座標系に自動的にレジストレーションすることができる。レジストレーションされたデバイスモデルは計画画像データにオーバーレイされ、そのアクセス可能な範囲が画像上に提示されるので、操作者は、全ての標的が範囲内にあることを確認することができる(図1、項目103を参照)。情報は、例えばOpenIGTLinkプロトコルを用いて、ネットワークを介してロボット制御サーバ402に転送される。
プローブ配置のモニタリング及び確認。ソフトウェアを用いて、処置の計画中又は実行中に、画像にオーバーレイされた3Dモデルにより、デバイスの現在の位置と向きを可視化することができる。更に、計画された軌道及び標的とともに、患者に挿入されたプローブを示す確認画像を表示することもできる(図1を参照)。これらの特徴より、医師は、デバイスをモニタリングし、プローブ配置を確認することができる。
論理制御層
論理制御層(LCL)406は、システムの中間層に位置し、画像誘導ソフトウェア400と下位の物理制御層(PCL)408をインタフェースする。このロボット制御サーバ402の層は、ハードウェア及びデバイスの運動学的構造をカプセル化し、デバイス非依存のアプリケーションプログラムインタフェース(API)を上位層に提供することができる。したがって、LCL406は以下のサブコンポーネントから成る。
上位層へのTCP/IPネットワークインタフェース。このインタフェースを介して、LCL406は、標的位置を含む上位層からハードウェアへのコマンドを受け取り、針ガイドの現在位置やデバイスの状態を含むハードウェア(410)の現在の状態を、上位層へ提供する。また、運動学計算(下記のキネマティクスエンジンを参照)の結果として、必要とされる針挿入深さを上位層に提供する。一部の実施形態では、ネットワークインタフェースは、OpenIGTLinkプロトコルに準拠しており、よって、OpenIGTLinkと互換性のあるソフトウェアと通信することができる。
キネマティクスエンジン。一部の実施形態では、上位層から受け取られたハードウェア非依存コマンドは、針ガイドデバイスのキネマティクスに基づいて個々のアクチュエータの標的位置に変換され、PCL408に送られる。更に、一部の実施形態では、PCL408から受け取られた個々のアクチュエータの現在の位置は、針ガイドの位置及び向きに変換され、上位層に送られる。一部の実施形態によれば、針ガイドデバイスは、手動で操作されるデバイスである。
下層へのシリアルインタフェース。LCL406は、ユニバーサルシリアルバス(USB)を介して、下層サブコンポーネントと通信する。この例示のインタフェースを介して、個々のアクチュエータの標的位置と他のデバイス固有コマンドがPCL408に送信され、一方、デバイスの現在の状態と個々のアクチュエータのエンコーダ測定値が画像誘導ソフトウェア400に送信される。このインタフェースを介して交換される情報は、運動学的構造に依存するが、物理ハードウェア(モータドライバやエンコーダ等)から独立している。
物理制御層
物理制御層(PCL)408の役割は、物理的入出力(I/O)から独立しているが運動学的構造に依存するインタフェースを提供することである。一部の実施形態では、PCL408は、LCL406との通信用のUSBインタフェースと、エンコーダ及びフットスイッチからの入力を読み取り、個々のモータの目標速度をモータドライバに与えるためのデジタル入出力インタフェースとを備えた、Linuxベースの組込みコンピュータ上で動作する。コントローラは、個々のアクチュエータの標的位置を受け取ると、個々のモータの閉ループPID制御を実行する。このプロセス全体を通して、PCL408は、任意に、現在の位置と他のデバイス状態を送信し続けることができる。
コンピューティングシステム
図5は、例示のコンピューティングシステム500を示す。一部の実施形態では、コンピューティングシステム500は、本明細書に記載の画像誘導ソフトウェアを含む。例えば、一部の実施形態では、コンピューティングシステム500は、図4の画像誘導ソフトウェア400を含んでよい。様々な実施形態によれば、画像誘導ソフトウェアの様々なプログラム及びデータ(例えばソフトウェアモジュール、ライブラリ、ツール、ユーザインタフェース要素又は他のコンポーネント)は、任意の適切な方法でコンピューティングシステム500内に存在する。例えば、これらのコンポーネントは、1つ又は複数の格納先に存在してよい。画像誘導ソフトウェアのコンポーネントは、単一のソフトウェアアプリケーションの一部として提供されてもよいし、又は、複数のスタンドアロンのソフトウェアアプリケーションとして提供されてもよい。コンピューティングシステム500は、画像誘導ソフトウェアへのアクセスを提供する。一部の実施形態では、コンピューティングシステム500上で動作する画像誘導ソフトウェアは、本明細書で説明又は図示される1つ以上の方法の1つ以上のステップを実行し、又は、本明細書で説明又は図示される機能を提供する。例えば、画像誘導ソフトウェアのプログラムは、1つ以上のプロセッサによって実行されたときに、図3を参照して説明されたプロセスをコンピューティングシステム500に実行させる命令を含んでよい。
本明細書で用いられるコンピューティングシステムという用語は、電子データに対して演算を実行するために連携する、1つ以上のソフトウェアモジュール、1つ以上のハードウェアモジュール、1つ以上のファームウェアモジュール、又はそれらの組合わせ等を含む。モジュールの物理的レイアウトは、異なる場合がある。コンピューティングシステムは、ネットワークを介して結合された複数のコンピューティングデバイスを含んでよい。コンピューティングシステムは、内部モジュール(メモリ及びプロセッサ等)が協働して電子データに対して演算を実行する単一のコンピューティングデバイスを含んでよい。一部の実施形態では、単一のコンピューティングシステム500が画像誘導ソフトウェアを含む。
一部の実施形態では、コンピューティングシステム500上で動作する画像誘導ソフトウェアは、ロボット制御サーバ402及びMRIシステム404とインタラクトする。コンピューティングシステム500は、本明細書に記載のシステムの1つ以上と通信し情報を送受信するために、任意の適切なプロトコル、規格、データ交換形式、又はこれらのうちの組合わせを用いてよい。コンピューティングシステム500は、OpenIGTLinkを用いて、情報及び要求を送受信してよい。コンピューティングシステム500は、DICOM(Digital Imaging and Communications in Medicine)ファイル及びデータを受信、送信及び格納することができる。例えば、コンピューティングシステム500は、MRIシステム404から医用画像を受信してよい。更に、コンピューティングシステム500は、HTTP要求を送信し、HTTP応答を提供してよい。応答は、ハイパーテキストマークアップ言語(HTML)ファイル若しくは他の適切なファイル、JAVASCRIPT等の実行可能コード、フォーム要素、画像、又はその他のコンテンツを含んでよい。コンテンツの1つ以上の要素は、コンピューティングシステム500に格納することができる。一部の実施形態では、コンピューティングシステム500は、メッセージを送受信するためにシンプルオブジェクトアクセスプロトコル(SOAP)を用いる。
コンピューティングシステム500は、1つ以上のプロセッサ501、メモリ502、記憶装置503、入出力(I/O)インタフェース504、通信インタフェース505及びバス506を含む。コンピューティングシステム500は、任意の適切な物理的形態をとってよい。例えば、限定としてではなく、コンピューティングシステム500は、組込みコンピュータシステム、システムオンチップ(SOC)、シングルボードコンピュータシステム(SBC)(例えばコンピュータオンモジュール(COM)やシステムオンモジュール(SOM)等)、デスクトップ型コンピュータシステム、ラップトップ又はノートブック型のコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、PDA、タブレット型コンピュータシステム、1つ以上のサーバ、ワークステーション、又はこれらの2つ以上の組合わせであってよい。一部の実施形態では、コンピューティングシステム500はユニタリである。一部の実施形態では、コンピューティングシステム500は分散される。コンピューティングシステム500は、複数の場所にまたがることができる。コンピューティングシステム500は、複数の機械にまたがることができる。
プロセッサ501は、コンピュータプログラムを構成するもの等、命令を実行するためのハードウェアを含む。プロセッサ501は、メモリ502、記憶装置503、内部レジスタ又は内部キャッシュから命令を検索することができる。次に、プロセッサ501は、命令を復号して実行する。次に、プロセッサ501は、1つ以上のの結果を、メモリ502、記憶装置503、内部レジスタ又は内部キャッシュに書き込む。プロセッサ501は、オペレーティングシステム、プログラム、ユーザインタフェース及びアプリケーションインタフェース、並びにコンピューティングシステム500の任意の他の機能を実行するための処理能力を提供してよい。
プロセッサ501は、中央処理装置(CPU)、1つ以上の汎用マイクロプロセッサ、特定用途向けマイクロプロセッサ及び/若しくは専用マイクロプロセッサ、又はそのような処理コンポーネントの何らかの組合わせを含んでよい。プロセッサ501は、1つ以上のグラフィックプロセッサ、ビデオプロセッサ、オーディオプロセッサ及び/又は関連チップセットを含んでよい。
一部の実施形態では、メモリ502は、プロセッサ501が実行するための命令又はプロセッサ501が演算するためのデータを格納するためのメインメモリを含む。例として、コンピューティングシステム500は、記憶装置503又は別のソースからメモリ502に命令をロードしてよい。命令の実行中又は実行後に、プロセッサ501は、1つ以上の結果(中間結果又は最終結果であり得る)をメモリ502に書き込んでよい。1つ以上のメモリバス(それぞれがアドレスバス及びデータバスを含んでよい)は、プロセッサ501をメモリ502に結合してよい。1つ以上のメモリ管理ユニット(MMU)は、プロセッサ501とメモリ502との間に存在し、プロセッサ501によって要求されたメモリ502へのアクセスを容易にすることができる。メモリ502は、1つ以上のメモリを含んでよい。メモリ502は、ランダムアクセスメモリ(RAM)であってよい。
記憶装置503は、データ及び/又は命令を格納する。限定ではなく例として、記憶装置503は、ハードディスクドライブ、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ若しくはユニバーサルシリアルバス(USB)ドライブ、又はこれらのうち2つ以上の組合わせを含んでよい。一部の実施形態では、記憶装置503は、着脱可能な媒体である。一部の実施形態では、記憶装置503は、固定媒体である。一部の実施形態では、記憶装置503は、コンピューティングシステム500の内部にある。一部の実施形態では、記憶装置503は、コンピューティングシステム500の外部にある。一部の実施形態では、記憶装置503は、不揮発性のソリッドステートメモリである。一部の実施形態では、記憶装置503は、リードオンリーメモリ(ROM)を含む。必要に応じて、このROMは、マスクプログラムされたROM、プログラム可能なROM(PROM)、消去可能なPROM(EPROM)、電気的に消去可能なPROM(EEPROM)、電気的に変更可能なROM(EAROM)若しくはフラッシュメモリ、又はこれらの2つ以上の組合わせであってよい。記憶装置503は、1つ以上のメモリデバイスを含んでよい。記憶装置503は、アプリケーションデータ、プログラムモジュール及び他の情報を格納してよい。記憶装置503に格納された1つ以上のプログラムモジュールは、本明細書に記載の様々な動作及びプロセスを実行させるように構成される。一部の実施形態では、画像誘導ソフトウェアは、記憶装置503上に存在し、コンピューティングシステム500上で実行される。記憶装置503は、コンピューティングシステム500の様々な機能、グラフィカルユーザインタフェース(GUI)機能及び/又はプロセッサ機能を有効にする他のプログラム及び/又はドライバを更に格納してよい。記憶装置503はまた、例えば画像データ、ユーザデータ、構成情報、GUIコンポーネント(グラフィック要素又はテンプレート等)、又はコンピューティングシステム500によって必要とされる他のデータを含むデータファイルを格納してよい。
I/Oインタフェース504は、コンピューティングシステム500と1つ以上のI/Oデバイスとの間の通信のための1つ以上のインタフェースを提供するハードウェア、ソフトウェア、又は両方を含む。一部の実施形態では、コンピューティングシステム500は、1つ以上のI/Oデバイスを含む。これらのI/Oデバイスの1つ以上により、人とコンピューティングシステム500の間の通信が可能となる。限定ではなく例として、I/Oデバイスは、キーボード、キーパッド、マイク、モニター、マウス、タッチパッド、スピーカー、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の適切なI/Oデバイス、又はこれらの2つ以上の組合わせを含んでよい。I/Oデバイスは、1つ以上のセンサを含んでよい。一部の実施形態では、I/Oインタフェース504は、プロセッサ501がこれらのI/Oデバイスの1つ以上を駆動することを可能にする1つ以上のデバイス又はソフトウェアドライバを含む。I/Oインタフェース504は、1つ以上のI/Oインタフェースを含んでよい。
一部の実施形態では、コンピューティングシステム500はディスプレイを含む。例えば、ディスプレイは、液晶ディスプレイ(LCD)であってよい。一部の実施形態では、コンピューティングシステム500上で動作する画像誘導ソフトウェアは、ディスプレイ上にGUIデータを提示する。一部の実施形態では、GUIデータは、医用画像データと併せて提示される。ディスプレイへの信号の出力に関して、プロセッサ501は、ディスプレイに表示される画像をラスタライズし、ラスタライズされた画像をI/Oインタフェース504を介してディスプレイに転送する。次に、ディスプレイは、GUI等の画像を表示する。プロセッサ501は、更に、他のタイプの画像(MRIシステム404からの医用画像等)をディスプレイに表示させるように動作可能である。コンピューティングシステム500は、ディスプレイでのユーザ入力に基づいて、入力信号を受け取ることができる。例えば、一部の実施形態では、ディスプレイは、ディスプレイ上の1つ以上のインタフェース要素に対する接触に基づいて、ユーザ入力又はコマンドを受け取るように動作可能なタッチセンサ式要素を含む。インタフェース要素は、ディスプレイ上に提示されるグラフィックオブジェクトであってよい。ユーザは、指、スタイラス又は他のツールでタッチセンサ式ディスプレイにタッチして、ユーザ入力を提供することができる。ユーザがタッチセンサ式ディスプレイ上の特定の領域にタッチすると、その領域の座標が、I/Oインタフェース504を介してプロセッサ501に通知される。プロセッサ501は、通知された座標とディスプレイの表示内容とに基づいて、ユーザ入力の内容を決定し、それに基づいて処理を実行する。一部の実施形態では、マウス又はタッチパッドは、ユーザ入力及び選択を受け取るためにディスプレイ上に提示される情報と併せて用いられる。例えば、カーソルを用いて、ディスプレイ上のGUIに提示された1つ以上のインタフェース要素を選択することができる。様々な実施形態によれば、タッチセンサ式ディスプレイ、カーソル、又は入力を提供するための他の適切な方法を用いて、ディスプレイ上のGUIに提示された医用画像上の1つ以上の場所が指定されて、例えば、標的と、患者に針を挿入するための計画挿入点が示される。
一部の実施形態では、コンピューティングシステム500は、キーボード/キーパッドを含む。ユーザ入力は、キーボード/キーパッドを介して提供することもできる。ユーザがキーボード/キーパッドのハードキーを押すと、プロセッサ501には、I/Oインタフェース504を介して、ユーザ入力を示す情報が通知される。プロセッサ501は、通知に基づいて処理を実行する。キーボード/キーパッドのハードキー及び/又はボタンは、任意の適切な構成に配置することができる。更に、入力構造は、具体的な実装要件に応じて、ボタン、キー、スイッチ、コントロールパッド又は他の適切な構造を含んでよい。
通信インタフェース505は、コンピューティングシステム500と1つ以上の他のコンピューティングシステム又は1つ以上のネットワークとの間の通信(例えばパケットベースの通信等)のための1つ以上のインタフェースを提供する、ハードウェア、ソフトウェア又は両方を含む。限定ではなく例として、通信インタフェース505は、イーサネット又は他の有線ネットワークと通信するためのネットワークインタフェースカード(NIC)又はネットワークコントローラ、又は、無線ネットワーク(WI−FIネットワーク等)と通信するための無線NIC(WNIC)又は無線アダプタを含んでよい。本開示は、任意の適切なネットワークと、そのための任意の適切な通信インタフェース505を想定している。限定ではなく例として、コンピューティングシステム500は、アドホックネットワーク、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、又はインターネットの1つ以上の部分、又はこれらのうちの2つ以上の組合わせと通信してよい。これらのネットワークのうちの1つ以上の1つ以上の部分は、有線であっても無線であってもよい。一例として、コンピューティングシステム500は、無線PAN(WPAN)(例えばBluetooth WPAN又は超広帯域(UWB)ネットワーク等)、WI−FIネットワーク、WI−MAXネットワーク、携帯電話ネットワーク(例えばGSM(Global System for Mobile Communications)ネットワーク等)、又は他の適切な無線ネットワーク、又はこれらのうちの2つ以上の組合わせと通信してよい。コンピューティングシステム500は、適切な場合、これらのネットワークのいずれかのための任意の適切な通信インタフェース505を含んでよい。通信インタフェース505は、1つ以上の通信インタフェース505を含んでよい。
バス506は、コンピューティングシステム500の様々なコンポーネントを相互接続し、それにより、データの伝送と様々なプロセスの実行を可能にする。バス506は、メモリバス又はメモリコントローラ、周辺バス、及び様々なバスアーキテクチャのいずれかを使用するローカルバスを含む、1つ以上のタイプのバス構造を含んでよい。
上記の説明は、本開示の原理を説明するのに役立つ。しかし、本開示は、上記の例に限定されるべきではない。例えば、様々な動作のうち一部の順序及び/又はタイミングは、本開示の範囲から逸脱することなく、上記に与えられた例とは異なってよい。更に例として、ネットワーク及び/又はコンピューティングシステムのタイプは、本開示の範囲から逸脱することなく、上記の例とは異なってよい。本開示の範囲から逸脱することなく、上記で与えられた例からの他の変形も存在し得る。GUIの特定の例が示されているが、当然ながら、本開示の範囲内には、GUIの様々な他の実装がある。例えば、本開示の範囲から逸脱することなく、図示された例の様々な特徴を修正、再配置又は除去することができ、又は、1つ以上の特徴を追加することができる。
本開示の範囲は、命令を格納したコンピュータ可読媒体を含み、命令は、1つ以上のプロセッサによって実行されたときに、本明細書に記載の1つ以上の実施形態を1つ以上のプロセッサに実行させる。コンピュータ可読媒体の例として、ハードディスク、フロッピーディスク、光磁気ディスク(MO)、コンパクトディスク読取り専用メモリ(CD−ROM)、記録可能なコンパクトディスク(CD−R)、CD−Rewritable(CD−RW)、デジタル多用途ディスクROM(DVD−ROM)、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性メモリカード及びROMが挙げられる。コンピュータ実行可能命令は、ネットワークを介してダウンロードされることにより、コンピュータ可読記憶媒体に供給することもできる。
本開示は、例示の実施形態を参照して説明されたが、当然のことながら、本開示は、説明された例示の実施形態に限定されない。

Claims (7)

  1. 対象の画像データを取得するステップと、
    針ガイドデバイスを用いた医療処置の実施のための計画挿入点を前記画像データ上に示す情報を取得するステップと、
    前記画像データ内の前記計画挿入点及び標的に基づいて、前記医療処置の実施のための計画針軌道を決定するステップと、
    前記計画挿入点及び前記計画針軌道に基づいて、前記針ガイドデバイスの向きを決定するステップと、
    前記針ガイドデバイスの前記向きに基づいて、前記標的の到達可能性を示す情報を出力するステップと、
    を含む方法。
  2. 前記針ガイドデバイスの前記向きを決定するステップは、前記計画針挿入点の周りで前記針ガイドデバイスのモデルを旋回させることを含む、請求項1に記載の方法。
  3. 前記針ガイドデバイスの前記向きを決定するステップは、皮膚平面と前記針ガイドデバイスの底面との間の対応関係に関連するメトリックを計算することを含む、請求項1に記載の方法。
  4. 前記メトリックを計算するステップは、
    前記画像データ内の進路に沿って、複数のポイントをサンプリングすることと、
    当該ポイントの近傍において、スキャン値の勾配を計算することと、
    当該勾配が値の急激な変化を含むようなポイントを、前記対象の外表面上又はその近くにあるものとして決定することと、
    を含む、請求項3に記載の方法。
  5. 前記針ガイドデバイスの前記向きに基づいて、前記標的の前記到達可能性を示す情報を出力するステップは、
    前記針ガイドデバイスによって誘導される針の到達可能エリアの境界間の距離を決定することと、
    決定された前記距離が前記針ガイドデバイスの使用のための十分なヘッドルームを提供するかどうかを決定するために、ユーザに対して、当該距離の表示を提供することと、
    を含む、請求項1に記載の方法。
  6. 1つ以上のプロセッサと、
    実行可能命令を格納するメモリと、
    を備えるシステムであって、
    前記実行可能命令は、前記1つ以上のプロセッサによって実行されると、前記システムに、
    対象の画像データを取得するステップと、
    針ガイドデバイスを用いた医療処置の実施のための計画挿入点を前記画像データ上に示す情報を取得するステップと、
    前記画像データ内の前記計画挿入点及び標的に基づいて、前記医療処置の実施のための計画針軌道を決定するステップと、
    前記計画挿入点及び前記計画針軌道に基づいて、前記針ガイドデバイスの向きを決定するステップと、
    前記針ガイドデバイスの前記向きに基づいて、前記標的の到達可能性を示す情報を出力するステップと、
    を実行させる、システム。
  7. 1つ以上のプロセッサを備えたコンピューティングシステムによって実行されると、前記コンピューティングシステムに、
    対象の画像データを取得するステップと、
    針ガイドデバイスを用いた医療処置の実施のための計画挿入点を前記画像データ上に示す情報を取得するステップと、
    前記画像データ内の前記計画挿入点及び標的に基づいて、前記医療処置の実施のための計画針軌道を決定するステップと、
    前記計画挿入点及び前記計画針軌道に基づいて、前記針ガイドデバイスの向きを決定するステップと、
    前記針ガイドデバイスの前記向きに基づいて、前記標的の到達可能性を示す情報を出力するステップと、
    を実行させる実行可能プログラム命令を格納するコンピュータ可読記憶媒体。
JP2020573094A 2018-03-17 2019-03-15 3d医用画像データにおける皮膚表面上の仮想デバイス配置のための方法 Active JP7252268B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862644496P 2018-03-17 2018-03-17
US62/644,496 2018-03-17
PCT/US2019/022625 WO2019182917A1 (en) 2018-03-17 2019-03-15 Method for virtual device positioning on skin surface in 3d medical image data
US16/355,023 US11317972B2 (en) 2018-03-17 2019-03-15 Method for virtual device positioning on skin surface in 3D medical image data
US16/355,023 2019-03-15

Publications (2)

Publication Number Publication Date
JP2021518243A true JP2021518243A (ja) 2021-08-02
JP7252268B2 JP7252268B2 (ja) 2023-04-04

Family

ID=67903725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020573094A Active JP7252268B2 (ja) 2018-03-17 2019-03-15 3d医用画像データにおける皮膚表面上の仮想デバイス配置のための方法

Country Status (3)

Country Link
US (1) US11317972B2 (ja)
JP (1) JP7252268B2 (ja)
WO (1) WO2019182917A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023043189A (ja) * 2021-09-15 2023-03-28 グローバス メディカル インコーポレイティッド 頭蓋外科手術用のロボット外科手術用プラットフォーム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11963729B2 (en) * 2018-06-21 2024-04-23 Procept Biorobotics Corporation Artificial intelligence for robotic surgery
US11344371B2 (en) 2018-10-19 2022-05-31 Canon U.S.A., Inc. Visualization of three-dimensional image data on a two-dimensional image
CN115052545A (zh) * 2019-12-05 2022-09-13 赞克特机器人有限公司 协助用户相对患者身体定位自动化医疗设备的方法和系统
CN113031511B (zh) * 2019-12-24 2022-03-22 沈阳智能机器人创新中心有限公司 一种基于高阶b样条的多轴系统实时引导轨迹规划方法
US20220370144A1 (en) 2021-05-20 2022-11-24 Biosense Webster (Israel) Ltd. Probe for improving registration accuracy between a tomographic image and a tracking system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002017753A (ja) * 1999-11-26 2002-01-22 Marconi Medical Systems Finland Inc 画像装置と協働の介入処置計画を容易にするシステム及び方法
US6546277B1 (en) * 1998-04-21 2003-04-08 Neutar L.L.C. Instrument guidance system for spinal and other surgery
JP2014525765A (ja) * 2011-06-17 2014-10-02 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡手術におけるガイド下注入のためのシステム及び方法
WO2016060308A1 (ko) * 2014-10-17 2016-04-21 서울대학교병원 바늘 삽입형 중재시술 로봇 장치
US20160310215A1 (en) * 2015-04-22 2016-10-27 General Electric Company Method and system for performing a guided biopsy using digital tomosynthesis
JP2017512523A (ja) * 2014-03-04 2017-05-25 ザクト ロボティクス リミテッド 針挿入のための動的計画方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195577B1 (en) 1998-10-08 2001-02-27 Regents Of The University Of Minnesota Method and apparatus for positioning a device in a body
US8363282B2 (en) 2003-10-31 2013-01-29 Hewlett-Packard Development Company, L.P. Halftone screening and bitmap based encoding of information in images
US8417491B2 (en) * 2005-10-11 2013-04-09 Koninklijke Philips Electronics N.V. 3D tool path planning, simulation and control system
US9408627B2 (en) 2006-03-07 2016-08-09 Hirdesh SAHNI Image guided whole body stereotactic needle placement device
US8401620B2 (en) 2006-10-16 2013-03-19 Perfint Healthcare Private Limited Needle positioning apparatus and method
CN101877996B (zh) * 2007-11-21 2014-10-15 美国医软科技公司 通过计算机对三维体图像进行处理的方法和用于交互式经皮术前手术规划的系统
WO2009067205A1 (en) 2007-11-21 2009-05-28 Surgi-Vision, Inc. Methods, systems and computer program products for positioning a guidance apparatus relative to a patient
US20110046935A1 (en) * 2009-06-09 2011-02-24 Kiminobu Sugaya Virtual surgical table
WO2013155626A1 (en) 2012-04-16 2013-10-24 Orthosoft Inc. Patient specific surgical guide
EP2866649B1 (en) 2012-06-28 2020-01-15 Koninklijke Philips N.V. Dedicated user interface for mr-guided interstitial interventions
EP2896372B1 (en) 2012-09-11 2018-05-09 Terumo Kabushiki Kaisha Image diagnosis device and image processing method
JP2014111083A (ja) * 2012-11-09 2014-06-19 Toshiba Corp 穿刺支援装置
US9222996B2 (en) 2013-03-15 2015-12-29 The Brigham And Women's Hospital, Inc. Needle placement manipulator with two rotary guides
JP6521707B2 (ja) * 2014-07-10 2019-05-29 キヤノン株式会社 穿刺プランニング装置及び穿刺システム
WO2016040817A1 (en) 2014-09-12 2016-03-17 Canon U.S.A., Inc. Needle positioning apparatus
US20160166355A1 (en) 2014-11-06 2016-06-16 Alpha Omega Neuro Technologies Ltd. System and method for co-registering a stereotactic frame and a fiducial
US10420626B2 (en) 2015-06-30 2019-09-24 Canon U.S.A., Inc. Fiducial markers, systems, and methods of registration
CN107708568B (zh) 2015-06-30 2020-11-20 佳能美国公司 配准的基准标记、系统和方法
JP6556541B2 (ja) 2015-07-24 2019-08-07 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 放射線断層撮影装置およびプログラム
US10610325B2 (en) 2017-02-16 2020-04-07 Canon U.S.A., Inc. Medical guidance apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6546277B1 (en) * 1998-04-21 2003-04-08 Neutar L.L.C. Instrument guidance system for spinal and other surgery
JP2002017753A (ja) * 1999-11-26 2002-01-22 Marconi Medical Systems Finland Inc 画像装置と協働の介入処置計画を容易にするシステム及び方法
JP2014525765A (ja) * 2011-06-17 2014-10-02 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡手術におけるガイド下注入のためのシステム及び方法
JP2017512523A (ja) * 2014-03-04 2017-05-25 ザクト ロボティクス リミテッド 針挿入のための動的計画方法
WO2016060308A1 (ko) * 2014-10-17 2016-04-21 서울대학교병원 바늘 삽입형 중재시술 로봇 장치
US20160310215A1 (en) * 2015-04-22 2016-10-27 General Electric Company Method and system for performing a guided biopsy using digital tomosynthesis

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023043189A (ja) * 2021-09-15 2023-03-28 グローバス メディカル インコーポレイティッド 頭蓋外科手術用のロボット外科手術用プラットフォーム
JP7460714B2 (ja) 2021-09-15 2024-04-02 グローバス メディカル インコーポレイティッド 頭蓋外科手術計画システム、制御方法およびコンピュータプログラム製品

Also Published As

Publication number Publication date
US11317972B2 (en) 2022-05-03
WO2019182917A1 (en) 2019-09-26
JP7252268B2 (ja) 2023-04-04
US20190282301A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
JP7252268B2 (ja) 3d医用画像データにおける皮膚表面上の仮想デバイス配置のための方法
JP6782754B2 (ja) 高度な自動デバイス画像間の位置合わせのための自動画像クロップ
CN1973780B (zh) 促进手术的方法和系统
US20200008875A1 (en) Methods, apparatuses and storage mediums for ablation planning and performance
JP5747007B2 (ja) 医用画像表示装置、医用画像表示方法および医用画像表示プログラム
CN102203714A (zh) 乳房超声注释用户界面
JP2011110429A (ja) 医用画像中の注目対象を測定するためのシステムおよび方法
KR20140018182A (ko) 의학 영상 탐지 장치 및 방법
JP6941145B2 (ja) 2次元画像上の3次元画像データの可視化
JP2012161605A (ja) リモートアクセス可能な携帯型撮像システム
EP2509013A1 (en) 3D image navigation method
Nelson et al. Positional Calibration of an Ultrasound Image‐Guided Robotic Breast Biopsy System
JP7022723B2 (ja) マルチプローブ誘導のためのシステムおよび方法
EP3660792A2 (en) Medical user interface
US20200069374A1 (en) Surgical support device and surgical navigation system
JP2009022476A (ja) 画像表示装置、画像表示装置の制御方法、および画像表示装置の制御プログラム
US20210330387A1 (en) Visualization of three-dimensional image data on two- dimensional images
US20230138666A1 (en) Intraoperative 2d/3d imaging platform
Silva et al. Design considerations for interacting and navigating with 2 dimensional and 3 dimensional medical images in virtual, augmented and mixed reality medical applications
WO2022064794A1 (ja) 画像表示装置、方法およびプログラム
US20240090866A1 (en) System and method for displaying ablation zone progression
WO2022113587A1 (ja) 画像表示装置、方法およびプログラム
JP2023544873A (ja) 処置の視覚化及びガイダンス
JP2021171443A (ja) 医用画像処理装置、医用画像処理装置の制御方法および医用画像処理プログラム
WO2023056552A2 (en) Image-guided robotic system for detection and treatment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230323

R150 Certificate of patent or registration of utility model

Ref document number: 7252268

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150