JP2018506352A - 外科手術中の追跡中断を低減するナビゲーションシステム及び方法 - Google Patents

外科手術中の追跡中断を低減するナビゲーションシステム及び方法 Download PDF

Info

Publication number
JP2018506352A
JP2018506352A JP2017541250A JP2017541250A JP2018506352A JP 2018506352 A JP2018506352 A JP 2018506352A JP 2017541250 A JP2017541250 A JP 2017541250A JP 2017541250 A JP2017541250 A JP 2017541250A JP 2018506352 A JP2018506352 A JP 2018506352A
Authority
JP
Japan
Prior art keywords
virtual
localizer
boundary
tracking device
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017541250A
Other languages
English (en)
Other versions
JP6748088B2 (ja
JP2018506352A5 (ja
Inventor
モクテスマ・デ・ラ・バレラ,ホセ・ルイス
マラコウスキー,ドナルド・ダブリュー
Original Assignee
マコ サージカル コーポレーション
マコ サージカル コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マコ サージカル コーポレーション, マコ サージカル コーポレーション filed Critical マコ サージカル コーポレーション
Publication of JP2018506352A publication Critical patent/JP2018506352A/ja
Publication of JP2018506352A5 publication Critical patent/JP2018506352A5/ja
Application granted granted Critical
Publication of JP6748088B2 publication Critical patent/JP6748088B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Surgical Instruments (AREA)

Abstract

外科手術中の追跡中断を低減するナビゲーションシステム及び方法を提供する。仮想境界生成器は、追跡デバイス及びローカライザに関連付けられた仮想境界を生成する。衝突検出器は、仮想境界に対する仮想物体の動きを評価して、仮想物体と仮想境界との間の衝突を検出する。フィードバック生成器は、衝突検出に応答して、追跡デバイスとローカライザとの間の追跡中断を低減する。【選択図】図1

Description

本開示は、包括的には、外科手術中に追跡中断を低減するナビゲーションシステム及びナビゲーション方法に関する。
[関連出願の相互参照]
本出願は、その内容全体を引用することにより本明細書の一部をなすものとする2015年2月25日に出願された米国仮特許出願第62/120,585号の優先権及び利益を主張する。
ナビゲーションシステムは、ユーザが物体の位置を突き止めることを支援する。例えば、ナビゲーションシステムは、産業、航空宇宙、及び医療の用途において用いられる。医療の分野では、ナビゲーションシステムは、外科医が患者の解剖学的組織を基準として外科用ツールを配置することを支援する。ナビゲーションシステムが使用される外科処置は、神経外科的処置及び整形外科的処置を含む。通常、ツール及び解剖学的組織は、ディスプレイ上に示されるそれらの相対的な動きとともに追跡される。
ナビゲーションシステムは、物体の位置及び/又は向きを追跡するために、光信号、音波、磁場、無線周波数信号等を利用することができる。多くの場合、ナビゲーションシステムは、追跡されている物体に取り付けられたデバイスを追跡することを含む。ローカライザは、追跡デバイス上の追跡要素と協働して、追跡デバイスの位置を求め、最終的に、物体の位置及び/又は向きを求める。ナビゲーションシステムは、追跡デバイスを介して物体の移動を監視する。
多くのナビゲーションシステムは、追跡要素と、追跡要素からの追跡信号を受信するローカライザのセンサとの間の遮断のない視線に依拠する。これらのナビゲーションシステムは、ローカライザの視野内に位置決めされた追跡要素にも依拠する。結果として、追跡要素とセンサとの間の視線を遮断する尤度を低減し、追跡要素をローカライザの視野内に維持するための取り組みが行われてきた。例えば、いくつかのナビゲーションシステムでは、ナビゲーションシステムの初期セットアップ中に、ディスプレイが、ローカライザの視野を図式的に表示し、追跡要素が視線に対する遮断のない視野内に配置されるように追跡デバイスの初期配置を誘導する。一方、そのようなナビゲーションシステムは、例えば、初期セットアップ後及び患者の治療中に視線内に物体を移動させた結果として外科手術中に生じる場合がある視線に対する遮断を阻止することも、追跡要素が視野の外側に動くことを阻止することもできない。
視線が遮断されているとき、又は追跡要素が視野外にあるとき、追跡要素から送信されている追跡信号は、ローカライザによって受信されない。結果として、エラーが生じる可能性がある。通常、この状況において、ナビゲーションは中断され、追跡信号が再び受信されるか又はナビゲーションシステムがリセットされるまで、エラーメッセージがユーザに伝達される。これによって、外科手術の遅延が生じる可能性がある。例えば、ナビゲーションデータに依拠して患者の組織に対し切断用ツールを自律的に位置決めするマニピュレータは、これらのエラーが生じた場合に、動作を止めなくてはならない。これは、特に、視線の復元に困難が生じる場合に、外科手術の時間を大幅に増大させる可能性がある。これは、感染のリスク及び麻酔の使用が長引くことに関連付けられたリスクを低減するために手術時間の低減を要する、最新の医療行為の要求に反する。
このため、外科手術が妨げられないように、追跡デバイスと、追跡デバイスから信号を受信するローカライザとの間の追跡中断を低減するナビゲーションシステム及び方法が当該技術分野において必要とされている。
1つの実施形態において、物体によって生じる追跡中断を低減するナビゲーションシステムが提供される。ナビゲーションシステムは、視野を有するローカライザを備える。追跡デバイスは、ローカライザの視野内に配置され、ローカライザとの視線関係を確立する。仮想境界生成器は、追跡デバイスとローカライザとの間の視線関係に基づいて仮想視線境界を生成する。また、仮想境界生成器は、外科手術中の追跡デバイスとローカライザとの間の相対的な動きを計上するように仮想視線境界を更新する。物体は、仮想空間において仮想物体として定義される。衝突検出器は、仮想視線境界に対する仮想物体の動きを評価して、仮想物体と仮想視線境界との間の衝突を検出し、物体が追跡デバイスとローカライザとの間で視線を遮断することを防ぐ、検出に対する応答を可能にする。
追跡デバイスと、ナビゲーションシステムのローカライザとの間の追跡中断を低減する方法も提供される。本方法は、ローカライザの視野内の追跡デバイスを検出することを含む。追跡デバイスとローカライザとの間の視線関係に基づいて仮想視線境界が生成される。仮想視線境界は、追跡デバイスとローカライザとの間の相対的な動きを計上するように更新される。ローカライザの視野において、仮想物体が物体に関連付けられる。仮想物体と仮想視線境界との間の相対的な動きの評価に基づいて、仮想物体と仮想視線境界との間の衝突が検出され、物体が追跡デバイスとローカライザとの間で視線を遮断することを防ぐ、検出に対する応答を可能にする。
追跡中断を低減するための別のナビゲーションシステムが提供される。本システムは、視野を有するローカライザを備える。追跡デバイスが視野内に配置され、ローカライザが追跡デバイスからの信号を受信することができるようにする。仮想物体が追跡デバイスに関連付けられる。仮想境界生成器が、ローカライザの視野に基づいて仮想視野境界を生成する。衝突検出器が、仮想視野境界に対する仮想物体の動きを評価して、仮想物体と仮想視線境界との間の衝突を検出し、追跡デバイスがローカライザの視野の外側に動くことを防ぐ、衝突に対する応答を可能にする。
追跡デバイスと、ナビゲーションシステムのローカライザとの間の追跡中断を低減する別の方法も提供される。本方法は、ローカライザの視野内の追跡デバイスを検出することを含む。ローカライザの視野に基づいて仮想視野境界が生成される。仮想物体が追跡デバイスに関連付けられる。仮想物体と仮想視野境界との間の衝突を検出し、追跡デバイスがローカライザの視野の外側に動くことを防ぐ、衝突に対する応答を可能にするために、仮想視野境界に対する仮想物体の動きが追跡される。
これらのナビゲーションシステム及び方法の1つの利点は、追跡デバイスと、追跡デバイスから信号を受信するローカライザとの間の追跡中断を低減し、外科手術に対する中断を回避することができるようにすることである。そのような中断は、追跡デバイスとローカライザとの間の視線に干渉する物体によって、又はローカライザの視野の外側に動く追跡デバイスによって生じる可能性がある。
添付図面とともに考慮したときに、以下の詳細な説明を参照することにより本発明がより良く理解されると、本発明の利点は容易に理解されるであろう。
ワークピースから材料を除去するのに用いられる材料除去システムの斜視図である。 材料除去システムの概略図である。 材料除去システムにおいて用いられる座標系の概略図である。 関節モータコントローラ及びセンサの概略図である。 ローカライザ座標系内の仮想物体を示す図である。 ローカライザの視野及び視野内に配置されたトラッカの上面図及び側面図である。 トラッカとローカライザとの間の仮想視線境界を示す図である。 仮想物体と仮想視線境界との間の衝突を示すディスプレイのスクリーンショットである。 視線遮断を回避するためのユーザに対する命令を示すディスプレイのスクリーンショットである。 仮想視線境界を横切る仮想物体と、衝突を回避するか又は衝突に反発するために生成される関連付けられたフィードバック力とを示す図である。 視野の外側にトラッカが動くのを回避するためのユーザに対する命令を示すディスプレイのスクリーンショットである。 1つの方法において実行されるステップのフローチャートである。
図1を参照すると、ワークピースから材料を除去するための材料除去システム10が示されている。材料除去システム10は、医療施設の手術室等の手術設定で示されている。示される実施形態では、材料除去システム10は、機械加工ステーション12及びナビゲーションシステム20を含む。ナビゲーションシステム20は、手術室内の様々な物体の移動を追跡するようにセットアップされる。そのような物体は、例えば、外科用ツール22、患者の大腿骨F及び患者の脛骨Tを含む。ナビゲーションシステム20は、外科医に対するこれらの物体の相対位置及び向きを表示する目的で、及び場合によっては、大腿骨F及び脛骨Tに関連付けられた仮想切断境界(図示せず)に対する外科用ツール22の動きを制御又は制約する目的で、これらの物体を追跡する。
ナビゲーションシステム20は、ナビゲーションコンピュータ26を収容するコンピュータカートアセンブリ24を備える。ナビゲーションインタフェースが、ナビゲーションコンピュータ26と操作上の通信を行う。このナビゲーションインタフェースは、滅菌野の外部に位置するように構成された第1のディスプレイ28と、滅菌野の内部に位置するように構成された第2のディスプレイ29とを備える。ディスプレイ28、29は、コンピュータカートアセンブリ24に調整可能に取り付けられている。キーボード及びマウス等の第1の入力デバイス30及び第2の入力デバイス32は、情報をナビゲーションコンピュータ26に入力するのに用いることもできるし、ナビゲーションコンピュータ26のいくつかの態様を別の方法で選択/制御するのに用いることができる。タッチスクリーン(図示せず)又は音声駆動を含む他の入力デバイスも考えられる。
ローカライザ34は、ナビゲーションコンピュータ26と通信する。図示した実施形態では、ローカライザ34は、光学式ローカライザであり、カメラユニット36を備える。カメラユニット36は、1つ以上の光位置センサ40を収容する外部ケーシング38を有する。いくつかの実施形態では、少なくとも2つの光センサ40、好ましくは3つ又は4つ(3つが図示されている)の光センサが用いられる。これらの光センサ40は、別々の電荷結合素子(CCD)であってもよい。1つの実施形態では、3つの1次元CCDが用いられる。他の実施形態では、それぞれが別々のCCD又は2つ以上のCCDを有する別々のカメラユニットを手術室の周辺に準備することもできることが認識されるべきである。CCDは、赤外線(IR)信号を検出する。
カメラユニット36は、調整可能なアーム上に取り付けられて、理想的には障害物がない、以下で論じるトラッカの視野を有する光センサ40を位置決めする。いくつかの実施形態では、カメラユニット36は、回転関節の周りを回転することによって少なくとも1自由度で調整可能である。他の実施形態では、カメラユニット36は、約2以上の自由度で調整可能である。
カメラユニット36は、光センサ40と通信して光センサ40から信号を受信するカメラコントローラ42を備える。カメラコントローラ42は、有線接続又は無線接続(図示せず)のいずれかを通じてナビゲーションコンピュータ26と通信する。1つのそのような接続は、高速通信及び等時性リアルタイムデータ転送のためのシリアルバスインタフェース規格であるIEEE1394インタフェースとすることができる。接続は、企業固有のプロトコルを用いることもできる。他の実施形態では、光センサ40は、ナビゲーションコンピュータ26と直接通信する。
位置及び向きの信号及び/又はデータは、物体を追跡する目的でナビゲーションコンピュータ26に送信される。コンピュータカートアセンブリ24、ディスプレイ28、及びカメラユニット36は、引用することにより本明細書の一部をなすものとする、Malackowski他に対する「Surgery System」と題する、2010年5月25日に発行された米国特許第7,725,162号明細書に記載されたものと同様のものであってもよい。
ナビゲーションコンピュータ26は、パーソナルコンピュータ又はラップトップコンピュータであってもよい。ナビゲーションコンピュータ26は、ディスプレイ28、中央処理ユニット(CPU)及び/又は他のプロセッサ、メモリ(図示せず)、並びに記憶装置(図示せず)を有する。ナビゲーションコンピュータ26には、以下で説明するようなソフトウェアがロードされる。このソフトウェアは、カメラユニット36から受信された信号を、追跡されている物体の位置及び向きを表すデータに変換する。
ナビゲーションシステム20は、本明細書においてトラッカとも呼ばれる複数の追跡デバイス44、46、48とともに動作可能である。図示した実施形態では、1つのトラッカ44は、患者の大腿骨Fに堅固に取り付けられ、別のトラッカ46は、患者の脛骨Tに堅固に取り付けられている。トラッカ44、46は、骨部分に堅固に取り付けられている。トラッカ44、46は、米国特許第7,725,162号明細書に示された方法で大腿骨F及び脛骨Tに取り付けることができる。この米国特許は、引用することによって本明細書の一部をなすものとする。トラッカ44、46はまた、引用することにより本明細書の一部をなすものとする、「Navigation Systems and Methods for Indicating and Reducing Line-of-Sight Errors」と題する、2014年1月16日に出願された米国仮特許出願第14/156,856号に示すトラッカと同様に取り付けることができる。更なる実施形態では、トラッカ(図示せず)が、膝蓋骨に取り付けられて、当該膝蓋骨の位置及び向きを追跡する。更なる実施形態では、トラッカ44、46は、解剖学的組織の他の組織タイプ又は組織部分に取り付けることができる。
ツールトラッカ48は、外科用ツール22に堅固に取り付けられている。ツールトラッカ48は、製造中に外科用ツール22内に統合することもできるし、外科手術の準備の際に外科用ツール22に別個に取り付けることもできる。ツールトラッカ48によって追跡される外科用ツール22の作業端は、回転バー、電気アブレーションデバイス、又は同様なものとすることができる。
トラッカ44、46、48は、内部バッテリを用いたバッテリ駆動式とすることもできるし、カメラユニット36のように好ましくは外部電力を受け取るナビゲーションコンピュータ26を通して電力を受け取るリード線を有することもできる。
示される実施形態において、外科用ツール22は、機械加工ステーション12のマニピュレータ56に取り付けられる。そのような構成は、その開示が引用することにより本明細書の一部をなすものとする、「Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes」と題する米国特許第9,119,655号明細書に示されている。
図2を参照すると、ローカライザ34の光センサ40は、トラッカ44、46、48から光信号を受信する。図示した実施形態では、トラッカ44、46、48は、アクティブトラッカである。この実施形態では、各トラッカ44、46、48は、光信号を光センサ40に送信する少なくとも3つのアクティブ追跡要素又はマーカを有する。アクティブマーカは、例えば、赤外線等の光を送達する発光ダイオード、すなわちLED50であってもよい。光センサ40は、好ましくは100Hz以上、より好ましくは300Hz以上、最も好ましくは500Hz以上のサンプリングレートを有する。いくつかの実施形態では、光センサ40は、8000Hzのサンプリングレートを有する。このサンプリングレートは、光センサ40が、順次点灯されたLED50から光信号を受信するレートである。いくつかの実施形態では、LED50からの光信号は、トラッカ44、46、48ごとに異なるレートで点灯される。
LED50のそれぞれは、関連付けられたトラッカ44、46、48のハウジング内に位置するトラッカコントローラ(図示せず)に接続されている。このトラッカコントローラは、ナビゲーションコンピュータ26に対してデータを送受信する。1つの実施形態では、トラッカコントローラは、ナビゲーションコンピュータ26との有線接続を通じてほぼ数メガバイト/秒程度でデータを送信する。他の実施形態では、無線接続を用いることができる。これらの実施形態では、ナビゲーションコンピュータ26は、トラッカコントローラからデータを受信する送受信機(図示せず)を有する。
他の実施形態では、トラッカ44、46、48は、カメラユニット36から放出された光を反射する反射器等のパッシブマーカ(図示せず)を有することができる。そして、反射光は、光センサ40によって受信される。アクティブ構成及びパッシブ構成は、当該技術分野においてよく知られている。
いくつかの実施形態では、トラッカ44、46、48は、引用することにより本明細書の一部をなすものとする、「Navigation System Including Optical and Non-Optical Sensors」と題する、2013年9月24日に出願された米国特許第9,008,757号明細書に示されるトラッカ等のジャイロスコープセンサ及び加速度計も含む。
ナビゲーションコンピュータ26は、ナビゲーションプロセッサ52を含む。ナビゲーションプロセッサ52は、ナビゲーションコンピュータ26の動作を制御する1つ以上のプロセッサを含みうることが理解されるべきである。プロセッサは、任意のタイプのマイクロプロセッサ又はマルチプロセッサシステムとすることができる。プロセッサという用語は、任意の実施形態の範囲を単一のプロセッサに制限することを意図したものではない。
カメラユニット36は、トラッカ44、46、48のLED50から光信号を受信し、ローカライザ34を基準としたトラッカ44、46、48のLED50の位置に関する信号をプロセッサ52に出力する。受信した光信号(及びいくつかの実施形態では非光信号)に基づいて、ナビゲーションプロセッサ52は、ローカライザ34を基準としたトラッカ44、46、48の相対的な位置及び向きを示すデータを生成する。1つの変形形態において、ナビゲーションプロセッサ52は、位置データを決定するために既知の三角測量方法を使用する。
外科手術の開始前に、追加のデータがナビゲーションプロセッサ52にロードされる。トラッカ44、46、48の位置及び向き、並びに以前にロードされたデータに基づいて、ナビゲーションプロセッサ52は、外科用ツール22の作業端の位置(例えば、外科用バーの重心)を求め、作業端が接触する組織に対する外科用ツール22の方向を求める。いくつかの実施形態では、ナビゲーションプロセッサ52はこれらのデータをマニピュレータコントローラ54に転送する。そして、その開示が引用することにより本明細書の一部をなすものとする、「Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes」と題する米国特許第9,119,655号明細書に記載されているように、マニピュレータコントローラ54は、データを用いてマニピュレータ56を制御することができる。
1つの実施形態において、マニピュレータ56は、外科医(図示せず)によって設定された、手術前に画定された仮想境界内に留まるように制御される。この境界は、外科用ツール22によって除去される大腿骨F及び脛骨Tの材料を画定する。より詳細には、大腿骨F及び脛骨Tの各々が、外科用ツール22の作業端によって除去される材料の標的ボリュームを有する。標的ボリュームは、1つ以上の仮想切断境界によって画定される。仮想切断境界は、手術後に残るべき骨の表面を画定する。その開示が引用することにより本明細書の一部をなすものとする、「Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes」と題する米国特許第9,119,655号明細書に開示されているように、ナビゲーションシステム20は、外科用ツール22を追跡及び制御し、作業端、例えば外科用バーが、材料の標的ボリュームのみを除去し、仮想切断境界を越えて延びないことを確実にする。
仮想切断境界は、大腿骨F及び脛骨Tの仮想モデル内で画定することができ、メッシュ表面、空間領域構成法(CSG)、ボクセルとして、又は他の境界表現技法を用いて表すことができる。外科用ツール22は、大腿骨F及び脛骨Tから材料を切り離し、インプラントを受け取る。その開示が引用することにより本明細書の一部をなすものとする、「Prosthetic Implant and Method of Implantation」と題する米国特許出願第13/530,927号に示されているように、外科的インプラントは、単顆人工膝関節インプラント、両顆人工膝関節インプラント又は全人工膝関節インプラントを含みうる。
ナビゲーションプロセッサ52は、組織に対する作業端の相対的な位置を示す画像信号も生成する。これらの画像信号は、ディスプレイ28、29に印加される。ディスプレイ28、29は、これらの信号に基づいて画像を生成する。これらの画像によって、外科医及びスタッフは、手術部位に対する作業端の相対的な位置を視認することが可能になる。ディスプレイ28、29は、上記で論述したように、コマンドのエントリを可能にするタッチスクリーン又は他の入力/出力デバイスを含みうる。
図3を参照すると、物体の追跡は、一般に、ローカライザ座標系LCLZを基準として行われる。ローカライザ座標系は、原点及び向き(x軸、y軸、及びz軸のセット)を有する。手術中、1つの目標は、ローカライザ座標系LCLZを既知の位置に保つことである。ローカライザ34に取り付けられた加速度計(図示せず)は、ローカライザ34が手術要員によって不注意でぶつけられたときに起こり得るようなローカライザ座標系LCLZの突然の運動又は予期しない運動を追跡するのに用いることができる。
各トラッカ44、46、48及び追跡されている物体も、ローカライザ座標系LCLZと別個のそれ自体の座標系を有する。それら自体の座標系を有するナビゲーションシステム20のコンポーネントは、骨トラッカ44、46及びツールトラッカ48である。これらの座標系は、それぞれ、骨トラッカ座標系BTRK1、BTRK2、及びツールトラッカ座標系TLTRとして表される。
ナビゲーションシステム20は、骨に堅固に取り付けられた骨トラッカ44、46の位置を監視することによって患者の大腿骨F及び脛骨Tの位置を監視する。大腿骨座標系はFBONEであり、脛骨座標系はTBONEであり、これらの座標系は、骨トラッカ44、46が堅固に取り付けられている骨の座標系である。
手術の開始前に、大腿骨F及び脛骨Tの術前画像(又は他の実施形態では他の組織の術前画像)が生成される。これらの画像は、患者の解剖学的組織のMRIスキャン、放射線スキャン、又はコンピュータ断層撮影(CT)スキャンに基づくことができる。これらの画像は、当該技術分野においてよく知られている方法を用いて大腿骨座標系FBONE及び脛骨座標系TBONEにマッピングされる。これらの画像は、大腿骨座標系FBONE及び脛骨座標系TBONEにおいて固定される。手術前の画像を撮ることの代替として、運動学的研究、骨追跡及び他の方法から、手術室(OR)内で治療平面を展開することができる。
手術の初期フェーズの間、骨トラッカ44、46が、患者の骨に堅固に取り付けられる。座標系FBONE及びTBONEの姿勢(位置及び向き)が、それぞれ座標系BTRK1及びBTRK2にマッピングされる。1つの実施形態において、引用することにより本明細書の一部をなすものとする、Malackowski他に対する米国特許第7,725,162号明細書に開示されているような、独自のトラッカPT(図1を参照)を有するポインタ器具P(図1を参照)を用いて、大腿骨座標系FBONE及び脛骨座標系TBONEを、それぞれ骨トラッカ座標系BTRK1及びBTRK2に登録することができる。骨とそれらの骨トラッカ44、46との間の固定関係、大腿骨座標系FBONE及び脛骨座標系TBONEにおける大腿骨F及び脛骨Tの位置及び向きを、骨トラッカ座標系BTRK1及びBTRK2に変換し、カメラユニット36が骨トラッカ44、46を追跡することによって大腿骨F及び脛骨Tを追跡できるようにすることがある。これらの姿勢記述データは、マニピュレータコントローラ54及びナビゲーションプロセッサ52の双方と一体のメモリに記憶される。
外科用ツール22の作業端(エネルギーアプリケータ遠位端とも呼ばれる)は、それ自体の座標系EAPPを有する。座標系EAPPの原点は、例えば、外科用切断バーの重心を表すことができる。座標系EAPPの姿勢は、手術が開始する前に、ツールトラッカ座標系TLTRの姿勢に固定される。したがって、これらの座標系EAPP、TLTRの互いを基準とした姿勢が決まる。この姿勢記述データが、マニピュレータコントローラ54及びナビゲーションプロセッサ52の双方と一体のメモリに記憶される。
図2を参照すると、ローカライゼーションエンジン100は、ナビゲーションシステム20の一部とみなすことができるソフトウェアモジュールである。ローカライゼーションエンジン100のコンポーネントは、ナビゲーションプロセッサ52上で動作する。いくつかの形態では、ローカライゼーションエンジン100は、マニピュレータコントローラ54上で動作することができる。
ローカライゼーションエンジン100は、カメラコントローラ42からの光ベースの信号、及びいくつかの実施形態ではトラッカコントローラからの非光ベースの信号を入力として受信する。これらの信号に基づいて、ローカライゼーションエンジン100は、ローカライザ座標系LCLZにおいて骨トラッカ座標系BTRK1及びBTRK2の姿勢を確定する。ツールトラッカ48用に受信された同じ信号に基づいて、ローカライゼーションエンジン100は、ローカライザ座標系LCLZにおけるツールトラッカ座標系TLTRの姿勢を確定する。
ローカライゼーションエンジン100は、トラッカ44、46、48の姿勢を表す信号を座標変換器102に転送する。座標変換器102は、ナビゲーションプロセッサ52上で動作するナビゲーションシステムソフトウェアモジュールである。座標変換器102は、患者の術前画像と骨トラッカ44、46との間の関係を規定するデータを参照する。座標変換器102は、ツールトラッカ48を基準とした外科用ツール22の作業端の姿勢を示すデータも記憶する。
手術中、座標変換器102は、ローカライザ34に対するトラッカ44、46、48の相対的な姿勢を示すデータを受信する。これらのデータ及び事前にロードされたデータに基づいて、座標変換器102は、ローカライザ座標系LCLZに対する座標系EAPPと骨座標系FBONE及びTBONEとの双方の相対的な位置及び向きを示すデータを生成する。
その結果、座標変換器102は、作業端が接触する組織(例えば、骨)を基準とした外科用ツール22の作業端の位置及び向きを示すデータを生成する。これらのデータを表す画像信号は、外科医及びスタッフがこの情報を視認することを可能にするディスプレイ28、29に転送される。或る特定の実施形態では、これらのデータを表す他の信号をマニピュレータコントローラ54に転送して、マニピュレータ56及び外科用ツール22の対応する運動を制御することができる。
図1に示す実施形態において、外科用ツール22は、マニピュレータ56のエンドエフェクタの一部を形成する。マニピュレータ56は、基部57、基部57から延びる複数の連結部58、及び基部57に対し外科用ツール22を動かすための複数の能動関節(符号を付されていない)を有する。マニピュレータ56は、その開示が引用することにより本明細書の一部をなすものとする、「Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes」と題する米国特許第9,119,655号明細書に記載されているように、手動モードで動作するか、又は所定のツール経路に沿って外科用ツール22が自律的に動かされる半自律モードで動作する能力を有する。
マニピュレータコントローラ54は、その開示が引用することにより本明細書の一部をなすものとする、「Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes」と題する米国特許第9,119,655号明細書に記載されているように、外科用ツール22の位置及び向きデータと、患者の解剖学的組織とを用いて、マニピュレータ56を制御することができる。
マニピュレータコントローラ54は、中央処理装置(CPU)及び/又は他のマニピュレータプロセッサ、メモリ(図示せず)及びストレージ(図示せず)を有することがある。以下で説明するように、マニピュレータコンピュータとも呼ばれるマニピュレータコントローラ54にソフトウェアがロードされる。マニピュレータプロセッサは、マニピュレータ56の動作を制御する1つ以上のプロセッサを含みうる。プロセッサは、任意のタイプのマイクロプロセッサ又はマルチプロセッサシステムとすることができる。プロセッサという用語は、任意の実施形態を単一のプロセッサに限定するように意図されるものではない。
図4を参照すると、複数の位置センサ112、114、116がマニピュレータ56の複数の連結部58に関連付けられる。1つの実施形態において、位置センサ112、114、116はエンコーダである。位置センサ112、114、116は、ロータリエンコーダ等の任意の適切なタイプのエンコーダとすることができる。各位置センサ112、114、116は、モータM等のアクチュエータと関連付けられる。各位置センサ112、114、116は、位置センサが関連付けられたマニピュレータ56の3つのモータ駆動コンポーネントのうちの1つの角度位置を監視するセンサである。マニピュレータ56は、2つの追加の位置センサ117及び118を含む。位置センサ117及び118は、追加の駆動連結部に関連付けられる。いくつかの実施形態では、マニピュレータ56は、6つの能動関節において6つの位置センサを有する2つのアーム構造を含む。1つのそのような実施形態は、その開示が引用することにより本明細書の一部をなすものとする、「Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes」と題する米国特許第9,119,655号明細書に記載されている。
マニピュレータ56は、従来のロボットシステム又は他の従来の機械加工装置の形態をとることができ、このため、その構成要素は詳細に説明されない。
マニピュレータコントローラ54は、外科用ツール22が動かされるべき所望のロケーションを決定する。この決定、及び外科用ツール22の現在のロケーション(例えば、姿勢)に関する情報に基づいて、マニピュレータコントローラ54は、現在のロケーションから所望のロケーションに外科用ツール22を再位置決めするために、複数の連結部58の各々がどの程度動かされる必要があるかを求める。複数の連結部58がどこに位置決めされるかに関するデータは関節モータコントローラ119に転送され、関節モータコントローラ119は、マニピュレータ56の能動関節を制御して複数の連結部58を動かし、それによって外科用ツール22を現在のロケーションから所望のロケーションに動かす。
外科用ツール22の現在のロケーションを求めるために、位置センサ112、114、116、117及び118からのデータを用いて、測定された関節角度を求める。当該技術分野において既知であるように、能動関節の測定された関節角度は、順運動学モジュールに転送される。位置センサ117及び118からの信号も順運動学モジュールに適用される。これらの信号は、これらのエンコーダと一体の受動関節のために測定された関節角度である。測定された関節角度及び事前にロードされたデータに基づいて、順運動学モジュールは、マニピュレータ座標系MNPLにおける外科用ツール22の姿勢を求める。事前にロードされたデータは、複数の連結部58及び関節の形状を定義するデータである。この情報を用いて、マニピュレータコントローラ54及び/又はナビゲーションプロセッサ52は、ローカライザ座標系LCLZからマニピュレータ座標系MNPLに、又はその逆に、座標を変換することができる。
1つの実施形態では、マニピュレータコントローラ54及び関節モータコントローラ119は、所望の位置及び/又は向きに外科用ツール22を動かすように動作する位置コントローラを集合的に形成する。位置コントローラは位置制御ループにおいて動作する。位置制御ループは、能動関節ごとに並列又は直列の複数の位置制御ループを含みうる。位置制御ループは、外科用ツール22の姿勢を示し、方向付けするように、位置及び向きの情報を処理する。
マニピュレータ56の動作中、トラッカ44、46、48とローカライザ34との間の視線は、所望の位置及び/又は向きに対する外科用ツール22の正確な動きを確実にするように維持されるべきである。視線が妨げられるか又は遮断される期間は、視線が戻るか又はナビゲーションシステム20がリセットされるまで、材料除去システム10がエラーメッセージを表示し、マニピュレータ56の動作を止めることを必要とする場合がある。これによって、外科手術における遅延が生じる可能性がある。これは、特に、視線の復元に困難が生じる場合に、外科手術の時間を大幅に増大させる可能性がある。
ナビゲーションコンピュータ26は、他の光センサ40が依然として信号を受信している場合であっても、光センサ40のうちの任意の1つがLED50からの信号の受信に失敗する場合、エラーがあると判断する。他の実施形態において、ナビゲーションコンピュータ26は、光センサ40のいずれも信号を受信しない場合、エラーがあると判断する。いずれの場合にも、1つ以上の光センサ40が1つ以上のLED50から信号を受信することに失敗したことに基づいて、ナビゲーションシステム20が、エラーが存在すると判断するとき、ナビゲーションコンピュータ26によってエラー信号が生成される。そして、エラーメッセージが、ディスプレイ28、29上に現れる。ナビゲーションコンピュータ26は、エラー信号をトラッカコントローラにも送信する。
いくつかの実施形態では、トラッカ44は、LED50のうちの1つからの追跡信号が遮断される場合に、残りのLED50を用いて位置データ及び向きデータを依然として得ることができるように、4つ以上の追跡LED50を含みうる。この例において、任意のエラー信号が生成される前に、ナビゲーションコンピュータ26は、最初に完全な追跡サイクルを通しで実行する。完全な追跡サイクルは、トラッカ44上の全てのLED50を順次アクティベートして、光センサ40が追跡サイクル内のLED50のうちの少なくとも3つから追跡信号を受信するか否かを判断することを含む。そして、光センサ40(又は、いくつかの実施形態における全ての光センサ40)が追跡サイクルにおいて少なくとも3つのLED50から追跡信号を受信しなかった場合、エラー信号が生成され、エラーメッセージが表示される。以下で更に説明される実施形態のうちのいくつかにおいて、ナビゲーションシステム20は、そのようなエラーメッセージを回避するように視線遮断の可能性を低減する。
視線遮断は、トラッカ44、46、48のLED50からローカライザ34の光センサ40に送信される光信号を遮断する。ナビゲーションシステム20は、そのような視線の遮断を生じ得る物体を追跡し、物体のうちのいずれかが追跡デバイス44、46、48のうちの1つとローカライザ34との間で視線を妨げるか又は遮断するリスクを課す場合、ユーザにフィードバックを生成することによって、手術中、すなわち外科手術中にこれらの視線遮断を低減する。
視線遮断を生じる可能性がある物体は、外科手術中にローカライザ34の視線内に存在する場合がある任意の物理的物体を含む。そのような物理的物体の例は、トラッカ44、46、48の各々又はそれらの一部分に関連付けられた構造を含む。他の物理的物体は、ローカライザ34の視野内に存在する場合がある、外科用ツール22、手術部位における開創器、四肢ホルダ、他のツール、外科人員、又はこれらのうちの任意のものの一部分を含みうる。チェックされない場合、これらの物理的物体は、視線遮断を引き起こすように動く可能性がある。ナビゲーションシステム20は、これらの物理的物体の各々の位置及び向きを追跡し、視線の遮断が生じる前にユーザにフィードバックを生成し、視線の遮断を少なくとも低減し、理想的には防ぐ。
視線遮断を引き起こし得る物理的物体の各々は、これらの物理的物体を追跡する目的で仮想空間内にモデル化される。これらのモデルは、仮想物体と呼ばれる。仮想物体は、トラッカ44、46、48、外科用ツール22、開創器、四肢ホルダ、他のツール、又は外科人員等の、ローカライザ34の視野内で追跡されている物理的物体の各々のローカライザ座標系LCLZにおけるマップである。仮想物体は、多角面、スプライン、又は代数曲面(パラメトリック曲面を含む)によって表すことができる。1つのより具体的な変形形態では、これらの表面は三角形メッシュとして表される。各多角形の角は、ローカライザ座標系LCLZ内の点によって定義される。各仮想物体境界又はメッシュの一部分を定義する個々の領域セクションは、タイルと呼ばれる。仮想物体は、ボクセルベースのモデル又は他のモデル化技法を用いて、3Dボリュームによって表すこともできる。
図5を参照すると、説明の目的で、トラッカ44、46、48及び外科用ツール22の物理的構造に関連付けられた仮想物体44’、46’、48’、22’がローカライザ座標系LCLZに示されている。計算効率のために、仮想物体44’、46’、48’、22’は単純な形状としてモデル化されていることに留意されたい。さらに、ツールトラッカ48及び外科用ツール22に関連付けられた、ツールトラッカ仮想物体48’及びツール仮想物体22’は、互いに対して固定され、代替的に単一の仮想物体として表すことができる。
ツールトラッカ仮想物体48’及びツール仮想物体22’は、ツールトラッカ48を追跡することによって追跡することができる。特に、ツールトラッカ仮想物体48’及びツール仮想物体22’の形状モデルは、メモリに記憶され、ツールトラッカ48上のLED50に対するそれらの関係は既知である。骨トラッカ仮想物体44’及び46’は、骨トラッカ44、46を追跡することによって追跡することができる。特に、骨トラッカ仮想物体44’、46’の形状モデルは、メモリに記憶され、骨トラッカ上44、46上のLED50に対するそれらの関係は既知である。他の追跡デバイス(図示せず)を、ローカライザ34の視野内に存在する開創器、四肢ホルダ、他のツール、又は外科人員等の他の物理的物体に取り付け、これらの他の物理的物体を追跡することができる。
外科手術が開始する前に、トラッカ44、46、48の各々がローカライザ34の視野内に配置される。ディスプレイ28、29は、トラッカ44、46、48がローカライザ34の視野内に配置されることを視覚的に確認するために、図6に示すように、ローカライザ34の視野を上面及び側面から図式的に示す。視野は、光センサ40と、トラッカ44、46、48のLED50から光を受けるための光センサ40の範囲との空間関係によって定義される。そして、ナビゲーションシステム20は、トラッカ44、46、48の各々が視野内で可視であることを検証する。検証されると、外科手術が開始することができる。
図7を参照すると、仮想境界生成器104(図2を参照)は、追跡デバイス44、46、48の各々とローカライザ34との間の視線関係に基づいて、仮想視線境界106、108、110を生成する。仮想視線境界106、108、110は、物理的物体が入ることを制限されるべき空間の輪郭を描き、それによって、各追跡デバイス44、46、48のLED50からの光が、遮断されることも妨げられることもなく、ローカライザ34の光センサ40に送信されることが可能であるようにする。
いくつかの実施形態では、図7に示すように、仮想視線境界106、108、110は、円筒形、球形又は円錐台形である。他の形状も可能である。他の実施形態では、仮想視線境界は、直線(例えば、LEDの各々から光センサ40の各々への直線)として表される。図7に示される仮想視線境界106、108、110は、追跡デバイス44、46、48の各々においてLED50の周りに定義された第1の端部112、114、116から、ローカライザ34の光センサ40の周りに定義された第2の端部118まで延びる。仮想視線境界106、108、110は、以下で更に説明されるように、視線遮断を生じることなく衝突を検出するために、物理的物体が仮想視線境界にわずかに入り込むことができるように、超過サイズにすることがある。
仮想境界生成器104は、外科手術中の追跡デバイス44、46、48とローカライザ34との間の相対的な動きを考慮に入れるように仮想視線境界106、108、110を更新する。更新は、ナビゲーションシステム20が、追跡デバイス44、46、48の各々についてLED50から信号の完全な組(例えば、追跡デバイスごとに少なくとも3つの信号)を受信する度に生じることがある。更新は、外科用ツール22のために新たな指令位置が決定される度に生じることがある。外科用ツール22がマニピュレータ56によって制御される実施形態では、各新たな指令位置を決定するための時間フレームは、0.1ミリ秒〜2ミリ秒ごとでありうる。
仮想境界生成器104は、ナビゲーションプロセッサ52若しくはマニピュレータコントローラ54又はその双方において実行されるソフトウェアモジュールである。仮想境界生成器104は、仮想視線境界106、108、110を画定するマップを生成する。仮想境界生成器104への第1の入力は、ローカライザ座標系LCLZにおける追跡デバイス44、46、48ごとのLED50の各々の位置及び向きを含む。このLED姿勢データから、第1の端部112、114、116の位置及び向きを定義することができる。仮想境界生成器104への第2の入力は、ローカライザ座標系LCLZにおけるローカライザ34の光センサ40の各々の位置及び向きを含む。この光センサ姿勢データから、光センサ40の周りの第2の端部118の位置及び向きを定義することができる。上記のデータに基づいて、及び命令を通じて、仮想境界生成器104は、ローカライザ座標系LCLZにおける仮想視線境界106、108、110を画定するマップを生成する。
いくつかの実施形態では、仮想境界生成器104は、仮想視線境界を、多角面、スプライン又は代数曲面(パラメトリック曲面を含む)として生成する。1つのより具体的な変形形態では、これらの面は、三角形メッシュとして表される。各多角形の角は、ローカライザ座標系LCLZにおける点によって定義される。各仮想視線境界又はメッシュの一部分を定義する個々の領域セクションはタイルと呼ばれる。仮想視線境界は、ボクセルベースのモデル又は他のモデル化技法を用いて、3Dボリュームとして表すこともできる。
衝突検出器120(図2を参照)は、仮想視線境界106、108、110に対する仮想物体44’、46’、48’、22’の動きを評価して、仮想物体44’、46’、48’、22’と仮想視線境界106、108、110(効果的に仮想物体とも呼ばれる)との間の衝突を検出する。より詳細には、衝突検出器120は、仮想物体44’、46’、48’、22’を表す形状モデルと、仮想視線境界106、108、110を表す形状モデルとの間の衝突を検出する。衝突検出は、実際の仮想衝突を検出するか、仮想衝突が生じる前にそれらを予測することを含む。
衝突検出器120によって行われる追跡の目的は、任意の物理的物体が、追跡デバイス44、46、48のLED50と、ローカライザ34の光センサ40との間の視線を遮断することを防ぐことである。衝突検出器120への第1の入力は、ローカライザ34の視野内で追跡されている仮想物体44’、46’、48’、22’の各々のマップである。衝突検出器120への第2の入力は、仮想視線境界106、108、110の各々のマップである。
衝突検出器120は、ナビゲーションプロセッサ52若しくはマニピュレータコントローラ54又はその双方を実行するソフトウェアモジュールである。衝突検出器120は、仮想物体44’、46’、48’、22’と仮想視線境界106、108、110との間の衝突を検出するための任意の従来のアルゴリズムを用いることができる。例えば、2つのパラメトリック曲面の交差部を求めるための適切な技法は、細分化法、格子法、追跡法、及び解析法を含む。引用することにより本明細書の一部をなすものとする、米国特許第5,548,694号明細書に記載されているように、ボクセルベースの仮想物体の場合、衝突検出は、任意の2つのボクセルがローカライザ座標系LCLZにおいて重複しているときを検出することによって実行することができる。
フィードバック生成器122(図2)は、衝突検出器120と通信して、仮想物体44’、46’、48’、22’のうちの任意のものと、仮想視線境界106、108、110のうちの任意のものとの間の衝突の検出に応答する。フィードバック生成器122は、ナビゲーションプロセッサ52若しくはマニピュレータコントローラ54又はそれらの双方の上で実行されるソフトウェアモジュールである。フィードバック生成器122は、可聴フィードバック、視覚フィードバック、振動フィードバック又は触覚フィードバックのうちの1つ以上を含む1つ以上の形態のフィードバックをユーザに提供することによって、衝突の検出に応答する。
1つの実施形態では、フィードバック生成器122は、ナビゲーションプロセッサ52と通信して、衝突に応答して可聴アラートをユーザに生成するアナンシエータ124の形態のフィードバックデバイスを起動させる。
図8を参照すると、フィードバック生成器122は、ディスプレイ28、29に、衝突を表す画像を表示させることもでき、それによって、ユーザは、(衝突が予測された場合に)衝突をどのように回避するかを決定するか、又は(衝突が既に生じている場合に)衝突を逆転することができる。衝突は、影響を受けている仮想視線境界106、108又は110を、関与する物理的物体が仮想視線境界106、108、110と衝突したか又は衝突しようとしている場所のグラフィック表現とともに示すことによって表すことができる。関与するトラッカ44、46又は48、すなわち、「大腿骨トラッカ」等の遮断されようとしているトラッカのテキスト記述もディスプレイ28、29上に表示することができる。
いくつかの実施形態では、仮想物体を用いて追跡されるローカライザ34の視野内の全ての物理的物体をディスプレイ28、29上に表すことができる。この場合、衝突は、色分けを用いて示すことができる。例えば、仮想視線境界106、108又は110と衝突する物理的物体(その仮想物体によって関連付けられる)の一部分を取り囲んで赤色を示すことができる。影響を受けているトラッカ44、46又は48も色分けすることができ(場合によっては同じ色又は異なる色)、それによって、視覚的に、いずれの物理的物体がいずれのトラッカ視線を遮断することになるのかをユーザが迅速に理解し、ユーザは直観的に遮断を回避することができる。さらに、ディスプレイ上に矢印を図式的に示して、物理的物体が衝突を回避するか又は衝突を逆転するように動かされるべき方向を示すことができる。これらの矢印は、以下で詳細に説明されるように、衝突検出器120によって決定されたフィードバック力の方向に基づいて生成することができる。
図9を参照すると、フィードバック生成器122は、衝突の検出に応答して、ディスプレイ28、29に、患者の特定の解剖学的組織を再位置決めすることの命令を含むメッセージをユーザに対し表示させることもできる。特定の解剖学的組織は、遮断されようとしている骨トラッカ44、46が取り付けられる解剖学的組織を含みうる。例えば、外科用ツール22を表すツール仮想物体22’が、脛骨T上の骨トラッカ46に関連付けられた仮想視線境界108と衝突したことがわかった場合、ナビゲーションプロセッサ52は、ディスプレイ28、29に、「脛骨を動かせ」というメッセージをユーザに対し表示させることができる。特定のメッセージは、あり得る衝突の特定のシナリオに関連付けられたメッセージのルックアップテーブルに記憶することができる。この例において、このメッセージは、ツール仮想物体22’が仮想視線境界108と衝突したシナリオでルックアップテーブル内に位置する。衝突を回避又は逆転するためにとる方向を定義する回避ベクトル又は反発ベクトルに基づいた、より詳細な命令も可能である。図9に示すように、命令は、矢印Aをディスプレイ28、29に更に表示するか又は点滅させて「脛骨を動かせ」と命令することとすることができ、矢印Aは、回避ベクトル又は反発ベクトルの方向にある。
フィードバック生成器122は、ディスプレイ28、29に、衝突の検出に応答してローカライザ34を再位置決めすることの命令を含むメッセージをユーザに対し表示させることもできる。例えば、外科用ツール22を表現するツール仮想物体22’が、脛骨T上の骨トラッカ46に関連付けられた仮想視線境界108と衝突したことがわかった場合、ナビゲーションプロセッサ52は、ディスプレイ28、29に、「カメラユニットを動かせ」というメッセージをユーザに対し表示させることができる。特定のメッセージは、あり得る衝突の特定のシナリオに関連付けられたメッセージのルックアップテーブルに記憶することができる。これらの例において、このメッセージは、ツール仮想物体22’が仮想視線境界108と衝突したシナリオでルックアップテーブル内に配置される。
フィードバック生成器122は、ディスプレイ28、29に、衝突の検出に応答してマニピュレータ56を再位置決めする命令を含むメッセージをユーザに対し表示させることもできる。例えば、外科用ツール22を表すツール仮想物体22’が、脛骨T上の骨トラッカ46に関連付けられた仮想視線境界108と衝突したことがわかった場合、ナビゲーションプロセッサ52は、ディスプレイ28、29に、「マニピュレータを動かせ」というメッセージをユーザに対し表示させることができる。特定のメッセージは、あり得る衝突の特定のシナリオに関連付けられたメッセージのルックアップテーブルに記憶することができる。この例において、このメッセージは、ツール仮想物体22’が仮想視線境界108と衝突したシナリオでルックアップテーブル内に配置される。このフィードバックが用いられる場合がある1つの理由は、外科用ツール22又は脛骨Tを、衝突を回避するように他の形で操作することができない状況にある。さらに、マニピュレータ56は、運動の範囲が限られており、マニピュレータ56がその限られた範囲の所定の閾値内にある場合、このメッセージは、衝突を回避するために、外科手術中に更なる運動範囲を回復するのに必要とされる場合がある。
さらに、フィードバック生成器122は、仮想視線境界106、108、110と衝突しているか又は衝突しようとしている仮想物体44’、46’、48’、22’に関連付けられた物理的物体に対する振動の形態で、ユーザに振動フィードバックを体験させることができる。例えば、ユーザが外科用ツール22を手動モードで位置決めしているとき、手動モードではユーザは外科用ツール22のハンドルを把持しており、ツール仮想物体22’が仮想視線境界106、108、110と衝突しているか又は衝突しようとしている場合、偏心モータ等の振動デバイス126を作動させることができる。振動デバイス126は、振動デバイス126からの振動をハンドルに送達することができるように、外科用ツール22に搭載される。振動フィードバックは、意図される位置が、視線遮断を引き起こす場合があることをユーザに示し、それによってユーザが、更なる運動を止め、視線遮断を防ぐことを可能にする。そして、ユーザは、視線遮断を回避することになる代替的なコースを決定することができる。
1つの実施形態において、フィードバック生成器122は、衝突を回避するか又は衝突に反発するフィードバック力で衝突に応答することによって、ユーザに触覚フィードバックを与える。フィードバック力は、衝突検出器120によって決定される。フィードバック力は、x軸、y軸及びz軸に沿った最大で3つの力の成分と、これらの軸の周りの3つのトルクの成分とを含む力及び/又はトルク成分を有することがある。
1つの例において、フィードバック生成器122は、マニピュレータ56が手動モードで動作しているとき、外科用ツール22を通じてユーザに触覚フィードバックを提供する。これは、マニピュレータ56が、外科用ツール22に関連付けられたツール仮想物体22’を、骨トラッカ44、46に関連付けられた仮想視線境界106、108内に位置決めすることを防ぎ、それによって任意の視線遮断を回避する。1つの実施形態において、衝突検出器120は、マニピュレータ56が外科用ツール22を指令姿勢に動かす場合に、ただしマニピュレータコントローラ54が実際に外科用ツール22を指令姿勢に動かす前に、仮想衝突が生じるか否かを予測することによって衝突を検出する。仮想衝突が予測される場合、マニピュレータ56は、外科用ツール22を、変更された指令姿勢に動かして衝突を回避するように制御される。
いくつかの実施形態では、マニピュレータ56は受動マニピュレータである。この場合、触覚フィードバックは、仮想衝突が生じた後にユーザにフィードバックを提供し、影響を受けた仮想視線境界106、108、110内に仮想物体44’、46’、48’、22’が更に入り込むことを防ぐか、又は衝突を食い止める。このため、衝突検出は、実際の仮想衝突又は予測仮想衝突に応答することができる。このため、フィードバック生成器122は、外科用ツール22の手動モード位置決めが、ツール仮想物体22’が仮想視線境界106、108の外側に留まるか、又は仮想視線境界106、108内に或る程度までしか入り込まないように制御されることを確実にし、外科用ツール22が、骨トラッカ44、46とローカライザ34との間の視線遮断を引き起こすことを防ぐ。
仮想視線境界106、108がメッシュ等の多角面によって表されるとき、衝突検出器120は、ツール仮想物体22’が時間フレーム中に横切る可能性がある任意の境界画定タイルを特定する。このステップは、多くの場合、広位相探索として記述される。このステップは、ツール仮想物体22’の定義された距離(d)内にあるタイルの1つ以上の組を特定することによって実行される。この定義された距離(d)は、ツール仮想物体22’の寸法、タイルに対する仮想物体22’の速度(過去のフレーム中の進行速度が許容可能である)、フレームの期間、セクションを画定する境界の特徴的サイズを定義するスカラ、及び丸め係数の関数である。
広位相探索の実行の結果として、衝突検出器120は、この解析が実行されているフレームにおいて、タイルの全てが定義された距離(d)の外側にあると判断することができる。これは、この解析が行われているフレームの終わりまでに、ツール仮想物体22’が、仮想視線境界106、108のいずれかを越えるロケーションまで進められないことを意味する。これは、ツール仮想物体22’が仮想視線境界106から十分に離間されている図10によって示される。この解析は、ツール仮想物体22’の外面を定義する点128a〜128g等のツール仮想物体22’を定義する1組の点について行うことができ、各点は、特定の点が仮想視線境界106を横切るか否かを検出するように解析されることが理解されるべきである。
外科用ツール22の継続的な前進によって視線の遮断が生じないので、衝突検出器120は、元々、マニピュレータコントローラ54によって指令された外科用ツール22の指令姿勢又は指令速度のいずれも変更しない。このため、衝突検出器120は、マニピュレータコントローラ54によって元々決定されたものと同じである、外科用ツール22のための最終指令姿勢及び最終指令速度を出力する。
衝突検出器120は、代替的に、ツール仮想物体22’又は点128a〜128gの定義された距離(d)内にある境界画定タイルの広い組を特定することができる。そして、衝突検出器120は、ツール仮想物体22’又はツール仮想物体22’上の点128a〜128gのうちの任意のものが横切り得る、タイルの広い組内にある境界画定タイルの狭い組を特定する。このステップは、狭位相探索と呼ばれる。この狭位相探索は、最初に境界ボリュームを画定することによって行うことができる。この境界ボリュームは、ツール仮想物体22’の初期姿勢及び最終姿勢と考えられている姿勢間で延びる。これが最初の実行である場合、ツール仮想物体22’の初期姿勢は、外科用ツール22の以前の指令姿勢に基づき、ツール仮想物体22’の最終姿勢は、外科用ツール22の現在の指令姿勢、すなわち、衝突検出器120が衝突を検出しない場合にこのフレームにおいて外科用ツール22が動かされるべき、マニピュレータコントローラ54によって生成される姿勢に基づく。
境界ボリュームは、その最も基本的な形式において、初期姿勢における点128a〜128gから最終姿勢における点128a〜128gまで延びる直線でありうる。境界ボリュームが画定されると、狭位相探索の一部として、衝突検出器120は、タイルの広い組のいずれがこの境界ボリュームと交差するかを、これが存在する場合に求める。境界ボリュームと交差するタイルが狭組タイルである。
タイルの広い組のいずれも、境界ボリュームと交差せず、狭い組が空集合であると判断される場合がある。この評価の試験結果が真である場合、衝突検出器120は、この条件を、ツール仮想物体22’の最終姿勢が、仮想視線境界106、108によって画定されるボリュームの外側にあることを示すものとして解釈する。ツール仮想物体22’がそのように配置される場合、元の指令姿勢及び指令速度は、衝突検出器120によって変更されず、衝突検出器120によって、最終指令姿勢及び最終指令速度として出力される。
代替的に、境界ボリュームが1つ以上のタイルを横切り、狭い組が1つ以上のタイルを含むと判断される場合がある。その場合、衝突検出器120は、ツール仮想物体22’の最終姿勢が境界に入り込んでいることを示すものとしてこの状態を解釈する。この状態は図10によって示されている。ここで、ツール仮想物体22’の初期姿勢は実線で表され、最終姿勢はファントム線によって表される。
仮想視線境界106、108に侵入する状態が存在する場合、次のステップは、タイルの狭い組のうちのいずれをツール仮想物体22’が(外科用ツール22の拡張によって)最初に横切るかを判断することである。境界ボリュームが直線を含む場合、衝突検出器120は、タイルごと及び直線ごとに、タイルを横切る前にフレーム中に外科用ツール仮想物体22’が進むことになる距離のパーセンテージを求める(図10の70パーセントの表記を参照されたい)。最も低いパーセンテージの距離において交わるタイルは、最初に交わることが理解されるタイルである。
ツール仮想物体22’に最も近い境界画定タイルは、ツール仮想物体22’が交わる可能性があるタイルではない場合がある。図10に示すように、仮想視線境界106のタイルT1〜T5が、定義された距離(d)、すなわちツール仮想物体22’が時間フレーム内に潜在的に移動し得る距離内にあると最初に判断された。ツール仮想物体22’に最も近いタイルはタイルT4である。一方、ツール仮想物体22’は、説明の目的で、タイルT3に向かって下方かつ左側の軌跡に沿って移動している。したがって、衝突検出器120は、タイルT3が、境界ボリュームが交差するタイルであると判断する。
衝突検出器120は、マニピュレータコントローラ54が外科用ツール22を元々の指令姿勢に動かす場合にいずれの境界画定タイルをツール仮想物体22’が横切るかを概ね判断すると、時間(t)及び点Pを決定する。時間(t)は、ツール仮想物体22’が仮想視線境界106を横切るときの、フレームの開始に対する期間である。この時間(t)は、仮想視線境界106に接触する前にフレーム中にツール仮想物体22’が進むことになる距離のパーセンテージに基づいて決定される。これは、この場合、図10に示すように距離の70パーセントである。この決定は、任意の所与のフレーム中に、外科用ツール22の速度、このためツール仮想物体22’の速度が一定であるという仮定に基づいて行われる。点Pは、ツール仮想物体22’がタイルを横切ることになるローカライザ座標系LCLZにおける点である。この点Pは、ツール仮想物体22’の前進経路がタイルを横切る場所を計算することによって決定される。双方の計算は、入力変数として、タイルを最初に横切る特定の点128a〜128gの初期姿勢及び最終姿勢、並びに境界タイルの周縁を画定するデータを用いる。
いくつかの実施形態では、この状況において、元の指令姿勢は、衝突検出器120によって、外科用ツール22が仮想視線境界106に接触する前に達する位置及び向き、例えば、距離/時間の70パーセントにおいて到達する位置及び向きとなるように変更される。ユーザは、外科用ツール22を、100パーセントの動き全体で動かすことを予期して外科用ツール22を把持することによって、動きが70パーセントで、すなわち、変更された位置及び向きまでのみで止まったとき、物理的壁に遭遇したのと同様に触覚フィードバックを体験することになる。このため、外科用ツール22が取り付けられたマニピュレータ56は、触覚フィードバックをユーザに伝達する触覚デバイスとみなされる。
別の実施形態において、フィードバック生成器122は、仮想視線境界106を越えて外科用ツール22(仮想剛体としてモデル化される)が望ましくない形で進まないようにするために外科用ツール22に加えられるフィードバック力を決定する。フィードバック生成器122は、フィードバック力を、外科用ツール22に加えられる境界制約力として決定する。より詳細には、フィードバック生成器は、時間(t)において外科用ツール22に加えられる場合に、仮想視線境界106に対し垂直でかつ仮想視線境界106に向かう方向への外科用ツール22の前進を止めるスカラフィードバック力FBNDRを決定する。フィードバック生成器122は、力FBNDRの大きさを決定する複数の異なる方法のうちの任意の1つを用いることができる。例えば、その開示が引用することにより本明細書の一部をなすものとする、「Surgical Manipulator Capable of Controlling a Surgical Instrument in Multiple Modes」と題する米国特許第9,119,655号明細書に記載されているように、インパルス法を用いることができる。
そして、力FBNDRを計上するように最終指令姿勢及び最終指令速度を計算する。仮想視線境界106に接触することを防ぐために外科用ツール22の動きを70パーセントで単に止めるのではなく、この方法は、インパルス力によって、仮想視線境界106に垂直な動きの成分のみを止める。このため、仮想視線境界106に沿った動きは、時間フレーム全体にわたって継続し、ユーザに対し、急な停止ではなく、より自然な触覚フィードバックを提供することができる。
最後に、衝突検出器120からの最終指令姿勢がマニピュレータコントローラ54の逆運動学モジュール(図示せず)に適用される。逆運動学モジュールは、マニピュレータコントローラ54によって実行される運動制御モジュールである。指令姿勢及び予めロードされたデータに基づいて、逆運動学モジュールは、マニピュレータ56の関節の所望の関節角度を決定する。予めロードされたデータは、連結部58及び関節の形状を定義するデータである。いくつかの変形形態において、これらのデータはデナビット−ハーテンバーグ・パラメータ(Denavit-Hartenberg parameters)の形態をとる。
上記で論考したように、外科手術が開始する前に、トラッカ44、46、48の各々がローカライザ34の視野内に配置される。視線遮断を低減するように動作するナビゲーションシステム20は、トラッカ44、46、48を視野内に維持するようにも動作する。特に、ナビゲーションシステム20は、外科手術中にトラッカ44、46、48の動きを追跡し、トラッカ44、46、48のいずれかが、ローカライザ34の視野の外側に動くリスクを課す場合、ユーザにフィードバックを生成することによって、手術中に、すなわち外科手術中にトラッカ44、46、48を視野内に維持するように動作する。
ローカライザ34の視野が図6の上面図及び側面図から示される。仮想境界生成器104は、ローカライザ34の視野に基づいて仮想視野境界113も生成する。仮想視野境界113は、トラッカ44、46、48からの信号を、トラッカ44、46、48の位置及び/又は向きを求める目的でローカライザ34によって受信することができる空間のボリュームの輪郭を描く。換言すれば、各トラッカ44、46、48の少なくとも3つのLED50からの信号は、ローカライザ34の光センサ40の各々によって受信することができる。
いくつかの実施形態において、図7に示すように、仮想視野境界113は円錐台形である。他の実施形態では、仮想視野境界113は、円筒形又は球形である。他の形状も可能である。図7に示す仮想視野境界113は、ローカライザ34から遠位端まで外側に拡散して延びる。仮想視野境界113は、以下で更に説明するように、ローカライザ34の実際の視野を越えて動くことなく衝突を検出するために、トラッカ44、46、48を表す仮想物体44’、46’、48’が、仮想視野境界113に僅かに入り込むことができるように超過サイズにすることができる。
仮想視野境界113は、外科手術中に固定されたままであることを意図しており、外科手術中にローカライザ34が動かされる場合、調節を必要とする場合がある。この場合、仮想境界生成器104は、外科手術中のそのような動きを計上するように仮想視野境界113を更新する。
仮想境界生成器104は、仮想視野境界113を画定するマップを生成する。仮想境界生成器104への入力は、ローカライザ座標系LCLZにおけるローカライザ34の位置及び向き、すなわち、製造中に確立され(例えば、CMMによって測定され)、カメラユニット36又はナビゲーションコンピュータ26内のメモリに記憶されるローカライザ座標系LCLZにおける光位置センサ40のロケーション/構成を含む。このローカライザ姿勢データから、仮想視野境界113の位置及び向きを確立することができる。仮想視野境界113は、製造中に確立し、カメラユニット36又はナビゲーションコンピュータ26内のメモリに記憶することもできる。仮想視野境界113のサイズ及び形状は、外科手術の前に予め画定され、ローカライザ34に対して位置を固定される。仮想視野境界113のサイズ及び形状に関連付けられたデータは、ナビゲーションプロセッサ52によって取り出すために、カメラユニット36及び/又はナビゲーションコンピュータ26上のメモリに記憶される。上記のデータに基づいて、及び命令を通じて、仮想境界生成器104は、ローカライザ座標系LCLZ内に仮想視野境界113を画定するマップを生成する。
いくつかの実施形態では、仮想境界生成器104は、多角面、スプライン又は代数曲面(パラメトリック曲面を含む)として仮想視野境界113を生成する。1つのより具体的な変形形態では、面は三角形メッシュとして表される。各多角形の角は、ローカライザ座標系LCLZ内の点によって定義される。メッシュの一部分を定義する個々の領域セクションは、タイルと呼ばれる。仮想視野境界113は、ボクセルベースのモデルを用いて3Dボリュームとして表すこともできる。
衝突検出器120は、仮想視野境界113に対する骨トラッカ及びツールトラッカ仮想物体44’、46’、48’の動きを評価して、仮想物体44’、46’、48’と仮想視野境界113(効果的には、仮想物体でもある)との間の衝突を検出する。より詳細には、衝突検出器120は、仮想物体44’、46’、48’を表す形状モデルと、仮想視野境界113を表す形状モデルとの間の衝突を検出する。衝突検出は、実際の仮想衝突を検出すること、又はそれらが生じる前に仮想衝突を予測することを含む。
衝突検出器120によって行われる追跡の目的は、トラッカ44、46、48がローカライザ34の視野の外側に動くことを防ぐことである。衝突検出器120への第1の入力は、ローカライザ34の視野内で追跡されている仮想物体44’、46’、48’の各々のマップである。衝突検出器120への第2の入力は、仮想視野境界113のマップである。
衝突検出器120は、仮想物体44’、46’、48’と仮想視野境界113との間の衝突を検出するための任意の従来のアルゴリズムを用いることができる。例えば、2つのパラメトリック曲面の交差部を求めるための適切な技法は、細分化法、格子法、追跡法、及び解析法を含む。引用することにより本明細書の一部をなすものとする、米国特許第5,548,694号明細書に記載されているように、ボクセルベースの仮想物体の場合、衝突検出は、任意の2つのボクセルがローカライザ座標系LCLZにおいて重複しているときを検出することによって実行することができる。
フィードバック生成器122は、仮想物体44’、46’、48’のうちの任意のものと仮想視野境界113との間の衝突の検出に応答する。フィードバック生成器122は、可聴フィードバック、視覚フィードバック、振動フィードバック又は触覚フィードバックのうちの1つ以上を含む1つ以上の形態のフィードバックをユーザに提供することによって、衝突の検出に応答する。
1つの実施形態では、フィードバック生成器122は、衝突に応答して可聴アラートをユーザに生成するアナンシエータ124を起動させる。
フィードバック生成器122は、ディスプレイ28、29に、衝突を表す画像を表示させることもでき、それによって、ユーザは、(衝突が予測された場合に)衝突をどのように回避するかを決定し、(衝突が既に生じている場合に)衝突を逆転することができる。衝突は、関与するトラッカが仮想視野境界113と衝突するか又は衝突しようとしている場所のグラフィック表現を示すことによって表すことができる。「大腿骨トラッカ」等の、関与する特定のトラッカ44、46又は48のテキスト記述もディスプレイ28、29上に表示することができる。
いくつかの実施形態では、仮想物体を用いて追跡されるローカライザ34の視野内の全てのトラッカ44、46、48は、ディスプレイ28、29上に表すことができる。この場合、衝突は、色分けを用いて示すことができる。例えば、影響を受けているトラッカ44、46又は48を色分けすることができ、それによって、視覚的に、いずれのトラッカが視野の外側に動くことになるのかをユーザが迅速に理解し、ユーザは直観的にそのような動きを回避することができる。さらに、ディスプレイ上に矢印を図式的に示して、トラッカが視野内に留まるために動かされるべき方向を示すことができる。これらの矢印は、上記で説明したように、衝突検出器120によって求められたフィードバック力の方向に基づいて生成することができる。
図11を参照すると、フィードバック生成器122は、衝突の検出に応答して、ディスプレイ28、29に、患者の特定の解剖学的組織を再位置決めすることの命令を含むメッセージをユーザに対し表示させることもできる。特定の解剖学的組織は、視野の外側に動こうとしている骨トラッカ44、46が取り付けられる解剖学的組織を含みうる。例えば、脛骨T上の骨トラッカ46がローカライザ34の視野の外側に動こうとしている場合、ナビゲーションプロセッサ52は、ディスプレイ28、29に、「脛骨を動かせ」というメッセージをユーザに対し表示させることができる。特定のメッセージは、あり得る衝突の特定のシナリオに関連付けられたメッセージのルックアップテーブルに記憶することができる。この例において、このメッセージは、骨トラッカ仮想物体46’が仮想視野境界113と衝突したシナリオでルックアップテーブル内に位置する。衝突を回避又は逆転するためにとる方向を定義する回避ベクトル又は反発ベクトルに基づいた、より詳細な命令も可能である。命令は、矢印Bをディスプレイ28、29に更に表示するか又は点滅させて「脛骨を動かせ」と命令することとすることができ、矢印Bは、回避ベクトル又は反発ベクトルの方向にある。
フィードバック生成器122は、ディスプレイ28、29に、衝突の検出に応答してローカライザ34を再位置決めすることの命令を含むメッセージをユーザに対し表示させることもできる。例えば、骨トラッカ又はツールトラッカ仮想物体44’、46’、48’のうちの1つが仮想視線境界113と衝突したことがわかった場合、ナビゲーションプロセッサ52は、ディスプレイ28、29に、「カメラユニットを動かせ」というメッセージをユーザに対し表示させることができる。特定のメッセージは、あり得る衝突の特定のシナリオに関連付けられたメッセージのルックアップテーブルに記憶することができる。この例において、このメッセージは、骨トラッカ又はツールトラッカ仮想物体44’、46’、48’のうちの1つが仮想視線境界113と衝突したシナリオでルックアップテーブル内に配置される。
フィードバック生成器122は、ディスプレイ28、29に、衝突の検出に応答してマニピュレータ56を再位置決めする命令を含むメッセージをユーザに対し表示させることもできる。例えば、ツールトラッカ仮想物体48’が仮想視野境界113と衝突したことがわかった場合、ナビゲーションプロセッサ52は、ディスプレイ28、29に、「マニピュレータを動かせ」というメッセージをユーザに対し表示させることができる。特定のメッセージは、あり得る衝突の特定のシナリオに関連付けられたメッセージのルックアップテーブルに記憶することができる。この例において、このメッセージは、ツールトラッカ仮想物体48’が仮想視野境界113と衝突したシナリオでルックアップテーブル内に配置される。このフィードバックが用いられる場合がある1つの理由は、外科用ツール22を、衝突を回避するように他の形で操作することができない状況にある。さらに、マニピュレータ56は、運動の範囲が限られており、マニピュレータ56がその限られた範囲の所定の閾値内にある場合、このメッセージは、衝突を回避するために、外科手術中に更なる運動範囲を回復するのに必要とされる場合がある。
さらに、フィードバック生成器122は、振動の形態で、ユーザに振動フィードバックを体験させることができる。例えば、ユーザが外科用ツール22を手動モードで位置決めしているとき、手動モードではユーザは外科用ツール22のハンドルを把持しており、ツールトラッカ仮想物体48’が仮想視野境界113と衝突しているか又は衝突しようとしている場合、振動デバイス126を作動させることができる。振動フィードバックは、ツールトラッカ48が、ローカライザ34の視野の外側に動きつつある場合があることをユーザに示し、それによってユーザが更なる運動を止め、ツールトラッカ48が視野の外側に進行するのを防ぐことを可能にする。そして、ユーザは代替的なコースを決定することができる。
1つの実施形態において、フィードバック生成器122は、衝突を回避するか又は衝突に反発するフィードバック力で衝突に応答することによって、ユーザに触覚フィードバックを与える。フィードバック力は、衝突検出器120によって決定される。フィードバック力は、x軸、y軸及びz軸に沿った最大で3つの力の成分と、これらの軸の周りの3つのトルクの成分とを含む力及び/又はトルク成分を有することがある。
1つの例において、フィードバック生成器122は、マニピュレータ56が手動モードで動作しているとき、外科用ツール22を通じてユーザに触覚フィードバックを提供する。これは、マニピュレータ56が、ツールトラッカ仮想物体48’を仮想視野境界113内に位置決めすることを防ぎ、それによって視野の外側へのツールトラッカ48の移動を回避する。1つの実施形態において、衝突検出器120は、マニピュレータ56が外科用ツール22を指令姿勢に動かす場合に、ただしマニピュレータコントローラ54が実際に外科用ツール22を指令姿勢に動かす前に、仮想衝突が生じるか否かを予測することによって衝突を検出する。仮想衝突が予測される場合、マニピュレータ56は、外科用ツール22を、変更された指令姿勢に動かして衝突を回避するように制御される。
いくつかの実施形態では、マニピュレータ56は受動マニピュレータである。この場合、触覚フィードバックは、仮想衝突が生じた後にユーザにフィードバックを提供し、仮想視野境界113内にツールトラッカ仮想物体48’が更に入り込むことを防ぐか、又は衝突を逆転する。このため、衝突検出は、実際の仮想衝突又は予測仮想衝突に応答することができる。このため、フィードバック生成器122は、外科用ツール22の手動モード位置決めが、ツールトラッカ仮想物体48’が仮想視野境界113内に留まるか、又は仮想視野境界113内に或る程度までしか入り込まないように制御されることを確実にし、ツールトラッカ48が、ローカライザ34の視野の外側に動くことを防ぐ。
仮想視野境界113がメッシュ等の多角面によって表されるとき、衝突検出器120は、ツール仮想物体22’及び図10に関して上記で説明したのと同様にして衝突を検出することができる。
フィードバック生成器122は、上記で説明したのと同様にして、仮想視野境界113を越えてツールトラッカ48が望ましくない形で進まないようにするために外科用ツール22に適用されるフィードバック力を決定することもできる。この場合、ツールトラッカ仮想物体48’は、ツール仮想物体22’に対して固定される。このため、上記で説明したように、ツールトラッカ仮想物体48’の動きは、外科用ツール22及びその仮想物体22’の動きを制御することによって制御される。
外科手術における材料除去システム10の動作中、ナビゲーションシステム20は、仮想物体44’、46’、48’、22’に関連付けられた物理的物体のうちのいずれかが、トラッカ44、46、48のうちの1つとローカライザ34との間に視線遮断を生じるリスクを課すか否かを判断する目的で、これらの仮想物体44’、46’、48’、22’の各々の位置及び向きを継続的に追跡する。また、ナビゲーションシステム20は、仮想物体44’、46’、48’に関連付けられたトラッカ44、46、48のうちのいずれかが、ローカライザ34の視野の外側に動くリスクを課すか否かを判断する目的で、これらの仮想物体44’、46’、48’の各々の位置及び向きを連続して追跡する。目的は、追跡中断を低減し、マニピュレータ56の動作が、視線を見失うか又は視野の外側に動くことによって生じる不要な遅延を伴うことなく継続することができるようにすることである。1つの例示的な方法が以下で概説される。
図12のフローチャートを参照すると、ステップ200において、ナビゲーションシステム20が、最初に、ローカライザ34の視野内の追跡デバイス44、46、48の各々を検出する。追跡デバイス44、46、48が検出されると、ステップ202において、仮想境界生成器104は、追跡デバイス44、46、48とローカライザ34との間の視線関係に基づいて、仮想視線境界106、108、110を生成する。仮想境界生成器104は、ローカライザ34の視野に基づいて仮想視野境界113も生成する。
外科手術は、初期仮想境界106、108、110、113が生成されると、ステップ204において開始する。
ステップ206において、外科手術中のトラッカ44、46、48とローカライザ34との間の相対的な動きを計上するように仮想視線境界106、108、110が更新される。
仮想物体44’、46’、48’、22’は、手術前に、ローカライザ34の視野内で追跡される物理的物体に関連付けられる。これらは、視線遮断を生じる脅威を与える物理的物体である。さらに、骨トラッカ及びツールトラッカ仮想物体44’、46’、48’は、ローカライザ34の視野内に保持されるトラッカ44、46、48に関連付けられる。
そして、仮想物体44’、46’、48’、22’が生成され、ナビゲーションコンピュータ26若しくはマニピュレータコントローラ54又はその双方においてメモリに記憶され、それらのパラメータは、それらの関連付けられたトラッカ44、46、48の特定の座標系に対し定義される。例えば、大腿骨Fに取り付けられた骨トラッカ44の構造を表す骨トラッカ仮想物体44’が、手術前に生成され、骨トラッカ座標系BTRK1にマッピングされ、それによって、ローカライザ34は、骨トラッカ44を追跡することによって骨トラッカ仮想物体44’を追跡し、そして、骨トラッカ仮想物体44’を定義するパラメータをローカライザ座標系LCLZに変換する。
衝突検出器120は、ステップ208において、仮想物体44’、46’、48’、22’と仮想境界106、108、110、113との間の相対的な動きを評価する。仮想物体44’、46’、48’、22’の動きを評価することは、仮想境界106、108、110、113の位置及び向きに対して仮想物体44’、46’、48’、22’の各々の位置及び向きを追跡して、仮想物体44’、46’、48’、22’と仮想境界106、108、110、113との間の衝突の検出を容易にすることを含みうる。
判定ブロック210は、衝突検出器120が仮想物体44’、46’、48’、22’のうちの1つ以上と、仮想境界106、108、110、113のうちの1つ以上との間の衝突(実際の仮想衝突又は予測仮想衝突)を検出したか否かを判断する。衝突が検出されない場合、プロセスは、外科手術が完了したか否かを判断する判定ブロック214に進む。外科手術がまだ完了していない場合、プロセスはステップ206にループバックし、仮想視線境界106、108、110の位置及び/又は向きが更新される(ローカライザ34が動かされた場合、仮想視野境界113が更新される)。外科手術が完了した場合、衝突検出が終了する。
判定ブロック210を再び参照し、衝突が検出される場合、ステップ212においてフィードバックが生成される。上記で説明したように、フィードバックは、可聴フィードバック、視覚フィードバック、振動フィードバック又は触覚フィードバックのうちの1つ以上の形態をとる。特に、フィードバック生成器122は、ナビゲーションプロセッサ52又はマニピュレータコントローラ54に、アナウンシエータ124を起動し、ディスプレイ28、29を操作し、振動デバイス126を起動し、及び/又はマニピュレータ56を通じて触覚フィードバックを生成するように命令する。
フィードバックが生成されると、ナビゲーションプロセッサ52又はマニピュレータコントローラ54は、判定ブロック214において、外科手術が完了したか否かを判断する。完了した場合、手順は終了する。完了していない場合、プロセスは、ステップ206に再びループし、外科手術が完了するまで繰り返す。ステップ206における仮想視線境界106、108、110に対する後続の更新間のプロセスループは、指令位置がマニピュレータ56のために生成される時間フレームごとに、又はローカライザ34がトラッカ44、46、48の新たな位置及び/又は向きを検出する度に行うことができる。
いくつかの実施形態を上記の説明で論じてきた。しかし、本明細書において記載された実施形態は、網羅的であるか又は本発明を任意の特定の形態に限定することを意図していない。使用された用語は、制限的であるのではなく、記述的な用語(words of description)の性質内にあることを意図される。多くの変更及び変形が、上記教示を考慮して可能であり、本発明は、具体的に述べられる以外の方法により実施することができる。
[条項1]
仮想空間において仮想物体として定義される物理的物体によって生じる追跡中断を低減するナビゲーションシステムであって、
視野を有するローカライザと、
ローカライザの視野内に配置し、ローカライザが追跡デバイスとの視線関係を確立することができるようにする追跡デバイスと、
追跡デバイスとローカライザとの間の視線関係に基づいて仮想視線境界を生成するように構成され、追跡デバイスとローカライザとの間の相対的な動きを計上するように仮想視線境界を更新するように構成された仮想境界生成器と、
仮想視線境界に対する仮想物体の動きを評価して、仮想物体と仮想視線境界との間の衝突を検出し、物理的物体が追跡デバイスとローカライザとの間で視線を遮断することを防ぐ応答を可能にするように構成された衝突検出器と
を備えてなる、ナビゲーションシステム。
[条項2]
仮想物体と仮想視線境界との間の衝突の検出に応答してフィードバックを生成し、物理的物体が追跡デバイスとローカライザとの間で視線を遮断することを防ぐ、仮想境界生成器と通信するフィードバック生成器を含む、条項1に記載のシステム。
[条項3]
フィードバック生成器と通信して、可聴フィードバック、視覚フィードバック、振動フィードバック又は触覚フィードバックのうちの少なくとも1つを生成するフィードバックデバイスを備える、条項2に記載のシステム。
[条項4]
フィードバック生成器と通信して、物理的物体を振動させるように構成された振動デバイスを備える、条項2又は3に記載のシステム。
[条項5]
フィードバック生成器と通信して、物理的物体の動きを制御するように構成された触覚デバイスを備える、条項2〜4のいずれかに記載のシステム。
[条項6]
触覚デバイスは、ツールの動きを制約することによってツールの動きを制御するように構成される、条項5に記載のシステム。
[条項7]
フィードバック生成器と通信して、触覚デバイスを再位置決めすることの命令を生成するように構成されたフィードバックデバイスを備える、条項5又は6に記載のシステム。
[条項8]
フィードバック生成器と通信して、ユーザに対し、患者の解剖学的組織を再位置決めすることの命令を生成するように構成されたフィードバックデバイスを備える、条項2〜7のいずれかに記載のシステム。
[条項9]
フィードバック生成器と通信して、ローカライザを再位置決めすることの命令を生成するように構成されたフィードバックデバイスを備える、条項2〜8のいずれかに記載のシステム。
[条項10]
衝突検出器は、衝突を予測することによって衝突を検出するように構成される、条項1〜9のいずれかに記載のシステム。
[条項11]
ローカライザは、追跡デバイスの1つ以上のマーカから光を検知するための1つ以上の光センサを備える、条項1〜10のいずれかに記載のシステム。
[条項12]
衝突検出器は、仮想視線境界の位置及び向きに対する仮想物体の位置及び向きを追跡するように構成される、条項1〜11のいずれかに記載のシステム。
[条項13]
仮想境界生成器は、物理的物体が入ることを制限される空間の輪郭を描く形状を有する境界仮想物体を生成し、追跡デバイスからの光が、物理的物体による遮断なしでローカライザに送達されることができるようにすることによって、仮想視線境界を生成するように構成される、条項1〜12のいずれかに記載のシステム。
[条項14]
仮想境界生成器は、追跡デバイスの位置及び向きと、ローカライザの位置及び向きとに基づいて境界仮想物体を生成することによって、仮想視線境界を生成するように構成される、条項1〜13のいずれかに記載のシステム。
[条項15]
仮想視線境界は、円筒形又は円錐台形のうちの少なくとも1つである、条項1〜14のいずれかに記載のシステム。
[条項16]
仮想視線境界は1つ以上の直線を含む、条項1〜15のいずれかに記載のシステム。
[条項17]
仮想境界生成器は、追跡デバイスの新たな位置及び向きが決定される度に、追跡デバイスとローカライザとの間の相対的な動きを計上するように仮想視線境界を更新するように構成される、条項1〜16のいずれかに記載のシステム。
[条項18]
仮想境界生成器は、0.1ミリ秒〜2ミリ秒ごとに、追跡デバイスとローカライザとの間の相対的な動きを計上するように仮想視線境界を更新するように構成される、条項1〜17のいずれかに記載のシステム。
[条項19]
第2の追跡デバイスを備え、仮想境界生成器は、第2の追跡デバイスとローカライザとの間の視線関係に基づいて第2の仮想視線境界を生成するように構成される、条項1〜18のいずれかに記載のシステム。
[条項20]
仮想境界生成器は、第2の追跡デバイスとローカライザとの間の相対的な動きを計上するように第2の仮想視線境界を更新するように構成される、条項19に記載のシステム。
[条項21]
衝突検出器は、仮想物体と第2の仮想視線境界との間の相対的な動きを評価するように構成される、条項19又は20に記載のシステム。
[条項22]
衝突検出器は、仮想物体と第2の仮想視線境界との間の衝突を検出して、物理的物体が第2の追跡デバイスとローカライザとの間で視線を遮断することを防ぐ応答を可能にする、条項19、20又は21に記載のシステム。
[条項23]
物理的物体は、ツール又は人物の少なくとも一部分である、条項1〜22のいずれかに記載のシステム。
[条項24]
追跡デバイスと、ナビゲーションシステムのローカライザとの間の追跡中断を低減する方法であって、
ローカライザの視野内の追跡デバイスを検出するステップと、
ローカライザの視野に基づいて仮想視野境界を生成するステップと、
仮想物体を追跡デバイスに関連付けるステップと、
仮想視野境界に対する仮想物体の動きを追跡するステップと、
追跡しながら仮想物体と仮想視野境界との間の衝突を検出し、追跡デバイスがローカライザの視野の外側に動くことを防ぐ応答を可能にするステップと、
を含む、方法。
[条項25]
衝突の検出に応答してフィードバックを生成するステップを含む、条項24に記載の方法。
[条項26]
フィードバックを生成するステップは、可聴フィードバック、視覚フィードバック、振動フィードバック又は触覚フィードバックのうちの少なくとも1つを生成することを含む、条項25に記載の方法。
[条項27]
フィードバックを生成するステップは、物理的物体を振動させることを含む、条項25又は26に記載の方法。
[条項28]
フィードバックを生成するステップは、追跡デバイスの動きを制御することを含み、追跡デバイスは触覚デバイスに取り付けられる、条項25、26又は27のいずれかに記載の方法。
[条項29]
追跡デバイスの動きを制御することは、触覚デバイスを用いて追跡デバイスの動きを制約することを含む、条項28に記載の方法。
[条項30]
触覚デバイスを再位置決めすることの命令を生成するステップを含む、条項28又は29に記載の方法。
[条項31]
フィードバックを生成するステップは、ユーザに対し、患者の解剖学的組織を再位置決めすることの命令を生成することを含む、条項25〜30のいずれかに記載の方法。
[条項32]
フィードバックを生成するステップは、ローカライザを再位置決めすることの命令を生成することを含む、条項25〜31のいずれかに記載の方法。
[条項33]
衝突を検出することは、衝突を予測することとして更に定義される、条項24〜32のいずれかに記載の方法。
[条項34]
ローカライザの視野内で追跡デバイスを検出するステップは、ローカライザの1つ以上の光センサを用いて追跡デバイスの1つ以上のマーカから光を検知することを含む、条項24〜33のいずれかに記載の方法。
[条項35]
仮想視野境界に対する仮想物体の動きを追跡するステップは、仮想視野境界の位置及び向きに対して仮想物体の位置及び向きを追跡することを含む、条項24〜34のいずれかに記載の方法。
[条項36]
仮想視野境界を生成するステップは、追跡デバイスが出ることを制約される空間の輪郭を描く形状を有する境界仮想物体を生成し、追跡デバイスからの光がローカライザに送達されることができるようにすることを含む、条項24〜35のいずれかに記載の方法。
[条項37]
仮想視野境界を生成するステップは、ローカライザの位置及び向きに基づいて境界仮想物体を生成することを含む、条項24〜36のいずれかに記載の方法。
[条項38]
仮想視野境界は、円筒形、球形又は円錐台形のうちの少なくとも1つである、条項24〜37のいずれかに記載の方法。
[条項39]
追跡中断を低減するためのナビゲーションシステムであって、
視野を有するローカライザと、
ローカライザの視野内に配置し、ローカライザが追跡デバイスからの信号を受信することができるようにする追跡デバイスであって、仮想物体が関連付けられた、追跡デバイスと、
ローカライザの視野に基づいて仮想視野境界を生成する仮想境界生成器と、
仮想視野境界に対する仮想物体の動きを評価して、仮想物体と仮想視線境界との間の衝突を検出し、追跡デバイスがローカライザの視野の外側に動くことを防ぐ応答を可能にするように構成された衝突検出器と
を備えてなる、ナビゲーションシステム。
[条項40]
仮想境界生成器と通信して、仮想物体と仮想視野境界との間の衝突の検出に応答してフィードバックを生成するフィードバック生成器を含む、条項39に記載の方法。
[条項41]
フィードバック生成器と通信して、可聴フィードバック、視覚フィードバック、振動フィードバック又は触覚フィードバックのうちの少なくとも1つを生成するフィードバックデバイスを備える、条項40に記載のシステム。
[条項42]
フィードバック生成器と通信し、物理的物体を振動させるように構成された振動デバイスを備える、条項39又は40に記載のシステム。
[条項43]
フィードバック生成器と通信し、追跡デバイスの動きを制御するように構成された触覚デバイスを備え、追跡デバイスは触覚デバイスに取り付けられる、条項39、40又は41に記載のシステム。
[条項44]
触覚デバイスは、追跡デバイスの動きを制約することによって、追跡デバイスの動きを制御するように構成される、条項43に記載のシステム。
[条項45]
フィードバック生成器と通信し、触覚デバイスを再位置決めすることの命令を生成するように構成されたフィードバックデバイスを備える、条項43又は44に記載のシステム。
[条項46]
フィードバック生成器と通信し、ユーザに対し、患者の解剖学的組織を再位置決めすることの命令を生成するように構成されたフィードバックデバイスを備える、条項40〜45のいずれかに記載のシステム。
[条項47]
フィードバック生成器と通信し、ローカライザを再位置決めするための命令を生成するように構成されたフィードバックデバイスを備える、条項40〜46のいずれかに記載のシステム。
[条項48]
衝突検出器は、衝突を予測することによって衝突を検出するように構成される、条項39〜47のいずれかに記載のシステム。
[条項49]
ローカライザは、追跡デバイスの1つ以上のマーカから光を検知するための1つ以上の光センサを含む、条項39〜48のいずれかに記載のシステム。
[条項50]
衝突検出器は、仮想視野境界の位置及び向きに対する仮想物体の位置及び向きを追跡するように構成される、条項39〜49のいずれかに記載のシステム。
[条項51]
仮想境界生成器は、追跡デバイスが出ることを制約される空間の輪郭を描く形状を有する境界仮想物体を生成し、追跡デバイスからの光がローカライザに送達されることができるようにすることによって、仮想視野境界を生成するように構成される、条項39〜50のいずれかに記載のシステム。
[条項52]
仮想境界生成器は、ローカライザの位置及び向きに基づいて境界仮想物体を生成することによって、仮想視野境界を生成するように構成される、条項39〜51のいずれかに記載のシステム。
[条項53]
仮想視野境界は、円筒形、球形又は円錐台形のうちの少なくとも1つである、条項39〜52のいずれかに記載のシステム。

Claims (26)

  1. 追跡デバイスと、ナビゲーションシステムのローカライザとの間の追跡中断を低減する方法であって、
    前記ローカライザの視野内の前記追跡デバイスを検出するステップと、
    前記追跡デバイスと前記ローカライザとの間の視線関係に基づいて仮想視線境界を生成するステップと、
    前記追跡デバイスと前記ローカライザとの間の相対的な動きを計上するように前記仮想視線境界を更新するステップと、
    仮想物体と前記仮想視線境界との間の相対的な動きを評価するステップであって、前記仮想物体は、前記ローカライザの前記視野において物理的物体に関連付けられる、ステップと、
    前記仮想物体と前記仮想視線境界との間の衝突を検出し、前記物理的物体が前記追跡デバイスと前記ローカライザとの間で前記視線を遮断することを防ぐ応答を可能にするステップと
    を含んでなる方法。
  2. 前記衝突の検出に応答してフィードバックを生成するステップを含む、請求項1に記載の方法。
  3. 前記フィードバックを生成するステップは、可聴フィードバック、視覚フィードバック、振動フィードバック又は触覚フィードバックのうちの少なくとも1つを生成することを含む、請求項2に記載の方法。
  4. 前記フィードバックを生成するステップは、前記物理的物体を振動させることを含む、請求項2又は3に記載の方法。
  5. 前記フィードバックを生成するステップは、前記物理的物体の動きを制御することを含む、請求項2、3又は4に記載の方法。
  6. 前記物理的物体の動きを制御することは、触覚デバイスを用いてツールの動きを制約することを含む、請求項5に記載の方法。
  7. 前記触覚デバイスを再位置決めする命令を生成するステップを含む、請求項6に記載の方法。
  8. 前記フィードバックを生成するステップは、ユーザに対し、患者の解剖学的組織を再位置決めすることの命令を生成することを含む、請求項2〜7のいずれか1項に記載の方法。
  9. 前記フィードバックを生成するステップは、前記ローカライザを再位置決めすることの命令を生成することを含む、請求項2〜8のいずれか1項に記載の方法。
  10. 前記衝突を検出することは、前記衝突を予測することとして更に定義される、請求項1〜9のいずれか1項に記載の方法。
  11. 前記ローカライザの前記視野内で前記追跡デバイスを検出するステップは、前記ローカライザの1つ以上の光センサを用いて前記追跡デバイスの1つ以上のマーカから光を検知することを含む、請求項1〜10のいずれか1項に記載の方法。
  12. 前記仮想物体と前記仮想視線境界との間の前記相対的な動きを評価するステップは、前記仮想視線境界の位置及び向きに対する前記仮想物体の位置及び向きを追跡することを含む、請求項1〜11のいずれか1項に記載の方法。
  13. 前記仮想視線境界を生成するステップは、前記物理的物体が入ることを制限される空間の輪郭を描く形状を有する境界仮想物体を生成し、前記追跡デバイスからの光が、前記物理的物体による遮断なしで前記ローカライザに送達されることができるようにすることを含む、請求項1〜12のいずれか1項に記載の方法。
  14. 前記仮想視線境界を生成するステップは、前記追跡デバイスの位置及び向きと、前記ローカライザの位置及び向きとに基づいて境界仮想物体を生成することを含む、請求項1〜13のいずれか1項に記載の方法。
  15. 前記仮想視線境界は、円筒形、球形又は円錐台形のうちの少なくとも1つである、請求項1〜14のいずれか1項に記載の方法。
  16. 前記仮想視線境界は1つ以上の直線を含むものである、請求項1〜15のいずれか1項に記載の方法。
  17. 前記追跡デバイスと前記ローカライザとの間の相対的な動きを計上するように前記仮想視線境界を更新するステップは、前記追跡デバイスの新たな位置及び向きが決定される度に実行される、請求項1〜16のいずれか1項に記載の方法。
  18. 前記追跡デバイスと前記ローカライザとの間の相対的な動きを計上するように前記仮想視線境界を更新するステップは、0.1ミリ秒〜2ミリ秒ごとに実行される、請求項1〜17のいずれか1項に記載の方法。
  19. 第2の追跡デバイスと前記ローカライザとの間の視線関係に基づいて第2の仮想視線境界を生成するステップを含む、請求項1〜18のいずれか1項に記載の方法。
  20. 前記第2の追跡デバイスと前記ローカライザとの間の相対的な動きを計上するように前記第2の仮想視線境界を更新するステップを含む、請求項19に記載の方法。
  21. 前記仮想物体と前記第2の仮想視線境界との間の相対的な動きを評価することを含む、請求項19又は20に記載の方法。
  22. 前記仮想物体と前記第2の仮想視線境界との間の衝突を検出して、前記物理的物体が前記第2の追跡デバイスと前記ローカライザとの間で前記視線を遮断することを防ぐ応答を可能にすることを含む、請求項19、20又は21のいずれか1項に記載の方法。
  23. 前記物理的物体は、ツール又は人物の少なくとも一部分である、請求項1〜22のいずれか1項に記載の方法。
  24. 仮想空間において仮想物体として定義される物理的物体によって生じる追跡中断を低減するナビゲーションシステムであって、
    視野を有するローカライザと、
    前記ローカライザの前記視野内に配置した追跡デバイスであって、前記ローカライザが該追跡デバイスとの視線関係を確立することができるようにする、追跡デバイスと、
    前記追跡デバイスと前記ローカライザとの間の前記視線関係に基づいて仮想視線境界を生成するように構成され、前記追跡デバイスと前記ローカライザとの間の相対的な動きを計上するように前記仮想視線境界を更新するように構成された仮想境界生成器と、
    前記仮想視線境界に対する前記仮想物体の動きを評価して、前記仮想物体と前記仮想視線境界との間の衝突を検出し、前記物理的物体が前記追跡デバイスと前記ローカライザとの間で前記視線を遮断することを防ぐ応答を可能にするように構成された衝突検出器と
    を備えてなる、ナビゲーションシステム。
  25. 追跡デバイスと、ナビゲーションシステムのローカライザとの間の追跡中断を低減する方法であって、
    前記ローカライザの視野内の前記追跡デバイスを検出するステップと、
    前記ローカライザの前記視野に基づいて仮想視野境界を生成するステップと、
    仮想物体を前記追跡デバイスに関連付けるステップと、
    前記仮想視野境界に対する前記仮想物体の動きを追跡するステップと、
    追跡しながら前記仮想物体と前記仮想視野境界との間の衝突を検出し、前記追跡デバイスが前記ローカライザの前記視野の外側に動くことを防ぐ応答を可能にするステップと
    を含んでなる方法。
  26. 追跡中断を低減するナビゲーションシステムであって、
    視野を有するローカライザと、
    前記ローカライザの前記視野内に配置した追跡デバイスであって、前記ローカライザが該追跡デバイスからの信号を受信することができるようにする追跡デバイスであり、該追跡デバイスは仮想物体に関連付けられている、追跡デバイスと、
    前記ローカライザの前記視野に基づいて仮想視野境界を生成する仮想境界生成器と、
    前記仮想視野境界に対する前記仮想物体の動きを評価して、前記仮想物体と前記仮想視線境界との間の衝突を検出し、前記追跡デバイスが前記ローカライザの前記視野の外側に動くことを防ぐ応答を可能にするように構成された衝突検出器と
    を備えてなるナビゲーションシステム。
JP2017541250A 2015-02-25 2016-02-24 外科手術中の追跡中断を低減するナビゲーションシステム及び方法 Active JP6748088B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562120585P 2015-02-25 2015-02-25
US62/120,585 2015-02-25
PCT/US2016/019347 WO2016138124A1 (en) 2015-02-25 2016-02-24 Navigation systems and methods for reducing tracking interruptions during a surgical procedure

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020133117A Division JP6998999B2 (ja) 2015-02-25 2020-08-05 外科手術中の追跡中断を低減するナビゲーションシステム及び方法

Publications (3)

Publication Number Publication Date
JP2018506352A true JP2018506352A (ja) 2018-03-08
JP2018506352A5 JP2018506352A5 (ja) 2019-03-28
JP6748088B2 JP6748088B2 (ja) 2020-08-26

Family

ID=55527650

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2017541250A Active JP6748088B2 (ja) 2015-02-25 2016-02-24 外科手術中の追跡中断を低減するナビゲーションシステム及び方法
JP2020133117A Active JP6998999B2 (ja) 2015-02-25 2020-08-05 外科手術中の追跡中断を低減するナビゲーションシステム及び方法
JP2021206995A Active JP7344271B2 (ja) 2015-02-25 2021-12-21 外科手術中の追跡中断を低減するシステムを操作する方法
JP2023142314A Pending JP2023175727A (ja) 2015-02-25 2023-09-01 外科用ナビゲーションシステム及びその操作方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020133117A Active JP6998999B2 (ja) 2015-02-25 2020-08-05 外科手術中の追跡中断を低減するナビゲーションシステム及び方法
JP2021206995A Active JP7344271B2 (ja) 2015-02-25 2021-12-21 外科手術中の追跡中断を低減するシステムを操作する方法
JP2023142314A Pending JP2023175727A (ja) 2015-02-25 2023-09-01 外科用ナビゲーションシステム及びその操作方法

Country Status (7)

Country Link
US (3) US10660711B2 (ja)
EP (2) EP3261571B1 (ja)
JP (4) JP6748088B2 (ja)
KR (3) KR102653682B1 (ja)
CN (2) CN107205786B (ja)
AU (4) AU2016222790B2 (ja)
WO (1) WO2016138124A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021058530A (ja) * 2019-10-09 2021-04-15 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置
JP2021523787A (ja) * 2018-05-14 2021-09-09 デピュイ・アイルランド・アンリミテッド・カンパニーDepuy Ireland Unlimited Company 少なくとも1つの目標面に従って解剖学的構造を切断する外科用システム
JP2022538666A (ja) * 2019-07-03 2022-09-05 ストライカー・コーポレイション 手術ナビゲーションのための障害物回避技法

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6385275B2 (ja) 2011-09-02 2018-09-05 ストライカー・コーポレイション ハウジングから延びる切断アクセサリ及びハウジングに対する切断アクセサリの位置を確立するアクチュエータを備える手術器具
US10660711B2 (en) * 2015-02-25 2020-05-26 Mako Surgical Corp. Navigation systems and methods for reducing tracking interruptions during a surgical procedure
US10098704B2 (en) 2015-05-19 2018-10-16 Mako Surgical Corp. System and method for manipulating an anatomy
EP3342550A4 (en) * 2015-08-25 2019-08-21 Kawasaki Jukogyo Kabushiki Kaisha MANIPULATOR SYSTEM
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US10231793B2 (en) 2015-10-30 2019-03-19 Auris Health, Inc. Object removal through a percutaneous suction tube
WO2017146890A1 (en) * 2016-02-26 2017-08-31 Intuitive Surgical Operations, Inc. System and method for collision avoidance using virtual boundaries
JP7170631B2 (ja) 2016-10-05 2022-11-14 ニューヴェイジヴ,インコーポレイテッド 外科ナビゲーションシステム及び関連する方法
US11207139B2 (en) 2016-10-31 2021-12-28 Synaptive Medical Inc. 3D navigation system and methods
US11202682B2 (en) * 2016-12-16 2021-12-21 Mako Surgical Corp. Techniques for modifying tool operation in a surgical robotic system based on comparing actual and commanded states of the tool relative to a surgical site
CN111479507A (zh) * 2017-11-13 2020-07-31 皇家飞利浦有限公司 用于机器人导航的自主x射线控制
US11071595B2 (en) * 2017-12-14 2021-07-27 Verb Surgical Inc. Multi-panel graphical user interface for a robotic surgical system
WO2019136039A1 (en) * 2018-01-04 2019-07-11 Covidien Lp Robotic surgical systems including torque sensors
CN108324373B (zh) * 2018-03-19 2020-11-27 南开大学 一种基于电磁定位系统的穿刺手术机器人精确定位实现方法
JP7139643B2 (ja) * 2018-03-23 2022-09-21 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
AU2019261299A1 (en) * 2018-04-23 2020-10-29 Mako Surgical Corp. System, method and software program for aiding in positioning of a camera relative to objects in a surgical environment
US10842699B2 (en) * 2018-04-27 2020-11-24 Ormonde M. Mahoney System and method for patient positioning in an automated surgery
CN112218595A (zh) 2018-05-18 2021-01-12 奥瑞斯健康公司 用于机器人使能的远程操作的系统的控制器
US11026752B2 (en) 2018-06-04 2021-06-08 Medtronic Navigation, Inc. System and method for performing and evaluating a procedure
US11510737B2 (en) 2018-06-21 2022-11-29 Mako Surgical Corp. Patella tracking
CN113016038B (zh) * 2018-10-12 2024-06-18 索尼集团公司 避免与机器人手术设备碰撞的触觉障碍
JP6895128B2 (ja) * 2018-11-09 2021-06-30 オムロン株式会社 ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム
EP3680738A1 (de) * 2019-01-14 2020-07-15 Siemens Aktiengesellschaft Kollisionsprüfung auf basis höherwertiger geometrie
US20210353381A1 (en) * 2019-01-23 2021-11-18 Sony Group Corporation Medical arm system, control device, control method, and program
EP3696740B1 (en) * 2019-02-14 2024-01-10 Braun GmbH System for assessing the usage of an envisaged manually movable consumer product
US20220338886A1 (en) 2019-06-19 2022-10-27 Think Surgical, Inc. System and method to position a tracking system field-of-view
US11369386B2 (en) 2019-06-27 2022-06-28 Auris Health, Inc. Systems and methods for a medical clip applier
EP3989863A4 (en) 2019-06-28 2023-10-11 Auris Health, Inc. MEDICAL INSTRUMENTS WITH WRISTS WITH HYBRID DIVERSION SURFACES
US11896330B2 (en) 2019-08-15 2024-02-13 Auris Health, Inc. Robotic medical system having multiple medical instruments
US11612440B2 (en) 2019-09-05 2023-03-28 Nuvasive, Inc. Surgical instrument tracking devices and related methods
EP4034349A1 (en) * 2019-09-26 2022-08-03 Auris Health, Inc. Systems and methods for collision detection and avoidance
US20220338938A1 (en) 2019-09-26 2022-10-27 Stryker Corporation Surgical Navigation Systems And Methods
US11737845B2 (en) 2019-09-30 2023-08-29 Auris Inc. Medical instrument with a capstan
US11737835B2 (en) 2019-10-29 2023-08-29 Auris Health, Inc. Braid-reinforced insulation sheath
CN113040922B (zh) * 2019-12-27 2022-06-14 重庆海扶医疗科技股份有限公司 聚焦超声手术执行机构的运动控制方法、介质、系统和设备
CN114901200A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 高级篮式驱动模式
WO2021137104A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Dynamic pulley system
AU2021241577A1 (en) 2020-03-27 2022-11-03 Mako Surgical Corp. Systems and methods for controlling robotic movement of a tool based on a virtual boundary
CN115802975A (zh) 2020-06-29 2023-03-14 奥瑞斯健康公司 用于检测连杆与外部对象之间的接触的系统和方法
US11357586B2 (en) 2020-06-30 2022-06-14 Auris Health, Inc. Systems and methods for saturated robotic movement
WO2022033670A1 (en) * 2020-08-12 2022-02-17 Brainlab Ag Determining an avoidance region for a reference device
EP4208117A1 (en) * 2020-09-02 2023-07-12 Auris Health, Inc. Robotic collision boundary determination
CN112700474A (zh) * 2020-12-31 2021-04-23 广东美的白色家电技术创新中心有限公司 碰撞检测方法、设备及计算机可读存储介质
CN112716603B (zh) * 2021-01-19 2021-11-26 威海威高骨科手术机器人有限公司 一种骨科复位定位机器人
CN113081272B (zh) * 2021-03-22 2023-02-03 珞石(北京)科技有限公司 虚拟墙引导的膝关节置换手术辅助定位系统
WO2023215822A2 (en) * 2022-05-05 2023-11-09 Virginia Commonwealth University Methods and systems for surgical training
WO2023230349A1 (en) * 2022-05-26 2023-11-30 Stryker Corporation Alert system behavior based on localization awareness

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006296760A (ja) * 2005-04-20 2006-11-02 Seventh Dimension Design:Kk 光送受信装置制御システム
JP2009537229A (ja) * 2006-05-19 2009-10-29 マコ サージカル コーポレーション 触覚デバイスを制御するための方法および装置
JP2013524952A (ja) * 2010-04-22 2013-06-20 ブルー ベルト テクノロジーズ,エル エル シー 再構成可能なナビゲートされる外科用器具のトラッキング装置
US20140200621A1 (en) * 2013-01-16 2014-07-17 Stryker Corporation Navigation Systems and Methods for Indicating and Reducing Line-of-Sight Errors
US20140276943A1 (en) * 2013-03-13 2014-09-18 Stryker Corporation Systems and Methods for Establishing Virtual Constraint Boundaries

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430643A (en) 1992-03-11 1995-07-04 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Configuration control of seven degree of freedom arms
US5548694A (en) 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
DE19817039A1 (de) * 1998-04-17 1999-10-21 Philips Patentverwaltung Anordnung für die bildgeführte Chirurgie
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US7747312B2 (en) 2000-01-04 2010-06-29 George Mason Intellectual Properties, Inc. System and method for automatic shape registration and instrument tracking
US20010034530A1 (en) 2000-01-27 2001-10-25 Malackowski Donald W. Surgery system
DE10025285A1 (de) 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
JP2004223128A (ja) 2003-01-27 2004-08-12 Hitachi Ltd 医療行為支援装置および方法
US20070018958A1 (en) 2003-10-24 2007-01-25 Tavakoli Seyed M Force reflective robotic control system and minimally invasive surgical device
JP3946711B2 (ja) 2004-06-02 2007-07-18 ファナック株式会社 ロボットシステム
JP4335160B2 (ja) 2005-03-02 2009-09-30 任天堂株式会社 衝突判定プログラムおよび衝突判定装置
US9082319B2 (en) 2006-01-24 2015-07-14 Carnegie Mellon University Method, apparatus, and system for computer-aided tracking, navigation and motion teaching
US8560047B2 (en) 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
EP1901150B1 (en) 2006-09-14 2008-10-29 Abb Research Ltd. A method and device for avoiding collisions between an industrial robot and an object
US8082064B2 (en) 2007-08-24 2011-12-20 Elite Engineering Corporation Robotic arm and control system
DE102007055205A1 (de) 2007-11-19 2009-05-20 Kuka Roboter Gmbh Verfahren zum Ermitteln eines Aufstellortes und zum Aufstellen einer Erfassungsvorrichtung eines Navigationssystems
DE502009000624D1 (de) 2008-12-17 2011-06-16 Kuka Lab Gmbh Verfahren zum abfahren einer vorgegebenen bahn durch einen manipulator, sowie steuervorrichtung zur
US8386080B2 (en) 2009-09-15 2013-02-26 Harris Corporation Robotic apparatus implementing collision avoidance scheme and associated methods
CN105193506B (zh) * 2009-10-01 2018-01-02 马科外科公司 用于安放假体组件和/或限制手术工具移动的手术系统
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
WO2012078989A1 (en) 2010-12-10 2012-06-14 Wayne State University Intelligent autonomous camera control for robotics with medical, military, and space applications
US9119655B2 (en) 2012-08-03 2015-09-01 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
US9381085B2 (en) 2011-06-23 2016-07-05 Stryker Corporation Prosthetic implant and method of implantation
JP6385275B2 (ja) 2011-09-02 2018-09-05 ストライカー・コーポレイション ハウジングから延びる切断アクセサリ及びハウジングに対する切断アクセサリの位置を確立するアクチュエータを備える手術器具
US9770828B2 (en) 2011-09-28 2017-09-26 The Johns Hopkins University Teleoperative-cooperative robotic system
WO2013101273A1 (en) * 2011-12-30 2013-07-04 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for detection and avoidance of collisions of robotically-controlled medical devices
CN107595392B (zh) 2012-06-01 2020-11-27 直观外科手术操作公司 使用零空间回避操纵器臂与患者碰撞
WO2013192598A1 (en) 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US9694497B2 (en) 2012-07-10 2017-07-04 Siemens Aktiengesellschaft Robot arrangement and method for controlling a robot
WO2014028558A1 (en) 2012-08-15 2014-02-20 Intuitive Surgical Operations, Inc. Phantom degrees of freedom for manipulating the movement of surgical systems
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
US10028788B2 (en) 2012-12-31 2018-07-24 Mako Surgical Corp. System for image-based robotic surgery
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
WO2014139022A1 (en) 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Systems and methods for navigation and simulation of minimally invasive therapy
US9827054B2 (en) 2014-03-14 2017-11-28 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
JP2014180720A (ja) 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法
WO2015120008A1 (en) 2014-02-05 2015-08-13 Intuitive Surgical Operations, Inc. System and method for dynamic virtual collision objects
US10335116B2 (en) 2014-04-17 2019-07-02 The Johns Hopkins University Robot assisted ultrasound system
US10105186B2 (en) 2014-06-09 2018-10-23 The Johns Hopkins University Virtual rigid body optical tracking system and method
US10441366B2 (en) 2014-10-22 2019-10-15 Think Surgical, Inc. Actively controlled optical tracker with a robot
EP3185811A4 (en) 2014-11-21 2018-05-23 Think Surgical, Inc. Visible light communication system for transmitting data between visual tracking systems and tracking markers
US10660711B2 (en) 2015-02-25 2020-05-26 Mako Surgical Corp. Navigation systems and methods for reducing tracking interruptions during a surgical procedure
DE102015007395A1 (de) 2015-06-08 2016-12-08 Kuka Roboter Gmbh Verfahren und System zum Betreiben und/oder Überwachen einer Maschine, insbesondere eines Roboters
CN105427819B (zh) 2015-12-24 2017-06-27 深圳市华星光电技术有限公司 栅极驱动架构及其阵列基板
WO2017146890A1 (en) 2016-02-26 2017-08-31 Intuitive Surgical Operations, Inc. System and method for collision avoidance using virtual boundaries
US11278369B2 (en) 2016-04-28 2022-03-22 Sony Corporation Control device, control method, and surgical system
DE102016118123A1 (de) 2016-09-26 2018-03-29 Medineering Gmbh Medizinischer Haltearm zur Einbindung in ein OP-Navigationssystem
CA3053633A1 (en) 2017-02-22 2018-08-30 Orthosoft Inc. Bone and tool tracking in robotized computer-assisted surgery
EP3698375A1 (en) 2018-01-03 2020-08-26 Siemens Healthcare GmbH Method for acquiring and for altering a configuration of a number of objects in a procedure room and corresponding device
WO2020015836A1 (en) 2018-07-20 2020-01-23 Brainlab Ag Method for automatic detection of instrument orientation for robotic surgery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006296760A (ja) * 2005-04-20 2006-11-02 Seventh Dimension Design:Kk 光送受信装置制御システム
JP2009537229A (ja) * 2006-05-19 2009-10-29 マコ サージカル コーポレーション 触覚デバイスを制御するための方法および装置
JP2013524952A (ja) * 2010-04-22 2013-06-20 ブルー ベルト テクノロジーズ,エル エル シー 再構成可能なナビゲートされる外科用器具のトラッキング装置
US20140200621A1 (en) * 2013-01-16 2014-07-17 Stryker Corporation Navigation Systems and Methods for Indicating and Reducing Line-of-Sight Errors
US20140276943A1 (en) * 2013-03-13 2014-09-18 Stryker Corporation Systems and Methods for Establishing Virtual Constraint Boundaries

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021523787A (ja) * 2018-05-14 2021-09-09 デピュイ・アイルランド・アンリミテッド・カンパニーDepuy Ireland Unlimited Company 少なくとも1つの目標面に従って解剖学的構造を切断する外科用システム
JP7443249B2 (ja) 2018-05-14 2024-03-05 デピュイ・アイルランド・アンリミテッド・カンパニー 少なくとも1つの目標面に従って解剖学的構造を切断する外科用システム
JP2022538666A (ja) * 2019-07-03 2022-09-05 ストライカー・コーポレイション 手術ナビゲーションのための障害物回避技法
JP7356523B2 (ja) 2019-07-03 2023-10-04 ストライカー・コーポレイション 手術ナビゲーションのための障害物回避技法
JP2021058530A (ja) * 2019-10-09 2021-04-15 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置
JP7328861B2 (ja) 2019-10-09 2023-08-17 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理システム、医用情報処理プログラム、および医用画像撮像装置

Also Published As

Publication number Publication date
AU2022200731B2 (en) 2023-11-30
KR20170139493A (ko) 2017-12-19
WO2016138124A1 (en) 2016-09-01
JP2023175727A (ja) 2023-12-12
AU2022200731A1 (en) 2022-02-24
AU2016222790B2 (en) 2020-04-02
JP7344271B2 (ja) 2023-09-13
AU2016222790A1 (en) 2017-07-13
JP6748088B2 (ja) 2020-08-26
AU2024201278A1 (en) 2024-03-14
KR102491907B1 (ko) 2023-01-26
JP6998999B2 (ja) 2022-01-18
AU2020204207A1 (en) 2020-07-16
KR20240044536A (ko) 2024-04-04
US20200246082A1 (en) 2020-08-06
JP2022034001A (ja) 2022-03-02
JP2020189123A (ja) 2020-11-26
EP3261571A1 (en) 2018-01-03
CN111839732A (zh) 2020-10-30
US11517377B2 (en) 2022-12-06
US20230053668A1 (en) 2023-02-23
EP3261571B1 (en) 2023-03-08
CN107205786B (zh) 2020-08-25
EP4197479A1 (en) 2023-06-21
KR102653682B1 (ko) 2024-04-03
AU2020204207B2 (en) 2021-11-04
KR20230015508A (ko) 2023-01-31
US20160242858A1 (en) 2016-08-25
CN107205786A (zh) 2017-09-26
US10660711B2 (en) 2020-05-26

Similar Documents

Publication Publication Date Title
JP7344271B2 (ja) 外科手術中の追跡中断を低減するシステムを操作する方法
US20200197105A1 (en) Optical and non-optical sensor tracking of objects for a robotic cutting system
EP2996611B1 (en) Systems and software for establishing virtual constraint boundaries
CN113925610A (zh) 用于在由虚拟对象限定的目标部位处对患者执行手术的系统和方法
US11944396B2 (en) Systems and methods for controlling robotic movement of a tool based on a virtual boundary
KR20220070226A (ko) 로봇 매니퓰레이터들을 안내하기 위한 수술 시스템 및 방법
US20230329813A1 (en) Systems And Methods For Guided Placement Of A Robotic Manipulator
US20240197413A1 (en) Systems And Methods For Controlling Robotic Movement Of A Tool Based On A Virtual Boundary
JP2024501862A (ja) 運動構成要素の望ましくない向きの運動を軽減するためのロボットシステム及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200806

R150 Certificate of patent or registration of utility model

Ref document number: 6748088

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250