JP2005500096A - ガイドシステム - Google Patents

ガイドシステム Download PDF

Info

Publication number
JP2005500096A
JP2005500096A JP2003503112A JP2003503112A JP2005500096A JP 2005500096 A JP2005500096 A JP 2005500096A JP 2003503112 A JP2003503112 A JP 2003503112A JP 2003503112 A JP2003503112 A JP 2003503112A JP 2005500096 A JP2005500096 A JP 2005500096A
Authority
JP
Japan
Prior art keywords
image
probe
user
processing device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003503112A
Other languages
English (en)
Inventor
ナディーム アメド，サイド
コクロー，ラルフ，アルフォンズ
Original Assignee
ヴォリューム・インタラクションズ・プライヴェート・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴォリューム・インタラクションズ・プライヴェート・リミテッド filed Critical ヴォリューム・インタラクションズ・プライヴェート・リミテッド
Publication of JP2005500096A publication Critical patent/JP2005500096A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

形成された三次元領域で手術を実施する使用者が使用するためのガイドシステムを開示する。該システムは、手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、該画像を使用者に表示するためのディスプレイと、使用者が見うる位置を有するプローブと、システムによってプローブの位置を追跡し、かつ、その位置をデータ処理装置に伝送するためのトラッキング装置とを含み、データ処理装置は、使用者がプローブを形成された領域の外側で、その周囲にある選択領域に移動させると、システムへの対応する指示に各々関連付けられる１つまたはそれ以上の仮想ボタンを生成するように構成され、データ処理装置は、使用者による仮想ボタンのいずれかの選択を登録し、該選択はその仮想ボタンの見かけの位置に対してプローブを配置されることを含んでおり、該選択に基づいてコンピュータ生成画像を変更するように構成される。

Description

【技術分野】
【０００１】
本発明は、ガイドシステムに関し、さらに詳しくは、手術を実施する際に外科医を支援するための手術ナビゲーションシステムに関するが、これに限定されない。また、本発明は、そのようなシステムを制御するための方法および装置に関する。
【背景技術】
【０００２】
画像ガイドシステムは神経外科で幅広く採用されており、広範囲の外科処置の精度を高め、かつ侵襲性を低減することが証明されてきた。現在、画像ガイド外科システム（「ナビゲーションシステム」）は、手術前に、例えば、ＭＲＩまたはＣＴによって、収集したデータから構築される一連の画像に基づいており、該画像は光学的トラッキングシステムによって現実の患者に対して位置合わせされる。これを行なうために、患者の皮膚に検出マーカを配置し、マーカを画像化データ上で見うるマーカの対応物と相関させる。外科手術中、画像は画面上の３直交平面に画像ボリュームを通して表示される一方、外科医は、トラッキングシステムによって追跡されるプローブを保持する。プローブを手術領域内に導入すると、プローブ先端の位置は画像上にアイコンとして表わされる。手術前の画像化データを実際の手術空間とリンクさせることによって、ナビゲーションシステムは、周囲の構造に対するツールの正確な位置に関する有用な情報を外科医に提供し、手術中の状態を手術前の計画に関連付けるのを助ける。
【０００３】
これらの利点にもかかわらず、現行ナビゲーションシステムは様々な欠点を免れない。
【０００４】
第１に、外科医は、ナビゲーション手順中に手術場面から目を逸らして、コンピュータモニタを見る必要がある。これは外科手術のワークフローを中断させる傾向があり、実際には、手術はしばしば２人がかりの仕事になり、外科医が顕微鏡を通して手術場面を見て、その助手がモニタを見ながら外科医に助言する必要がある。
【０００５】
第２に、手術中に画像を操作すること、例えば、ＣＴとＭＲＩとの間の切替、画面のウィンドウの変更、計画段階からのマーカまたはセグメント化構造の起動、色およびコントラスト調整などは、キーボード、マウス、またはタッチスクリーンの操作を必要とし、そのため外科医は注意をそらされ、かつ機器を滅菌布で包装する必要があるので面倒である。プローブ型制御装置が提案されているが（Hinckley K, Pausch R, Goble C J, Kassel N, F ：A Survey of Design Issues in Spatial Input, Proceedings of ACM UIST'94 Symposium on User Interface Software & Technology, pp. 213-222、 および Mackinlay J, Card S, Robertson G：Rapid Controlled Movement Through a Virtual 3D Workspace, Comp. Grap., 24(4), 1990, 171-176 を参照されたい) 、全て使用に欠点がある。
【０００６】
第３に、画像化データを２Ｄ直交スライスとして提示する全ての現行ナビゲーションシステムに共通する問題は、外科医が、頭の中で再構成した３Ｄ情報を含む画像系列の空間的方向性を、手術中に覆われる患者の頭の向きに対して関連付けなければならないことである。
【０００７】
患者の肉眼による光景をコンピュータ生成画像と結合することによって、シースルー（透視）補強を使用するシステムが現在検討されている（Blackwell M, O'Toole RV, Morgan F, Gregor L：Performance and Accuracy experiments with 3D and 2D Image overlay systems. Proceedings of MRCAS 95, Baltimore, USA, 1995, pp 312-317、および、DiGioia, Anthony M., Branislav Jaramaz, Robert V. O'Toole, David A. Simon, and Takeo Kanade. Medical Robotics And Computer Assisted Surgery In Orthopaedics. In Interactive Technology and the New Paradigm for Healthcare, ed. K. Morgan, R.M. Satava, H.B. Sieberg, R. Mattheus, and J.P. Christensen. 88-90. IOS Press, 1995 を参照されたい）。このシステムでは、上下逆さまのモニタ上の倒立画像をハーフミラーで手術場面に重ね合わせて画像を結合する。使用者はミラーおよび下の患者を見渡しながら、ヘッドトラッキングシステムを装着する。しかし、著者らは、仮想物体と実物体との間にかなりの誤差があることを報告している。
【０００８】
現在、研究開発中の他のシステムは、コンピュータ生成画像を、手術室（手術シアター）の固定位置に配置されたカメラまたは使用者の頭部装着ディスプレイを通して得られた手術の光景の映像と結合する。結合された信号は次いで、使用者のＨＭＤ（頭部装着ディスプレイ）に伝達される。そのようなプロジェクトの３つの例が、開示されている（Fuchs H, Mark A, Livingston, Ramesh Raskar, D'nardo Colucci, Kurtis Keller, Andrei State, Jessica R. Crawford, Paul Rademacher, Samuel H. Drake, and Anthony A. Meyer, MD. Augmented Reality Visualization for Laparoscopic Surgery. Proceedings of First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI '98), 1998年10月11-13日, Massachusetts Institute of Technology, Cambridge, MA, USA、 Fuchs H, State A, Pisano ED, Garrett WF, Gentaro Hirota, Mark A. Livingston, Mary C. Whitton, Pizer SM. (Towards) Performing Ultrasound-Guided Needle Biopsies from within a Head-Mounted Display. Proceedings of Visualization in Biomedical Computing 1996, (Hamburg, Germany, 1996年9月22-25日), pgs. 591-600、および、 State, Andrei, Mark A. Livingston, Gentaro Hirota, William F. Garrett, Mary C. Whitton, Henry Fuchs, and Etta D. Pisano (MD). Technologies for Augmented-Reality Systems： realizing Ultrasound-Guided Needle Biopsies. Proceedings of SIGGRAPH 96 (New Orleans, LA, 1996年8月4-9日), in Computer Graphics Proceedings, Annual Conference Series 1996, ACM SIGGRARH, pgs. 439-446を参照)。
【０００９】
別の技術（Edwards PJ, Hawkes DJ, Hill DLG, Jewell D, Spink R, Strong A, Gleeson M：Augmented reality in the stereo microscope for Otolaryngology and neurosurgical Guidance. Proceedings of MRCAS 95, Baltimore, USA, 1995, pp 8-15を参照）は、３Ｄグラフィックスを重ねた表示用の装置として、手術用顕微鏡を使用する。顕微鏡の光チャネルへの立体構造の「画像注入」により、外科医は手術場面の上に重ねられた画像を見る。この技術は、操作機能を有することなく、比較的低い解像度の単純なメッシュを手術場面に重ね合わせるものである。著者らは、実視に対して重ね合わされたデータの立体認知に関する難しさを報告している。
【００１０】
これらの技術は、使用者の案内用に意図されたものであるが、全て用途および使い勝手において制限される。
【００１１】
【非特許文献１】
Hinckley K, Pausch R, Goble C J, Kassel N, F ：A Survey of Design Issues in Spatial Input, Proceedings of ACM UIST'94 Symposium on User Interface Software & Technology, pp. 213-222
【００１２】
【非特許文献２】
Mackinlay J, Card S, Robertson G：Rapid Controlled Movement Through a Virtual 3D Workspace, Comp. Grap., 24(4), 1990, 171-176
【００１３】
【非特許文献３】
Blackwell M, O'Toole RV, Morgan F, Gregor L：Performance and Accuracy experiments with 3D and 2D Image overlay systems. Proceedings of MRCAS 95, Baltimore, USA, 1995, pp 312-317
【００１４】
【非特許文献４】
DiGioia, Anthony M., Branislav Jaramaz, Robert V. O'Toole, David A. Simon, and Takeo Kanade. Medical Robotics And Computer Assisted Surgery In Orthopaedics. In Interactive Technology and the New Paradigm for Healthcare, ed. K. Morgan, R.M. Satava, H.B. Sieberg, R. Mattheus, and J.P. Christensen. 88-90. IOS Press, 1995
【００１５】
【非特許文献５】
Fuchs H, Mark A, Livingston, Ramesh Raskar, D'nardo Colucci, Kurtis Keller, Andrei State, Jessica R. Crawford, Paul Rademacher, Samuel H. Drake, and Anthony A. Meyer, MD. Augmented Reality Visualization for Laparoscopic Surgery. Proceedings of First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI '98), 1998年10月11-13日, Massachusetts Institute of Technology, Cambridge, MA, USA
【００１６】
【非特許文献６】
Fuchs H, State A, Pisano ED, Garrett WF, Gentaro Hirota, Mark A. Livingston, Mary C. Whitton, Pizer SM. (Towards) Performing Ultrasound-Guided Needle Biopsies from within a Head-Mounted Display. Proceedings of Visualization in Biomedical Computing 1996, (Hamburg, Germany, 1996年9月22-25日), pgs. 591-600
【００１７】
【非特許文献７】
State, Andrei, Mark A. Livingston, Gentaro Hirota, William F. Garrett, Mary C. Whitton, Henry Fuchs, and Etta D. Pisano (MD). Technologies for Augmented-Reality Systems： realizing Ultrasound-Guided Needle Biopsies. Proceedings of SIGGRAPH 96 (New Orleans, LA, 1996年8月4-9日), in Computer Graphics Proceedings, Annual Conference Series 1996, ACM SIGGRARH, pgs. 439-446
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明は、上記の問題の少なくとも１つに対処し、新規かつ有用なナビゲーションシステムならびにそれらを制御するための方法および装置を提案することを目的とする。
【００１９】
特に、本発明は、外科手術中に使用することができるシステムに関連する。しかし、本発明の適用は外科手術に限定されず、以下に述べるシステムおよび方法は、細心の注意を要する手術ないし操作にも使用でき、また、手術中のみならず計画段階中においても、使用することができる。
【００２０】
本発明は、手術室でナビゲーション手順中に、例えばコンピュータ生成画像のフォーマットを変更するために、容易かつ迅速に手術ナビゲーションシステムを操作できることが重要であるとの知見によっている。また、コンピュータ生成画像を使用することによって、手術現場で直接特定の外科処置をシミュレートできることは有利である。
【課題を解決するための手段】
【００２１】
概略すると、本発明は、手術の対象者のコンピュータ生成画像（３Ｄおよび／または２Ｄスライス）を表示するためのディスプレイを有する画像に基づくガイドシステムを使用する際に形成される領域内で手術（例えば、外科手術）を行なう使用者によって保持されるプローブを提案する。該プローブの位置は、ガイドシステムによって追跡され、また、例えば、システムが、使用者がプローブを直接見ることを可能にしたり、または、コンピュータ生成画像がプローブの位置を示すアイコンを含むことにより、使用者はプローブの位置を見ることができる。プローブを動かすことによって、使用者はシステム内にプローブを制御するための情報を入力して、例えば、コンピュータによって示される画像内において対象者の肉体形状を変化させることができる。
【００２２】
本発明は、形成された三次元領域で手術を実施する使用者が使用するためのガイドシステムであって、手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、画像を使用者に表示するためのディスプレイと、使用者がその位置を見ることができるプローブと、システムによってプローブの位置を追跡し、かつ、その位置をデータ処理装置に伝送するためのトラッキング装置を含み、
該データ処理装置は、使用者がプローブを形成された領域の外側で、その領域の周囲にある選択領域に移動させると、システムへの対応する指示に各々関連付けられる１つまたはそれ以上の仮想ボタンを生成するように構成され、
該データ処理装置は、使用者による前記仮想ボタンのいずれかの選択を登録し、該選択はその仮想ボタンの見かけの位置に対して前記プローブを配置されることを含んでおり、前記選択に基づいてコンピュータ生成画像を変更するように構成される、
ガイドシステムを提供する。
【００２３】
形成された領域は「バウンディングボックス（bounding box）」と称され、使用者はプローブをバウンディングボックスから外に移動させることによって、仮想領域を表示させることができる。これにより、使用者が仮想ボタンを表示させるために実行すべき動きを低減させることができる。
【００２４】
仮想ボタンの１つを指し示すために、使用者はプローブをその仮想ボタン内の位置に移動させればよい。好ましくは、所望の仮想ボタンの方向に、例えば、所定の許容差でそのボタンの中心方向に、プローブの長さ方向を一致させればよいようにする。後者により、ボタンの１つを指し示すために、プローブをわずかに動かすだけで済む。この方向を一致させることでボタンの１つを指し示す場合、使用者は選択を確認するために、好ましくは、足踏み操作スイッチなど、使用者の手以外で操作する別のデータ入力装置を使用して、別の確認コマンドを出させるようにしてもよい。使用者がプローブを正確に向けることができるように、プローブからその長さ方向に伸長する線を、使用者に表示するようにしてもよい。線が、予め定められた長さを持つようにして、あるいは、使用者がその長さを制御することにより、例えば、使用者が仮想ボタンをその方向によってだけでなく、プローブからの距離によっても指し示すことができるようにしてもよい。
【００２５】
コンピュータ生成画像は、対象者の実際の画像に重ねられることが最も好ましく、かつ、外科医が装着する半透明頭部装着立体ディスプレイ（ＨＭＤ）に表示されることが好ましい。これにより、外科医は半透明ディスプレイ（例えば、半透明接眼鏡）を通して得られる手術対象者の実際の光景に重ねてコンピュータ生成画像を見ることができる。このＨＤＭは追跡され、コンピュータはこの追跡に基づいて画像を生成するので、外科医が動いても、実際の画像およびコンピュータ生成画像は位置合わせ状態を維持する。
【００２６】
システムは２つのモードで使用することができる。第１に、肉眼による手術中、使用者は、半透明モードでディスプレイを覗き込み、手術領域上に重ねられた立体コンピュータグラフィックスを見る。これにより、外科医が切開を行なう前に「通常の視線を超えて」見ること、例えば、腫瘍の位置、頭蓋底、その他の目標の構造の可視化が可能となる。
【００２７】
第２に、顕微鏡手術の場合、同じ立体ディスプレイを立体顕微鏡に、例えば、その双眼の頂部に、取り付けることができ、使用者の動きを追跡する代わりに、立体顕微鏡の位置は追跡される。ディスプレイのコンピュータグラフィックスは、追跡される顕微鏡の倍率および焦点のパラメータにリンクされるので、「仮想的」光景を手術領域に反映させることができる。
【００２８】
ディスプレイに表示される３Ｄデータは、以前に「VIVIAN」の名称で発行され、シンガポールのVolume Interactions社によって開発された、「VizDexter」と呼ばれるコンピュータによる神経外科手術プランニングパッケージによってコンピュータグラフィックス化することができる。「VizDexter」は、「Dextroscope（デキストロスコープ）」の仮想現実環境において、マルチモード（ＣＴおよびＭＲＩ融合）画像の使用を可能にする（例えば、Kockro RA, Serra L, Yeo TT, Chumpon C, Sitoh YY, Chua GG, Ng Hern, Lee E, Lee YH, Nowinski WL：Planning Simulation of Neurosurgery in a Virtual Reality Environment. Neurosurgery Journal 46[1], 118-137. 2000. 9, および、Serra L, Kockro RA, Chua GG, Ng H, Lee E, Lee YH, Chan C, Nowinski W：Multimodal Volume-based Tumor Neurosurgery Planning in the Virtual Workbench, Proceedings of the First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), Massachusetts, Institute of Technology, Cambridge MA, USA, 1998年10月11-13日 pp. 1007-1016、に開示されている。これらの刊行物の開示を引用によりすべてそのまま本明細書に組み込まれる）。
【００２９】
上記において、本発明をシステムの観点から表現したが、システムの使用者によって実行される方法としても表現されうる。
【発明を実施するための最良の形態】
【００３０】
本発明の実施形態を、図面を参考としながら、実施例により説明するが、実施形態はこの実施例には限定されない。
【００３１】
本発明の実施形態を使用して外科手術を実施する前に、標準的ＣＴおよび／またはＭＲＩスキャナなどによって、患者を走査する。こうして生成された画像系列は、前記デキストロスコープ（Dextroscope）の仮想現実環境に転送される。データは、前述したデキストロスコープについて記述する刊行物に開示された方法で、相互に位置合わせされ、多モード立体オブジェクトとして表示される。デキストロスコープのプランニングセッション中に、使用者は関連する外科構造を識別し、それらを３Ｄオブジェクトとして表示する（セグメンテーションと呼ばれるプロセス）。加えて、目印点および手術経路を標識化することができる。実際の手術前に、３ＤデータはＯＲ（手術室：手術シアターとしても知られている）内のナビゲーションシステムに転送される。
【００３２】
本発明の実施形態であるシステムを図１に図示する。様々な要素は同縮尺では示されていない。このシステムは、立体ＬＣＤ頭部装着ディスプレイ（ＨＭＤ）１を含む（我々は現在ソニーＬＤＩ １００を使用している）。ディスプレイは使用者に装着されるか、または、構造５に支持された手術用顕微鏡３上に装着し、接続することができる。また、システムは、プローブ９の位置だけでなく、ＨＭＤ１および顕微鏡３の位置も追跡する光学的トラッキング装置７を含む。このようなトラッキング装置７は市販されている（Northern Digital社、Polaris）。システムは、リアルタイムの立体グラフィックスによる描画、およびケーブル１３を介してＨＤＭ１にコンピュータ生成画像を伝送することが可能なコンピュータ１１を含む。システムは、ケーブル１７を介してコンピュータ１１に信号を伝送するフットスイッチ１５を含む。さらに、顕微鏡３の設定が、ケーブル１９を介してコンピュータ１１に伝送される。これについては、後述する。手術の対象者は２１として示されている。
【００３３】
我々は、物体に付着させた３つの反射型球形マーカを検出することによって動作する受動トラッキング装置７を使用する。ペン形プローブ９などのマーカを担持する物体の形状を知り、かつ校正することによって、トラッキング装置の２つのカメラによってカバーされる３Ｄ空間内で、その正確な位置を決定することができる。ＬＣＤディスプレイ１を追跡するために、その上部正面縁に沿って、すなわちディスプレイ装着者の額近くに、３つのマーカを付着させた。この際、顕微鏡３は、顕微鏡３に取り付けられた特注支持構造に取り付けられた反射型マーカによって、追跡される。顕微鏡移動の大部分の間、ナビゲーションシステムのカメラへの自由な視線が得られるようになっている。顕微鏡手術中、第２支持構造は、双眼の上にＬＣＤディスプレイ１を装着することを可能にする。Polarisのトラッキング装置７および顕微鏡３は、コンピュータ１１とそのシリアルポートを介して通信する。コンピュータの別のポートには、外科処置中に仮想インタフェースを操作するためのフットスイッチ１５が接続される。
【００３４】
患者２１の頭は、画像化手順前に皮膚に接着され、かつ、外科手術が開始されるまで皮膚上に維持される。皮膚マーカ（基点）の助けを借りて、手術前の体積データに位置合わせされる。通常、少なくとも６個の基点が必要である。デキストロスコープの手術前のプランニング手順中に、マーカは識別され標識化される。手術室で、トラッキングシステムによって追跡されるプローブは、画像上で標識化されたものに対応する実世界の（皮膚上)の基点を指し示すために使用される。次いで３Ｄデータは、単純な半自動位置合わせ手順を使用して、患者に位置合わせされる。位置合わせ手順は、仮想世界を対応する実世界に変換する変換マトリックスを生み出す。この位置合わせ手順は、ほとんどの最新神経外科ナビゲーションシステムにおいて標準的である。
【００３５】
画像と患者の位置合わせ手順が完了した後、外科医はＨＭＤ１を着用し、セグメント化された画像データが立体的に再構成されて表示されたディスプレイ１の半透明画面を通して、患者２１を見る。外科医は、実際の患者に直接重ねられ、かつＸ線で見るのとほぼ同様の３Ｄデータを知覚し、観察位置を変えることで、患者の頭の「内部」に現れる３Ｄ構造を異なる角度から見ることができる。
【００３６】
最初に、顕微鏡３を使わないシステムの使用法を説明する。このシステムを「ＳＴＡＲ」（See Through Augmented Reality：シースルー補強現実）と称する。コンピュータ１１で生成された立体画像の右目および左目の映像を、ＨＭＤ１の右および左のＬＣＤにそれぞれ表示する。患者の頭の大きさおよびＨＭＤ１までの距離を校正した後、コンピュータ１１は外科医の目に映る実際の患者２１と正確に一致する画像を生成し、これにより外科医は、プランニング中に形成された手術のコンセプトと実際の患者21との間の正確な対応を理解することができる。仮想のターゲット構造を見ながら、外科医は手術場面から目を逸らすことなく、理想的な皮膚切開、開頭術、および病巣への経路を選択することができる。ＳＴＡＲの適用は神経外科を越えて、頭蓋顔面外科または整形外科の分野にまで及び、プランニングセッション中に生成された補強３Ｄデータの仮想誘導により、骨の再建作業をより正確に実行することができる。
【００３７】
使用者はまた、外科医の手中にある実際のペン形被追跡プローブ９に対応する仮想プローブを見る。このプローブにより、使用者は、３Ｄデータの制御を可能にする仮想３Ｄインタフェースを作動させ、かつ制御する。後述する通り、プローブ自体も独特のシミュレーションおよびナビゲーションツールにすることができる。
【００３８】
ＭＡＡＲ（Microscope assisted augmented reality：顕微鏡支援補強現実）と称する、顕微鏡３を使用するナビゲーションについて説明する。図１のシステムを使用する場合、ＨＭＤ１を顕微鏡の双眼より上にある支持構造５に取り付け、ＨＤＭ１のシースルーモードを停止し、コンピュータ１１によって供給される画像だけを残す。これらの画像は、顕微鏡３の立体映像出力（ケーブル１９を介してコンピュータ１１に伝送される、左右両チャネル）の組合せであると共に、コンピュータ１１自体によって生成される立体セグメント化３Ｄ画像化データである。画像はＨＭＤ１に表示され、それぞれの信号強度はビデオミキサによって調整可能である。ディスプレイの３Ｄデータによってナビゲーションを行なうためには、データは顕微鏡を通した実際の光景（またはその映像信号それぞれ）と正確に一致する必要がある。このために、コンピュータ１１は顕微鏡３の光学の設定の知識を使用して、３Ｄグラフィックスの生成を助ける。顕微鏡のズームおよび焦点のためのモータ値は、シリアルポート（RS２３２インタフェース）を介して顕微鏡から読み出され、コンピュータ１１に伝送される。次いで、予め定められた式を用いて実際の倍率および焦点面が計算される。顕微鏡の位置および向き（姿勢）は、光学的トラッキングシステムから得られる。そして、コンピュータ１１は、顕微鏡の倍率、焦点面、および視点が一致するコンピュータ生成画像を３Ｄ画像化データの立体画像として生成する。この画像はＨＭＤ１に表示される。顕微鏡光学の仕組みを利用して、正確な画像がオンラインで生成されるので、外科医は、手術中に、カメラの校正なく、またはシステム性能に影響を及ぼすことなく、ズームおよび焦点の値を変更することができる。顕微鏡３はリアルタイムで追跡されるので、外科医は顕微鏡３を自由に動かして様々な視点を得ることができる。クロップ面（crop plane）を顕微鏡３の焦点面に結びつけることによって、使用者は、顕微鏡の焦点値を変更することにより、仮想３Ｄ画像化データをスライスすることができる。
【００３９】
ＳＴＡＲおよびＭＡＡＲの両方で、ＨＭＤ１によって使用者に提示される、コンピュータ生成画像の内に仮想プローブとして表示される被追跡プローブ９を使用することにより、仮想物体に対する操作がリアルタイムで可能となる。
【００４０】
上記では本発明を、顕微鏡３から分離可能なＨＭＤ１に供給される画像の点から説明したが、本発明の範囲内の代替例では、顕微鏡の光チャネルへのＬＣＤに基づく画像「注入」システムを使用することによって、３Ｄコンピュータ生成データを顕微鏡３による光景の上に直接重ねることもできる。この場合、ＭＡＡＲを実行するために、分離可能なＨＭＤを必要としない。
【００４１】
ナビゲーション手順中に、ＭＡＡＲまたはＳＴＡＲのいずれかにより、使用者は、実際の手術の光景に補強された患者の３Ｄ画像化データを見る。特に、仮想データは通常、異なる画像スケッチおよびそれらの３Ｄセグメンテーション（腫瘍、血管、頭蓋底の部分、マーカ、および目印など）から構成されるので、使用者は、それをナビゲーション上の必要に適応させるために、手術中にデータを操作できることが必要である。例えば、３Ｄデータの透明性を隠し／示しまたは制御し、クロップ面を調整し、距離を測定し、あるいはデータをインポートするために、ツールが必要とされる。本発明によれば、外科医は、受動的被追跡ペン形プローブ９およびフットスイッチ１５を使用するだけで、したがって手術室でのキーボードおよびマウスの使用を回避して、コンピュータ１１を操作してＨＭＤ１に表示される３Ｄデータを変更することができる。
【００４２】
外科医が患者の頭部付近で被追跡プローブを動かすと、プローブ９は患者の頭の周囲に形成された仮想バウンディングボックス内に存在する。これを図２（ａ）に示す。マーカの位置は２５で示される。バウンディング（bounding）ボックス（これは仮想空間ではなく、現実空間にある）は、破線で示されるが、手術が行われる対象領域を取り囲んでいる。この状態で、コンピュータ生成画像は、対象者の画像化データを使用者に示す。さらに、プローブ９に対応する仮想プローブがＨＭＤ１の、仮想３Ｄ画像化データの現実に対応する位置に表示される。
【００４３】
プローブがトラッキングシステムに見えない場合、すなわち、その反射型マーカが隠れるか、あるいはトラッキングボリュームの外にある場合、仮想プローブは消え、外科医はＨＭＤに表示された補強患者データだけを見る。これを図２（ｃ）に示す。
【００４４】
外科医がプローブ９を患者の頭部から離し、仮想バウンディングボックスの外に出したが、それがトラッキングシステムの視界内に維持されている場合（図２（ｂ）に示す）、透視システムは、使用者がコントロールパネルであるコンピュータ生成画像だけを見るように、光景を切り替える。このパネルを図３に示す。次いで仮想ハンドヘルドプローブ２７が、その先端から光線２９が発射される状態で表示され、仮想世界における仮想レーザプローブのように見える。コントロールパネル上のボタン３１は、仮想光線をそれらに向けることによって選択することができる。選択されると、フットスイッチを使用してボタンを押すことにより、スイッチオン／オフを切り換えることができる。
【００４５】
コントロールパネルは、立体的に表示されるときに、使用者から約１．５ｍの快適な距離に現れるように配置される。仮想プローブ２７自体は、外科医の手中にある実際のプローブ９の動きを現実的に反映し、その結果、小さい手首の動きによりコントロールパネル上の仮想ボタンを指し示すことができる。
【００４６】
手術室の空間制約の中で、特に手術用顕微鏡による手術中、上述の操作方法は、外科医が広範囲のナビゲーション関連ツールに快適かつ迅速にアクセスすることを可能にする。２つの要素が重要である。第一に、フローティングコントロールパネルを起動する仮想空間が、患者の頭部を近接距離で取り囲むことにより、外科医の手首がトラッキングシステムの視界内にある限り、外科医が患者の頭部からどの方向にでも簡単な手首の動きによりパネルを操作することができる。第二の重要な要素は、ひとたび仮想ツールラックが見えるようになると、そのツール全部が、周囲の手術用機器と衝突するような空中での大きい動きを必要とせず、小さい手首の動きによって作動させることができることである。外科医は、その手の動きを視覚的に制御する必要なく、かつしたがって手術のワークフローからあまり気を逸らすことなく、ディスプレイ上のデータを見ながら、静止した状態でも快適にナビゲーションを行なうことができるので、これは重要である。この作用を図４に示す。図４は、プローブの先端から光線が発射される様子を示している。
【００４７】
仮想インタフェースパネル内で、外科医は、１組の機能にアクセスして、例えば次のように、データの表示を変更することができる。
【００４８】
・ 様々な画像形式および／または３Ｄオブジェクトを隠す／示す。例えば、軟組織の手術では、幾つかのＭＲＩにより得たセグメンテーション（またはオリジナルのＭＲＩ面そのもの）に切り替える必要がある。一方、骨に対する作業中は、ＣＴにより得た構造を切り替える必要がある。
【００４９】
・ データの表示を、単平面／三平面／３Ｄフルボリュームに変更する。
【００５０】
・ 画像化データをプローブまたは顕微鏡にリンクする。これにより、オンラインクロップ面（データが３Ｄボリュームとして現れる場合）、単平面、または三平面画像の中心点を、顕微鏡の焦点面、または手術領域に導入することができる仮想的に伸長可能なプローブ（後述）のいずれかにリンクすることができる。
【００５１】
・ 仮想プローブを起動し、これを仮想的に伸長させたり、後退させることにより、仮想ドリルおよび修復ツールのような手術中のシミュレーションツール、測定ツール、または組織の収縮またはクリップ配置をシミュレートするツールを制御する（図６参照）。
【００５２】
・ 色および透明度調整テーブルを作動させる。
【００５３】
・ ＭＡＡＲシステムとＳＴＡＲシステム間の切替を行なう。
【００５４】
・ 手術中の画像化データをインポートし、位置合わせするツール、すなわち３Ｄ超音波を作動させる。
【００５５】
我々は、仮想プローブを、手術腔部内で補強データを直接操作して、手術の各ステップのナビゲーションおよびシミュレーションを行なうことを可能とするツールにする方法を開発した。
【００５６】
第１に、実施例による新規のナビゲーション機能を説明する。仮想ツールラックで選択することによって、ボリューメトリック(体積的）３Ｄデータをプローブにリンクさせると、プローブの先端の方向に対して垂直なクロップ面が生成される。外科医がプローブを手術場面に導入し、フットスイッチを押すと、フットスイッチを押し続ける限り、プローブから延長する線が仮想的に伸び、患者データをスライスしていくように、表示面がプローブの先端から離れて、線の長さに一致する面が表示される。フットスイッチを離すと、面は最後の位置に留まる。フットスイッチを次回に押すと、線は短くなり、面はそれに相応して、フットスイッチが解除されるまでプローブの先端に向かって移動する。この方法で、フットスイッチを交互に押すことによって、切断面を出し入れすることができ、データの様々な部分を検討することができる。各段階で、コンピュータ１１は切断面に基づくデータを、例えば手術の対象者の単平面スライスとして生成する。仮想プローブ延長の長さはオンラインで表示され、手術腔部の深さに関して距離の測定ができる。データを単平面として表示するように選択した場合、この単独面もプローブに対して垂直であり、それは同様の仕方で出入りさせることができる。データを三平面モード、すなわち原点で交わる３つの直交平面で表示する場合、三平面原点は延長可能なプローブにリンクされる。
【００５７】
代替的に、かつ任意に、コンピュータ１１によって生成されるデータを顕微鏡設定にリンクさせることもでき、この場合、切断面は顕微鏡の焦点面に配置される。この面は、プローブからの線を延長することにより、および／または顕微鏡の焦点ボタンを使用することにより、動かすことができる。
【００５８】
図５は、３種類の組織を組み合わせたコンピュータ生成画像を示す。コンピュータ断層撮影（ＣＴ）データからボリューメトリック(体積的）に再構成された骨が白く示され、ＣＴと表示されている。血管を示す血管造影（ＭＲＡ）データは、赤（写真では黒）など第２の色で画像に表示される。磁気共鳴画像データ（ＭＲＩ）は軟組織をグレーで示し、仮想プローブに対して垂直な面に単平面モードで表示される。ＭＲＩのコンピュータ生成画像は、顕微鏡の焦点面にリンクすることによって取り入れられる。プローブを仮想的に延長することによって、ＭＲＩ面は手術領域の深さまで移動し、使用者は病変（この場合、頸静脈神経線維腫）の空間的範囲を検討することができる。
【００５９】
このツールは、プランニングの段階中に配置された外科的に重要な目印（一般的に３個または４個）までのオンライン上の距離を外科医に提供するために使用することもできる。ナビゲーション中、専用の色を有する線がプローブから各目印まで示され、各目印からの距離が各線の横に表示される。目印のこの表示は、フローティングコントロールパネルを用いてオン／オフすることができる。
【００６０】
第２に、我々は、本実例により実行することのできる新規のシミュレーション機能を説明する。仮想ドリルツールは、仮想プローブに取り付けられ、ドリルとして作用する仮想球体からなり、ボクセル（３Ｄピクセル）を切除することによって、リアルタイムで補強仮想データ内に導入できる。球形ドリルは、上述の通りフットスイッチを交互に押すことによって、プローブと球形ドリルとの間に伸長するように描かれる線の長さを変化させることで仮想的に伸長させたり、後退させることが可能である。外科医はこうして、ハンドヘルドプローブを動かすことによって、任意の位置を穿孔することができる。使用者に見える実際の画像とコンピュータ生成画像の組合せを図６に示す。図６ａは、患者の頭蓋骨の仮想画像を仮想ツールと共に示す。図６ｂは、患者の実際の頭蓋骨を、外科医の手中にある実際のペンと共に示し、この場合、その先端は実際の骨の上に載っているか、またはそのわずか上にある。図６ｃは使用者の頭部装着ディスプレイを通した使用者の視界を示し、そこでは図６ａの仮想画像が図６ｂの実際の画像にそれと相互に位置合わせされて重ねられ、仮想骨内の可視腔部が、伸長可能なボクセル切除球体により穿孔されている。
【００６１】
システムはさらに、「修復ツール」を含み、ドリルツールによって切除されたボクセルを修復することを除いては、ドリルツールと同様の働きをする。
【００６２】
この実施例によって提供される手術中のシミュレーションツールは、頭蓋底における微細な骨作業中に特に有用である。これにより、外科医は、正確に重ね合わされた３ＤのＣＴデータを使用することにより、幾つかの方向に沿って骨の切除のシミュレーションを行なうことができる。実際の骨作業を実行する前に、周囲の構造に関連する最適な穿孔経路を探索し、仮想的にリハーサルすることができる。実際の穿孔中は、重ねられた仮想穿孔データに正確に従うことができる。穿孔の他、上述の伸長可能な仮想プローブは、実際の手術の前に、重ね合わされたデータ上で、軟組織を収縮したり、あるいはクリップまたはボーンスクリューを配置するなど、他の外科手術をシミュレートするためにも使用することができる。仮想プローブは、その後の実際の外科手術におけるステップをより正確かつ安全に実行するために、まさしく手術現場で補強３Ｄデータを精査しかつ正しく操作することを可能にするツールと見ることができる。
【００６３】
本発明を上述のように、単一の実施例のみに関連して説明したが、本発明の範囲内で様々な変形が可能であることは、当業者には明白である。例えば、好ましくはないが、図６に表示から線の表現を省略して、ツールおよびプローブだけを示すことが可能である。しかし線は依然として、ツールの長手方向のプローブとツールとの間の制御可能な距離として、概念的に存在する。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施例によるシステムの外科手術中の使用状態を示す図である。
【図２】本発明の実施例における仮想的に境界付けられたボックスと、このボックスとプローブおよび仮想制御パネルの関係を示す図である。
【図３】本実施例において生成された制御パネルを示す図である。
【図４】本実施例において、わずかな手首の動きで、離れたパネル上のボタンを制御する状態を示す概念図である。
【図５】本実施例において、ナビゲーションツールとして機能する仮想的に伸長可能なプローブの使用状態を示す図である。
【図６ａ】本実施例において、仮想手術中の仮想的に伸長可能なドリルの使用状態を示す図であり、コンピュータにより生成された仮想画像を示す図である。
【図６ｂ】本実施例において、仮想手術中の仮想的に伸長可能なドリルの使用状態を示す図であり、現実の画像を示す図である。
【図６ｃ】本実施例において、仮想手術中の仮想的に伸長可能なドリルの使用状態を示す図であり、仮想画像と現実画像を重ねた状態を示す図である。

Claims (11)

  1. 形成された三次元領域で手術を実施する使用者が使用するためのガイドシステムであって、
    手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、前記画像を前記使用者に表示するためのディスプレイと、前記使用者が見うる位置を有するプローブと、前記システムによって前記プローブの位置を追跡し、かつ、その位置を前記データ処理装置に伝送するためのトラッキング装置とを含み、
    前記データ処理装置は、前記使用者が前記プローブを前記形成された領域の外側で、その周囲にある選択領域に移動させると、前記システムへの対応する指示に各々関連付けられる１つまたはそれ以上の仮想ボタンを生成するように構成され、
    前記データ処理装置は、前記使用者による前記仮想ボタンのいずれかの選択を登録し、前記選択がその仮想ボタンの見かけの位置に対して前記プローブを配置されることを含んでおり、前記選択に基づいてコンピュータ生成画像を変更するように構成される、
    システム。
  2. 前記データ処理装置が、手術対象者の画像を前記対象者の上に重ね合わせて生成するように構成された、請求項１に記載のシステム。
  3. 前記プローブの配置が、前記プローブの長手軸を前記ボタンに一致させることを含む、請求項１または２に記載のシステム。
  4. 前記仮想ボタンが表示される間、前記データ処理装置が、画像内に前記プローブからその長手軸に平行に伸長する線を含むように構成される、請求項３に記載のシステム。
  5. 前記ディスプレイが使用者の頭部に装着するように構成され、前記使用者は前記ディスプレイを通して前記手術対象者を見ることができるので、前記コンピュータ生成画像が画像の対象者の実像に重ね合わせて見え、前記トラッキング装置は、前記ディスプレイの位置を監視し、かつ前記ディスプレイの監視された位置を前記処理装置に伝送し、前記処理装置は、前記ディスプレイの位置に従って前記コンピュータ生成画像を修正して、前記コンピュータ生成画像と前記実像とを立体的に位置合わせされた状態に維持するように構成された、請求項１〜４のいずれかに記載のシステム。
  6. 前記ディスプレイが顕微鏡に取り付けられるように構成され、前記使用者は前記ディスプレイを通して顕微鏡画像を見ることができるので、前記コンピュータ生成画像が前記顕微鏡画像に重ね合わせて見え、前記トラッキング装置は、前記顕微鏡の位置を監視し、かつ前記顕微鏡の監視された位置を前記処理装置に伝送し、前記処理装置は、前記顕微鏡の位置に従って前記コンピュータ生成画像を修正して、前記コンピュータ生成画像と前記実像とを立体的に位置合わせされた状態に維持するように構成された、請求項１〜５のいずれかに記載のシステム。
  7. 形成された三次元領域で画像ガイドシステムからの案内により手術を実施する使用者が、前記画像ガイドシステムによって前記使用者に表示される画像を修正するために使用する方法であって、
    前記システムは、手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、前記画像を前記使用者に表示するためのディスプレイと、前記使用者が見うる位置を有するプローブと、前記システムによって前記プローブの位置を追跡し、かつ、その位置を前記データ処理装置に伝送するためのトラッキング装置とを含み、
    前記使用者が、前記プローブを前記形成された領域の外側で、その周囲にある選択領域に移動させ、
    前記データ処理装置が、前記選択領域内に前記プローブの位置を登録すると、それにより、前記システムへの対応する指示に各々関連付けられる１つまたはそれ以上の仮想ボタンを画像内に生成し、
    前記使用者が前記ボタンの１つを選択し、前記選択がその仮想ボタンの見かけの位置に対して前記プローブを配置し、
    前記データ処理装置が前記選択を登録し、対応する指示に基づいて前記コンピュータ生成画像を修正すること、
    を含む方法。
  8. 前記データ処理装置が、前記手術対象者の画像を前記対象者に重ね合わせて生成する、請求項７に記載の方法。
  9. 前記データ処理装置が前記仮想ボタンを表示する間、該データ処理装置がさらに前記プローブからその長手軸に平行に伸長する線を表示し、前記プローブの配置が前記プローブの前記長手軸を前記ボタンに一致させることを含む、請求項７に記載の方法。
  10. 前記ディスプレイが使用者の頭部に装着するように構成され、前記使用者は前記ディスプレイを通して前記手術対象者を見ることができるので、前記コンピュータ生成画像が画像の対象者の実像に重ね合わせて見え、前記トラッキング装置は、前記ディスプレイの位置を監視し、かつ前記ディスプレイの監視された位置を前記処理装置に伝送し、前記処理装置は、前記ディスプレイの位置に従って前記コンピュータ生成画像を修正して、前記コンピュータ生成画像と前記実像とを立体的に位置合わせされた状態に維持するように構成された、請求項７〜９のいずれかに記載の方法。
  11. 前記ディスプレイが顕微鏡に取り付けられるように構成され、前記使用者は前記ディスプレイを通して顕微鏡画像を見ることができるので、前記コンピュータ生成画像が前記顕微鏡画像に重ね合わせて見え、前記トラッキング装置は、前記顕微鏡の位置を監視し、かつ前記顕微鏡の監視された位置を前記処理装置に伝送し、前記処理装置は、前記顕微鏡の位置に従って前記コンピュータ生成画像を修正して、前記コンピュータ生成画像と前記実像とを立体的に位置合わせされた状態に維持するように構成された、請求項７〜９のいずれかに記載の方法。
JP2003503112A 2001-06-13 2001-06-13 ガイドシステム Pending JP2005500096A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SG2001/000118 WO2002100284A1 (en) 2001-06-13 2001-06-13 A guide system

Publications (1)

Publication Number Publication Date
JP2005500096A true JP2005500096A (ja) 2005-01-06

Family

ID=20428952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003503112A Pending JP2005500096A (ja) 2001-06-13 2001-06-13 ガイドシステム

Country Status (9)

Country Link
US (1) US7493153B2 (ja)
EP (1) EP1395194B1 (ja)
JP (1) JP2005500096A (ja)
AT (1) ATE371414T1 (ja)
CA (1) CA2486520A1 (ja)
DE (1) DE60130264T2 (ja)
ES (1) ES2292593T3 (ja)
TW (1) TW572749B (ja)
WO (1) WO2002100284A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009512932A (ja) * 2005-10-21 2009-03-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ プロファイルフラグを用いた医療画像のインタラクティブプロービング及び注釈方法及びシステム
JP2010259497A (ja) * 2009-04-30 2010-11-18 Osaka Univ 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
WO2011142165A1 (ja) * 2010-05-10 2011-11-17 オリンパス株式会社 操作入力装置およびマニピュレータシステム
JP2012079177A (ja) * 2010-10-04 2012-04-19 Panasonic Corp 仮想物体操作装置
KR101181366B1 (ko) * 2011-02-21 2012-09-17 한양대학교 산학협력단 수술 환부의 실시간 그래픽 표현 방법
JP2014023947A (ja) * 2013-09-26 2014-02-06 Toshiba Corp 医用画像観察システム、及び医用画像観察装置
JP2015100437A (ja) * 2013-11-22 2015-06-04 京セラメディカル株式会社 外科手術用ナビゲーションシステム
JP6063599B1 (ja) * 2016-08-01 2017-01-18 林　俊輔 インプラント手術補助システムおよびインプラント手術補助方法
JP2017191546A (ja) * 2016-04-15 2017-10-19 ミラマ サービス インク 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP2018534011A (ja) * 2015-10-14 2018-11-22 サージカル シアター エルエルシー 拡張現実感手術ナビゲーション
JP2019534734A (ja) * 2016-09-22 2019-12-05 メドトロニック・ナビゲーション，インコーポレーテッド 誘導される処置システム
JP2020516003A (ja) * 2017-03-30 2020-05-28 ノバラッド コーポレイションＮｏｖａｒａｄ Ｃｏｒｐｏｒａｔｉｏｎ 三次元データによる患者のリアルタイムビューの拡張
JP2021126519A (ja) * 2020-02-10 2021-09-02 グローバス メディカル インコーポレイティッド 外科手術におけるコンピュータ支援ナビゲーションのための光学器具追跡ボリュームのエクステンデッドリアリティ視覚化
WO2022201736A1 (ja) * 2021-03-25 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US11944272B2 (en) 2017-12-07 2024-04-02 Medtronic Xomed, Inc. System and method for assisting visualization during a procedure

Families Citing this family (225)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
FR2842977A1 (fr) * 2002-07-24 2004-01-30 Total Immersion Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video
WO2004016178A2 (en) * 2002-08-16 2004-02-26 Orthosoft Inc. Interface apparatus for passive tracking systems and method of use thereof
ES2231035B1 (es) * 2003-10-30 2006-07-01 Frontera Azul Systems, S.L. Sistema y procedimiento de comunicacion basada en realidad virtual.
EP1683063A1 (de) * 2003-11-10 2006-07-26 Siemens Aktiengesellschaft System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität
US7815644B2 (en) * 2003-12-19 2010-10-19 Masini Michael A Instrumentation and methods for refining image-guided and navigation-based surgical procedures
JP4522129B2 (ja) * 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
US9155373B2 (en) * 2004-08-02 2015-10-13 Invention Science Fund I, Llc Medical overlay mirror
US20060173268A1 (en) * 2005-01-28 2006-08-03 General Electric Company Methods and systems for controlling acquisition of images
US9295379B2 (en) * 2005-04-18 2016-03-29 M.S.T. Medical Surgery Technologies Ltd. Device and methods of improving laparoscopic surgery
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US8179423B2 (en) * 2005-08-22 2012-05-15 Ricoh Company, Ltd. Image display system, an image display method, a coding method, and a printed matter for stereoscopic viewing
JP4794957B2 (ja) 2005-09-14 2011-10-19 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
US10357184B2 (en) 2012-06-21 2019-07-23 Globus Medical, Inc. Surgical tool systems and method
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
IL181470A (en) * 2006-02-24 2012-04-30 Visionsense Ltd Method and system for navigation within a flexible organ in the human body
DE102006015349A1 (de) * 2006-04-03 2007-10-11 Siemens Ag Medizinisches Navigations- und Ortungssystem enthaltend ein Bediensystem und Verfahren zur Bedienung
JP4847184B2 (ja) * 2006-04-06 2011-12-28 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
EP2046224A2 (en) * 2006-04-12 2009-04-15 NAVAB, Nassir Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment
ATE499895T1 (de) 2006-04-12 2011-03-15 Nassir Navab Virtuelle penetrierende spiegelvorrichtung zur visualisierung von virtuellen objekten in angiografischen anwendungen
ATE499894T1 (de) * 2006-05-04 2011-03-15 Navab Nassir Interaktive virtuelle spiegelvorrichtung zur visualisierung von virtuellen objekten in endoskopischen anwendungen
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US20090192523A1 (en) * 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
EP1925962A1 (en) * 2006-11-21 2008-05-28 Swiss Medical Technology GmbH Stereo video microscope system
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US8401229B2 (en) 2007-09-04 2013-03-19 Objectvideo, Inc. Stationary target detection by exploiting changes in background model
JP5250251B2 (ja) * 2007-12-17 2013-07-31 イマグノーシス株式会社 医用撮影用マーカーおよびその活用プログラム
US9881520B2 (en) * 2008-01-08 2018-01-30 Immersion Medical, Inc. Virtual tool manipulation system
DE102008023468A1 (de) * 2008-05-14 2009-11-19 Siemens Aktiengesellschaft Anordnung und Verfahren zur Bedienung von Geräten
DE102008027832A1 (de) * 2008-06-11 2009-12-17 Vrmagic Gmbh Ophthalmoskop-Simulator
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
EP2168028A1 (de) * 2008-07-21 2010-03-31 Siemens Aktiengesellschaft Verfahren und vorrichtung zum steuern eines systems
US8624836B1 (en) 2008-10-24 2014-01-07 Google Inc. Gesture-based small device input
US20100240988A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360 degree heads up display of safety/mission critical data
US8876830B2 (en) 2009-08-13 2014-11-04 Zimmer, Inc. Virtual implant placement in the OR
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
DE102009058802B4 (de) 2009-12-18 2018-03-29 Airbus Operations Gmbh Anordnung zur kombinierten Darstellung eines realen und eines virtuellen Modells
US20110257482A1 (en) * 2010-04-16 2011-10-20 Brannon James K Laser Beam Collimation Apparatus
JP5675236B2 (ja) * 2010-09-10 2015-02-25 オリンパス株式会社 マニピュレータシステムの制御装置、マニピュレータシステム、及びマニピュレータシステムの制御方法
US9111386B2 (en) 2010-11-02 2015-08-18 Covidien Lp Image viewing application and method for orientationally sensitive display devices
US8890896B1 (en) 2010-11-02 2014-11-18 Google Inc. Image recognition in an augmented reality application
US8698843B2 (en) 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US9529424B2 (en) * 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
WO2012095664A1 (en) * 2011-01-14 2012-07-19 Bae Systems Plc An apparatus for presenting an image and a method of presenting the image
EP2477059A1 (en) * 2011-01-14 2012-07-18 BAE Systems PLC An Apparatus for Presenting an Image and a Method of Presenting the Image
WO2012135653A1 (en) 2011-03-30 2012-10-04 Avisar Mordechai Method and system for simulating surgical procedures
US9308050B2 (en) 2011-04-01 2016-04-12 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system and method for spinal and other surgeries
US8932063B2 (en) * 2011-04-15 2015-01-13 Ams Research Corporation BPH laser ablation simulation
JP5800616B2 (ja) * 2011-07-15 2015-10-28 オリンパス株式会社 マニピュレータシステム
US9886552B2 (en) * 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US20130257692A1 (en) 2012-04-02 2013-10-03 Atheer, Inc. Method and apparatus for ego-centric 3d human computer interface
US9020203B2 (en) 2012-05-21 2015-04-28 Vipaar, Llc System and method for managing spatiotemporal uncertainty
CN107822690B (zh) 2012-05-25 2020-10-02 外科手术室公司 具有不用手的控制的混合图像/场景再现器
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US10136954B2 (en) 2012-06-21 2018-11-27 Globus Medical, Inc. Surgical tool systems and method
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US10874466B2 (en) 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US10350013B2 (en) 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
JP2015528713A (ja) 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
US11607149B2 (en) 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US10646280B2 (en) 2012-06-21 2020-05-12 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US10842461B2 (en) 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11963755B2 (en) 2012-06-21 2024-04-23 Globus Medical Inc. Apparatus for recording probe movement
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
IL221863A (en) 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
US9437036B2 (en) * 2012-12-04 2016-09-06 Samsung Medison Co., Ltd. Medical system, medical imaging apparatus, and method of providing three-dimensional marker
US9710968B2 (en) 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
TWI586327B (zh) * 2012-12-27 2017-06-11 Metal Ind Research&Development Centre Image projection system
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
EP2961325A2 (en) * 2013-02-26 2016-01-06 Butterfly Network Inc. Transmissive imaging and related apparatus and methods
DE102013107041A1 (de) * 2013-04-18 2014-10-23 Carl Gustav Carus Management Gmbh Ultraschallsystem und Verfahren zur Kommunikation zwischen einem Ultraschallgerät und einer bidirektionalen Datenbrille
CN104224320B (zh) * 2013-06-19 2016-08-10 上海优益基医疗器械有限公司 一种基于手术导航的无线面配准工具及其实现方法
US9940750B2 (en) 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
KR102097705B1 (ko) * 2013-09-10 2020-04-07 삼성디스플레이 주식회사 디스플레이 장치, 디스플레이 시스템 및 그 제어 방법
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
US10447947B2 (en) * 2013-10-25 2019-10-15 The University Of Akron Multipurpose imaging and display system
JP5611441B1 (ja) * 2013-11-29 2014-10-22 スキルアップジャパン株式会社 顕微鏡用映像処理装置、および医療用顕微鏡システム
US9626801B2 (en) 2013-12-31 2017-04-18 Daqri, Llc Visualization of physical characteristics in augmented reality
US9558592B2 (en) * 2013-12-31 2017-01-31 Daqri, Llc Visualization of physical interactions in augmented reality
WO2015107099A1 (en) 2014-01-15 2015-07-23 KB Medical SA Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery
EP3205270B1 (en) * 2014-01-29 2018-12-19 Becton, Dickinson and Company Wearable electronic device for enhancing visualization during insertion of an invasive device
WO2015121311A1 (en) 2014-02-11 2015-08-20 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
WO2015126466A1 (en) * 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
CN105992996B (zh) 2014-04-04 2019-11-26 外科手术室公司 外科手术环境中的动态和交互式导航
US10004562B2 (en) 2014-04-24 2018-06-26 Globus Medical, Inc. Surgical instrument holder for use with a robotic surgical system
US10828120B2 (en) 2014-06-19 2020-11-10 Kb Medical, Sa Systems and methods for performing minimally invasive surgery
US10765438B2 (en) 2014-07-14 2020-09-08 KB Medical SA Anti-skid surgical instrument for use in preparing holes in bone tissue
WO2016008880A1 (en) 2014-07-14 2016-01-21 KB Medical SA Anti-skid surgical instrument for use in preparing holes in bone tissue
JP6731920B2 (ja) 2014-12-02 2020-07-29 カーベー メディカル エスアー 外科手術中のロボット支援式体積除去
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US20180020992A1 (en) * 2015-02-16 2018-01-25 Dimensions And Shapes, Llc Systems and methods for medical visualization
EP3258872B1 (en) 2015-02-18 2023-04-26 KB Medical SA Systems for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
DE102015002729A1 (de) * 2015-02-27 2016-09-01 Carl Zeiss Meditec Ag Ophthalmologische Lasertherapievorrichtung und Verfahren zur Erzeugung cornealer Zugangsschnitte
EP3069679A1 (en) * 2015-03-18 2016-09-21 Metronor AS A system for precision guidance of surgical procedures on a patient
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20160287337A1 (en) * 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
US20160331584A1 (en) * 2015-05-14 2016-11-17 Novartis Ag Surgical tool tracking to control surgical system
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
CN106344152B (zh) * 2015-07-13 2020-04-28 中国科学院深圳先进技术研究院 腹部外科手术导航配准方法及系统
US10646298B2 (en) 2015-07-31 2020-05-12 Globus Medical, Inc. Robot arm and methods of use
US10058394B2 (en) 2015-07-31 2018-08-28 Globus Medical, Inc. Robot arm and methods of use
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
US10687905B2 (en) 2015-08-31 2020-06-23 KB Medical SA Robotic surgical systems and methods
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
US9771092B2 (en) 2015-10-13 2017-09-26 Globus Medical, Inc. Stabilizer wheel assembly and methods of use
ITUB20155830A1 (it) 2015-11-23 2017-05-23 R A W Srl "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori"
US11386556B2 (en) 2015-12-18 2022-07-12 Orthogrid Systems Holdings, Llc Deformed grid based intra-operative system and method of use
US10052170B2 (en) 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US10117632B2 (en) 2016-02-03 2018-11-06 Globus Medical, Inc. Portable medical imaging system with beam scanning collimator
US10866119B2 (en) 2016-03-14 2020-12-15 Globus Medical, Inc. Metal detector for detecting insertion of a surgical device into a hollow tube
EP3241518A3 (en) 2016-04-11 2018-01-24 Globus Medical, Inc Surgical tool systems and methods
DE102016106993A1 (de) * 2016-04-15 2017-10-19 Carl Zeiss Microscopy Gmbh Steuer- und Konfiguriereinheit sowie Verfahren zum Steuern und Konfigurieren eines Mikroskops
CN105938665A (zh) * 2016-06-22 2016-09-14 扬州立兴科技发展合伙企业（有限合伙） 一种远程音视频手术示教系统
EP3285107B2 (en) * 2016-08-16 2024-02-28 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope with gesture control and method for a gesture control of a surgical microscope
US10973585B2 (en) 2016-09-21 2021-04-13 Alcon Inc. Systems and methods for tracking the orientation of surgical tools
US11039893B2 (en) 2016-10-21 2021-06-22 Globus Medical, Inc. Robotic surgical systems
EP3351202B1 (en) 2017-01-18 2021-09-08 KB Medical SA Universal instrument guide for robotic surgical systems
JP2018114280A (ja) 2017-01-18 2018-07-26 ケービー メディカル エスアー ロボット外科用システムのための汎用器具ガイド、外科用器具システム、及びそれらの使用方法
EP3360502A3 (en) 2017-01-18 2018-10-31 KB Medical SA Robotic navigation of robotic surgical systems
CA3050177A1 (en) * 2017-03-10 2018-09-13 Brainlab Ag Medical augmented reality navigation
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
DE102017107489B3 (de) * 2017-04-07 2018-07-05 Carl Zeiss Microscopy Gmbh Mikroskopanordnung zur Aufnahme und Darstellung dreidimensionaler Bilder einer Probe
US11135015B2 (en) 2017-07-21 2021-10-05 Globus Medical, Inc. Robot surgical platform
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
US11382666B2 (en) 2017-11-09 2022-07-12 Globus Medical Inc. Methods providing bend plans for surgical rods and related controllers and computer program products
US10898252B2 (en) 2017-11-09 2021-01-26 Globus Medical, Inc. Surgical robotic systems for bending surgical rods, and related methods and devices
US11794338B2 (en) 2017-11-09 2023-10-24 Globus Medical Inc. Robotic rod benders and related mechanical and motor housings
US11134862B2 (en) 2017-11-10 2021-10-05 Globus Medical, Inc. Methods of selecting surgical implants and related devices
TWI642404B (zh) * 2017-12-06 2018-12-01 奇美醫療財團法人奇美醫院 Bone surgery navigation system and image navigation method for bone surgery
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
CN108536288A (zh) * 2018-03-27 2018-09-14 网易（杭州）网络有限公司 虚拟现实中交互操作的处理方法和装置
US10573023B2 (en) 2018-04-09 2020-02-25 Globus Medical, Inc. Predictive visualization of medical imaging scanner component movement
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
WO2019218081A1 (en) 2018-05-18 2019-11-21 Marion Surgical Inc. A virtual reality surgical system including a surgical tool assembly with haptic feedback
WO2019245869A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Closed-loop tool control for orthopedic surgical procedures
CN109003269B (zh) * 2018-07-19 2021-10-08 哈尔滨工业大学 一种能提高医生效率的医学影像病灶的标注提取方法
US11540794B2 (en) 2018-09-12 2023-01-03 Orthogrid Systesm Holdings, LLC Artificial intelligence intra-operative surgical guidance system and method of use
US11589928B2 (en) 2018-09-12 2023-02-28 Orthogrid Systems Holdings, Llc Artificial intelligence intra-operative surgical guidance system and method of use
KR102569214B1 (ko) * 2018-09-21 2023-08-21 엘지전자 주식회사 이동단말기 및 그 제어방법
US11337742B2 (en) 2018-11-05 2022-05-24 Globus Medical Inc Compliant orthopedic driver
US11278360B2 (en) 2018-11-16 2022-03-22 Globus Medical, Inc. End-effectors for surgical robotic systems having sealed optical components
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11918313B2 (en) 2019-03-15 2024-03-05 Globus Medical Inc. Active end effectors for surgical robots
US11419616B2 (en) 2019-03-22 2022-08-23 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11571265B2 (en) 2019-03-22 2023-02-07 Globus Medical Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11317978B2 (en) 2019-03-22 2022-05-03 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11806084B2 (en) 2019-03-22 2023-11-07 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US20200297357A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
WO2020205714A1 (en) * 2019-03-29 2020-10-08 Eagle View Imaging,Inc. Surgical planning, surgical navigation and imaging system
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
US11628023B2 (en) 2019-07-10 2023-04-18 Globus Medical, Inc. Robotic navigational system for interbody implants
US11571171B2 (en) 2019-09-24 2023-02-07 Globus Medical, Inc. Compound curve cable chain
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11510684B2 (en) 2019-10-14 2022-11-29 Globus Medical, Inc. Rotary motion passive end effector for surgical robots in orthopedic surgeries
EP3809094B1 (de) * 2019-10-18 2024-04-17 Carl Zeiss Industrielle Messtechnik GmbH Verfahren und anordnung zum visualisieren von sensorsignalen eines optischen sensors eines koordinatenmessgeräts sowie verfahren und anordnung zum visualisieren eines sensors eines koordinatenmessgeräts
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11623086B2 (en) 2020-01-24 2023-04-11 Medtronic Xomed, Inc. System and method for therapy
US11666755B2 (en) 2020-01-24 2023-06-06 Medtronic Xomed, Inc. System and method for therapy
US11167140B2 (en) 2020-01-24 2021-11-09 Medtronic Xomed, Inc. System and method for therapy
US11167127B2 (en) 2020-01-24 2021-11-09 Medtronic Xomed, Inc. System and method for therapy
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11217020B2 (en) * 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11253216B2 (en) 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11317973B2 (en) 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US11382713B2 (en) 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US11877807B2 (en) 2020-07-10 2024-01-23 Globus Medical, Inc Instruments for navigated orthopedic surgeries
US11793588B2 (en) 2020-07-23 2023-10-24 Globus Medical, Inc. Sterile draping of robotic arms
CN111991080A (zh) * 2020-08-26 2020-11-27 南京哈雷智能科技有限公司 一种手术入口的确定方法和系统
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11523785B2 (en) 2020-09-24 2022-12-13 Globus Medical, Inc. Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement
US11911112B2 (en) 2020-10-27 2024-02-27 Globus Medical, Inc. Robotic navigational system
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin
US11717350B2 (en) 2020-11-24 2023-08-08 Globus Medical Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
US11857273B2 (en) 2021-07-06 2024-01-02 Globus Medical, Inc. Ultrasonic robotic surgical navigation
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11439444B1 (en) 2021-07-22 2022-09-13 Globus Medical, Inc. Screw tower and rod reduction tool
US11918304B2 (en) 2021-12-20 2024-03-05 Globus Medical, Inc Flat panel registration fixture and method of using same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07204210A (ja) * 1994-01-24 1995-08-08 Shimadzu Corp 手術器具の位置表示装置
JPH0928713A (ja) * 1995-07-20 1997-02-04 Olympus Optical Co Ltd 内視鏡下外科手術装置
JPH11197159A (ja) * 1998-01-13 1999-07-27 Hitachi Ltd 手術支援システム
JP2001066511A (ja) * 1999-08-31 2001-03-16 Asahi Optical Co Ltd 顕微鏡

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5662111A (en) * 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5394202A (en) * 1993-01-14 1995-02-28 Sun Microsystems, Inc. Method and apparatus for generating high resolution 3D images in a head tracked stereo display system
US5729475A (en) * 1995-12-27 1998-03-17 Romanik, Jr.; Carl J. Optical system for accurate monitoring of the position and orientation of an object
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
SG77682A1 (en) * 1998-05-21 2001-01-16 Univ Singapore A display system
JP2002526188A (ja) * 1998-09-24 2002-08-20 スーパー ディメンション リミテッド 体内への医療処置中にカテーテルの位置を判定するためのシステム及び方法
US7027642B2 (en) * 2000-04-28 2006-04-11 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
WO2002100285A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system and a probe therefor
EP1617779A1 (en) * 2003-04-28 2006-01-25 BRACCO IMAGING S.p.A. Surgical navigation imaging system
US20060020204A1 (en) * 2004-07-01 2006-01-26 Bracco Imaging, S.P.A. System and method for three-dimensional space management and visualization of ultrasound data ("SonoDEX")

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07204210A (ja) * 1994-01-24 1995-08-08 Shimadzu Corp 手術器具の位置表示装置
JPH0928713A (ja) * 1995-07-20 1997-02-04 Olympus Optical Co Ltd 内視鏡下外科手術装置
JPH11197159A (ja) * 1998-01-13 1999-07-27 Hitachi Ltd 手術支援システム
JP2001066511A (ja) * 1999-08-31 2001-03-16 Asahi Optical Co Ltd 顕微鏡

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009512932A (ja) * 2005-10-21 2009-03-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ プロファイルフラグを用いた医療画像のインタラクティブプロービング及び注釈方法及びシステム
JP2010259497A (ja) * 2009-04-30 2010-11-18 Osaka Univ 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
WO2011142165A1 (ja) * 2010-05-10 2011-11-17 オリンパス株式会社 操作入力装置およびマニピュレータシステム
JP2011237987A (ja) * 2010-05-10 2011-11-24 Olympus Corp 操作入力装置およびマニピュレータシステム
US9361818B2 (en) 2010-05-10 2016-06-07 Olympus Corporation Operation input device and manipulator system
JP2012079177A (ja) * 2010-10-04 2012-04-19 Panasonic Corp 仮想物体操作装置
KR101181366B1 (ko) * 2011-02-21 2012-09-17 한양대학교 산학협력단 수술 환부의 실시간 그래픽 표현 방법
JP2014023947A (ja) * 2013-09-26 2014-02-06 Toshiba Corp 医用画像観察システム、及び医用画像観察装置
JP2015100437A (ja) * 2013-11-22 2015-06-04 京セラメディカル株式会社 外科手術用ナビゲーションシステム
JP2018534011A (ja) * 2015-10-14 2018-11-22 サージカル シアター エルエルシー 拡張現実感手術ナビゲーション
JP2017191546A (ja) * 2016-04-15 2017-10-19 ミラマ サービス インク 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP2018019772A (ja) * 2016-08-01 2018-02-08 林　俊輔 インプラント手術補助システムおよびインプラント手術補助方法
JP6063599B1 (ja) * 2016-08-01 2017-01-18 林　俊輔 インプラント手術補助システムおよびインプラント手術補助方法
JP2019534734A (ja) * 2016-09-22 2019-12-05 メドトロニック・ナビゲーション，インコーポレーテッド 誘導される処置システム
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
JP2020516003A (ja) * 2017-03-30 2020-05-28 ノバラッド コーポレイションＮｏｖａｒａｄ Ｃｏｒｐｏｒａｔｉｏｎ 三次元データによる患者のリアルタイムビューの拡張
US11004271B2 (en) 2017-03-30 2021-05-11 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US11481987B2 (en) 2017-03-30 2022-10-25 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US11944272B2 (en) 2017-12-07 2024-04-02 Medtronic Xomed, Inc. System and method for assisting visualization during a procedure
JP2021126519A (ja) * 2020-02-10 2021-09-02 グローバス メディカル インコーポレイティッド 外科手術におけるコンピュータ支援ナビゲーションのための光学器具追跡ボリュームのエクステンデッドリアリティ視覚化
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
WO2022201736A1 (ja) * 2021-03-25 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
EP1395194A1 (en) 2004-03-10
US7493153B2 (en) 2009-02-17
ES2292593T3 (es) 2008-03-16
TW572749B (en) 2004-01-21
CA2486520A1 (en) 2002-12-19
US20050203367A1 (en) 2005-09-15
DE60130264D1 (de) 2007-10-11
ATE371414T1 (de) 2007-09-15
EP1395194B1 (en) 2007-08-29
WO2002100284A1 (en) 2002-12-19
DE60130264T2 (de) 2008-05-21

Similar Documents

Publication Publication Date Title
EP1395194B1 (en) A guide system
CA2486525C (en) A guide system and a probe therefor
US11707330B2 (en) Systems and methods for surgical navigation
EP3443923B1 (en) Surgical navigation system for providing an augmented reality image during operation
US20210267698A1 (en) Graphical user interface for a surgical navigation system and method for providing an augmented reality image during operation
US20230255446A1 (en) Surgical visualization systems and displays
US5749362A (en) Method of creating an image of an anatomical feature where the feature is within a patient's body
WO2008076079A1 (en) Methods and apparatuses for cursor control in image guided surgery
KR20080068640A (ko) 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작
CN110169821B (zh) 一种图像处理方法、装置及系统
CN114727848A (zh) 用于ent规程的可视化系统和方法
Saucer et al. A head-mounted display system for augmented reality image guidance: towards clinical evaluation for imri-guided nuerosurgery
Weber et al. The navigated image viewer–evaluation in maxillofacial surgery
Drouin et al. Interaction in augmented reality image-guided surgery
JP2002017751A (ja) 手術ナビゲーション装置
Shamir et al. An augmented reality guidance probe and method for image-guided surgical navigation
EP4329660A1 (en) Graphical user interface for a surgical navigation system
Weber et al. Application of different visualization concepts in the navigated image viewer
Sudra et al. Technical experience from clinical studies with INPRES and a concept for a miniature augmented reality system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110322

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110809