JP2018518218A - 外科手術システムを制御するための手術器具のトラッキング - Google Patents

外科手術システムを制御するための手術器具のトラッキング Download PDF

Info

Publication number
JP2018518218A
JP2018518218A JP2017555761A JP2017555761A JP2018518218A JP 2018518218 A JP2018518218 A JP 2018518218A JP 2017555761 A JP2017555761 A JP 2017555761A JP 2017555761 A JP2017555761 A JP 2017555761A JP 2018518218 A JP2018518218 A JP 2018518218A
Authority
JP
Japan
Prior art keywords
surgical
surgical instrument
control
tracking
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017555761A
Other languages
English (en)
Other versions
JP6697482B2 (ja
Inventor
フーカン レン
フーカン レン
リンフォン ユイ
リンフォン ユイ
Original Assignee
ノバルティス アーゲー
ノバルティス アーゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノバルティス アーゲー, ノバルティス アーゲー filed Critical ノバルティス アーゲー
Publication of JP2018518218A publication Critical patent/JP2018518218A/ja
Application granted granted Critical
Publication of JP6697482B2 publication Critical patent/JP6697482B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007Methods or devices for eye surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007Methods or devices for eye surgery
    • A61F9/00736Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/254User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Hardware Design (AREA)
  • Robotics (AREA)
  • Vascular Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

外科手術システムは、制御入力として手術器具を使用する。トラッキングユニットが、手術器具の動きをトラッキングし、処理ユニットが、手術器具の動きを処理してこの手術器具の時空間的情報を得る。制御ユニットは、多数の制御コマンドを含む制御入力ユニットを更に含む。制御入力ユニットは、手術器具の時空間的情報を対応する制御コマンドに関連付ける。

Description

本発明は、外科手術システムに関し、より詳細には制御入力として外科手術制御器具を用いる外科手術システムに関する。
正確な外科手術設定は、外科手術の成功にとって極めて重要である。従って、外科手術中に外科手術の条件が変わる場合、外科手術設定を調整する能力は、特に繊細な眼科手術では非常に望ましい。現代の外科手術コンソールは、それぞれの特定の作業に合わせられる異なる動作モード及び設定を有するように設計されている。例えば、硝子体網膜外科手術コンソールは、CORE、SHAVE、及び50/50を含め、硝子体切除術用の3つの異なるモードを備え得る。硝子体切除術が開始されると、コンソールは、殆どの硝子体皮質を効率的に除去できるようにCOREモードに構成される。その後、コンソールは、周辺にある硝子体基部を安全に削ぐためにSHAVEモードに手動で構成する必要がある。更に、たとえ同じ外科手術モード内であっても、外科医は、様々な外科手術条件に基づいて設定の一部を変更したくなることがあり得る。例えば、硝子体切除術中に網膜出血が起きた場合は、外科医は、出血を止めようとして眼圧(IOP)を即座に上昇させる。
現行の眼科手術の実施では、外科手術設定の制御は、外科医から数フィート離れたタッチスクリーンを使って助手によって、又はフットペダルを使って外科医によって行われる。眼科手術設定の制御が助手によって行われる場合、外科医は、最初に口頭で助手と連絡を取らなければならず、次いで、助手が常に外科医の要求を正確に理解すると仮定して、助手が作業を終えるまで待つ。また、これは、所与の外科手術に必要な人員を増やしてしまう。他方、眼科手術設定の制御が、フットペダルを使って外科医によって行われる場合は、この眼科手術設定の制御は、上述の複雑さを一切伴わない。しかしながら、フットペダルは、限られた数の制御コマンドにしか対応できない物理的装置である。
従って、助手を必要としない外科手術を潜在的に実現する、現行の外科手術コンソールの複雑さを増大させずに外科手術設定の完全な制御を外科医が行うことができる外科手術システムが要望されている。
本発明は、接眼レンズ、外科用顕微鏡、制御ユニット、手術器具、手術器具の動きをトラッキングするためのトラッキングユニット、及び手術器具の時空間的情報を得るために手術器具の動きを処理する処理ユニットを備える外科手術システムを開示する。制御ユニットは、多数の制御コマンドを備える制御入力ユニットを更に含む。制御ユニットは、制御入力ユニットと手術器具の時空間的情報とを関連付けることによって制御動作を特定し、対応する制御コマンドを外科システムに適用する。
トラッキングユニットは、ソフトウェアベースの器具トラッキングユニットとすることができる。例えば、このトラッキングユニットは、手術器具及び手術部位の少なくとも1つの画像をキャプチャする画像化ユニットとすることができる。この画像化ユニットは、光学カメラ、干渉計、赤外線カメラなどとすることができる。このトラッキングユニットは、ハードウェアベースの器具トラッキングユニットとすることもできる。例えば、このトラッキングユニットは、1つ以上のトラッキングセンサー、例えば、ジャイロスコープ、磁気センサー、光学センサー、加速度計などを含み得る。
制御入力ユニットは、多数の制御コマンドを備える。各制御コマンドはそれぞれ、運動パターン/ジェスチャーに関連付けられる又はコードすることができる。各制御コマンドはそれぞれ、ボタン/アイコンとして設計することもできる。ボタン/アイコンは、様々な外科手術設定のパラメーターの表示及び/又は更新をすることができる。
手術器具の時空間的情報は、運動プロフィール、運動パターン/ジェスチャー、位置、回転方向、器具の角度、手術部位からの先端部の近接度、速度、向き、長さ、数のような手術器具の情報を備える。手術器具の時空間的情報は、手術器具の遠位端部、手術器具の任意の部分、又は手術器具全体の情報を含み得る。
本開示は、本発明のいくつかの例を更に開示する。本発明の一例では、トラッキングユニットは、画像化ユニット、及び使用者と情報交換するために外科用顕微鏡に構成されたヘッドアップ表示装置を備える。画像化ユニットは、手術器具及び手術部位の少なくとも1つの画像をキャプチャすることができ、制御コマンドは、様々な運動パターン/ジェスチャーに関連付けられる又はコードされる。
本発明の別の例では、制御入力ユニットは、外科用顕微鏡に構成された仮想グラフィックユーザーインターフェイス(GUI)を更に含み得る。仮想GUIは、ヘッドアップ表示装置によって表示することができ、制御コマンドのそれぞれは、仮想GUI内のボタン又はアイコンとして設計される。制御コマンドは、様々な適用例に合わせて設計することができる。仮想GUIは、手術部位から一定距離の仮想平面又は手術部位の周辺に表示することができ、制御コマンドは、仮想GUIの中心又は仮想GUIの周辺に設計することができる。
本発明の別の例では、外科手術システムは、手術部位の立体視を達成できるように2つのトラッキングユニット(例えば、画像化ユニット)を備える。3D器具トラッキングは、3D運動を抽出するために行うことができる。このような外科手術システムでは、手術器具の時空間的情報は、3D情報を含み得る。
本発明の別の例では、外科手術システムのトラッキングユニットは、手術器具に接続された1つ以上のトラッキングセンサーを備える。トラッキングユニットは、3D運動を更に生成することができる。このような外科手術システムでは、手術器具の時空間的情報は、3D情報を含み得る。1つ以上のトラッキングセンサーを手術器具に取り付けることができる。
別の例では、このシステムは、使用者と情報交換するための出力ユニットを備える。出力ユニットは、外科手術システムが、手術器具を組織から離すように使用者に警告する、又は対応する制御コマンドが適用される前に制御動作が特定されたことを使用者に知らせることができるようにスピーカー(及びマイクロホン)とすることができる。出力ユニットは、仮想GUIが、外科手術システムの状況を更新する/使用者に知らせることができ、かつ/又は使用者が対応する制御コマンドを確認することができるように仮想GUIを表示するヘッドアップ表示装置とすることもできる。
別の例では、このシステムは、ソフトウェアの中断又はハードウェアの中断によって使用者が手術器具のトラッキングをいつでも再開又はキャンセルできるような中断ユニットを備える。
本発明の更に別の例では、外科手術システムを制御するための方法が開示される。この方法は、手術器具制御モードを開始するステップ、この手術器具をトラッキングして手術器具の動きを得るステップ;手術器具の動きを処理して、手術器具の時空間的情報を得るステップ、制御入力ユニットと手術器具の時空間的情報とを関連付けることによって制御動作を特定するステップ、別法として、使用者と通信して外科手術システムの最新の状況を知らせ、かつ/又は使用者が対応する制御コマンドを確認できるようにするステップ、及び対応する制御コマンドを外科手術システムに適用するステップを含む。
上記の方法では、制御動作を特定するステップは、制御入力ユニットと手術器具の時空間的情報との関連付けが失敗した場合は、手術器具をトラッキングするステップに進めることができる。対応する制御コマンドを確認するステップは、対応する制御コマンドが確認されなかった場合は、手術器具をトラッキングするステップに進められる。手術器具のトラッキングモードの再開又はキャンセルは、いつでも行うことができる。
本発明の更に別の例では、仮想GUIを表示するステップは、手術器具の制御を開始するステップと手術器具をトラッキングするステップとの間に行われる。詳細な方法は、手術器具制御モードを開始するステップ、仮想GUIを表示するステップ、手術器具をトラッキングしてこの手術器具の動きを得るステップ、手術器具の動きを処理して、この手術器具の時空間的情報を得るステップ、制御入力ユニットと手術器具の時空間的情報とを関連付けることによって制御動作を特定するステップ、別法として、使用者と通信して外科手術システムの最新の状況を知らせ、かつ/又は使用者が対応する制御コマンドを確認できるようにするステップ、及び対応する制御コマンドを外科手術システムに適用するステップを含む。
上記の方法では、制御動作を特定するステップは、制御入力ユニットと手術器具の時空間的情報との関連付けが失敗した場合は、手術器具をトラッキングするステップに進められる。対応する制御コマンドを確認するステップは、対応する制御コマンドが確認されなかった場合は、手術器具をトラッキングするステップに進められる。手術器具のトラッキングモードの再開又はキャンセルは、いつでも行うことができる。
本明細書に包含され、その一部を構成する添付の図面は、本発明のいくつかの実施形態を例示し、説明と合わせると、本発明の原理の説明に役立つ。
眼科手術コンソールの一実施形態の概略表現である。 外科手術システムの一実施形態の表現である。 制御コマンドとしての例示的な運動パターン/ジェスチャーの概略図である。 3Dトラッキングを備えた外科手術システムの一実施形態の表現である。 トラッキングセンサーを備えた外科手術システムの一実施形態の表現である。 仮想グラフィックユーザーインターフェイス(GUI)も手術器具も存在しない手術部位の視野、仮想グラフィックユーザーインターフェイス(GUI)のみが存在する手術部位の視野、及び仮想グラフィックユーザーインターフェイス(GUI)と手術器具が存在する手術部位の視野の概略図である。 使用者の焦点が異なる使用者の視野の概略図である。 外科手術システム制御方法の一実施形態の表現である。 2つの制御モードの表現である。 2つの制御モードの表現である。 仮想GUIを用いる外科手術システム制御方法の別の実施形態の表現である。 仮想GUIを用いる2つの制御方法の表現である。 仮想GUIを用いる2つの制御方法の表現である。
ここで、例が添付の図面に例示されている本発明の例示的な実施形態について詳細に述べる。同じ部品又は類似の部品を指す際には、全ての図面を通して、可能な限り同じ参照番号が使用される。
図1は、眼科手術コンソール100の一実施形態の概略表現である。外科手術コンソール100は、タッチスクリーン115を有するスイベルモニター110を備えることができる。スイベルモニター110は、タッチスクリーン115を見る必要がある人のために様々な向きに配置することができる。スイベルモニター110は、左右に振れるだけではなく、回転及び傾斜もさせることができる。タッチスクリーン115は、使用者がコンソール100と情報交換することを可能にするグラフィックユーザーインターフェイス(GUI)を提供する。
外科手術コンソール100はまた、様々な器具及び消耗品を外科手術コンソール100に接続するために使用される接続パネル120も備える。接続パネル120は、例えば、凝固コネクター、平衡塩類溶液受器、様々なハンドピース用のコネクター、及び液体管理システム(FMS)又はカセットレシーバー125を備えることができる。外科手術コンソール100はまた、様々な使用者に優しい機構、例えば、フットペダル制御ユニット(例えば、パネル130の後側に格納される)及び他の機構も備えることができる。動作中は、使用中の移動を最小限にするために、カセット(不図示)をカセットレシーバー125に入れて所定の位置にクランプで保持することができる。
図2は、外科手術システムの一実施形態の表現である。一般性を喪失することなく、以降は、一例として硝子体網膜システムを選択した。他の外科手術システム、例えば、白内障手術システムも、本明細書に記載のシステム及び方法を利用することができる。
図2の例、硝子体網膜手術において制御入力として手術器具を利用可能にするために使用される1つの例示的なシステムは、ソフトウェアトラッキングに基づいている。外科手術システムは、接眼レンズ210、顕微鏡211、外科用顕微鏡211で構成されるヘッドアップ表示装置212、制御ユニット217、手術器具213、手術器具213の動きをトラッキングしてこの手術器具213及び手術部位の少なくとも1つの画像をキャプチャする画像化ユニット214、並びに手術器具213の動きを処理してこの手術器具213の時空間的情報を得るための処理ユニット215を含む。制御ユニット217は、制御入力ユニット216と手術器具213の時空間的情報とを関連付けることによって制御動作を特定し、そして対応する制御コマンドをヘッドアップ表示装置212によって表示するように、様々な運動パターン/ジェスチャーに関連付けられる又はコードされる多数の制御コマンドを有する制御入力ユニット216を更に含む。手術器具213は、手術中に眼221の前部及び/又は後部に配置することができる。画像化ユニットは、手術器具213の全体、手術器具213の一部、又は手術器具213の遠位端部の動きをトラッキングするように設計することができることを理解されたい。対物レンズ218は、この対物レンズ218が手術器具213又は手術部位で使用者の焦点を調整できるように顕微鏡211で構成することができる。照明器220を、光源として眼221内に留置することができる。更に、外科用レンズ219を、直接手段又は間接手段で眼221に結合することができる。
手術部位は、顕微鏡211を用いて接眼レンズ210によって見ることができる。手術中に、画像化ユニット214(例えば、ビデオカメラ)が、手術器具213及び手術部位の少なくとも1つの画像及び/又はビデオをキャプチャすることによって手術器具213の動きをトラッキングする。処理ユニット215が、画像及び/又は映像を受信し、この画像及び/又は映像を向上させして処理し、手術器具213の時空間的情報を得るために手術器具213の動きを抽出する。制御入力ユニットの制御コマンドは、様々な運動パターン/ジェスチャーに関連付けられる又はコードされる。従って、時空間的情報に含まれる特定された運動パターン/ジェスチャーに基づいて、制御ユニット215は、制御入力ユニット216の関連付けられた又はコードされた制御コマンドで特定された運動パターン/ジェスチャーを制御コマンドに関連付け、そして特定された運動パターン/ジェスチャーが制御動作であるかどうかを確認する。特定された運動パターン/ジェスチャーが制御動作である場合は、制御ユニット217が、制御動作に関連した対応する制御コマンドを後に抽出し、次いで、別法として、使用者の確認のためにヘッドアップ表示装置212によって対応する制御コマンドを表示する。使用者が制御コマンドを確認したら、対応する制御コマンドが外科手術システムに適用される。別法では、更新されたシステム状況を、使用者の情報用の仮想GUIに表示することができる。
図3a〜図3hは、制御コマンドとしての例示的な運動パターン/ジェスチャーの概略図である。図3a〜図3fは、制御コマンドとすることができる手術器具の遠位端部の例示的な運動パターン/ジェスチャーの一部を示している。図3aは、手術器具213の複数の線形並進運動の運動パターンを示している。運動プロフィールの反復する線の数、向き、長さ、速度などを使用して、制御コマンドをコードすることができる。図3bは、手術器具213の時計回り及び反時計回りの回動の運動パターンを示している。この方向、回動速度を使用して制御コマンドをコードすることができる。例えば、時計回りの回動は、眼圧(IOP)を上昇させるコマンドに関連付けることができ、反時計回りの回動は、IOPを低下させるコマンドに関連付けることができる。図3cは、円形/楕円形の運動パターンを示している。この方向、直径、回転速度を、運動制御コマンドとして使用することができる。図3dは、三角形の運動パターンを示し、この運動パターンは、多角形の運動パターンの群を代表している。図3eは、連続的に描くことができるあらゆる任意に設計された運動パターンを表す数字の8の形状のパターンを示している。図3fは、2つの手術器具、例えば、互いに交差している照明器220と手術器具213とによって形成されたジェスチャーを示し、このジェスチャーは、様々な制御コマンドをコードするために使用することができる多数のジェスチャーの群を代表している。これらのパターン/ジェスチャーは、実際は例示である。また、運動パターン及びジェスチャーを組み合わせて、1つ又は複数の器具を用いたより進歩した外科的管理を達成することができる。図3gは、手術部位、手術器具、及び対応する運動プロフィールを含む使用者の視野を例示している。図3gと同様に、図3hは、運動パターン/ジェスチャーだけではなく、運動パターン/ジェスチャーの位置も示している。この例では、運動パターン/ジェスチャーの位置を制御コマンドに関連付けることができる。この方式では、眼の中の器具の運動自体及び位置の両方を、制御コマンドに関連付けることができる。
図4は、3Dトラッキングを備える外科手術システムの別の実施形態の表現である。図4の例では、第2の画像化ユニット214’が、手術器具及び手術部位の運動の立体視を達成するために利用される。次いで、3D器具トラッキングを行って3D運動パターン/ジェスチャーを抽出することができ、使用者により自由な制御を提供する。この例では、手術器具213の時空間的情報は、3D情報を含む。制御入力ユニット216の制御コマンドは、様々な3D運動プロフィール、例えば、3D運動パターン/ジェスチャーに相応に関連付ける又はコードすることができる。3D情報の使用は、制御コマンドに関連付けることができるパターン/ジェスチャーの潜在的な範囲を広げる。別の例では、3D情報をパターン/ジェスチャーの位置と組み合わせることができ、この両方を制御コマンドに関連付けることができる。ジェスチャーの位置は、コマンドが行われるべき位置を示し得る。
図5は、トラッキングセンサーを備えた外科手術システムの一実施形態の表現である。図5の例では、このシステムは、外科手術システムの制御入力ユニットとして手術器具を有効にするハードウェアトラッキングに基づいて設計されている。1つ又は複数のトラッキングセンサー222(例えば、ジャイロスコープ、磁気センサー、光学センサー、加速度計など)が、手術器具に取り付けられている。これらのトラッキングセンサーからの測定値を使用して、手術器具の2D及び/又は3D運動パターン/ジェスチャーを抽出することができる。対応する制御コマンドを、既に記載されたように手術器具の2D及び/又は3D運動パターン/ジェスチャーに関連付けることができる。
図6a〜図6cは、仮想GUIがなく手術器具のみがある手術部位の視野、及び仮想GUIと手術器具のある手術部位の視野の概略図である。図6aは、仮想GUIも手術器具も存在しない手術部位の使用者の視野の画像を示している。図6bは、仮想GUIが存在する手術部位の使用者の視野の画像を示している。図6cは、仮想GUI及び手術器具が存在する手術部位の使用者の視野の画像を示している。器具の制御が有効にされると、仮想GUIが、図6bに示されているように、ヘッドアップ表示装置によって使用者に表示される。
この例では、硝子体切除術用に使用されるいくつかの一般的な設定が表示されている。例えば、制御コマンド/設定、例えば、IOP、照明、真空、カッター速度、デューティーサイクルなどがGUIに表示され、対応するパタメーター、例えば、IOPの圧力、照明の割合、真空の程度、切断速度、デューティーサイクルの数などを徐々に調整することができる。制御コマンドのそれぞれは、仮想GUI上のボタン又はアイコンとして設計され、手術器具の制御コマンド及び時空間的情報を位置によって関連付けることができる。使用者が手術器具を用いて設定の変更を開始すると、使用者の視野が図6cに変化する。図6cでは、手術器具は、硝子体カッターの切断速度を低下させるためにボタンの上に置かれている。制御入力ユニットとして手術器具を用いて対応する制御コマンドを適用すると、硝子体カッターの切断速度が、75,000cpmから50,000cpmに低下する。
図7a〜図7cは、使用者の焦点が異なる使用者の視野の概略図である。仮想GUIを、手術部位から一定距離の仮想平面及び/又は手術部位の周辺に表示することができる。図7aは、仮想GUIも手術器具213も存在しない手術部位の使用者の視野の画像を示している。使用者の焦点は手術部位にある。図7bは、仮想GUI及び手術器具213が存在す手術部位の使用者の視野の画像を示している。使用者の焦点は、手術器具213にあり、従って、手術部位は、僅かに焦点がずれている。図7bの制御コマンド/設定は、ボタン及びアイコンとして設計され、仮想GUIの中心に表示され、そしてこの制御コマンド/設定は、様々な適用例に合わせて設計することができる。図7cは、仮想GUI及び手術器具213が存在する手術部位の使用者の視野の画像を示している。使用者の焦点は、手術器具213にあり、手術部位は、僅かに焦点がずれている。図7cの制御コマンド/設定は、ボタン及びアイコンとして設計され、仮想GUIの周辺に表示され、そしてこの制御コマンド/設定は、様々な適用例に合わせて設計することもできる。
図8は、手術方法の一実施形態の表現である。外科手術システムを制御するための方法は:手術器具制御モードを開始するステップ801、リアルタイムで手術器具をトラッキングして802、手術器具の動きを得るステップ803、手術器具の動きを処理して804、手術器具の時空間的情報(例えば、運動パターン/ジェスチャー、位置、回転方向、器具の角度、手術部位からの先端部の近接度、速度、向き、長さ、繰り返しの回数など)を得るステップ805、制御コマンドが様々な運動パターン/ジェスチャーに関連付けられる又はコードされる制御入力ユニットと手術器具の時空間的情報とを関連付けることによって制御動作を特定するステップ806、別法として、使用者と通信して外科手術システムの最新の状況を知らせ、かつ/又は使用者が対応する制御コマンドを確認できるようにするステップ807、並びにこの対応する制御コマンドを外科手術システムに適用するステップ808を含む。
選択的に、手術器具制御モードの再開又はキャンセルをいつでも行うことができる800。手術器具を組織/手術部位から離すようにするための使用者への想起又は警告を、手術器具制御モードが開始されてから(音、音声、フットペダル、手術器具のセンサーなどによって)行うことができる。適用している対応する制御コマンドが完了していることの使用者への連絡は、対応する制御コマンドが適用されてから、(音、音声、フットペダル、手術器具のセンサーなどによって)行うことができる。
図9aは、外科手術システムを制御するための単一制御モードを表す流れ図を示している。図8の方法に基づいて、単一制御モードは、追加ステップを含む:対応する制御コマンドの外科手術システムへの適用が行われてから、手術器具制御モードを出るステップ809。図9bは、外科手術システムを制御する連続制御モードの流れ図を示している。図8の方法に基づいて、連続制御モードは追加ステップを含む:対応する制御コマンドを外科手術システムに適用してから、手術器具をトラッキングするステップに戻るステップ。
より具体的には、制御動作が特定されていない又は対応する制御コマンドが確認されていない場合は、手術器具をトラッキングするステップに戻るステップを任意の回数行うことができる。
図10は、手術方法の一実施形態の表現である。図10の例では、仮想GUI及び手術器具を外科手術システムの制御入力ユニットとして使用する方法が示されている。外科手術システムを制御するための方法は:手術器具制御モードを開始するステップ1001、仮想GUIを使用者に表示するステップ1002、リアルタイムで手術器具をトラッキングして1003、手術器具の動きを得るステップ1004、手術器具の動きを処理して1005、手術器具の時空間的情報(例えば、運動パターン/ジェスチャー、位置、回転方向、器具の角度、手術部位からの先端部の近接度、速度、向き、長さ、繰り返しの回数など)を得るステップ1006、制御コマンドが様々なボタン/アイコンに関連付けられる又はコードされる制御入力ユニットと手術器具の時空間的情報とを関連付けることによって制御動作を特定するステップ1007、別法として、使用者と通信して外科手術システムの最新の状況を知らせ、かつ/又は使用者が(仮想GUIによって)対応する制御コマンドを確認できるようにするステップ1008、並びにこの対応する制御コマンドを外科手術システムに適用するステップ1009を含む。
選択的に、手術器具制御モードの再開又はキャンセルをいつでも行うことができる1000。手術器具を組織/手術部位から離すようにするための使用者への想起又は警告を、仮想GUIが表示されてから(音、音声、フットペダル、手術器具のセンサー、仮想GUIなどによって)行うことができる。適用している対応する制御コマンドが完了していることの使用者への連絡は、対応する制御コマンドが適用されてから、(音、音声、フットペダル、手術器具のセンサー、仮想GUIなどによって)行うことができる。
制御動作を特定できない場合は、手術器具の動きを再びトラッキングするために手術器具をトラッキングするステップに戻される。対応する制御コマンドが使用者によって確認されていない場合は、制御モードを出るステップが、手術制御モードから出るか否かを使用者が更に確認できるように進められる。使用者が、手術制御モードを出たことを確認した場合は、手術制御モードが終了され;使用者が、手術制御モードを出ていないことを確認した場合は、システムは、使用者への仮想GUIの表示を開始し、手術器具の動きをトラッキングする。
図11aは、外科手術システムを制御する単一制御モードについての流れ図を示している。図10の方法に基づいて、単一制御モードは、1つの追加ステップを含む:適用している対応する制御コマンドの外科手術システムへの適用が行われてから、手術器具制御モードを出るステップ1010。図11bは、外科手術システムを制御する連続制御モードの流れ図を示している。図10の方法に基づいて、連続制御モードは、1つの追加ステップを含む:対応する制御コマンドを外科手術システムに適用してから、仮想GUIを使用者に表示するために戻るステップ。
より具体的には、制御動作が特定されていない又は対応する制御コマンドが確認されていない場合は、手術器具をトラッキングするステップに戻るステップを任意の回数行うことができる。
上記から、本発明が、現在の外科手術コンソールを更に複雑にすることなく外科医が外科手術設定を完全に制御できるようにするために、手術器具を制御入力として使用する外科手術システムを提供することを理解できよう。
当業者であれば、本明細書に開示された本明細書及び本発明の実施を考えれば、本発明の他の実施形態が明らかになるであろう。本明細書及び例は単なる例示と見なされ、本発明の真の範囲及び精神は、以下の特許請求の範囲によって示されるものとする。

Claims (22)

  1. 外科手術システムであって、
    顕微鏡と、
    制御ユニットと、
    手術器具と、
    前記手術器具の動きをトラッキングするためのトラッキングユニットと、
    前記手術器具の時空間的情報を得るために前記手術器具の前記動きを処理するための処理ユニットと、を備え、
    前記制御ユニットが、多数の制御コマンドを含む制御入力ユニットを更に備え、前記制御ユニットが、前記制御入力ユニットと前記手術器具の前記時空間的情報とを関連付けて、対応する制御コマンドを前記外科手術システムに適用することによって制御動作を特定する、外科手術システム。
  2. 前記顕微鏡に構成されたヘッドアップ表示装置を更に備え、前記ヘッドアップ表示装置が、使用者にシステム状況を知らせる、又は前記使用者が前記対応する制御コマンドを確認できるようにする、請求項1に記載の外科手術システム。
  3. 前記トラッキングユニットが、前記手術器具及び手術部位の少なくとも1つの画像をキャプチャする画像化ユニットを含む、請求項2に記載の外科手術システム。
  4. 前記制御コマンドのそれぞれが、運動パターンに関連し、前記手術器具の前記時空間的情報が、前記手術器具の遠位端部の運動パターンを備える、請求項3に記載の外科手術システム。
  5. 前記制御入力ユニットが、前記ヘッドアップ表示装置によって表示される仮想グラフィックユーザーインターフェイスを更に備え、前記制御コマンドのそれぞれが、前記仮想グラフィックユーザーインターフェイスにアイコンとして表示される、請求項2に記載の外科手術システム。
  6. 前記手術器具の前記時空間的情報が、前記手術器具の遠位端部の運動パターンを備える、請求項5に記載の外科手術システム。
  7. 前記仮想グラフィックユーザーインターフェイスが、前記手術部位から一定距離の仮想平面に表示される、請求項5に記載の外科手術システム。
  8. 前記制御コマンドが、前記仮想グラフィックユーザーインターフェイスの中心又は周辺に配置される、請求項5に記載の外科手術システム。
  9. 第2の画像化ユニットを更に備える、請求項3に記載の外科手術システム。
  10. 前記手術器具の前記時空間的情報が3次元の情報を備える、請求項9に記載の外科手術システム。
  11. 前記トラッキングユニットが、前記手術器具に取り付けられた1つ以上のトラッキングセンサーを備える、請求項1に記載の外科手術システム。
  12. 前記トラッキングユニットが、3次元運動パターンを生成する、請求項11に記載の外科手術システム。
  13. 第2の手術器具を更に備える、請求項1に記載の外科手術システム。
  14. 制御システムが、使用者が前記手術器具の運動のトラッキングを再開又はキャンセルすることができるようなリセットユニットを更に備える、請求項1に記載の外科手術システム。
  15. 外科手術システムを制御するための方法であって、
    手術器具制御モードを開始するステップと、
    手術器具をトラッキングして前記手術器具の動きを得るステップと、
    前記手術器具の動きを処理して、前記手術器具の時空間的情報を得るステップと、
    制御入力ユニットと前記手術器具の前記時空間的情報とを関連付けることによって制御動作を特定するステップと、
    対応する制御コマンドを前記外科手術システムに適用するステップと、を含む、方法。
  16. 前記手術器具制御モードをリセット又はキャンセルするステップを更に含む、請求項15に記載の方法。
  17. 前記手術器具を組織から離すための命令を出すステップを更に含む、請求項15に記載の方法。
  18. 対応する制御コマンドが実行されたという表示を提供するステップを更に含む、請求項15に記載の方法。
  19. 外科手術システムの状況を知らせるステップを更に含む、請求項15に記載の方法。
  20. 前記対応する制御コマンドを前記外科手術システムに適用してから、前記手術器具を更にトラッキングするステップを更に含む、請求項15に記載の方法。
  21. 前記対応する制御コマンドが確認されなかった場合に前記手術器具を更にトラッキングするステップを更に含む、請求項15に記載の方法。
  22. 前記手術器具が組織に近接しているという表示を仮想グラフィックユーザーインターフェイスに表示するステップを更に含む、請求項15に記載の方法。
JP2017555761A 2015-05-14 2016-02-23 外科手術システムを制御するための手術器具のトラッキング Active JP6697482B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/712,186 2015-05-14
US14/712,186 US20160331584A1 (en) 2015-05-14 2015-05-14 Surgical tool tracking to control surgical system
PCT/US2016/019146 WO2016182611A1 (en) 2015-05-14 2016-02-23 Surgical tool tracking to control surgical system

Publications (2)

Publication Number Publication Date
JP2018518218A true JP2018518218A (ja) 2018-07-12
JP6697482B2 JP6697482B2 (ja) 2020-05-20

Family

ID=55527642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017555761A Active JP6697482B2 (ja) 2015-05-14 2016-02-23 外科手術システムを制御するための手術器具のトラッキング

Country Status (7)

Country Link
US (2) US20160331584A1 (ja)
EP (1) EP3265008B1 (ja)
JP (1) JP6697482B2 (ja)
CN (1) CN107530133A (ja)
AU (1) AU2016260929A1 (ja)
CA (1) CA2980545A1 (ja)
WO (1) WO2016182611A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7461689B2 (ja) 2021-09-10 2024-04-04 アナウト株式会社 推論装置、情報処理方法、及びコンピュータプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3285107B2 (en) * 2016-08-16 2024-02-28 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope with gesture control and method for a gesture control of a surgical microscope
US11937954B2 (en) * 2016-10-21 2024-03-26 Lensar, Inc. Systems and methods for combined Femto-Phaco surgery
EP3612123A4 (en) * 2017-04-20 2021-01-13 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR RESTRICTING A SURGICAL SYSTEM WITH VIRTUAL REALITY
EP3607922B1 (en) 2017-05-09 2022-07-20 Sony Group Corporation Image processing device, image processing method, and image processing program
WO2019029936A1 (en) * 2017-08-11 2019-02-14 Brainlab Ag MICROSCOPE ADJUSTMENT USING VIDEO
WO2019083805A1 (en) 2017-10-23 2019-05-02 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTING ENHANCED REALITY ON A SCREEN OF A TELEOPERATION SYSTEM
US11517474B2 (en) 2017-12-19 2022-12-06 Alcon Inc. Methods and systems for eye illumination
DE102018206406B3 (de) 2018-04-25 2019-09-12 Carl Zeiss Meditec Ag Mikroskopiesystem und Verfahren zum Betrieb eines Mikroskopiesystems
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
TW202002888A (zh) * 2018-05-23 2020-01-16 瑞士商愛爾康股份有限公司 利用具有圖形化用戶介面的手術工具器械的系統和方法
US20190361592A1 (en) * 2018-05-23 2019-11-28 Alcon Inc. System and method of utilizing surgical tooling equipment with graphical user interfaces
CN110610632A (zh) * 2018-06-15 2019-12-24 刘军 血管介入手术虚拟体内导航系统

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59504515D1 (de) * 1994-10-26 1999-01-21 Leica Mikroskopie Sys Ag Mikroskop, insbesondere operationsmikroskop
US7867186B2 (en) * 2002-04-08 2011-01-11 Glaukos Corporation Devices and methods for treatment of ocular disorders
CA2486520A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte. Ltd. Guide systems for interacting with a subject, and methods therefor
US20040254454A1 (en) * 2001-06-13 2004-12-16 Kockro Ralf Alfons Guide system and a probe therefor
DE10130485C2 (de) * 2001-06-25 2003-06-26 Robert Riener Programmierbarer Gelenksimulator
US20030169603A1 (en) * 2002-03-05 2003-09-11 Luloh K. Peter Apparatus and method for illuminating a field of view within an eye
AU2003257309A1 (en) * 2002-08-13 2004-02-25 Microbotics Corporation Microsurgical robot system
EP1617779A1 (en) * 2003-04-28 2006-01-25 BRACCO IMAGING S.p.A. Surgical navigation imaging system
DE102004049258B4 (de) * 2004-10-04 2007-04-26 Universität Tübingen Vorrichtung, Verfahren zur Steuerung von operationsunterstützenden medizinischen Informationssystemen und digitales Speichermedium
CN101170961A (zh) * 2005-03-11 2008-04-30 布拉科成像S.P.A.公司 利用显微镜的用于外科手术导航及可视化的方法及设备
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US20080297535A1 (en) * 2007-05-30 2008-12-04 Touch Of Life Technologies Terminal device for presenting an improved virtual environment to a user
US8512236B2 (en) * 2008-01-11 2013-08-20 Oraya Therapeutics, Inc. System and method for positioning and stabilizing an eye
JP2011502585A (ja) * 2007-11-02 2011-01-27 アルコン レンゼックス, インコーポレーテッド 術後の眼の光学的性能を改善するための方法および装置
US20100324542A1 (en) * 2007-11-02 2010-12-23 Kurtz Ronald M Method to Guide a Cataract Procedure by Corneal Imaging
US8170698B1 (en) * 2008-02-20 2012-05-01 Mark David Gusack Virtual robotic controller system with special application to robotic microscopy structure and methodology
JP5371472B2 (ja) * 2009-02-16 2013-12-18 キヤノン株式会社 眼科装置
WO2010104752A2 (en) * 2009-03-08 2010-09-16 Oprobe, Llc Multi-function optical probe system for medical and veterinary applications
US8418073B2 (en) * 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US9320428B2 (en) * 2009-08-05 2016-04-26 The Johns Hopkins University Programmable multispectral illumination system for surgery and visualization of light-sensitive tissues
US10045882B2 (en) * 2009-10-30 2018-08-14 The Johns Hopkins University Surgical instrument and systems with integrated optical sensor
US9814392B2 (en) * 2009-10-30 2017-11-14 The Johns Hopkins University Visual tracking and annotaton of clinically important anatomical landmarks for surgical interventions
US8996173B2 (en) * 2010-09-21 2015-03-31 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system
US9492322B2 (en) * 2009-11-16 2016-11-15 Alcon Lensx, Inc. Imaging surgical target tissue by nonlinear scanning
US20120059378A1 (en) * 2009-11-25 2012-03-08 James David Farrell Efficient Sculpting System
EP2524280A1 (en) * 2010-01-14 2012-11-21 BrainLAB AG Controlling a surgical navigation system
US20110282331A1 (en) * 2010-05-13 2011-11-17 Oprobe, Llc Optical coherence tomography with multiple imaging instruments
US20120184846A1 (en) * 2011-01-19 2012-07-19 Duke University Imaging and visualization systems, instruments, and methods using optical coherence tomography
US20120281236A1 (en) * 2011-05-04 2012-11-08 The Johns Hopkins University Four-dimensional optical coherence tomography imaging and guidance system
US8496331B2 (en) * 2011-08-12 2013-07-30 Alcon Research, Ltd. Portable pattern-generating ophthalmic probe
US9770828B2 (en) * 2011-09-28 2017-09-26 The Johns Hopkins University Teleoperative-cooperative robotic system
WO2013078449A1 (en) * 2011-11-23 2013-05-30 Sassani Joseph Universal microsurgical simulator
US10085633B2 (en) * 2012-04-19 2018-10-02 Novartis Ag Direct visualization system for glaucoma treatment
US8882662B2 (en) * 2012-06-27 2014-11-11 Camplex, Inc. Interface for viewing video from cameras on a surgical visualization system
US9642606B2 (en) * 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
US20140160264A1 (en) * 2012-12-10 2014-06-12 The Johns Hopkins University Augmented field of view imaging system
WO2014121268A1 (en) * 2013-02-04 2014-08-07 The Cleveland Clinic Foundation Instrument depth tracking for oct-guided procedures
SG10201703780SA (en) * 2013-03-15 2017-06-29 Annmarie Hipsley Systems and methods for affecting the biomechanical properties of connective tissue
US9955865B2 (en) * 2013-04-11 2018-05-01 Novartis Ag Method and system to detect ophthalmic tissue structure and pathologies
WO2014170236A1 (en) * 2013-04-16 2014-10-23 Atlas Copco Industrial Technique Ab Power tool
EP2999414B1 (en) * 2013-05-21 2018-08-08 Camplex, Inc. Surgical visualization systems
KR20140138424A (ko) * 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
US20160216882A1 (en) * 2013-06-26 2016-07-28 Lucid Global, Llc Virtual microscope tool for cardiac cycle
US20150007033A1 (en) * 2013-06-26 2015-01-01 Lucid Global, Llc. Virtual microscope tool
US10028651B2 (en) * 2013-09-20 2018-07-24 Camplex, Inc. Surgical visualization systems and displays
US10010447B2 (en) * 2013-12-18 2018-07-03 Novartis Ag Systems and methods for subretinal delivery of therapeutic agents
EP3087424A4 (en) * 2013-12-23 2017-09-27 Camplex, Inc. Surgical visualization systems
US10188808B2 (en) * 2014-01-24 2019-01-29 The Johns Hopkins University Fiber optic distal sensor controlled drug injector
US9907696B2 (en) * 2014-04-18 2018-03-06 The Johns Hopkins University Fiber optic distal sensor controlled micro-manipulation systems and methods
DE102014007908A1 (de) * 2014-05-27 2015-12-03 Carl Zeiss Meditec Ag Chirurgie-System
US9549781B2 (en) * 2014-05-30 2017-01-24 The Johns Hopkins University Multi-force sensing surgical instrument and method of use for robotic surgical systems
US10369045B2 (en) * 2014-07-29 2019-08-06 The Johns Hopkins University Micromanipulation systems and methods
US9498120B2 (en) * 2014-12-22 2016-11-22 Carl Zeiss Meditec Ag Method and system for optical coherence elastography of posterior parts of the eye
KR102564748B1 (ko) * 2015-03-16 2023-08-07 매직 립, 인코포레이티드 건강 질환 진단과 치료를 위한 방법 및 시스템
WO2016179582A1 (en) * 2015-05-07 2016-11-10 The Cleveland Clinic Foundation Instrument tracking in oct-assisted surgery
US9579017B2 (en) * 2015-06-15 2017-02-28 Novartis Ag Tracking system for surgical optical coherence tomography
US20170045728A1 (en) * 2015-08-13 2017-02-16 Novartis Ag Systems and methods for an optical system with an adjustable projected focal plane
US9826900B2 (en) * 2015-08-17 2017-11-28 Novartis Ag Surgical microscope with integrated optical coherence tomography and display systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7461689B2 (ja) 2021-09-10 2024-04-04 アナウト株式会社 推論装置、情報処理方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
WO2016182611A1 (en) 2016-11-17
US20160331584A1 (en) 2016-11-17
US20180360653A1 (en) 2018-12-20
EP3265008B1 (en) 2024-06-05
CN107530133A (zh) 2018-01-02
EP3265008A1 (en) 2018-01-10
CA2980545A1 (en) 2016-11-17
JP6697482B2 (ja) 2020-05-20
AU2016260929A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6697482B2 (ja) 外科手術システムを制御するための手術器具のトラッキング
US11977678B2 (en) Robotic system providing user selectable actions associated with gaze tracking
CN109478346B (zh) 使用虚拟现实头戴式显示器增强的眼科手术体验
CN109394252B (zh) 用于操作医学成像设备的方法和医学成像设备
CN106456148B (zh) 使用眼球凝视跟踪的医疗装置、系统和方法
JP2021007755A (ja) 遠隔操作医療システムにおける器具の画面上での識別をレンダリングするためのシステム及び方法
KR101374709B1 (ko) 컴퓨터 디스플레이 스크린의 경계구역에 표시된 수술기구 위치 및 수술기구 확인 표시장치
JP3905393B2 (ja) 手術装置
JP2022116155A (ja) 遠隔操作医療システムにおける器具の画面上での識別のためのシステム及び方法
JP6034509B2 (ja) 眼科手術用システム及びその制御方法
KR101705921B1 (ko) 수술 로봇의 통합적 표현
US20210378757A1 (en) Augmented Reality with Medical Imaging
JP7414770B2 (ja) 医療用アーム装置、医療用アーム装置の作動方法、及び情報処理装置
WO2017187795A1 (ja) 制御装置、制御方法及び手術システム
JP6965338B2 (ja) 医療用観察装置、制御装置、及び観察視野補正方法
CN115317130A (zh) 手术机器人系统、调整系统和存储介质
EP3984016A1 (en) Systems and methods for superimposing virtual image on real-time image
US20170045728A1 (en) Systems and methods for an optical system with an adjustable projected focal plane
CN111132631A (zh) 用于远程操作组件中交互点显示的系统和方法
JP2006346106A (ja) 手術用立体画像観察装置
KR102304962B1 (ko) 수술용 로봇을 이용한 수술 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191227

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200210

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200424

R150 Certificate of patent or registration of utility model

Ref document number: 6697482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250