JP2020036909A - 視線追跡を使用する医療装置、システム、及び方法 - Google Patents

視線追跡を使用する医療装置、システム、及び方法 Download PDF

Info

Publication number
JP2020036909A
JP2020036909A JP2019193305A JP2019193305A JP2020036909A JP 2020036909 A JP2020036909 A JP 2020036909A JP 2019193305 A JP2019193305 A JP 2019193305A JP 2019193305 A JP2019193305 A JP 2019193305A JP 2020036909 A JP2020036909 A JP 2020036909A
Authority
JP
Japan
Prior art keywords
image
surgeon
user
gaze
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019193305A
Other languages
English (en)
Other versions
JP6891244B2 (ja
Inventor
マイケル ジャーク，アンソニー
Michael Jarc Anthony
マイケル ジャーク，アンソニー
シー リン，ヘンリー
C Lin Henry
シー リン，ヘンリー
マイケル ソージャー，ジョナサン
Michael Sorger Jonathan
マイケル ソージャー，ジョナサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of JP2020036909A publication Critical patent/JP2020036909A/ja
Priority to JP2021088601A priority Critical patent/JP2021151496A/ja
Application granted granted Critical
Publication of JP6891244B2 publication Critical patent/JP6891244B2/ja
Priority to JP2023177204A priority patent/JP2023171641A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/71—Manipulators operated by drive cable mechanisms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)

Abstract

【課題】手術野で医療処置を実行するための遠隔操作医療システムを提供する。【解決手段】遠隔操作医療システムは、視標追跡ユニット２００及び制御ユニットを有する。視標追跡ユニットは、手術野の画像をユーザに表示するように構成される画像ディスプレイ２０２ａ，２０２ｂ、ユーザの注視点に関するデータを測定するように構成される少なくとも１つのアイトラッカ２０４ａ，２０４ｂ、及びユーザの注視点が向けられている表示された画像における視点を決定するためにデータを処理するように構成されるプロセッサ２０６、を含む。制御ユニットは、決定された視点に基づいて遠隔操作医療システムの少なくとも１つの機能を制御するように構成される。【選択図】図２Ｂ

Description

本特許出願は、"Medical Devices, Systems, and Methods Using Eye Gaze Tracking"と題する、２０１４年３月１９日に出願された米国仮特許出願第61/955,314号、及び
"Medical Devices, Systems, and Methods Using Eye Gaze Tracking for Secondary Imaging"と題する、２０１４年３月１９日に出願された米国仮特許出願第61/955,355号の優先権及び出願日の利益を主張し、これらは全てその全体が参照により本明細書に援用される。
外科手術は、遠隔操作医療システムを使用して低侵襲な方法で実行されることができる。低侵襲手術の利点は良く知られており、従来の、開放切開手術と比べるとき、より少ない患者の外傷、より少ない失血、より早い回復時間を含む。加えて、カリフォルニア州SunnyvaleのIntuitive Surgical, Inc.により商業化されているDA VINCI（登録商標）手術システムのような、遠隔操作医療システムの使用が知られている。このような遠隔操作医療システムは、手動低侵襲手術と比べるとき、外科医が、直観的な制御及び増加した精度で手術することを可能にするかもしれない。
遠隔操作医療システムは、１又は複数のロボットアームに結合される１又は複数の器具を含むかもしれない。システムが、低侵襲手術を行うために使用される場合、器具は、小さい切開部又は、例えば、口、尿道、又は肛門等、自然の開口のような、患者の１又は複数の小さい開口部を通って手術領域にアクセスするかもしれない。幾つかの場合には、開口（複数可）を通って器具を直接挿入するのではなく、カニューレ又は他のガイド要素が、それぞれの開口に挿入されることができ、器具は、手術領域にアクセスするためにカニューレを通って挿入されることができる。内視鏡のようなイメージングツールが手術領域を見るために使用されることができ、イメージングツールによって取り込まれた画像は、手術中に外科医が見るために画像ディスプレイに表示されることができる。
低侵襲医療処置中に様々な用途のために効果的に制御され且つ監視されることができる遠隔操作医療システムを提供することが望ましい。本明細書に開示されるシステム及び方法は、従来技術の欠陥の１又は複数を克服する。
１つの例示的な態様において、本開示は、視標追跡（eye tracking）ユニット及び制御ユニットを有する遠隔操作医療システムを対象にする。１つの態様では、視標追跡ユニットは、手術野の画像をユーザに表示するように構成される画像ディスプレイ、及びユーザの注視点（gaze point）に関するデータを測定するように構成される少なくとも１つのアイトラッカ（eye tracker）を含む。１つの態様では、視標追跡ユニットは、ユーザの注視点が向けられている表示される画像における視点（viewing location）を決定するためにデータを処理するように構成されるプロセッサを含む。１つの態様では、制御ユニットは、決定された視点に基づいて遠隔医療システムの少なくとも１つの機能を制御するように構成される。
他の例示的な態様では、本開示は、遠隔医療システムを動作させるための方法を対象にする。１つの態様では、方法は、画像ディスプレイに、手術野画像を含む、画像を表示するステップを含む。１つの態様では、方法は、画像ディスプレイにおけるユーザの注視点を測定するステップを含む。１つの態様では、方法は、ユーザの注視点が向けられる表示された画像における視点を決定するステップを含む。１つの態様では、方法は、決定された視点に基づいて遠隔医療システムの少なくとも１つの機能を生業するステップを含む。
他の例示的な態様では、本開示は、第１の視標追跡ユニット及び第２の視標追跡ユニットを有する遠隔医療システムを対象にする。１つの態様では、第１の視標追跡ユニットは、１又は複数の第１の画像ディスプレイ、１又は複数の第１のアイトラッカ、及び１又は複数の第１のアイトラッカに結合され且つ第１のユーザが１又は複数の第１の画像ディスプレイによって表示される第１の画像を見るときに第１のユーザの第１の注視点を計算するように構成される、第１のプロセッサを含む。１つの態様では、第２の視標追跡ユニットは、１又は複数の第２の画像ディスプレイ、１又は複数の第２のアイトラッカ、及び１又は複数の第２のアイトラッカに結合され且つ第２のユーザが１又は複数の第２の画像ディスプレイによって表示される第２の画像を見るときに第２のユーザの第２の注視点を計算するように構成される、第２のプロセッサを含む。１つの態様では、１又は複数の第１の画像ディスプレイは、第２のプロセッサに結合される。１つの態様では、１又は複数の第２の画像ディスプレイは、第１のプロセッサに結合される。
他の例示的な態様では、本開示は、遠隔操作医療システムを動作させるための方法を対象にする。１つの態様では、方法は、手術部位の３Ｄ画像ディスプレイにおける視線動態（eye gaze dynamics）を追跡するステップを含む。１つの態様では、方法は、ユーザが３Ｄ画像ディスプレイを見ているときのユーザの状態を決定するステップを含む。
他の例示的な態様では、本開示は、手術システムを動作させるための方法を対象にする。１つの態様では、方法は、第１のディスプレイにおける３Ｄ画像を見ている第１のユーザに関する３Ｄ注視点を決定するステップ及び第２のディスプレイにおける３Ｄ画像に３Ｄ注視点を表示するステップを含む。１つの態様では、方法は、第２のディスプレイ上の第１のユーザの３Ｄ注視点を見ている第２のユーザからの指令を受信するステップを含む。
他の例示的な態様では、本開示は、器具及び３Ｄディスプレイを有する手術システムを動作させるための方法を対象にする。１つの態様では、方法は、３Ｄディスプレイに３Ｄ画像を表示するステップ及び３Ｄ画像を見ているユーザの３Ｄ注視点の位置を決定するステップを含む。１つの態様では、方法は、３Ｄ画像及び３Ｄ注視点の位置を比較するステップを含む。
これらの及び他の実施形態は、以下の図に関して、以下にさらに詳細に記載される。
本開示の態様は、添付の図面と併せて読むとき、以下の詳細な説明から最も良く理解される。この業界での標準的な慣例に従って、様々な特徴は一定の縮尺で描かれていないことを強調しておく。実際、様々な特徴の寸法は、議論を明確にするために適宜拡大又は縮小される場合がある。また、本開示は、様々な例において参照数字及び／又は文字を繰り返して使用する場合がある。この繰返しは、簡略化と明瞭化を目的として行われており、論じられる様々な実施形態及び／又は構成の間の関係をそれ自体で規定するものではない。
本開示の１つの実施形態による、例示の遠隔操作医療システムを示す。 本開示の１つの実施形態による、遠隔操作医療システムの例示の構成要素を示し、特に、本開示の１つの実施形態による例示の遠隔操作アセンブリの正面図を示す。 本開示の１つの実施形態による、遠隔操作医療システムの例示の構成要素を示し、本開示の１つの実施形態による例示のオペレータ入力システムの正面図を示す。 本開示の１つの実施形態による、遠隔操作医療システムの例示の構成要素を示し、本開示の１つの実施形態による例示のビジョンカート構成要素の正面図を示す。 本開示の１つの実施形態による例示の画像ディスプレイ及び手術野に対するユーザの３Ｄ座標フレームのブロック図を示す。 本開示の１つの実施形態による、図１Ａ、１Ｂ、及び１Ｃの遠隔操作医療システムによって使用される例示の視標追跡ユニットを示す。 本開示の１つの実施形態による、遠隔操作医療システム及び／又は手術器具を制御するために且つ遠隔操作医療システム及び／又は手術器具に作用するように視標追跡ユニットを使用する例示の方法を示すフローチャートである。 本開示の１つの実施形態による、訓練されている外科医の例示の視標追跡ユニットに結合される例示の試験監督の視標追跡ユニットを示す。 本開示の１つの実施形態による図２Ｂの視標追跡ユニット２００を使用する外科医の３Ｄ注視点を決定し且つ表示するための例示の方法を示す。 本開示の１つの実施形態による図２Ｄのデュアル視標追跡ユニットを使用する例示の訓練する／試験監督する方法を示す。 本開示の１つの実施形態による、動作において使用されることになる所定の手術器具を配送するために対応する制御インタフェースを確認し且つ作動させる例示の注視点確認方法を示す。 本開示の１つの実施形態による図２Ｂの視標追跡ユニットを使用する手術の間の外科医の能力を評価するための例示の方法を示す。 本開示の１つの実施形態による、３Ｄ座標系で手術部位の３Ｄ画像を示す外科医用コンソールの３Ｄ画像ディスプレイの例である。 本開示による図１Ａ−１Ｃの遠隔医療システムで使用されることができる内視鏡の様々な実施形態を示す。 本開示による図１Ａ−１Ｃの遠隔医療システムで使用されることができる内視鏡の様々な実施形態を示す。 本開示の１つの実施形態による図６Ａ−６Ｂの内視鏡のイメージングモジュールとして使用されることができる立体カメラの概略図である。 本開示の１つの実施形態による内視鏡システムのブロック図を示し、内視鏡システムは、図６Ａ−６Ｂに示された例示の内視鏡を組み込んでいる。 本開示の実施形態による、画像修正を適用するために遠隔医療システムを使用する方法を示すフローチャートである。 本開示の実施形態による、一次画像に重なる拡大画像を表示するために内視鏡システムを使用する遠隔医療システムの１又は複数の内視鏡を制御するための方法を示すフローチャートである。 本開示の実施形態による、仮想的に拡大された領域内に表示された所定の視標追跡精度閾値を示す。 本開示の実施形態による、一次画像に重なる拡大画像を表示することの例を示す。 本開示の実施形態による、図８Ｃに示された一次画像及び拡大画像を取り込み且つ生成するために図６Ａの内視鏡を使用することを示す概略図である。 本開示の実施形態による、図８Ｃに示された一次画像及び拡大画像を取り込み且つ生成するために図６Ｂの２つの内視鏡を使用することを示す概略図である。 本開示の実施形態による、異なるイメージングモダリティを取込且つ表示するために制御システムを使用する遠隔操作医療システムの１又は複数の内視鏡を制御するための方法を示すフローチャートである。 本開示の実施形態による、内視鏡がディスプレイ上の一次画像にわたって走査する外科医の視線に従う時に取り込まれる複数の画像を表示するための方法を示すフローチャートである。 本開示の様々な実施形態による、内視鏡がディスプレイ上の一次画像にわたって走査する外科医の視線に従う時に取り込まれ且つ表示される複数の画像の例を示す。 本開示の様々な実施形態による、内視鏡がディスプレイ上の一次画像にわたって走査する外科医の視線に従う時に取り込まれ且つ表示される複数の画像の例を示す。
本開示の原理の理解を促進する目的のために、図面で例示される実施形態をここで参照し、特定の言語を、これを説明するために使用する。それにもかかわらず、本開示の範囲の限定は意図されないことが理解されるであろう。本発明の態様の以下の詳細な説明では、開示された実施形態の完全な理解を提供するために、多数の特定の詳細について説明する。しかし、本開示の実施形態は、これら特定の詳細がなくても実施できることは当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、及び回路は、本発明の実施形態の態様を不必要に曖昧にしないように詳細に説明していない。
説明される装置、器具、方法、及び本開示の原理の任意のさらなる適用に対する任意の代替及びさらなる修正は、本開示が関連する分野の当業者が通常想起し得るように完全に企図される。具体的には、１つの実施形態について説明される特徴、構成要素、及び／又はステップは、本開示の他の実施形態について説明される特徴、構成要素、及び／又はステップと組み合わせることができることが完全に企図される。これらの組合せの多数の繰り返しは別々に記載されない。加えて、本明細書で提供される寸法は特定の例に関するものであり、異なるサイズ、寸法、及び／又は比が、本開示の概念を実現するために用いられてよいことが企図される。説明の不要な重複を避けるために、１つの例示的な実施形態にしたがって記載された１又は複数の構成要素又は動作は、他の例示的な実施形態に必要に応じて使用することができる又は他の例示的な実施形態から必要に応じて省略され得る。単純にするために、いくつかの場合、同じ参照番号が、同じ又は同様の部分を言及するために図面全体を通して使用される。
以下の実施形態は、様々な器具及び器具の部分を、三次元空間におけるそれらの状態の観点から、説明する。本明細書で使用されるとき、用語「位置」は、三次元空間（例えば、デカルトＸ，Ｙ，Ｚ座標に沿った並進３自由度）における対象物又は対象物の一部の場所を指す。本明細書で使用されるとき、用語「向き」は、対象物又は対象物の一部の回転配置（回転の３自由度−例えば、ロール、ピッチ、及びヨー）を指す。本明細書で使用されるとき、用語「姿勢」は、並進自由度の少なくとも１つの自由度における対象物又は対象物の一部の位置、及び回転自由度の少なくとも１つの自由度における対象物又は対象物の一部の向き（合計６つの自由度まで）を指す。本明細書で使用されるとき、用語「形状」は、細長い対象物に沿って測定された姿勢、位置、又は向きのセットを指す。
用語「近位」及び「遠位」は、本明細書では、臨床医から手術部位に延びる器具の端部を操作する臨床医に関連して使用されることが理解されるであろう。用語「近位」は、臨床医により近い器具の部分を指し、用語「遠位」は、臨床医から離れ且つ手術部位により近い器具の部分を指す。簡潔さ及び明瞭さのために、「水平」、「垂直」、「より上」、及び「より下」のような空間に関する用語は、本明細書では図面に関して使用され得る。しかし、手術器具は、多くの方向及び位置で使用され、これらの用語は、限定すること及び絶対的であることを意図されていない。
本開示は、概して、限定ではなく、診断、手術、及び／又は治療処置を含む、様々な医療処置で使用される遠隔操作医療システム及び／又は器具の使用中のユーザの目の特性を観察し且つ測定する（例えば、視線追跡）ための視標追跡システムに関する。特に、幾つかの実施形態では、本明細書に開示される視標追跡システムは、手術コンソール、ディスプレイシステム、又は他の医療若しくは手術システム構成要素へのユーザの視線の正確な位置（例えば、２Ｄ又は３Ｄ位置）を追跡する能力に依存する。幾つかの実施形態では、視標追跡システムは、システム器具を直接操作することによって及び／又はシステム全体の変化を生じさせるようにシステムの特性に影響を及ぼすことによって、遠隔操作システムを制御するために使用され得る。特に、本開示の幾つかの実施形態は、システム及び器具制御に、特に、低侵襲処置中にオペレータが遠隔操作医療システムを使用する間にオペレータの視線を追跡することによるシステム及び器具制御に関する。幾つかの実施形態では、複数の視標追跡システム（例えば、訓練者／試験監督及び学生のため）が、与えられた処置を通じて試験監督する及び訓練することを可能にするために、一緒に使用され得る。幾つかの実施形態では、視標追跡システムは、与えられた処置の間に遠隔操作システムを動作させることにおける能力メトリクス（performance metrics）を得るために又はユーザ技能（user skill）を評価するために使用され得る。特に、幾つかの実施形態では、遠隔医療システムに組み込まれる視標追跡システムは、外科医の技能レベル、一貫性（consistency）、生理状態（physical state）、及び／又は手術中の任意の他の能力測定（performance measure）を評価するために外科医の視線を追跡し得る。当業者は、本明細書に開示される視標追跡システムが、システム／器具制御、訓練／試験監督、及び／又は能力評価から恩恵を受ける同様の（例えば、非遠隔操作の）実装で用いられ得ることを認識するであろう。本明細書に開示される視標追跡システム及び方法を用いることによって、ユーザは、遠隔操作医療システムとのより直感的且つより効率的な相互作用を経験し得る。
様々な実施形態によれば、低侵襲医療処置は、器具配送（instrument delivery）及び操作を誘導するために遠隔操作システムを使用して実行され得る。図面の図１Ａを参照すると、例えば、診断、治療、又は外科処置を含む医療処置で用いる遠隔操作医療システムが、参照数字１０によって概して示されている。記載されるように、本開示の遠隔操作医療システムは、外科医の遠隔操作の制御下にある。代替実施形態では、遠隔操作医療システムは、処置又は下位処置（sub-procedure）を実行するようにプログラムされたコンピュータの部分的な制御下にあってよい。さらに他の代替実施形態では、処置又は下位処置を実行するようにプログラムされたコンピュータの完全な制御下の、完全に自動化された医療システムが、処置又は下位処置を実行するために使用されてよい。図１に示されるように、遠隔操作医療システム１０は、概して、患者Ｐが位置する手術台Ｏの近くに又は手術台Ｏに取り付けられた遠隔操作アセンブリ１２を含む。遠隔操作アセンブリ１２は、患者側マニピュレータ（ＰＳＭ）と称され得る。医療器具システム１４が、遠隔操作アセンブリ１２に動作可能に結合される。オペレータ入力システム１６は、外科医又は他の種類の臨床医Ｓが手術部位の画像又は手術部位の表示を見ること及び医療器具システム１４の動作を制御することを可能にする。オペレータ入力システム１６は、マスタコンソールまたは外科医用コンソールと称され得る。この開示に記載されたシステム及び技術を実装するために使用されることができる遠隔操作手術システムの１つの例は、カリフォルニア州SunnyvaleのIntuitive Surgical, Inc.によって製造されているda Vinci（登録商標）手術システムである。
遠隔操作アセンブリ１２は、医療器具システム１４を支持し、且つ１又は複数の非サーボ制御リンク（例えば、所定の位置に手動で位置決めされ且つロックされる１又は複数のリンク、一般的にセットアップ構造と呼ばれる）及び遠隔操作マニピュレータ（例えば、図２参照）の運動学的構造を含み得る。遠隔操作アセンブリ１２は、医療器具システム１４の入力部を駆動する複数のモータを含む。これらのモータは、制御システム２２からの指令に応じて動く。モータは、医療器具システム１４に結合されるとき、自然の又は外科的に作られた解剖学的構造の開口部（anatomical orifice）の中に医療器具を前進させ得る駆動システムを含む。他のモータ駆動システムは、医療器具の遠位端部を多自由度で動かすことができ、この多自由度は、３自由度の直線運動（例えば、Ｘ，Ｙ，Ｚデカルト座標軸に沿った直線運動）及び３自由度の回転運動（例えば、Ｘ，Ｙ，Ｚデカルト座標軸回りの回転）を含み得る。さらに、モータは、器具の関節動作可能なエンドエフェクタを作動させるために使用されることができる。
遠隔操作医療システム１０はまた、内視鏡のような、画像キャプチャ装置を含む、画像キャプチャシステム１８、並びに関連付けられる画像処理ハードウェア及びソフトウェアを含む。遠隔操作医療システム１０はまた、遠隔操作アセンブリ１２のセンサ、モータ、アクチュエータ、及び他のコンポーネント、オペレータ入力システム１６並びに画像キャプチャシステム１８に動作可能に連結される制御システム１２を含む。
オペレータ入力システム１６は、外科医用コンソールに位置することができ、この外科医用コンソールは、通常、手術台Ｏと同じ部屋に位置する。しかし、外科医Ｓは、患者Ｐとは異なる部屋又は完全に異なる建物に位置し得ることが理解されるべきである。オペレータ入力システム１６は、一般的に、医療器具システム１４を制御するための１又は複数の制御装置を含む。より具体的には、外科医の入力指令に応じて、制御システム２２は、医療器具システム１４のサーボ機構運動を生じさせる。制御装置（複数可）は、ハンドグリップ、ジョイスティック、トラックボール、データグローブ、トリガーガン、手動操作制御装置、フット操作制御装置、音声認識装置、タッチスクリーン、身体動き又は存在センサ等のような、任意の数の様々な入力装置の１又は複数を含んでもよい。幾つかの実施形態では、制御装置（複数可）は、テレプレゼンス、手術部位にいるかのように外科医が器具を直接的に制御する強い感覚を有するよう制御装置（複数可）が器具と一体化されるような知覚を外科医に提供するために、遠隔操作アセンブリの医療器具と同じ自由度を備える。他の実施形態では、制御装置（複数可）は、関連する医療器具より多い又は少ない自由度を有し得るとともに、依然としてテレプレゼンスを外科医に提供し得る。幾つかの実施形態では、制御装置（複数可）は、６自由度で動く手動入力装置であり、この手動入力装置は、（例えば、把持ジョーを閉じる、電位を電極に印加する、薬物療法を送達する等のための）器具を作動させるための作動可能ハンドルも含み得る。
システムオペレータは、オペレータ入力システム１６に動作可能に結合された又は組み込まれたディスプレイシステム２０上で見るために提示される、画像キャプチャシステム１８によって取り込まれた、画像を見る。ディスプレイシステム２０は、画像キャプチャシステム１８のサブシステムによって生成されるような、手術部位及び医療器具システム（複数可）１４の画像又は表現を表示する。ディスプレイシステム２０及びオペレータ入力システム１６は、オペレータが、テレプレゼンスの知覚を伴って医療器具システム１４及びオペレータ入力システム１６を制御できるように、向きを合わせされ得る。ディスプレイシステム２０は、オペレータのそれぞれの目に別々の画像を提示するための別個の右及び左ディスプレイのような複数のディスプレイを含むことができ、その結果、オペレータが立体画像を見ることを可能にする。
代替的に又は追加的に、ディスプレイシステム２０は、コンピュータ断層撮影（ＣＴ）、磁気共鳴画像診断（ＭＲＩ）、Ｘ線透視法、サーモグラフィ、超音波、光コヒーレンストモグラフィー（ＯＣＴ）、サーマルイメージング、インピーダンスイメージング、レーザーイメージング、ナノチューブＸ線イメージング等のようなイメージング技術を使用して手術前又は手術中に記録された及び／又は画像化された手術部位の画像を提示し得る。提示された手術前又は手術中画像は、２次元、３次元、又は４次元（例えば、時間ベース又は速度ベースの情報を含む）画像及び画像を再構成するための関連する画像データセットを含み得る。
制御システム２２は、遠隔操作システム１２、医療器具システム１４、オペレータ入力システム１６、画像キャプチャシステム１８、及びディスプレイシステム２０の間で制御を行うための、少なくとも１つのメモリ及び少なくとも１つのプロセッサ（図示せず）、典型的には複数のプロセッサを含む。制御システム２２はまた、本明細書に開示される態様に従う記載された方法の幾つか又は全てを実装するプログラムされた指令（例えば、指令を格納するコンピュータ可読媒体）も含む。制御システム２２は、図１の概略図に単一のブロックとして示されているが、このシステムは、処理のある部分が、オプションで、遠隔操作アセンブリ１２で又はこれに隣接して実行され、処理の他の部分が、オペレータ入力システム１６等で実行される、２以上のデータ処理回路を含んでよい。多種多様な集中型又は分散型データ処理アーキテクチャのいずれかが用いられてよい。同様に、プログラムされた指令は、多数の別々のプログラム又はサブルーチンとして実装されてよい、又はそれらは、本明細書に記載される遠隔操作システムの多数の他の態様に組み込まれてよい。１つの実施形態では、制御システム２２は、ブルートゥース（登録商標）、ＩｒＤＡ、ホームＲＦ、ＩＥＥＥ８０２．１１、ＤＥＣＴ、及び無線テレメトリのような無線通信プロトコルをサポートする。
幾つかの実施形態では、制御システム２２は、医療器具システム１４から力フィードバック及び／又はトルクフィードバックを受ける１又は複数のサーボコントローラを含み得る。フィードバックに応じて、サーボコントローラは、オペレータ入力システム１６に信号を送信する。サーボコントローラ（複数可）はまた、患者の身体の開口部を介してこの身体内の内部手術部位内に延びる医療器具システム（複数可）１４を移動させるように遠隔操作アセンブリ１２に命令する信号を送信し得る。任意の適切な従来の又は専用のサーボコントローラが使用され得る。サーボコントローラは、遠隔操作アセンブリ１２から分離され得る、又は遠隔操作アセンブリ１２と一体にされ得る。幾つかの実施形態では、サーボコントローラ及び遠隔操作アセンブリは、患者の身体に隣接して位置決めされる遠隔操作アームカートの一部として設けられる。
この実施形態では、遠隔操作医療システム１０はまた、オペレータ入力システム１６に動作可能に結合され得る又はオペレータ入力システム１６の中に組み込まれ得る視標追跡ユニット２４を含む。視標追跡ユニット２４は、オペレータがディスプレイ２０を見ている及び／又はオペレータ入力システム１６のオペレータ制御部を操作している間に、オペレータの目に関連する情報を検知し、測定し、記録し、伝達するための制御システム２２に動作可能に結合される。
遠隔操作医療システム１０は、照明システム、操向（steering）制御システム、洗浄システムのような流体管理システム及び／又は吸引システムのような動作及びサポートシステム（図示せず）をさらに含み得る。代替実施形態では、遠隔操作システムは、１より多い遠隔操作アセンブリ及び／又は１より多いオペレータ入力システムを含み得る。マニピュレータアセンブリの正確な数は、他の要因の中でもとりわけ、外科処置及び手術室内の空間的制約に依存する。オペレータ入力システムは、併置されてもよく、又はそれらは別々の位置に配置されてもよい。複数のオペレータ入力システムは、１より多いオペレータが１又は複数のマニピュレータアセンブリを種々の組合せで制御することを可能にする。
図１Ｂは、１つの実施形態による遠隔操作アセンブリ１００（例えば、図１Ａに示される遠隔操作アセンブリ１２）の正面図である。アセンブリ１００は、床の上に置かれるベース１０２、ベース１０２に取り付けられる支持タワー１０４、及び手術器具（画像キャプチャシステム１８の部分を含む）を支持する幾つかのアーム１０６を含む。図１Ｂに示されるように、アーム１０６ａ、１０６ｂ、１０６ｃは、組織を操作するために使用される手術器具を支持し且つ動かす器具アームであり、アーム１０８は、内視鏡を支持し且つ動かすカメラアームである。図１Ｂはさらに、器具アーム１０６ａ、１０６ｂ、１０６ｃそれぞれに取り付けられた交換可能な手術器具１１０ａ、１１０ｂ、１１０ｃを示し、またカメラアーム１０８に取り付けられた内視鏡１１２を示している。内視鏡は、手術部位の立体画像を取り込み且つ別個の立体画像をディスプレイシステム２０に提供するための立体内視鏡であり得る。知識のある人は、器具及びカメラを支持するアームがまた天井若しくは壁、又はある例では、手術室の設備の他の部分（例えば、手術台）に（固定して又は移動可能に）取り付けられるベースプラットホームによって支持され得ることを認めるであろう。同様に、彼らは、２以上の別個のベースが使用され得る（例えば、１つのベースが各アームを支持する）ことを認めるであろう。
図１Ｂにさらに示されるように、器具１１０ａ、１１０ｂ、１１０ｃ、及び内視鏡１１２は、それぞれ、器具インタフェース１５０ａ、１５０ｂ、１５０ｃ、及び１５０ｄを並びにそれぞれ、器具シャフト１５２ａ、１５２ｂ、１５２ｃ、及び１５２ｄを含む。幾つかの実施形態では、遠隔操作アセンブリ１００は、器具１１０ａ、１１０ｂ、１１０ｃ、及び内視鏡１１２をカニューレに対して固定するカニューレ用支持部を含み得る。幾つかの実施形態では、器具アーム１０６ａ、１０６ｂ、１０６ｃ、及び１０８のそれぞれの部分は、患者に対して器具１１０ａ、１１０ｂ、１１０ｃ、及び内視鏡１１２を位置決めするために手術室の人員によって調整可能であり得る。アーム１０６ａ、１０６ｂ、１０６ｃ、及び１０８の他の部分は、（図１Ｃに示されるような）オペレータ入力システム１２０のオペレータによって作動され且つ制御され得る。手術器具１１０ａ、１１０ｂ、１１０ｃ、及び内視鏡１１２はまた、オペレータ入力システム１２０のオペレータによって制御され得る。
図１Ｃは、オペレータ入力システム１２０（例えば、図１Ａに示されたオペレータ入力システム１６）の正面図である。オペレータ入力システム１２０は、左及び右複数自由度（ＤＯＦ）制御インタフェース１２２ａ及び１２２ｂを備えるコンソール１２１を含み、この制御インタフェースは、手術器具１１０ａ、１１０ｂ、１１０ｃ、及び内視鏡１１２を制御するために使用される運動学的チェーン（kinematic chains）である。外科医は、典型的には親指及び人差し指で、制御インタフェース１２２のそれぞれの挟持体アセンブリ（pincher assembly）１２４ａ、１２４ｂを把持し、挟持体アセンブリを様々な位置及び向きに動かすことができる。ツール制御モードが選択されるとき、制御インタフェース１２２のそれぞれは、対応する手術器具及び器具アーム１０６を制御するように構成される。例えば、左制御インタフェース１２２ａが、器具アーム１０６ａ及び手術器具１１０ａを制御するように結合され得るとともに、右制御インタフェース１２２ｂが、器具アーム１０６ｂ及び手術器具１１０ｂを制御するように結合され得る。第３の器具アーム１０６ｃが外科処置の間に使用され且つ左側に位置している場合、左制御インタフェース１２２ａは、アーム１０６ａ及び手術器具１１０ａを制御することからアーム１０６ｃ及び手術器具１１０ｃを制御することに切り替えられることができる。同様に、第３の器具アーム１０６ｃが外科処置の間に使用され且つ右側に位置している場合、右制御インタフェース１２２ｂは、アーム１０６ｂ及び手術器具１１０ｂを制御することからアーム１０６ｃ及び手術器具１１０ｃを制御することに切り替えられることができる。幾つかの例では、制御インタフェース１２２ａ、１２２ｂと、アーム１０６ａ／手術器具１１０ａの組合せと、アーム１０６ｂ／手術器具１１０ｂの組合せとの間の制御の割り当ては、交換されてもよい。これは、例えば、内視鏡が１８０度回転される場合、内視鏡視野で動く器具が、外科医が動かしている制御インタフェースと同じ側にあるように見えるように、行われ得る。挟持体アセンブリは、典型的には、手術器具１１０の遠位端部のジョー式（jawed）手術エンドエフェクタ（例えば、鋏、把持開創器等）を操作するために使用される。
追加の制御装置は、フットペダル１２８を備える。フットペダル１２８のそれぞれは、器具１１０の選択された１つの特定の機能を作動させることができる。例えば、フットペダル１２８は、ドリル又は焼灼ツールを作動させることができる又は洗浄、吸引、若しくは他の機能を動作させ得る。複数の器具が、ペダル１２８の複数のものを押すことによって作動されることができる。器具１１０の特定の機能は、他の制御装置によって作動されてもよい。
外科医用コンソール１２０はまた、立体画像ビューワシステム１２６（例えば、図１Ａに示されるディスプレイシステム２０）を含む。立体画像ビューワシステム１２６は、外科医が外科医の左目及び右目それぞれを使用して立体画像ビューワシステム１２６の中の左及び右立体画像を見ることができるように、左接眼レンズ１２５ａ及び右接眼レンズ１２５ｂを含む。内視鏡１１２によって取り込まれる左側及び右側画像は、対応する左及び右画像ディスプレイに出力され、外科医は、ディスプレイシステム（例えば、図１Ａに示されたディスプレイシステム２０）上で三次元画像を認識する。有利な構成では、制御インタフェース１２２は、ディスプレイに示される手術ツールの画像がディスプレイの下の外科医の手の近くに位置するように見えるように、立体画像ビューワシステム１２６の下に配置される。この特徴は、外科医が、あたかも手を直接見ているかのように、様々な手術器具を三次元ディスプレイの中で直観的に制御することを可能にする。したがって、関連付けられる器具アーム及び器具のサーボ制御は、内視鏡画像基準座標系（endoscopic image reference frame）に基づく。
内視鏡画像基準座標系はまた、制御インタフェース１２２がカメラ制御モードに切り替えられる場合に使用される。幾つかの場合には、カメラ制御モードが選択される場合、外科医は、内視鏡１２２の遠位端部を、制御インタフェース１２２の一方又は両方と一緒に動かすことによって動かし得る。外科医はその後、あたかも画像を彼又は彼女の手に持つかのように、制御インタフェース１２２を動かすことによって表示された立体画像を直感的に動かし（例えば、パンする、チルトする、ズームする）得る。
図１Ｃにさらに示されるように、ヘッドレスト１３０が、立体画像ビューワシステム１２６の上に配置されている。外科医が、立体画像ビューワシステム１２６を通して見ているとき、外科医の額はヘッドレスト１３０に対して位置決めされる。本開示の幾つかの実施形態では、内視鏡１１２又は他の手術器具の操作は、制御インタフェース１２２の利用の代わりにヘッドレスト１３０の操作を通じて達成されることができる。幾つかの実施形態では、ヘッドレスト１３０は、圧力センサ、ロッカープレート（rocker plate）、光学的に監視されるスリッププレート、又は外科医の頭の運動を検出することができる他のセンサを含むことができる。内視鏡カメラを制御するためにヘッドレストを操作するための検知方法を使用することのさらなる詳細は、例えば、"ENDOSCOPE CONTROL SYSTEM”と題する米国出願第61/865,996号に見出すことができ、これは本明細書に参照により援用される。
図１Ｄは、手術システムのビジョンカート構成要素１４０の正面図である。例えば、１つの実施形態では、ビジョンカート構成要素１４０は、図１Ａに示された医療システム１０の一部である。ビジョンカート１４０は、手術システムの中央電子データ処理ユニット１４２（例えば、図１Ａに示される制御システム２２の全て又は一部）及びビジョン装置１４４（例えば、図１Ａに示される画像キャプチャシステム１８の一部）を収容することができる。中央電子データ処理ユニット１４２は、手術システムを動作させるために使用されるデータ処理の多くを含む。しかし、様々な実装では、中央電子データ処理は、外科医コンソール１２０及び遠隔操作アセンブリ１００に分散され得る。ビジョン装置１４４は、内視鏡１１２の左及び右画像取込機能のためのカメラ制御ユニットを含み得る。ビジョン装置１４４はまた、手術部位を撮像するために照明を提供する照明装置（例えば、キセノンランプ）を含み得る。図１Ｄに示されるように、ビジョンカート１４０は、オプションのタッチスクリーンモニタ１４６（例えば、２４インチモニタ）を含み、これは、アセンブリ１００上又は患者側カート上のような、その他の所に取り付けられてもよい。ビジョンカート１４０はさらに、電気手術ユニット、注入器（insufflators）、吸引洗浄器具（suction irrigation instruments）、又はサードパーティーの焼灼装置のようなオプションの補助手術装置のためのスペース１４８を含む。遠隔操作アセンブリ１００及び外科医用コンソール１２０は、３つの構成要素が一緒に、外科医に直観的なテレプレゼンスを提供する単一の遠隔操作低侵襲手術システムとして機能を果たすように、例えば、光ファイバ通信リンクを介してビジョンカート１４０に結合される。
幾つかの実施形態では、遠隔操作手術システムのアセンブリ１００の幾つか又は全てが、仮想の（シミュレートされた）環境の中で実装されることができ、外科医用コンソール１２０で外科医によって見られる画像の幾つか又は全ては、器具及び／又は解剖学的構造の人工的な画像であることができることに留意されたい。幾つかの実施形態では、このような人工的な画像は、ビジョンカート構成要素１４０によって提供されることができる及び／又は外科医用コンソール１２０で（例えば、シミュレーションモジュールによって）直接的に生成されることができる。
図１Ａ−１Ｄを参照して記載された遠隔操作手術システムでの典型的な低侵襲手術の間、少なくとも２つの切開部が、患者の体に（通常、関連付けられるカニューレを配置するためにトロカールを使用して）作られる。１つの切開部は、内視鏡カメラ器具のためであり、他のものは、手術器具のためである。幾つかの手術処置では、幾つかの器具及び／又はカメラポートが、手術部位のアクセス及びイメージングを提供するために使用される。切開部は、従来の観血手術のために使用される大きい切開部と比較して比較的小さいが、最小の数の切開部が、患者の外傷をさらに減らすために及び改良された整容性（cosmesis）のために望まれている。他の実施形態では、遠隔操作医療システム１０は、患者の解剖学的構造への単一の切開部アクセスを伴って又は、鼻、口、肛門、膣等のような自然開口を通るアクセスを伴って使用され得る。
典型的な遠隔操作手術の間、外科医は、手術システム、イメージング装置、及び／又はシステムに関連付けられる他の手術器具を制御するために様々な制御装置を物理的に操作することがしばしば必要である。例えば、外科医は、装置を誘導し且つ装置に影響を及ぼすために制御部を物理的に操作することによってイメージング装置の視野を調整する必要があるかもしれない。外科医は、ジョイスティック又はマウスを手動で制御するために彼若しくは彼女の手を、或いは、手術システムにログインするために、内視鏡の視野内のターゲット手術部位を探すために、クランプのような手術器具の運動を操作するために、及び／又はシステム設定若しくはディスプレイ設定を調整するために、外科医コンソールのフットペダルを軽く叩く（tap）するために彼若しくは彼女の足を、使用し得る。従来の方法は、外科医が手術動作から一方の手を自由にすることを、又はフットペダルを軽く叩くために一方の足を使用することを必要とし、これらの両方は、手術動作を不必要に遅延又は中断させるかもしれない。例えば、手又は足の動作は、外科医の視線及び注意をターゲットの手術部位から外科医用コンソールに向け直すかもしれず、これは、操作を遅延又は中断させ得る。必要な手動調整を実行した後、外科医は、彼又は彼女の注意及び注視点をターゲットの手術部位に再び焦点を合わせる追加の時間を使う必要があるかもしれない。
本明細書に開示される実施形態は、１又は複数のユーザ（例えば、外科医及び／又は訓練者）が手術システムとインタフェースで接続する方法を向上させるために視線検出を利用する。ユーザの視線（例えば、手術コンソール、ディスプレイシステム又は他の医療若しくは手術システム構成要素に対するユーザの視線の３Ｄ位置）を手術システムに向けられる指令に変換することによって、本明細書に開示される実施形態は、従来の制御方法によって提供されるより、遠隔医療システム１０に対してより速い且つより効率的な制御を可能にし得る。視標追跡、又は視線追跡は、注視点（point-of-gaze）（ＰＯＧ）（すなわち、典型的には３Ｄ空間内で、ユーザが見ている所）、又は頭に対する目の運動のいずれかを測定するプロセスである。言い換えると、ＰＯＧは、人の視線が向けられている空間内のポイントであり、それぞれの目の網膜（すなわち、網膜中心窩（fovea）の最高の明瞭な領域（highest acuity region）の中心に画像化される空間内のポイントとしても規定されている。
図２Ａは、画像ディスプレイ１５１（例えば、図１Ａに示された画像ディスプレイシステム２０）及び手術野１５５（例えば、患者Ｐの内部の解剖学的構造の領域）に対するユーザＵ（例えば、外科医Ｓ又は試験監督）を概略的に示す。ユーザ（及び彼又は彼女の目）は、ユーザ３Ｄデカルト基準座標系１６０（すなわち、ユーザフレーム）に存在する。理解のし易さ及び余計な言葉を省くために、用語「デカルト基準座標系」は、この明細書の残りの部分において単に「フレーム」と称される。画像ディスプレイ１５１は、二次元又は３次元画像フレーム１６５に存在し、手術野は、手術フレーム１７０に存在する。それぞれのフレーム１６０、１６５、１７０は、他のものと異なる寸法及び特性を含む。ユーザが、第２のフレーム１６５における画像ディスプレイ１５１に対して第１のフレーム１６０にいて彼又は彼女の視線を動かすとき、本明細書に開示される実施形態は、ディスプレイのフレーム１６５において可視であり且つ手術野のフレーム１７０に存在する手術器具を含む遠隔医療システム１０に対応して影響を及ぼすように、その目の運動を制御信号に変換することができる。
１つの態様では、視線追跡及び他の目の特性の観察は、全体として、遠隔操作医療システム１０と通信するために及び／又は遠隔操作医療システム１０の挙動に影響を及ぼすために使用されることができる。例えば、図１Ａに示される視標追跡ユニット２４によって観察される目の特性及び動態（dynamics）は、（例えば、網膜スキャンと同様の方法の）外科医の認識及びログインのために使用され得る。この特徴は、図４Ａ及び４Ｂに関連して以下にさらに詳細に記載される。幾つかの例では、ユーザの視線は、手術野フレーム１７０における手術器具の３Ｄ位置を較正するために及び遠隔ロボットアーム運動学的チェーンの可能性のある不正確さを考慮するために使用されることができる。幾つかの例では、遠隔操作医療システム１０は、ユーザの視線が画像ディスプレイフレーム１６５に向かって又はフレーム１６５内の特定の視点に向けられていない場合に、手術フレーム１７０の手術器具の運動を防ぐように構成されることができる（すなわち、ユーザを締め出す）。幾つかの例では、遠隔操作医療システム１０は、ユーザの目がアイトラッカによって検出されない場合に、手術フレーム１７０の手術器具の運動を防ぐように構成されることができる（すなわち、ユーザを締め出す）。幾つかの実施形態では、ユーザインタフェース（例えば、メニュー）が、画像ディスプレイ上に示された手術野の画像の上に重ねられ得る。ユーザフレーム１６０におけるユーザの視線は、フレーム１６５における画像ディスプレイ１５１上に表示された画像における視点を決定するために使用され得るとともに、決定された視点に対応するユーザインタフェースのユーザ選択可能なオプションの中のユーザの選択を特定することができる。幾つかの例では、画像ディスプレイの画像フレーム１６５に対するユーザの視線の３Ｄ位置は、画像ディスプレイ１５１上の表示されたユーザインタフェースの深さ、位置、及びサイズを決定し得る。例えば、ユーザインタフェースは、ユーザの視線の現在の３Ｄ位置に最も良く対応する深さ、位置、及びサイズで自動的に表示されることができ、それによって、ユーザインタフェースと相互に作用するために彼又は彼女の目を、焦点を合わせ直す必要を最小にする。幾つかの例では、ユーザの視線の３Ｄ位置は、ユーザが、２つの目の間の観察される動態に基づいて立体を見ているか否かを測るために使用され得る。幾つかの例では、ユーザの視線の３Ｄ位置は、ユーザが、ディスプレイ全体を見ることができる（及びその逆にユーザの視線がスクリーン全体に渡って決定されることができる）ように立体ビューワの人間工学的設定（例えば、高さ、向き等）を調整するために、又はスクリーンの中央にユーザの視線を中心化するために、使用され得る。
他の態様では、リアルタイム視線追跡が、非限定例として、イメージング装置及び／又はエネルギ供給装置のような、遠隔操作医療システム１０に結合される別個の手術器具を手術フレーム１７０において、作動させる、作動停止させる、及びその他の方法で制御するために使用されることができる。例えば、システム１０は、画像ディスプレイにおける画像に対する視点が、手術器具の位置と所定時間一致することを制御システムが決定する場合に、手術器具を作動させるように構成され得る。１つの実施形態では、視線検出は、ユーザが視野を定めるためにイメージング装置を誘導したいところを定めるために使用されることができる。本明細書に開示される実施形態は、ユーザが手動でイメージング装置の位置又は観測角度を変える必要無しに、ディスプレイ上にユーザの所望の視界（例えば、ターゲットの手術部位）を連続的に保つようにユーザに視線の方向にイメージング装置を自動的に動かすように構成され得る。例えば、幾つかの実施形態では、ユーザの視線は、ユーザの視線の方向に対応するようにイメージング装置の視界を自動的に中心に置くために使用されることができる。幾つかの実施形態では、ユーザの視線は、器具を１つのモダリティ（modality）から他のものに切り替えるために使用され得る。例えば、１つの例では、ユーザの視線は、イメージング装置の動作モードを変更する（例えば、カラーイメージング、白黒イメージング、蛍光イメージング（fluorescence imaging）、超音波イメージング、及び／又は任意の他のイメージングモダリティのような、イメージングモード間で切り替える）ように解釈され得る。同様に、他の例では、ユーザは、イメージング装置の動作モードを変更する（例えば、カラーイメージング、白黒イメージング、蛍光イメージング、超音波イメージング、及び／又は任意の他のイメージングモダリティのような、イメージングモード間で切り替える）ために、特定のパターンのまばたき又は他の目の運動を実行し得る。
他の例では、視線方向は、手術野のリアルタイムで表示された画像にラベルを付ける又はその他の方法でマーキングするのを支援し得る。外科医は、解剖学的構造の関心領域を特定するために手術野に及び／又は表示された画像１５０上に仮想の標識を付けるように、手術野の３Ｄ位置を見るとともに二次動作（例えば、非限定の例として、別個のボタンを押すことによって、延長した凝視を維持することによって、又は特定のパターンでまばたきすることによって）で確認し得る。
他の例では、特定の手術器具は、外科医の視線がその特定の器具に所定期間焦点を合わせられていることを視標追跡ユニットが確認するときにのみ作動され得る。例えば、遠隔操作医療システム１０は、ステープラ器具がステープラの針を送ることを許容される前に外科医の視線がステープラ器具に所定期間焦点を合わせられることを必要とするように構成され得る。これは、外科医の視界の中の器具の意図された起動を促進するとともに、視野の外にあった及び／又は注意を払われていなかった器具の不注意の起動を妨げ得る。外科医の視線が、他の場所に特定の期間向けられているとき、手術器具は、動作を停止され得る。他の実施形態では、特定の手術器具に対する制御は、視標追跡ユニットが、第２のユーザの視線が、その特定の器具に所定期間焦点を合わせられている又はその特定の器具にある方法で焦点を合わせられていることを確認するとき、第１のユーザから第２のユーザに移動され得る。これらの実施形態の幾つかは、図３Ｃを参照して以下にさらに記載される。
他の態様では、リアルタイム視線追跡は、処置中の外科医の訓練又は試験監督を容易にするために使用されることができる。１つの例では、図２Ｄに示されるように、遠隔操作医療システム１０は、外科医及び試験監督のための別個の手術コンソール及び別個の視標追跡ユニットのセットを含んでよく、視標追跡ユニットの各セットは、遠隔医療システム１０及び／又は手術器具の動作に影響を及ぼすように、外科医又は試験監督のいずれかの視線運動を認識し且つ伝達するように構成される。試験監督する又は訓練する例示の方法は、図３Ａ及び３Ｂを参照して以下に記載される。外科医の目の３Ｄ位置は、リアルタイムでフィードバック及び指導を提供するために、試験監督（例えば、試験監督する外科医）が見るとともに評価するために外部３Ｄ画像ディスプレイに表示され得る。同様に、試験監督の目の３Ｄ位置は、リアルタイムで、外科医が見るとともに指導されるために、手術コンソールの外部３Ｄ画像ディスプレイに表示され得る。例えば、遠隔操作システム１０の動作中（例えば、訓練中又は実際の手術中）、外科医が手術部位の正しい部分に焦点を
合わせていることを確実にすることが望ましくなり得る。手術コンソールの中の画像ディスプレイ上で試験監督の視線の３Ｄ位置を見ることによって、外科医は、（例えば、試験監督が手術野の中を見ている所を見ることによって）手術野の中のどこを見るべきかを知り得る。幾つかの例では、試験監督の視線は、非限定の例として、ビジョンカート１４０、手術コンソール１２０、デュアル又は共用コンソール、タッチスクリーンディスプレイ、及び／又はタブレットデバイスのようなリモートデバイスを含む、様々な可能な装置の画像ディスプレイから取り込まれることができる。
幾つかの例では、外科医の画像ディスプレイは、試験監督の視線の３Ｄ位置を反映させるためにリアルタイムで変更され得る。１つの実施形態では、試験監督が手術フレーム１７０の中の特定の３Ｄ位置に対応する彼又は彼女の画像ディスプレイの特定の領域を見ていることをシステム１０が検出するとき、システム１０は、外科医の画像ディスプレイの対応する領域（例えば、手術フレーム１７０内の同じ３Ｄ位置に対応する外科医の画像ディスプレイの領域）を強調する又は他の方法で示し得る。例えば、外科医の画像ディスプレイ１５１は、試験監督の視線の３Ｄ位置に対応する画像ディスプレイの領域を、シャープにする（例えば、解像度を上げる）又はより明るくさせ得る。追加の又は代替実施形態では、外科医の画像ディスプレイは、試験監督の視線が向けられていない３Ｄ位置に対応する画像ディスプレイの領域を薄暗くする（dim）又はよりぼやけさせ得る。
他の態様では、リアルタイム視線追跡は、処置の間及び／又は処置の後に外科医の技能を評価し且つ採点するために使用されることができる。本明細書に開示される視線追跡の実施形態は、限定ではなく、視線固定、サッケード（saccade）、及び／又はスクリーンのどの部分を視線が占めているかを含む、様々な目の特性に基づいて遠隔医療システム１０を操作する外科医の技能レベルを測定し且つ定量化するために使用されることができる。加えて、外科医の視線動態（eye gaze dynamics）及び／又は瞳孔径変動（pupil diameter fluctuations）をリアルタイムで追跡することは、外科医の状態（例えば、ストレスレベル及び／又は仕事量）を監視するために使用されることができる。幾つかの例では、システム１０は、その状態の低下が、視線の検出される変化又はパターンに基づいて決定される場合、警告を提供するように構成されることができる。この特徴は、図４Ａ及び４Ｂに関連して以下にさらに詳細に記載される。
図２Ｂは、本開示の幾つかの実施形態による図１Ａ、１Ｂ、及び１Ｃの遠隔医療システム１０によって使用され得る視標追跡ユニット２００の幾つかの例を示す。上述のように、視線追跡、又は視標追跡は、ＰＯＧ（例えば、ユーザが見ている所）又は頭に対する目の運動のいずれかを測定することのプロセスである。したがって、視標追跡ユニット２００は、目の位置及び目の運動のようなユーザの目の特性を測定するための装置を有する。目の運動及び視線方向を測定するための幾つかの方法がある。幾つかの方法は、そこから目の位置が抽出されるビデオ画像を使用し、他の方法は、サーチコイルを使用する、又は電気眼球運動図に基づく。さらに他の方法では、赤外光が、赤外線カメラ又は検出器を有する或いは赤外線カメラ又は検出器と通信する装置によって放射される。赤外光は、ユーザの網膜から反射して赤外線カメラ又は検出器に戻り、反射赤外光の量は、エミッタに対する人の視線の方向に基づく。３Ｄ空間におけるユーザの注視点は、いったん反射ＩＲ光がある期間の間に特定の閾値に達すると決定され得る。視線の小さいそれは、まばたきと解釈されることができ、典型的には無視される。
描かれた実施形態では、視標追跡ユニット２００は、左及び右接眼レンズ１２５ａ及び１２５ｂ、左及び右目画像ディスプレイ２０２ａ及び２０２ｂ、左及び右アイトラッカ２０４ａ及び２０４ｂ、並びにプロセッサ２０６を含む。他の実施形態では、視標追跡ユニット２００は、（例えば、左及び右目は独立した画像ディスプレイ２０２ａ、２０２ｂを有するが）左及び右目両方を同時に追跡するように構成される単一のアイトラッカを含み得る。幾つかの実施形態では、視標追跡ユニット２００はさらに、注視点を追跡するためにアイトラッカのために外科医の目を照射するための反射システム及び／又は光エミッタを含む。幾つかの実施形態では、反射システムは、光エミッタからの光を外科医の目に反射させるように、及び外科医の目の注視点をアイトラッカに反射させるように、配置される複数のミラーを含み得る。立体ビューワ１２６の様々な実施形態のさらなる詳細は、例えば、"MEDICAL DEVICES, SYSTEMS, AND METHODS INTEGRATING EYE GAZE TRACKING FOR STEREO VIEWER"と題する、２０１４年３月１９日に出願された米国仮出願第61/955,334号に、見いだされることができ、これは、その全体が参照により本明細書に援用される。
幾つかの実施形態では、遠隔操作アセンブリ１００に配置される内視鏡１１２は、手術中に手術野の画像を取り込むように操作されることができ、これらの画像は、左及び右画像ディスプレイ２０２ａ及び２０２ｂに示される。内視鏡１１２によって取り込まれる画像は、次に、左及び右立体画像を生成するようにプロセッサ２０６によって処理され得る。幾つかの例では、プロセッサ２０６は、例えば、中央電子データ処理ユニット１４２の一部としてのビジョンカートに配置され得る。代替的には、プロセッサ２０６は、遠隔操作アセンブリ１００及び／又は外科医用コンソール１２０に配置され得る。幾つかの実施形態では、視標追跡ユニット２００はまた、シミュレーションモジュール、例えば、da Vinci（登録商標）Skills Simulator（商標）と統合された外科医用コンソール１２０で使用されてもよく、そこでは仮想画像が、左及び右画像ディスプレイ２０８ａ及び２０８ｂに示されることができる。
図２Ｂを参照すると、生成された左及び右立体画像は、左及び右画像ディスプレイ２０２ａ及び２０２ｂそれぞれに示され得る。左及び右接眼レンズ１２５ａ及び１２５ｂはレンズを含み、外科医は、右及び左画像ディスプレイ２０２ａ及び２０２ｂを、左及び右接眼レンズ１２５ａ及び１２５ｂを通じて、外科医の左及び右目それぞれで見ることができる。手術野の３Ｄ立体画像が、視標追跡ユニット２００を介して外科医によって知覚され得る。幾つかの実施形態では、左及び右接眼レンズ１２５ａ及び１２５ｂの間の距離は、異なるユーザの異なる瞳孔間距離に適応するように調整可能である。幾つかの実施形態では、左及び右接眼レンズ１２５ａ及び１２５ｂは、外科医の左及び右目視力それぞれの必要に基づいて独立して調整され得る。左目及び右目画像ディスプレイは、２Ｄ又は３Ｄディスプレイスクリーンであり得る。幾つかの実施形態では、左目及び右目画像ディスプレイは、液晶ディスプレイ（ＬＣＤ）スクリーンである。
依然として図２Ｂを参照すると、左アイトラッカ２０４ａは、外科医の左目の注視点を追跡するために使用されることができ、右アイトラッカ２０４ｂは、外科医の右目の注視点を追跡するために使用されることができる。幾つかの実施形態では、視標追跡ユニット２００はまた、外科医の左及び右目の注視点が、左及び右アイトラッカ２０４ａ及び２０４ｂそれぞれによって取り込まれ得るように、外科医の目を照射するように光を放射することができる光エミッタを含み得る。光エミッタは、左及び／又は右アイトラッカ２０４ａ及び２０４ｂと一体にされてもされなくてもよい。幾つかの実施形態では、光エミッタは、赤外発光ダイオード（ＩＲ ＬＥＤ）のような、赤外（ＩＲ）光エミッタであり得る。幾つかの実施形態では、左及び右接眼レンズ１２５ａ及び１２５ｂは、光エミッタ並びに／又は左及び右目画像ディスプレイ２０２ａ及び２０２ｂからの光の反射を最小に且つ透過を最大にするように構成される、適切な光学コーティングを含み得る。幾つかの実施形態では、左及び右アイトラッカ２０４ａ及び２０４ｂは、立体カメラを含み得る。幾つかの実施形態では、左及び右アイトラッカ２０４ａ及び２０４ｂは、電荷結合素子（ＣＣＤ）カメラである。幾つかの実施形態では、左及び右アイトラッカ２０４ａ及び２０４ｂは、ＩＲ光に敏感であるＩＲカメラであり且つＩＲ光エミッタから放射されたＩＲ光を取り込むことができる、赤外（ＩＲ）カメラである。左及び右アイトラッカ２０４ａ及び２０４ｂは、立体画像ビューワ１２６に配置され得るとともに、左目及び右目画像ディスプレイ２０２ａ及び２０２ｂのベース部に取り付けられ得る。左及び右アイトラッカ２０４ａ及び２０４ｂ並びに左及び右画像ディスプレイ２０２ａ及び２０２ｂは、米国仮出願61/955,334号で論じられるように、任意の適切な配置に配置され得る。
幾つかの実施形態では、プロセッサ２０６は、左及び右アイトラッカ２０４ａ及び２０４ｂに結合されるとともに、画像ディスプレイ１５１の画像フレーム１６５に対する外科医の注視点の３Ｄ位置を計算するように且つその３Ｄ位置を、（図２Ａに示された）手術野１５５の手術フレーム１７０の対応する３Ｄ位置に変換するように構成される。例えば、左及び右アイトラッカ２０４ａ及び２０４ｂによって取り込まれた注視点は、修正される（rectified）ことができ、外科医の左及び右目の注視点間の相違（disparity）が決定されることができる。外科医の注視点の３Ｄ位置は次に、左及び右アイトラッカ２０４ａ及び２０４ｂ間の距離、左及び右アイトラッカ２０４ａ及び２０４ｂのそれぞれの焦点距離に関連するパラメータ、並びに決定された相違を使用して計算されることができる。幾つかの実施形態では、プロセッサ２０６は、外科医用コンソール１２０の視標追跡イメージングシステム２００に含まれる。幾つかの実施形態では、プロセッサ２０６は、例えば、中央電子データ処理ユニット１４２の一部として、図１Ｄに示されるビジョンカート１４０に含まれる。幾つかの実施形態では、プロセッサは、制御システム２２の一部である。幾つかの実施形態では、プロセッサ２０６はまた、３Ｄ注視点測定、位置合わせ、及び較正データを格納するためにメモリに結合されることができる。幾つかの実施形態では、プロセッサ２０６は、外科医の注視点の２Ｄ位置を計算するために使用され得る。幾つかの実施形態では、外科医の注視点の計算された２Ｄ又は３Ｄ位置は、外科医の注視点の変化を示す点（dots）、フラグ（flags）、又はベクター（vectors）のような、様々な適切な表現のいずれかで表示されることができ、外科医の注視点は、左及び右画像ディスプレイ２０２ａ及び２０２ｂ上に手術野１５５の画像と組み合わせて表示されることができる。
幾つかの実施形態では、手術中の外科医の頭／顔の運動が、左及び右アイトラッカ２０４ａ及び２０４ｂを使用して追跡されることができる。２Ｄ又は３Ｄ注視点位置に位置し得る、計算された視点はさらに、外科医の追跡された頭／顔の運動に基づいて調整又は補償され得る。頭／顔の運動の追跡及び補償のプロセスのさらなる詳細は、例えば、米国仮出願第61/955334号、及び"ENDOSCOPE CONTROL SYSTEM"と題する米国仮出願第61/865,996号に見出すことができ、これらは、その全体が参照により本明細書に援用される。
視標追跡ユニット２００は、画像ディスプレイ又は図２Ｂに示されるように注視点ディスプレイ２１０に結合され得る。幾つかの実施形態では、注視点ディスプレイ２１０は、３Ｄ注視点ディスプレイである。幾つかの実施形態では、注視点ディスプレイ２１０は、図２Ａに示される画像ディスプレイ１５１と同じである。外科医の注視点の生成された２Ｄ又は３Ｄ位置は、外科医の注視点の変化を示す点、フラグ、又はベクターのような、任意の適切な表現として注視点ディスプレイ２１０に出力され得る。手術野１５５の画像は、注視点ディスプレイ２１０上に外科医の注視点の３Ｄ位置と組み合わせて表示され得る。幾つかの実施形態では、注視点ディスプレイ２１０は、外部３Ｄ画像ディスプレイであり得る。例えば、注視点ディスプレイ２１０は、図１Ｄに示されるビジョンカート１４０に位置する３Ｄタッチスクリーンモニタ１４６であり得る。幾つかの例では、注視点ディスプレイ２１０は、図１Ｂに示される遠隔操作アセンブリ１００に取り付けられ得る。幾つかの例では、注視点ディスプレイ２１０は、タブレットのような、ポータブルディスプレイデバイスであり得る。幾つかの例では、注視点ディスプレイ２１０は、複数のディスプレイスクリーン又はデバイス上に同時に提示され得る。
したがって、視標追跡ユニット２００は、ユーザに画像を表示するように構成される注視点ディスプレイ２１０、ユーザの注視点を反映するデータを測定するように構成される少なくとも１つのアイトラッカ、並びにユーザの注視点が向けられている注視点ディスプレイ２１０上の画像の視点を決定するためにデータを処理するように、及び決定された視点に基づいて遠隔操作医療システム１０の少なくとも１つの機能を制御するように、構成されるプロセッサ２０６を有する。例えば、幾つかの実施形態では、視標追跡ユニット２００のプロセッサ２０６は、少なくとも１つの手術器具の運動及びエネルギ放出を制御するように構成される器具制御ユニット２１２に結合され得る。この器具制御ユニット２１２は、制御システム２２の構成要素であり得る。器具制御ユニット２１２は、別個のプロセッサ及び１又は複数の器具の機能を制御する１又は複数のアクチュエータを含み得る。幾つかの実施形態では、器具制御ユニット２１２は、１又は複数の手術器具の起動、活動停止、及び運動を制御するように構成される。幾つかの実施形態では、器具制御ユニット２１２のプロセッサは、１又は複数のモータに制御信号を供給する。例えば、１つの実施形態では、１又は複数のモータは、ステープラのような手術器具を放出する（release）又は発射する（fire）ように構成される発射モータを含み得る。
幾つかの実施形態では、視標追跡ユニット２００のプロセッサ２０６は、遠隔操作医療システム１００の様々なシステムパラメータ及び特性を調整するように構成されるシステム制御ユニット２１４に結合され得る。システム制御ユニット２１４は、制御システム２２の構成要素であり得る。システム制御ユニット２１４は、１又は複数の別個のプロセッサを含み得る。システム制御ユニット２１４は、外科医と遠隔操作医療システム１００との間の相互作用を提供する１又は複数のユーザインタフェースを含み得る。幾つかの例では、ユーザインタフェースは、外科医用コンソール、ディスプレイ、タッチスクリーン、又は他の適切な入力装置を含む。ユーザインタフェースはまた、１又は複数のソフトウェアアプリケーションを含み得る。
図２Ｃは、遠隔操作医療システム１００及び／又は任意の関連付けられる医療器具を制御するように且つ遠隔操作医療システム１００及び／又は任意の関連付けられる医療器具に影響を及ぼすように、視標追跡ユニット２００を使用する例示の方法を記載するフローチャート２１５を示す。本明細書に記載される方法ステップのいずれかは、少なくとも部分的に、１又は複数のプロセッサによって実行され得る、非一時的、有形、機械可読媒体に格納される実行可能なコードの形態で、実装され得る。ステップ２１６において、ユーザＵは、図２Ａに示されるユーザフレーム１６０において、画像フレーム１６５にある画像ディスプレイ１５１に示される画像の特定の視点（すなわち、３Ｄ位置）を凝視する。プロセス２１８において、視標追跡ユニット２００の左及び右アイトラッカ２０４ａ、２０４ｂは、ユーザＵの目の特性（例えば、視線を反映する特性）を観察し且つ測定する。幾つかの実施形態では、アイトラッカ２０４ａ、２０４ｂは、画像フレーム１６５に対するユーザのそれぞれの目の視線を測定する。ステップ２２０において、プロセッサ２０６は、ユーザの目が向けられている（画像フレーム１６５内の）画像ディスプレイ１５１上の画像における３Ｄ視点を決定するためにアイトラッカ２０４ａ、２０４ｂからの測定された視線データを使用する。幾つかの実施形態では、プロセッサ２０６は、目から出る反射からアイトラッカ２０４ａ、２０４ｂによって受光される光の入射角を追跡することによって見られる位置を決定し得る。幾つかの実施形態では、プロセッサ２０６は、ユーザが画像ディスプレイ１５１の既知の場所に表示されるターゲットの印（target indicia）を見るときのベースライン入射角を決定するために較正プロセス（例えば、図４Ａに記載される較正プロセス３０２）を最初に実行し得るとともに、検出された角度と画像ディスプレイ１５１上の見られる場所との間の機能的関係（functional relationship）を生成し得る。プロセッサ２０６は次に、ユーザが画像ディスプレイ１５１上の他の場所を見るときの入射角を追跡することができ、対応する見られる場所を決定する（較正された角度及び場所から外挿する）ために生成された機能的関係を使用することができる。
ステップ２２２において、プロセッサ２０６は、画像ディスプレイ１５１上の表示された印（例えば、メニューオプション）の１つが、その印の選択のための規定された条件を満たす方法でユーザによって見られている（例えば、印が、視点の中にある及び／又は所定期間視点の中にある）かどうかを決定する。そうである場合、ステップ２２４において、ユーザの印の選択は、プロセッサ２０６に、表示された印に対応する機能を起動させる。例えば、幾つかの実施形態では、ユーザの視線は、遠隔操作医療システム１００へのログオン、又は画像ディスプレイ１５１の照明、又は様々な他のシステム設定と関連付けられる印の選択を示し得る。
そうでない場合、ステップ２０６において、プロセッサ２０６は、画像フレーム１６５における見られる３Ｄ位置を、手術フレーム１７０における手術野１５５の対応する３Ｄ位置に位置合わせする（co-register）。ステップ２２８において、プロセッサは、ユーザが、イメージング装置又は画像ディスプレイ１５１上で可視である手術野の中の他の手術器具を操作するための規定された条件を満たす方法で手術野を見ているかどうかを決定する。そうである場合、ステップ２３０において、手術野の特定の領域又は手術野の中の特定の手術器具へのユーザの視線は、プロセッサ２０６に、ユーザの視線の特性に対応する様式で関連する器具に影響を及ぼさせる。例えば、幾つかの実施形態では、上述のように、ユーザが手術野１５５の特定の領域を凝視する場合、イメージング装置は、ユーザに視線に「追従し」得るとともに、（例えば、その視野の中心をユーザの注視点に配置するように）その視野を再度中心に移し得る。他の実施形態では、ユーザが所定の時間特定の手術器具を凝視する場合、手術器具が自動的に又は第２のユーザイベントによって（例えば、ペダルを押すこと、フットスイッチ、フィンガスイッチ等により）起動され得る。そうでない場合、ステップ２３２において、アイトラッカは、起こり得る指令のためにユーザの視線を評価し続ける。
幾つかの実装では、図２Ｄに示されるように、２以上の外科医用コンソール１２０（共同設置される（co-located）又は互いから離れるかのいずれか）が、２つのユーザが手術部位を同時に見るとともにツールを制御することができるように、一緒にネットワーク化され得る。幾つかの実施形態では、２つの異なる外科医用コンソール１２０が、訓練プロセスの間に、試験監督及び被訓練者によって使用され得るので、各ユーザは、２つの別個の視標追跡ユニット２００（例えば、各コンソール１２０の１つの視標追跡ユニット２００）から得られる視線データを表示する別個の立体画像を見ることができる。図２Ｄは、本開示の幾つかの実施形態による、被訓練者の視標追跡ユニット２４０に結合される試験監督の視標追跡ユニット２００を含む訓練／試験監督システムを示す。被訓練者の視標追跡ユニット２４０は、試験監督の視標追跡ユニット２００と実質的に同じ設計及び機能を有し得る。図２Ｄに示されるように、試験監督の視標追跡ユニット２００のプロセッサ２０６は、被訓練者の視標追跡ユニット２４０の左及び右画像ディスプレイ２０４ａ及び２０４ｂに結合される。同様に、被訓練者の視標追跡ユニット２４０のプロセッサ２４８は、試験監督の視標追跡ユニット２００の左及び右画像ディスプレイ２０４ａ及び２０４ｂに結合される。したがって、試験監督の注視点表示が、被訓練者に表示され得るとともに、被訓練者の注視点表示が、試験監督に表示され得る。
例えば、幾つかの実施形態では、試験監督の３Ｄ注視点は、被訓練者が処置中にリアルタイムで試験監督の注視点の直接視（direct view）を有し得るように、被訓練者の視標追跡ユニット２４０の３Ｄ注視点ディスプレイ２５０上に示される（demonstrated）ことができる。幾つかの実施形態では、試験監督の３Ｄ注視点が、被訓練者が、従うべき視覚ガイドとして試験監督の注視点を使用して手術を完了させるためにリアルタイムで支援され得るように、被訓練者の視標追跡ユニット２４０の左及び右画像ディスプレイ２４４ａ及び２４４ｂ上に立体画像として示され得る。幾つかの実施形態では、訓練プロセスの間、被訓練者の３Ｄ注視点は、外科医の能力が試験監督によってリアルタイムでモニタされ且つ評価され得るように、ディスプレイ２１０又は試験監督の視標追跡ユニット２００の左及び右画像ディスプレイ２０２ａ及び２０２ｂに示され得る。他の実施形態では、試験監督及び被訓練者の注視点両方が、試験監督及び被訓練者ディスプレイの両方に示されてよく、それによって、一方或いは両方のユーザが彼らの注視点の間の任意の相違を見ることを可能にし得る。この方法では、試験監督は、被訓練者が、リアルタイムで正しい手術部位に焦点を合わせることができ且つ正しくない動作を避けることができるように、被訓練者にタイムリーな指示を提供でき得る。
幾つかの実施形態では、内視鏡１１２及び／又は他の手術器具１１０の制御は、試験監督と被訓練者との間で切り替えられ得る。代替的には、内視鏡１１２及び／又は他の手術器具１１０は、試験監督及び被訓練者の両方によって同時に操作され得る。図２Ｄでは、プロセッサ２０６及び２４８は、視標追跡ユニット２００及び２４０に別々に含まれているが、当業者は、他の変形を認識するであろう。例えば、訓練／試験監督システムは、両方のユーザの視標追跡ユニットのための１つのプロセッサを含むことができる。
図３Ａは、本開示の実施形態による図２Ｂの視標追跡システム２００を使用する画像フレームにおける外科医の３Ｄ注視点を決定するための方法３００を示す。外科医の視点は、記載されたような３Ｄ注視点であり得る。しかし、代替実施形態では、２Ｄ注視点が使用され得る。方法３００は、３つのプロセス：較正プロセス３０２、測定プロセス３０４、及び出力プロセス３０６を含む。幾つかの実施形態では、較正プロセス３０２は、３Ｄ較正プロセスであり、そこでは、画像フレームの３Ｄ空間における外科医の注視点が、既知の３Ｄ位置パラメータを持つ画像フレームの３Ｄ空間における所定のターゲットと比較される。
較正プロセス３０２は、画像フレームおいてターゲットを示すことによってステップ３１２から始まる。幾つかの例では、ターゲットは、手術ツールアイコンであり得る。ターゲットは、移動するターゲット、又は動的にサイズが変わり得るターゲットであり得る。代替的には、ターゲットは、手術野の中の実際の手術ツールであってもよく、この位置は、任意の適切なツール追跡技術を使用して追跡され且つ特定されることができる。例えば、較正プロセスは、２００５年５月１６日に出願された、"Methods and system for performing 3D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery"と題する、米国特許出願公開第2006/0258938号に開示された特徴を組み込んでよく、これはその全体が本出願に参照により援用される。３Ｄ画像フレームに示されるターゲットの画像は、左及び右立体画像に分離され得るとともに、図２Ｂに示される左及び右画像ディスプレイ２０２ａ及び２０２ｂそれぞれに表示され得る。較正プロセス３０２の間、ターゲットの３Ｄ位置は、例えば、３Ｄ画像フレームにおける既知の３Ｄ位置パラメータを使って、測定されたデータが、後続のステップの様々なモデルを決定するためにターゲットの既知の位置パラメータと比較され得るように、予め決定される。
描かれた実施形態では、較正プロセス３０２は、左及び右アイトラッカ２０４ａ及び２０４ｂそれぞれによって取り込まれる左及び右目の瞳孔の２Ｄ位置及び２Ｄ角膜反射データを受信することによってステップ３１４に進む。幾つかの実施形態では、２Ｄの瞳孔位置及び２Ｄ角膜反射データは、座標値、変位、及び／又は角度を含み得る。幾つかの実施形態では、外科医の頭／顔の運動も、左及び右アイトラッカ２０４ａ及び２０４ｂによって取り込まれ得る。
較正プロセス３０２は、外科医の左及び右目の瞳孔の２Ｄ位置及び２Ｄ角膜反射データを使用して外科医の瞳孔位置及び角膜反射データを決定することによって、プロセス３１６に進む。幾つかの実施形態では、左及び右アイトラッカは、立体カメラを含み、２Ｄ瞳孔位置及び２Ｄ角膜反射データを含む立体画像は、２つの立体画像間の相違を計算するために、プロセッサ２０６によって取り込まれ且つ処理されることができる。幾つかの実施形態では、決定された位置データは、外科医の瞳孔の２Ｄ位置及び２Ｄ角膜反射データを含み得る。各目の決定された２Ｄデータは次に、外科医の３Ｄ視線位置を推定するために組み合わせられ得る。幾つかの実施形態では、決定された位置データは、瞳孔の３Ｄ位置及び３Ｄ角膜反射データを含み得る。外科医の瞳孔及び角膜反射の深さを含む３Ｄデータは、相違を使用して推定され得る。例えば、外科医の左目の３Ｄデータは、左アイトラッカ２０４ａ間の距離、左アイトラッカ２０４ａのそれぞれの焦点距離、及び計算された相違を使用して計算され得る。深さ変換マップに対する相違は、この方法を使用する較正プロセスの間に取得され得る。幾つかの実施形態では、瞳孔の位置及び角膜反射データは、取り込まれた頭／顔の運動のために補償され得る。
較正プロセス３０２のステップ３１８において、瞳孔の決定された３Ｄ位置及び３Ｄ角膜反射データが、注視点決定モデルを決定するために所定のターゲットの所定の３Ｄ位置パラメータと比較される。幾つかの実施形態では、注視点決定モデルは、瞳孔の決定された位置及び角膜反射データを使用して３Ｄ視線位置をマッピング（map）するために使用されることができる関数を含み得る。幾つかの実施形態では、複数の較正ターゲットが較正プロセスのために使用され、関数のパラメータは、較正プロセスから集められた瞳孔の位置及び角膜反射データを使用して決定され得る。幾つかの例では、最小二乗法最適化、又は最尤推定のような方法論が、関数のパラメータを決定するために使用され得る。幾つかの実施形態では、注視点決定モデルはまた、瞳孔の３Ｄ位置及び３Ｄ角膜反射データから３Ｄ空間における座標系のターゲットＴの３Ｄ位置への変換を示す行列を含み得る。幾つかの実施形態では、注視点決定モデルは、プロセッサ２０６に結合されるメモリにセーブされ得る。瞳孔の３Ｄ位置及び３Ｄ角膜反射データをどのように決定するかのさらなる詳細並びに注視点決定モデルに関する詳細は、例えば、その全体が本明細書に参照により援用される、２０１４年３月１９日に出願された米国仮出願第61/955,334号に見出され得る。
幾つかの実施形態では、較正プロセス３０２は、注視点決定モデルの精度が所定のシステム要求を満たすよう向上され得るように、複数回繰り返され得る。幾つかの実施形態では、第１の注視点決定モデルが形成された後、実在の（real）ターゲットが第１の注視点決定モデルの精度を推定するために使用され得る。例えば、実在のターゲットを使用するマッピング最適化を再実行することによって、第１の注視点決定モデルは第２の注視点決定モデルを形成するように更新され得る。第１と第２のモデルとの間の精度は、より正確な注視点決定モデルが形成され得るように、比較され且つ評価される。
較正プロセス３０２が完了した後、方法３００は、測定プロセス３０４に進む。測定プロセス３０４は、内視鏡１１２が手術部位の画像を取り込んでいるときの手術又は訓練プロセス中に実行され得る。
測定プロセス３０４は、外科医が左及び右画像ディスプレイ２０２ａ及び２０２ｂに表示される手術部位を見ているとき、外科医の左及び右目に関する瞳孔の２Ｄ位置及び２Ｄ角膜反射データを受信することによってステップ３２０で開始する。手術部位の画像は、内視鏡１１２によって取り込まれ、処理され、左及び右画像ディスプレイ２０２ａ及び２０２ｂそれぞれに表示される左及び右立体画像に分離され得る。外科医の左及び右目の瞳孔の２Ｄ位置及び２Ｄ角膜反射データは、左及び右アイトラッカ２０４ａ及び２０４ｂそれぞれによって取り込まれる。幾つかの実施形態では、外科医の頭／顔の運動も、左及び右アイトラッカ２０４ａ及び２０４ｂによって取り込まれ得る。
測定プロセス３０４は、較正プロセス３０２の間に得られた注視点決定モデルを使用して外科医の３Ｄ注視点位置を決定することによって、ステップ３２２に進む。瞳孔の３Ｄ位置及び３Ｄ角膜反射データは、前述の方法３００のステップ３１６に関する実質的に同様の方法を使用する瞳孔の２Ｄ位置及び２Ｄ角膜反射データを使用して最初に決定され得る。幾つかの実施形態では、ステップ３２０で取り込まれた頭／顔の運動もまた、瞳孔の位置及び角膜反射データ又は外科医の３Ｄ注視点を補償するために使用され得る。幾つかの実施形態では、較正プロセス３０２の間に、外科医の目の端は、外科医が、彼又は彼女の瞳孔を使用して較正ターゲットに焦点を合わせ且つ彼又は彼女の頭を回転させる間に、追跡され得る。頭／顔の運動と目の端の追跡される運動との間の関数が、較正プロセスの間に形成されることができる。測定プロセス３０４の間、目の端の運動も追跡され得るとともに、外科医の頭／顔の運動が、較正プロセス３０２からの形成された関数を使用して推定され得る。瞳孔の３Ｄ位置及び３Ｄ角膜反射データは次に、ステップ３１８で得られた注視点決定モデルを使用することによって、プロセッサ２０６によって外科医の３Ｄ注視点位置に変換され得る。
出力プロセス３０６のステップ３２４において、決定された３Ｄ注視点位置は、図２Ｂに示される注視点ディスプレイ２１０上に示され得る。３Ｄ注視点位置は、限定ではなく、点、線、ベクター、矢印、及び半透明の円のような、様々な適切な表現のいずれかで表され得る。幾つかの実施形態では、試験監督の３Ｄ注視点（例えば、試験監督の視標追跡ユニット２００のプロセッサ２０６によって決定される）は、訓練されている外科医が試験監督の注視点の直接視を有し得るように、（図２Ｄに示されるような）外科医の視標追跡ユニット２４０の３Ｄ注視点ディスプレイ２５０上に示され得る。幾つかの実施形態では、試験監督の３Ｄ注視点は、外科医が試験監督の注視点を直感的に使用して手術を完了させるために指導され得るように、外科医の視標追跡ユニット２４０の左及び右画像ディスプレイ２４４ａ及び２４４ｂ上に示され得る。幾つかの実施形態では、外科医の３Ｄ注視点（例えば、外科医の視標追跡ユニット２４０のプロセッサ２４８６によって決定される）は、外科医の注視点が手術中にリアルタイムで試験監督によってモニタされ得るように、試験監督の視標追跡ユニット２００のディスプレイ２１０に示され得る。上述のように遠隔操作医療システム１０によって測定される注視点は、様々な用途で使用され得る。
図３Ｂは、図２Ｄのデュアル視標追跡ユニット２００及び２４０を使用する訓練／試験監督方法３４０を示す。方法３４０は、手術中に３Ｄ注視点ディスプレイ上で第２のユーザによって第１のユーザの３Ｄ注視点をモニタすることによって、ステップ３４２から始まる。第１のユーザの３Ｄ注視点は、図３Ａに示された方法３００で示されたような第１の視標追跡ユニット（例えば、視標追跡ユニット２００）を使用して決定され得る。決定された３Ｄ注視点は、第２のユーザによってモニタされ且つ評価されるように、第２の視標追跡ユニット（例えば、視標追跡ユニット２４０）の３Ｄ注視点ディスプレイ（例えば、画像ディスプレイ２４４又は注視点ディスプレイ２５０）に表示され得る。方法３４０は、第２のユーザが第１にユーザに指示を送ることによって、ステップ３４４に進む。幾つかの実施形態では、第１のユーザは外科医であってよく、第２のユーザは手術中に外科医を訓練する試験監督であってよい。例えば、１つの例では、外科医が手術部位の中のターゲット領域と違う手術部位内の領域を見ていること、又は外科医が誤った手術器具を選択したことに試験監督が気付くとき、試験監督は、リアルタイムで外科医の動作及び／又は見ているポイントを正すように外科医に指示を送り得る。例えば、試験監督は、視線起動メニュー選択、ボタンを手動で押すこと、又は試験監督のコンソールのフットペダルを軽く叩くことによって、外科医に指示し得る。１つの例では、試験監督の指示は、外科医を正しいアプローチに向かって誘導するように様々な方法のいずれかで外科医の画像ディスプレイに現れる。１つの実施形態では、外科医の画像ディスプレイは（例えば、視標追跡ユニット２００の左及び右画像ディスプレイ２０２ａ及び２０２ｂ）は、暗くなり得る。他の実施形態では、外科医の画像ディスプレイの注視点領域は、誤った動作を伴って進むことを外科医に警告するために、可視（例えば、赤を点滅させる）、可聴（例えば、ブザーを鳴らす）、又は触覚（例えば、手動制御部の一部を振動させる）警告を提示し得る。幾つかの実施形態では、試験監督はまた、タッチスクリーン上でテレストレータ（telestrator）若しくはビデオマーカを又は外科医のコンソール若しくは別個のコンソール上で３Ｄポインタを使用して指示を送り得る。
上述のように、幾つかの実施形態では、外科医は、手術部位に標識を付け（label）且つ手術部位の位置を特定するために、外科医の３Ｄ注視点を使用し得る。例えば、外科医が、解剖学的構造のある位置に標識を付けたいとき、外科医は、視標追跡ユニット２００が外科医の３Ｄ注視点を取り込むとともに方法３００を使用して３Ｄ座標値を決定するように、その位置を凝視し得る。次に、外科医はさらに、フラグのような、アイコンを使用して画像ディスプレイ上の現在の注視点においてその位置に標識を付けるために、外科医用コンソール１２０のボタンを押し得る、又はフットペダル１２８を軽く叩き得る。内視鏡１１２が、解剖学的環境内（anatomical environment）の他の象限（quadrants）に焦点を合わせるとき、標識された３Ｄ位置は、次のカメラ運動のために、又は標識された位置を保持するように外部位置センサから参照されることによって、補償され得る。標識された位置は、外科医が所望の手術部位を効率的且つ効果的に特定するのに役立つであろう基準位置として使用され得る。
図３Ａに示された方法３００に関して、幾つかの実施形態では、視標追跡ユニット２００によって取り込まれた３Ｄ注視点位置は、外科医の３Ｄ注視点が、視野の中心にあるように、内視鏡１１２を調整するために使用され得る。例えば、外科医の３Ｄ注視点が、手術部位にあることが確認されるとき、外科医は、例えば、ボタンを押すことによって及び／又はフットペダルを軽く叩くことによって、確認指示を送り得る。内視鏡１１２の制御ユニットは次に、内視鏡１１２が、画像の中心に位置する外科医の３Ｄ注視点を有する更新された画像を取り込むよう調整され得るように、プロセッサ２０６から３Ｄ注視点の位置データを受信し得る。３Ｄ注視点を使用して内視鏡１１２を調整することのさらなる詳細は、"MEDICAL DEVICES, SYSTEMS, AND METHODS USING EYE GAZE TRACKING FOR SECONDARY IMAGING"と題する、２０１４年３月１９日に出願された米国仮出願第61/955,355号に見出されることができ、これは、その全体が参照により本明細書に援用される。
図３Ｃは、手術中に外科医の集視点を使用して、遠隔操作アセンブリ１００に取り付けられた、手術器具（例えば、器具システム１４）を起動させるための注視点起動方法３５０を示す。外科医は、視標追跡ユニット２００を通じて、ファスナ配送ツール（fastener delivery tool）（例えば、ステープラ）又はエネルギ印加ツール（例えば、アブレーション器具）のような、手術で使用されることになる手術器具の画像に焦点を合わせることを最初に要求される。画像フレームにおける手術器具の３Ｄ位置データは、メモリのようなコンピュータ可読媒体に格納される。画像フレームにおける手術器具の３Ｄ画像の３Ｄ位置データは、手術フレームにおける手術器具の３Ｄ位置を参照される。ステップ３５１において、内視鏡１１２によって取り込まれた手術器具の画像が、外科医が見るためにディスプレイに（例えば、視標追跡ユニット２００の画像ディスプレイ２０２ａ及び２０２ｂに）表示される。方法３５０のステップ３５２において、画像フレームにおける外科医の注視点は、外科医がディスプレイの手術器具の画像に焦点を合わせることを要求されるとき、方法３００に示されたのと実質的に同様の方法を使用して決定される。幾つかの実施形態では、外科医は、手術器具の画像に又は手術器具の先端近くの組織のような手術器具の近くの画像の領域に、彼又は彼女の注視点の焦点を合わせ得る。ステップ３５４において、外科医の３Ｄ注視点の決定された位置が、コンピュータ可読媒体に格納された手術器具の３Ｄ位置データと比較される。外科医の３Ｄ注視点の決定された位置が、手術器具の３Ｄ位置と一致する場合、又は外科医の３Ｄ注視点の決定された位置が、手術器具の近くの所定の領域内にある場合、ステップ３５４は、手術器具を起動するためにステップ３５６に進む。例えば、視線追跡システムのプロセッサ２０６は、ステープラのような手術器具のエネルギ放出を可能にするために、器具制御ユニット２１２に信号を送信し得る。外科医は次に、対応する制御インタフェース１２２を使用してステープラを制御及び発射できる。幾つかの実施形態では、プロセッサ２０６はまた、手術のために外科医によって使用されることになる手術器具に伝える（deliver）ために、制御インタフェース１２２を起動し且つ制御することができる。外科医の３Ｄ注視点の決定された位置が、手術器具の近くの所定の領域の中にない場合、ステップ３５８において、手術器具は動作停止にされる。ステップ３５８において、外科医は器具を見ていないので、器具制御ユニット２１２は、外科医の物理的な指令のいずれか（例えば、これは不注意であり得る）によって起動されることができず、手術器具はロックされる。したがって、手術器具は、方法３５０において論じられたように外科医の注視点の確認なしに、いかなる発射動作又は運動も実行できない。
訓練プロセスの間、訓練を受けている外科医の現在の３Ｄ注視点は、技能レベル及び／又はストレスレベルのような、様々な観点（perspective）から試験監督によってモニタされ且つ評価され得る。幾つかの実施形態では、外科医の技能レベルは、手術プロセスの間の注視点運動を追跡することによって特徴付けられ得る。図４Ａは、図２Ｂの視標追跡ユニット２００を使用して手術中に外科医を評価するための方法４００を示す。評価は、外科医の技能レベル、ストレスレベル、疲労、及び／又は任意の他の視線に示される能力（gaze-indicated performance）若しくは挙動の計量（behavioral metric）を含み得る。図５は、３Ｄ画像フレーム座標系で手術部位の３Ｄ画像を示す３Ｄ画像ディスプレイ４５０の例である。
方法４００は、外科医の技能レベルを評価し且つ定量化するための基準としてベースラインデータを取得することによってオプションのステップ４０２から始まる。幾つかの実施形態では、ベースラインデータは、標準的な動作の間の経験を積んだ外科医の注視点運動を測定することによって、訓練プロセスを開始する前に取得され得る。幾つかの実施形態では、ベースラインデータは、シミュレーション演習の間に取得されてもよく、このシミュレーション演習は、カメラターゲティング（camera targeting）、ニードル駆動（needle driving）、操作練習（manipulation exercises）、縫合、焼灼／エネルギ印加、及び／又は任意の他の練習を含み得る。幾つかの実施形態では、ベースラインデータは、ターゲットの手術領域と手術器具との間で行き来して動く注視点の時間及び／又は変位、並びに初期位置からターゲットの手術領域に動く注視点の時間及び／又は変位、の時間比（Ｔ）及び／又は変位比（Ｄ）に関する情報を含み得る。幾つかの実施形態では、ベースラインデータはまた、各トラッキングポイントへの注視点固定の時間を含み得る。幾つかの実施形態では、ベースラインデータは、システム運動学及びイベントデータと組み合わせて取り込まれ得る。幾つかの実施形態では、技能の様々なレベルを表す時間比（Ｔ）及び／又は変位比（Ｄ）の異なる値があり得る。幾つかの実施形態では、ベースラインデータは、将来繰り返して使用されるために、コンピュータ可読媒体にセーブされ得る。
方法４００は、図５にしめされた３Ｄ画像ディスプレイ４５０上のターゲットＰを確認することによってオプションのステップ４０４に進む。確認プロセスの開始を示す第１の信号が、確認モードを選択するためにボタンを押すことによって、又は外科医用コンソールのフットペダルを軽く叩くことによって、訓練を受けている外科医によって出力され得る。図５に示されるように、ターゲット領域Ｐが、手術が必要な領域であると特定された後、ターゲットＰは、画像ディスプレイ４５０のターゲットＰに外科医の注視点の焦点を合わせることによって３Ｄ画像ディスプレイ４５０上で確認され得る。幾つかの実施形態では、ターゲットＰはまた、外科医用コンソール１２０上でボタンを押すことによって、又はフットペダル１２８を軽く叩くことによって、確認され且つ標識を付けられ得る。幾つかの実施形態では、ターゲットＰは、ディスプレイ４５０の中の所定の位置若しくは領域にあり得る、又は外科医によってアクセスされる実際の視線位置（複数可）によってその場で確立されることさえできる。
視標追跡ユニット２００が確認を受信した後、ボタンを押すこと及び／又はフットペダルを軽く叩くことのような、他の指示を受信することによって、内視鏡１１２の制御ユニットは、内視鏡１１２が画像ディスプレイ４５０の中心に位置するターゲットＰを有するために調整され得るように、プロセッサ２０６から注視点（例えば、ターゲットＰ）の位置データをオプションで受信し得る。幾つかの実施形態では、ターゲットＰは、現在の３Ｄ座標系の原点として、（０，０，０）の座標を自動的に割り当てられ得る。
方法４００は、３Ｄ画像ディスプレイ４５０上で手術器具１１０ａ、１１０ｂ又は１１０ｃの先端の初期位置を確認することによってオプションのステップ４０６に進む。例えば、図５に示されるように、手術器具の先端の初期位置は、位置Ｑ０において特定され得る。位置Ｑ０は、次に、外科医の注視点を３Ｄ画像ディスプレイ４５０上の位置Ｑ０に焦点を合わせることによって、３Ｄ画像ディスプレイ４５０上で確認され得る。視標追跡ユニット２００が確認を受信した後、位置Ｑ０は、ステップ４０４において定められる対応する３Ｄ座標系に対して（ｑｘ０，ｑｙ０，ｑｚ０）の３Ｄ座標を自動的に割り当てられ得る。幾つかの実施形態では、位置Ｑ０はまた、外科医用コンソール１２０上でボタンを押すことによって、又はフットペダル１２８を軽く叩くことによって、確認され得る。他の実施形態では、手術器具の先端の初期位置は、システム運動学、位置センサ、及び／又はオプションのツール追跡のような、任意の他の方法によって確立されてもよい。
方法４００は、例えば、器具先端及びターゲットＴに対する、外科医の注視点運動を測定することによってステップ４０８に進む。他の実施形態では、ステップ４０６の完了に際し、測定プロセスの開始を示す信号が、外科医用コンソール１２０上で外科医がボタンを押すこと、又はフットペダルを軽く叩くことのような、任意の適切な方法によって生成され得る。他の実施形態では、測定プロセスは、進行中であり得る又は器具の特定の状態によって開始され得る。幾つかの実施形態では、外科医の注視点は、３Ｄ画像ディスプレイ４５０上のターゲット領域Ｐから始まり得る。幾つかの実施形態では、外科医の注視点は、３Ｄ画像ディスプレイ４５０上の手術器具の初期位置Ｑ０から始まり得る。
図５を参照すると、幾つかの実施形態では、外科医の技能レベルは、外科医の注視点運動によって反映され得る。例えば、手術中、未熟な外科医は、彼若しくは彼女が手術器具を初期位置からターゲットポイントに動かす、又は初期位置からターゲットポイントへの動作を実行するとき、彼若しくは彼女の注視点を、手術器具（例えば、Ｑ０，Ｑ１，Ｑ２．．．）とターゲットポイント（例えばＰ）との間を確認するために複数回行き来して動かす可能性がある。対照的に、経験を積んだ外科医は、彼若しくは彼女が手術器具を動かす、又は動作を実行するとき、初期注視点（例えば、Ｑ０）とターゲットポイント（例えばＰ）との間でより滑らか且つより少ない頻度の注視点運動を有する可能性がある。したがって、１つの実施形態では、外科医の注視点運動の変位及び／又は時間が、外科医の技能レベルを評価するための１又は複数の要因として使用され得る。
ステップ４０８において、外科医の注視点の位置データは、図３Ａに示された方法に関連して上述されたように、リアルタイムで、左及び右アイトラッカ２０４ａ及び２０４ｂによって取り込まれ、注視点の３Ｄ位置データを受信するためにプロセッサ２０６によって処理され、メモリにセーブされ得る。外科医の注視点の位置データは、外科医の注視点が３Ｄ画像ディスプレイ４５０上の初期位置Ｑ０からＱ１，Ｑ２，．．．Ｑｎに動くときの（ｑｘ０，ｑｙ０，ｑｚ０）、（ｑｘ１，ｑｙ１，ｑｚ１）、（ｑｘ２，ｑｙ２，ｑｚ２）．．．（ｑｘｎ，ｑｙｎ，ｑｚｎ）の３Ｄ座標値を含み得る。
ステップ４０８において、１つのポイントから次への外科医の注視点運動の時間もまた、
リアルタイムで、左及び右アイトラッカ２０４ａ及び２０４ｂによって取り込まれ、プロセッサ２０６によって処理され、メモリにセーブされ得る。幾つかの実施形態では、外科医の注視点運動の時間は、移動方向に関連する情報を含み得る。幾つかの実施形態では、ステップ４０８において、各注視点における固定時間もまた追跡され得る。
方法４００は、評価要因を決定することによってステップ４１０に進む。評価要因は、変位比要因Ｄを含み得る。変位比要因Ｄは、外科医の技能レベルを定量化するために使用され得る。例えば、変位比要因Ｄは、Ｄ＝（｜Ｑ０Ｐ｜＋｜ＰＱ１｜＋｜Ｑ１Ｐ｜＋｜ＰＱ２｜＋｜Ｑ２Ｐ｜＋．．．｜ＰＱｎ｜＋｜ＱｎＰ｜）／｜Ｑ０Ｐ｜として計算され、ここで、｜ＡＢ｜は、３Ｄ画像ディスプレイ４５０上のポイントＡ及びＢの座標値を使用する注視点Ｂに向かう注視点Ａの変位を示す。例えば、｜ＰＱ１｜は、注視点Ｐ（０，０，０）から注視点（ｑｘ１，ｑｙ１，ｑｚ１）に向かう変位を示し、｜Ｑ１Ｐ｜は、注視点Ｑ１（ｑｘ１，ｑｙ１，ｑｚ１）から注視点Ｐ（０，０，０）に向かう変位を示す。
幾つかの実施形態では、評価要因は、時間比要因Ｔを含み得る。時間比要因Ｔもまた、外科医の技能レベルを定量化するために使用され得る。例えば、時間比要因Ｔは、Ｔ＝（ｔ１＋ｔ２＋．．．＋ｔｎ）／ｔｉとして計算されることができ、ここで、ｔ１，ｔ２，．．．，ｔｎは、測定プロセスが終わるまでの、１つのポイントから次に移動するために必要な外科医の注視点の時間を示す。測定プロセスの間、変位（例えば、｜ＰＱ１｜）及び時間（例えば、ｔ１）の両方は、任意の２つの移動ポイントの間で取り込まれ、任意の２つのポイント間を動く集視点の速度（ｖｉ）もまた計算され得る。平均速度（ｖ）がさらに、測定プロセスの完了において計算され得る。平均速度（ｖ）は、次に、現在のユーザが、彼又は彼女の注視点を初期ポイント（例えば、Ｑ０）からターゲットポイント（例えば、Ｐ）に動かすための時間ｔｉを計算するために使用され得る。
幾つかの実施形態では、評価要因は、各注視点で測定される固定時間に関連する要因を含み得る。例えば、外科医の視線の平均固定時間が、ステップ４０８において、複数の注視点における複数の固定時間を測定した後に計算され得る。視線固定の平均時間が次に、外科医の技能レベルを評価するためにベースラインデータに格納された注視点固定情報と比較され得る。
方法４００は、ベースラインデータ（例えば、ステップ４０２において取得される）に対して評価要因（例えば、変位比要因Ｄ、時間比要因Ｔ、及び／又は視線固定時間）を比較することにより外科医の技能レベルを決定することによってステップ４１２に進む。幾つかの実施形態では、外科医の技能レベルはまた、外科医の手、器具、及び／又はカメラの運動から測定されるデータのような、システム運動学データ及び／又はイベントデータと組み合わされた評価要因を使用して決定され得る。外科医の手、器具、及び／又はカメラの運動は、適切な方法を使用して追跡され且つ分析され得る。
幾つかの実施形態では、上述のように、視標追跡ユニット２００によって取り込まれる外科医の３Ｄ注視点位置は、外科医の能力及び／又は状態をモニタするために並びにその能力及び／又は状態の低下が示されるべき警告を提供するために使用され得る。例えば、３Ｄ注視点は、外科医のストレス又は疲労レベルを決定するために使用されることができ、これは、幾つかの実施形態では、外科医の視線動態の変化に反映され得る。視線動態は、瞳孔径変動、及び／又は視線サッケードを含み得る。幾つかの例では、測定プロセス（例えば、図４Ａの方法４００のステップ４０２）の前に、外科医が通常の状態で作業しているときの外科医の視線動態の情報を含むベースラインが最初に取得され得る。例えば、ベースラインは、外科医の視線サッケードの周波数、並びに／又は外科医の瞳孔径変動の周波数及び大きさを含み得る。測定プロセス（例えば、方法４００のステップ４０８）の間、視線動態は、左及び右アイトラッカ２０４ａ及び２０４ｂを使用してモニタされ得るとともに、通常の作業状態の下で取得されたベースラインと比較され得る。視線動態が、通常の状態に比較して異常であるように見えるとき（例えば、方法４００のステップ４１２）、通知又はアラームが、外科医が如何なる動作を進めることを防ぐために、与えられ得る。異常な視線動態は、限定ではなく、急激な瞳孔径変動又は通常より頻繁な視線サッケードのような、様々な目の特性によって示され得る。幾つかの実施形態では、外科医の視線動態はまた、遠隔操作アセンブリ１００に配置されるタッチスクリーン上でモニタされてもよく、外科医の目の動態の異常状態を知らせる通知又はアラームは、手術室（ＯＲ）スタッフがタイムリーな方法で反応し得るように、手術室（ＯＲ）スタッフに送られ得る。
幾つかの実施形態では、医療処置中の外科医のストレスレベルをモニタすることに加えて、追跡される視線動態情報はまた、処置の後に収集され且つ分析され得る。幾つかの例では、分析結果は、外科医がなぜ特定の訓練演習又は手術の特定の部分に苦労しているのかを理解するために使用され得る。
幾つかの実施形態では、追跡される外科医の３Ｄ注視点は、システムのログイン／ログアウト並びにユーザ識別のために使用されることができる。例えば、１つの実施形態では、外科医は、システムにログインするようになる前に、ターゲットポイントに焦点を合わせるように要求される。ターゲットポイントは、３Ｄ位置データがコンピュータ可読媒体に格納されている手術器具を含み得る。外科医の３Ｄ注視点の位置が、前述の方法３００を使用して視標追跡システムによって追跡された後、外科医の３Ｄ注視点の位置が、ターゲットポイントの３Ｄ位置と比較される。外科医の３Ｄ注視点が、３Ｄ位置ターゲットポイントと一致するとき、外科医は遠隔操作医療システム１０に自動的にログインされ得る。幾つかの実施形態では、外科医の３Ｄ注視点が、ターゲットポイントの３Ｄ位置に合わない場合、外科医は遠隔操作医療システム１０にログインできない。幾つかの実施形態では、遠隔操作医療システム１０は、外科医の目（及び／又は外科医の注視点）が検出できない場合、ロックダウン（locked down）又は動作停止にされる。
幾つかの実施形態では、虹彩特性、目の動態、又は視線運動速度のような、ユーザの格納された目の情報が、ユーザ認識及びシステムログインのために使用されることができる。例えば、手術を始める前に、外科医は、幾つかの視線運動演習を実行することを要求され得る。視標追跡ユニット２００は、外科医の目の動態を取り込み得るとともに、対応する目の動態に関連するプロファイルデータと比較し得る。幾つかの実施形態では、視標追跡ユニット２００は、ユーザの様々な虹彩特性を観察又は測定し得るとともに、異なるユーザの虹彩認識を可能にするようにこれらの虹彩特性を格納された虹彩プロファイルのデータベースと比較し得る。いったん外科医が、メモリにセーブされたプロファイルを持つ再来ユーザ（reoccurring user）であると識別されると、外科医は、カスタマイズされた設定を持つ彼又は彼女自身のプロファイルに自動的にログインされ得る。
幾つかの実施形態では、視標追跡ユニット２００によって取り込まれる外科医の３Ｄ注視点位置は、図２Ｂに示されるシステム制御ユニット２１４を使用して遠隔操作医療システム１０のシステム特性を調整するために使用され得る。例えば、外科医の測定される視線は、（生きている患者、死体、動物、モデル、又は部分的／完全コンピュータシミュレーションであることができる）手術部位の３Ｄ位置データを含む。３Ｄ位置データは、外科医が手術中に３Ｄ画像ディスプレイ上で手術部位を見ることができ且つ手術器具を直感的に制御することができるように、ユーザインタフェース（例えば、図１Ｂの制御インタフェース１２２ａ及び１２２ｂ）を、３Ｄ画像ディスプレイ上の手術部位に対して適切な位置（例えば、適切な深さ）に位置合わせするために使用されることができる。幾つかの実施形態では、外科医の測定される視線は、ユーザが妨害なしに画像ディスプレイ全体を見ることができるように、ユーザの頭に対する画像ディスプレイの位置及び向きのような外科医コンソールの人間工学的設定を調整するために使用されることができる。
幾つかの実施形態では、３Ｄ空間における３Ｄ位置をより正確に較正するために、外科医の注視点は、画像ディスプレイ上の手術器具に焦点を合わせられることができ、視標追跡ユニット２００は、外科医の３Ｄ注視点を取り込み得るむとともに視標追跡ユニット２００によって受信された注視点データに基づいて手術器具の正確な３Ｄ位置情報を提供し得る。
例示的な実施形態では、第１の遠隔操作医療システムが、１又は複数の第１の画像ディスプレイと、１又は複数の第１のアイトラッカと、１又は複数の第１のアイトラッカに結合され且つ第１のユーザが１又は複数の第１の画像ディスプレイによって表示される第１の画像を見ているとき第１のユーザの第１の注視点を計算するように構成される第１のプロセッサと、を含む、第１の視標追跡ユニットを有する。システムはまた、１又は複数の第２の画像ディスプレイと、１又は複数の第２のアイトラッカと、１又は複数の第２のアイトラッカに結合され且つ第２のユーザが１又は複数の第２の画像ディスプレイによって表示される第２の画像を見ているとき第２のユーザの第２の注視点を計算するように構成される第２のプロセッサと、を含む、第２の視標追跡ユニットを有する。１又は複数の第１の画像ディスプレイは、第２のプロセッサに結合され、１又は複数の第２の画像ディスプレイは、第１のプロセッサに結合される。
第１の遠隔操作医療システムの他の実施形態では、第１の画像及び第２の画像は、手術部位の画像を含む。
第１の遠隔操作医療システムの他の実施形態では、第１の画像はさらに、第２の注視点の表現を含む。
第１の遠隔操作医療システムの他の実施形態では、第２の画像はさらに、第１の注視点の表現を含む。
第１の遠隔操作医療システムの他の実施形態では、第１の画像はさらに、第１の注視点の表現を含む。
第１の遠隔操作医療システムの他の実施形態では、１又は複数の第１のアイトラッカは、左アイトラッカ及び右アイトラッカを含む。
第１の遠隔操作医療システムの他の実施形態では、１又は複数の第２のアイトラッカは、左アイトラッカ及び右アイトラッカを含む。
例示の実施形態では、遠隔操作医療システムを動作させる第１の方法が、手術部位の３Ｄ画像ディスプレイにおける３Ｄ注視点の運動を追跡するステップ、及び３Ｄ注視点の運動から評価要因を決定するステップ、を含む。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、方法はさらに、３Ｄ画像ディスプレイにおいてターゲットスポット及び初期スポットを確認するステップを含み、運動はターゲットスポットと初期スポットとの間にある。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、ターゲットスポット及び初期スポットを確認するステップは、ターゲットスポット及び初期スポットの座標値を取得するステップを含む。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、ターゲットスポットの取得された座標値は、内視鏡を再び中心に合わせる（re-center）ために使用される。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、ターゲットスポット及び初期スポットを確認するステップは、ボタンを押すステップ又はフットペダルを軽く叩くステップを含む。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、ターゲットスポットを確認するステップは、３Ｄ画像ディスプレイ上でターゲットスポットに焦点を合わせるステップを含む。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、初期スポットを確認するステップは、３Ｄ画像ディスプレイ上で初期スポットに焦点を合わせるステップを含む。
他の実施形態では、遠隔操作医療システムを動作させる第１の方法は、注視点運動に関するベースラインデータと評価要因を比較することによって技能レベルを決定するステップを含む。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、ターゲットスポットと初期スポットとの間の３Ｄ注視点の運動は、３Ｄ注視点の複数のセグメント運動（segmental movement）を含み、各セグメント運動は、器具スポットからターゲットスポットまでであり、器具スポットは初期スポットとターゲットスポットとの間にある。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、３Ｄ注視点の運動を測定するステップは、器具スポットの３Ｄ座標値を測定するステップを含む。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、評価要因は、変位比要因を含み、変位比要因は、ターゲットスポットと初期スポットとの間の変位によって割られる、３Ｄ注視点のセグメント運動の変位の合計の間の比である。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、３Ｄ注視点の運動を測定するステップは、ターゲットスポットと器具スポットとの間の３Ｄ注視点の各セグメント運動のために必要とされる時間を測定するステップを含む。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、評価要因は、時間比要因を含み、時間比要因は、平均３Ｄ注視点移動速度を使用して計算される初期スポットからターゲットスポットに移動するために３Ｄ注視点に必要とされる時間によって割られた、セグメント運動に必要とされる時間の合計の間の比である。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、平均３Ｄ注視点移動速度は、全ての３Ｄ注視点移動速度の平均値であり、３Ｄ注視点移動速度のそれぞれは、各セグメント運動の変位及び時間を使用して計算される。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、３Ｄ注視点の運動を測定するステップは、初期スポットとターゲットスポットとの間の器具スポットにおける３Ｄ注視点の固定時間を測定するステップを含む。
遠隔操作医療システムを動作させる第１の方法の他の実施形態では、評価要因は、初期スポットとターゲットスポットとの間の複数の器具スポットで測定された複数の固定時間を使用することによって計算される平均固定時間を含む。
例示的な実施形態では、遠隔操作医療システムを動作させる第２の方法であって、方法は、手術部位の３Ｄ画像ディスプレイにおける視線動態を追跡するステップ、及びユーザが３Ｄ画像ディスプレイを見ているときユーザの状態を決定するステップ、を含む。
遠隔操作医療システムを動作させる第２の方法の他の実施形態では、視線動態を追跡するステップは、１又は複数のアイトラッカを使用しているユーザの瞳孔径変動又は視線サッケードのうちの少なくとも一方を追跡するステップを含む。
遠隔操作医療システムを動作させる第２の方法の他の実施形態では、ユーザの状態は、ユーザのストレスレベル又は疲労レベルのうちの少なくとも一方を含む。
遠隔操作医療システムを動作させる第２の方法の他の実施形態では、ストレスレベルを決定するステップは、視線動態を、視線動態に関するベースラインと比較するステップを含む。
遠隔操作医療システムを動作させる第２の方法の他の実施形態では、ベースラインデータは、外科医が通常の状態で作業しているときに測定される視線動態を含む。
遠隔操作医療システムを動作させる第２の方法の他の実施形態では、視線動態は、システムログインプロセスの間のユーザ認識のために使用される。
例示的な方法では、手術システムを動作させる第１の方法は、第１のディスプレイにおいて３Ｄ画像を見ている第１のユーザに関する３Ｄ注視点を決定するステップと、第２のディスプレイにおいて３Ｄ注視点を表示するステップと、第２のディスプレイ上で第１のユーザの３Ｄ注視点を見ている第２のユーザからの指示を受信するステップと、を含む。
手術システムを動作させる第１の方法の他の実施形態では、第１のユーザは、第２のユーザによって訓練を受けている。
手術システムを動作させる第１の方法の他の実施形態では、第１のユーザの３Ｄ注視点は、視標追跡ユニットによって決定される。
手術システムを動作させる第１の方法の他の実施形態では、第２のユーザからの指示は、第２のディスプレイ上でテレストレータを使用することによって送信される。
例示的な方法では、器具及び３Ｄディスプレイを含む、手術システムを動作させる第２の方法は、３Ｄディスプレイに３Ｄ画像を表示するステップと、３Ｄ画像を見ているユーザに関する３Ｄ注視点の位置を決定するステップと、３Ｄ画像と３Ｄ注視点の位置とを比較するステップと、を含む。
手術システムを動作させる第２の方法の他の実施形態では、３Ｄ注視点の位置は、視標追跡ユニットを使用して決定される。
手術システムを動作させる第２の方法の他の実施形態では、３Ｄ画像は、視標追跡ユニットの１又は複数の画像ディスプレイに表示される器具の３Ｄ画像を含む。
手術システムを動作させる第２の方法の他の実施形態では、３Ｄ注視点の位置が、３Ｄ画像の周りの所定の領域内にあるとき、器具を起動させるステップを含む。
手術システムを動作させる第２の方法の他の実施形態では、器具を起動するステップは、ユーザによって使用されることになる器具に伝達するように制御インタフェースを起動するステップを含む。
手術システムを動作させる第２の方法の他の実施形態では、器具を起動するステップは、器具のエネルギ放出を可能にするように器具制御ユニットを制御するステップを含む。
他の実施形態では、手術システムを動作させる第２の方法は、３Ｄ注視点の位置が３Ｄ画像の周りの所定領域の外にあるとき、器具を動作停止させるステップを含む。
他の実施形態では、手術システムを動作させる第２の方法は、３Ｄ注視点の位置が３Ｄ画像の周りの所定領域の中にあるとき、手術システムへの自動ログインを可能にするステップを含む。
他の実施形態では、手術システムを動作させる第２の方法は、システム特性を調整するステップを含む。
遠隔操作医療システムを動作させる第２の方法の他の実施形態では、３Ｄ画像は、手術部位の３Ｄ画像を含む。
手術システムを動作させる第２の方法の他の実施形態では、システム特性を調整するステップは、３Ｄディスプレイに表示される手術部位に対してユーザインタフェースを位置合わせするステップを含む。
様々な実施形態では、視標追跡ユニット２００、制御ユニット２１０及びイメージングシステム（例えば、イメージング装置１１２）は、ユーザに一次画像及び、オプションで、多様な二次的に調整された画像を提供するように協調して動作する。調整された画像は、非限定の例として、拡大された画像、明るくされた画像、シャープにされた画像、色づけされた画像、標識を付けられた画像、及び／又は異なる波長範囲を含む画像（例えば、可視光範囲と対照的に近赤外範囲）を含み得る。手術領域の調製された画像は、外科医の視線によって、少なくとも部分的に、制御され得る。一次及び二次画像を提供するために、イメージングシステムは、単一のイメージングモジュール及び調整された画像を提供するためのポストイメージング（post-imaging）操作（例えば、デジタル操作）を使用し得る。代替的に又は追加的に、様々な実施形態において以下に記載されるように、イメージングシステムは、複数のイメージングモジュールを含む。複数のイメージングモジュールは、単一の患者開口部を通って展開される共通の器具に設けられ得る、又は、複数の患者開口部を通って展開される複数の器具に設けられ得る。幾つかの実施形態では、イメージングシステムは、硬質鏡（すなわち、硬質シャフトを有する）を含んでよく、それに関して姿勢（例えば、位置、向き、ロール）が、特定のカメラ又は取り付けられている器具アームの運動によって決定される。他の実施形態では、イメージング装置１１２は、追加的に又は代替的に、組み込まれた関節動作能力（integrated articulation capabilities）を含み得る。
図６Ａは、図１Ｂの遠隔操作アセンブリ１００のイメージング装置１１２として使用されることができる例示のイメージングシステム１１２ａを示す。イメージングシステム１１２ａは、単一のイメージング装置の構成要素として２つのイメージングモジュール７１４、７１５を含む。イメージングモジュール７１４、７１５は、ユーザの関心のある異なる情報又は視界を示す関心領域の、一次画像及び、拡大画像重ね合わせのような、二次画像を作るために、互いに独立して制御され得る。イメージングシステム１１２ａはさらに、器具インタフェース１５０ｄ（例えば、図１Ｂに示されるカメラアーム１０８に結合される）、インタフェース１５０ｄに接続されるシャフト１５２ｄ、シャフト１５２ｄを通るケーブル、ロッド、及び／又は光ファイバのグループ７１０及び７１１、シャフト１５２ｄに接続されるリスト部（例えば、関節動作セクション）７１２及び７１３、並びに、イメージング装置１１２ａの遠位端部のイメージングモジュール７１４及び７１５を含む。
幾つかの実施形態では、器具インタフェース１５０ｄは、図２Ｃに示される制御ユニット２１０から指令を受信し得る。イメージングモジュール７１４、７１５のそれぞれ又は両方は、手術領域を照明するための光学（optics）及び機構を含み得る。幾つかの実施形態では、イメージングモジュール７１４及び／又はイメージングモジュール７１５はまた、手術領域の画像（例えば、立体画像）を取り込むことができる装置を含み得る。幾つかの実施形態では、イメージング装置は、立体カメラを有する。
関心のある手術領域の画像は、補助イメージングモジュール７１５によって取り込まれることができ、調整された画像は、ディスプレイ（図２Ｃに示される画像ディスプレイ（２０２ａ、２０２ｂ、注視点ディスプレイ２０７、及び／又は図４に示されるディスプレイ４１６）に表示されることができる。
図６Ａに示されるように、イメージング装置１１２ａのシャフト１５２ｄは、ケーブル、ロッド及び／又は光ファイバ７１０及び７１１を保持するように構成される。幾つかの実施形態では、ケーブル、ロッド及び／又は光ファイバの第１のグループ７１０が、リスト部７１２を通ってイメージングモジュール７１４に結合され得るとともに、ケーブル、ロッド及び／又は光ファイバの第２のグループ７１１が、リスト部７１３を通ってイメージングモジュール７１５に結合され得る。このような構成は、ケーブル、ロッド及び／又は光ファイバの２つの異なるセット７１０、７１１を介して異なる指示を提供することによって並びに異なる運動制御でリスト部７１２、７１３を制御することによって、イメージングモジュール７１４と７１５との間の独立した制御及び操作を提供することができる。リスト部７１２、７１３は、シャフト１５２ｄの遠位端部でシャフト１５２ｄに接続されるとともに、イメージングモジュール７１４、７１５にそれぞれ結合される。リスト部７１２は、少なくとも２自由度でのイメージングモジュール７１４の運動を可能にし、シャフト１５２ｄを通るケーブル又はロッド７１０の第１のセットで制御され得る。同様に、リスト部７１３は、少なくとも２自由度でのイメージングモジュール７１５の運動を可能にし、シャフト１５２ｄを通るケーブル又はロッド７１１の第２のセットで制御され得る。光ファイバ７１０、７１１は、照明を提供する及び画像を伝送する両方のために、イメージングモジュール７１４、７１５の光学に結合され得る。
幾つかの実施形態では、器具インタフェース１５０ｄは、カメラアーム１０８の作動モータをケーブル及びロッド７１０及び７１１それぞれにシャフト１５２ｄ内で結合する。幾つかの実施形態では、器具インタフェース１５０ｄは、イメージングモジュール７１４及び７１５をそれぞれ操作するようにリスト部７１２及びリスト部７１３を制御するためにカメラアーム１０８の作動モータによって駆動されることができる機構を含み得る。例えば、１つの実施形態では、イメージングモジュール７１４が一次イメージングモジュールとして使用され且つイメージングモジュール７１５が補助又は二次イメージングモジュールとして使用されるとき、器具インタフェース１５２０ｄは、補助イメージングモジュール７１５が、（例えば、図２Ｂ及び２Ｃに関連して上述されたように画像ディスプレイ２０２ａ、２０２ｂに対する検出された注視点に基づいて）イメージングモジュール７１５を外科医の注視点に動かすように作動モータによって駆動され得るように、作動モータに指示を送信し得る。
イメージングモジュール７１４及び／又はイメージングモジュール７１５は、イメージング装置によって得られる画像の種類を調整することができる。例えば、１つの実施形態では、イメージングモジュール７１４、７１５は、手術領域のより詳細な及びより詳細でない画像を得るために手術領域に「ズーム」イン又は「ズーム」アウトすることができる。幾つかの実施形態では、イメージングモジュール７１４、７１５は、遠位端部７１６に対してシャフト１５２ｄの長手方向軸ＬＡに沿って位置を変えることができ、それによって、物理的、距離ベースのズーム機能を提供する。イメージングモジュール７１４及び／又はイメージングモジュール７１５はまた、リスト部７１２、７１３それぞれを操作することによって、（例えば、球面空間内で）多次元で再び向きを合わせられる（reoriented）ことができる。遠隔操作医療システム１０で動作するソフトウェアは、リスト部７１２、７１３及び／又はイメージングモジュール７１４、７１５の物理的な位置及び向きを制御することによって、或いは、（例えば、デジタル拡大又は画像調整を通して）イメージングモジュール７１４、７１５によって得られる画像のデジタル操作を制御することによって、ズーム機能を制御することができる。追加的に又は代替的に、ズーム機能は、イメージングモジュール７１４及び／又はイメージングモジュール７１５自体によって制御され得る。
図６Ｂは、イメージング装置１１２ｃ及びイメージング装置１１２ｄを含むイメージングシステム１１２ｂを示す。１つの実施形態では、イメージング装置１１２ｃ、１１２ｄは、図１Ｂに示される遠隔操作アセンブリ１００の２つの別個のカメラアーム１０８とともに使用されることができ、各イメージング装置１１２ｃ、１１２ｄは独立してカメラアーム１０８ａ、１０８ｂにそれぞれ取り付けられる。描かれた実施形態では、イメージング装置１１２ｃ、１１２ｄはそれぞれ、独立したイメージングモジュール７２０、７２２をそれぞれ含む。例えば、描かれた実施形態では、イメージングモジュール７２０は、イメージング装置１１２ｄの遠位端部に取り付けられ、イメージングモジュール７２２は、イメージング装置１１２ｃの遠位端部に取り付けられる。イメージング装置１１２ｃ、１１２ｄは、イメージングモジュール７２０、７２２から独立して取得された画像両方の単一のディスプレイ（すなわち、図４に示されるディスプレイ４１６）への位置合わせを支援するために手術野の中で互いに接近して位置合わせされ得る。イメージング装置１１２ｃ、１１２ｄは、ここに記載される違いを除いて、図６Ａに関連して上述されたイメージングモジュール１１２ａと実質的に同様である。例えば、イメージング装置１１２ｄは、器具インタフェース１５０ｅ、インタフェース１５０ｅに接続されるシャフト１５２ｅ、シャフト１５２ｅに接続されるリスト部７２４、リスト部７２４に接続されるイメージングモジュール７２０、並びにシャフト１５２ｅを通るケーブル、ロッド、及び／又は光ファイバ７２６を含む。同様に、イメージング装置１１２ｃは、器具インタフェース１５０ｆ、インタフェース１５０ｆに接続されるシャフト１５２ｆ、シャフト１５２ｆに接続されるリスト部７２７、リスト部７２７に接続されるイメージングモジュール７２２、並びにシャフト１５２ｆを通るケーブル、ロッド、及び／又は光ファイバ７２８を含む。イメージング装置１１２ｃ及び／又はイメージング装置１１２ｄの構成要素の機能は、上述のイメージング装置１１２ａの対応する構成要素と実質的に同様である。
図６Ｃは、本開示の１つの実施形態による立体カメラ７３０の概略図である。立体カメラ７３０は、図６Ａのイメージングモジュール７１４、７１５及び図６Ｂのイメージングモジュール７２０、７２２を含む、上述のイメージングモジュールのいずれかとして使用され得る。立体カメラ７３０は、３Ｄ画像になるように、人間の左及び右目に表示され且つ知覚されることができる立体画像を取り込むために使用されることができる。
イメージングモジュール（例えば、イメージングモジュール７１４、７１５、７２０、７２２）は、手術領域の異なる画像を提供するために３Ｄ空間内で独立して動かされることができる。例えば、イメージング装置１１２ａのイメージングモジュール７１４及び／又はイメージング装置１１２ｂのイメージングモジュール７２０は、手術領域の一次画像を提供するために使用されることができる。イメージング装置１１２ａのイメージングモジュール７１５及び／又はイメージング装置１１２ｃのイメージングモジュール７２２は、図８Ｃで画像９６０として示される、外科医の現在の注視点に対応する手術領域の拡大された画像のような、二次又は調整された画像を提供するために使用されることができる。幾つかの例では、イメージングモジュール７１５及び内視鏡エフェクタ７３２はまた、拡大された画像領域の中で構造を識別及び／又は強調するために使用されることができる、蛍光又は超音波イメージングのような、他のイメージングモダリティを提供するために使用され得る。幾つかの実施形態では、以下により詳細に記載されるように、イメージング装置１１２ａのイメージングモジュール７１５及び／又はイメージング装置１１２ｃのイメージングモジュール７２２は、外科医の注視点が、関心領域（例えば、病変部）を特定するために領域（例えば、患者の腹腔）にわたって走査されるときに、重ならない様式で配置される異なる領域の画像を取り込むために使用されることができる。関心領域に対応する画像は、さらに拡大され得る又は（例えば、光学操作及び／又はデジタル処理によって）他のイメージングモダリティで処理され得る。
視標追跡ユニット２００及び１又は複数のイメージング装置１１２を含む、遠隔操作医療システム１０は、外科医の視線領域（gaze region）及び非視線領域（non-gaze region）に様々な画像修正（image modifications）を適用するために使用されることができる。例えば、画像修正は、限定ではなく、拡大、ズームイン若しくはズームアウト、強調表示、再着色（recolorizing）、脱色、標識化、増光（brightening）、ぼかし、及びシャープ化を含む、様々なイメージング効果のいずれかを含み得る。幾つかの実施形態では、画像修正は、非視線領域の強調を抑えながら、視線領域を強調又は変化させ得る。例えば、幾つかの実施形態では、画像修正は、コントラストによって視線領域を強調するために、非視線領域の焦点をぼかすこと、非視線領域を脱色すること、又は非視線領域をぼかすことを含み得る。幾つかの実施形態では、画像修正は、外科医の指示に応じた外科医の視線領域の拡大を含む。幾つかの実施形態では、画像修正は、手術部位の一次ビュー（primary view）の上に外科医の拡大された視線領域を重ね合わせることを含む。幾つかの実施形態では、画像修正は、外科医の視線領域に様々な画像モダリティを適用することを含む。幾つかの実施形態では、遠隔操作医療システム１０は、画像修正を始動するために、（ユーザ視線に加えて）追加のユーザ入力を必要とする。幾つかの実施形態では、遠隔操作医療システム及び視標追跡ユニット２００は、どのイメージング装置が一次画像を取得するか及びどのイメージング装置が補助又は二次画像を取得又は作るかを決定するためにユーザの視線を解釈する。
図７Ａは、所望の画像修正を実現するために、図６Ａ−６Ｂに示されたイメージング装置１１２ａ、１１２ｂ、１１２ｃ、１１２ｄのいずれかと結び付けられることができる、画像処理システム８００のブロック図を示す。画像処理システム８００は、図２Ｃに示された制御ユニット２１０と同じであり得る制御ユニット８０２を含む。制御ユニット８０２は、入力データを処理し且つコマンドを出すための１又は複数のプロセッサを含み得る。プロセッサは、データ及びプログラム命令を保持するために、メモリ（揮発性、不揮発性、又は組合せ）と結合され得る。制御ユニット８０２は、図２Ｃに示された視線プロセッサ２０６から指示信号を受信し得る。制御ユニット８０２はまた、図１Ｃに示された制御インタフェース１２２からの入力信号のような、他の形態の入力の指示を受信し得る。プログラム命令は、例えば、視線プロセッサ２０６から受信したデータ信号を、イメージング装置１１２によって生成されたオリジナル画像の要求された修正を示すコマンド信号に変換するための指示を含み得る。これらの信号を使用して、制御ユニット８０２は、外科医が意図する画像変更の種類及び／又は範囲を決定することができる。例えば、制御ユニット８０２は、外科医がズーム若しくは拡大機能を要求しているかどうか又は外科医が異なるイメージングモダリティ表示を要求しているかどうかを決定することができる。幾つかの実施形態では、制御ユニット８０２は、外科医の注視点に対応する領域（例えば、視線領域）及び画像フィールドの残り（すなわち、非視線領域）に異なる画像モダリティを適用するために指示を受信し得る。
命令を受信した後、制御ユニット８０２は、修正器計算ユニット（modifier calculation unit）８０４に信号を送信し得る。幾つかの実施形態では、修正器計算ユニットはまた、内視鏡操作計算ユニットとしても知られ得る。幾つかの実施形態では、修正器計算ユニット８０４は、イメージング装置１１２（例えば、１１２ａ、１１２ｂ、１１２ｃ、１１２ｄ）の器具インタフェース１５０（例えば、１５０ｄ、１５０ｅ、１５０ｆ）に含まれ得る。修正器計算ユニット８０４は、制御ユニット８０２から受信した信号をコマンド又は動作信号に変換するためのプロセッサを含み得る。幾つかの実施形態では、コマンド信号は、コマンド信号によって指示されたように画像をデジタル的に変更するように内視鏡プロセッサによって直接処理される。追加的に又は代替的に、コマンド信号は、イメージング装置１１２の運動に影響を及ぼすことができるアクチュエータ８０６に送られ得る。幾つかの実施形態では、外科医の意図した画像修正（例えば、拡大、ズームイン、又はズームアウト）は、アクチュエータ８０６が適切な乃至用又はイメージングモジュールの対応する運動を生じさせるとき、実現され得る。修正器計算ユニット８０４は、データ及びプログラミング（例えば、注視点データ、運動関連コマンドデータ、注視点追跡アルゴリズム、画像修正アルゴリズム）を保持するメモリ（揮発性、不揮発性、又は組合せ）に結合される１又は複数のプロセッサを含み得る。幾つかの実施形態では、制御ユニット８０２、修正器計算ユニット８０４、及び／又は内視鏡プロセッサ８０８の上述の機能は、単一のプロセッサによって実行され得る。
アクチュエータ８０６は、イメージング装置１１２の器具インタフェース１５０に機械的に結合されることができる。例えば、アクチュエータ８０６は、図６Ａに示されるように、イメージング装置１１２ａの器具インタフェース１５０ｄに機械的に結合されることができる。アクチュエータ８０６は、例えば、遠隔操作アセンブリ１００のカメラアーム１０８（例えば、カメラアーム１０８、１０８ａ、及び／又は１０８ｂ）に収容される回転モータであることができ、このカメラアームの上に対応するイメージング装置１１２が取り付けられる。上述のように、幾つかの実施形態では、器具インタフェース１５０の修正器計算ユニット８０４は、アクチュエータ８０６の機械的な入力を、対応するリスト部及びイメージング装置のイメージングモジュールの運動に変換し得る。
制御ユニット８０２はまた、照明ユニット８１０の光出力を制御することができる。照明ユニット８１０は、手術領域を照明するために、図６Ａのイメージング装置１１２ａの光ファイバ７１０及び／又は７１１、図６Ｂの、イメージング装置１１２ｄの光ファイバ７２６、及びイメージング装置１１２ｃの光ファイバ７２８のような、１又は複数の光ファイバを通じて光を提供し得る。
画像処理システム８００は、それぞれ、イメージングモジュール７１４、７１５、７２０、又は７２２のような対応するイメージングモジュールのために、画像取込、画像処理、及び／又は画像表示機能を実行するように構成される、複数の内視鏡プロセッサ８０８を含み得る。内視鏡プロセッサ８０８は、例えば、中央電子データ処理ユニット１４２の一部として、ビジョンカート１４０に配置され得る。内視鏡プロセッサ８０８はまた、遠隔操作アセンブリ１００及び／又は外科医コンソール１２０に配置され得る。内視鏡プロセッサ８０８は、データ及びプログラミングを保持するメモリ（揮発性、不揮発性、又は組合せ）に結合され得る。
内視鏡プロセッサ８０８によって処理される画像は、図４Ａに示されるディスプレイ８１６上に出力され得る。幾つかの実施形態では、ディスプレイ８１６は、図２Ｃに示される視標追跡ユニット２００の画像ディスプレイ２０２ａ、画像ディスプレイ２０２ｂ、及び／又は注視点ディスプレイ２０７を含み得る。幾つかの実施形態では、ディスプレイ８１６は、図１Ｄに示されるビジョンカート１４０に取り付けられたタッチスクリーンモニタ１４６である。幾つかの実施形態では、ディスプレイ８１６は、例えば、外科医コンソール１２０においてディスプレイ２０２ａ及び２０２ｂに表示される、一次画像に重なる二次又は修正画像を示すことができる。幾つかの実施形態では、ディスプレイ８１６は、重ね合わせ又は非重ね合わせの様式で並んで表示される複数の画像（例えば、一次画像及び修正画像）を示すことができる。
イメージングモジュール、例えば、イメージングモジュール７１４、７１５、７２０、又は７２２は、手術領域の立体画像を取り込むことができる立体カメラを有し得る。手術領域の立体画像は、光ファイバ７１０、７１１、７２６、又は７２８のような、光ファイバによって、内視鏡プロセッサ８０８に送られ得る。内視鏡プロセッサ８０８は、イメージングモジュールによって取り込まれた立体画像をデジタル化することができ、立体画像をディスプレイ８１６に提供することができる。ディスプレイ８１６上に表示される立体画像は、３Ｄ立体画像として、視標追跡ユニット２００（図２Ｃに示される）を通じて外科医によって知覚されることができる。外科医の指示は、アイトラッカ２０４ａ、２０４ｂによって取り込まれた外科医の視線データを使用して、認識され且つ起動され（initiated）得る。視線プロセッサ２０６は、これらの指示を処理し且つそれらを制御ユニット８０２に伝達することができる。アイトラッカ２０４ａ、２０４ｂ及び視線プロセッサ２０６は、図２Ａ−２Ｃに関連して詳述されたように、外科医の３Ｄ視線を取り込み且つ外科医の３Ｄ視線の画像を生成することができる。
図６Ａに関して、幾つかの実施形態では、イメージング装置１１２ａが遠隔操作医療システム１０で使用されるとき、２つのイメージングモジュール７１４、７１５は、同じ器具インタフェース１５０ｄを共有し得る。上述のように、幾つかの実施形態では、イメージングモジュール７１４は、手術領域の一次画像を取り込むために使用され、イメージングモジュール７１５は、外科医の指示に基づいて二次（例えば修正）画像を取り込むために使用される。イメージングモジュール７１４が、手術部位の一次画像と取り込む間、視線プロセッサ２０６は、外科医の注視点に対応する手術野における領域の調製された画像（例えば、非限定の例として、拡大画像、シャープ化された画像、カラー化された画像、脱色された画像）を取り込み且つ表示するよう、イメージングモジュール７１５に指示するために、外科医の指示を解釈し得るとともに外科医の指示を制御ユニット８０２に送信し得る。指示は、制御ユニット８０２及び修正器計算ユニット８０４の１又は複数のプロセッサによって処理され得る。
幾つかの実施形態では、結果として生じるコマンド信号は、イメージングモジュール７１４、７１５によって受信された画像にデジタル的に影響を及ぼす（デジタル的に拡大する又はその他の方法で修正する）ために内視鏡プロセッサ８０８に送信される。幾つかの実施形態では、結果として生じるコマンド信号は、イメージングモジュール７１５のイメージングモードを変更する（例えば、非限定の例として、撮像される波長範囲、光学倍率、又は視野の幅を変更する）ために内視鏡プロセッサ８０８に送信される。幾つかの実施形態では、結果として生じるコマンド信号は、イメージングモジュール７１５の運動を制御するために、ケーブル、ロッド又は光ファイバ７１１を介して送信され得るとともに、イメージングモジュール７１５は、外科医の指示に基づいて動く又は調整し得る。例えば、外科医が、彼又は彼女の注視点によって特定される領域の拡大画像を見ることを望むとき、イメージングモジュール７１５は、「ズームイン」又は拡大画像を得るために、シャフト１５２ｄの長手方向軸ＬＡに沿って移動し得る。幾つかの実施形態では、イメージングモジュール７１５は、手術領域の一次画像を取り込み且つ表示するために制御され得るとともに、イメージングモジュール７１４は、外科医の指示に基づいて二次画像を取り込み且つ表示し得る。二次画像は、一次画像の視覚的に調整された部分を含み得る。
幾つかの実施形態では、図６Ｂに示されるように、イメージング装置１１２ｂ及びイメージング装置１１２ｃは、遠隔操作医療システム１０で使用され得る。図６Ｂに示されるように、イメージング装置１１２ｂは、器具インタフェース１５０ｄを含み、イメージング装置１１２ｃは、器具インタフェース１５０ｆを含む。幾つかの実施形態では、１より多い制御ユニット８０２があってよく、各制御ユニット８０２は、器具インタフェース１５０ｓ及び１５０ｆの一方に結合される。代替実施形態では、両方の器具インタフェース１５０ｄ、１５０ｆに結合され、且つ器具インタフェース１５０ｄ、１５０ｆに独立した指示を送ることができる、１つの制御ユニット８０２があってよい。例えば、幾つかの実施形態では、イメージング装置１１２ｂは、器具インタフェース１５０ｄによって受信された指示に基づいて手術領域の一次画像を取り込むために使用されてよく、イメージング装置１１２ｃは、器具インタフェース１５０ｆによって受信された指示に基づいて二次又は修正画像を取り込むために使用されてよい。
１つの実施形態では、イメージングモジュール６２０が手術部位の一次画像を取り込む間、視線プロセッサ２０６は、外科医の注視点に対応する手術野の領域の調製された画像（例えば、非限定の例として、拡大画像、シャープ化された画像、カラー化された画像、脱色された画像）を取り込み且つ表示するように、外科医の指示を解釈し且つ外科医の指示を制御ユニット８０２へ送信する。指示は、制御ユニット８０２及び修正器計算ユニット８０４の１又は複数のプロセッサによって処理され得る。
幾つかの実施形態では、結果として生じるコマンド信号は、イメージングモジュール７２０、７２２によって受信された画像にデジタル的に影響を及ぼす（例えば、デジタル的に拡大する又はその他の方法で修正する）ために、内視鏡プロセッサ８０８に送信される。幾つかの実施形態では、結果として生じるコマンド信号は、イメージングモジュール７２２のイメージングモードを変える（例えば、非限定の例として、撮像される波長範囲、光学倍率、又は視野の幅を変更する）ために、内視鏡プロセッサ８０８に送信される。幾つかの実施形態では、結果として生じるコマンド信号は、イメージングモジュール７２２の運動を制御するためにケーブル、ロッド又は光ファイバ７２８を経由して送信され得るとともに、イメージングモジュール７２２は、外科医の指示に基づいて動く又は調整し得る。例えば、外科医が、彼又は彼女の注視点によって特定された領域の拡大画像を見ることを望むとき、イメージングモジュール７２２は、「ズームインされた」又は拡大された画像を得るために、シャフト１５２ｆの長手方向軸に沿って移動し得る。代替実施形態では、イメージングモジュール７２２は、手術領域の一次画像を取り込み且つ表示するように制御され得るとともに、イメージングモジュール７２０は、外科医の指示に基づいて二次画像を取り込み且つ表示し得る。
図７Ｂは、本開示の実施形態による様々なイメージング修正を適用するために遠隔操作医療システム１０のイメージング装置（複数可）を制御するための方法８５０を示すフローチャートである。プロセス８５２において、第１のイメージングモジュールは、手術領域の第１の又は一次画像を取り込む。第１のイメージングモジュールは、手術領域の立体画像を取り込むように構成される立体カメラであり得る。第１のイメージングモジュールが焦点を合わせる手術野の中の位置は、ユーザ以外の人、例えば、患者の隣の手術室の中の人員によって調整され得る。追加的に又は代替的に、第１のイメージングモジュールは、（図１Ｃに示されるような）外科医コンソール１２０又は遠隔操作医療システム１０の他の構成要素によって、作動され且つ制御され得る。幾つかの実施形態では、図２Ａ−２Ｃに関連して上述されたように、第１のイメージングモジュールは、外科医の注視点によって制御されることができる。特に、外科医の注視点は、第１のイメージングモジュールに影響を及ぼすように、図２Ｃに示された視標追跡ユニット２００によって追跡され且つ解釈されることができる。幾つかの実施形態では、第１の画像は、ゼロ又は低倍率での、患者の腹部のような、手術領域の全体画像（overview image）である。幾つかの実施形態では、第１の画像は、ゼロ又は低倍率での、手術領域（例えば、外科医が作業している手術領域）の一次画像を含む。
方法８５０のプロセス８５４において、第１の画像は、図７Ａに示される内視鏡プロセッサ８０８によって表示のために処理され、この内視鏡プロセッサは第１のイメージングモジュールに結合される。内視鏡プロセッサ８０８は、第１の画像を表すデータを受信するとともに、第１の画像の位置、境界、及び／又は倍率のような、画像データの様々な特性をデジタル化する。デジタル化された情報は、内視鏡プロセッサ８０８に結合される１又は複数のメモリにセーブされ得る。内視鏡プロセッサ８０８は、第１の画像のイメージング情報を処理するとともに、図７Ａに示されるディスプレイ８１６に第１の画像を表示する。第１のイメージングモジュールが立体カメラであるとき、第１の画像は、立体画像である。立体画像は、外科医コンソール１２０の左及び右目画像ディスプレイ２０２ａ、２０２ｂに表示されることができる。手術領域の３Ｄ一次画像が、その後、外科医によって見られることができる。
プロセス８５６において、視標追跡システム２００は、第１の画像の表示に対する外科医の注視点を追跡する。例えば、第１の画像が、左及び右目画像ディスプレイ２０２ａ、２０２ｂに表示されるとき、図２Ｃの視標追跡システムは、第１の画像に対する外科医の注視点を決定し得る。視線プロセッサ２０６は、例えば、外科医の注視点の３Ｄ位置を提供するために、視線情報をデジタル化し得る。デジタル化された情報は、視線プロセッサ２０６に結合される（図２Ｃに示される）１又は複数のメモリ２０８にセーブされ得る。外科医が外科医の視線を通じて指示を送るとき、視線プロセッサ２０６は、デジタル化された情報を制御ユニット２１０に提供することができる。視線追跡による遠隔操作医療システムの制御のための装置、システム、及び方法のさらなる詳細は、例えば、"MEDICAL DEVICES, SYSTEMS, AND METHODS INTEGRATING EYE GAZE TRACKING FOR STEREO VIEWER”と題する、２０１４年３月１９日に出願された、米国仮出願第61/955334号に見出すことができ、これはその全体が本明細書に援用される。
プロセス８５８において、遠隔操作医療システム１０は、様々な画像修正を提供するために外科医から指示を受信する。幾つかの実施形態では、外科医からの指示は、外科医の視線領域の拡大画像を提供することを含む。幾つかの実施形態では、外科医からの指示はまた、第１の画像に第２の、修正された画像を重ね合わせることを含む。外科医からの指示はまた、任意の適切なイメージングモダリティで第２の画像を表示することを含み得る。
プロセス８６０において、遠隔操作医療システム１０は、プロセス８５８において受信された支持及びプロセス８５６において追跡された外科医の注視点に基づいて、第２の画像を取り込む。幾つかの実施形態では、第２の画像は、指示及び制御ユニット２１０によって受信される視線情報を使用して、第２のイメージングモジュールによって取り込まれ得る。幾つかの実施形態では、第２のイメージングモジュールの位置及び向きは、第２の画像を取り込むために、図７Ａに示される画像処理システム８００により、適宜調整されることができる。他の実施形態では、所望の第２の画像は、第２のイメージングモジュールの光学的操作なしに、デジタル処理を通じて得られる。幾つかの実施形態では、光学的操作及びデジタル操作の両方が、所望の第２の画像を得るために使用される。
プロセス８６２において、第２の画像は、図７Ａに示されるディスプレイ８１６に表示される。例えば、第２の画像は、外科医の注視点の拡大画像、又は外科医によって要求される異なるイメージングモダリティで表示される画像であることができる。
図８Ａ、９、及び１０Ａは、遠隔操作医療システム１０を使用して達成されることができる異なる画像修正を示す（demonstrate）様々な方法９００、１０００、及び１１００を示すフローチャートである。これらの方法は、事実上単なる例示であり、限定することを意図するものではないことが理解されるべきである。他の画像修正が想定される。
図８Ａは、本開示の遠隔操作医療システム１０を使用する一次画像に重なる拡大画像を表示するために方法９００を示すフローチャートである。特に、方法９００は、一次イメージングモジュールを使用する一次画像の取り込み及び表示、並びに補助イメージングモジュールを使用する外科医の注視点に対応する領域の拡大画像の取り込み及び表示を対象にする。図８Ｂは、本開示の幾つかの実施形態による拡大領域内に表示された所定の視標追跡閾値領域９３５を示す。図８Ｃは、一次画像９５０の上に拡大画像９６０を表示することの例を示す。図８Ｄは、図８Ｃに示された一次画像９５０及び拡大画像９６０を取り込み且つ生成するための、図６Ａのイメージング装置１１２ａの使用を示す概略図である。図８Ｅは、図８Ｃに示された一次画像９５０及び拡大画像９６０を取り込み且つ生成するための、図６Ｂのイメージング装置１１２ｂ及び１１２ｃの使用を示す概略図である。図８Ａ−８Ｅは、単純さのために拡大画像として補助又は二次画像を記載しており、他のイメージング効果（非限定例として、カラー／グレースケールイメージング、シャープ／ぼかしイメージング、及びブライト（bright）／ダル（dull）イメージング）が想定され得ることが理解されるべきである。
方法９００は、図８Ａ及び８Ｃ−８Ｅを参照して以下に記載される。プロセス９０２において、手術領域の一次画像９５０は、図８Ｄの一次イメージングモジュール７１４又は図８Ｅの一次イメージングモジュール７２０によって取り込まれる。幾つかの実施形態では、一次イメージングモジュールは、図８Ｂに示される方法９５０のプロセス９５２で論じされる第１のイメージングモジュールであり得る。
方法９００のプロセス９０４において、取り込まれた一次画像９５０は、一次イメージングモジュール７１４又は一次イメージングモジュール７２０に結合される、内視鏡プロセッサ９０８によって処理され、一次画像はディスプレイ８１６に表示される。
プロセス９０６において、図２Ｃの視標追跡ユニット２００は、外科医の注視点を追跡し且つ解釈する。視線情報は、外科医の注視点の３Ｄ位置を含み得る。視線情報は、図８Ｂのプロセス９５６に関連して論じられたように、制御ユニット２１０に提供されることができる。
幾つかの実施形態では、外科医は、手術領域内の関心領域をより詳細に調べたいかもしれない。例えば、外科医は、神経、血管、及び病変部のような、手術領域の微細構造の拡大ビューを調べることを望むかもしれない。幾つかの例では、外科医はまた、一次画像の上で又は一次画像９５０に重なって顕微鏡下手術（microsurgery）アプリケーションを始めたいかもしれない。方法９００のプロセス９０８において、遠隔操作医療システム１０は、関心領域の仮想的に拡大された画像を見るために、外科医から指示を受信する。幾つかの実施形態では、外科医は、関心領域の位置を特定するために、彼又は彼女の注視点を使用し得るとともに、様々な他の入力方法のいずれかを使用して確認指示を入力し得る。例えば、外科医は、外科医コンソールのボタンを押し得る、フットペダルを軽く叩き得る、音声メッセージを送り得る、又はウインクし得る。確認指示は、図８Ｄのイメージングモジュール７１５又は図８Ｅのイメージングモジュール７２２のような、補助イメージングモジュールの制御ユニット２１０に送信され得る。幾つかの実施形態では、確認指示はまた、選択された画像修正の特性又は範囲に関するより詳細な情報を含む。例えば、幾つかの実施形態では、確認指示は、拡大の外科医の好ましいレベルに関する情報を含む。加えて、視線プロセッサ２０６によって提要される外科医の注視点に関する位置情報もまた、対応する補助イメージングモジュールに結合される制御ユニット２１０に送信され得る。
上述のように、図８Ｂは、仮想拡大領域９３０の中に表示された所定の視標追跡閾値領域９３５を示す。仮想拡大領域９３０は、外科医の視線に関するデジタル化された位置情報（例えば、視線プロセッサ２０６によって提供される）、及び外科医の指示に含まれる拡大の所望のレベル（例えば、プロセス９０８で取得される）を使用して生成され得る。所定の視標追跡閾値領域は、遠隔操作医療システム１０の現在のユーザの特徴的な眼球運動を反映する。一般的に、人間の眼球運動は頻繁なサッケードを含み得るとともに、眼球運動挙動は人によって異なる。したがって、視標追跡閾値領域９３５は、その中で外科医の視線が頻繁にサッケードする領域を含み、外科医の観察される眼球運動挙動に対応し得る。異なる外科医は、異なるサッケード周波数、速度、及び振幅を有し得るので、視標追跡閾値領域９３５の形状及びサイズは、外科医ごとに変わり得る。特定の外科医の視標追跡閾値領域９３５は、視標追跡較正プロセスの間に決定され得る。
外科医の所定の視標追跡閾値領域９３５は、この外科医の視線測定の正確さ及び精度の範囲を反映し得る。幾つかの実施形態では、視標追跡閾値領域９３５は、外科医の注視点の中心位置及びそのポイントにおける繰り返される測定の一貫性を確かめるために使用され得る。所定の視標追跡閾値領域９３５は、視標追跡閾値領域９３５と拡大領域９３０との間の比較を容易にするために、拡大領域９３０と共通の中心に置かれる（co-centered）ように配置され得る。
拡大領域９３０及び視標追跡閾値領域９３５の円形形状は、本開示の説明のための単なる例示であり、領域９３０、９３５は、非限定の例として、長方形、楕円形、又は正方形を含む、様々な適切な形状のいずれかに形成され得ることが理解されるべきである。幾つかの実施形態では、外科医の所定の視標追跡閾値領域９３５が蓄積されたストレス又は疲労のために変化し得るので、外科医は、視標追跡閾値領域９３５を更新するために、他の較正セッションを受けてもよい。幾つかの実施形態では、外科医の眼球運動挙動（eye movement behavior）は、外科医の異常な眼球挙動が検出されるときに外科医及び／又は他の健康管理要員に警告するために、視標追跡システム２００によってリアルタイムでモニタされ得る。例えば、視標追跡システム２００が、外科医の異常な及び／又は特徴的でない眼球運動挙動を検出する場合、再較正プロセスを要求する警告がシステム２００によって外科医に（例えば、ディスプレイ８１６を介して）送られ得る又は外科医は現在の作業セッションを停止するように勧められ得る。
方法９００のプロセス９１０において、外科医（例えば、現在のユーザ）の所定の視標追跡閾値領域９３５のサイズは、拡大されたビューにおける不慮のジッタリング（jittering）を避けるために、（例えば、図７Ａに示される画像処理システム８００によって）仮想拡大領域９３０のサイズと比較される。この比較は、視線プロセッサ２０６及び／又は制御ユニット２１０のプロセッサによって実行されることができる。拡大領域９３０が、所定の視標追跡閾値領域９３５より小さい場合、外科医の現在の注視点は、正確さ及び精密さの所望の範囲の中に無いかもしれず、外科医の現在の注視点の拡大画像９３０は、不慮のジッタリング又はサッケードを伴って表示され得る。言い換えると、外科医の注視点が所定の視標追跡閾値領域９３５の外側に位置する場合、拡大画像９３０によって示される手術領域は、外科医の視線が、図７Ａに示される画像ディスプレイ８１６（例えば、図２Ｃに示される画像ディスプレイ２０２ａ、２０２ｂ）に対して移動するにつれて変化する。幾つかの実施形態では、平均注視点（例えば、特定の期間又は画像フレームの特定の数Ｎにわたる注視点の時間平均重み付け）が、視線プロセッサ２０６及び／又は制御ユニット２１０のプロセッサによって計算されることができ、平均注視点は、所定の視標追跡閾値領域９３５と比較され得る。例えば、平均注視点（例えば、最後のＮ画像フレームにわたる）が、所定の視標追跡閾値領域９３５の外側に動く場合、拡大領域９３０の位置は、図７Ａに示される画像ディスプレイ８１６（例えば、図２Ｃに示される画像ディスプレイ２０２ａ、２０２ｂ）に対して移動する。したがって、所定の視標追跡閾値領域９３５は、拡大ビューの位置の不慮のジッタリングなしに（例えば、外科医の視線の自然のサッケードを追跡又は反映するように拡大画像９３０を変えることなしに）、ユーザの視線の自然のサッケード又は移動を可能にする。
幾つかの実施形態では、外科医の注視点が、所定の視標追跡閾値領域９３５の外側に位置する場合、外科医の現在の注視点は、拡大されなくてよく、方法９００は、外科医の視線を追跡し続けるためにプロセス９０６に戻る。幾つかの実施形態では、外科医が一次イメージングモジュールの焦点位置を変えることによって一次画像を変えることを望む場合、方法９００は、異なる一次画像を取り込むためにプロセス９０２に戻る。
しかし、外科医の視線を反映する拡大領域９３０が、（例えば、図７Ａに示される画像処理システム８００によって）所定の視標追跡閾値領域９３５より大きいことが決定される場合、（例えば、視標追跡システム２００によって測定される）外科医の現在の注視点は、現在の外科医の視線測定の正確さ及び精密さの所望の範囲内にあると見なされ得る。言い換えると、外科医の注視点が、所定の視標追跡閾値領域９３５の中にあることが決定される場合、拡大画像９３０は静止したままである。外科医の現在の注視点の拡大画像９３０は、不慮のジッタリング又は目のサッケードを反映することなしに（例えば、拡大領域９３０として）表示され得る。
プロセス９１１において、視線プロセッサ２０６及び／又は制御ユニット２１０のプロセッサは、拡大領域９３０が一次画像の中にあるかどうかを問い合わせる。幾つかの例では、外科医の視線は、一次イメージングモジュール７１４又は一次イメージングモジュール７２０によって取り込まれた一次画像の外又は端に意図的又は不注意のいずれかで移動し得る。一般的に、一次画像の外又は端より、一次画像の中心領域の近くにユーザの拡大された視野（magnified vision）（例えば、関心領域の拡大領域９３０）を配置し且つ制御ことはより容易且つより正確であり得る。したがって、プロセス９１１において、外科医の視線の仮想拡大領域９３０はさらに、外科医の注視点が一次画像の中にあるかを確認するために一次イメージングモジュールによって取り込まれた一次画像９５０と比較される。
拡大領域９３０が、一次画像９５０の外又は端にある場合、方法９００は、新しい一次及び拡大画像を得るために一次イメージングモジュール及び／又は補助イメージングモジュールの位置及び向きを調整することによってプロセス９０２に戻って進む。幾つかの例では、一次イメージングモジュールは、手術野の中で補助イメージングモジュールの運動又は方向に「追従」し得る。例えば、図７Ａに示される画像処理システム８００は、外科医の注視点の移動と協調して補助イメージングモジュール７１５又は７２２（図８Ｄ及び８Ｅそれぞれに示される）を移動させ得るとともに、拡大領域９３０に「追従」するように一次イメージングモジュール（図８Ｄ及び８Ｅそれぞれに示される）を移動させ得るので、一次画像の中心部分内に拡大領域を維持する。幾つかの実施形態では、デジタル化された外科医の視線情報は、対応する一次イメージングモジュールの位置を適切に調整するために、対応する一次イメージングモジュールの制御ユニット２００によって使用され得る。
遠隔操作医療システム１０（例えば、図７Ａに示される画像処理システム８００）が、外科医の拡大された視線の仮想拡大領域９３０が一次画像９５０の中にあることを決定するとき、方法９００はプロセス９１２に進む。プロセス９１２において、制御ユニット２１０は、外科医の視線及び／又は他の入力により外科医の指示を受信し且つ処理する。例えば、制御ユニット２１０は、視線プロセッサ２０６から外科医の注視点のデジタル化された位置情報を受信する。制御ユニット２１０はまた、外科医による好ましい倍率入力を受信し得る。制御ユニット２１０は、器具インタフェース１５０（例えば、補助イメージングモジュール７１５又は補助イメージングモジュール７２２それぞれに接続される器具インタフェース１５０ｄ又は器具インタフェース１５０ｆ）に、位置及び倍率データを送信し得る。上述のように、幾つかの実施形態では、器具インタフェース１５０ｄ又は器具インタフェース１５０ｆは、補助イメージングモジュール７１５又は補助イメージングモジュール７２２に結合されるアクチュエータ８０６に位置および倍率情報を送信し得るとともに、アクチュエータ８０６は、図８Ｄ−８Ｅに示されるように、対応するイメージングモジュールを外科医の注視点の位置に動かすように補助イメージングモジュールを駆動することができる。シャフト１５２ｄ／リスト部７１３若しくはシャフト１５２ｆ／リスト部７２７、及び対応する補助イメージングモジュール７１５又はイメージングモジュール７２２はそれぞれ、倍率の所望のレベルに対応するある距離へ外科医の注視点に向かってシャフトの長手方向軸に沿って延び得るとともに、（図８Ｄ及び８Ｅに示されるような）拡大画像９６０は、対応する補助イメージングモジュール７１５又は７２２によって取り込まれ得る。
プロセス９１４において、補助イメージングモジュール（例えば、７１５又は７２２）は、アクチュエータ８０６が外科医の指示に応じて補助イメージングモジュールを調整した後、外科医の注視点によって示された関心領域の二次又は修正画像を取り込む。補助イメージングモジュールは、外科医の注視点によって示された関心領域の拡大画像９６０を取り込む。幾つかの実施形態では、補助イメージングモジュールは、立体画像を取り込むことができる図６Ｃに示される立体カメラ７３０を含む。
プロセス９１６において、画像処理システム８００（図７Ａに示される）は、一次画像９５０上に重ね合わされた画像として外科医の注視点の拡大画像９６０を処理し且つ表示する。幾つかの実施形態では、拡大画像９６０は、光学的拡大方法（例えば、外科医の注視点によって示される関心領域に対する補助イメージングモジュールの物理的調整）により取り込まれていてよい。追加的に又は代替的に、拡大画像９６０は、（例えば、デジタル操作により）内視鏡プロセッサ８０８によって作られていてよい。内視鏡プロセッサ８０８は、補助イメージングモジュールによって取り込まれた拡大画像９６０をデジタル化することができ、その後、拡大画像９６０をディスプレイ８１６の一次画像９５０の上に重ねるために、拡大画像９６０を位置合わせすることができる。
幾つかの実施形態では、共通の特徴ベースの方法（例えば、共通のランドマークの方法）が、拡大画像９６０を一次画像の上に重ねるように拡大画像９６０を位置合わせするために使用され得る。例えば、幾つかの実施形態では、内視鏡プロセッサ８０８は、一次画像９５０及び拡大画像９６０の両方に存在する、図８Ｃの特徴９５５のような、共通の特徴を識別することができる。内視鏡プロセッサ８０８は次に、拡大画像９６０の共通の特徴９５５を、一次画像９５０の共通の特徴９５５と空間的に位置合わせし得る。共通の特徴ベースの方法が、拡大画像９６０を一次画像９５０と共に位置合せする方法としてここでは記載されているが、非限定例として、強度ベースの方法又は特徴ベースの方法のような、任意の適切な方法が、拡大画像９６０を一次画像９５０の上に重ねるように拡大画像９６０を位置合わせするために使用され得ることが理解されるべきである。
幾つかの実施形態では、ディスプレイ８１６は、画像ディスプレイ２０２ａ及び２０２ｂと同じであり得る。補助イメージングモジュールが図６Ｃに示される立体カメラを含むとき、立体カメラは、必要な倍率で立体画像を取り込み得るとともに、内視鏡プロセッサ８０８は、表示されるために且つ一次画像９５０の立体画像を画像ディスプレイ２０２ａ及び２０２ｂそれぞれに重ねるために、左及び右立体画像を生成し得る。外科医は、立体画像を拡大された注視点の３Ｄ画像であるように視覚し得る。追加的に又は代替的に、ディスプレイ８１６は、図１Ｄに示されるタッチスクリーン１４６のような、外部ディスプレイを含み得る。
プロセス９１８において、遠隔操作医療システム１０は、拡大画像が外科医に望まれているかどうかを問い合わせる。処置の間、外科医は、拡大画像をオン及びオフにし得る、又は拡大画像をオン及びオフに「トグルで切り替え」得る。外科医が拡大画像９６０を見た後、外科医は、拡大画像９６０をオフにする、隠す、又は閉じるために終了指示を送信し得る。外科医は、任意の方法を使用して終了指示を送信してよく、例えば、外科医は、外科医コンソールのボタンを押し得る、フットペダルを軽く叩き得る、又は音声メッセージを送り得る、又はさらにはウインクし得る。
拡大画像９６０をオフにする、隠す、又は閉じるための外科医からの指示を受信すると、方法９００は、プロセス９２０に進む。プロセス９２０において、画像処理システム８００は、画像ディスプレイ８１６から拡大画像をオフにする、隠す、又は閉じる。拡大画像９６０が、オフにされる又は視界から隠されるとき、ディスプレイ８１６は、一次画像９５０のみを表示する。終了指示は、一次画像の上の拡大画像９６０の重ねられた出現が消えるように、画像ディスプレイ８１６の拡大画像９６０を登録解除するために対応する補助イメージングモジュールに結合された制御ユニット２１０に送信され得る。幾つかの実施形態では、補助イメージングモジュールは、拡大画像９６０はディスプレイ８１６に表示されていないが、拡大画像９６０を入手し続ける。他の実施形態では、補助イメージングモジュールは、動作停止にされる。制御ユニット２１０は、補助イメージングモジュールをオフにし得るとともに、補助イメージングモジュールを、アクチュエータ８０６を制御することによって外科医の注視点の位置の外に動かし得る。幾つかの実施形態では、補助イメージングモジュールは、所定の時間が、外科医が（例えば、再開指示により）拡大画像８１６をオンにする又はその他の方法でディスプレイ８１６に拡大画像を示す指示を送信することなしに経過した後にのみ、動作停止にされ得る。
幾つかの例では、外科医は、手術野の中の他の関心領域の拡大画像を見たい場合がある。方法９００は、画像処理システム９００が拡大を終了させる指示を受信しない場合又はシステム９００が外科医から拡大を再開するように指示を受信する場合、プロセス９０８に戻り得る。幾つかの実施形態では、外科医は、彼又は彼女の注視点を変え得るとともに、新しい指示は、（例えば、プロセス９１０−９１８に概説されたように）外科医の新しい注視点の拡大画像を取り込むこと及び表示することを含み得る。幾つかの実施形態では、現在の倍率が微細構造を適切に調べるのに不十分であるとき、新しい指示は、プロセス９１０−９１８を使用して、外科医の注視点の現在の拡大画像への更なる拡大又は「ズームイン」を指示し得る。
図９は、本開示の１つの実施形態による、異なるイメージングモダリティを使用して一次及び二次画像を取り込み且つ表示するように、イメージング装置１１２ａ、１１２ｂ、及び／又は１１２ｃを制御するために画像処理システム８００を使用するための方法１０００を示すフローチャートである。図６Ａのイメージング装置１１２ａが使用されるとき、第１のイメージングモダリティにおける一次画像が、一次イメージングモジュール７１４を使用して取り込まれ且つ表示され得るとともに、補助又は二次画像が、蛍光透視法又は超音波法のような、異なるイメージングモダリティを使用する補助イメージングモジュール７１５を使用して取り込まれ得る。補助画像は、外科医の注視点に対応する関心領域内の構造を特徴づける及び／又は特定するのに外科医を支援し得る。幾つかの実施形態では、補助イメージングモジュール７１５は、異なるイメージングモダリティで外科医の注視点の拡大画像を提供するように構成される又は調整され得る。
幾つかの実施形態では、図６Ｂのイメージング装置１１２ｂが使用されるとき、一次画像が、一次イメージングモジュール７２０を持つ一次イメージング装置１１２ｂを使用して取り込まれ且つ表示され得るとともに、二次又は補助画像が、外科医の注視点における構造を特徴づける及び／又は特定するために、補助イメージング装置１１２ｃの補助イメージングモジュール７２２を使用して、蛍光透視法又は超音波法のような、異なるイメージングモダリティで取り込まれ得る。幾つかの実施形態では、補助イメージングモジュール７２２は、異なるイメージングモダリティで外科医の注視点の拡大画像を提供するように調整され得る。
手術の開始に先立って、補助画像を提供するように構成される画像処理システム８００は、外科医の要求に基づいて変更され得る。幾つかの実施形態では、例えば、外科医が蛍光透視法の補助画像を得たい場合、照明ユニット８１０は、Ｘ線源を用い得るとともに、ディスプレイ８１６は、蛍光スクリーンであり得る。幾つかの実施形態では、画像処理システム８００は、Ｘ線を可視光出力に変換する任意の既知の技術を含み得るとともに、ディスプレイ８１６を、ＣＣＤビデオカメラを持つ補助イメージングモジュールに結合し得る。蛍光透視法のための画像処理システム８００は、画像が記録され且つディスプレイ８１６に示されることを可能にし得る。
幾つかの実施形態では、外科医が超音波法の補助画像を得たい場合、照明ユニット８１０は、超音波を発生するように構成される圧電トランスデューサを用い得るとともに、補助イメージングモジュールは、適切な周波数範囲で動作する超音波スキャナであり得、内視鏡プロセッサ８０８は、受信した音波をディスプレイ８１６に表示されることになるデジタル画像に処理し且つ変換することができ得る。したがって、画像処理システム８００は、外科医の要求に基づいて所望のイメージングモダリティを取り込み且つ表示できるように、要求された構成要素の任意の適切な配置を伴う任意の適切な技術に適合するように、変更され且つ構成され得る。
方法１０００のプロセス１００２において、一次イメージングモジュールは、手術野の一次画像を取り込むために使用される。プロセス１００４において、画像処理システム８００は、ディスプレイ８１６に一次画像を処理し且つ表示する。プロセス１００６において、視標追跡システム２００（図２Ｃに示される）は、外科医の注視点を追跡する。幾つかの実施形態では、一次画像は、立体画像を含み得るとともに、外科医の注視点の３Ｄ位置が追跡される。方法１０００のプロセス１００２、１００４、及び１００６は、図８Ａに示された方法８５０のプロセス９０２、９０４、及び９０６と実質的に同様であり得る。
方法１０００のプロセス１００８において、外科医は、彼又は彼女の注視点を関心領域に向け得るとともに、任意の適切な方法を使用して（例えば、二次画像を見るための）指示を入力し得る。例えば、外科医は、外科医コンソールのボタンを押すこと、フットペダルを軽く叩くこと、音声メッセージを送ること、又はウインクすることによって、指示を送り得る。指示は、補助イメージングモジュールに結合された制御ユニット８０２（図６Ａに示される）に送信され得る。幾つかの実施形態では、指示はまた、好ましい種類のイメージングモダリティ、及び／又は好ましい倍率のような情報を含み得る。加えて、視線プロセッサ２０６（図２Ｃに示される）によって提供される外科医の注視点の位置情報もまた、補助イメージングモジュールの制御ユニット８０２に送信され得る。
プロセス１０１０において、図８Ａのプロセス９１１と同様に、画像処理システム４００は、外科医の視線が、一次イメージングモジュールによって取り込まれた一次画像によって示される領域の外側の領域に向けられているかどうかを決定する。外科医の注視点が、一次画像によって示される領域の外側にあることが決定される場合、方法１０００は、外科医の注視点に対応する領域を含む更新された一次画像を形成するように、一次イメージングモジュールの位置及び向きを調整することによって、プロセス１００２に戻って進み得る。外科医の注視点が、一次画像の中にあるとき、方法１０００はプロセス１０１２に進む。
プロセス１０１２において、制御ユニット８０２は、プロセス１００８において受信された外科医の指示を処理し、所望の二次画像を取り込むために補助イメージングモジュールを準備する。幾つかの実施形態では、制御ユニット８０２は、要求された画像を取り込むために補助イメージングモジュールを物理的に位置決め又は調整するようアクチュエータ８０６に命じ得る。
プロセス１０１４において、補助イメージングモジュールは、外科医の指示にしたがって要求されたモダリティで画像を取り込み得る。追加的に又は代替的に、制御ユニット７８０２は、内視鏡プロセッサ８０８に、所望のモダリティで二次画像をデジタル的に準備するように指示する。
プロセス１０１６において、内視鏡プロセッサ８０８は、ディスプレイ８１６に要求された画像を処理し且つ表示する。幾つかの実施形態では、上述のように、内視鏡プロセッサ８０８は、二次画像がディスプレイ８１６上の一次画像の上にオーバーレイ（overlay）として位置合わせされ且つ表示されることができりょうに、二次画像と一次画像との間の共通の特徴と処理し且つ特定する。他の適切な方法が、二次画像と位置合わせするために及び二次画像を一次画像の上に重ねるために使用され得ることが理解されるべきである。他の実施形態では、二次画像は、重なる又は重ならない様式で、一次画像に隣接して表示され得る。
プロセス１０１８において、画像処理システム８００は、外科医が補助イメージングプロセスを続けること及び／又は補助画像を見続けることを望んでいるかどうかを決定する。継続する補助イメージングが外科医によって要求される場合、異なる位置の画像か異なるモダリティでの画像かにかかわらず、方法１０００は、外科医から新しい指示を得るためにプロセス１００８に戻る。画像処理システム８００が、外科医が補助イメージングを終わらせること及び／又は補助画像を見ることを停止することを望んでいることを決定する場合、補助イメージングプロセスは、プロセス１０２０において、終了されることができる及び／又は補助画像が隠される（例えば、オフにトグルで切り替えられる）ことができる。方法１０００のプロセス１０１２−１０２０は、図８Ａの方法９００のプロセス９１２−９２０と実質的に同様である。
図１０Ａは、イメージングモジュールが、外科医の視線に追従し且つ画像ディスプレイ８１６に一次画像によって表される領域にわたって走査するときに取り込まれる複数の画像（例えば、図１０Ｂに示された画像１１５０−１１５４、１１６０−１１６４、及び１１７０−１１７４）を表示するための方法１１００を示す。図１０Ｂは、イメージングモジュールが、画像ディスプレイ８１６上の一次画像にわたって走査するように、外科医の視線によって伝えられる指示に従うときに取り込まれ且つ表示される複数の例示の画像を示す。
プロセス１１０２において、画像処理システム８００は、一次イメージングモジュール（例えば、図６Ａの一次イメージングモジュール７１４又は図６Ｂの一次イメージングモジュール７２０）を使用して一次画像を取り込み且つ表示する。上述のように、一次イメージングモジュールは、手術領域の立体画像を取り込むように構成される立体カメラであり得る。一次イメージングモジュールはまた、（図１Ｃに示されるような）外科医コンソール１２０の外科医によって作動され且つ制御され得る。一次イメージングモジュールはまた、手術室の他の人員によって調整され得る。幾つかの実施形態では、一次画像は、ゼロ又は低倍率における患者の腹腔のような、手術領域の全体画像であり得る。取り込まれた一次画像は、内視鏡プロセッサ８０８によって処理されることができ、この内視鏡プロセッサ８０８は一次イメージングモジュールに結合され得る。内視鏡プロセッサ８０８は、一次画像を受信し得るとともに、一次画像の位置、境界、及び／又は倍率レベルのような、様々な種類の一次画像データをデジタル化し得る。デジタル化された情報は、内視鏡プロセッサ８０８に結合された１又は複数のメモリにセーブされ得る。内視鏡プロセッサ８０８はまた、一次画像をディスプレイ８１６に表示するために一次画像のイメージング情報を処理することができる。
プロセス１１０４において、図２Ｃの視標追跡システム２００は、外科医の目がプロセス１１０２において得られた一次画像にわたって走査するとき、外科医の注視点を追跡する。外科医の視線は、視標追跡システム２００のアイトラッカ２０４ａ及び２０４ｂを使用して追跡され得る。視線プロセッサ２０６は、アイトラッカ２０４ａ及び２０４ｂによって提供された視線情報を処理し得るとともに、画像ディスプレイ２０２及び／又は手術野に対する外科医の注視点の３Ｄ位置のような、外科医の注視点に関するデータをデジタル化し得る。デジタル化された情報は、視線プロセッサ２０６に結合された１又は複数のメモリ２０８にセーブされ得る。視線プロセッサ２０６はまた、外科医が外科医の視線に基づいて指示を送るとき、制御ユニット８０２に情報を提供し得る。
プロセス１１０６において、画像処理システム８００は、外科医から支持を受信する。幾つかの実施形態では、外科医は、１又は複数の関心領域を特定し得る一方、さらなる調査のために一時画像を走査する。外科医は、関心領域の修正されたビュー（例えば、非限定の例として、拡大された視界、異なるイメージングモダリティの視界、強調された又はシャープにされた視界、明るくされた又はカラー化された視界、又はその他の方法でグラフィカルに調整された視界）を要求し得る。例えば、外科医はまた、関心構造をさらに調査する及び／又は特徴付けるために、異なるイメージングモダリティの関心領域の視界を要求し得る。幾つかの実施形態では、外科医は、関心領域内の構造のより詳細な画像を見るために、関心領域の拡大された視界を要求し得る。
外科医が関心領域を凝視するとき、外科医は、様々な適切な入力方法のいずれかを使用して確認指示を入力し得る。例えば、外科医は、所望の指示を入力するために、外科医コンソールの対応するボタンを教える、フットペダルを軽く叩きうる、音声メッセージを送り得る、又は特定のパターンでウインクし得る。確認指示は、制御ユニット８０２に送信されることができ、この制御ユニットは、一次イメージングモジュールと同じであってもなくてもよいイメージングモジュールに結合される。イメージングモジュールが、一次イメージングモジュール７１４又は一次イメージングモジュール７２０と異なるとき、図６Ａの補助イメージングモジュール７１５又は図６Ｂの補助イメージングモジュール７２２は、制御ユニット８０２によって起動され得る。幾つかの実施形態では、確認指示はまた、好ましいイメージングモダリティ、「ズームインされた」画像のための所望の倍率レベル、及び／又は他の種類の視覚／グラフィカル効果のような、外科医の所望の調査モード情報を含み得る。加えて、視線プロセッサ２０６によって提供される外科医の注視点の３Ｄ位置情報は、制御ユニット８０２に送信される。幾つかの実施形態では、外科医の確認指示を制御ユニット８０２に送信する前に、画像処理システム８００（例えば、制御ユニット８０２のプロセッサ及び／又は視線プロセッサ２０６）は、方法９００のプロセス９１０及び９１１と同様である１又は複数の決定プロセスを実行し得る。
プロセス１１０８において、画像処理システム８００は、外科医の確認指示を処理する。制御ユニット８０２は、視線プロセッサ２０６から外科医の注視点の位置情報及び確認指示（外科医の所望の調査モード情報を含む）を受信する。制御ユニット８０２は、適切なイメージングモジュールに接続される器具インタフェース１５０に位置データ及び確認指示を送信し得る。幾つかの実施形態では、器具インタフェース１５０は、位置データ及び確認指示をアクチュエータ８０６に送信し得るとともに、アクチュエータ８０６は、イメージングモジュールが、外科医の注視点によって提示される関心領域の所望の画像を得ることができる物理的な位置にイメージングモジュールを動かし得る。例えば、外科医が外科医の注視点によって特定された関心領域の拡大画像を要求したとき、イメージングモジュールは、所望のレベルの倍率で拡大画像を取り込むためにシャフトの軸に沿って延びるようにアクチュエータ８０６によって動かされ得る。
プロセス１１１０において、イメージングモジュールは、（例えば、プロセス１１０６で送信された外科医の指示に基づいて）外科医の注視点によって示される関心領域の二次画像を取り込む。特に、幾つかの実施形態では、アクチュエータ８０６は、外科医の注視点によって示される関心領域にイメージングモジュールの位置及び向きを調整し、イメージングモジュールは、外科医の調査のために関心領域の二次画像を取り込む。幾つかの実施形態では、イメージングモジュールはまた、イメージングモジュールが外科医の注視点によって反映される関心領域に達する前に関心領域に向かう手術野を横切るイメージングモジュールの運動の間に画像を取り込み得る。幾つかの実施形態では、イメージングモジュールは、立体画像を取り込むことができる図６Ｃに示されるような立体カメラを含み得る。
プロセス１１１２において、画像処理システム８００は、外科医の注視点によって反映される関心領域の取り込まれた二次画像及び／又はイメージングモジュールが関心領域に向かって移動したときに取り込まれた画像を処理する。内視鏡プロセッサ８０８は、画像をディスプレイ８１６に提示する前に、二次画像をデジタル化し得る。例えば、幾つかの実施形態では、内視鏡プロセッサ８０８は、一次画像からデジタル的に拡大された二次画像を作り得る及び／又は取り込まれた二次画像に様々なグラフィック効果を適用し得る。内視鏡プロセッサ８０８はまた、外科医の注視点に関する位置情報、並びに画像を取り込むために使用されるイメージングモジュールに関する位置及び向きの情報のような、二次画像のデジタル化された情報を生成し得る。このデジタル化されたデータは、非限定の例として、図２Ｃのメモリ２０８及び／又は図７Ａのメモリ８１２のような、メモリに格納され得る。
プロセス１１１４において、画像処理システム８００は、ディスプレイ８１６に外科医の注視点によって示された関心領域の取り込まれた二次画像を表示する。幾つかの実施形態では、内視鏡プロセッサ８０８は、二次画像と一次画像との間の共通の特徴を比較し且つ特定し得るとともに、その後、二次画像を一時画像の上に共通の特徴を使用して正しく位置合わせし且つ重ねるために、取り込まれた画像を空間的に位置合わせし得る。任意の他の適切な方法が、取り込まれた画像と一次画像を共に位置合わせするために使用され得ることが理解されるべきである。幾つかの実施形態では、イメージングモジュールが図６Ｃに示されるような立体カメラを含むとき、立体カメラは立体画像を取り込み得るとともに、内視鏡プロセッサ８０８は、外科医が注視点によって示される領域の３Ｄ立体画像を知覚し得るように、ディスプレイ８１６に表示されることになる左及び右立体画像を生成し得る。
プロセス１１１６において、画像処理システム８００は、外科医が一次画像上の走査を終了したかどうかを問い合わせる。外科医が一次画像の走査を終了していない場合、又は外科医が１又は複数の以前に走査されたスポットをダブルチェックすることを望むとき、方法１１００は、外科医の視線を追跡し続けるために、プロセス１１０４に戻って進み得る。図１０Ｂに示されるように、外科医がシステム１０に、彼又は彼女が一次画像を走査するときの異なる位置における彼又は彼女の注視点の複数の二次画像を取り込むように指示する場合、注視点によって示される関心領域の複数の画像１１５０−１１５４、１１６０−１１６４、及び１１７０−１１７４は、処理され且つディスプレイ８１６に示される。画像１１５０−１１５４、１１６０−１１６４、及び１１７０−１１７４は、一次画像の上の重ねられた画像としてディスプレイ８１６に示され得る又は一時画像に隣接して示され得る。
処置の間、外科医は、いつでも任意の理由であれ一次画像を走査することを停止したい可能性があり、外科医は、任意の適切な方法を使用してシステム１０に指示を送ることができる。プロセス１１１６において、外科医が一次画像の走査を終了したことを画像処理システム８００が決定するとき、視線プロセッサ２０６は、二次画像の取り込みの終了を外科医に知らせることによって走査プロセスの終了を確認し得る。幾つかの実施形態では、画像処理システム８００はまた、複数の画像を再検討し且つさらなる評価のために１つの画像を選択するように外科医に促し得る。
プロセス１１１８において、外科医は、外科医が一次画像にわたって走査するとき外科医の注視点を使用して追跡され且つ取り込まれた複数の関心領域を示す複数の画像１１５０−１１５４、１１６０−１１６４、及び１１７０−１１７４を再検討し得る。外科医は、さらなる調査のために、ディスプレイ８１６に示されることになる１又は複数の画像を選択し得る（例えば、図１０Ｃに示されるディスプレイ８１６の中心画像１１６２）。外科医は、彼若しくは彼女の注視点を使用することによって、又は任意の他の適切な方法を使用して彼若しくは彼女の選択を入力することによって、画像を選択し得る、
プロセス１１２０において、画像処理システム８００は、外科医の選択を処理する。外科医は、選択された画像のさらなる調査のために、特定のイメージング効果又はイメージングモダリティの種類を要求し得る。例えば、外科医は、選択された画像１１６２の拡大画像１１７６を表示するようにシステム８００に指示し得るとともに、拡大画像１１７６は、図１０Ｃに示されるように、画像１１６２の上に重ねられ得る。要求されたイメージング機能を実行するイメージングモジュールに結合される画像処理システム８００は、外科医の要求を満たすように、任意の適切な配置の任意の適切なテクノロジーを有するように構成され得る。受信された選択及び画像処理指示は、処理されるように制御ユニット８０２に送信され得る。幾つかの実施形態では、制御ユニット８０２はまた、新たに選択された関心領域の位置データ、並びに関心のあるポイントの画像を取り込んだイメージングモジュールの位置及び向きのデータを読み出すために、メモリ２０８及び／又は８１２と情報を交換し得る。幾つかの実施形態では、読み出されたデータは、外科医の要求に基づく選択された画像に対応する関心領域の保管お画像を取り込むために、イメージングモジュールを再位置決めするように、アクチュエータ８０６を調整するために使用され得る。
プロセス１１２２において、選択された画像の要求された画像が、取り込まれる又はデジタル的に作られ、次に、外科医の調査のためにディスプレイ８１６に表示される。図１０Ｃは、図１０Ｂの複数の画像から外科医に要求に基づいて画像１１６２の拡大画像１１７６を表示することの例を示す。描かれた実施形態では、拡大画像１１７６は、選択された画像１１６２の上に重ねられて示されている。幾つかの実施形態では、要求された画像（例えば、拡大画像１１７６）は、ディスプレイ８１６の選択された画像の元の位置にかかわらず、ディスプレイ８１６の中心部分に示され得る。幾つかの実施形態では、立体カメラが、拡大画像を取り込むためにイメージングモジュールとして使用され得るとともに、立地画像が、選択された画像１１６２の３Ｄ拡大画像であるよう外科医によって知覚されるように、表示され得る。幾つかの実施形態では、新たに作られた又は取り込まれた画像は、プロセス１１１４に関連して先に論じられたのと実質的に同様の方法を使用して先に取り込まれた画像に上にあるように共に位置合わせされ得る。プロセス１１１８−１１２２は、幾つかの外科医の走査においてオプションであり得る。
第１の医療システムの実施形態は、手術野の一次画像をユーザに表示するように構成される画像ディスプレイ、ユーザの注視点データを測定するように及び注視点データに基づいてユーザの注視点が向けられている一次画像における見ている位置を決定するように構成される視標追跡システム、並びに、画像ディスプレイに結合されるとともに、見ている位置に基づいて画像ディスプレイの一次画像を調整するように構成される画像処理システム、を有する。
第１の医療システムでは、画像処理システムは、ユーザからの指示を受信するように及び指示に基づいて一次画像を調整するように構成される。
第１の医療システムでは、画像処理システムは、注視点データに基づいて、画像ディスプレイに見ている位置の二次画像を表示することによって一次画像を調整するように構成される。
第１の医療システムでは、画像処理システムは、見ている位置の二次画像が、画像ディスプレイに一次画像の上のオーバーレイとして表示されるように、二次画像を一次画像と共に位置合わせするように構成される。
第１の医療システムでは、画像処理システムは、見ている位置の二次画像が画像ディスプレイに隣接する一次画像として表示されるように、二次画像を一次画像と共に位置合わせするように構成される。
画像処理システムはさらに、第１のイメージングモジュール及び第２のイメージングモジュールを有し、第１のイメージングモジュールは、注視点データに基づいて二次画像を取り込むように構成され、第１のイメージングモジュール及び第２のイメージングモジュールは独立して制御される。
第１の医療システムでは、第１及び第２のイメージングモジュールは、第１のイメージング装置の構成要素部品である。
第１の医療システムでは、第１のイメージングモジュールは第１のイメージング装置を有し、第２のイメージングモジュールは第２のイメージング装置を有する。
第１の医療システムでは、第１及び第２のイメージングモジュールの少なくとも一方は、立体カメラを含む。
第１の医療システムでは、第１のイメージングモジュールは第１のイメージングモダリティで動作し、第２のイメージングモジュールは第２のイメージングモダリティで動作する。
第１の医療システムでは、第１のイメージングモジュールは第１の波長範囲で動作し、第２のイメージングモジュールは第２の波長範囲で動作し、第１の波長範囲は、第２の波長範囲と異なる。
第１の医療システムは、二次画像の中に視標追跡閾値領域を含み、視標追跡閾値領域は、二次画像より小さく、画像処理システムは、視標追跡閾値領域内のユーザの視線の移動を反映する注視点データにおける変化に応じて一次画像及び二次画像を維持するように構成される。
第１の医療システムはさらに、第１のイメージングモジュール及び第２のイメージングモジュールに結合された内視鏡プロセッサを有し、内視鏡プロセッサは、決定された視点及びユーザからの指示入力に応じて、一次画像及び二次画像の少なくとも一方を調整するように構成される。
第１の医療システムでは、内視鏡プロセッサは、一次画像における決定された視点に基づいて、第１のイメージングモジュールの少なくとも１つの機能及び第２のイメージングモジュールの少なくとも１つの機能を独立して制御するように構成される。
第１の医療システムでは、内視鏡プロセッサは、ユーザからの指示入力及び一次画像における決定された視点に基づいて、二次画像を取り込むために、手術野の中で二次イメージングモジュールを配向し且つ位置決めするように構成される。
第１の医療システムはさらに、第１のイメージングモジュールの位置及び向きを調整するための第１の関節動作リスト部、及び第２のイメージングモジュールの位置及び向きを調整するための第２の関節動作リスト部、を有し、第１及び第２の関節動作リスト部は、内視鏡プロセッサからのコマンド信号に応じて動く。
第１の医療システムはさらに、第２のイメージングモジュールに結合される第１のシャフトを有し、第２のイメージングモジュールは、内視鏡プロセッサからのコマンド信号に応じて、第１のシャフトの長手方向軸に沿って動くように構成される。
第１の医療システムでは、内視鏡プロセッサは、注視点データ及び一次画像における決定された視点に基づいて、二次画像を一次画像の中に維持するために、手術野の中に第１のイメージングモジュールを配向及び位置決めするように構成される。
第１の医療システムでは、内視鏡プロセッサは、ユーザからの指示入力に基づいて第２のイメージングモジュールによって取得された二次画像を調整するように構成される。
第１の医療システムでは、内視鏡プロセッサは、画像ディスプレイ上で一次画像に対して二次画像を強調するように構成される。
第１の医療システムでは、内視鏡プロセッサは、画像ディスプレイ上で一次画像に対して二次画像をデジタル的に変更するように構成される。
第１の医療システムでは、内視鏡プロセッサは、画像ディスプレイ上で一次画像に対して二次画像をデジタル的に拡大するように構成される。
第１の医療システムでは、視標対的システムは、少なくとも２つのアイトラッカを有する。
第１の医療システムでは、画像ディスプレイは、視標追跡システムに含まれるとともに、左目画像ディスプレイ及び右目画像ディスプレイを有する。
第１の医療システムでは、画像ディスプレイは、一次画像の３Ｄ画像をユーザに表示するように構成される３Ｄ画像ディスプレイである。
手術システムを動作させる第１の方法は、画像ディスプレイに一次画像を表示するステップ、ユーザが画像ディスプレイの一次画像を見るときに視標追跡システムを使用してユーザの注視点データを追跡するステップ、及び注視点データに基づいて一次画像を調整するステップ、を含む。
手術システムを動作させる第１の方法はさらに、ユーザから指示入力を受信するステップを含む。
手術システムを動作させる第１の方法では、ユーザからの指示入力に基づいて注視点データによって特定された関心領域の二次画像を表示するステップを含む。
手術システムを動作させる第１の方法では、二次画像は、注視点データに基づいて一次画像の仮想的に調整された部分を含む。
手術システムを動作させる第１の方法では、二次画像は、注視点データに基づいて一次画像の拡大部分を含む。
手術システムを動作させる第１の方法では、二次画像は、注視点データに基づいて一次画像のシャープにされた部分を含む。
手術システムを動作させる第１の方法では、二次画像は、注視点データに基づいて一次画像のハイライトされた部分を含む。
手術システムを動作させる第１の方法では、一次画像と異なるイメージングモダリティである。
手術システムを動作させる第１の方法はさらに、ユーザからの指示入力及び注視点データに基づいてイメージングモジュールを使用して二次画像を取り込むステップを含む。
手術システムを動作させる第１の方法では、注視点データに基づいてユーザの注視点が向けられている一次画像における視点を決定するステップ、視点が所定の視標追跡閾値領域の外側にあるかどうかを決定するステップ、及び視点が所定の視標追跡閾値領域の外側にある場合に視点に基づいて二次画像を更新するステップを含む。
手術システムを動作させる第１の方法では、イメージングモジュールの位置及び向きは、視点及び指示入力に基づいて調整される。
手術システムを動作させる第１の方法では、イメージングモジュールは、ユーザが一次画像を走査するとき、複数の二次画像を取り込むように構成される。
手術システムを動作させる第１の方法では、一次画像は、一次イメージングモジュールを使用して取り込まれ、二次画像は、二次イメージングモジュールを使用して取り込まれる。
手術システムを動作させる第１の方法では、一次イメージングモジュールは、第１のイメージング装置に配置され、二次イメージングモジュールは、第１のイメージング装置と異なる第２のイメージング装置に配置される。
手術システムを動作させる第１の方法では、視点が所定の視標追跡閾値領域の外側にあるかどうかを決定するステップは、画像フレームの所定の数にわたる平均の視点を所定の視標追跡閾値領域と比較するステップを含む。
手術システムを動作させる第１の方法では、視点が所定の視標追跡閾値領域の外側にあるかどうかを決定するステップは、所定の期間にわたる平均の視点を所定の視標追跡閾値領域と比較するステップを含む。
例示の実施形態が説明されるとともに示されているが、広範囲の修正、変更及び置換が、前述の記載において考えられ、幾つかの例では、実施形態の幾つかの特徴が、他の特徴の対応する使用なしに用いられ得る。当業者は、多くの変形形態、代替形態、及び変更形態を認識するであろう。したがって、本発明の範囲は、以下の請求項のみによって限定されるべきであり、請求項は広く且つ本明細書に開示される実施形態の範囲と一致する方法で解釈されることが適切である。
次の付記を記す。
（付記１） 手術野で医療処置を実行するための遠隔操作医療システムであって、
前記手術野の画像をユーザに表示するように構成される画像ディスプレイ、
前記ユーザの注視点に関するデータを測定するように構成される少なくとも１つのアイトラッカ、
前記ユーザの前記注視点が向けられている表示された前記画像における視点を決定するために前記データを処理するように構成されるプロセッサ、及び
決定された前記視点に基づいて前記遠隔操作医療システムの少なくとも１つの機能を制御するように構成される制御ユニット、を含む、
視標追跡ユニットを有する、
遠隔操作医療システム。
（付記２） 前記画像ディスプレイは、前記手術野の３Ｄ画像を前記ユーザに表示するように構成される３Ｄ画像ディスプレイである、
付記１に記載の遠隔操作医療システム。
（付記３） 手術器具をさらに含み、前記制御ユニットは、表示された前記画像における決定された前記視点に基づいて、前記手術野における前記手術器具の少なくとも１つの機能を制御するように構成される、
付記１に記載の遠隔操作医療システム。
（付記４） 前記手術器具は、前記視点において表示された前記画像に表示される、
付記３に記載の遠隔操作医療システム。
（付記５） 前記制御ユニットは、表示された前記画像における決定された前記視点に基づいて、前記手術野において前記手術器具の３Ｄ位置を較正するように構成される、
付記３に記載の遠隔操作医療システム。
（付記６） 前記手術器具は、エネルギ印加器具であり、前記制御ユニットは、決定された前記視点に基づいて前記手術野の中にエネルギを供給するために、前記エネルギ印加器具を動作させるように構成される、
付記３に記載の遠隔操作医療システム。
（付記７） 前記手術器具は、留め具適用器具であり、前記制御ユニットは、決定された前記視点に基づいて前記手術野の中に留め具を供給するために、前記留め具適用器具を動作させるように構成される、
付記３に記載の遠隔操作医療システム。
（付記８） 前記手術器具は、流体管理器具であり、前記制御ユニットは、決定された前記視点に基づいて前記手術野の中に流体を運ぶために、前記流体管理器具を動作させるように構成される、
付記３に記載の遠隔操作医療システム。
（付記９） 前記制御ユニットは、前記視点が所定期間前記画像ディスプレイの前記手術器具の位置と一致することを前記プロセッサが決定する場合に、前記手術器具を起動するように構成される、
付記３に記載の遠隔操作医療システム。
（付記１０） 前記制御ユニットは、前記視点が所定期間前記画像ディスプレイの前記手術器具の位置と一致しないことを前記プロセッサが決定する場合に、前記手術器具を動作停止するように構成される、
付記３に記載の遠隔操作医療システム。
（付記１１） 前記制御ユニットは、表示された前記画像における決定された前記視点に基づいて、前記手術野の中で前記手術器具を動かすように構成される、
付記３に記載の遠隔操作医療システム。
（付記１２） 前記制御ユニットは、第２のユーザの表示された前記画像における決定された視点が、所定期間前記画像ディスプレイにおける前記手術器具の位置と一致する場合に、前記ユーザから前記第２のユーザに前記手術器具の制御を移行するように構成される、
付記３に記載の遠隔操作医療システム。
（付記１３） マーキングアプリケーションをさらに有し、前記制御ユニットは、決定された前記視点に基づいて、前記画像ディスプレイ上で可視である仮想マークを前記手術野に付けるために前記マーキングアプリケーションを制御するように構成される、
付記１に記載の遠隔操作医療システム。
（付記１４） イメージング装置をさらに有し、前記制御ユニットは、決定された前記視点に基づいて、前記手術野において前記イメージング装置の少なくとも１つの機能を制御するように構成される、
付記１に記載の遠隔操作医療システム。
（付記１５） 前記イメージング装置の前記少なくとも１つの機能は、前記イメージング装置の運動を含む、
付記１４に記載の遠隔操作医療システム。
（付記１６） 前記イメージング装置の前記少なくとも１つの機能は、前記イメージング装置のズーム動作を含む、
付記１４に記載の遠隔操作医療システム。
（付記１７） 前記イメージング装置の前記少なくとも１つの機能は、前記イメージング装置の焦点合わせ動作を含む、
付記１４に記載の遠隔操作医療システム。
（付記１８） 前記イメージング装置の前記少なくとも１つの機能は、前記イメージング装置のモード変更動作を含む、
付記１４に記載の遠隔操作医療システム。
（付記１９） 決定された前記視点に基づいて前記制御ユニットによって制御される前記少なくとも１つの機能は、ユーザログイン機能を含む、
付記１に記載の遠隔操作医療システム。
（付記２０） 前記制御ユニットは、前記プロセッサが、前記画像ディスプレイ上の前記視点を決定し損なう場合に、前記遠隔操作医療システムから前記ユーザを締め出すように構成される、
付記１に記載の遠隔操作医療システム。
（付記２１） 前記制御ユニットは、前記少なくとも１つのアイトラッカが前記ユーザの目を検出し損なう場合に、前記遠隔操作医療システムから前記ユーザを締め出すように構成される、
付記１に記載の遠隔操作医療システム。
（付記２２） 前記画像ディスプレイは、複数の機能オプションを有するユーザインタフェースの画像を前記ユーザに表示するように構成される、
付記１に記載の遠隔操作医療システム。
（付記２３） 前記制御ユニットは、決定された前記視点が、前記ユーザインタフェースの表示された前記画像における少なくとも１つの前記機能オプションの位置と一致する場合に、前記複数の機能オプションのうちの前記少なくとも１つを始動するように構成される、
付記２２に記載の遠隔操作医療システム。
（付記２４） 前記制御ユニットは、決定された前記視点に基づいて、表示された前記画像における前記ユーザインタフェースの位置的深さを調整するように構成される、
付記２２に記載の遠隔操作医療システム。
（付記２５） 前記プロセッサは、評価画像ディスプレイ上で、前記ユーザの前記注視点が向けられている前記視点の評価画像を生成するように構成される、
付記１に記載の遠隔操作医療システム。
（付記２６） 前記画像ディスプレイは、前記手術野を見ている他のユーザの注視点を前記ユーザに表示するように構成される、
付記１に記載の遠隔操作医療システム。
（付記２７） 前記プロセッサは、前記ユーザから指示入力を受信するように及び前記指示に基づいて表示される前記画像を調整するように構成される、
付記１に記載の遠隔操作医療システム。
（付記２８） 前記プロセッサは、ズーム機能を実行することによって、表示される前記画像を調整するように構成される、
付記２７に記載の遠隔操作医療システム。
（付記２９） 前記プロセッサは、前記注視点データに基づいて前記画像ディスプレイに、オーバーレイとして、前記視点の二次画像を表示することによって、表示される前記画像を調整するように構成される、
付記２７に記載の遠隔操作医療システム。
（付記３０） 第１のイメージングモジュール及び第２のイメージングモジュールをさらに有し、前記第１のイメージングモジュールは、表示される前記画像を取得するように構成され、前記第２のイメージングモジュールは、前記注視点データに基づいて前記二次画像を取り込むように構成され、前記第１のイメージングモジュール及び前記第２のイメージングモジュールは、独立して制御される、
付記２９に記載の遠隔操作医療システム。
（付記３１） 遠隔操作医療システムを動作させる動作方法であって、
画像ディスプレイに、手術野画像を含む、画像を表示するステップと、
前記画像ディスプレイでのユーザの注視点を測定するステップと、
前記ユーザの前記注視点が向けられている表示された前記画像における視点を決定するステップと、
決定された前記視点に基づいて、前記遠隔操作医療システムの少なくとも１つの機能を制御するステップと、を含む、
方法。
（付記３２） 前記遠隔操作医療システムの前記少なくとも１つの機能は、既知の３次元位置パラメータを持つ表示された前記画像における所定のターゲットと、前記視点を比較するステップを含む、３次元構成機能である、
付記３１に記載の方法。
（付記３３） 前記遠隔操作医療システムの前記少なくとも１つの機能は、前記視点を他のユーザに表示するステップを含む、評価機能である、
付記３１に記載の方法。
（付記３４） 他のユーザの注視点が向けられている表示された前記画像における教示位置を提供するステップをさらに含む、
付記３１に記載の方法。
（付記３５） 表示される前記手術野画像は、３Ｄ画像である、
付記３１に記載の方法。
（付記３６） 前記遠隔操作医療システムの前記少なくとも１つの機能は、表示された前記画像における決定された前記視点に基づいて前記手術野において手術器具の少なくとも１つの機能を制御するステップを含む、手術器具動作機能である、
付記３１に記載の方法。
（付記３７） 前記手術器具は、前記視点において前記手術野画像に表示される、
付記３６に記載の方法。
（付記３８） 前記遠隔操作医療システムの前記少なくとも１つの機能は、器具動作機能である、
付記３５に記載の方法。
（付記３９） 前記器具動作機能は、決定された前記視点に基づいて前記手術野の中のある位置でエネルギを供給するようにエネルギ印加器具を動作させることを含む、
付記３８に記載の方法。
（付記４０） 前記器具動作機能は、決定された前記視点に基づいて前記手術野の中のある位置で留め具を供給するように留め具適用器具を動作させることを含む、
付記３８に記載の方法。
（付記４１） 前記器具動作機能は、決定された前記視点に基づいて前記手術野の中のある位置で流体を運ぶように流体管理器具を動作させることを含む、
付記３８に記載の方法。
（付記４２） 前記器具動作機能は、前記視点が所定期間表示される前記画像における前記手術器具の位置と一致する場合に、前記手術器具を起動することを含む、
付記３６に記載の方法。
（付記４３） 前記器具動作機能は、第２のユーザの視点が、所定期間表示された前記画像における前記手術器具の位置と一致する場合に、前記ユーザから前記第２のユーザに前記手術器具の制御を移行することを含む、
付記３２に記載の方法。
（付記４４） 前記器具動作機能は、前記視点が所定期間表示された前記画像における前記手術器具の位置と一致しない場合に、前記手術器具を動作停止することを含む、
付記３２に記載の方法。
（付記４５） 前記器具動作機能は、決定された前記視点に基づいて、前記手術野の中で前記手術器具を動かすことを含む、
付記３２に記載の方法。
（付記４６） 前記遠隔操作医療システムの前記少なくとも１つの機能は、決定された前記視点に基づいて、前記画像ディスプレイ上で可視である仮想マークを前記手術野に作るステップを含む、マーキング機能である、
付記３１に記載の方法。
（付記４７） 前記遠隔操作医療システムの前記少なくとも１つの機能は、決定された前記視点に基づいて、前記手術野においてイメージング装置の少なくとも１つの機能を制御するステップを含む、イメージング装置動作機能である、
付記３１に記載の方法。
（付記４８） 前記イメージング装置の前記少なくとも１つの機能は、前記イメージング装置の運動を含む、
付記４７に記載の方法。
（付記４９） 前記イメージング装置の前記少なくとも１つの機能は、前記イメージング装置のズーム動作を含む、
付記４７に記載の方法。
（付記５０） 前記イメージング装置の前記少なくとも１つの機能は、前記イメージング装置の焦点合わせ動作を含む、
付記４７に記載の方法。
（付記５１） 前記遠隔操作医療システムの前記少なくとも１つの機能は、ユーザログイン機能である、
付記３１に記載の方法。
（付記５２） 前記遠隔操作医療システムの前記少なくとも１つの機能は、前記ユーザの前記注視点が表示された前記画像から離れて向けられている場合に、前記遠隔操作医療システムから前記ユーザを締め出すためのロックアウト機能である、
付記３１に記載の方法。
（付記５３） 表示される前記画像は、複数の機能オプションを有するユーザインタフェースを含む、
付記３１に記載の方法。
（付記５４） 決定された前記視点が、前記ユーザインタフェースの表示された前記画像における少なくとも１つの前記機能オプションの位置と一致する場合に、前記複数の機能オプションのうちの前記少なくとも１つを始動するステップをさらに含む、
付記５３に記載の方法。
（付記５５） 決定された前記視点に基づいて、表示された前記画像における前記ユーザインタフェースの位置的深さを調整するステップをさらに含む、
付記５４に記載の方法。
（付記５６） 前記ユーザから指示入力を受信するステップ及び前記指示に基づいて表示される前記画像を調整するステップをさらに含む、
付記３１に記載の方法。
（付記５７） 表示される前記画像は、ズーム機能を実行することによって調整される、
付記５６に記載の方法。
（付記５８） 表示される前記画像は、前記注視点データに基づいて前記画像ディスプレイにオーバーレイ画像を表示することによって調整される、
付記５６に記載の方法。

Claims (20)

  1. 視標追跡ユニットであって：
    手術野の画像をユーザに表示するように構成される画像ディスプレイと；
    処置中に前記ユーザの注視点に関するデータを測定するように構成されるアイトラッカと；
    プロセッサであって：
    前記処置中の前記ユーザの前記注視点の移動に基づいて評価要因を決定するように前記データを処理し；
    前記評価要因をベースライン注視点データと比較する；
    ように構成される、プロセッサと；
    を含む、視標追跡ユニットを有する、
    医療システム。
  2. 前記評価要因は、前記手術野の前記画像におけるターゲット位置と器具位置との間の前記ユーザの前記注視点の前記移動の間の前記注視点の変位を測定することによって決定される変位要因を含む、
    請求項１に記載の医療システム。
  3. 前記評価要因は、前記手術野の前記画像におけるターゲット位置と器具位置との間の前記ユーザの前記注視点の前記移動の時間を測定することによって決定される時間要因を含む、
    請求項１に記載の医療システム。
  4. 前記評価要因は、前記ユーザの前記注視点の前記移動の前の前記ユーザの前記注視点の固定時間を測定することによって決定される視線固定要因を含む、
    請求項１に記載の医療システム。
  5. 前記評価要因は、前記ユーザの前記注視点の前記移動に関する移動方向を含む、
    請求項１に記載の医療システム。
  6. 前記ベースライン注視点データは、前記処置より前の以前のユーザから取得される、
    請求項１に記載の医療システム。
  7. 前記プロセッサはさらに、前記評価要因に基づいて前記ユーザの技能レベルを評価するように構成される、
    請求項１に記載の医療システム。
  8. 前記プロセッサはさらに、前記ユーザの手の動きに関する運動学データ、器具の動きに関する運動学データ、又はカメラの動きに関する運動学データのうちの少なくとも１つに基づいて前記ユーザの前記技能レベルを評価するように構成される、
    請求項７に記載の医療システム。
  9. 前記画像ディスプレイは、前記手術野の３Ｄ画像を前記ユーザに表示するように構成された３Ｄ画像ディスプレイである、
    請求項１に記載の医療システム。
  10. 手術器具をさらに有し、前記ユーザの前記注視点の前記移動は、前記手術野の前記画像におけるターゲット位置と前記手術器具の位置との間である、
    請求項１に記載の医療システム。
  11. 医療システムにおいて画像を表示する方法であって：
    前記医療システムの制御システムが、画像ディスプレイに画像を表示するステップであって、前記画像は、手術野の手術野画像を含む、ステップと；
    前記制御システムが、処置中のユーザの注視点を測定するステップと；
    前記制御システムが、前記処置中の前記ユーザの前記注視点の移動に基づいて評価要因を決定するステップと；
    前記制御システムが、前記評価要因をベースライン注視点データと比較するステップと；
    を含む、
    方法。
  12. 前記評価要因は、前記手術野画像におけるターゲット位置と器具位置との間の前記ユーザの前記注視点の前記移動の間の前記注視点の変位を測定することによって決定される変位要因を含む、
    請求項１１に記載の方法。
  13. 前記評価要因は、前記手術野画像におけるターゲット位置と器具位置との間の前記ユーザの前記注視点の前記移動の時間を測定することによって決定される時間要因を含む、
    請求項１１に記載の方法。
  14. 前記評価要因は、前記ユーザの前記注視点の前記移動の前の前記ユーザの前記注視点の固定時間を測定することによって決定される視線固定要因を含む、
    請求項１１に記載の方法。
  15. 前記評価要因は、前記ユーザの前記注視点の前記移動に関する移動方向を含む、
    請求項１１に記載の方法。
  16. 前記ベースライン注視点データは、前記処置より前の以前のユーザから取得される、
    請求項１１に記載の方法。
  17. 前記制御システムが、前記評価要因に基づいて前記ユーザの技能レベルを評価するステップをさらに含む、
    請求項１１に記載の方法。
  18. 前記ユーザの前記技能レベルを評価するステップは、前記制御システムが、前記ユーザの手の動きに関する運動学データ、器具の動きに関する運動学データ、又はカメラの動きに関する運動学データのうちの少なくとも１つに基づいて前記ユーザの前記技能レベルを評価するステップを含む、
    請求項１７に記載の方法。
  19. 前記制御システムが、前記処置の開始を示す信号を受信するステップをさらに含む、
    請求項１１に記載の方法。
  20. 前記制御システムが、前記信号の受信に応じて前記注視点の前記測定を始めるステップをさらに含む、
    請求項１９に記載の方法。
JP2019193305A 2014-03-19 2019-10-24 視線追跡を使用する医療装置、システム、及び方法 Active JP6891244B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021088601A JP2021151496A (ja) 2014-03-19 2021-05-26 視線追跡を使用する医療装置、システム、及び方法
JP2023177204A JP2023171641A (ja) 2014-03-19 2023-10-13 視線追跡を使用する医療装置、システム、及び方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461955355P 2014-03-19 2014-03-19
US201461955314P 2014-03-19 2014-03-19
US61/955,314 2014-03-19
US61/955,355 2014-03-19
JP2016557901A JP6644699B2 (ja) 2014-03-19 2015-03-18 視線追跡を使用する医療装置、システム、及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016557901A Division JP6644699B2 (ja) 2014-03-19 2015-03-18 視線追跡を使用する医療装置、システム、及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021088601A Division JP2021151496A (ja) 2014-03-19 2021-05-26 視線追跡を使用する医療装置、システム、及び方法

Publications (2)

Publication Number Publication Date
JP2020036909A true JP2020036909A (ja) 2020-03-12
JP6891244B2 JP6891244B2 (ja) 2021-06-18

Family

ID=54145280

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016557901A Active JP6644699B2 (ja) 2014-03-19 2015-03-18 視線追跡を使用する医療装置、システム、及び方法
JP2019193305A Active JP6891244B2 (ja) 2014-03-19 2019-10-24 視線追跡を使用する医療装置、システム、及び方法
JP2021088601A Pending JP2021151496A (ja) 2014-03-19 2021-05-26 視線追跡を使用する医療装置、システム、及び方法
JP2023177204A Pending JP2023171641A (ja) 2014-03-19 2023-10-13 視線追跡を使用する医療装置、システム、及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016557901A Active JP6644699B2 (ja) 2014-03-19 2015-03-18 視線追跡を使用する医療装置、システム、及び方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021088601A Pending JP2021151496A (ja) 2014-03-19 2021-05-26 視線追跡を使用する医療装置、システム、及び方法
JP2023177204A Pending JP2023171641A (ja) 2014-03-19 2023-10-13 視線追跡を使用する医療装置、システム、及び方法

Country Status (6)

Country Link
US (3) US10278782B2 (ja)
EP (1) EP3119286B1 (ja)
JP (4) JP6644699B2 (ja)
KR (3) KR20230142657A (ja)
CN (2) CN106456148B (ja)
WO (1) WO2015143067A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220033200A (ko) 2020-09-09 2022-03-16 영남대학교 산학협력단 시선 추적 기반 간성 뇌증 진단 방법 및 장치

Families Citing this family (141)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8814779B2 (en) 2006-12-21 2014-08-26 Intuitive Surgical Operations, Inc. Stereoscopic endoscope
US8556807B2 (en) * 2006-12-21 2013-10-15 Intuitive Surgical Operations, Inc. Hermetically sealed distal sensor endoscope
US9827054B2 (en) * 2014-03-14 2017-11-28 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
US10884493B2 (en) 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
WO2015088647A1 (en) 2013-12-11 2015-06-18 Covidien Lp Wrist and jaw assemblies for robotic surgical systems
JP6483715B2 (ja) * 2014-02-04 2019-03-13 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ハフプロセッサ
US9211064B2 (en) 2014-02-11 2015-12-15 Welch Allyn, Inc. Fundus imaging system
US9237847B2 (en) 2014-02-11 2016-01-19 Welch Allyn, Inc. Ophthalmoscope device
EP3119343A4 (en) 2014-03-19 2017-12-20 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
WO2015143067A1 (en) 2014-03-19 2015-09-24 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking
US20170202624A1 (en) * 2014-06-08 2017-07-20 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery utilizing a touch screen
CN110063791B (zh) 2014-08-13 2022-04-15 柯惠Lp公司 机器人控制的具有机械优势的夹持
US11546527B2 (en) 2018-07-05 2023-01-03 Irisvision, Inc. Methods and apparatuses for compensating for retinitis pigmentosa
US11372479B2 (en) 2014-11-10 2022-06-28 Irisvision, Inc. Multi-modal vision enhancement system
US11144119B2 (en) * 2015-05-01 2021-10-12 Irisvision, Inc. Methods and systems for generating a magnification region in output video images
EP3218850A4 (en) * 2014-11-10 2018-06-27 Visionize LLC Methods and apparatus for vision enhancement
US10179407B2 (en) * 2014-11-16 2019-01-15 Robologics Ltd. Dynamic multi-sensor and multi-robot interface system
EP3258874B1 (en) 2015-02-19 2024-01-17 Covidien LP Input device for robotic surgical system
US10799115B2 (en) 2015-02-27 2020-10-13 Welch Allyn, Inc. Through focus retinal image capturing
US11045088B2 (en) 2015-02-27 2021-06-29 Welch Allyn, Inc. Through focus retinal image capturing
CN107405172B (zh) 2015-03-10 2021-04-13 柯惠Lp公司 测量机器人手术系统的连接器部件的健康状况
CN107666866A (zh) 2015-06-03 2018-02-06 柯惠Lp公司 偏置器械驱动单元
CN112294439A (zh) 2015-06-16 2021-02-02 柯惠Lp公司 机器人外科手术系统扭矩传感感测
CA2987652A1 (en) 2015-06-23 2016-12-29 Covidien Lp A surgical instrument and instrument drive connector for use with robotic surgical systems
US10136804B2 (en) 2015-07-24 2018-11-27 Welch Allyn, Inc. Automatic fundus image capture system
JPWO2017038241A1 (ja) 2015-08-28 2018-06-14 富士フイルム株式会社 機器操作装置、機器操作方法、及び電子機器システム
US10769779B2 (en) 2015-09-24 2020-09-08 Vuno, Inc. Method for increasing reading efficiency in medical image reading process using gaze information of user and apparatus using the same
CN108024835B (zh) 2015-09-25 2021-08-31 柯惠Lp公司 机器人外科手术组件及其器械驱动连接器
US11123149B2 (en) * 2015-10-09 2021-09-21 Covidien Lp Methods of using an angled endoscope for visualizing a body cavity with robotic surgical systems
US10912449B2 (en) 2015-10-23 2021-02-09 Covidien Lp Surgical system for detecting gradual changes in perfusion
US10772495B2 (en) 2015-11-02 2020-09-15 Welch Allyn, Inc. Retinal image capturing
US10660714B2 (en) 2015-11-19 2020-05-26 Covidien Lp Optical force sensor for robotic surgical system
US10646289B2 (en) 2015-12-29 2020-05-12 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
CN108472090B (zh) * 2015-12-29 2021-06-18 皇家飞利浦有限公司 用于控制外科手术机器人的系统、控制单元和方法
US10413179B2 (en) 2016-01-07 2019-09-17 Welch Allyn, Inc. Infrared fundus imaging system
WO2017173524A1 (en) 2016-04-07 2017-10-12 Titan Medical Inc. Camera positioning method and apparatus for capturing images during a medical procedure
US10097745B2 (en) 2016-04-27 2018-10-09 Zepp Labs, Inc. Head rotation tracking device for video highlights identification
US10987091B2 (en) * 2016-05-17 2021-04-27 Biosense Webster (Israel) Ltd. System and method for catheter connections
CN109152614B (zh) 2016-05-26 2021-09-10 柯惠Lp公司 器械驱动单元
EP3463143A4 (en) 2016-05-26 2020-01-22 Covidien LP ROBOTIC SURGICAL ARRANGEMENTS
CN113180835A (zh) 2016-06-03 2021-07-30 柯惠Lp公司 用于机器人手术系统的控制臂
EP3463163A4 (en) 2016-06-03 2020-02-12 Covidien LP ROBOTIC SURGICAL SYSTEM WITH AN EMBEDDED IMAGER
WO2017210501A1 (en) 2016-06-03 2017-12-07 Covidien Lp Control arm assemblies for robotic surgical systems
EP3463149A4 (en) 2016-06-03 2020-01-22 Covidien LP PASSIVE AXIS SYSTEM FOR ROBOTIC SURGICAL SYSTEMS
AU2017275482A1 (en) * 2016-06-03 2018-11-15 Covidien Lp Systems, methods, and computer-readable storage media for controlling aspects of a robotic surgical device and viewer adaptive stereoscopic display
US11612446B2 (en) * 2016-06-03 2023-03-28 Covidien Lp Systems, methods, and computer-readable program products for controlling a robotically delivered manipulator
US10095937B2 (en) * 2016-06-21 2018-10-09 GM Global Technology Operations LLC Apparatus and method for predicting targets of visual attention
EP3496646A4 (en) 2016-08-12 2020-04-01 Intuitive Surgical Operations Inc. IDENTIFICATION OF INSTRUMENTS ON A SCREEN IN A TELEOPERATIONAL MEDICAL SYSTEM.
US10521603B2 (en) * 2016-08-24 2019-12-31 Branch Banking And Trust Company Virtual reality system for providing secured information
US10602926B2 (en) 2016-09-29 2020-03-31 Welch Allyn, Inc. Through focus retinal image capturing
WO2018078470A1 (en) * 2016-10-25 2018-05-03 Novartis Ag Medical spatial orientation system
WO2018089827A1 (en) * 2016-11-11 2018-05-17 Intuitive Surgical Operations, Inc. Surgical system with multi-modality image display
US10028794B2 (en) * 2016-12-19 2018-07-24 Ethicon Llc Surgical system with voice control
JP6527178B2 (ja) * 2017-01-12 2019-06-05 ファナック株式会社 視覚センサのキャリブレーション装置、方法及びプログラム
CA3048039A1 (en) 2017-02-15 2018-08-23 Covidien Lp System and apparatus for crush prevention for medical robot applications
US11559365B2 (en) 2017-03-06 2023-01-24 Intuitive Surgical Operations, Inc. Systems and methods for entering and exiting a teleoperational state
US10992857B2 (en) * 2017-05-15 2021-04-27 Sony Corporation Input control device, input control method, and operation system
EP3629979A4 (en) 2017-05-24 2021-02-17 Covidien LP PRESENCE DETECTION FOR ELECTROSURGICAL TOOLS IN A ROBOTIC SYSTEM
US11839441B2 (en) 2017-05-25 2023-12-12 Covidien Lp Robotic surgical system with automated guidance
WO2018217430A1 (en) 2017-05-25 2018-11-29 Covidien Lp Robotic surgical systems and drapes for covering components of robotic surgical systems
US11553974B2 (en) 2017-05-25 2023-01-17 Covidien Lp Systems and methods for detection of objects within a field of view of an image capture device
EP3678572A4 (en) 2017-09-05 2021-09-29 Covidien LP COLLISION HANDLING ALGORITHMS FOR SURGICAL ROBOTIC SYSTEMS
CN111263619A (zh) * 2017-09-06 2020-06-09 柯惠Lp公司 用于在机器人手术过程中提供立体视觉感知通知和/或建议的系统、方法和计算机可读介质
WO2019050878A2 (en) 2017-09-06 2019-03-14 Covidien Lp SCALE OF LIMITS OF SURGICAL ROBOTS
CN107705164A (zh) * 2017-11-14 2018-02-16 宜宾维特瑞安科技有限公司 一种基于眼球追踪技术的市场调查装置、系统及方法
US11690677B2 (en) * 2017-12-31 2023-07-04 Asensus Surgical Us, Inc. Use of eye tracking for tool identification and assignment in a robotic surgical system
CN108065904A (zh) 2018-01-02 2018-05-25 京东方科技集团股份有限公司 内窥镜系统及其控制方法
US11432890B2 (en) 2018-01-04 2022-09-06 Covidien Lp Systems and assemblies for mounting a surgical accessory to robotic surgical systems, and providing access therethrough
US10521662B2 (en) * 2018-01-12 2019-12-31 Microsoft Technology Licensing, Llc Unguided passive biometric enrollment
US11114199B2 (en) 2018-01-25 2021-09-07 Mako Surgical Corp. Workflow systems and methods for enhancing collaboration between participants in a surgical procedure
WO2019160962A1 (en) 2018-02-13 2019-08-22 Frank Werblin Methods and apparatus for contrast sensitivity compensation
US11189379B2 (en) 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
JP2021514220A (ja) 2018-03-08 2021-06-10 コヴィディエン リミテッド パートナーシップ 手術ロボットシステム
CN111886113A (zh) * 2018-03-28 2020-11-03 索尼公司 控制装置、控制方法以及主从系统
BR102018007667A2 (pt) * 2018-04-16 2019-10-29 Mendes Alves Pereira Ricardo dispositivo, sistema e processo de armazenamento de dados clínicos-cirúrgicos
US11647888B2 (en) * 2018-04-20 2023-05-16 Covidien Lp Compensation for observer movement in robotic surgical systems having stereoscopic displays
US11986261B2 (en) 2018-04-20 2024-05-21 Covidien Lp Systems and methods for surgical robotic cart placement
US11726559B2 (en) 2018-04-24 2023-08-15 Intuitive Surgical Operations, Inc. Gaze-initiated communications
CN108524011A (zh) * 2018-05-09 2018-09-14 杨琨 基于眼动仪原理的视野焦点指示系统及方法
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
US11096574B2 (en) 2018-05-24 2021-08-24 Welch Allyn, Inc. Retinal image capturing
US11576739B2 (en) 2018-07-03 2023-02-14 Covidien Lp Systems, methods, and computer-readable media for detecting image degradation during surgical procedures
US10895757B2 (en) * 2018-07-03 2021-01-19 Verb Surgical Inc. Systems and methods for three-dimensional visualization during robotic surgery
JP6770025B2 (ja) * 2018-07-12 2020-10-14 ファナック株式会社 ロボット
JP6902639B2 (ja) * 2018-09-25 2021-07-14 株式会社メディカロイド 手術システム
JP6856594B2 (ja) 2018-09-25 2021-04-07 株式会社メディカロイド 手術システムおよび表示方法
CN109164555B (zh) * 2018-09-30 2021-11-12 西安蜂语信息科技有限公司 光学设备的调整方法、终端、系统、设备和存储介质
GB2608751B (en) * 2018-10-03 2023-06-14 Cmr Surgical Ltd Methods and systems for providing assistance to a user of a surgical robot system
US11109746B2 (en) 2018-10-10 2021-09-07 Titan Medical Inc. Instrument insertion system, method, and apparatus for performing medical procedures
EP3863527A1 (en) * 2018-10-12 2021-08-18 Sony Group Corporation Surgical support system, data processing apparatus and method
JP7439831B2 (ja) 2018-10-12 2024-02-28 ソニーグループ株式会社 手術室制御システム、方法、およびプログラム
US10990168B2 (en) * 2018-12-10 2021-04-27 Samsung Electronics Co., Ltd. Compensating for a movement of a sensor attached to a body of a user
US11586106B2 (en) 2018-12-28 2023-02-21 Titan Medical Inc. Imaging apparatus having configurable stereoscopic perspective
US11478318B2 (en) 2018-12-28 2022-10-25 Verb Surgical Inc. Methods for actively engaging and disengaging teleoperation of a surgical robotic system
CN111399633B (zh) * 2019-01-03 2023-03-31 见臻科技股份有限公司 针对眼球追踪应用的校正方法
US11717355B2 (en) 2019-01-29 2023-08-08 Covidien Lp Drive mechanisms for surgical instruments such as for use in robotic surgical systems
US11576733B2 (en) 2019-02-06 2023-02-14 Covidien Lp Robotic surgical assemblies including electrosurgical instruments having articulatable wrist assemblies
US20220096164A1 (en) * 2019-02-12 2022-03-31 Intuitive Surgical Operations, Inc. Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
US11484372B2 (en) 2019-02-15 2022-11-01 Covidien Lp Articulation mechanisms for surgical instruments such as for use in robotic surgical systems
US20200387220A1 (en) * 2019-02-18 2020-12-10 Tobii Ab Combined gaze-based and scanning-based control of an apparatus
JP2020162916A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 制御装置及びマスタスレーブシステム
KR102006281B1 (ko) * 2019-04-19 2019-08-01 한화시스템(주) 전투관리 체계 다기능 콘솔의 경고 표시 장치 및 방법
US11204640B2 (en) 2019-05-17 2021-12-21 Verb Surgical Inc. Methods for determining if teleoperation should be disengaged based on the user's gaze
US11337767B2 (en) * 2019-05-17 2022-05-24 Verb Surgical Inc. Interlock mechanisms to disengage and engage a teleoperation mode
EP3975909B1 (en) * 2019-05-29 2024-01-10 Intuitive Surgical Operations, Inc. Operating mode control systems and methods for a computer-assisted surgical system
CN113853165A (zh) * 2019-06-11 2021-12-28 金泰克斯公司 可穿戴医疗装置
EP3764367A1 (en) * 2019-07-11 2021-01-13 Milestone S.r.l. System and method for medical gross examination
US11850730B2 (en) 2019-07-17 2023-12-26 Asensus Surgical Us, Inc. Double eye tracker configuration for a robot-assisted surgical system
WO2021029117A1 (ja) * 2019-08-09 2021-02-18 富士フイルム株式会社 内視鏡装置、制御方法、制御プログラム、及び内視鏡システム
EP3786765A1 (en) * 2019-08-29 2021-03-03 Leica Instruments (Singapore) Pte. Ltd. Microscope, control circuit, method and computer program for generating information on at least one inspected region of an image
JP7240996B2 (ja) * 2019-09-18 2023-03-16 株式会社トプコン アイウェア装置を用いた測量システムおよび測量方法
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
JP2023103499A (ja) * 2020-06-15 2023-07-27 ソニーグループ株式会社 医用画像処理システム、手術画像制御装置、及び、手術画像制御方法
RU2757991C2 (ru) * 2020-07-06 2021-10-25 Общество с ограниченной ответственностью "Толикети" Способ автоматизированного управления роботизированным операционным экзоскопом
USD963851S1 (en) 2020-07-10 2022-09-13 Covidien Lp Port apparatus
US20230145790A1 (en) * 2020-07-14 2023-05-11 Sony Group Corporation Device, computer program and method
US20230290275A1 (en) * 2020-07-29 2023-09-14 Intuitive Surgical Operations, Inc. Systems and methods for training a user to operate a teleoperated system
CN111759461A (zh) * 2020-07-30 2020-10-13 上海交通大学医学院附属第九人民医院 一种基于眼动仪的眼眶内镜导航手术操作系统
CN114078579A (zh) * 2020-08-14 2022-02-22 迪迈医疗科技(宁波)有限公司 组织病理阅片模式学习系统、方法以及终端
KR102396519B1 (ko) 2020-08-18 2022-05-11 고려대학교 산학협력단 Mri 환경에서 실시간 시야 변화 추적 기반 360° 파노라마 비디오 제공 방법, 이를 수행하기 위한 기록 매체 및 장치
JP2023171978A (ja) * 2020-09-02 2023-12-06 富士フイルム株式会社 キャリブレーション装置及び方法
US11937891B2 (en) * 2020-10-06 2024-03-26 Asensus Surgical Us, Inc. Systems and methods of controlling surgical robotic system using eye-tracking
CN114424975B (zh) * 2020-10-29 2024-02-09 上海微创医疗机器人（集团）股份有限公司 手术机器人辅助系统、方法、介质、终端及手术机器人
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
WO2022208414A1 (en) 2021-03-31 2022-10-06 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
US20220378520A1 (en) * 2021-05-28 2022-12-01 Cilag Gmbh International Adaptive control of operating room systems
US11948226B2 (en) 2021-05-28 2024-04-02 Covidien Lp Systems and methods for clinical workspace simulation
CN117396979A (zh) 2021-06-03 2024-01-12 索尼集团公司 信息处理装置、信息处理系统、信息处理方法和程序
US20240155241A1 (en) * 2021-06-21 2024-05-09 Sony Group Corporation Medical observation system, information processing device, and information processing method
JPWO2023026528A1 (ja) * 2021-08-26 2023-03-02
CN113612928B (zh) * 2021-10-09 2022-04-12 深圳市越疆科技有限公司 遥操作系统、遥操作方法及芯片
WO2023074334A1 (ja) * 2021-10-29 2023-05-04 慶應義塾 制御システム、制御装置、制御方法及びプログラム
CN114081631B (zh) * 2021-11-18 2024-05-03 上海微创医疗机器人（集团）股份有限公司 健康监测系统及手术机器人系统
WO2023101968A1 (en) 2021-11-30 2023-06-08 Endoquest Robotics, Inc. Steerable overtube assemblies for robotic surgical systems
TWI778900B (zh) * 2021-12-28 2022-09-21 慧術科技股份有限公司 手術術式標記與教學系統及其方法
CN114785948B (zh) * 2022-04-14 2023-12-26 常州联影智融医疗科技有限公司 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质
US11986165B1 (en) 2023-01-09 2024-05-21 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force
US11832910B1 (en) 2023-01-09 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having adaptive gravity compensation

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61172552A (ja) 1985-01-28 1986-08-04 株式会社トプコン 視線方向検出装置
US5204942A (en) * 1989-01-10 1993-04-20 Kabushiki Kaisha Kobe Seiko Sho Robot control system for controlling a set of industrial robots for cooperative operation
US5631973A (en) * 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5762458A (en) * 1996-02-20 1998-06-09 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5517021A (en) * 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
DE69417229T2 (de) * 1993-05-14 1999-07-08 Stanford Res Inst Int Chirurgiegerät
US5876325A (en) * 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
JP3482228B2 (ja) * 1993-11-02 2003-12-22 オリンパス株式会社 視線検出によるマニピュレータ制御システム
JP3540362B2 (ja) * 1994-06-14 2004-07-07 オリンパス株式会社 手術用マニピュレータの制御システム及びその制御方法
DE59504515D1 (de) 1994-10-26 1999-01-21 Leica Mikroskopie Sys Ag Mikroskop, insbesondere operationsmikroskop
US5553609A (en) * 1995-02-09 1996-09-10 Visiting Nurse Service, Inc. Intelligent remote visual monitoring system for home health care service
JP3539645B2 (ja) * 1995-02-16 2004-07-07 株式会社日立製作所 遠隔手術支援装置
US5882206A (en) * 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
JPH0954239A (ja) * 1995-08-18 1997-02-25 Canon Inc 視線検出機能付光学装置及びカメラ
US6496099B2 (en) * 1996-06-24 2002-12-17 Computer Motion, Inc. General purpose distributed operating room control system
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6398726B1 (en) * 1998-11-20 2002-06-04 Intuitive Surgical, Inc. Stabilizer for robotic beating-heart surgery
US6951535B2 (en) * 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
US6852107B2 (en) * 2002-01-16 2005-02-08 Computer Motion, Inc. Minimally invasive surgical training using robotics and tele-collaboration
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6459926B1 (en) * 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US8527094B2 (en) * 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US6799065B1 (en) * 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US6090051A (en) 1999-03-03 2000-07-18 Marshall; Sandra P. Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity
JP3381666B2 (ja) * 1999-06-03 2003-03-04 日本電気株式会社 眼疲労警告装置
US6346887B1 (en) * 1999-09-14 2002-02-12 The United States Of America As Represented By The Secretary Of The Navy Eye activity monitor
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP3504222B2 (ja) * 2000-09-04 2004-03-08 ファナック株式会社 ロボット制御装置
US6578962B1 (en) 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US6728599B2 (en) * 2001-09-07 2004-04-27 Computer Motion, Inc. Modularity system for computer assisted surgery
WO2003074307A1 (en) 2002-03-07 2003-09-12 Yechezkal Evan Spero Enhanced vision for driving
EP1501406A4 (en) * 2002-04-16 2006-08-30 Philip C Noble COMPUTER-BASED TRAINING PROCEDURES FOR SURGICAL PROCEDURES
CA2397431A1 (en) * 2002-08-09 2004-02-09 Andrew Lohbihler Method and apparatus for a wireless position sensing interface device employing spread spectrum technology of one or more radio transmitting devices
GB0222265D0 (en) 2002-09-25 2002-10-30 Imp College Innovations Ltd Control of robotic manipulation
US9153074B2 (en) * 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7872635B2 (en) * 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
WO2005091978A2 (en) * 2004-03-22 2005-10-06 Vanderbilt University System and methods for surgical instrument disablement via image-guided position feedback
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
EP1602322A1 (en) * 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for eye tracking latency reduction
US7245202B2 (en) * 2004-09-10 2007-07-17 Immersion Corporation Systems and methods for networked haptic devices
US7331929B2 (en) * 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
EP1853167A2 (en) * 2005-02-18 2007-11-14 Koninklijke Philips Electronics N.V. Automatic control of a medical device
US20110020779A1 (en) * 2005-04-25 2011-01-27 University Of Washington Skill evaluation using spherical motion mechanism
US10555775B2 (en) * 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
JP2007082594A (ja) * 2005-09-20 2007-04-05 Denso Corp 疲労検出装置
JP2007128427A (ja) * 2005-11-07 2007-05-24 Nissan Motor Co Ltd 運転支援装置及び運転支援方法
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
WO2007138510A1 (en) * 2006-05-31 2007-12-06 Koninklijke Philips Electronics N.V. Controlling a viewing parameter
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
WO2008107832A1 (en) * 2007-03-07 2008-09-12 Koninklijke Philips Electronics N.V. Stress estimation
GB0709405D0 (en) * 2007-05-16 2007-06-27 Univ Edinburgh Testing vision
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8803955B2 (en) 2008-04-26 2014-08-12 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using a camera unit with a modified prism
EP3884844A1 (en) 2008-07-18 2021-09-29 Doheny Eye Institute Optical coherence tomography-based ophthalmic testing methods, devices and systems
US20100217991A1 (en) * 2008-08-14 2010-08-26 Seung Wook Choi Surgery robot system of server and client type
GB2464092A (en) * 2008-09-25 2010-04-07 Prosurgics Ltd Surgical mechanism control system
WO2010051037A1 (en) 2008-11-03 2010-05-06 Bruce Reiner Visually directed human-computer interaction for medical applications
WO2010071928A1 (en) * 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour
JP2010152443A (ja) 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
US20100167248A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Tracking and training system for medical procedures
DE102009010263B4 (de) * 2009-02-24 2011-01-20 Reiner Kunz Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung
EP2309307B1 (en) * 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
US9039419B2 (en) * 2009-11-06 2015-05-26 International Business Machines Corporation Method and system for controlling skill acquisition interfaces
US8521331B2 (en) * 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US8935003B2 (en) 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20110228051A1 (en) 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
DE102010038800B4 (de) * 2010-08-02 2024-03-07 Kuka Deutschland Gmbh Medizinischer Arbeitsplatz
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
JP2012128523A (ja) * 2010-12-13 2012-07-05 Canon Inc 情報処理装置およびその動作方法
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
CN103620644A (zh) * 2011-01-30 2014-03-05 拉姆·斯里坎茨·米拉伊 技能评估
EP2672880B1 (en) * 2011-02-09 2019-05-22 Apple Inc. Gaze detection in a 3d mapping environment
CN103281959A (zh) 2011-05-20 2013-09-04 松下电器产业株式会社 视觉疲劳度测定装置、视觉疲劳度测定方法、视觉疲劳度测定系统及三维眼镜
US9380978B2 (en) * 2011-06-29 2016-07-05 Bruce Reiner Method and apparatus for real-time measurement and analysis of occupational stress and fatigue and performance outcome predictions
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
WO2013066790A1 (en) * 2011-11-02 2013-05-10 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US20150103096A1 (en) * 2012-05-30 2015-04-16 Pioneer Corporation Display device, head mount display, calibration method, calibration program and recording medium
US20140024889A1 (en) * 2012-07-17 2014-01-23 Wilkes University Gaze Contingent Control System for a Robotic Laparoscope Holder
ES2898981T3 (es) * 2012-08-09 2022-03-09 Tobii Ab Activación rápida en un sistema de seguimiento de la mirada
IL221863A (en) 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
EP3932628A1 (en) * 2012-12-10 2022-01-05 Intuitive Surgical Operations, Inc. Collision avoidance during controlled movement of image capturing device and manipulatable device movable arms
US9101297B2 (en) * 2012-12-11 2015-08-11 Elwha Llc Time-based unobtrusive active eye interrogation
US20140160004A1 (en) * 2012-12-11 2014-06-12 Biosense Webster (Israel), Ltd. Use of physician eye tracking during a procedure
DE102012025102A1 (de) 2012-12-20 2014-06-26 avateramedical GmBH Endoskop mit einem Mehrkamerasystem für die minimal-invasive Chirurgie
US9342145B2 (en) * 2013-01-22 2016-05-17 Kabushiki Kaisha Toshiba Cursor control
US20150213634A1 (en) * 2013-01-28 2015-07-30 Amit V. KARMARKAR Method and system of modifying text content presentation settings as determined by user states based on user eye metric data
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
KR20140139840A (ko) * 2013-05-28 2014-12-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법
US10474793B2 (en) * 2013-06-13 2019-11-12 Northeastern University Systems, apparatus and methods for delivery and augmentation of behavior modification therapy and teaching
US9625723B2 (en) 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
WO2015023513A1 (en) 2013-08-14 2015-02-19 Intuitive Surgical Operations, Inc. Endoscope control system
KR102246310B1 (ko) * 2013-12-31 2021-04-29 아이플루언스, 인크. 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
EP3119343A4 (en) 2014-03-19 2017-12-20 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
WO2015143067A1 (en) * 2014-03-19 2015-09-24 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking
US10722114B1 (en) * 2017-06-28 2020-07-28 Bertec Corporation System and method for vision testing and/or training

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220033200A (ko) 2020-09-09 2022-03-16 영남대학교 산학협력단 시선 추적 기반 간성 뇌증 진단 방법 및 장치

Also Published As

Publication number Publication date
EP3119286A4 (en) 2018-04-04
EP3119286A1 (en) 2017-01-25
CN106456148A (zh) 2017-02-22
WO2015143067A1 (en) 2015-09-24
US10278782B2 (en) 2019-05-07
JP2023171641A (ja) 2023-12-01
KR20230142657A (ko) 2023-10-11
US20220096185A1 (en) 2022-03-31
KR20160135277A (ko) 2016-11-25
KR20220079693A (ko) 2022-06-13
CN111616666A (zh) 2020-09-04
US20170172675A1 (en) 2017-06-22
KR102404559B1 (ko) 2022-06-02
US20190223968A1 (en) 2019-07-25
JP6644699B2 (ja) 2020-02-12
JP2017512554A (ja) 2017-05-25
CN106456148B (zh) 2020-06-12
JP2021151496A (ja) 2021-09-30
KR102585602B1 (ko) 2023-10-10
EP3119286B1 (en) 2024-05-01
US11147640B2 (en) 2021-10-19
JP6891244B2 (ja) 2021-06-18

Similar Documents

Publication Publication Date Title
JP6891244B2 (ja) 視線追跡を使用する医療装置、システム、及び方法
JP7080915B2 (ja) 立体ビューワのための視線追跡を統合する医療装置、システム、及び方法
WO2020236195A1 (en) Methods for determining if teleoperation should be disengaged based on the user's gaze
Clancy et al. Gaze-contingent autofocus system for robotic-assisted minimally invasive surgery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210526

R150 Certificate of patent or registration of utility model

Ref document number: 6891244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150