CN110200702B9 - 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法 - Google Patents

集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法 Download PDF

Info

Publication number
CN110200702B9
CN110200702B9 CN201910617353.9A CN201910617353A CN110200702B9 CN 110200702 B9 CN110200702 B9 CN 110200702B9 CN 201910617353 A CN201910617353 A CN 201910617353A CN 110200702 B9 CN110200702 B9 CN 110200702B9
Authority
CN
China
Prior art keywords
eye
user
left eye
right eye
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910617353.9A
Other languages
English (en)
Other versions
CN110200702A (zh
CN110200702B (zh
Inventor
A·M·扎克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN201910617353.9A priority Critical patent/CN110200702B9/zh
Publication of CN110200702A publication Critical patent/CN110200702A/zh
Application granted granted Critical
Publication of CN110200702B publication Critical patent/CN110200702B/zh
Publication of CN110200702B9 publication Critical patent/CN110200702B9/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G02B30/35—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using reflective optical elements in the optical path between the images and the observer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00212—Electrical control of surgical instruments using remote controls
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/742—Joysticks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/744—Mouse
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本文描述的是一种眼球跟踪系统，眼球跟踪系统包括经配置向使用者显示术野的图像的图像显示器。图像显示器经配置发射在第一波长范围中的光。系统还包括右眼球跟踪器，右眼球跟踪器经配置发射在第二波长范围中的光并测量关于使用者的右眼球的第一凝视点的数据。系统还包括左眼球跟踪器，左眼球跟踪器经配置发射在第二波长范围中的光并测量关于使用者的左眼球的第二凝视点的数据。系统还包括设置在图像显示器和使用者的右眼球和左眼球之间的光学组件。光学组件经配置指示第一波长范围的光和第二波长范围的光，使得第一波长和第二波长共享左眼球和图像显示器之间的左光学路径的至少一部分并共享右眼球和图像显示器之间的右光学路径的至少一部分，而右眼球跟踪器和左眼球跟踪器对使用者不可见。系统还包括至少一个处理器，其经配置处理关于第一凝视点和第二凝视点的数据，以确定其中使用者的凝视点指示的所显示的图像中的观看位置。

Description

集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法
本申请是国际申请日为2015年04月30日、进入国家阶段日为2016年11月18日的名称为“集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法”的中国专利申请201580025788.4(PCT/US2015/021315)的分案申请。
背景技术
外科手术程序能够以微创方式使用远程操作医疗系统执行。微创外科手术的好处是众所周知的，并且当与传统的开放式切口外科手术相比时包括较少的患者创伤、较少的失血和较快的恢复时间。另外，诸如由加利福尼亚森尼韦尔的直观外科手术公司(Intuitive Surgical,Inc.)商业化的DA
Figure GDA0003398322160000011
手术系统的远程操作医疗系统的使用是已知的。当与手动微创手术相比时，此类远程操作医疗系统可以允许外科医生用直观控制和增加的精确性操作。
远程操作医疗系统可以包括联接到一个或更多个机器臂的一个或更多个器械。如果所述系统用于执行微创手术，则所述器械可以通过诸如小切口的患者体内的一个或更多个小开口或诸如例如口、尿道或肛门的自然腔道进入手术区域。在一些情况下，不通过(一个或更多个)开口直接插入(一个或更多个)器械，套管或其他引导元件能够插入每个开口中，并且器械能够通过套管插入以进入手术区域。诸如内窥镜的成像工具能够用于观看手术区域，并且由成像工具捕获的图像能够显示在图像显示器上，以在外科手术期间由外科医生观看。
提供远程操作医疗系统是可取的，远程操作医疗系统能够有效地并精确地采用眼球凝视跟踪用于在微创医疗程序期间的各种应用。本文公开的系统和方法克服现有技术的缺点中一个或更多个。
发明内容
在一个示例性方面，本公开涉及一种包括图像显示器、右眼球跟踪器、左眼球跟踪器和至少一个处理器的眼球跟踪系统。图像显示器经配置向使用者显示术野的图像。在一方面，右眼球跟踪器经配置测量关于使用者的右眼球的第一凝视点的数据。在一方面，右眼球跟踪器包括右立体成像装置。在一方面，左眼球跟踪器经配置测量关于使用者的左眼球的第二凝视点的数据。在一方面，左眼球跟踪器包括左立体成像装置。在一方面，至少一个处理器经配置处理关于第一凝视点和第二凝视点的数据，以确定其中使用者的凝视点指示的所显示的图像中的观看位置。
在另一个示例性方面，本公开涉及一种包括图像显示器、右眼球跟踪器、左眼球跟踪器、光学组件和至少一个处理器的眼球跟踪系统。图像显示器经配置向使用者显示术野的图像并经配置发射在第一波长范围中的光。在一方面，右眼球跟踪器经配置发射在第二波长范围中的光并测量关于使用者的右眼球的第一凝视点的数据。在一方面，左眼球跟踪器经配置发射在第二波长范围中的光并测量关于使用者的左眼球的第二凝视点的数据。在一方面，光学组件设置在图像显示器和使用者的右眼球和左眼球之间。在一方面，光学组件经配置指示第一波长范围的光和第二波长范围的光，使得第一波长和第二波长共享左眼球和图像显示器之间的左光学路径的至少一部分并共享右眼球和图像显示器之间的右光学路径的至少一部分，而右眼球跟踪器和左眼球跟踪器对使用者不可见。在一方面，至少一个处理器经配置处理关于第一凝视点和第二凝视点的数据，以确定其中使用者的凝视点指示的所显示的图像中的观看位置。
在另一个示例性方面，本公开涉及一种用于执行医疗程序的远程操作医疗系统。在一方面，远程操作医疗系统包括眼球跟踪系统和控制单元。在一方面，眼球跟踪系统包括图像显示器、至少一个右眼球跟踪器、至少一个左眼球跟踪器和至少一个处理器。图像显示器经配置向使用者显示术野的图像。在一方面，至少一个右眼球跟踪器经配置测量关于使用者的右眼球的第一凝视点的数据，并且至少一个左眼球跟踪器经配置测量关于使用者的左眼球的第二凝视点的数据。在一方面，至少一个处理器经配置处理关于第一凝视点和第二凝视点的数据，以确定其中使用者的凝视点指示的所显示的图像中的观看位置。在一方面，控制单元经配置基于所确定的观看位置控制远程操作医疗系统的至少一个功能。
在另一个示例性方面，本公开涉及一种包括图像显示器、至少一个右眼球跟踪器、至少一个左眼球跟踪器、右眼球光发射器和左眼球光发射器、光学组件和至少一个处理器的眼球跟踪系统。图像显示器经配置向使用者显示术野的立体图像。在一方面，至少一个右眼球跟踪器经配置测量关于使用者的右眼球的第一凝视点的数据，并且至少一个左眼球跟踪器经配置测量关于使用者的左眼球的第二凝视点的数据。在一方面，右眼球光发射器经配置向使用者的右眼球发射第一波长范围的光，并且左眼球光发射器经配置向使用者的左眼球发射第一波长范围的光。在一方面，光学组件定位在图像显示器和使用者的眼球之间。在一方面，光学组件包括经布置提供在使用者的眼球、眼球跟踪器和光发射器之间的光学连通的右眼球反射镜组和左眼球反射镜组。在一方面，至少一个处理器经配置处理关于第一凝视点和第二凝视点的数据，以确定其中使用者的凝视点指示的所显示的立体图像中的观看位置。
这些实施例和其他实施例相对于下列附图在下面进一步讨论。
附图说明
当结合附图阅读时，本公开的各方面从下列具体实施方式最好地理解。强调的是，根据本行业中的标准惯例，各种特征部不按比例绘制。实际上，为了便于讨论，各种特征部的尺寸可以任意地增大或减小。另外，本公开可以在各种示例中重复参考标号和/或字母。此重复是为了简单和清楚起见并且本身不指示所讨论的各种实施例和/或配置之间的关系。
图1A根据本公开的一个实施例示出示例性远程操作医疗系统。
图1B、图1C和图1D根据本公开的各种实施例示出远程操作医疗系统的示例性部件。具体地，图1B根据本公开的一个实施例示出示例性远程操作组件的正视图。图1C根据本公开的一个实施例示出示例性操作员输入系统的正视图。图1D根据本公开的一个实施例示出示例性视觉手推车(vision cart)部件的前视图。
图2A根据本公开的一个实施例示出相对于示例性图像显示器和术野的使用者的3D坐标框架的方框图。
图2B是根据本公开的一个实施例示出使用眼球跟踪单元来影响远程操作系统和/或手术器械的示例性方法的流程图。
图3A-3D根据本公开示意性地示出由图1A、图1B和图1C的远程操作医疗系统使用的立体观看器的眼球跟踪系统的各种实施例。
图4A根据本公开的一个实施例示出用于使用图3A-3D的眼球跟踪系统确定外科医生的3D凝视点的方法。
图4B是根据本公开的一个实施例示出当预定目标T在校准过程期间在显示器上示出时眼球跟踪单元跟踪外科医生的角膜反射和瞳孔的示例的示意图。
图4C是根据本公开的一个实施例示出与外科医生的角膜反射和瞳孔位置对应的2D坐标框架的示例的示意图。
具体实施方式
为了促进对本公开的原理的理解，现在将参考附图中所示的实施例，并且将使用具体语言来描述相同的实施例。然而，将理解的是，不意在限制本公开的范围。在下列具体实施方式中，许多具体细节将详细阐述，以便提供对所公开的实施例的全面理解。然而，将对本领域的技术人员明显的是，本公开的实施例可以在无这些具体细节的情况下实践。在其他情况下，众所周知的方法、过程、组件和电路尚未详细描述，以便不会不必要地模糊本公开的实施例的各方面。
对所描述的装置、器械、方法和本公开的原理的任何进一步应用的任何变化和进一步修改被充分地设想为将通常被本公开涉及的本领域的技术人员容易想到。具体地，充分地设想到，相对于一个实施例描述的特征部、组件和/或步骤可以与相对于本公开的其他实施例描述的特征部、组件和/或步骤组合。另外，本文提供的尺寸是用于具体示例并设想到不同大小、尺寸和/或比例可以用于实施本公开的概念。为了避免不需要的描述性重复，根据一个说明性实施例描述的一个或更多个组件或动作在适用时能够根据其他说明性实施例使用或省略。为了简便起见，这些组合的许多重述不会单独地描述。为了简单起见，在一些情况下，相同的参考标号在整个附图中使用，以指代相同或类似的部件。
下面的实施例将就其在三维空间中的状态而言描述各种器械和器械的各部分。如本文所用，术语“位置”是指物体或物体的一部分在三维空间(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)中的位置。如本文所用，术语“取向”是指物体或物体的一部分的旋转放置(三个旋转自由度——例如，滚动(roll)、俯仰(pitch)和摇动(yaw))。如本文所用，术语“姿态”是指物体或物体的一部分在至少一个平移自由度中的位置，并指物体或物体的一部分在至少一个旋转自由度(多达六个总自由度)中的取向。如本文所用，术语“形状”是指沿伸长物体测量的一组姿态、位置或取向。
将理解的是，术语“近端”和“远端”通过参照临床医生操纵从临床延伸至手术部位的器械的端部在本文使用。术语“近端”是指更接近临床医生的器械的部分，并且术语“远端”是指远离临床医生并更接近手术部位的器械的部分。为了简洁和清楚起见，诸如“水平的”、“垂直的”、“在上面”和“在下面”的空间术语可以相对于附图在本文使用。然而，手术器械在许多取向和位置中使用，并且这里的术语不意在是限制性的和绝对的。
本公开通常涉及使用眼球跟踪系统在包括但不限于诊断、手术和/或治疗过程的各种医疗程序中所用的远程操作医疗系统和/或器械的使用期间观察并测量使用者眼球的特征(例如，眼球凝视跟踪)。具体地，在一些实施例中，本文公开的眼球跟踪系统依赖于在手术控制台上跟踪使用者的眼球凝视的精确位置(例如，2D位置或3D位置)的能力。在一些实施例中，眼球跟踪系统可以用于通过直接地操作系统器械和/或通过影响系统特征来控制远程操作系统来实现全系统变化。具体地，本公开的一些实施例涉及通过在手术控制台上精确地跟踪操作员的眼球凝视的系统和器械控制，而操作员在微创手术期间使用远程操作医疗系统。
在远程操作手术系统中，外科医生的眼球凝视点可以由诸如立体摄像机的一个或更多个眼球跟踪器在外科手术期间跟踪。然而，由于通过非限制性示例的方式包括使用者的头部位置的变化和用于每个眼球的单独图像显示器(例如，产生立体视图)的各种因素，眼球凝视跟踪可以是不精确的。例如，外科医生的眼球的瞳孔位置和角膜反射能够通过外科医生的头部和眼球取向的组合确定。在许多情况下，外科医生的头部运动、在控制台上的外科医生的头部压力和/或由眼球跟踪器在外科手术期间的图像遮挡可以危害使用常规技术的精确和有效眼球凝视跟踪。常规地，眼球凝视跟踪技术要求设置在远程操作手术系统外部的外部装置在眼球跟踪过程期间使用。例如，外部装置可以安装在由外科医生在外科手术期间戴的一副眼镜上。在外部眼球跟踪装置和外科医生的眼球之间通常有距离和相对运动。因此，此类外部眼球跟踪装置不仅可以对外科医生产生不便和不舒服的感觉，而且可以影响外科医生的操作的精确性。可替代地，常规的眼球凝视跟踪装置可以位于目镜附近。当外科医生正在看向目镜时，此配置可以对外科医生的视觉产生干扰。例如，眼球凝视跟踪装置的边缘可以出现在外科医生的视觉中，这可以使外科医生分心或危害其术野的视图。在一些实施例中，本文描述的眼球凝视跟踪装置经配置使眼球跟踪器能够共享相同的光学路径的至少一部分作为所显示的图像，同时保持对外科医生不可见。
本文公开的实施例通过补偿诸如通过非限制性示例的方式的使用者头部运动、头部压力、由摄像机或跟踪器的图像遮挡和/或到每个眼球的独立图像显示器的共同错误引起的因素，改进眼球跟踪装置的精确性。通过使用模型基于从用于每个眼球的一个或更多个眼球跟踪器获得的位置数据和恒定的瞳孔间距(和/或其他眼球跟踪特征)的假设更精确地预测3D眼球凝视位置，本文的实施例考虑到这些错误引起的因素。具体地，使用者的每个眼球由其自己的独立眼球跟踪器测量。本领域的技术人员将认识到本文公开的眼球跟踪系统可用在从更精确的凝视协助系统和/或器械控制获益的类似的(例如，非远程操作)应用中。通过使用本文公开的眼球跟踪系统和方法，使用者可以经历与远程操作医疗系统的更直观且更有效的交互。
根据各种实施例，微创医疗程序可以使用远程操作系统以引导器械输送和操作而执行。参照附图的图1A，用于在例如包括诊断、治疗或手术过程的医疗过程中的远程操作医疗系统通常由参考标号10指示。如将描述，本公开的远程操作医疗系统是在外科医生的远程操作控制下。在可替代的实施例中，远程操作医疗系统可以在经编程执行程序或子程序的计算机的部分控制下。在其他可替代的实施例中，在经编程执行程序或子程序的计算机的完全控制下的全自动化医疗系统可以用于执行程序或子程序。如图1中所示，远程操作医疗系统10通常包括接近或安装到其上定位患者P的手术台O的远程操作组件12。远程操作组件12可以称为患者侧操纵器(PSM)。医疗器械系统14可操作地联接到远程操作组件12。操作员输入系统16允许外科医生或其他类型的临床医生S观看手术部位的图像或表示手术部位的图像并控制医疗器械系统14的操作。操作员输入系统16可以称为主控制台或外科医生的控制台。能够用于实施本公开中描述的系统和技术的远程操作手术系统的一个示例是加利福尼亚森尼韦尔的直观外科手术公司制造的da
Figure GDA0003398322160000061
外科手术系统。
远程操作组件12支持医疗器械系统14并且可以包括一个或更多个非伺服控制的连杆(例如，可以手动地定位并锁定在适当位置中的一个或更多个连杆，通常称为装配结构)和远程操作操纵器的动态结构(参见例如图2)。远程操作组件12包括驱动医疗器械系统14上的输入的多个电动机。这些电动机响应于来自控制系统22的命令移动。电动机包括驱动系统，其在联接到医疗器械系统14时可以推进医疗器械到自然或手术产生的解剖孔口。其他机动化的驱动系统可以以多个自由度移动医疗器械的远端，多个自由度可以包括三个线性运动度(例如，沿X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕X、Y、Z笛卡尔轴线的旋转)。此外，电动机能够用于致动器械的可铰接末端执行器。
远程操作医疗系统10也包括图像捕获系统18，图像捕获系统18包括诸如内窥镜的图像捕获装置和相关的图像处理硬件和软件。远程操作医疗系统10也包括控制系统22，其操作性地连接到远程操作组件12的传感器、电动机、致动器和其他组件、操作员输入系统16和图像捕获系统18。
操作员输入系统16可以位于外科医生的控制台处，外科医生的控制台通常位于与手术台O相同的房间中。然而，应该理解的是外科医生S能够位于与患者P不同的房间或完全不同的建筑物中。操作员输入系统16通常包括用于控制医疗器械系统14的一个或更多个控制装置。更具体地，响应于外科医生的输入命令，控制系统22影响伺服机械运动医疗器械系统14。该(一个或更多个)控制装置可以包括任何数量的诸如手柄、操纵杆、跟踪球、数据手套、触发枪、手操作控制器、足操作控制器、声音识别装置、触摸屏、身体运动或存在传感器等各种输入装置中的一个或更多个。在一些实施例中，该(一个或更多个)控制装置将提供有与远程操作组件的医疗器械相同的自由度，以提供外科医生远程呈现的感知，其中，(一个或更多个)控制装置与器械成一整体，使得外科医生具有直接控制器械就好像存在于手术部位处的强的感知。在其他实施例中，(一个或更多个)控制装置可以具有比相关联的医疗器械更多或更少的自由度，并且仍然提供外科医生远程呈现。在一些实施例中，(一个或更多个)控制装置是手动输入装置，手动输入装置以六自由度移动并且也可以包括用于致动器械(例如，用于关闭抓爪，施加电势至电极，输送医学治疗等)的可致动手柄。
系统操作员看见由图像捕获系统18捕获的图像，图像经呈现用于在操作地联接到或并入操作员输入系统16的显示系统20上观看。显示系统20显示由图像捕获系统18的子系统产生的手术部位和(一个或更多个)医疗器械系统14的图像或表示。显示系统20和操作员输入系统16可以经取向，使得操作员能够在远程呈现的感知下控制医疗器械系统14和操作员输入系统16。显示系统20可以包括多个显示器，如用于向操作员的每个眼球呈现单独图像的单独右显示器和左显示器，从而允许操作员观看立体图像。
可替代地或另外地，显示系统20可以呈现使用诸如计算机层析术(CT)、磁共振成像(MRI)、荧光检查、温度记录、超声波、光学相干断层成像(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等成像技术在手术前或在手术中记录和/或成像的手术部位的图像。所呈现的手术前或手术中图像可以包括二维、三维或四维(包括例如基于时间或基于速度的信息)图像和用于再现图像的相关联图像数据组。
控制系统22包括至少一个存储器和至少一个处理器(未示出)，和典型地多个处理器，用于实现在远程操作系统12、医疗器械系统14、操作员输入系统16、图像捕获系统18和显示系统20之间的控制。控制系统22也包括编程指令(例如，存储指令的计算机可读介质)，以实施根据本文公开的各方面描述的一些或全部方法。虽然控制系统22被示出作为图1的简化示意图中的单个方框，但是系统可以包括两个或更多个数据处理电路，其中处理的一部分可选地在远程操作组件12上或邻近远程操作组件12执行，处理的另一部分在操作员输入系统16处执行等。可以采用广泛的各种集中或分布式数据处理构造中的任何一个。类似地，所编程的指令可以实施作为若干单独程序或子例程，或者它们可以集成到本文的远程操作系统的若干其他方面中。在一个实施例中，控制系统22支持诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测的无线通信协议。
在一些实施例中，控制系统22可以包括从医疗器械系统14接收力和/或转矩反馈的一个或更多个伺服控制器。响应于反馈，伺服控制器传送信号至操作员输入系统16。(一个或更多个)伺服控制器也可以传送指示远程操作组件12移动(一个或更多个)医疗器械系统14的信号，(一个或更多个)医疗器械系统14经由身体中的开口延伸到患者身体内的内部手术部位中。可以使用任何合适的常规或专门的伺服控制器。伺服控制器可以与远程操作组件12分离，或者与远程操作组件12集成。在一些实施例中，伺服控制器和远程操作组件设置作为与患者的身体邻近定位的远程操作臂手推车的一部分。
在此实施例中，远程操作医疗系统10也包括可以操作地联接到或并入操作员输入系统16的眼球跟踪单元24。眼球跟踪单元24操作地联接到控制系统22用于在操作员正在观看显示器20和/或在操作员输入系统16处操作操作员控制时感测、测量、记录和传送与操作员的眼球相关的信息。
远程操作医疗系统10还可以包括诸如照明系统的任选操作和支持系统(未示出)、转向控制系统、灌注系统和/或抽吸系统。在可替代的实施例中，远程操作系统可以包括一个以上的远程操作组件和/或一个以上的操作员输入系统。准确数量的操纵器组件将取决于手术过程和手术室内的空间限制等其他因素。操作员输入系统可以并置，或者它们可以定位在单独的位置中。多个操作员输入系统允许一个以上的操作员以各种组合控制一个或更多个操纵器组件。
图1B是根据一个实施例的远程操作组件100(例如，图1A中所示的远程操作组件12)的正视图。组件100包括依靠在地板上的底座102、安装在底座102上的支持塔104和支撑手术工具(包括图像捕获系统18的各部分)的若干臂。如图1B中所示，臂106a、106b、106c是支撑并移动用于操纵组织的手术器械的器械臂，并且臂108是支撑并移动内窥镜的摄像机臂。图1B还示出分别安装在器械臂106a、106b、106c上的可交换手术器械110a、110b、110c，并且示出安装在摄像机臂108上的内窥镜112。内窥镜112可以是立体内窥镜，用于捕获手术部位的立体图像并提供单独的立体图像至显示系统20。知识渊博的人将理解到，支撑器械和摄像机的臂也可以由安装到天花板或墙壁，或者在一些情况下安装到手术室中的另一件设备(例如，手术台)的(固定的或可移动的)底座平台支撑。同样地，将理解到可以使用两个或更多个单独底座(例如，一个底座支撑每个臂)。
如图1B中进一步所示，器械110a、110b、110c和内窥镜112分别包括器械接口150a、150b、150c和150d，并分别包括器械轴152a、152b、152c和152d。在一些实施例中，远程操作组件100可以包括用于相对于套管固定器械110a、110b、110c和内窥镜112的套管的支撑件。在一些实施例中，每个器械臂106a、106b、106c和108的各部分可以由手术室中的工作人员可调节，以便相对于患者定位器械110a、110b、110c和内窥镜112。臂106a、106b、106c和108的其他部分可以由操作员在操作员输入系统120处致动和控制(如图1C中所示)。手术器械110a、110b、110c和内窥镜112也可以由操作员在操作员输入系统120处控制。
图1C是操作员输入系统120(例如，图1A中所示的操作员输入系统16)的正视图。操作员输入系统120包括配备有左右多自由度(DOF)控制接口122a和122b的控制台121，左右多自由度控制接口122a和122b是用于控制手术器械110a、110b、110c和内窥镜112的运动链。外科医生典型地用大拇指和食指抓持在每个控制接口122上的夹锭钳(pincher)组件124a、124b，并且能够移动夹锭钳组件至各种位置和取向。当选择工具控制模式时，每个控制接口122经配置控制对应手术器械和器械臂106。例如，左控制接口122a可以经联接控制器械臂106a和手术器械110a，并且右控制接口122b可以经联接控制器械臂106b和手术器械110b。如果第三器械臂106c在手术过程期间使用并定位在左侧上，则左控制接口122a能够从控制臂106a和手术器械110a切换到控制臂106c和手术器械110c。同样地，如果第三器械臂106c在手术过程期间使用并定位在右侧上，则右控制接口122a能够从控制臂106b和手术器械110b切换到控制臂106c和手术器械110c。在一些情况下，控制接口122a、122b和臂106a/手术器械110a的组合和臂106b/手术器械110b的组合之间的控制分配也可以交换。例如如果内窥镜滚动180度使得在内窥镜的视场中移动的器械看上去在与外科医生正在移动的控制接口相同的一侧上，这可以完成。夹锭钳组件典型地用于在手术器械110的远端处操作带卡爪的手术末端执行器(例如，剪刀、抓持牵开器等)。
附加的控件提供有足踏板128。每个足踏板128能够启用在所选择的器械110之一上的某些功能。例如，足踏板128能够启用钻头或烧灼工具，或者可以操作灌注、抽吸或其他功能。多个器械能够通过压下多个踏板128启用。器械110的某个功能可以由其他控件启用。
外科医生的控制台121也包括立体图像观看器系统126(例如，图1A中所示的显示系统20)。立体图像观看器系统126包括左目镜125a和右目镜125b，使得外科医生可以在立体图像观看器系统126内分别使用外科医生的左右眼观看左右立体图像。由内窥镜112捕获的左侧图像和右侧图像在对应的左右图像显示器上输出，外科医生感知作为显示系统(例如，图1A中所示的显示系统20)上的三维图像。在一个有利的配置中，控制接口122定位在立体图像观看器系统126下面，使得显示器中所示的手术工具的图像看上去在位于显示器下面的外科医生的手附近。这个特征允许外科医生在三维显示器中直观地控制各种手术器械，就好像直接观看手部。因此，相关联的器械臂和器械的伺服控制基于内窥镜图像参考框架。
如果控制接口122切换到摄像机控制模式，则也使用内窥镜图像参考框架。在一些情况下，如果选择了摄像机控制模式，则外科医生可以通过一起移动控制接口122中的一个或两者来移动内窥镜112的远端。外科医生然后可以通过移动控制接口122就好像保持图像在他的或她的手部中而直观地移动(例如，平移、倾斜、缩放)所显示的立体图像。
如在图1C中进一步所示，头靠件130定位在立体图像观看器系统126上面。随着外科医生正在通过立体图像观看器系统126观看，外科医生的前额头紧贴头靠件130定位。在本公开的一些实施例中，内窥镜112或其他手术器械的操纵能够通过头靠件130的操纵，而不是通过控制接口122的利用实现。在一些实施例中，头靠件130能够例如包括压力传感器、摇板、光学监测的滑动板或能够检测外科医生的头部的运动的其他传感器。关于使用感测方法操纵头靠件以便控制内窥镜摄像机的附加细节可以例如在题为“ENDOSCOPE CONTROL SYSTEM(内窥镜控制系统)”的美国申请No.61/865,996中发现，该申请通过引用并入本文。
图1D是手术系统的视觉手推车部件140的前视图。例如，在一个实施例中，视觉手推车部件140是图1A中所示的医疗系统10的一部分。视觉手推车140能够封装医疗系统的中央电子数据处理单元142(例如，图1A中所示的所有控制系统22或部分控制系统22)和视觉设备144(例如，图1A中所示的图像捕获系统18的各部分)。中央电子数据处理单元142包括用于操作手术系统的很多数据处理。然而，在各种实施方式中，电子数据处理可以分布在外科医生控制台121和远程操作组件100中。视觉设备144可以包括用于内窥镜112的左右图像捕获功能的摄像机控制单元。视觉设备144也可以包括提供照明用于使手术部位成像的照明设备(例如，氙气灯)。如图1D中所示，视觉手推车140包括可选的触摸屏监视器146(例如，24寸监视器)，其可以安装在其他地方，例如组件100上或者安装在患者侧手推车上。视觉手推车140还包括用于诸如电外科手术单元、吹药器、抽吸灌注器械或第三方烧灼设备的可选的辅助手术设备的空间148。远程操作组件100和外科医生的控制台121例如经由光纤通信链路联接到视觉手推车140，使得三个组件一起用作为外科医生提供直观远程呈现的单个远程操作微创手术系统。
注意在一些实施例中，远程操作手术系统的一些或全部组件100能够在虚拟的(模拟的)环境中实施，其中由外科医生在外科医生的控制台121处看到的一些或全部图像能够是器械和/或解剖结构的同步图像。在一些实施例中，此类同步图像能够由视觉手推车部件140提供和/或直接地在外科医生的控制台121处(例如，经由模拟模块)产生。
在用参照图1A-1D描述的远程操作手术系统的典型微创手术过程期间，向患者身体中做出至少两个切口(通常使用套管针以放置相关联的套管)。一个切口是用于内窥镜摄像机器械，并且其他切口是用于手术器械。在一些手术过程中，若干器械和/或摄像机端口用于提供进入和成像手术部位。虽然切口与用于传统开放式外科手术的较大切口相比是相对小的，但是需要最小数量的切口，以进一步减少患者创伤和用于改进的美容术。在其他实施例中，远程操作医疗系统10可以被使用，其中，利用单个切口进入患者解剖结构，或其中穿过诸如鼻、口、肛门、阴道等自然腔道进入。
在典型的远程操作外科手术期间，对于外科医生用身体操纵各种控件以控制手术系统、成像装置和/或与系统相关联的其他手术器械，通常是必要的。例如，外科医生可能需要通过用身体操纵控件来引导并影响装置而调节成像装置的视场。外科医生可以使用他的或她的手部，以手动地控制操纵杆或鼠标，或者使用他的或她的脚部，以在外科医生的控制台处轻踏足踏板，以登陆至手术系统，以搜索在内窥镜的视图内的目标手术部位，以操作诸如夹钳的手术器械的运动和/或以调节系统设置或显示设置。常规方法要求外科医生将一只手从手术操作释放，或者使用一只脚轻踏足踏板，其均可以不必要地延迟或打扰手术操作。例如，手部动作或脚部动作可以从目标手术部位重新引导外科医生的凝视和注意至外科医生的控制台，这可以延迟或打扰操作。在执行所需要的手动调节之后，外科医生可能需要花费附加时间将他的或她的注意和凝视点重新聚集在目标手术部位上。
本文公开的实施例利用凝视检测，以增强一个或更多个使用者(例如，外科医生和/或培训师)与手术系统交互的方式。通过将使用者的眼球凝视(例如，相对于显示系统或其他医疗或手术系统部件的使用者的眼球凝视的3D位置)转换为指引至手术系统的命令中，本文公开的实施例可以允许比由常规的控制方法提供的更快和更有效的对远程操作医疗系统10的控制。眼球跟踪或眼球凝视跟踪是测量凝视点(POG)(即，通常在3D空间中，使用者正看的地方)或眼球相对于头部的运动的过程。换句话说，POG是在其中一个人的凝视指示的空间中的点，并且也已经定义为在每个眼球的视网膜(即小凹)的最高敏锐区域的中心上成像的空间中的点。
图2A示出相对于图像显示器151(例如，图1A中所示的图像显示系统20)和术野155的使用者U(例如，外科医生S或代理人)的方框图。使用者(和他的或她的眼球)存在于第一3D坐标框架160中，图像显示器151包括第二3D坐标框架165，并且术野存在于第三3D坐标框架170中。每个坐标框架160、165、170包括彼此不同的尺寸和属性。随着使用者相对于第二框架165中的图像显示器151转移在第一框架160中他的或她的凝视，本文公开的实施例能够将该眼球运动转换为控制信号，以对应地影响远程操作医疗系统10和/或显示器的第二框架165和/或术野的第三框架170中的手术器械。
在一方面，其他眼球特征的眼球凝视跟踪和观察能够用于整体地与远程操作医疗系统10连通和/或影响远程操作医疗系统10的行为。例如，由图1A中所示的眼球跟踪单元24观察的眼球特征和动态可以用于外科医生识别和登陆(例如，以与视网膜扫描类似的方式)。在一些情况下，使用者的眼球凝视能够用于更好地校准空间中(例如，第三坐标框架170中)的手术器械的3D位置并考虑遥控机器人臂运动链的可能的不精确性。在一些实施例中，使用者接口(例如，菜单)可以重叠在图像显示器上所示的术野的图像上。在一些情况下，使用者在第一坐标框架160中的眼球凝视可以用于确定在第二坐标框架165中的图像显示器151上的观看位置，并且能够识别与所确定的观看位置对应的使用者接口的使用者可选择选项之中的使用者的选择。在一些情况下，使用者的凝视的3D位置可以用于量化使用者是否基于两只眼球之间观察的动态正在观看立体。
在另一方面，实时眼球凝视跟踪能够用于启用、停用和以其他方式控制区别的手术器械，通过非限制性示例，区别的手术器械如成像装置和/或能量输送装置联接到远程操作医疗系统10。例如，如果控制系统(例如，处理器)确定观看位置在预定的时间长度匹配手术器械的位置，则系统10可以经配置启用手术器械。
图2B示出描述使用眼球跟踪单元控制并影响远程操作医疗系统100和/或任何相关联手术器械的示例性方法的流程图180。本文描述的任何方法过程可以至少部分地以存储在可以由一个或更多个处理器运行的非临时性、有形的机器可读介质上的可执行代码的形式实施。在过程182处，使用者U在图2A中所示的第一坐标框架160中凝视图像显示器151中的特定3D位置，图像显示器151中的特定3D位置是在第二坐标框架165中。在过程184处，眼球跟踪单元(例如，图1A中所示的眼球跟踪单元24)的左眼球跟踪器和右眼球跟踪器观察并测量使用者U的眼球特征(如，反应眼球凝视的特征)。在一些实施例中，眼球跟踪器测量相对于图像显示器151的第二坐标框架165的使用者的每个眼球的眼球凝视。在过程186处，控制系统(例如，图1A中所示的控制系统22)使用从眼球跟踪器测量的眼球凝视数据，以确定其中使用者的眼球指示的(第二坐标框架165内的)图像显示器151上的3D位置。在一些实施例中，控制系统可以通过跟踪由眼球跟踪器接收的从眼球反射离开的光的入射角确定所观看的位置。在一些实施例中，处理器206可以初始地执行校准过程(例如，图4A中所示的校准过程302)，以确定当使用者观看在图像显示器151上的已知位置处显示的目标标记时的基线入射角，并且产生检测角和在图像显示器151上的观看位置之间的函数关系。控制系统然后能够跟踪当使用者观看图像显示器151上的其他位置时的入射角并使用所产生的函数关系确定(例如，从所校准的角和位置推断)对应观看位置。
在过程188处，控制系统确定图像显示器151上的显示标记(例如，菜单选项)之一是否由使用者以满足用于该标记的选择的定义条件的方式观看。如果是，则在过程190处，使用者的标记的选择引起控制系统启动与所显示的标记对应的功能。例如，在一些实施例中，使用者的凝视可以指示与登陆远程操作医疗系统100相关联或与图像显示器151的照明相关联或与各种其他系统设置相关联的标记的选择。
如果否，则在过程192处，控制系统将第二参考框架165中的观看3D位置图像融合(co-register)至第三坐标框架170中的术野155中的对应3D位置。在过程194处，控制系统确定使用者是否正在以满足用于操纵成像装置或其他手术器械的定义条件观看术野。如果是，则在过程196处，使用者在术野的特定区域或术野内的特定器械上的凝视引起控制系统22以与使用者的凝视的特征对应的方式影响相关器械。例如，在一些实施例中，如上所述，如果使用者凝视术野155的特定区域，成像装置可以“遵循”使用者的凝视并将其视场重定中心(例如，以将其视场的中心定位在使用者的凝视点处)。在其他实施例中，如果使用者在预定义的时间长度凝视特定手术器械，则可以启用手术器械。如果否，则在过程198处，眼球跟踪器继续评价使用者的凝视用于可能的指令。
有许多方法用于测量眼球运动和凝视方向。在本文所述的一个方法中，红外(IR)光发射器朝向使用者的眼球发射IR光。IR光从使用者视网膜(穿过瞳孔)反射回到IR单元(例如，IR摄像机或其他成像装置)，并且所反射的IR光的量是基于相对于发射器的人的凝视的方向。在一些实施例中，一旦所反射的IR光在某一时间段内达到特定阈值，就可以确定在3D空间中的使用者的凝视点。凝视的小的失误能够解释为眨眼并且通常被忽视。其他眼球跟踪方法使用从其提取眼球位置的视频图像，使用搜索线圈，或者是基于眼电图。
图3A示意性地示出用于测量诸如眼球位置和眼球运动的使用者的眼球特征来确定他的或她的凝视点(例如，“使用者正在看的地方”)或相对于头部的眼球的运动的眼球跟踪系统220。眼球跟踪系统200包括图像显示器208、至少一个光发射器210、眼球跟踪单元212和光学组件213。一个或更多个眼球跟踪系统200能够集成在外科医生的控制台121中。光学组件213定位在眼球202和光发射器210、眼球跟踪检测器212和图像显示器208之间的光传送路径中。光学组件213指示来自光发射器210的眼球跟踪光(例如，IR光)至眼球202，指示来自图像显示器208的可见光至眼球202，并指示来自眼球202的所反射的眼球跟踪光(例如，IR光)至眼球跟踪检测器212。在此实施例中，所发射的眼球跟踪光、所反射的眼球跟踪光和可见光共享眼球202和光学组件213之间的光学路径。如在图3B、图3C和图3D中更详细地描述，眼球跟踪单元可以是采用两个或更多个摄像机或其他成像装置或者采用单个立体捕获成像装置的立体成像装置。每个眼球跟踪系统200能够用于独立地跟踪外科医生的左眼球或右眼球。例如，如果光学组件213用于指示光至外科医生的左眼球(例如，图3B中的眼球202a)，眼球跟踪系统200经配置检测指示左眼球凝视的特征。如果光学组件213用于指示光至外科医生的右眼球(例如，图3B中所示的眼球202b)，眼球跟踪系统200经配置检测指示右眼球凝视的特征。如在图3B中更详细地描述，眼球跟踪系统200能够与用于处理由眼球跟踪检测器212跟踪的眼球202的眼球特征数据(例如，瞳孔位置数据或角膜反射数据)的一个或更多个处理器联接。
如图3A中所示，从图像显示器208发射的可见光211a由光学组件213朝向外科医生的眼球202指示。由光发射器210发射的眼球跟踪光(例如，IR光)211b由光学组件213朝向外科医生的眼球指示，并且由外科医生的眼球202朝向光学组件213反射回来。光学组件213指示来自外科医生的眼球202的所反射的眼球跟踪光朝向眼球跟踪单元212。
在一些实施例中，光学组件213包括经布置反射可见光和眼球跟踪光的一个或更多个镜。在可替代的实施例中，光学组件213可以包括分束器或在传送其他光束的同时反射一些光束的其他光学过滤元件。例如，如图3C中所述，光学组件能够包括二向色元件(例如，滤光器或镜)，其经配置选择性地通过在特定波长范围中的光，如IR光，同时反射在该特定波长范围之外的光，如可见光。光学组件213也可以包括任何其他合适数量和布置的镜和/或其他光学装置，如通过非限制性示例的方式，二向色镜(例如，部分反射和部分透明的部分反射镜)、具有二向色光学涂层的反射器、二向色镜状棱镜、双折射材料和/或极化分束器。光学组件213允许眼球跟踪系统200内的部件具有更大的各种可能布置，因为光学组件213的镜和/或滤光器可以有效地从外科医生的视线“隐藏”眼球跟踪单元212，即使来自眼球跟踪单元212的光211b至少部分共享与来自于图像显示器208的可见光相同的光学路径。
图3B是根据本公开的一个实施例示出眼球跟踪系统220的图示。眼球跟踪系统220可以由图1A、图1B和图1C的远程操作医疗系统10使用。例如，根据本公开的一些实施例，眼球跟踪系统220能够部分地或全部地包括在外科医生的控制台121处的立体观看器126中。眼球跟踪系统220包括左目镜125a和右目镜125b，光学组件235包括左眼球反射镜组204a和右眼球反射镜组204b、左眼球图像显示器208a和右眼球图像显示器208b、左眼球光发射器210a和右眼球光发射器210b、和左眼球跟踪单元212a和右眼球跟踪单元212b。在所示的实施例中，眼球跟踪系统220包括左眼球处理器214a、右眼球处理器214b和集成器216。
系统220的左目镜125a和右目镜125b可以是外科医生的控制台121的部件(参见图1C)。左目镜125a和右目镜125b包括透镜，并且外科医生可以分别用外科医生的左右眼球通过左目镜125a和右目镜125b观看左图像显示器208a和右图像显示器208b。透镜可以将来自于光源(例如，光发射器210a、210b和/或图像显示器208a、208b)的光(例如，从光源发射或反射的光)朝向检测器(如眼球202a、202b)聚焦。透镜可以包括物镜，物镜收集来自于目标的光并聚焦光束以产生真实图像。在一些实施例中，左目镜125a和右目镜125b之间的距离是可调节的，以适应不同使用者的不同瞳孔间距离。在一些实施例中，可以分别基于外科医生的左右眼球视觉需要独立地调节左目镜125a和右目镜125b。在一些实施例中，左目镜125a和右目镜125b可以包括合适的光学涂层，其经配置最小化来自于光发射器和/或左眼球图像显示器208a和右眼球图像显示器208b的光的反射并最大化该光的传送。
左眼球光发射器210a、右眼球光发射器210b发射光211b，以分别给外科医生的左眼和右眼照明，并且所反射的光能够分别由左眼球跟踪单元212a和右眼球跟踪单元212b捕获，以跟踪分别用于左眼和右眼的凝视点。在一些实施例中，左光发射器210a和右光发射器210b可以是红外(IR)光发射器，如IR光发射二极管(IR LED)。在一些实施例中，可以有一个以上的光发射器用于每个眼球(例如，两个光发射器用于每个眼球)。用于每个眼球的多个光发射器可以以预定距离间隔开，使得从每个光发射器发射的光出现作为在单个眼球中的单独反射。在一些实施例中，一个或更多个左眼球光发射器210a可以与左眼球跟踪单元212a集成在一起，并且一个或更多个右眼球光发射器210b可以与右眼球跟踪单元212b集成在一起。各种实施例可以包括任何数量的跟踪单元用于每个眼球。一些实施例可以包括不相等数量的跟踪单元用于左眼和右眼。
左眼球跟踪单元212a能够用于跟踪外科医生的左眼的凝视点，并且右眼球跟踪单元212b可以用于跟踪外科医生的右眼的凝视点。如图3B中所示，眼球跟踪单元212a、212b中的每个是一种包括用于立体眼球跟踪的两个眼球跟踪摄像机的三维成像系统。每个眼球跟踪单元可以用于跟踪用于外科医生的相应眼球的瞳孔位置和角膜反射。例如，在所示的实施例中，两个左眼球跟踪摄像机212a1、212b2用于跟踪外科医生的左眼的瞳孔位置和角膜反射。类似地，在所示的实施例中，两个右眼球跟踪摄像机212b1、212b2用于跟踪外科医生的右眼的瞳孔位置和角膜反射。用于每个眼球的多个眼球跟踪单元经定位以预定的距离彼此间隔开，使得每个瞳孔位置和角膜反射的立体图像可以由一个以上的眼球跟踪单元独立地跟踪，并且每个瞳孔位置和角膜反射的3D位置可以基于从用于每个眼球的独立眼球跟踪单元收集的数据计算。在可替代的实施例中，每个眼球跟踪单元可以包括具有例如立体摄像机的单个成像装置，或者可以包括两个以上的成像装置。
在一些实施例中，眼球跟踪单元212a和212b是电荷耦合器件(CCD)摄像机。在一些实施例中，眼球跟踪单元212a和212b是IR摄像机，其对IR光敏感并能够捕获从IR光发射器发射的红外光。在一些实施例中，眼球跟踪单元212a和212b可以包括高变焦透镜，以提供具有眼球(例如，瞳孔)的较高放大的图像。
在一些实施例中，眼球跟踪单元212a、212b和光发射器210a、210b分别放置在左眼球图像显示器208a和右眼球图像显示器208b的底部处。在一些实施例中，眼球跟踪单元212a、212b可以位于图1C中所示的立体图像观看器系统126中。光发射器210a和210b可以分别与左眼球跟踪单元212a和右眼球跟踪单元212b集成在一起。典型地，使用者将定位他的或她的左右眼，以直接地分别面向左眼球图像显示器125a和右眼球图像显示器125b。因此，用此布置，每个眼球跟踪单元212a、212b经定位直接地面向要跟踪的眼球。具体地，左眼球跟踪单元212a和右眼球跟踪单元212b经定位直接地分别面向左眼和右眼。本文公开的配置可以改进眼球跟踪过程的方便性和精确性，因为此配置消除对诸如眼镜的外部跟踪装置的需要。另外，如上所述，常规的眼球凝视跟踪装置可以位于目镜附近，从而当外科医生正在观看目镜时产生干扰。例如，眼球凝视跟踪装置的边缘可以出现在外科医生的视觉中，潜在地使外科医生分心或者部分地模糊术野的视图。因此，当前配置可以通过消除在外科医生的视觉内的任何不必要干扰图像改进外科医生在使用眼球跟踪技术中的体验。
在所示的实施例中并参照图2A，处理器214a、214b分别联接到左眼球跟踪单元212a和右眼球跟踪单元212b，并经配置计算相对于图像显示器151(例如，显示器208a、208b)的第二坐标框架165的外科医生的凝视点的3D位置，并将该3D位置转换成术野155(图2A中所示)的第三坐标系统170的对应3D位置。例如，能够校正由左眼球跟踪单元212a、右眼球跟踪单元212b捕获的凝视点，并且能够确定外科医生的左右眼的凝视点之间的不一致。然后，外科医生的凝视点的3D位置能够使用左眼球跟踪单元212a、右眼球跟踪单元212b之间的距离、与左眼球跟踪单元212a和右眼球跟踪单元212b中的每个的焦距相关的参数和所确定的不一致计算。
术野的3D立体图像可以由外科医生经由眼球跟踪系统220感知。在一些实施例中，位于远程操作组件100的内窥镜112能够经操纵在外科手术期间(图2A中所示)捕获术野155的图像，并且这些图像能够在左图像显示器208a和右图像显示器208b上示出。在一些实施例中，图像显示器208a、208b与图2A中所示的图像显示器151相同。在一些实施例中，内窥镜112包括立体摄像机。然后由内窥镜112捕获的图像可以分别由处理器214a、214b处理，以产生左立体图像和右立体图像。所产生的左立体图像和右立体图像可以分别在左图像显示器208a和右图像显示器208b上示出。具体地，左眼球图像显示器208a通信地联接到内窥镜112，并经配置在外科手术期间显示术野的左眼球立体图像。类似地，右眼球图像显示器208b联接到立体摄像机112并经配置显示术野的右眼球立体图像。左眼球立体图像和右眼球立体图像由立体摄像机112捕获并经处理分别用于左眼球视觉和右眼球视觉。左眼球图像显示器208a和右眼球图像显示器208b可以是2D或3D显示屏幕。在一些实施例中，左眼球图像显示器208a和右眼球图像显示器208b是液晶显示器(LCD)屏幕。在一些情况下，图像显示器208a、208b可以同时呈现在多个显示屏幕或装置(例如，外部屏幕或移动装置)上。
如上所述，眼球跟踪系统220包括左眼球处理器214a、右眼球处理器214b和集成器216。处理器214a、214b和集成器216经配置处理从眼球跟踪单元212a、212b接收的凝视点数据，以确定其中使用者的凝视点指示的图像显示器208a、208b上的观看位置，并基于所确定的观看位置控制远程操作医疗系统10的至少一个功能。具体地，处理器214a、214b可以处理由左眼球跟踪单元212a和右眼球跟踪单元212b接收的瞳孔位置和角膜反射点数据。在一些实施例中，由每个眼球跟踪单元接收的瞳孔位置和角膜反射点数据可以由处理器214a和214b处理，以确定瞳孔位置和角膜反射的3D位置。集成器216可以用于集成从每个眼球接收的瞳孔位置和角膜反射数据，以在外科手术期间形成外科医生的3D凝视点或位置。
在一些实施例中，左眼球处理器和右眼球处理器(和/或集成器)的功能可以由单个处理器执行。在一些实施例中，集成器216集成由两个处理器214a、214b接收的信息，以确定并处理使用者的眼球凝视位置。在一些实施例中，处理器214a、214b和/或集成器216可以位于远程操作系统10内的其他位置(例如，位于作为中央电子数据处理单元142的一部分的视觉手推车140内，位于远程操作组件100处，和/或位于外科医生的控制台121内)。在一些实施例中，处理器214a、214b和/或集成器216也能够联接到存储器，以存储凝视点测量、配准(registration)和校准数据。在一些实施例中，处理器214a、214b和/或集成器216可以用于计算外科医生的凝视点的2D位置。如在下面进一步详细地描述，在一些实施例中，当确定瞳孔位置和角膜反射的3D位置时，可以补偿外科医生的头部运动。
在一些实施例中，所计算的外科医生的凝视点的2D或3D位置能够以示出外科医生的凝视点的变化的诸如点、标记或矢量的各种合适表示中的任何表示显示。外科医生的凝视点能够与左图像显示器208a和右图像显示器208b上的术野155的图像组合显示。在一些实施例中，眼球跟踪系统220也可以用在与例如da
Figure GDA0003398322160000201
Skills SimulatorTM的模拟模块集成的外科医生的控制台121中，其中虚拟图像能够在左图像显示器208a和右图像显示器208b上示出。
光学组件235相对于眼球202、光发射器210、眼球跟踪单元212和图像显示器208布置，以指示来自光发射器210的IR光至眼球202，指示来自图像显示器208的可见光至眼球202，并指示来自眼球202的反射的IR光(从光发射器210发射的)至眼球跟踪单元212。具体地，光学组件235的左反射镜组204a和右反射镜组204b中的每个包括多个镜，其经布置将来自左光发射器210a和右光发射器210b的IR光分别反射到外科医生的左眼和右眼，并将来自左眼和右眼的IR光分别反射到左眼球跟踪单元212a和右眼球跟踪单元212b。
因此，左眼反射镜组204a包括一组镜，其经布置提供在外科医生的左眼、左眼跟踪单元212a和左眼光发射器210a之间的光学连通。例如，镜204a可以如图3B中所示布置，使得左眼球图像显示器208a上示出的立体图像的左眼球部分能够经由可见光211a指示到外科医生的左眼球中，以由外科医生观看。左眼球反射镜组204a也可以允许从左眼球光发射器210a发射的IR光211b指示到外科医生的左眼上。从外科医生的左眼反射的IR光211b可以由左眼球反射镜组204a指示至左眼球跟踪单元212a，从而使左眼球跟踪单元212a能够跟踪反射的IR光，以确定外科医生的左眼的凝视点的3D位置。
类似地，右眼球反射镜组204b包括一组镜，其经布置提供在外科医生的右眼、右眼跟踪单元212b和右眼光发射器210b之间的光学连通。例如，镜204b可以如图3B中所示布置，使得右眼球图像显示器208b上示出的立体图像的右眼球部分能够经由可见光211a指示到外科医生的右眼球中，以由外科医生观看。右眼球反射镜组204b也可以允许从右眼球光发射器210b发射的IR光211b指示到外科医生的右眼上。从外科医生的右眼反射的IR光211b可以由右眼球反射镜组204b指示至右眼球跟踪单元212b，从而使右眼球跟踪单元212b能够跟踪反射的IR光，以确定外科医生的右眼的凝视点的3D位置。在图3B中，所发射和反射的IR光211b的路径与显示器208a和眼球202a之间和显示器208b和眼球202b之间的可见光211a共享光学路径。
如上所述，在一些实施例中，左眼球跟踪单元212a和右眼球跟踪单元212b也可以用于跟踪外科医生的3D头部运动(例如，在图2A中所示的第一坐标框架160中)。在一些实施例中，跟踪单元212a、212b通过监视外科医生的头部(例如，包括面部)上的固定参考点跟踪外科医生的头部的3D运动。因为参考点不具有与外科医生的眼球凝视点的连续同步运动，所以参考点可以用于估计外科医生的头部位置和取向。参考点可以包括外科医生的头部上的各种解剖标志或特征中的任何标志或特征。例如，参考点可以包括头部特征，如眼睑曲率、眼角、虹膜和/或眉毛。在一些示例中，用作参考点的头部特征可以被分段并被跟踪。例如，在一个实施例中，眼角可以通过眼的两个样条(spline)的交叉检测和定位。当使用两个立体单元(例如，左眼球跟踪单元212a和右眼球跟踪单元212b)时，头部特征可以在3D空间中跟踪。外科医生的左眼和右眼之间的瞳孔间距被假设是恒定的，并且由处理器使用作为在其计算中的恒定因素。当外科医生移动他的或她的头部或面部而不转移他的或她的凝视点时，外科医生的瞳孔相对于眼球跟踪单元212a、212b保持静止。因此，头部上的参考点移动，而外科医生的瞳孔相对于眼球跟踪单元212a、212b保持固定。因此，左右瞳孔和面部/头部上的参考点之间有相对运动。此相对运动可以由左眼球跟踪单元212a和右眼球跟踪单元212b跟踪和监视，以计算适当的补偿值。这些补偿值可以用于在确定外科医生的双眼中的每个眼的凝视点的3D位置中补偿所跟踪的3D头部运动。
图3C是示出包括作为分束器操作的光学组件255的眼球跟踪系统250的图示。眼球跟踪系统250是图3A的眼球跟踪系统200的一个示例性实施例。根据本公开的各种实施例，眼球跟踪系统250能够部分地或全部地包括在外科医生的控制台121上的立体图像观看器系统126中。眼球跟踪系统250包括左眼球跟踪单元212a(具有眼球跟踪摄像机212a1、212a2)、右眼球跟踪单元212b(具有眼球跟踪摄像机212b1、212b2)、左眼球光发射器210a、右眼球光发射器210b、左眼球图像显示器208a、右眼球图像显示器208b、左眼球处理器214a、右眼球处理器214b和集成器216。然而，在图3C中所示的眼球跟踪系统250中，这些部件布置在与在眼球跟踪系统220中不同的配置中。在图3B中所示的眼球跟踪系统220中，眼球跟踪单元212a、212b和光发射器210a、210b位于图像显示器208a、208b(相对于使用者)下面。光学组件235定位在图像显示器208a、208b和目镜125a、125b之间。相比之下，在图3C中所示的眼球跟踪系统250中，左眼球跟踪单元212a和右眼球跟踪单元212b位于左眼球图像显示器208a、右眼球图像显示器208b和光学组件255之间的区域或空间中的图像显示器208a、208b的前面。光学组件255包括左眼球反射镜组204a和右眼球反射镜组204b。左眼球反射镜组204a包括第一光学元件256和第二光学元件257。右眼球反射镜组204b包括第三光学元件258和第四光学元件259。光学元件256、257、258和259能够是各种光传送和/或光反射的光学装置中的任何装置，其包括但不限于镜、滤光器和棱镜。虽然两个处理器214a、214b在图3C中示出，但是本领域的技术人员将理解到任何数量的处理器可以布置在任何合适的拓扑结构中。
在一些实施例中，光学组件255包括至少一个反射镜组，其包括分束器，如通过非限制性示例的方式，二向色镜或二向色滤光器。分束器可以包括能够传送并反射在不同波长范围内的光的任何装置。例如，如图3C中所示，左眼球反射镜组204a的第二光学元件257包括左分束器257，其允许IR光211b通过，同时反射可见光211a，如从左眼球立体图像显示器208a发射的可见光。因此，从左眼球光发射器210a发射的IR光211b能够穿过左分束器257，以给左眼照明，并且从外科医生的左眼球202a反射的IR光112b也能够穿过左分束器257以由左眼球跟踪单元212a捕获。同时，从左眼球图像显示器208a发射的可见光211a能够由反射镜组204a的光学元件256和257指示，以由外科医生的左眼球202a观看。在一些实施例中，左分束器257包括二向色镜。
类似地，右眼球反射镜组204b的第三光学元件258包括右分束器，其允许IR光211b穿过，同时反射可见光211a，如从右眼球立体图像显示器208b发射的可见光。因此，从右眼球光发射器210b发射的IR光211b能够穿过右分束器258，以给右眼球照明，并且从外科医生的右眼球202b反射的IR光211b也能够穿过右分束器258，以由右眼球跟踪单元212b捕获。同时，从右眼球图像显示器208b发射的可见光211a能够由反射镜组204b(和分束器258)指示，以由外科医生的右眼球202b观看。在一些实施例中，右分束器258包括二向色镜。
光学组件255中包括分束器257、258允许其中眼球跟踪单元212a、212b共享光学路径的至少一部分用于来源于图像显示器208a、208b的所显示的图像而对外科医生不可见(例如，在图像显示器208a、208b中)的配置。换句话说，所反射的IR光211b共享可见光211a的光学路径的一部分，也就是眼球和相应分束器之间(例如，眼球202a和分束器257之间和眼球202b和分束器258之间)的光学路径的该部分。如图3C中所示，左眼球跟踪单元212a和右眼球跟踪单元212b定位在分束器203a、203b后面并且直接地面向外科医生的眼球。此配置允许眼球跟踪单元212a、212b捕获分别来自于外科医生的左眼202a和右眼202b的信息，而不阻碍可见光路径且在不使任何光学反射路径影响图像显示器208a、208b(例如，图像显示器208a、208b不接收来自于外科医生的眼球的任何反射IR光)。相比之下，如图3B中所示，来自于外科医生的眼球202a、202b的反射IR光(由虚线箭头示出)朝向图像显示器208a、208b反射回来，以由眼球跟踪单元212a、212b接收。
在一些情况下，眼球跟踪系统250的光学组件255中的分束器(例如，分束器257、258)的并入允许来自于眼球跟踪单元212a、212b的光211b共享来自于所显示的图像的可见光211a的光学路径的至少一部分，而不使眼球跟踪单元212a、212b对外科医生可见。在一些情况下，外科医生可以较少地由干扰图像分心并且更多地集中在当前程序上，因为此配置可以消除来自外科医生的图像显示器208a、208b中的眼球跟踪单元的干扰图像。另外，图3C中所示的配置也可以为眼球跟踪系统250的设计和制造提供更多的灵活性或紧凑性。系统250的配置可以产生显示器(在眼球跟踪单元不可见的情况下)的更清晰视图，同时适应最小化的空间和设计限制。
图3D是根据本公开的一个实施例示出包括作为分束器操作的光学组件260的示例性眼球跟踪系统280的图示。眼球跟踪系统280是图3A中所示的眼球跟踪系统200的另一个示例性实施例。根据本公开的一些实施例，眼球跟踪系统280可以部分地或全部地包括在外科医生的控制台121上的立体图像观看器系统126中。眼球跟踪系统280包括左眼球跟踪单元212a(具有眼球跟踪摄像机212a1、212a2)、右眼球跟踪单元212b(具有眼球跟踪摄像机212b1、212b2)、左眼球光发射器210a、右眼球光发射器210b、左眼球图像显示器208a、右眼球图像显示器208b、左眼球处理器214a、左眼球处理器214b和集成器216。在图3D中所示的眼球跟踪系统280中，这些部件布置在与在眼球跟踪系统250中不同的配置中。具体地，在图3C中所示的眼球跟踪系统250中，眼球跟踪单元212a、212b和光发射器210a、210b定位在图像显示器208a、208b和光学组件255之间。相比之下，在图3D中所示的眼球跟踪系统280中，眼球跟踪单元212a、212b和光发射器210a、210b与光学组件260邻近(例如，在其侧面)定位(或者相对于眼球旋转大约90°)。在图3D的所示实施例中，光学组件260和图像显示器208a、208b之间的空间未被占据，从而提供在图像显示器208a、208b和光学组件260之间的未阻碍光学路径。
与图3C中所示的光学组件255相同，眼球跟踪系统280的光学组件260包括用作分束器的两个光学元件。在图3D中所示的光学组件260中，第一光学元件256和第四光学元件259用作分束器。具体地，左眼球反射镜组204a的第一光学元件256包括左分束器，并且右眼球反射镜组204b的第四光学元件259包括右分束器。如图3D中所示，左眼球反射镜组204a的左分束器256传送IR光211b通过，同时反射可见光211a，如从左眼球立体图像显示器208a发射的可见光。因此，从左眼球光发射器210a发射的IR光211b能够穿过左分束器256，以给左眼照明，并且从外科医生的左眼球202a反射的IR光也能够穿过左分束器256，以由左眼球跟踪单元212a捕获。同时，从左眼球图像显示器208a发射的可见光能够由反射镜组204a(包括分束器256)指示，以由外科医生的左眼球202a观看。在一些实施例中，左分束器256包括二向色镜。
类似地，右眼球反射镜组204b的右分束器259传送IR光211b通过，同时反射可见光211a，如从右眼球立体图像显示器208b发射的可见光。因此，从右眼球光发射器210b发射的IR光211b能够穿过右分束器259，以给右眼照明，并且从外科医生的右眼202b反射的IR光211b也能够穿过分束器259，以由右眼球跟踪单元212b捕获。同时，从右眼球图像显示器208b发射的可见光211a能够由反射镜组204b(和分束器259)指示，以由外科医生的右眼球202b观看。在一些实施例中，右分束器259包括二向色镜。
光学组件260中包括分束器257、259允许其中来自于眼球跟踪单元212a、212b的光211b共享光学路径的至少一部分用于来源于图像显示器208a、208b的所显示的图像，而眼球跟踪单元对外科医生不可见的配置。具体地，如图3D中所示，左眼球跟踪单元212a和右眼球跟踪单元212b定位在分束器257、259后面并与外科医生双眼呈一定角度(例如，90°)。此配置允许眼球跟踪单元212a、212b分别从外科医生的左右眼捕获信息，而不阻碍来自于显示器的可见光的路径并且不使任何光学反射路径影响图像显示器208a、208b(例如，图像显示器208a、208b不从外科医生的双眼接收任何反射IR光)。
在一些情况下，眼球跟踪系统280的光学组件260中的分束器(例如，分束器256、259)的并入允许来自于眼球跟踪单元212a、212b的光211b共享来自于所显示的图像的可见光211a的光学路径的至少一部分，而不使眼球跟踪单元212a、212b对外科医生可见。在一些情况下，外科医生可以较少地由干扰图像分心并且更多地集中在当前程序上，因为此配置可以消除来自于外科医生的图像显示器208a、208b中的眼球跟踪单元的干扰图像。另外，图3D中所示的配置也可以为眼球跟踪系统280的设计和制造提供更多灵活性或紧凑性。系统280的配置可以产生显示器(无可见的眼球跟踪单元)的更清晰视图，同时适应最小化的空间和设计限制。
应当理解的是，光发射器210(例如，左眼球光发射器210a和右眼球光发射器210b)的位置是灵活的。眼球跟踪单元212(例如，左眼球跟踪单元212a和右眼球跟踪单元212b)的位置也是灵活的。本领域中的普通技术人员将理解到，光发射器210和/或眼球跟踪单元212能够位于相对于外科医生和图像显示器(例如，在外科医生的控制台121上)的任何合适位置处，以最小化对外科医生的视觉的干扰并改进眼球跟踪过程的精确性和效率。
图4A根据本公开的一个实施例示出用于使用如图3A-3D中所示的眼球跟踪系统确定外科医生的3D凝视点的方法300。方法300包括两个过程：校准过程302和测量过程304。在一些实施例中，校准过程302是3D校准过程，其中在3D空间中的外科医生的凝视点用已知的3D位置参数与3D空间中的预定目标比较。
3D空间中所示的目标T的图像可以分成左立体图像和右立体图像，并且分别在左图像显示器208a和右图像显示器208b上显示。左眼球光发射器210和右眼球光发射器210b可以发射能够分别由左眼球跟踪单元212a和右眼球跟踪单元212b跟踪的光。左眼球反射镜组204a和右眼球反射镜组204b可以经布置，使得左眼球图像显示器208a和右眼球图像显示器208b上显示的目标的左眼球立体图像和右眼球立体图像能够分别反射并指示到外科医生的左眼202a和右眼202b中。在一些实施例中，如图3A-3D中所示，左眼球反射镜组204a和右眼球反射镜组204b经布置，使得左眼球光学连通和右眼球光学连通之间没有“串扰”或共享的光学路径。从光发射器210a、210b发射的诸如IR光211b的光也能够穿过左眼球反射镜组204a和右眼球反射镜组204b指示，以给外科医生的左眼202a和右眼202b照明。在校准过程期间，例如用在3D空间中的已知3D位置参数预先确定目标的3D位置，使得所测量的数据可以与目标主体的预定位置数据比较，以在下列过程中确定补偿值和/或凝视点确定模型。
图4B示出当预定目标T(具有3D坐标aT，bT，cT)在校准过程期间在左眼球图像显示器208a上示出时左眼球跟踪单元212a跟踪外科医生的左眼202a的角膜反射和瞳孔位置的示例。校准过程302可以通过示出3D空间中的目标T在过程312处开始。如图4B中所示，目标T能够放置在具有坐标值(aT，bT，cT)在左眼球图像显示器208a上的预定3D坐标框架350中。左眼球图像显示器208a上示出的目标T可以是由立体单元112捕获并由处理器214a处理的左眼球立体图像。在其他实施例中，目标T可以是虚拟产生的图像。左眼球反射镜组204a(未示出)能够位于相对于左眼球跟踪单元212a和外科医生的左眼202a的任何合适位置处，如关于图3A-3D在上面讨论。应当理解的是，虽然仅外科医生的左眼的一个角膜反射为了简便起见在图4B中示出，但是可以有来自于一个以上的光发射器210的一个以上的角膜反射用于每个眼球202。
在一些示例中，目标T可以是在3D空间350中所示的手术工具图标。目标T也可以是移动目标或可以动态地改变大小的目标。可替代地，目标也可以是在术野中的实际手术工具，其位置能够使用任何合适的工具跟踪技术跟踪和识别。例如，校准过程302可以包括2005年5月16日提交的题为“Methodsand system for performing 3D tool tracking by fusion of sensor and/or cameraderived data during minimally invasive robotic surgery(用于在微创机器人外科手术期间通过传感器和/或摄像机得到的数据的融合执行3D工具跟踪的方法和系统)”的美国专利公开No.2006/0258938中公开的特征，其通过引用并入本文。在校准过程302期间，例如用3D空间中的已知3D位置参数(例如，坐标值(aT，bT，cT))预先确定目标T的3D位置，使得所测量的数据可以与目标T的已知位置参数比较，以在下列步骤中确定各种模型。
在所示的实施例中，通过接收分别由左眼球跟踪单元212a和右眼球跟踪单元212b捕获的左右眼的瞳孔2D位置和2D角膜反射数据，校准过程302前进到过程314。在一些实施例中，2D瞳孔位置和2D角膜反射数据可以包括坐标值、位移和/或角度。在一些实施例中，左眼球反射镜组204a和右眼球反射镜组204b如图3A-3D中所示布置，使得外科医生的左眼球202a和右眼球202b的角膜反射能够分别指示到左眼球跟踪单元212a和右眼球跟踪单元212b中以进行跟踪。然后，所跟踪的2D数据可以由左眼球处理器214a和右眼球处理器214b和/或集成器216接收和处理，以获得外科医生的左眼球202a和右眼球202b的3D瞳孔位置和角膜反射数据。
图4C示出与外科医生的眼角膜对应的2D坐标框架360和与外科医生的瞳孔对应的2D坐标框架370。如图4C中所示，当左眼球光发射器210a朝向外科医生的眼球202a发射光时，光(例如，IR光)反射离开外科医生的左眼球202a的眼角膜的表面，并且反射图像变成具有角膜反射中心365(具有坐标(uR，vR))放置在预定2D坐标框架360中的明亮区域。在一些情况下，角膜反射数据包括用于每个眼球的一个以上角膜反射的跟踪信息。在预定2D坐标框架370中的瞳孔375(具有坐标(xP，yP))的中心也能够由左眼球跟踪单元212a跟踪。
通过跟踪头部运动以更精确地分别确定左右眼的瞳孔位置和角膜反射数据，校准过程302前进到过程316。换句话说，头部运动数据可以用于补偿瞳孔位置和角膜反射数据的头部运动引起的不精确性。例如，头部的旋转能够通过头部运动数据中的变化近似。在一些实施例中，如关于图3A在上面描述，外科医生的头部特征(例如，眼角)可以经跟踪确定头部运动。在一些实施例中，可以请求外科医生执行一个或更多个头部运动，同时集中在图像显示器208a、208b中的目标T上，以确定适当补偿值和/或补偿模型。例如，可以请求外科医生移动他的或她的头部更接近目镜125a、125b，同时集中在图像显示器208a、208b上的预定目标T上。还可以请求外科医生在一系列运动(例如，上下、左右、旋转和/或进一步远离目镜)中移动他的或她的头部，以收集更多校准信息。
左眼球跟踪单元212a和右眼球跟踪单元212b可以捕获在外科医生的瞳孔和面部/头部特征之间的相对运动，以确定与面部/头部运动相关的补偿值。在一些实施例中，外科医生的头部运动也可以由安装在头靠件130上的一个或更多个传感器跟踪。所计算的2D或3D凝视点位置还可以基于所跟踪的外科医生的头部运动调整或补偿。由传感器收集的数据可以与在过程316处获取的数据组合，以确定补偿值。关于使用感测方法来操纵头靠件的附加细节可以例如在题为“(ENDOSCOPE CONTROL SYSTEM)内窥镜控制系统”的美国申请No.61/865,996中发现。
在一些实施例中，补偿值和/或补偿模型可以保存在联接到处理器214a、214b和/或集成器216的存储器中，用于未来的测量或计算。在一些实施例中，具体使用者的补偿值和/或补偿模型可以保存在存储器中作为使用者的轮廓数据的一部分，使得当使用者再次登陆系统中时相同的使用者不需要重复校准过程。
通过分别确定外科医生的左眼球202a和右眼球202b中的每个眼球的3D瞳孔位置和3D角膜反射数据，校准过程302前进到过程318。在一些实施例中，眼球跟踪单元212a包括立体摄像机，并且包括2D瞳孔位置和2D角膜反射数据的立体图像能够捕获和由处理器214a处理，以计算多个立体图像之间的不一致。例如，如图4B中所示，当一个或更多个左眼球跟踪单元212a包括能够捕获外科医生的左眼球202a的立体图像的立体摄像机时，来自于每个单独左眼球跟踪单元212a的2D瞳孔位置375(xP，yP)和2D角膜反射数据365(uR，vR)可以经处理计算在多个立体图像之间的不一致。在一些实施例中，所确定的位置数据可以包括外科医生的左眼球202的2D瞳孔位置和2D角膜反射数据。
然后，所确定的每个眼球的2D数据可以经组合估计外科医生的3D眼球凝视位置。在一些实施例中，所确定的位置数据可以包括瞳孔的3D位置和3D角膜反射数据。与深度转换图的不一致可以使用此方法在校准过程期间获得。然后可以使用不一致估计包括外科医生的瞳孔(坐标点zP)的深度和角膜反射(坐标点wR)的深度的3D数据。例如，外科医生的左眼球202a的3D眼球凝视数据可以使用在左眼球跟踪单元212a之间的距离、与每个左眼球跟踪单元212a的焦距相关的参数和所计算的不一致进行计算。与深度转换图的不一致可以使用此方法在校准过程期间获得。在一些实施例中，外科医生的头部运动也可以由左眼球跟踪单元212a和右眼球跟踪单元212b捕获。
在一些实施例中，外科医生的瞳孔可以示出当观看具有不同深度的目标T时的聚散度(vergence)(例如，如由图4B中所示的角度γ指示)。外科医生的瞳孔和角膜反射的深度可以通过监视外科医生的每个瞳孔的聚散度以及在所测量的瞳孔间距和目标T在3D坐标框架350中的深度之间形成换算表进行估计。在一些实施例中，外科医生的瞳孔的深度(例如，zP)和角膜反射的深度(例如，wR)可以使用如图4B中所示的三角形法计算。例如，多个左眼球跟踪单元212a之间的距离设定为距离dC(例如，在图4B中的点A和B之间的距离)，并且当外科医生的眼球正在观看在3D坐标框架350中的不同位置处的目标T时，可以跟踪三角形角度α和β。在一种情况下，当目标T位于不同深度处时，角度α和β可以相应地改变，以便能够计算在眼球跟踪单眼212a和瞳孔之间的距离dP(例如，在点C和瞳孔之间的距离)。距离值dP还能够用于计算3D瞳孔位置(例如，坐标(xP，yP，zP))。外科医生的右眼球的3D瞳孔位置(例如，坐标(xP，yP，zP))和角膜反射数据(例如，坐标(uR，vR，wR))可以以与外科医生的左眼球的确定基本上类似的方式确定。
在校准过程302的过程322处，所确定的3D瞳孔位置和3D角膜反射数据与预定目标T的预定3D位置参数比较，以确定凝视点确定模型。换句话说，通过确定3D瞳孔位置和3D角膜反射数据和预定目标T的3D位置之间的关系，能够形成凝视点确定模型。在一些示例中，所确定的外科医生的左眼球202a的3D瞳孔位置375’(坐标(xP，yP，zP))和3D角膜反射数据365’(坐标(uR，vR，wR))与在过程312处选择的目标T的左立体图像的3D位置数据T(坐标(aT，bT，cT))比较，以获得下列关系或函数f：
(aT，bT，cT)＝f(xP，yP，zP，uR，vR，wR)
在一些实施例中，多个校准目标用于校准过程，并且函数f的参数可以在校准过程期间使用从多个目标点收集的瞳孔位置和角膜反射数据确定。在一些实施例中，诸如最小二乘优化或最大可能估计的方法可以用于确定函数f的参数。在一些实施例中，用于每个眼球的凝视方向矢量能够使用每个眼球的3D瞳孔位置和3D角膜反射数据形成，并且每个凝视方向矢量的交叉点可以确定为外科医生的凝视点。然后，所确定的凝视点可以与目标T的3D位置数据比较，以确定函数f。在一些实施例中，在校准过程期间，使用诸如最小二乘优化、最大可能估计的优化方法可以最小化在使用函数f计算的3D位置和目标T的实际预定位置之间的错误。在一些实施例中，凝视点确定模型也可以使用外科医生的双眼的2D位置数据、目标的2D位置数据和外科医生的瞳孔的聚散度(例如，角度γ)形成。在一些实施例中，凝视点确定模型也可以包括示出从瞳孔3D位置和3D角膜反射数据至3D空间中的坐标系统中的目标T的3D位置的转换的矩阵。
类似地，外科医生的右眼球202b的3D瞳孔位置和3D角膜反射数据可以与在过程312处选择的目标T的右立体图像的3D位置数据比较。
在一些实施例中，校准过程302可以重复多次，使得凝视点确定模型的精确性可以得到改进，直到精确性满足预定系统要求。在一些实施例中，在形成第一凝视点确定模型(例如，函数f)之后，一个或更多个真实目标可以用于估计第一凝视点确定模型的精确性。例如，通过使用(一个或更多个)真实目标重新运行映射优化，第一凝视点确定模型可以更新，以形成第二凝视点确定模型。比较并评价第一模型和第二模型之间的精确性，以便可以形成更精确的凝视点确定模型。
在完成校准过程302之后，方法300前进到测量过程304。当内窥镜或立体摄像机112正在捕获手术部位的图像时，测量过程304可以在外科手术或训练过程期间执行。在一些实施例中，校准过程302和测量过程304也可以使用模拟模块，例如使用da
Figure GDA0003398322160000311
Skills SimulatorTM(例如，其可以与外科医生的控制台121集成)在模拟练习中实行。
当外科医生正在观看在左眼球图像显示器208a和右眼球图像显示器208b上显示的图像(例如，手术部位或虚拟图像)时，通过分别接收外科医生的左眼球202a和右眼球202b的2D瞳孔位置和2D角膜反射数据，测量过程304在过程324处开始。用于过程324的配置和方法可以如前面讨论基本上类似于方法300的过程314。在一些实施例中，手术部位的图像可以由内窥镜或立体摄像机112捕获，并经处理分成分别在左眼球图像显示器208a和右眼球图像显示器208b上显示的左眼球立体图像和右眼球立体图像。外科医生的左右眼的2D瞳孔位置和2D角膜反射数据分别由左眼球跟踪单元212a和右眼球跟踪单元212b捕获，并由处理器214a、214b和/或集成器216处理获得3D瞳孔位置数据。
通过使用在过程316处确定的补偿值和/或补偿模型估计用于外科医生的左眼球202a和右眼球202b中的每个的瞳孔位置和角膜反射数据，测量过程304前进到过程326。在一些实施例中，在步骤316处捕获的头部/面部运动也可以用于补偿瞳孔位置和角膜反射数据或外科医生的3D凝视点。如上所述，头部运动数据可以通过使用左眼球跟踪单元212a和右眼球跟踪单元212b跟踪头部特征而在校准过程302期间跟踪，并且补偿值和/或补偿模型可以用于计算对由头部运动引起的瞳孔位置和/或角膜反射数据的变化。所计算的变化值可以用于调整用于在过程324处确定的外科医生的左右眼的瞳孔位置和角膜反射数据(例如，补偿外科医生的头部运动)。具体地，在头部运动和眼角的跟踪运动之间的函数能够在校准过程302期间形成。在测量过程304期间，也可以跟踪头部/眼球特征的运动，并且可以使用从校准过程302形成的函数估计外科医生的头部运动。然后3D瞳孔位置和3D角膜反射数据可以通过使用在步骤322处获得的凝视点确定模型由处理器214转换为外科医生的3D凝视点位置。
通过确定外科医生的左眼球202a和右眼球202b中的每个的3D瞳孔位置和3D角膜反射数据，测量过程304前进到过程328。用于确定3D瞳孔位置和3D角膜反射数据的过程可以如前面讨论基本上类似于方法300的过程318。在一些实施例中，从每个左眼球跟踪单元212a接收的2D瞳孔位置和2D角膜反射数据可以由左眼球处理器214a处理。然后，左眼球202a的瞳孔位置和角膜反射能够使用角膜反射的角膜反射中心365和瞳孔375的中心(图4C中所示)之间的相对位置计算。外科医生的右眼球的3D瞳孔位置和3D角膜反射数据可以以与外科医生的左眼球的确定基本上类似的方式确定。例如，从每个右眼球跟踪单元212b接收的2D瞳孔位置和2D角膜反射数据可以由右眼球处理器214b处理。然后，右眼球202b的瞳孔位置和角膜反射能够使用在右角膜反射的角膜反射中心和右瞳孔的中心之间的相对位置计算。
通过使用在校准过程302的过程322处获得的凝视点确定模型确定外科医生的3D凝视点，测量过程304前进到过程330。在一些实施例中，在过程328处确定的外科医生的双眼的3D瞳孔位置和3D角膜反射数据可以使用凝视点确定模型处理，以确定外科医生的凝视点的3D位置。在一些示例中，用于每个眼球的凝视方向矢量能够使用在过程328处所确定的每个眼球的3D瞳孔位置和3D角膜反射数据形成。然后，每个凝视方向矢量的交叉点可以用于确定外科医生的凝视点。
在测量过程304之后，在一些实施例中，所确定的3D凝视点位置可以在图3A-3D中所示的图像显示器208上示出。3D凝视点位置可以以诸如但不限于点、线、矢量、箭头和半透明圆的各种合适的任何表示进行表达。如上面讨论，由远程操作医疗系统10测量的凝视点可以在包括实时医疗程序和虚拟训练手术二者的各种应用中使用。
虽然已经示出并描述说明性实施例，但是在前述公开中设想了宽范围的修改、变化和替代并且在一些情况下，可以采用实施例的一些特征，而无其他特征的对应使用。本领域中的普通技术人员将认识到许多变化、替代和修改。因此，本公开的范围应该仅由随附权利要求限制，并且应当理解，权利要求应该以广义地并以与本文公开的实施例的范围一致的方式进行解释。

Claims (45)

1.一种眼球跟踪系统，所述眼球跟踪系统包括：
图像显示器，其经配置向使用者显示术野的图像；
右眼球跟踪器，其经配置测量关于所述使用者的右眼球的第一凝视点的数据，所述右眼球跟踪器包括右立体成像装置，其中所述右立体成像装置包括经配置从所述右眼球接收光的至少两个摄像机；
左眼球跟踪器，其经配置测量关于所述使用者的左眼球的第二凝视点的数据，所述左眼球跟踪器包括左立体成像装置，其中所述左立体成像装置包括经配置从所述左眼球接收光的至少两个摄像机；和
至少一个处理器，其经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以确定所述使用者的凝视指向的所显示的图像中的观看位置。
2.根据权利要求1所述的眼球跟踪系统，其中所述至少一个处理器经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以基于与恒定瞳孔间距对应的恒定因素确定所述观看位置。
3.根据权利要求1所述的眼球跟踪系统，其中所述右眼球跟踪器经配置检测所述右眼球的2D角膜反射数据，并且所述左眼球跟踪器经配置检测所述左眼球的2D角膜反射数据。
4.根据权利要求1所述的眼球跟踪系统，其中所述右眼球跟踪器经配置检测所述右眼球的2D瞳孔位置数据，并且所述左眼球跟踪器经配置检测所述左眼球的2D瞳孔位置数据。
5.根据权利要求1所述的眼球跟踪系统，其中所述右眼球跟踪器和所述左眼球跟踪器经配置跟踪关于与所述使用者的头部特征对应的固定参考点的位置数据。
6.根据权利要求5所述的眼球跟踪系统，其中所述至少一个处理器经配置处理关于所述第一凝视点和所述第二凝视点的所述数据并补偿所述使用者的头部运动，以基于关于所述固定参考点的所述位置数据确定所述观看位置。
7.根据权利要求1所述的眼球跟踪系统，还包括右眼球光发射器和左眼球光发射器，所述右眼球光发射器经配置向所述使用者的所述右眼球发射第一波长范围的光，并且所述左眼球光发射器经配置向所述使用者的所述左眼球发射所述第一波长范围的光。
8.根据权利要求7所述的眼球跟踪系统，还包括定位在所述图像显示器和所述使用者的所述右眼球和所述使用者的所述左眼球中的每一个之间的光学组件，其中所述光学组件包括右眼球镜组和左眼球镜组，其中所述右眼球镜组经布置提供所述使用者的所述右眼球、所述右眼球跟踪器和所述右眼球光发射器之间的光学连通，并且其中所述左眼球镜组经布置提供所述使用者的所述左眼球、所述左眼球跟踪器和所述左眼球光发射器之间的光学连通。
9.根据权利要求8所述的眼球跟踪系统，其中所述右眼球镜组经配置引导来自所述图像显示器的第二波长范围的光至所述使用者的所述右眼球，引导来自所述右眼球光发射器的所述第一波长范围的光至所述使用者的所述右眼球，以及引导来自所述使用者的所述右眼球的反射的所述第一波长范围的光至所述右眼球跟踪器，并且所述左眼球镜组经配置引导来自所述图像显示器的所述第二波长范围的光至所述使用者的所述左眼球，引导来自所述左眼球光发射器的所述第一波长范围的光至所述使用者的所述左眼球，以及引导来自所述使用者的所述左眼球的反射的所述第一波长范围的光至所述左眼球跟踪器。
10.根据权利要求9所述的眼球跟踪系统，其中所述光学组件经配置反射来自所述图像显示器的所述第二波长范围的光，并传送来自所述右眼球光发射器和所述左眼球光发射器的所述第一波长范围的光。
11.根据权利要求10所述的眼球跟踪系统，其中所述右眼球镜组包括右分束器，所述右分束器经配置反射来自所述图像显示器的所述第二波长范围的光至所述使用者的所述右眼球，传送来自所述右眼球光发射器的所述第一波长范围的光至所述使用者的所述右眼球，以及传送来自所述使用者的所述右眼球的反射的所述第一波长范围的光至所述右眼球跟踪器，并且所述左眼球镜组包括左分束器，所述左分束器经配置反射来自所述图像显示器的所述第二波长范围的光至所述使用者的所述左眼球，传送来自所述左眼球光发射器的所述第一波长范围的光至所述使用者的所述左眼球，以及传送来自所述使用者的所述左眼球的反射的所述第一波长范围的光至所述左眼球跟踪器。
12.根据权利要求11所述的眼球跟踪系统，其中所述右眼球光发射器和所述右眼球跟踪器设置在所述右分束器和所述图像显示器之间，并且所述左眼球光发射器和所述左眼球跟踪器设置在所述左分束器和所述图像显示器之间。
13.根据权利要求11所述的眼球跟踪系统，其中所述左眼球光发射器和所述左眼球跟踪器设置在所述左分束器的侧面并在所述图像显示器和所述左眼球之间的平面中，并且所述右眼球光发射器和所述右眼球跟踪器设置在所述右分束器的侧面并在所述图像显示器和所述右眼球之间的平面中。
14.根据权利要求1所述的眼球跟踪系统，其中所述至少一个处理器经配置将第三坐标框架中的所述右眼球和所述左眼球相对于第二坐标框架中的所述术野的所述图像的运动转换为控制信号以影响相对于所述第二坐标框架的所述术野的所述图像和所述术野中的远程操作系统的至少一部分中的至少一个。
15.一种用于执行医疗程序的远程操作医疗系统，所述远程操作医疗系统包括：
眼球跟踪系统，其包括：
图像显示器，其经配置向使用者显示术野的图像，所述图像显示器包括第一坐标系，所述术野包括第二坐标系，其中所述使用者在第三坐标系中；
至少一个右眼球跟踪器，其经配置测量关于所述使用者的右眼球的第一凝视点的数据；
至少一个左眼球跟踪器，其经配置测量关于所述使用者的左眼球的第二凝视点的数据；和
至少一个处理器，其经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以确定所述使用者的凝视指向的所显示的图像中的观看位置；和
控制单元，其经配置基于所确定的观看位置控制所述远程操作医疗系统的至少一个功能。
16.根据权利要求15所述的远程操作医疗系统，其中所述图像显示器是经配置向所述使用者显示所述术野的3D图像的3D图像显示器。
17.根据权利要求15所述的远程操作医疗系统，还包括手术器械，其中所述控制单元经配置基于所显示的图像中的所确定的观看位置控制所述术野中的所述手术器械的至少一个功能。
18.根据权利要求15所述的远程操作医疗系统，其中所述图像显示器经配置向所述使用者显示包括多个功能选项的使用者接口的图像。
19.根据权利要求18所述的远程操作医疗系统，其中如果所确定的观看位置匹配所述多个功能选项在所述使用者接口的所述显示的图像中的位置，所述控制单元经配置启动所述多个功能选项中的至少一个。
20.根据权利要求15所述的远程操作医疗系统，其中所述至少一个处理器经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以基于与恒定瞳孔间距对应的恒定因素确定所述观看位置。
21.根据权利要求15所述的远程操作医疗系统，其中所述至少一个右眼球跟踪器经配置检测所述右眼球的2D角膜反射数据，并且所述至少一个左眼球跟踪器经配置检测所述左眼球的2D角膜反射数据。
22.根据权利要求15所述的远程操作医疗系统，其中所述至少一个右眼球跟踪器经配置检测所述右眼球的2D瞳孔位置数据，并且所述至少一个左眼球跟踪器经配置检测所述左眼球的2D瞳孔位置数据。
23.根据权利要求15所述的远程操作医疗系统，其中所述至少一个右眼球跟踪器和所述至少一个左眼球跟踪器经配置跟踪关于与所述使用者的头部特征对应的固定参考点的位置数据。
24.根据权利要求23所述的远程操作医疗系统，其中所述至少一个处理器经配置处理关于所述第一凝视点和所述第二凝视点的所述数据并补偿所述使用者的头部运动，以基于关于所述固定参考点的所述位置数据确定所述观看位置。
25.根据权利要求15所述的远程操作医疗系统，还包括右眼球光发射器和左眼球光发射器，所述右眼球光发射器经配置向所述使用者的所述右眼球发射第一波长范围的光，并且所述左眼球光发射器经配置向所述使用者的所述左眼球发射所述第一波长范围的光。
26.根据权利要求25所述的远程操作医疗系统，还包括定位在所述图像显示器和所述使用者的所述右眼球和所述使用者的所述左眼球中的每一个之间的光学组件，其中所述光学组件包括右眼球镜组和左眼球镜组，其中所述右眼球镜组经布置提供所述使用者的所述右眼球、所述右眼球跟踪器和所述右眼球光发射器之间的光学连通，并且其中所述左眼球镜组经布置提供所述使用者的所述左眼球、所述左眼球跟踪器和所述左眼球光发射器之间的光学连通。
27.根据权利要求26所述的远程操作医疗系统，其中所述右眼球镜组经配置引导来自所述图像显示器的第二波长范围的光至所述使用者的所述右眼球，引导来自所述右眼球光发射器的所述第一波长范围的光至所述使用者的所述右眼球，以及引导来自所述使用者的所述右眼球的反射的所述第一波长范围的光至所述至少一个右眼球跟踪器，并且所述左眼球镜组经配置引导来自所述图像显示器的所述第二波长范围的光至所述使用者的所述左眼球，引导来自所述左眼球光发射器的所述第一波长范围的光至所述使用者的所述左眼球，以及引导来自所述使用者的所述左眼球的反射的所述第一波长范围的光至所述至少一个左眼球跟踪器。
28.根据权利要求27所述的远程操作医疗系统，其中所述光学组件经配置反射来自所述图像显示器的所述第二波长范围的光并传送来自所述右眼球光发射器和所述左眼球光发射器中的每一个的所述第一波长范围的光。
29.根据权利要求28所述的远程操作医疗系统，其中所述右眼球镜组包括右分束器，所述右分束器经配置反射来自所述图像显示器的所述第二波长范围的光至所述使用者的所述右眼球，传送来自所述右眼球光发射器的所述第一波长范围的光至所述使用者的所述右眼球，以及传送来自所述使用者的所述右眼球的反射的所述第一波长范围的光至所述至少一个右眼球跟踪器，并且所述左眼球镜组包括左分束器，所述左分束器经配置反射来自所述图像显示器的所述第二波长范围的光至所述使用者的所述左眼球，传送来自所述左眼球光发射器的所述第一波长范围的光至所述使用者的所述左眼球，以及传送来自所述使用者的所述左眼球的反射的所述第一波长范围的光至所述至少一个左眼球跟踪器。
30.根据权利要求29所述的远程操作医疗系统，其中所述右眼球光发射器和所述至少一个右眼球跟踪器设置在所述图像显示器的前面并在所述右分束器和所述图像显示器之间，并且所述左眼球光发射器和所述至少一个左眼球跟踪器设置在所述图像显示器的前面并在所述左分束器和所述图像显示器之间。
31.根据权利要求29所述的远程操作医疗系统，其中所述左眼球光发射器和所述至少一个左眼球跟踪器设置在所述左分束器的侧面并在所述图像显示器的前面，并且所述右眼球光发射器和所述至少一个右眼球跟踪器设置在所述右分束器的侧面并在所述图像显示器的前面。
32.一种眼球跟踪系统，所述眼球跟踪系统包括：
图像显示器，其经配置向使用者显示术野的立体图像；
至少一个右眼球跟踪器，其经配置测量关于所述使用者的右眼球的第一凝视点的数据；
至少一个左眼球跟踪器，其经配置测量关于所述使用者的左眼球的第二凝视点的数据；
右眼球光发射器和左眼球光发射器，所述右眼球光发射器经配置向所述使用者的所述右眼球发射第一波长范围的光，并且所述左眼球光发射器经配置向所述使用者的所述左眼球发射所述第一波长范围的光；
光学组件，其定位在所述图像显示器和所述使用者的所述右眼球和所述使用者的所述左眼球中的每一个之间，其中所述光学组件包括右眼球镜组和左眼球镜组，其中所述右眼球镜组经布置提供所述使用者的所述右眼球、所述右眼球跟踪器和所述右眼球光发射器之间的光学连通，并且其中所述左眼球镜组经布置提供所述使用者的所述左眼球、所述左眼球跟踪器和所述左眼球光发射器之间的光学连通；和
至少一个处理器，其经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以确定所述使用者的凝视指向的所显示的立体图像中的观看位置。
33.根据权利要求32所述的眼球跟踪系统，其中所述右眼球镜组经配置引导来自所述图像显示器的第二波长范围的光至所述使用者的所述右眼球，引导来自所述右眼球光发射器的所述第一波长范围的光至所述使用者的所述右眼球，以及引导来自所述使用者的所述右眼球的反射的所述第一波长范围的光至所述至少一个右眼球跟踪器，并且所述左眼球镜组经配置引导来自所述图像显示器的所述第二波长范围的光至所述使用者的所述左眼球，引导来自所述左眼球光发射器的所述第一波长范围的光至所述使用者的所述左眼球，以及引导来自所述使用者的所述左眼球的反射的所述第一波长范围的光至所述至少一个左眼球跟踪器。
34.根据权利要求32所述的眼球跟踪系统，其中所述右眼球镜组包括右分束器，所述右分束器经配置反射来自所述图像显示器的第二波长范围的光至所述使用者的所述右眼球，传送来自所述右眼球光发射器的所述第一波长范围的光至所述使用者的所述右眼球，以及传送来自所述使用者的所述右眼球的反射的所述第一波长范围的光至所述至少一个右眼球跟踪器，并且所述左眼球镜组包括左分束器，所述左分束器经配置反射来自所述图像显示器的所述第二波长范围的光至所述使用者的所述左眼球，传送来自所述左眼球光发射器的所述第一波长范围的光至所述使用者的所述左眼球，以及传送来自所述使用者的所述左眼球的反射的所述第一波长范围的光至所述至少一个左眼球跟踪器。
35.根据权利要求34所述的眼球跟踪系统，其中所述右眼球光发射器和所述至少一个右眼球跟踪器设置在所述图像显示器的前面并在所述右分束器和所述图像显示器之间，并且所述左眼球光发射器和所述至少一个左眼球跟踪器设置在所述图像显示器的前面并在所述左分束器和所述图像显示器之间。
36.根据权利要求34所述的眼球跟踪系统，其中所述左眼球光发射器和所述至少一个左眼球跟踪器设置在所述左分束器的侧面并在所述图像显示器的前面，并且所述右眼球光发射器和所述至少一个右眼球跟踪器设置在所述右分束器的侧面并在所述图像显示器的前面。
37.根据权利要求34所述的眼球跟踪系统，其中所述右分束器和所述左分束器包括分色镜。
38.一种用于执行医疗程序的远程操作医疗系统，包括：
眼球跟踪系统，所述眼球跟踪系统包括：
图像显示器，其包括第一坐标框架并经配置向使用者显示包括第二坐标框架的术野的图像，其中所述使用者在第三坐标框架中，所述图像显示器经配置发射在第一波长范围中的光；
右眼球跟踪器，其经配置发射在第二波长范围中的光并测量关于所述使用者的右眼球的第一凝视点的数据；
左眼球跟踪器，其经配置发射在所述第二波长范围中的光并测量关于所述使用者的左眼球的第二凝视点的数据；
至少一个处理器，其经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以确定所述使用者的所述第一凝视点和所述第二凝视点指向的所显示的图像中的观看位置，其中所述处理器经配置将所述第三坐标框架中的所述右眼球和所述左眼球相对于所述第二坐标框架中的所述图像的运动转换为控制信号；和
控制单元，其经配置基于从所述至少一个处理器接收的所述控制信号控制所述远程操作医疗系统的至少一个功能，其中所述远程操作医疗系统的所述至少一个功能包括影响相对于所述第二坐标框架的所述图像和所述术野中的远程操作系统的至少一部分中的至少一个。
39.根据权利要求38所述的远程操作医疗系统，其中所述远程操作医疗系统包括光学组件，所述光学组件包括分束器，所述分束器经配置反射在所述第一波长范围中的光并允许在所述第二波长范围中的光的穿过。
40.根据权利要求38所述的远程操作医疗系统，其中所述至少一个处理器经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以基于与恒定瞳孔间距对应的恒定因素确定所述观看位置。
41.根据权利要求38所述的远程操作医疗系统，其中所述右眼球跟踪器和所述左眼球跟踪器经配置跟踪关于与所述使用者的头部特征对应的固定参考点的位置数据。
42.一种眼球跟踪系统，所述眼球跟踪系统包括：
图像显示器，其包括第一坐标框架并经配置向使用者显示包括第二坐标框架的术野的图像，其中所述使用者在第三坐标框架中，所述图像显示器经配置发射在第一波长范围中的光；
右眼球跟踪器，其经配置发射在第二波长范围中的光并测量关于所述使用者的右眼球的第一凝视点的数据；
左眼球跟踪器，其经配置发射在所述第二波长范围中的光并测量关于所述使用者的左眼球的第二凝视点的数据；
右眼球光发射器和左眼球光发射器，所述右眼球光发射器经配置向所述使用者的所述右眼球发射所述第一波长范围的光，并且所述左眼球光发射器经配置向所述使用者的所述左眼球发射所述第一波长范围的光；
光学组件，其设置在所述图像显示器和所述使用者的所述右眼球和所述左眼球之间，所述光学组件包括经布置提供在所述使用者的所述右眼球和所述左眼球、所述右眼球跟踪器和所述左眼球跟踪器以及所述右眼球光发射器和所述左眼球光发射器之间的光学连通的右眼球镜组和左眼球镜组；和
至少一个处理器，其经配置处理关于所述第一凝视点和所述第二凝视点的所述数据，以确定所述使用者的所述第一凝视点和所述第二凝视点指向的所显示的图像中的观看位置，其中所述处理器经配置将所述第三坐标框架中的所述右眼球和所述左眼球相对于所述第二坐标框架中的所述图像的运动转换为控制信号以影响相对于所述第二坐标框架的所述图像和所述术野中的远程操作系统的至少一部分中的至少一个。
43.根据权利要求42所述的眼球跟踪系统，其中所述右眼球镜组经配置引导来自所述图像显示器的所述第二波长范围的光至所述使用者的所述右眼球，引导来自所述右眼球光发射器的所述第一波长范围的光至所述使用者的所述右眼球，以及引导来自所述使用者的所述右眼球的反射的所述第一波长范围的光至所述右眼球跟踪器，并且所述左眼球镜组经配置引导来自所述图像显示器的所述第二波长范围的光至所述使用者的所述左眼球，引导来自所述左眼球光发射器的所述第一波长范围的光至所述使用者的所述左眼球，以及引导来自所述使用者的所述左眼球的反射的所述第一波长范围的光至所述左眼球跟踪器。
44.根据权利要求42所述的眼球跟踪系统，其中所述光学组件经配置反射来自所述图像显示器的所述第二波长范围的光，并传送来自所述右眼球光发射器和所述左眼球光发射器的所述第一波长范围的光。
45.根据权利要求42所述的眼球跟踪系统，其中所述右眼球镜组包括右分束器，所述右分束器经配置反射来自所述图像显示器的所述第二波长范围的光至所述使用者的所述右眼球，传送来自所述右眼球光发射器的所述第一波长范围的光至所述使用者的所述右眼球，以及传送来自所述使用者的所述右眼球的反射的所述第一波长范围的光至所述右眼球跟踪器，并且所述左眼球镜组包括左分束器，所述左分束器经配置反射来自所述图像显示器的所述第二波长范围的光至所述使用者的所述左眼球，传送来自所述左眼球光发射器的所述第一波长范围的光至所述使用者的所述左眼球，以及传送来自所述使用者的所述左眼球的反射的所述第一波长范围的光至所述左眼球跟踪器。
CN201910617353.9A 2014-03-19 2015-04-30 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法 Active CN110200702B9 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910617353.9A CN110200702B9 (zh) 2014-03-19 2015-04-30 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461955334P 2014-03-19 2014-03-19
CN201580025788.4A CN106659541B (zh) 2014-03-19 2015-03-18 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法
PCT/US2015/021315 WO2015143073A1 (en) 2014-03-19 2015-03-18 Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
CN201910617353.9A CN110200702B9 (zh) 2014-03-19 2015-04-30 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580025788.4A Division CN106659541B (zh) 2014-03-19 2015-03-18 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法

Publications (3)

Publication Number Publication Date
CN110200702A CN110200702A (zh) 2019-09-06
CN110200702B CN110200702B (zh) 2022-05-03
CN110200702B9 true CN110200702B9 (zh) 2022-05-31

Family

ID=54145284

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580025788.4A Active CN106659541B (zh) 2014-03-19 2015-03-18 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法
CN201910617353.9A Active CN110200702B9 (zh) 2014-03-19 2015-04-30 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580025788.4A Active CN106659541B (zh) 2014-03-19 2015-03-18 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法

Country Status (6)

Country Link
US (4) US10432922B2 (zh)
EP (1) EP3119343A4 (zh)
JP (4) JP6689203B2 (zh)
KR (3) KR20230042149A (zh)
CN (2) CN106659541B (zh)
WO (1) WO2015143073A1 (zh)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8814779B2 (en) 2006-12-21 2014-08-26 Intuitive Surgical Operations, Inc. Stereoscopic endoscope
US8556807B2 (en) * 2006-12-21 2013-10-15 Intuitive Surgical Operations, Inc. Hermetically sealed distal sensor endoscope
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
EP3079608B8 (en) 2013-12-11 2020-04-01 Covidien LP Wrist and jaw assemblies for robotic surgical systems
EP3119343A4 (en) 2014-03-19 2017-12-20 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
KR20230142657A (ko) 2014-03-19 2023-10-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
US10179407B2 (en) * 2014-11-16 2019-01-15 Robologics Ltd. Dynamic multi-sensor and multi-robot interface system
KR102333267B1 (ko) * 2014-12-10 2021-12-01 삼성전자주식회사 눈 위치 예측 장치 및 방법
CA2975907C (en) 2015-02-19 2023-10-10 Covidien Lp Repositioning method of input device for robotic surgical system
CN107405172B (zh) 2015-03-10 2021-04-13 柯惠Lp公司 测量机器人手术系统的连接器部件的健康状况
US10078219B2 (en) * 2015-05-28 2018-09-18 Thalmic Labs Inc. Wearable heads-up display with integrated eye tracker and different optical power holograms
WO2016209769A1 (en) 2015-06-23 2016-12-29 Covidien Lp Robotic surgical assemblies
WO2017053363A1 (en) 2015-09-25 2017-03-30 Covidien Lp Robotic surgical assemblies and instrument drive connectors thereof
WO2017087439A1 (en) 2015-11-19 2017-05-26 Covidien Lp Optical force sensor for robotic surgical system
KR102078059B1 (ko) * 2015-11-25 2020-02-17 구글 엘엘씨 프리즘-기반 눈 추적
JP6673684B2 (ja) * 2015-12-11 2020-03-25 株式会社メディカロイド 遠隔操作装置及び遠隔手術システム
KR102463172B1 (ko) * 2016-01-08 2022-11-04 삼성전자주식회사 동공 거리 결정 방법 및 장치
WO2017173524A1 (en) 2016-04-07 2017-10-12 Titan Medical Inc. Camera positioning method and apparatus for capturing images during a medical procedure
EP3463150B1 (en) 2016-06-03 2023-09-27 Covidien LP Control arm for robotic surgical systems
WO2017210497A1 (en) 2016-06-03 2017-12-07 Covidien Lp Systems, methods, and computer-readable program products for controlling a robotically delivered manipulator
CN107536598A (zh) * 2016-06-29 2018-01-05 沈阳新松机器人自动化股份有限公司 双目视觉瞳孔定位方法及相关设备
KR102548199B1 (ko) 2016-08-03 2023-06-28 삼성전자주식회사 전자 장치 및 전자 장치의 시선 추적 방법
US20200125167A1 (en) * 2016-12-30 2020-04-23 Tobii Ab Eye/Gaze Tracking System and Method
US11690691B2 (en) 2017-02-15 2023-07-04 Covidien Lp System and apparatus for crush prevention for medical robot applications
WO2018217429A1 (en) 2017-05-24 2018-11-29 Covidien Lp Presence detection for electrosurgical tools in a robotic system
US11839441B2 (en) 2017-05-25 2023-12-12 Covidien Lp Robotic surgical system with automated guidance
US20200169724A1 (en) * 2017-08-16 2020-05-28 NutriCern, Inc. Optimizing perception of stereoscopic visual content
CA3074443A1 (en) 2017-09-05 2019-03-14 Covidien Lp Collision handling algorithms for robotic surgical systems
CN111093466A (zh) * 2017-09-10 2020-05-01 凯罗斯股份有限公司 内视镜系统
DE102017217193B4 (de) * 2017-09-27 2019-07-25 Audi Ag Anzeigevorrichtung, insbesondere für ein Fahrzeug, sowie Fahrzeug mit einer solchen Anzeigevorrichtung
CN107705164A (zh) * 2017-11-14 2018-02-16 宜宾维特瑞安科技有限公司 一种基于眼球追踪技术的市场调查装置、系统及方法
US11690677B2 (en) * 2017-12-31 2023-07-04 Asensus Surgical Us, Inc. Use of eye tracking for tool identification and assignment in a robotic surgical system
EP3735199A4 (en) 2018-01-04 2021-10-13 Covidien LP SYSTEMS AND ARRANGEMENTS FOR ATTACHING A SURGICAL ACCESSORY TO ROBOTIC SURGICAL SYSTEMS AND PROVIDING ACCESS THROUGH
WO2019155426A1 (en) 2018-02-09 2019-08-15 Gentex Corporation Adaptive lighting array with image-based control
KR20200130256A (ko) 2018-02-09 2020-11-18 젠텍스 코포레이션 관심 영역 검출 및 조명 시스템 및 방법
EP3530173A1 (en) * 2018-02-23 2019-08-28 Leica Instruments (Singapore) Pte. Ltd. Medical observation apparatus with a movable beam deflector and method for operating the same
JP7071045B2 (ja) 2018-04-20 2022-05-18 コヴィディエン リミテッド パートナーシップ 外科用ロボットカートの配置のためのシステムおよび方法
WO2019213432A1 (en) * 2018-05-03 2019-11-07 Intuitive Surgical Operations, Inc. Systems and methods for measuring a distance using a stereoscopic endoscope
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
US10895757B2 (en) 2018-07-03 2021-01-19 Verb Surgical Inc. Systems and methods for three-dimensional visualization during robotic surgery
US11576739B2 (en) 2018-07-03 2023-02-14 Covidien Lp Systems, methods, and computer-readable media for detecting image degradation during surgical procedures
US10888380B2 (en) * 2018-07-12 2021-01-12 Alcon Inc. Systems and methods for intraocular lens selection
CN110865467B (zh) * 2018-08-17 2022-03-08 安徽省东超科技有限公司 一种基于激光诱导的可交互体三维显示装置及其控制方法
US10866635B2 (en) * 2018-09-13 2020-12-15 Toyota Research Institute, Inc. Systems and methods for capturing training data for a gaze estimation model
WO2020060790A1 (en) 2018-09-17 2020-03-26 Covidien Lp Surgical robotic systems
US20210259789A1 (en) * 2018-10-12 2021-08-26 Sony Corporation Surgical support system, data processing apparatus and method
US10990168B2 (en) 2018-12-10 2021-04-27 Samsung Electronics Co., Ltd. Compensating for a movement of a sensor attached to a body of a user
EP3671305A1 (en) * 2018-12-18 2020-06-24 Eberhard Karls Universität Tübingen Exoscope system and use of such an exoscope system
CN109498164B (zh) * 2018-12-20 2023-11-03 深圳市精锋医疗科技股份有限公司 具有目镜的主操作台及手术机器人
CN109498162B (zh) * 2018-12-20 2023-11-03 深圳市精锋医疗科技股份有限公司 提升沉浸感的主操作台及手术机器人
CN111381367A (zh) * 2018-12-27 2020-07-07 宏星技术股份有限公司 眼球追踪器与显示装置
CN109634431B (zh) * 2019-01-22 2024-04-26 像航（上海）科技有限公司 无介质浮空投影视觉追踪互动系统
US11576733B2 (en) 2019-02-06 2023-02-14 Covidien Lp Robotic surgical assemblies including electrosurgical instruments having articulatable wrist assemblies
US11204640B2 (en) * 2019-05-17 2021-12-21 Verb Surgical Inc. Methods for determining if teleoperation should be disengaged based on the user's gaze
CN110215185B (zh) * 2019-06-05 2022-01-11 北京清华长庚医院 眼球突出度测量设备
WO2020255083A1 (en) 2019-06-20 2020-12-24 Gentex Corporation Illumination system and method for object tracking
KR20220022898A (ko) 2019-06-20 2022-02-28 젠텍스 코포레이션 자동화된 모듈 조명 및 배치를 위한 시스템 및 방법
US11106279B2 (en) * 2019-06-21 2021-08-31 Verb Surgical Inc. Eye tracking calibration for a surgical robotic system
US11872007B2 (en) 2019-06-28 2024-01-16 Auris Health, Inc. Console overlay and methods of using same
EP3764367A1 (en) * 2019-07-11 2021-01-13 Milestone S.r.l. System and method for medical gross examination
US11850730B2 (en) 2019-07-17 2023-12-26 Asensus Surgical Us, Inc. Double eye tracker configuration for a robot-assisted surgical system
CN110441901A (zh) * 2019-08-14 2019-11-12 东北大学 一种可实时追踪注视位置的光学显微镜系统及方法
CN114514000A (zh) 2019-10-15 2022-05-17 金泰克斯公司 带动态光束的平板光模块
JP7414611B2 (ja) * 2020-03-26 2024-01-16 株式会社メディカロイド ロボット手術支援装置、処理方法、及びプログラム
USD963851S1 (en) 2020-07-10 2022-09-13 Covidien Lp Port apparatus
KR102465800B1 (ko) * 2020-09-23 2022-11-11 (주)엘비전테크 근안 영상 표시 장치에 적용되는 시스루 광학 시스템 및 시스루 광학 시스템에서의 시선 추적 방법
CN112315423B (zh) * 2020-11-06 2023-08-22 上海青研科技有限公司 眼球运动测量设备
CN116322559A (zh) * 2020-11-25 2023-06-23 直观外科手术操作公司 可操控的查看器模式激活和停用
CN112926523B (zh) * 2021-03-30 2022-07-26 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、系统
US11948226B2 (en) 2021-05-28 2024-04-02 Covidien Lp Systems and methods for clinical workspace simulation
EP4353183A1 (en) * 2021-06-03 2024-04-17 Sony Group Corporation Information processing device, information processing system, information processing method, and program
EP4388243A1 (en) 2021-08-20 2024-06-26 Gentex Corporation Lighting assembly and illumination system having a lighting assembly
WO2023069636A1 (en) * 2021-10-21 2023-04-27 Intuitive Surgical Operations, Inc. Adjustable headrest for a display unit

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665588A (zh) * 2009-11-13 2012-09-12 直观外科手术操作公司 用于微创手术系统中的手存在性探测的方法和系统
CN102958464A (zh) * 2010-04-07 2013-03-06 索发有限公司 具有改进的控制器的自动化外科手术系统

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1043292A (en) 1910-01-17 1912-11-05 Charles W Bowron Voting-machine.
US1027878A (en) 1912-03-22 1912-05-28 Marian Milewski Hasp-lock.
JPS61172552A (ja) * 1985-01-28 1986-08-04 株式会社トプコン 視線方向検出装置
US5204942A (en) 1989-01-10 1993-04-20 Kabushiki Kaisha Kobe Seiko Sho Robot control system for controlling a set of industrial robots for cooperative operation
US5631973A (en) 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
US5360971A (en) 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5762458A (en) 1996-02-20 1998-06-09 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5517021A (en) 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
EP0699053B1 (en) 1993-05-14 1999-03-17 Sri International Surgical apparatus
JP3482228B2 (ja) 1993-11-02 2003-12-22 オリンパス株式会社 視線検出によるマニピュレータ制御システム
US5876325A (en) 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
JP3540362B2 (ja) 1994-06-14 2004-07-07 オリンパス株式会社 手術用マニピュレータの制御システム及びその制御方法
WO1996013743A1 (de) * 1994-10-26 1996-05-09 Leica Ag Mikroskop, insbesondere operationsmikroskop
US5553609A (en) 1995-02-09 1996-09-10 Visiting Nurse Service, Inc. Intelligent remote visual monitoring system for home health care service
JP3539645B2 (ja) 1995-02-16 2004-07-07 株式会社日立製作所 遠隔手術支援装置
US5882206A (en) 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
US6496099B2 (en) 1996-06-24 2002-12-17 Computer Motion, Inc. General purpose distributed operating room control system
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6351273B1 (en) 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6951535B2 (en) 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
US6852107B2 (en) 2002-01-16 2005-02-08 Computer Motion, Inc. Minimally invasive surgical training using robotics and tele-collaboration
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6398726B1 (en) 1998-11-20 2002-06-04 Intuitive Surgical, Inc. Stabilizer for robotic beating-heart surgery
US8527094B2 (en) 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US6459926B1 (en) 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US6799065B1 (en) 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US6090051A (en) 1999-03-03 2000-07-18 Marshall; Sandra P. Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity
JP3381666B2 (ja) 1999-06-03 2003-03-04 日本電気株式会社 眼疲労警告装置
US6346887B1 (en) 1999-09-14 2002-02-12 The United States Of America As Represented By The Secretary Of The Navy Eye activity monitor
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP3504222B2 (ja) 2000-09-04 2004-03-08 ファナック株式会社 ロボット制御装置
US6578962B1 (en) 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US6728599B2 (en) 2001-09-07 2004-04-27 Computer Motion, Inc. Modularity system for computer assisted surgery
US7199767B2 (en) * 2002-03-07 2007-04-03 Yechezkal Evan Spero Enhanced vision for driving
EP1501406A4 (en) 2002-04-16 2006-08-30 Philip C Noble COMPUTER-BASED TRAINING PROCEDURES FOR SURGICAL PROCEDURES
CA2397431A1 (en) 2002-08-09 2004-02-09 Andrew Lohbihler Method and apparatus for a wireless position sensing interface device employing spread spectrum technology of one or more radio transmitting devices
GB0222265D0 (en) * 2002-09-25 2002-10-30 Imp College Innovations Ltd Control of robotic manipulation
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US8292433B2 (en) 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP2004309930A (ja) * 2003-04-09 2004-11-04 Olympus Corp 立体観察システム
US7899512B2 (en) 2004-03-22 2011-03-01 Vanderbilt University System and method for surgical instrument disablement via image-guided position feedback
US20110077548A1 (en) 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7245202B2 (en) 2004-09-10 2007-07-17 Immersion Corporation Systems and methods for networked haptic devices
US7331929B2 (en) 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US7501995B2 (en) 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US7835498B2 (en) 2005-02-18 2010-11-16 Koninklijke Philips Electronics N. V. Automatic control of a medical device
US20060210111A1 (en) * 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
US20110020779A1 (en) 2005-04-25 2011-01-27 University Of Washington Skill evaluation using spherical motion mechanism
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
WO2008107832A1 (en) 2007-03-07 2008-09-12 Koninklijke Philips Electronics N.V. Stress estimation
GB0709405D0 (en) 2007-05-16 2007-06-27 Univ Edinburgh Testing vision
JP4943972B2 (ja) 2007-08-27 2012-05-30 昭和電工株式会社 記憶媒体、及び記憶装置
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8169468B2 (en) * 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot
EP3884844A1 (en) * 2008-07-18 2021-09-29 Doheny Eye Institute Optical coherence tomography-based ophthalmic testing methods, devices and systems
CN102098967A (zh) 2008-08-14 2011-06-15 韩商未来股份有限公司 服务器和客户端类型的手术机器人系统
WO2010051037A1 (en) 2008-11-03 2010-05-06 Bruce Reiner Visually directed human-computer interaction for medical applications
JP2010152443A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
US20100167248A1 (en) 2008-12-31 2010-07-01 Haptica Ltd. Tracking and training system for medical procedures
DE102009010263B4 (de) 2009-02-24 2011-01-20 Reiner Kunz Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung
EP2309307B1 (en) 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
US9039419B2 (en) 2009-11-06 2015-05-26 International Business Machines Corporation Method and system for controlling skill acquisition interfaces
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20110228051A1 (en) 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
DE102010038800B4 (de) 2010-08-02 2024-03-07 Kuka Deutschland Gmbh Medizinischer Arbeitsplatz
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
JP2012128523A (ja) 2010-12-13 2012-07-05 Canon Inc 情報処理装置およびその動作方法
EP2668637A4 (en) 2011-01-30 2014-11-26 Ram Srikanth Mirlay ASSESSMENT OF ELIGIBILITY
WO2012107892A2 (en) * 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
WO2012160741A1 (ja) 2011-05-20 2012-11-29 パナソニック株式会社 視覚疲労度測定装置、その方法、視覚疲労度測定システムおよび３次元メガネ
US9380978B2 (en) 2011-06-29 2016-07-05 Bruce Reiner Method and apparatus for real-time measurement and analysis of occupational stress and fatigue and performance outcome predictions
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US9345957B2 (en) 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
EP2774380B1 (en) 2011-11-02 2019-05-22 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
WO2013103937A1 (en) 2012-01-06 2013-07-11 Dickey-John Fault-tolerant sensing and monitoring communications bus system for agricultural applications
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US20150103096A1 (en) 2012-05-30 2015-04-16 Pioneer Corporation Display device, head mount display, calibration method, calibration program and recording medium
US9077973B2 (en) * 2012-06-29 2015-07-07 Dri Systems Llc Wide field-of-view stereo vision platform with dynamic control of immersive or heads-up display operation
US20140024889A1 (en) 2012-07-17 2014-01-23 Wilkes University Gaze Contingent Control System for a Robotic Laparoscope Holder
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
CN110279427B (zh) 2012-12-10 2024-01-16 直观外科手术操作公司 图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免
US9101297B2 (en) 2012-12-11 2015-08-11 Elwha Llc Time-based unobtrusive active eye interrogation
US20140160004A1 (en) 2012-12-11 2014-06-12 Biosense Webster (Israel), Ltd. Use of physician eye tracking during a procedure
DE102012025102A1 (de) 2012-12-20 2014-06-26 avateramedical GmBH Endoskop mit einem Mehrkamerasystem für die minimal-invasive Chirurgie
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
KR20140139840A (ko) 2013-05-28 2014-12-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법
US10474793B2 (en) 2013-06-13 2019-11-12 Northeastern University Systems, apparatus and methods for delivery and augmentation of behavior modification therapy and teaching
US9625723B2 (en) * 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
WO2015023513A1 (en) 2013-08-14 2015-02-19 Intuitive Surgical Operations, Inc. Endoscope control system
EP3119343A4 (en) 2014-03-19 2017-12-20 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
KR20230142657A (ko) 2014-03-19 2023-10-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
US10722114B1 (en) 2017-06-28 2020-07-28 Bertec Corporation System and method for vision testing and/or training

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665588A (zh) * 2009-11-13 2012-09-12 直观外科手术操作公司 用于微创手术系统中的手存在性探测的方法和系统
CN102958464A (zh) * 2010-04-07 2013-03-06 索发有限公司 具有改进的控制器的自动化外科手术系统

Also Published As

Publication number Publication date
CN106659541B (zh) 2019-08-16
CN106659541A (zh) 2017-05-10
US11792386B2 (en) 2023-10-17
US10965933B2 (en) 2021-03-30
EP3119343A4 (en) 2017-12-20
US20200045301A1 (en) 2020-02-06
EP3119343A1 (en) 2017-01-25
KR20220028139A (ko) 2022-03-08
US10432922B2 (en) 2019-10-01
US20220417492A1 (en) 2022-12-29
JP2017516508A (ja) 2017-06-22
US11438572B2 (en) 2022-09-06
US20170180720A1 (en) 2017-06-22
CN110200702A (zh) 2019-09-06
KR20230042149A (ko) 2023-03-27
JP6689203B2 (ja) 2020-04-28
WO2015143073A4 (en) 2015-12-10
KR20170136413A (ko) 2017-12-11
CN110200702B (zh) 2022-05-03
JP2024061720A (ja) 2024-05-08
KR102365889B1 (ko) 2022-02-23
US20210235068A1 (en) 2021-07-29
JP2020103907A (ja) 2020-07-09
KR102512876B1 (ko) 2023-03-24
JP2022116156A (ja) 2022-08-09
WO2015143073A1 (en) 2015-09-24
JP7080915B2 (ja) 2022-06-06

Similar Documents

Publication Publication Date Title
US11792386B2 (en) Medical devices, systems, and methods using eye gaze tracking for stereo viewer
JP6891244B2 (ja) 視線追跡を使用する医療装置、システム、及び方法
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
RU2785887C1 (ru) Система визуализации для хирургического робота и хирургический робот

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CI03 Correction of invention patent
CI03 Correction of invention patent

Correction item: Claims

Correct: Correct

False: error

Number: 18-01

Page: ??

Volume: 38