CN113100931A - 用于控制医学成像装置的头戴式显示系统和方法 - Google Patents

用于控制医学成像装置的头戴式显示系统和方法 Download PDF

Info

Publication number
CN113100931A
CN113100931A CN202011594473.0A CN202011594473A CN113100931A CN 113100931 A CN113100931 A CN 113100931A CN 202011594473 A CN202011594473 A CN 202011594473A CN 113100931 A CN113100931 A CN 113100931A
Authority
CN
China
Prior art keywords
command
mounted display
head mounted
commands
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011594473.0A
Other languages
English (en)
Inventor
迈克尔·梅尔
贝恩哈德·赫克纳
路易斯·费尔南多·阿尤索佩雷斯
格雷戈尔·布格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bhs Technology Ltd
Original Assignee
Bhs Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bhs Technology Ltd filed Critical Bhs Technology Ltd
Publication of CN113100931A publication Critical patent/CN113100931A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及用于控制医学成像装置(20)的头戴式显示系统(1)，其包括：要由操作员穿戴的头戴式显示器(10)，该头戴式显示器包括被配置成显示具有预定观察中心(121)的医学图像的显示屏(12)和提供至少第一组命令(123)的命令菜单(122)，所述第一组命令(123)为有差别的第一命令栏位；追踪代表操作员的眼睛(30)移动和/或头部移动的移动的追踪系统(14)，其中，命令菜单(122)的所述至少第一组命令(122a)中的命令是可基于所追踪的眼睛移动和/或头部移动来选择的；以及控制装置(40)，该控制装置被配置成接收所选择的命令并相应地控制医学成像装置(20)。

Description

用于控制医学成像装置的头戴式显示系统和方法
技术领域
本发明涉及用于控制医学成像装置的头戴式显示系统、用于控制医学成像装置的方法以及执行该方法的计算机程序产品。
背景技术
医学成像装置通常用来在手术期间通过提供对操作区的洞察或操作区的经放大的图像来支持外科医生和/或用来记录相关图像。然而，在外科手术过程期间可能必须调整医学成像装置的观察中心、观察角度、放大率或其他设置。这样的手动调整需要操作员的干预，这可能导致在无菌性、操作的协调性或外科医生的分心方面的干扰。
已经提出了不同的方法来使由医学成像装置的手动调整引起的干扰最小化。例如，US 4,989,253 A公开了具有语音激活控制系统的显微镜，该语音激活控制系统允许借助于由显微镜操作员发出的语音命令来精确定位显微镜并进行精确聚焦。尽管可以避免手动干预，但是在由外科医生对相应运动路径的精确确定中并且由于需要使用预定词汇而导致出现问题。特别地，在手术人员之间的交流期间可能意外地发起语音命令。
可替选地，DE 4202505B4提出了非接触式引导系统，用于通过根据操作员的头部移动直接移动手术显微镜来对手术显微镜进行空间定位。然而，这样的系统仅允许与操作员的头部移动直接对应的手术显微镜的调整。此外，操作员的头部的意外移动或错误移动可能导致手术显微镜随之移动，从而带来严重后果。
因此，本发明的一个目的是以非接触方式提供对医学成像装置的具有增强的控制选项同时使发起意外命令的风险最小化的控制。
发明内容
通过根据权利要求1的用于控制医学成像装置的头戴式显示系统、根据权利要求16的用于控制医学成像装置的方法以及根据权利要求18的计算机程序产品来解决该目的。本发明的其他方面是从属权利要求的主题。
根据一个方面，用于控制医学成像装置的头戴式显示系统包括：要由操作员穿戴的头戴式显示器，该头戴式显示器包括被配置成显示具有预定观察中心的医学图像的显示屏和提供至少第一组命令的命令菜单，第一组命令为有差别(distinct)的第一命令栏位；追踪代表操作员的眼睛移动和/或头部移动的移动的追踪系统，其中，命令菜单的所述至少第一组命令中的命令是可基于所追踪的眼睛和/或头部移动来选择的；以及控制装置，该控制装置被配置成接收所选择的命令并相应地控制医学成像装置。
头戴式显示器的显示屏中显示的医学图像与由医学成像装置接收的图像或其至少一部分对应。预定观察中心可以在几何上被预先确定为例如显示屏中显示的图像的中心，或者可以基于穿戴头戴式显示器的操作员的当前观察角度来预先确定预定观察中心。考虑到与惯常的操作员的取向对应的、垂直于显示屏的观察角度或者与该显示屏具有另一预定观察角度的观察角度，可以从所追踪的眼睛移动导出观察角度或者可以由头戴式显示器的位置来假定观察角度。可替选地或另外地，可以在考虑操作区或其特定部分的情况下，例如基于标记来确定观察中心。如果除了其他方面之外，还考虑操作区或其特定部分以用于确定预定观察中心，则只要观察角度不导致观察中心超过距操作区或其特定部分的预定距离，就可以例如根据操作员的观察角度来定义预定观察中心。
在医学图像旁边，头戴式显示器的显示屏显示命令菜单，该命令菜单提供至少为有差别的第一命令栏位的第一组命令。命令菜单可以叠加在医学图像上或显示在显示屏的单独部分中。在用于命令菜单或其至少部分的单独显示部分的情况下，通过遮掩命令栏位而使医学图像不被隐藏。然而，命令菜单或其至少部分的叠加可以有利于节省医学图像的显示空间和/或减小到预定观察中心以如稍后所述选择命令的距离。在这样的情况下，命令菜单或其至少部分被布置在预定观察中心的外侧，以在显示时使操作员的干扰最小化。在一个实施方式中，头戴式显示系统可以被配置成在两种模式即叠加模式与单独的显示部分模式之间切换。
提供为有差别的命令栏位的至少第一组命令的命令菜单可以包括如下命令栏位，所述命令栏位控制医学成像装置的移动、医学成像设置(诸如放大率、亮度和/或对比度)以及/或者记录功能。因此，头戴式显示系统不仅能够使得对医学成像装置的移动的控制能够改变观察中心和/或观察角度，而且能够允许并未自然地与操作员的眼睛或头部的移动对应的设置。
可以在头戴式显示器中并入追踪系统，该追踪系统追踪代表操作员的眼睛和/或头部移动的移动。这样的追踪系统可以包括关于头部移动的基于GPS的追踪器、加速度传感器或者光学或电磁追踪器。例如，光学追踪器可以包括两个附接到头戴式显示器的相机，所述相机在操作室中以限定的参考点为参考来追踪头部移动。可以由相机来追踪操作员的眼睛的移动。可替选地或另外地，例如，由于冗余的原因，追踪系统可以与头戴式显示器分开。
有利地，追踪系统被配置成独立于可能被障碍物中断的光学传输路径来追踪代表操作员的眼睛和/或头部移动的移动。此外，代表操作员的眼睛和/或头部移动的移动涉及追踪其移动与操作员的眼睛和/或头部的移动对应的任何物体。因此，与操作员的头部对应地移动的物体不仅可以是操作员的头部本身，而且还可以是例如头戴式显示器或其例如显示屏的部分，或者可以是固定在操作员的头部的其他部件。在操作员的眼睛的移动方面，这样的移动可以通过追踪操作员的一只或两只眼睛的移动来表示。因此，如果不需要区分一只眼睛和多只眼睛，则可以同义地使用术语一只眼睛和多只眼睛。
追踪代表头部移动的移动提供了以下优点：选择命令菜单的所述至少第一组命令中的命令，而无需将眼睛从操作区移开。可替选地或另外地，代表操作员的眼睛移动的移动可以用于选择命令菜单的所述至少第一组命令中的命令。如果例如由于人体工程学原因而阻碍或限制了头部移动，则这种类型的选择可能是有利的。
对命令菜单的至少第一组命令中的命令的选择是基于通过对所追踪的显示屏上的位置上的移动的方向和量进行转换而追踪的代表操作员的眼睛和/或头部移动的移动。如果这样的位置与有差别的第一命令栏位之一对应，则选择相应的命令。因此，头戴式显示系统的控制装置被配置成通过接收和转换所追踪的移动而直接或间接地接收所选择的命令。取决于所选择的命令，控制装置根据所选择的命令来控制医学成像装置。由控制装置进行的控制不限于对医学成像装置的直接控制。例如，控制装置可以被配置成控制机器人以移动附接到这样的机器人的医学成像装置。
控制装置可以被结合在头戴式显示器或医学成像装置中，或者可以被提供为单独的控制装置，例如提供为与头戴式显示器和医学成像装置通信的个人计算机。将控制装置从头戴式显示器或医学成像装置分开可以分别减轻要穿戴或移动的相应部件的重量。
在一个实施方式中，在头戴式显示器的显示屏上显示的命令菜单的所述至少第一组命令的有差别的第一命令栏位被布置在距医学图像的预定观察中心基本相等的第一距离处。
由于距预定观察中心基本相等的第一距离，因此与从预定观察中心沿径向方向串联布置的命令栏位相比，所追踪的到达有差别的第一命令栏位之一的移动可以被限制。此外，第一命令栏位在距预定观察中心基本相等的第一距离内的布置可以允许追踪操作员的头部移动，同时仍然提供将眼睛引导到操作区的能力。如果追踪了眼睛移动，则操作区可能仍在视野中。因此，由于操作员的手或操作员的视线都不必离开操作区，因此可以在不中断医疗程序的情况下执行对医学成像装置的控制。
术语“基本相等的距离”是指仅以较小的公差彼此偏离的距离。这样的较小的公差不影响上述优点。理想的布置是有差别的第一命令栏位的圆形布置，其中预定观察中心作为圆心。然而，圆形布置也可以稍微变形，即稍微呈椭圆形，在操作者的头部或眼睛的增强的移动能力的方向上具有稍微更大的距离。因此，稍微更大的距离对应于操作员的头部或眼睛相对于操作员的纵向轴或前后轴在左方向和右方向上的运动。
在一些实施方式中，命令菜单提供第二组命令，该第二组命令为在头戴式显示器的显示屏上显示且优选地以距医学图像的预定观察中心基本相等的第二距离布置的有差别的第二命令栏位，其中，有差别的第二命令栏位的第二距离大于有差别的第一命令栏位的第一距离。
因此，第二组命令栏位可以独立于第一组命令栏位而被布置和/或显示。特别地，以距医学图像的预定观察中心基本相等的第二距离来布置第二组命令的有差别的第二命令栏位，以提供与以基本相等的第一距离布置有差别的第一命令栏位类似的优点。通过以距预定观察中心基本相等的第二距离来布置有差别的第二命令栏位，其中，有差别的第二命令栏位的第二距离大于有差别的第一命令栏位的第一距离，当显示时，第二组命令围绕第一组命令。优选地，第二组命令靠近或邻近第一组命令，以提供最短距离的能力并因此提供要追踪的移动。
根据本公开内容，控制装置可以被配置成：当追踪系统指示所追踪的移动已经在远离医学图像的预定观察中心的方向上经过有差别的第一命令栏位之一到达有差别的第二命令栏位之一时，去激活(deactivate)有差别的第一命令栏位。
有差别的第一命令栏位的去激活可以防止当所追踪的代表操作员的头部或眼睛移动的移动向后行进过这样的栏位时，意外地选择有差别的第一命令栏位之一。换句话说，在追踪系统已经指示所追踪的移动已经在远离医学图像的预定观察中心的方向上经过有差别的第一命令栏位之一到达有差别的第二命令栏位之一之后，将命令栏位的选择限制成有差别的第二命令栏位之一。
有利地，控制装置被配置成基于使用的频率和/或概率而将命令分配给第一组命令和第二组命令。
就独立地显示第一组命令和第二组命令而言，例如，仅根据需要或在某些情况下显示第二组命令，和/或以距预定观察中心基本相等的第二距离来布置有差别的第二命令栏位，该基本相等的第二距离大于所述基本相等的第一距离，第一组命令优选地包括以更高的使用频率和/或使用概率使用的功能。因此，就第一组命令和第二组命令在不同距离上的布置而论，大多数移动可以保持在降低的移动水平上。如果仅根据需要或在某些情况下显示第二组命令，则第二组命令不会在被叠加时遮掩医学图像。
根据本公开内容，控制装置可以被配置成基于改变的使用频率和/或使用概率来调整至第一组命令和第二组命令的命令分配。
可以通过输入装置来输入至第一组命令和第二组命令的命令分配的调整。优选地，控制装置被配置成：例如通过在预定时间内或在执行预定数目的所选命令之后对所选命令进行分析来自动地调整分配。该分析可以基于确定所选命令的有差别的频率或者进一步考虑加权因子。
在一些实施方式中，命令菜单还包括在医学图像的预定观察中心中布置的确认栏位，以确认所选择的命令栏位。
由于操作员可能执行所追踪的移动，并且由此可能意外地选择命令栏位，因此确认栏位防止这样的命令的执行。在此，控制装置被配置成：如果在选择了命令之后所追踪的移动进一步对应于确认栏位的选择，那么仅根据所选择的命令来控制医学成像装置。此外，确认栏位允许根据需要执行命令，即，命令不必在其选择后立即执行，而是仅当确认栏位被选择时才执行。特别地，仅在所追踪的代表操作员的头部或眼睛移动的移动到达预定观察中心时，才执行这样的配置中的命令。在这样的情况下，必须假定操作员的视线可以指向预定观察中心，以减轻在没有操作区的视觉控制的情况下启动命令的执行的风险。
可替选地或另外地，如果在预定时间范围内没有追踪到代表操作员的眼睛或头部移动的另外的移动或者代表操作员的眼睛或头部移动的另外的移动不对应于另一命令栏位，则可以确认所选择的命令栏位。可替选地，控制装置被配置成根据首先选择的命令栏位来控制医学成像装置。
有利地，头戴式显示系统还包括输入装置，优选为脚踏开关，作为选择命令栏位之一和/或显示命令菜单的先决条件该输入装置要被激活。
由于不需要连续地控制医学成像装置，因此如果仅在激活输入装置时才发布这样的选择，则意外地选择命令的风险被进一步降低。有利地，只要不激活输入装置，追踪系统也就不追踪任何移动，以避免不必要的数据收集。此外，可以仅通过激活输入装置来根据需要显示命令菜单，以防止医学图像在被叠加时被命令菜单遮掩，或者以在整个显示区域上显示医学图像而无需为单独的显示部分保留空间。
使用脚踏开关作为输入装置在不影响无菌性的情况下提供了激活的选项。可替选地，输入装置可以是如下任何其他种类的开关，所述任何其他种类的开关可以在考虑到无菌方面和授权的情况下由手术团队的成员来操作。
根据本公开内容，输入装置可以被配置成仅只要连续的激活动作被施加就被激活。
例如，只有按下作为输入装置的脚踏开关才可以选择命令。如果撤消激活动作或将其降到预定水平以下，则选择命令的能力被去激活并且可能不再进一步显示命令菜单。此外，控制装置可以被配置成：在进一步的激活动作未被应用之后重置显示设置，即用于命令菜单的显示设置返回到默认状态。可替选地，可以存储最后的显示设置，并在下次激活输入装置的情况下以这些设置显示命令菜单。
在一些实施方式中，头戴式显示系统还包括监视装置，该监视装置被配置成：监视显示屏的位置并仅在显示屏的代表操作者对显示屏的使用的位置中发布对命令栏位之一的选择和/或显示命令菜单。
这样的监视装置可以被结合在头戴式显示器中。例如，头戴式显示器的显示屏可以由配备有传感器的铰链可移动地支撑，以检测显示屏的操作状态，即显示屏的向下翻转位置。可替选地，可以检测显示屏的空间位置，并将其与操作员的头部位置进行比较。在一种变型中，可以检测显示屏的空间位置并将其分别与操作的常见或不常见的位置进行比较，例如，可以将显示屏的朝向操作室的顶板(ceiling)的方位假定为不常见的位置，从而不发布命令的选择。在另外的变型中，监视装置包括接触开关，该接触开关仅在头戴式显示器至少被操作员穿戴时才被激活。尽管不同的监视选项被描述为替选方案，但在冗余或考虑多个先决条件方面，组合有可能提高安全性。
有利地，头戴式显示系统还提供不同的操作状态，并且被配置成仅在预定操作状态下发布对命令栏位之一的选择和/或显示命令菜单。
不同的操作状态可以是代表诸如调试、维护、培训、准备等的非手术操作的状态。由于没有执行手术，因此这些操作状态可能需要较少的安全措施。然而，在手术的情况下，可以获得具有不同安全级别的不同操作状态。在严重的情况下，可以不允许医学成像装置移动，和/或应在不显示任何干扰命令栏位的情况下显示医学图像。因此，不发布代表使医疗装置移动的任何命令栏位，以及/或者不显示命令菜单或其至少一部分。
根据本公开内容，追踪系统可以被配置成：追踪代表眼睛移动的移动以控制显示屏上医学图像的观察中心，并且追踪代表头部移动的移动以选择命令栏位之一。
代表眼睛移动的移动控制显示屏上医学图像的预定观察中心，以便以预定关系对应于观察角度，优选地与操作员的观察中心一致。因此，医学图像的观察中心追随眼睛移动而无需选择命令区域。然而，可以基于所追踪的头部移动通过对相应的命令栏位的预先选择来按需发布这样的追踪。可以通过医学成像装置的移动来执行对医学图像的观察中心的控制，和/或可以通过在不移动医学成像装置而移动医学图像的情况下移动医学图像的观察中心来执行对医学图像的观察中心的控制。因此，即使操作员的头部被移动以选择命令栏位之一，操作员也可以观察到医学图像的预定观察中心。此外，由于可以在没有选择命令菜单的命令栏位的情况下通过眼睛移动来控制某些功能，因此可以减少命令栏位的数目。
在一些实施方式中，头戴式显示器被配置成：在显示屏中显示代表所追踪的移动的视觉指示；以及/或者突出显示命令栏位中所选择的一个命令栏位和/或突出显示确认栏位。
视觉指示可以是显示在头戴式显示器的显示屏中以提供视觉控制的类似光标的项。可替选地或另外地，可以突出显示所选择的命令栏位和/或确认栏位，以在这样的选择后向操作员提供反馈。所选择的命令栏位和/或确认栏位的突出显示可以是视觉的、听觉的和/或触觉的。这样的反馈增强了操作员的控制能力，并且因此减轻了执行意外命令的风险。
根据本公开内容，医学成像装置可以是手术显微镜，优选地是机器人显微镜。
用于控制手术显微镜的头戴式显示系统的使用使操作员能够在不将眼睛和手移开操作区的情况下执行手术。考虑到在使用手术显微镜的同时外科手术这是特别有利的，因为外科医生的手的位置的改变并且因此不是由外科手术本身引起的手术器械的位置的可能改变应避免。另外地，可以同时地在控制显微镜——例如改变观察角度或放大率——时执行外科手术过程并从视觉上对外科手术过程进行控制。此外，降低了污染的风险。
可替选地，医学成像装置可以是内窥镜。
类似于用于控制显微镜的头戴式显示器的使用，用于控制内窥镜的头戴式显示系统的使用也允许操作员在不将眼睛和手移开操作区的情况下执行手术。考虑到关于显微镜的相应控制的优点，在大多数内窥镜手术中，如果不使用机器人引导，则外科医生的手必须在相对较小和较深的操作区中握住手术器械。因此，移开手来控制内窥镜可能导致难以避免由于尖锐的手术器械而造成的进一步伤害以及难以适当地更换器械。即使只有外科医生的一只手被用于操作手术器械，也可能需要这只手来操作内窥镜。在这样的情况下，外科医生的手在不释放手术器械或内窥镜的情况下不能控制内窥镜的没有结合在内窥镜的手柄中或在近处的功能。尽管内窥镜或手术器械可以例如由手术机器人来另外支撑或引导，但是外科医生的手可能被其他仪器或控制装置束缚。
在另外的方面，本公开内容涉及用于控制医学成像装置的方法，其包括如上所述的头戴式显示系统，该方法包括以下步骤：
a)显示命令菜单，
b)追踪代表操作员的眼睛和/或头部移动的移动，
c)通过所追踪的操作员的眼睛和/或头部移动的移动来选择命令菜单中的命令栏位之一，其中，如果仅显示第一组命令，则当相应移动的方向和量与其中一个有差别的第一命令栏位的位置对应时，选择相应的有差别的第一命令栏位，或者如果显示第一组命令和第二组命令，则当相应移动的方向和量与其中一个有差别的第二命令栏位的位置对应时，选择相应的有差别的第二命令栏位，并且当相应移动的方向和量与其中一个有差别的第一命令栏位的位置对应同时没有追踪到在到其中一个有差别的第二命令栏位的方向上超过预定量的进一步移动时，选择相应的有差别的第一命令栏位(123a)，以及
d)根据命令栏位中所选择的一个命令栏位来控制医学成像装置。
移动的方向和量可以作为相对坐标或绝对坐标来追踪。也可以通过空间位置的比较来表示移动的方向和量。
在仅显示第一组命令的情况下，可以根据首先或最后选择的有差别的第一命令栏位来执行对医学成像装置的控制。最后选择的有差别的第一命令栏位可以被定义为在预定时间已经过去之后或者在接收到例如如下所述的确认之后最后选择的有差别的第一命令栏位。
类似地，如果显示第一组命令和第二组命令，则如果在预定时间过去之后或在接收到确认之后没有追踪到在到有差别的第二命令栏位之一的方向上超过预定量的进一步移动，则可以根据首先或最后选择的有差别的第一命令栏位来执行对医学成像装置的控制。可以根据首先或最后选择的有差别的第二命令栏位来执行对医学成像装置的控制。对于有差别的第一命令栏位，最后选择的有差别的第二命令栏位可以被定义为在预定时间过去之后或者已经接收到确认之后最后选择的有差别的第一命令栏位。
在一些实施方式中，根据命令菜单的命令栏位中所选择的一个命令栏位来控制医学成像装置的步骤还包括：通过将操作员的眼睛或头部移动到确认栏位来确认所选择的命令栏位，其中，当相应的移动的方向和量与相应的确认栏位的位置对应时确认该选择。
因此，对医学成像装置的控制不依赖于可能倾向于意外的命令执行的任何时间限制，而是所选择的命令必须被有意地确认要被执行。
在另外的方面，本公开内容涉及包括机器可读介质上存储的程序代码的计算机程序产品，并且该程序代码被配置成当在数据处理装置上执行时使数据处理装置执行如上所述的方法。
该计算机程序产品可以提供与关于用于控制成像装置的头戴式显示系统和方法所描述的相同的功能和优点。
本公开内容的其他优点、方面和细节受权利要求的约束，以下对优选实施方式的描述应用了本公开内容的原理和附图。在附图中，相同的附图标记表示相同的特征和功能。
附图说明
图1是根据示例性实施方式的示出显示屏和命令菜单的头戴式显示器的示意图；
图2是示出根据图1的具有所选择和确认的命令栏位的命令菜单和显示屏的头戴式显示器的示意图；以及
图3是根据示例性实施方式的公开的头戴式显示系统的示意图。
具体实施方式
图1示出了头戴式显示器10的示意图，该头戴式显示器10示出了显示屏12。显示屏12示出了命令菜单122，该命令菜单122包括围绕预定观察中心121布置的第一组命令123和第二组命令124。第一组命令123由以距观察中心121相等的第一距离布置的四个有差别的第一命令栏位123a构成。第一组命令123可以包括有差别的第一命令栏位123a，以控制放大率、观察角度、观察中心或焦平面的位置。第一组命令123被第二组命令124包围。第二组命令124包括以距观察中心121相等的第二距离布置的七个有差别的第二命令栏位124a。相等的第二距离大于相等的第一距离。在此，选择相等的第二距离以沿从观察中心121径向延伸的方向有差别布置与有差别的第一命令栏位123a相邻的有差别的第二命令栏位124a，从而将要被追踪的选择不同命令栏位123a、124a的所需移动限制到最小。第二组命令124可以包括有差别的第二命令栏位124a，以控制显示屏12的位置、存储图像、调节光水平、改变工作距离、存储和调出机器人位置或者打开附加的相关功能诸如查看成像数据、切换到荧光模式、激活红外相机、打开手术导航等。在示例性实施方式中，出于识别原因，第一组命令123的颜色与第二组命令124的颜色不同。不同的颜色、阴影和/或透明度等级也可以用来指示第一组命令123和第二组命令124的激活或去激活状态和/或指示有差别的第一命令栏位123a和/或有差别的第二命令栏位124a的激活或去激活状态。
此外，图1示出了位于观察中心121中的确认栏位125。由于确认栏位125可以覆盖观察中心121中的医学图像的相关部分，因此确认栏位125可以仅在需要时显示，特别地，在激活输入装置80(图3)诸如脚踏开关之后显示。可替选地或另外地，可以仅在选择了命令栏位123a、124a之后显示确认栏位125。即使命令菜单122没有被布置在观察中心121中，命令菜单122或其至少一部分也可以仅按需显示。
图2示出了在已经选择了有差别的第一命令栏位123a之后的图1的示例性实施方式的示意图，此处，上部有差别的第一命令栏位123a代表了观察角度的控制。通过使用追踪系统14(图3)追踪操作员的头部移动来检测到该选择，其中，当相应移动的方向和量与相应的有差别的第一命令栏位123a或第二命令栏位124a对应时，选择命令栏位123a、124a。因此，所追踪的在方向和量方面代表操作员的头部移动的移动对应于代表观察角度的控制的上部有差别的第一命令栏位123a。为了指示选择，突出显示了代表观察角度的控制的上部有差别的第一命令栏位123a，即，有差别的第一命令栏位123a的颜色被改变。还可以通过其他视觉效果诸如改变透明度等级或模式、声学效果和/或触觉效果来执行突出显示。关于视觉效果，所选择的命令栏位123a、124a可能不必在其整个区域上被突出显示，而是可以仅提供突出显示的框架。
在所示的实施方式中，必须在控制装置40(图3)对医学成像装置20(图3)进行控制以执行所选择的命令之前确认所选择的有差别的第一命令栏位123a。如果所追踪的代表操作员的头部移动的移动对应于确认栏位125的位置，则确认所选择的有差别的第一命令栏位123a。通过突出显示确认栏位125来指示所接收的确认。
在观察中心121中显示确认栏位。因此，在操作员的观察可以被假定为指向作为操作区上的相关观察的观察中心121之后，执行所选择的命令。此外，观察中心121可以被假定为操作员继续进行的优选姿势。
图3示出了根据示例性实施方式的可分别应用于图1和图2所示的头戴式显示器10的示例性实施方式的所公开的头戴式显示系统1的方案。头戴式显示系统1包括：头戴式显示器10、用于提供场景50的医学图像的医学成像装置20、用于使医学成像装置20移动的机器人60、用户接口70和输入装置80。
医学成像装置20包括用于经由镜头22来捕获场景50的医学图像的相机传感器21和用来照亮场景50的光23。所捕获的医学图像被发送至控制装置40以转发至头戴式显示器10。头戴式显示器10包括显示驱动器11，以接收医学图像并将医学图像发送至显示屏12，以经由一个目镜或两个目镜13向操作员30显示该医学图像。用户接口70可以是由控制装置40控制的外部屏幕，以通过头戴式显示器10的显示屏12上显示的命令菜单122向操作员30提供独立于医学成像装置20的控制的不同信息和/或控制能力。
为了基于所追踪的代表操作员的头部和/或眼睛移动的移动来控制医学成像装置20，在头戴式显示器10中并入追踪系统14。出于解释的原因，图3所示的实施方式的描述涉及所追踪的操作员30的头部移动。然而，相同的原理适用于所追踪的操作员的眼睛移动或者所追踪的操作员30的头部和眼睛移动的组合。
追踪系统14可以作为3D加速度传感器或惯性测量单元并入头戴式显示器10中，并且向控制装置40提供关于所追踪的移动的方向和量的信息。可以连续提供或根据需要提供所追踪的代表操作员的头部移动的移动。可以通过激活输入装置80来表达需求，以允许操作员基于这样的所追踪的移动来控制医学成像装置20。此外，在激活输入装置80例如脚踏开关时，控制装置40使得头戴式显示器10在显示屏12上显示命令菜单122。可以如参照图1和图2所述选择并确认要执行的命令。然而，根据本公开内容的用于选择或选择并确认命令的其他选项也是适用的。
为了减轻命令的意外的选择和执行的风险，控制装置40可以被配置成仅显示命令菜单122，并因此只要连续的激活动作被施加至输入装置80，就允许命令的选择。此外，图3中的示例性实施方式的头戴式显示器10包括监视装置15，该监视装置被配置成监视显示屏12的位置，并且仅在显示屏12的代表操作者30对显示屏12的使用的位置中发布对命令栏位123a、124a之一的选择和/或显示命令菜单122。在图3的示例性实施方式中，监视装置15被实现为接触开关，该接触开关当显示屏12在操作状态下被向下翻转时闭合。然而，监视装置也可以结合在追踪系统14中。
尽管图3中的控制装置40仅示出了到机器人60以移动医学图像装置20的连接以及到医学成像装置20的光23以控制光23的亮度的连接，但是控制装置40可以被配置成控制更多的功能以影响头戴式显示器10的显示屏12中显示的医学图像。仅为了说明清楚起见，连接的数目被限制。
应当注意的是，给出的示例是具体的实施方式，并且不旨在限制权利要求中给出的保护范围。特别地，一个实施方式的单独特征可以与另一实施方式相结合。作为示例，在图1或图2所示的实施方式中，第一组命令123分别包括四个不同的第一命令栏位123a。即使四个有差别的第一命令栏位123a可以表示可以容易实现和控制的主追踪运动，第一组命令123还可以包括更多的有差别的第一命令栏位123a或更少的有差别的第一命令栏位123a。这同样适用于由第二组命令124提供的有差别的第二命令栏位124a的数目。此外，分别在图1或图2中示出的示例性实施方式同时显示第一组命令123和第二组命令124。然而，还可以例如根据要求独立地显示第一组命令123和第二组命令124，或者还可以根据不同的操作状态独立地显示第一组命令123和第二组命令124。此外，即使确认栏位125可以被优选地位于观察中心121中，但确认栏位也可以位于观察中心121附近，只要可以假设操作员能够从这样的位置观看到观察中心121。
附图标记列表
1头戴式显示系统
10头戴式显示器
11显示驱动器
12显示屏
13目镜
14追踪系统
15监视装置
20医学成像系统
21相机传感器
22镜头
23光
30操作员
40控制装置
50场景
60机器人
70用户接口
80输入装置
121观察中心
122命令菜单
123第一组命令
123a第一命令栏位
124第二组命令
124a第二命令栏位
125确认栏位

Claims (18)

1.一种用于控制医学成像装置(20)的头戴式显示系统(1)，包括：
要由操作员穿戴的头戴式显示器(10)，所述头戴式显示器包括被配置成显示具有预定观察中心(121)的医学图像的显示屏(12)和提供至少第一组命令(123)的命令菜单(122)，所述第一组命令(123)为有差别的第一命令栏位，
追踪系统(14)，其用于追踪代表所述操作员的眼睛(30)移动和/或头部移动的移动，其中，能够基于所追踪的眼睛移动和/或头部移动选择所述命令菜单(122)的所述至少第一组命令(122a)中的命令，以及
控制装置(40)，其被配置成接收所选择的命令并相应地控制所述医学成像装置(20)。
2.根据权利要求1所述的头戴式显示系统(1)，其中，以距所述医学图像的所述预定观察中心(121)基本相等的第一距离来布置在所述头戴式显示器(10)的显示屏(12)上显示的所述命令菜单(122)的所述至少第一组命令(123)的所述有差别的第一命令栏位(123a)。
3.根据权利要求1或2所述的头戴式显示系统(1)，其中，所述命令菜单(122)提供第二组命令(124)，所述第二组命令(124)为在所述头戴式显示器(10)的显示屏(12)上显示且优选地以距所述医学图像的所述预定观察中心(121)基本相等的第二距离布置的有差别的第二命令栏位(124a)，其中，所述有差别的第二命令栏位(124a)的所述第二距离大于所述有差别的第一命令栏位(123a)的所述第一距离。
4.根据权利要求3所述的头戴式显示系统(1)，其中，所述控制装置(40)被配置成：当所述追踪系统(14)指示所追踪的移动已经在远离所述医学图像的所述预定观察中心(121)的方向上经过其中一个所述有差别的第一命令栏位(123a)到达其中一个所述有差别的第二命令栏位(124a)时，去激活所述有差别的第一命令栏位(123a)。
5.根据权利要求3或4所述的头戴式显示系统(1)，其中，所述控制装置(40)被配置成基于使用的频率和/或概率将命令分配至所述第一组命令(123)和所述第二组命令(124)。
6.根据权利要求5所述的头戴式显示系统(1)，其中，所述控制装置(40)被配置成基于改变后的使用的频率和/或概率来调整至所述第一组命令(123)和所述第二组命令(124)的命令分配。
7.根据前述权利要求中任一项所述的头戴式显示系统(1)，其中，所述命令菜单(122)还包括确认栏位(125)，所述确认栏位被布置在所述医学图像的所述预定观察中心(121)以确认所选择的命令栏位(123a，124a)。
8.根据前述权利要求中任一项所述的头戴式显示系统(1)，其中，所述头戴式显示系统(1)还包括输入装置(80)，所述输入装置优选为脚踏开关，作为选择其中一个所述命令栏位(123a，124a)和/或显示所述命令菜单(122)的先决条件，所述输入装置要被激活。
9.根据权利要求8所述的头戴式显示系统(1)，其中，所述输入装置(80)被配置成仅只要施加连续的激活动作就被激活。
10.根据前述权利要求中任一项所述的头戴式显示系统(1)，其中，所述头戴式显示系统(1)还包括监视装置(15)，所述监视装置被配置成：监视所述显示屏(12)的位置以及仅在所述显示屏(12)的代表所述显示屏(12)被所述操作员(30)使用的位置中发布对其中一个所述命令栏位(123a，124a)的选择和/或显示所述命令菜单(122)。
11.根据前述权利要求中任一项所述的头戴式显示系统(1)，其中，所述头戴式显示系统(1)还提供不同的操作状态并且被配置成仅在预定操作状态下发布对其中一个所述命令栏位(123a，124a)的选择和/或显示所述命令菜单(122)。
12.根据前述权利要求中任一项所述的头戴式显示系统(1)，其中，所述追踪系统(14)被配置成：追踪代表眼睛移动的移动来控制所述显示屏上的所述医学图像的观察中心(121)；以及追踪代表头部移动的移动来选择其中一个所述命令栏位(123a，124a)。
13.根据前述权利要求中任一项所述的头戴式显示系统(1)，其中，所述头戴式显示器(10)被配置成：在所述显示屏(12)中显示代表所追踪的移动的视觉指示；以及/或者突出显示所述命令栏位(123a，124a)中所选择的那个命令栏位和/或突出显示确认栏位(125)。
14.根据前述权利要求中任一项所述的头戴式显示系统(1)，其中，所述医学成像装置(20)是手术显微镜，优选地是机器人显微镜。
15.根据权利要求1至13中任一项所述的头戴式显示系统(1)，其中，所述医学成像装置(20)是内窥镜。
16.一种用于控制医学成像装置(20)的方法，其包括根据权利要求1至15中的一项所述的头戴式显示系统(1)，所述方法包括以下步骤：
a)显示所述命令菜单(122)，
b)追踪代表所述操作员的眼睛(30)移动和/或头部移动的移动，
c)通过对所述操作员的眼睛(30)移动和/或头部移动追踪到的移动来选择所述命令菜单(122)的其中一个命令栏位(123a，124a)，其中，如果仅第一组命令(123)被显示，则当相应移动的方向和量与其中一个所述有差别的第一命令栏位(123a)的位置对应时，选择相应的所述有差别的第一命令栏位(123a)；或者如果第一组命令和第二组命令(124)被显示，则当相应移动的方向和量与其中一个所述有差别的第二命令栏位(124a)的位置对应时，选择相应的所述有差别的第二命令栏位(124a)，并且当相应移动的方向和量与其中一个所述有差别的第一命令栏位(123a)的位置对应同时在到其中一个所述有差别的第二命令栏位(124a)的方向上超过预定量的进一步移动未被追踪到时，选择相应的所述有差别的第一命令栏位(123a)，以及
d)根据所述命令栏位(123a，124a)中的所选择的命令栏位来控制所述医学成像装置(20)。
17.根据权利要求16所述的方法，其中，根据所述命令菜单(122)的其中一个所选择的命令栏位(123a，124a)来控制所述医学成像装置的步骤还包括：通过将所述操作员的眼睛(30)或头部移动到所述确认栏位(125)来确认所选择的命令栏位(123a，124a)，其中，当相应移动的方向和量对应于相应的所述确认栏位(125)的位置时，则确认所述选择。
18.一种包括程序代码的计算机程序产品，所述程序代码存储在机器可读介质上并且被配置成当在数据处理装置上执行时使所述数据处理装置执行根据权利要求16或17所述的方法。
CN202011594473.0A 2020-01-09 2020-12-29 用于控制医学成像装置的头戴式显示系统和方法 Pending CN113100931A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20151040.1 2020-01-09
EP20151040.1A EP3848779A1 (en) 2020-01-09 2020-01-09 Head-mounted display system and method for controlling a medical imaging device

Publications (1)

Publication Number Publication Date
CN113100931A true CN113100931A (zh) 2021-07-13

Family

ID=69157640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011594473.0A Pending CN113100931A (zh) 2020-01-09 2020-12-29 用于控制医学成像装置的头戴式显示系统和方法

Country Status (3)

Country Link
US (1) US11614622B2 (zh)
EP (1) EP3848779A1 (zh)
CN (1) CN113100931A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025674A (zh) * 2019-08-09 2022-02-08 富士胶片株式会社 内窥镜装置、控制方法、控制程序及内窥镜系统
USD994679S1 (en) * 2020-01-29 2023-08-08 Bhs Technologies Gmbh Display screen or portion thereof with a graphical user interface for a medical imaging device
EP4283373A1 (en) 2022-05-27 2023-11-29 Leica Instruments (Singapore) Pte Ltd Medical imaging control apparatus, medical imaging system and method of operating a medical imaging system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465958A (zh) * 2007-12-17 2009-06-24 鸿富锦精密工业（深圳）有限公司 菜单管理系统及方法
CN107249497A (zh) * 2015-02-20 2017-10-13 柯惠Lp公司 手术室和手术部位感知
US20180110571A1 (en) * 2016-10-25 2018-04-26 Novartis Ag Medical spatial orientation system
CN109275333A (zh) * 2016-06-03 2019-01-25 柯惠Lp公司 用于控制机器人递送操纵器的系统、方法和计算机可读程序产品
CN109891378A (zh) * 2016-11-08 2019-06-14 索尼公司 信息处理装置、信息处理方法和程序

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4989253A (en) 1988-04-15 1991-01-29 The Montefiore Hospital Association Of Western Pennsylvania Voice activated microscope
DE4202505B4 (de) 1992-01-30 2004-04-29 Carl Zeiss Führungssystem zum räumlichen Positionieren eines chirurgischen Instrumentes, insbesondere eines Operationsmikroskops
WO1995011473A1 (en) 1993-10-22 1995-04-27 Kopin Corporation Head-mounted display system
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
WO2004061519A1 (ja) 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
DE102006001505A1 (de) 2006-01-11 2007-07-12 Carl Zeiss Ag HMD-Vorrichtung
DE102006011233B4 (de) 2006-03-10 2011-04-28 Siemens Ag Verfahren und Vorrichtung zur Optimierung der Bilddarstellung an einer bildgebenden Einrichtung
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
US9300949B2 (en) 2007-01-29 2016-03-29 David J. Ahearn Multi-view system
ES1068414Y (es) 2008-07-04 2009-01-16 World Champion Brands S L Casco para la proteccion de la cabeza de un motorista
US9848849B2 (en) * 2008-08-21 2017-12-26 General Electric Company System and method for touch screen control of an ultrasound system
WO2013166098A1 (en) 2012-05-01 2013-11-07 The Johns Hopkins University Improved method and apparatus for robotically assisted cochlear implant surgery
DE102012213910A1 (de) * 2012-08-06 2014-02-06 Siemens Aktiengesellschaft Steuerungsmodul und -verfahren zur Perspektivenbestimmung beim Rendern von medizinischen Bilddatensätzen
JP5903018B2 (ja) 2012-09-26 2016-04-13 ソニー株式会社 ヘッドマウントディスプレイ
WO2015042483A2 (en) 2013-09-20 2015-03-26 Camplex, Inc. Surgical visualization systems
FR3015222B1 (fr) 2013-12-24 2019-11-22 General Electric Company Procede de traitement d'images medicales par suivi de regard
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10188552B2 (en) 2015-08-14 2019-01-29 The Johns Hopkins University Surgical system providing hands-free control of a surgical tool
US10426339B2 (en) 2016-01-13 2019-10-01 Novartis Ag Apparatuses and methods for parameter adjustment in surgical procedures
EP3285107B2 (en) 2016-08-16 2024-02-28 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope with gesture control and method for a gesture control of a surgical microscope
AT519845B1 (de) 2017-03-24 2021-09-15 Bhs Tech Gmbh Visualisierungsvorrichtung für die Übertragung von Bildern einer Mikroskopiervorrichtung
WO2019245852A1 (en) * 2018-06-19 2019-12-26 Tornier, Inc. Virtual checklists for orthopedic surgery
WO2020003054A1 (en) 2018-06-26 2020-01-02 Alcon Inc. Binocular system for entering commands

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465958A (zh) * 2007-12-17 2009-06-24 鸿富锦精密工业（深圳）有限公司 菜单管理系统及方法
CN107249497A (zh) * 2015-02-20 2017-10-13 柯惠Lp公司 手术室和手术部位感知
CN109275333A (zh) * 2016-06-03 2019-01-25 柯惠Lp公司 用于控制机器人递送操纵器的系统、方法和计算机可读程序产品
US20180110571A1 (en) * 2016-10-25 2018-04-26 Novartis Ag Medical spatial orientation system
CN109891378A (zh) * 2016-11-08 2019-06-14 索尼公司 信息处理装置、信息处理方法和程序

Also Published As

Publication number Publication date
US20210215932A1 (en) 2021-07-15
US11614622B2 (en) 2023-03-28
EP3848779A1 (en) 2021-07-14

Similar Documents

Publication Publication Date Title
US11989930B2 (en) UI for head mounted display system
CN113100931A (zh) 用于控制医学成像装置的头戴式显示系统和方法
US20240268922A1 (en) Augmented reality headset with varied opacity for navigated robotic surgery
US11977678B2 (en) Robotic system providing user selectable actions associated with gaze tracking
US11224489B2 (en) Robotized surgery system with improved control
CN110786819B (zh) 手术成像系统
EP3204816B1 (en) Head-mounted displaying of magnified images locked on an object of interest
US20190293935A1 (en) Microsurgery system for displaying in real time magnified digital image sequences of an operated area
CN112099215B (zh) 利用手势控制的手术显微镜和用于手术显微镜的手势控制的方法
AU2009217485B2 (en) A surgical mechanism control system
US20210169605A1 (en) Augmented reality headset for navigated robotic surgery
US11094283B2 (en) Head-wearable presentation apparatus, method for operating the same, and medical-optical observation system
JP3735947B2 (ja) 視線入力装置
CA3117533A1 (en) Ui for head mounted display system
JPH09212082A (ja) 視線入力装置
JP7367041B2 (ja) 頭部装着型ディスプレイシステムのためのｕｉ
WO2004052224A1 (en) Control apparatus for imaging device
KR20240033573A (ko) 다중 의료 영상 송출 및 수술 보조 기능을 제공하는 헤드셋 기반 비전장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination