CN106922190A - 用于执行医疗手术并且用于访问和/或操纵医学相关信息的方法和系统 - Google Patents

用于执行医疗手术并且用于访问和/或操纵医学相关信息的方法和系统 Download PDF

Info

Publication number
CN106922190A
CN106922190A CN201580052437.2A CN201580052437A CN106922190A CN 106922190 A CN106922190 A CN 106922190A CN 201580052437 A CN201580052437 A CN 201580052437A CN 106922190 A CN106922190 A CN 106922190A
Authority
CN
China
Prior art keywords
image
user interface
gesture
doctor
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580052437.2A
Other languages
English (en)
Other versions
CN106922190B (zh
Inventor
尼马·兹拉克内贾德
贝伦格·霍马永
彼得·劳伦斯
戴维·明正·刘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of British Columbia
Original Assignee
University of British Columbia
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of British Columbia filed Critical University of British Columbia
Publication of CN106922190A publication Critical patent/CN106922190A/zh
Application granted granted Critical
Publication of CN106922190B publication Critical patent/CN106922190B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G13/00—Operating tables; Auxiliary appliances therefor
    • A61G13/10—Parts, details or accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种系统允许医师在医疗手术期间与医学相关信息交互。该系统包括：投影仪，其用于将用户界面菜单图像投影到投影表面上；三维光学成像系统，其用于捕捉包括投影表面的感测体积中的物体的三维位置信息；以及控制器，其被连接以接收来自三维光学成像系统的三维位置信息并且该控制器配置成基于手势相对于投影用户界面菜单图像的位置来解释一个或多个手势，所述手势由医师在三维光学成像系统和投影表面之间的空间中做出。该控制器可连接至显示器以使显示器呈现图像并且配置成使显示器呈现包括医学相关信息的图像，所述医学相关信息至少部分基于解释的手势。

Description

用于执行医疗手术并且用于访问和/或操纵医学相关信息的 方法和系统
相关申请
本申请要求于2014年8月15日提交的美国申请第62/038157号的优先权，该美国申请通过引用结合于本文。
技术领域
本文所公开的技术涉及用于执行医疗手术的方法和系统，以及用于与医学相关信息交互的方法和系统，在医疗手术期间该医学相关信息可能是期望获得的。
背景技术
期望为医师(例如，外科医生、介入性放射科医师、护士、医疗助理、其他医疗技术人员等)在执行医疗手术(例如，外科手术等)期间提供对医学相关信息的访问，操纵能力和/或以其他方式与医学相关信息交互的能力。此类期望的医学信息可以以非限制性实例的方式包括放射图像、血管造影图像、其他形式的患者身体图像、与进行医疗手术的患者相关的其他信息、与手术本身相关的其他信息、与治疗情形相关的其他信息等。可在执行手术之前和/或执行手术期间获取此类期望的医学信息，并且此类期望的医疗信息可允许医师在图像引导的医疗手术期间制定或改变其治疗计划。
当前，对放射图像的手术内访问、操纵和/或交互发生在位于外科无菌环境之外的控制室中的计算机工作站。此类工作站可经由适当的网络通信或其他数字访问技术，通过访问图片存档及通信系统(PACS)；医学数字成像和通信系统(DICOM)、医院信息系统(HIS)、放射信息系统(RIS)等来访问涉及患者的图像数据的档案。此类工作站可在适当的显示器上显示独立图像，并且可允许经由传统的基于计算机的用户界面来操纵图像，例如，使用鼠标、键盘和以软件实施的用户界面。由于工作站位于外科无菌环境之外，想要访问多种图像的放射科医师通常需要：(a)在手术过程中，在一种或多种情形下，从手术中抽离出来；或(b)将访问期望图像的任务委托给技术专家，技术专家需要在放射科医师的指导下操作工作站。
在情形(a)中，出于图像导航和解释目的，需要在非无菌控制室和无菌手术环境之间来回移动可：通过不经意地将污染物从非无菌控制室带入无菌环境而增加污染无菌环境的风险；延长完成手术所需时间，从而增加手术成本；和/或中断医师的认知注意力，从而增加患者的医疗风险。在情形(b)中，通常需要放射科医师和操作工作站的技术人员之间的密切通信。相关信息的通信(例如，将图像移动或放大多少)难度大且耗时，并且可能需要多次反复。如果需要使用不同的软件平台，通过供应商特有的多层菜单来导航并且需要使用键盘和鼠标与大量图像交互，则该过程可能更为困难。
随着人们对用于目标治疗的手术内计划和确认的多种放射图像越来越依赖，广泛期望研发用于以下问题的解决方案：改善放射科医师快速访问、操纵和/或以其他方式直观地，完整地，及时地在无菌环境中与大量图像信息(和/或其他医学相关信息)交互的能力。
前述相关技术的实例和与此相关的局限性用作示例说明，而不是唯一的。在阅读说明书和研究附图之后，相关技术的其他局限性对本领域的技术人员来说将变得显而易见。
发明内容
结合系统、工具和方法，描述并阐明了以下实施例及其各方面，这些系统、工具和方法是示例性和说明性的，不限制范围。在各种实施例中，上述问题中的一个或多个已被减少或消除，而其他实施例涉及其他改进。
本发明的各方面提供了系统和方法，这些系统和方法用于允许医师在医疗手术中使用手势(例如，非接触式手势)访问、操纵和/或以其他方式与医学相关信息交互，以与投影用户界面菜单图像交互。该手势可基于医师手的构形、位置或移动。可基于手势相对于投影用户界面菜单图像(和/或用户界面菜单图像投影于其上的投影表面)的位置(例如，医师手的位置)解释该手势。该手势可另外或替代地基于手势的构形或移动(例如，医师手的构形或移动)。此类手势移动或构形可以相对于投影用户界面菜单图像(和/或用户界面图像投影于其上的投影表面)。此类系统和方法提供该能力，而无需医师从正在执行手术的无菌环境中抽离出来并且无需与位于无菌环境之外的技术人员通信。以实例的方式，在医疗手术中被访问、操纵和/或以其他方式交互的医学相关信息可包括：放射图像、血管造影图像、其他形式的患者身体图像或与进行医疗手术的患者相关的其他信息、与手术本身相关的其他信息等。该系统可包括：投影设备，其用于将用户界面菜单图像投影到适于医师观察的投影表面上，该投影表面位于无菌环境中；三维(3-D)光学成像传感器或系统，其用于捕捉与医师和投影用户界面菜单图像交互的方式(例如，在相对于投影用户界面菜单图像的位置使用手势)相关的3-D信息。此类3-D光学传感器/系统的非限制性实例包括所谓的飞行时间法(TOF)成像系统(也称为范围成像系统)、相位调制3-D光学传感器系统、基于结构化光机构(例如，斑纹图案)的3-D光学传感器等。
连接到3-D光学成像系统的控制器可解释手势，这些手势包括医师的一只手相对于用户界面菜单图像和/或相对于用户界面菜单图像投影于其上的投影表面的移动、构形和/或位置。基于此类手势的解释，控制器可使显示器呈现对医师可见的图像(或其他信息)。显示图像可包括来自与正在执行手术的患者相关的图像库的图像或图像的一部分。基于此类手势的解释，控制器可操纵显示图像。例如，此类操纵可包括对特定显示图像进行放大或缩小，平移(panning)或以其他方式移动特定显示图像的显示部分；调整特定显示图像的亮度、对比度和/或颜色参数；在图像库中滚动以选择用于显示的新图像等。
投影表面可为大致水平的。在大致水平的投影表面和3-D光学成像系统之间的空间内使用其一只(或两只)手的手势，医师可与系统交互，以及可基于医师手相对于投影用户界面菜单图像和/或相对于用户界面菜单图像投影于其上的投影表面的位置来解释此类手势。投影表面可包括正在执行手术的患者位于其上的手术台的一部分。投影用户界面菜单图像的尺寸可为可调整的(基于3-D光学成像系统获取的数据)，从而使得投影用户界面菜单图像配合手术台的部分(例如，不会与手术台边缘交叉)。以非限制性实例的方式，基于患者身体的存在、任何投影表面(例如，手术台)覆盖物的状态等，投影表面可为不规则的(例如，非平面的或大致但不完全水平)。基于3-D光学成像系统获取的数据可确定投影表面的不规则性轮廓，并且可调整投影用户界面菜单图像以补偿投影表面的不规则性。基于由3-D光学成像系统或一些其他适当成像系统(例如，彩色摄像机)获取的数据，可估计投影表面的反射率和/或颜色，并且可调整投影用户界面菜单图像以补偿投影表面的反射率和/或颜色。
基于手势的解释，控制器可确定何时投影用户界面以及何时不投影用户界面。
本发明的其他方面提供了包括一个或多个处理器的系统，其中处理器配置成根据本发明的任意方面来执行方法。
本发明的其他方面包括计算机程序产品，其包括实施在非瞬时介质上的计算机可读指令。当被适当的计算机或处理器执行时，计算机可读指令使得计算机或处理器根据本发明的任意方面来执行方法。
除上述示例性方面和实施例之外，通过参考附图和研究以下详细描述，更多的方面和实施例将变得显而易见。
附图说明
在参考的附图中示出示例性实施例。本文中所公开的实施例和附图应被认为是示例性的而非限制性的。
图1是根据特定实施例的系统的示意图，该系统用于执行医疗手术并用于访问、操纵和/或以其他方式与医学相关信息交互。
图2是用户界面菜单图像的示意图，该用户界面菜单图像可在特定实施例中与图1的系统一起使用。
图3A示出了根据特定实施例的TOF成像系统(即，3-D光学成像系统的实例)的示意图，该TOF成像系统可用于图1的系统。图3B和图3C示意性地描绘了图3A的TOF成像系统的感测体积。
图4是根据特定实施例的方法的示意图，该方法用于解释由医师使用其一只手做出的手势。
图5A和图5B分别表示在一些实施例中可用于调整TOF成像系统(或其他3-D光学成像系统)的合成时间的感兴趣区域和查询表曲线图。
图6是根据特定实施例的方法211的示意图，方法211可用于实施图4的方法的一部分。
图7是根据特定实施例的可用于图6的方法的用户界面菜单图像和用户界面子菜单图像的示意图。
具体实施方式
以下描述阐述了具体细节，从而为本领域技术人员提供更加彻底的理解。然而，可能未示出或未详细描述公知的元件，以避免不必要地模糊本公开。因此，具体实施方式和附图被看作是示例性的，而非限制性的。
本发明的各方面提供了系统和方法，这些系统和方法用于允许医师在医疗手术期间访问、操纵和/或以其他方式与医学相关信息交互，使用手势(例如，非接触式手势)与投影用户界面菜单图像交互。该手势可基于医师手的构形、位置或移动。如本文中所用，除非上下文另有说明，否则对医师手的手势的参考应被理解为包括基于医师手上所包括的一根或多根手指的手势。可基于手势相对于投影用户界面菜单图像(和/或用户界面菜单图像投影于其上的投影表面)的位置(例如，医师手的位置)来解释该手势。该手势可另外或替代地基于手势的构形或移动(例如，医师手的构形或移动)。此类手势移动或构形可以相对于投影用户界面菜单图像(和/或用户界面图像投影于其上的投影表面)。此类系统和方法提供该能力，而无需医师从正在执行手术的无菌环境中抽离出来并且无需与位于无菌环境之外的技术人员通信。以实例的方式，在医疗手术期间被访问、操纵和/或以其他方式交互的医学相关信息可包括：放射图像、血管造影图像、其他形式的患者身体图像或与进行医疗手术的患者相关的其他信息、与手术本身等相关的其他信息等。该系统可包括：投影设备，其用于将用户界面菜单图像投影到适于医师观察的投影表面上，该投影表面位于无菌环境中；三维(3-D)光学成像传感器或系统，其用于捕捉与医师和投影用户界面菜单图像交互的方式(例如，在相对于投影用户界面菜单图像的位置使用手势)相关的3-D信息。此类3-D光学传感器/系统的非限制性实例包括所谓的飞行时间(TOF)成像系统(也称为范围成像系统)、相位调制3-D光学传感器系统等。
连接到3-D光学成像系统的控制器可解释手势，这些手势包括医师的一只手相对于用户界面菜单图像和/或相对于用户界面菜单图像投影于其上的投影表面的移动、构形和/或位置。基于此类手势的解释，控制器可使得显示器呈现对医师可见的图像(或其他信息)。显示图像可包括来自与正在执行手术的患者相关的图像库的图像或图像的一部分。基于此类手势的解释，控制器可操纵显示图像。例如，此类操纵可包括对特定显示图像进行放大或缩小、平移或以其他方式移动特定显示图像的显示部分；调整特定显示图像的亮度、对比度和/或颜色参数；在图像库中滚动以选择用于显示的新图像等。
投影表面可为大致水平的。在大致水平的投影表面和3-D光学成像系统之间的空间内使用其一只(或两只)手的手势，医师可与系统交互，以及可基于医师手相对于投影用户界面菜单图像和/或相对于用户界面菜单图像投影于其上的投影表面的位置来解释此类手势。投影表面可包括正在执行手术的患者位于其上的手术台的一部分。投影用户界面菜单图像的尺寸可为可调整的(基于3-D光学成像系统获取的数据)，从而使得投影用户界面菜单图像配合手术台的部分(例如，不会与手术台边缘交叉)。以非限制性实例的方式，基于患者身体的存在、任何投影表面(例如，手术台)覆盖物的状态等，投影表面可为不规则的(例如，非平面的或大致但不完全水平)。基于3-D光学成像系统获取的数据可确定投影表面的不规则性轮廓，并且可调整投影用户界面菜单图像以补偿投影表面的不规则性。基于由3-D光学成像系统或一些其他适当成像系统(例如，彩色摄像机)获取的数据，可估计投影表面的反射率和/或颜色，并且可调整投影用户界面菜单图像以补偿投影表面的反射率和/或颜色。
基于手势的解释，控制器可确定何时投影用户界面以及何时不投影用户界面。
图1是根据特定实施例的系统10的示意图，该系统用于执行医疗手术并用于访问、操纵和/或以其他方式与医学相关信息交互。系统10允许医师12在无菌环境16中对患者14执行医疗手术期间访问、操纵和/或以其他方式与医学相关信息交互。系统10允许医师12使用手势(例如，非接触式手势)来与投影用户界面菜单图像22交互，从而访问、操纵和/或以其他方式与可显示在显示器24的图像交互。该手势可基于医师手12A的构形、位置或移动。显示在显示器24上的显示图像可包括医学相关信息，其可包括：放射图像、血管造影图像、其他形式的患者身体图像、与进行医疗手术的患者相关的其他信息、与手术本身相关的其他信息等。医师12可在无菌环境16中轻易地看到显示器24，以使得医师12可以观察由显示图像提供的医学信息。在图1的示意图中，正在执行医疗手术的无菌环境16可通过想象线20与外部环境18(例如，潜在的非无菌环境)分隔开。在所示实施例中，显示器24位于无菌环境16中，尽管这不是必须的。
图1实施例的系统10包括用户界面设备26，其可被支撑在患者14在手术期间位于其上的手术台(或病床)28上方的位置或在某个其他适当位置上。如下面更详细地描述，在图1的所示实施例中，用户界面设备26包括：控制器30，其用于控制用户界面设备26的操作；3-D光学成像系统32，其用于捕捉与医师12和投影用户界面菜单图像22交互方式相关的3D信息，包括(例如)医师12的手势；投影仪34，其用于将用户界面菜单图像22投影到适于医师12观察并交互的投影表面38；以及通信接口36，其用于与带有医学相关信息档案通信(例如，适当的网络通信或其他数字访问技术)。在一些实施例中，用户界面设备26可通过可调整手术臂40(例如，安装到天花板42、安装到墙壁、安装到落地支撑柱等)支撑在手术台28上方的位置，该手术臂40可便于调整用户界面设备26的位置，对应调整显示用户界面菜单图像22的投影表面38和/或3-D光学传感系统32的成像容积。如上所讨论，3-D光学成像系统32捕捉与医师12和投影用户界面菜单图像22交互方式相关联的3D信息，包括(例如)医师12的手势(例如，医师手12A的手势)。以非限制性实例的方式，3-D光学成像系统32可包括飞行时间(TOF)成像系统(也称为范围成像系统)、相位调制3-D光学传感器系统和/或提供关于感测体积的类似3-D信息的某个其他系统。出于便利的目的，在本说明书的剩余部分，3-D光学成像系统32可不失一般性地被称为TOF传感器32。
控制器30可包括适当计算机系统的部件。通常，控制器30可包括任何适当配置的处理器，诸如，例如，适当配置的通用处理器、图形处理单元(GPU)、图形处理系统、微处理器、微控制器、数字信号处理器、场可编程门阵列(FPGA)、其他类型的可编程逻辑设备、上述的多个、上述的组合等。控制器30可被嵌入(例如，嵌入到用户界面设备25，如所示实施例的情形中)，尽管这不是必须的。控制器30可访问软件，该软件可存储在控制器30可访问的计算机可读存储器(未明确示出)中和/或存储在集成到控制器30的计算机可读存储器中。控制器30可配置成读取并执行此类软件指令，并且当由控制器30执行时，此类软件可使得控制器30实施本文描述的一些功能。控制器30可包括多个联网计算机或处理器或以其他方式彼此通信的多个计算机或处理器。
控制器30控制投影仪34的操作，从而将用户界面菜单图像22投影到投影表面38上。在所示实施例中，投影表面38位于无菌环境16中，且适于医师12观察并交互。在一些实施例中，投影表面38可包括大致水平的表面，尽管这不是必须的。在所示图1实施例的系统10的情形中，投影表面38包括患者14位于其上的手术台28的一部分28A。选择手术台28的一部分28A作为投影表面38允许医师12将其注意力保持在患者14身上。在一些实施例中，可选择边桌的水平表面和/或可位于执行或辅助手术的医师12相对较近的其他位置(例如，手术仪器所在的桌子等)作为投影表面38。图2示出了根据特定实施例的被投影到投影表面38的用户界面菜单图像22的图示。用户界面菜单图像22包括多个用户界面图像分区50。在图2的实施例中，用户界面菜单图像22包括四个用户界面图像分区50A-50D，尽管通常用户界面菜单图像22可包括任何适当数量的用户界面图像分区50。每个用户界面图像分区50可与对应功能性(或对应菜单选择)相关联且可包括与其对应功能性/菜单选择相关的图形和/或文本信息。
例如，在图2的实施例的情形中，每个用户界面图像分区50都与对应功能性相关联。具体地：用户界面图像分区50A与滚动(例如，在图像之间滚动以将图像显示在显示器24上)相关联，并且示出与此滚动功能性相关联的图标52A；用户界面图像分区50B与显示在显示器24上的特定图像中的平移或移动相关联，并且示出与此平移功能性相关联的图标52B；用户界面图像分区50C与显示在显示器24上的特定图像的亮度调整相关联，并且示出与此亮度调整功能性相关联的图标52C；并且用户界面图像分区50D与显示在显示器24上的特定图像的放大和缩小相关联，并且示出与此亮度调整功能性相关联的图标52D。基于本文提供的描述，本领域的技术人员能够理解，其他功能性可与用户界面图像分区50相关联，并且可提供不同数量的用户界面图像分区50，以启用不同数量的功能性。除了或替代这些功能性，用户界面菜单图像22可包括更经典的基于文本或图形的菜单，其中一个或多个用户界面图像分区50对应于菜单选择。
如下文将更详细地描述，系统10向医师12提供通过做出适当手势与用户界面菜单图像22交互的能力，以便于选择用户界面图像分区50中的一个以及选择对应的功能性/菜单选择。在选择的功能性或选择的菜单选择中，系统10允许医师12实施选择的功能性，从而访问、操纵和/或以其他方式与显示在显示器24上的图像交互，以完成与菜单选择相对应的动作(例如，激活子菜单)等。例如，系统10允许医师12通过使用适当手势来选择图像显示分区50A及其对应滚动功能性来选择与图2实施例的用户界面显示分区50A相关联的滚动功能性。之后，完成此类选择后，系统10允许医师12使用适当进一步手势使得显示在显示器24上的图像之间滚动。在一些实施例中，系统10识别的手势包括由医师12的一只(或两只)手12A做出的手势。
控制器30控制TOF成像系统32的操作。图3A示意性地示出TOF成像系统32。如本领域所公知，TOF成像系统32将电磁辐射(例如，IR辐射和/或近IR辐射)从一个或多个适当辐射源64(例如，(LED或激光器)投影到传感器容积60中，并且基于从对象62反射的并由适当光电检测器66(例如，包括光电二极管检测器元件、CCD传感器元件、CMOS检测器元件等)检测的辐射，捕捉对应于传感器容积60内的对象62的3D图像信息。图3A示出了TOF成像系统32的轴心69。系统10可包括任何适当的TOF成像系统和/或设备32。如本文中其他地方所讨论，系统10不特别地限制为使用TOF系统32，并且可由相位调制3-D光学传感器系统和/或可提供关于感测体积60的类似3-D信息的某个其他3-D光学成像系统提供TOF系统32的功能性。
TOF成像系统32返回3D点云，所述3D点云包括位于其传感器容积60内的对象62的表面上的点的3D位置。在图1的实施例中，可定位或以其他方式配置(例如，使用适当光学器件等来定向、配置)TOF成像系统32，从而使得传感器容积60包括用户界面菜单图像22通过投影仪34投影于其上的投影表面38。传感器容积60的轴心69可配置成与投影表面38大致对准(例如，与投影表面38的中心对准)。如上所讨论，投影表面38可包括手术台28的一部分28A。在该配置下，TOF系统32返回点云，所述点云包括用户界面菜单图像22投影于其上的投影表面38上的点的3D位置。TOF成像系统32可被类似地配置，从而使得传感器容积60包括在投影表面38上方(或以其他方式邻近投影表面38)且在投影表面38和TOF成像系统32之间的空间68。例如，当投影表面38包括手术台28的一部分28A时，那么空间68可包括在手术台28上方且在手术台28和用户界面设备26之间的容积。在该配置下，医师12可用其一只(或两只)手12A在空间68中做出手势，并且TOF成像系统32可检测医师的手12A的表面上的点的3D位置。关于医师的手12A的此类3D信息可被解释为手势，正如下文中更详细地描述，通过该手势医师12可与投影用户界面菜单图像22交互。由于该空间68可以是为了执行医疗手术的医师的手12A所在位置，所以投影表面38和TOF成像系统32之间的该空间68可很方便地用作医师12以其手12A做出手势的空间，进而提供与系统10交互的人体工学便利性。
图3B是根据特定实施例的TOF成像设备32的感测体积60和(投影表面38和TOF成像设备32之间的)空间68的示意性侧视图。空间68可被划分成多个容积区域，其位于TOF成像设备32的参考表面70(例如，光电检测器66的平面(图3A))和用户界面菜单图像22投影于其上的投影表面38之间。在所示实施例中，这些容积区域包括：位于参考表面70和第一阈值表面72之间的容积区域82、位于阈值表面72和阈值表面74之间的容积区域84，以及位于阈值表面74和投影表面38之间的容积区域86。可通过相对于投影表面38的控制器30设置阈值表面72、74，并且该阈值表面72、74可为可配置的(例如，用户可配置)。参考表面72可设置在距投影表面38(或投影表面39的平均高度)的距离dl处(例如，在其上方)，而参考表面74可设置在距投影表面38(或投影表面38的平均高度)的距离d2处(例如，在其上方)。距离dl和d2可配置成，例如，医师12的高度或物理特性。在此类实施方案中，容积区域82对应于从投影表面38开始的大于dl的距离、容积区域84对应于从投影表面38开始的d2和dl之间的距离，以及容积区域86对应于从投影表面38开始的小于d2的距离。
应该理解的是，当投影表面38位于手术台28(图1)的一部分28A上时，投影表面38可包括不规则轮廓(例如，与图3B所示的平面或平直轮廓相反和/或与水平轮廓相反)。在一些实施例中，当控制器30设置阈值水平72、74时，可考虑投影表面38的此类不规则轮廓，即，阈值水平72、74可具有跨越横截面的可变轮廓，以适应投影表面38的不规则性并保持距离dl和d2大致不变。以非限制性实例的方式，表面曲率分析技术可用于此目的。在一些实施例中，这并不是必要的，并且可基于投影表面38的轮廓的平均值(例如，基于投影表面38上一个或多个点的选择)或基于投影表面38的某些其他特性和/或与投影表面38相关联的基准将阈值水平72、74设置为常数。以非限制性实例的方式，在一些实施例中，相对于距TOF成像设备32和/或用户界面设备26最近的投影表面38上的点，系统可设置阈值水平72、74。为了简洁起见，在本说明书的剩余部分，除非上下文另有说明，否则阈值水平72、74可被描述成相对于投影表面38，这可指对应于投影表面38的任何适当基准的任何值(例如，投影表面38的平均值、投影表面38上的点等)。在一些实施例中，阈值水平72、74可用于确定医师12的手12A的手势，并且可用于确定是否打开或关闭投影仪34和/或是否选择与上述用户界面图像分区50相关联的功能性中的一个。
图4是根据特定实施例的方法100的示意图，该方法100用于解释医师12使用其一只手12A做出的手势。方法100可由用户界面设备26来执行。在特定实施例中，方法100可由控制器30(与TOF成像系统32和投影仪34相结合)来执行。图4实施例的方法100开始于方框102，方框102涉及是否检测到投影触发手势的查询。方框102可包括控制器30，其分析从TOF成像系统32接收的数据以查找特定的投影触发手势。在一些实施例中，该投影触发手势可包括：检测到医师12的手12A首先与投影表面38的距离大于与阈值72(例如，在投影表面38上方，大于距离dl的位置)的距离，之后移动到一个位置，该位置与投影表面38的距离小于与阈值72(例如，移动到在投影表面38上方，小于距离dl的位置，或移动到投影表面38上方，小于dl且大于d2的位置等)的距离，参见图3B。在一些实施例中，该投影触发手势可包括医师12的手12A从一侧移动到另一侧，例如，挥手。在一些实施例中，该投影触发手势可包括医师12举起其手12A，保持静止，伸出适当数量的手指(例如，五根手指)。如果方框102的查询结果为否定，那么方法100返回方框102。另一方面，如果方框102的查询结果为肯定，那么方法100继续到方框104。在一些实施例中，触发手势和方框102查询都不是必须的。例如，传统的开关、远程控制激活等可替代触发手势用来开始方法100。
方框104包括将用户界面菜单图像22投影到投影表面38上。在方框104中，如本公开其他处所述，控制器30可使得投影仪34将用户界面菜单图像22投影到投影表面38上。方法100可接着继续到方框106。方框106可涉及是否做出选择手势的查询。方框106的选择手势可包括选择与方框104中投影的用户界面菜单图像22中的用户界面图像分区50中的一个相关联的功能性或菜单选择。在一些实施例中，方框106的选择手势可包括检测到医师12的手12A与投影表面38的距离小于与阈值74(例如，在投影表面38上方，小于距离d2的位置或者甚至与投影表面38接触的位置)的距离。此类手势也可指示为在与用户界面图像分区50相关联的功能性和/或菜单选择中选择一项。如果方框106的查询结果为肯定，那么在一些实施例中，选择的功能性或菜单选择中的特定一项可对应于用户界面图像分区50的特定用户界面图像分区，当检测到医师12的手12A与投影表面38的距离小于与阈值74的距离时，手12A位于该用户界面图像分区50上方(或与其最为接近)。例如，参考图2的实施例，如果在方框106中检测到医师12的手12A位于投影表面38和阈值74之间且在用户界面图像分区50D和TOF成像系统32之间(例如，在阈值74下方且在用户界面图像分区50D上方(或与其最为接近))，那么选择的特定功能性可对应于与用户界面分区50D相关联的缩放功能性。作为对应于图2实施例的另一实例，如果在方框106中检测到医师12的手12A位于投影表面38和阈值74之间且在用户界面图像分区50A和TOF成像系统32之间(例如，在阈值74下方且在用户界面图像分区50A上方(或最接近用户界面图像分区50A))，那么选择的特定功能性可对应于与用户界面分区50A相关联的滚动功能性。作为对应于图2实施例的另一示例性手势，如果检测到医师12的手12A位于用户界面图像分区50A和TOF成像系统32之间且医师伸出特定数目的手指(例如，两根手指)，那么选择的特定功能性或菜单选择可对应于与用户界面分区50A相关联的滚动功能性或菜单选择。应该理解的是，上述特定手势仅仅是例示性的，且任何手势都可被TOF成像系统32关于用户界面菜单图像22来辨别。应该理解的是，当用户界面分区50对应于菜单选择时，那么可使用类似手势来选择对应于特定用户界面图像分区50的特定菜单选择(这可能将子菜单引向特定动作或功能性)。
如果方框106的查询结果为否定，那么方法100继续到方框108。方框108可包括查询医师12的手12A移动到感兴趣区域(ROI)之外持续的时间是否大于延迟阈值的时间(例如，阈值时段)或医师12的手12A是否另外指示切换手势。在一些实施例中，方框108的感兴趣区域可包括TOF成像系统32的感测体积60的子集。在一些实施例中，方框108的感兴趣区域可与投影用户界面菜单图像22相关或基于投影用户界面菜单图像22。例如，方框108的感兴趣区域可对应于TOF成像系统32和投影用户界面菜单图像22之间的某一区域，且可具有与投影用户界面菜单图像22的尺寸相关或基于投影用户界面菜单图像22的尺寸的横向边界。如果方框108的查询结果为肯定(即，医师12的手12A位于感兴趣区域之外持续的时间大于阈值时段)，那么方法100继续到方框110，其涉及关闭投影仪34(或以其他方式中断或不将用户界面菜单图像22投影到投影表面38上)。在完成方框110后，方法100继续到方框102，即，系统10返回到其初始状态。在一些实施例中，当首次检测到医师12的手12A位于感兴趣区域之外时(例如，在延迟阈值之前)，那么系统10可(作为方框108的一部分)提供指示系统10将在延迟阈值之后返回到其初始状态的警告。例如，在检测到医师12的手12A位于感兴趣区域之外但仍在阈值时间之前之后，控制器30可致使投影仪34投影系统10即将返回到其初始状态的视觉指示符(例如，投影在用户界面菜单图像22上方的红色圆圈、闪烁的和/或突出显示的用户界面图像等)。另一方面，如果方框108的查询结果为否定(即，医师12的手12A位于感兴趣区域中，或位于感兴趣区域之外持续的时间小于阈值时段)，那么方法100返回到方框104。
如果方框106的查询结构为肯定(例如，由合适的选择手势选择与用户界面图像分区50相关联的特定功能性或菜单选择)，那么方法100继续到方框111。图4实施例的方框111包括根据特定实施例的用于执行特定功能性(例如，方框106中所选的功能性)的方法。在一些实施例中，如下文更详细地描述，方框111可包括实施对应于菜单选择的动作。一旦进入方框111的所示实施例，方法100即在可选方框112中开始，其包括指示由于方框106的查询结果而选择的特定功能性。在特定实施例中，方框112可包括致使投影仪34将指示符投影到选择的用户界面图像分区50中在方框106中所选择的特定用户界面图像分区上。例如，如果用户选择用户界面分区50A(对应于滚动，参见图2)，那么方框112可包括将指示符投影到用户界面图像分区50A上。以实例的方式，此类指示符可包括：将圆圈投影到选择的用户界面图像分区50上、保持选择的用户界面图像分区50、令选择的用户界面图像分区50闪烁、突出显示选择的用户界面图像分区50或者以其他方式吸引对选择的用户界面图像分区50的注意。在一些实施例中或在一些情况下，尤其是如果医师12的身体部分(例如，手12A)和/或医师12所使用的仪器可能阻挡投影用户界面图像菜单22的一部分出现在投影表面38上，那么具有叠加指示符(和/或用户界面菜单图像22的某一其他部分)的选择的用户界面图像分区50可被投影到医师12的身体部分(例如，手12A)和/或医师12所使用的仪器上。具有叠加指示符的选择的用户界面图像分区50的此类投影可指示选择状态。在一些实施例中，当具有叠加指示符(和/或用户界面菜单图像22的某一其他部分)的选择的用户界面图像分区50被投影到医师12的身体部分(例如，手12A)和/或医师12所使用的仪器上时，可基于医师的身体或仪器相对于投影仪的距离和/或定向来调整(例如，缩放和/或弯曲)投影到医师的身体或仪器上的图像部分。该距离和/或定向可由控制器30基于由TOF成像设备32所获得的数据来确定。
方法100接着继续到方框114，其涉及查询是否检测到第一方向手势。在一些实施例中，方向手势可包括在大体上与TOF成像设备32和投影表面38之间的方向和/或投影仪34和投影表面38之间的方向(或具有在此类方向上的部件)正交的一个或多个方向上移动医师12的手12A。在图3C中示意性示出了此类方向手势。图3C是沿着图3B的线3C-3C截取的TOF成像设备32的传感器容积60的空间68的示意性横截面图。在图3C的所示实施例的示例性情形中，如果医师12的手12A在方向92上移动(例如，移动到图3C的示意图中的位置90)，那么可将此解释为指示在第一方向92上移动的手势。相反，如果医师12的手12A在方向94上移动(例如，移动到图3C的示意图中的位置88)，那么可将此解释为指示在第二方向92上移动的手势。在一些实施例中，空间68可被划分成多个区域(例如，通过假想线71和79)，且可将区域之间的移动解释为方向手势。例如，图3C示出了由假想线71和79分隔的三个区域73、75、77。在图3C的所示实施例的示例性情形中，如果医师12的手12A位于由假想线79界定的空区域77中，那么可将此解释成意为无方向手势，但当手从空区域77移动到第一方向区域75时(在空区域77外部且在假想线71的一侧上(图3C的示意图中的线71的右手侧))，那么可将此解释为指示在第一方向92上移动的手势。相反，如果医师12的手12A从空区域77移动到第二方向区域73时(在空区域77外部且在假想线71的相对侧上(图3C的示意图中的线71的左手侧))，那么可将此解释为指示在第二方向94上移动的手势。在一些实施例中，可另外或替代地将其他区域视为类似于本文所述的空区域77的空区域。例如，可将dl(图3B)上方的区域视为空区域。在一些实施例中，可提供其他定向区域(和/或另外定向区域)。
在一些实施例中，当医师12的手12A从空区域77移动到第一方向区域75(例如，在图3C的示意图中的方向92上)时，方框114的查询结果可为肯定，在此情形中，方法100继续到方框116。方框116包括实施与方框106的选择的功能性和方框114的第一方向相关联的动作。在一些实施例中，方框116可包括实施类似于与常规计算机鼠标的滚轮输入相关联的双向功能性的一个方向的功能性。例如，当方框106的选择的功能性包括滚动且方框114的查询结果为肯定时，那么方框116可涉及在第一方向上滚过可用图像。
在一些实施例中，方框116的动作可在方框114的查询结果为肯定的时段期间发生，且可仅在方框114的查询结果变成否定时停止。例如，在图3C的所示实施例中，方框116的动作可在医师12的手12A位于空区域77之外且在假想线71的一侧上的第一方向区域75中的时段中发生。如果医师12将其手12A从区域75移动返回到空区域77或移动到第二方向区域73，那么方框114的查询结果可变成否定，且方框116的动作可停止。
在一些实施例中，方框114和方框116可包括便于相对更加复杂的手势控制的逻辑。除了手势的方向性之外或作为手势方向性的替代，一些实施例可包括确定与特定手势相关联的量值度量。例如，量值参数可在图4的方框114和方框116之间辨别，且可包括确定医师12已将其手12A从空区域77移动到第一方向区域75中的量(例如，量值度量)、医师12的手12A与中心轴69和/或假想线71(图3C)的距离、医师12将其手12A从空区域77移动到第一方向区域75的速度、医师的手12A沿着某一其他轴(例如，在图3C中所示的方向93、95中的一个上或在图3B中所示的方向97、99中的一个上)的移动、这些量值度量的某一组合等。接着可在方框116中使用此类检测的量值度量，以控制相关联功能性的对应量。例如，当方框116包括执行放大动作时，那么可使用所辨别的量值度量来确定在方框116中执行的放大的量和/或速度，即，缩放的量和/或速度可与所辨别的量值度量相关、是所辨别的量值度量的函数、与所辨别的量值度量成正比和/或以其他方式基于所辨别的量值度量。作为另一个非限制性实例，在滚动的情形中，方框114和方框116可包含速度敏感手势控制，例如，使得医师12将其手12A从空区域77移动到第一方向区域75的速度可提供用于在方框116中在第一方向上进行的滚动动作的对应量和/或速度的基础。
在一些实施例中，方框114、方框116中确定的量值度量可包括基于速度的度量(例如，医师12移动其手12A有多快)和/或基于位置的度量(例如，医师12的手12A距离中心轴69和/或假想线71有多远)。此类确定的基于速度和/或基于位置的量值度量可与对应的基于速度和/或基于位置的功能性的量相关(和/或映射到对应的基于速度和/或基于位置的功能性的量)。以以下非限制性实例的方式：
·基于位置的量值度量可与基于位置的对应功能性的量相关(例如，手12A的位置可与基于位置的平移的量或滚过的图像数量等相关和/或映射到基于位置的平移的量或滚过的图像数量等)；
·基于位置的量值度量可与基于速度的对应功能性的量相关(例如，手12A的位置可与平移的速度或滚过图像的速度等相关和/或映射到平移的速度或滚过图像的速度等)；
·基于速度的量值度量可与基于位置的对应功能性的量相关(例如，手12A的速度可与基于位置的平移的量或滚过的图像数量等相关和/或映射到基于位置的平移的量或滚过的图像数量等)；和/或
·基于速度的量值度量可与基于速度的对应功能性的量相关(例如，手12A的速度可与平移的速度或滚过图像的速度等相关和/或映射到平移的速度或滚过图像的速度等)。
在一些实施例中，其他额外或替代的量值度量可与其他额外或替代的功能性量相关(和/或映射到其他额外或替代的功能性量)。在一些实施例中，量值度量和功能性量之间的相关和/或映射可取决于特定选择的功能性。例如，在一些实施例中，平移功能性可使基于位置的量值度量与基于位置的平移功能相关和/或可使基于位置的量值度量映射到基于位置的平移功能，而滚动功能性可使基于位置的量值度量与滚动的速度相关和/或可使基于位置的量值度量映射到滚动的速度。
另外或替代地，在一些实施例中，医师可能够通过使用适当的手势序列来进一步增加或减少量值度量。以非限制性实例的方式，在一些实施例中，这可涉及医师12将其手12A从空区域77移动到第一方向区域75以对应于量值度量的第一层级，且接着将其手12A升高/降低到某一阈值以上/以下(例如，dl以上(图3B))，将其手12A拉回到空区域77，且接着重复从空区域77到第一方向区域75的移动，从而致使量值度量的增加。可另外或替代地使用其他手势组合以增加或减少量值度量。例如，医师12可将其手从空区域77移动到第一方向区域75中，且接着可将其手向上移动以增加量值度量且向下移动以减少量值度量(或反之亦然)。
另外或替代地，在一些实施例中，医师可能够以类似于以下的方式使用适当的手势序列来重复方框116动作的离散迭代：从鼠标滚轮的顶部滚动到底部，且接着抬起手指以将手指“重置”到滚轮的顶部，并重复从顶部到底部的滚动。以非限制性实例的方式，在一些实施例中，此可涉及医师12将其手12A从空区域77移动到第一方向区域75(例如，移动到空区域77的外部且移动到假想线71的右边(在图3C的所示视图中))以引起方框116的第一迭代，且接着将其手12A升高到某一阈值以上(例如，dl以上(图3B))，将其手12A拉回到空区域77，且接着重复从空区域77到第一方向区域75的移动，从而引起方框116的第二迭代。可使用除了医师12将其手12A升高到某一阈值以上之外的手势来“重置”迭代手势序列。例如，医师可轻击所有五根手指来指示这五根手指正在重置，且接着将其手重置回空区域77。在一些实施例中，可能不需要特定的“重置”手势，以及在空区域77和第一方向区域75之间来回移动的重复序列可被解释为第一方向手势的重复迭代，且可引发方框116的重复迭代，前提条件是医师未将其手12A移动到第二方向区域73中(例如，在空区域77外部且在假想线71的左边(在图3C视图中))。
返回参考图1，根据图1实施例中所示的特定实施例来实施方框116可包括控制器30致使通信接口36与工作站44通信(例如，发送命令到工作站44)(例如，通过与工作站44相关联的对应通信接口46)。如同在图1的所示实施例的情形中，工作站44可位于无菌环境16之外(例如，在非无菌区域18中)。以非限制性实例的方式，通信接口36、46可包括适当配置的有线通信接口或无线通信接口(例如，路由器)，所述通信接口可通过适当的LAN或WAN网络来彼此通信。
工作站44可包括适当的软件接口48。在接收到来自用户界面设备26的命令之后，工作站44可与保有医学相关信息的存储器位置49(例如，医院服务器)交互。可以(尽管并非必须)通过通信接口46且通过适当的WAN或LAN网络(未示出)实现工作站44和存储器位置49之间的交互。在一些实施例中，可使用一些其他通信协议将存储器位置49连接到工作站44。例如，存储器位置49可包括硬盘驱动器、USB记忆棒、光盘和/或工作站44可访问的类似物。存储器位置49可存储图像和/或其他医学相关信息。响应于接收到来自工作站44的命令(对应于来自用户界面设备26的命令)，存储器位置49可向工作站44提供适当的医学相关信息，工作站44继而可将此类信息提供给用户界面设备26。在所示实施例中，将此类信息提供给用户界面设备26的控制器30，所述控制器30致使显示器24显示此信息。
例如，参考图1和图4，当方框106的选择的功能性包括滚动且方框114为肯定时，那么方框116可涉及从存储器位置49检索图像且显示滚过可用图像的滚动动作(在显示器24上)。作为另一实例，当方框106的选择的功能性包括缩放且方框114为肯定时，那么方框116可涉及从存储器位置49检索关于特定图像的更详细数据，且显示缩放动作(在显示器49上)以在特定图像上进行放大。在一些实施例中，工作站44实施Osirix软件，其可为软件接口48的一部分且可与以下各项交互：图片存档通信系统(PACS)；医学数字成像和通信系统(DICOM)、医院信息系统(HIS)、放射信息系统(RIS)等
在一些实施例中，因为用于显示恰当图像的数据可能已经在用户界面设备26处(例如，在控制器30可访问的存储器(未示出)中)，所以方框116动作中的一些动作可不需要与存储器位置49交互。在一些实施例中，可实施不同的架构来提供方框116的功能性。例如，在一些实施例中，工作站44可直接与显示器24通信，以及工作站44可响应于从用户界面设备26接收的命令而致使显示器24显示特定图像，而无需将该图像传回用户界面设备26。作为另一实例，在一些实施例中，用户界面设备26可直接与存储器位置49通信，在此情形中，可通过用户界面设备26直接从存储器位置49检索图像数据以及可能不需要工作站44。
再次回到图4，如果方框114的查询结果为否定，那么方法100继续到方框118，其涉及查询是否检测到第二方向手势。如上文所讨论，在一些实施例中，方向手势可包括在大体上与TOF成像设备32和投影表面38之间的方向和/或投影仪34和投影表面38之间的方向(或具有在此类方向上的部件)正交的一个或多个方向上移动医师12的手12A。在图3C的所示实施例的示例性情形中，如果医师12的手12A从空区域77移动到在空区域77之外且在假想线71的左边(在图3C视图中)的第二方向区域73(例如，在图3C的示意图中的方向94上)，那么可将此解释为指示在第二方向94上移动的手势。如果在方框118中检测到在此第二方向上移动(即，方框118的查询结果为肯定)，那么方法100可继续到方框120。
方框120可包括实施与方框106的选择的功能性和方框118的第二方向相关联的动作。就此而言，方框120可实施具有与上述方框116相反的方向性的功能性。例如，在一些实施例中，方框120可包括实施类似于与常规鼠标的滚轮输入相关联的双向功能性的一个方向的功能性。例如，当方框106的选择的功能性包括滚动且方框118查询结果为肯定时，那么方框120可涉及在第二方向上(与方框116的方向相反)滚过可用图像。除了命令的方向性以外，实施方框118和方框120可包括上文结合方框114和方框116所述技术中的任一个。
如果方框118的查询结果为否定或方框120结束，那么方法100可继续到方框122。方框122涉及的查询类似于方框108的查询，查询医师12的手12A移动到感兴趣区域(ROI)之外持续的时间是否大于延迟阈值的时间(例如，阈值时段)。可使用类似于上文结合方框108所述的技术来实施方框122的查询。如果方框122的查询结果为肯定(即，医师12的手12A位于感兴趣区域之外持续的时间大于阈值时段)，那么方法100继续到方框110，所述方框110涉及关闭投影仪34(或以其他方式中断或不将用户界面菜单图像22投影到投影表面38上)。在完成方框110后，方法100继续到方框102，即，系统10返回到其初始状态。在一些实施例中，当首次检测到医师12的手12A位于感兴趣区域之外时(例如，在延迟阈值之前)，那么系统10可(作为方框122的一部分)提供指示系统10将在延迟阈值之后返回到其初始状态的警告。例如，在检测到医师12的手12A位于感兴趣区域之外但仍在阈值时间之前之后，控制器30可致使投影仪34投影系统10即将返回到其初始状态的视觉指示符(例如，投影在用户界面菜单图像22上方的红色圆圈、闪烁的和/或突出显示的用户界面图像等)。另一方面，如果方框122查询结果为否定(即，医师12的手12A位于感兴趣区域中，或位于感兴趣区域之外持续的时间小于阈值时段)，那么方法100返回到方框114。
图6是根据特定实施例的可另外和/或代替图4方法100中的方框111而使用的方法211的示意图。类似于图4的方框111，图6的方法211包括根据特定实施例的用于执行特定功能性(例如，方框106中所选择的功能性)的方法。在许多方面，图6的方法211类似于本文其他处描述的方框111。因此，为了简洁起见，本描述集中在方法211和方框111之间的差异上，以及本领域技术人员将了解到，可在方法211中使用本文其他处描述的方框111的技术。当方框106的查询结果(参考图4)为肯定时，方法211开始。方法211开始于可选方框212，所述可选方框212包括指示由于方框106的查询结果而选择的特定功能性。方框212可大致类似于上述方框112。
方法211接着继续到方框213，其涉及控制器30致使投影仪34将子菜单图像250投影到投影表面38上。子菜单图像250在投影表面38上的投影可(除了投影内容之外)大致类似于用户界面菜单图像22在投影表面38上的投影。图7示出了根据特定实施例的在方框213中可被投影到投影表面38上的示例性子菜单图像250。子菜单图像250包括多个子菜单图像分区252(各自为子菜单图像分区252A、252B、252C、252D、252E)。可使用手势(例如，医师12的手12A的手势)以类似于本文所述技术中的任一个的方式来选择子菜单图像分区252，以用于选择用户界面图像分区50。在图7中示出的所示实施例中，用户界面菜单图像22和子菜单图像250同时被投影，以及用户界面菜单图像22与突出显示的滚动功能性(用户界面图像分区50A)一起示出，尽管这些特征都不是必需的。在一些实施例中，在方法211期间未显示用户界面菜单图像22。在一些实施例中，在方法211期间显示用户界面菜单图像22，但所示出的用户界面菜单图像22的尺寸减小，或按照某一其他方式，允许相对于用户界面菜单图像22而强调子菜单图像250。在一些实施例中，在方法211期间仅显示用户界面菜单图像22的一部分(例如，对应于用户界面图像分区50中的选择的用户界面图像分区的图标)。
可以看出，图7实施例的子菜单图像250包括子菜单图像分区252A(对应于高量值/速度左功能性)、252B(对应于低量值/速度左功能性)、252C(对应于暂停功能性)、252D(对应于低量值/速度右功能性)以及252E(对应于高量值/速度右功能性)。如上文所讨论，可使用本文所述的基于手势的技术中的任一个来选择对应于子菜单图像分区中的每一个的功能性，以用于选择用户界面图像分区50。在方框214中，方法211涉及关于医师12是否已使用手势来选择子菜单图像分区252中的任一个和对应功能性的查询。如果方框214的查询结果为否定，那么方法211继续到方框222，所述方框222大致类似于上文结合图4和方框111所描述的方框122。如果方框214的查询结果为肯定，那么方法211继续到方框216，所述方框216涉及系统10实施方框106的选择的功能性以及方框214的选择的子菜单方向性和量值/速度。例如，在图7实例的情形中，方框106的选择的功能性是滚动功能性(对应于用户界面菜单分区50A)。如果在方框214中医师12使用手势来选择子菜单图像分区252E，那么，在方框216中，系统10可致使显示器24(图1)上所显示图像以相对快速的滚动速率(高量值)滚动向右或向上(方向性)。相反，如果在方框214中医师12使用手势来选择子菜单图像分区252B，那么，在方框216中，系统10可致使显示器24上所显示图像以相对低速的滚动速率(低量值)滚动向左或向下(方向性)。用以实施方法211的方框216的方法和技术可类似于本文所述的方法和技术中的任一个，例如，结合实施图4的方框116和/或方框120的动作。
在方框218中，方法211涉及检查是否保持选择方框214的子菜单图像分区252。如果医师12正继续选择特定子菜单图像分区252及其对应功能性(例如，通过使其手12A留在特定子菜单图像分区252上方，或以其他方式使用手势来选择特定子菜单图像分区252)，那么方框218的查询结果为肯定，且方法211循环返回到方框216，其中系统10继续实施对应的动作。如果医师12中断选择特定子菜单图像分区252及其对应功能性(例如，通过将其手12A移动远离子菜单图像250，或以其他方式使用手势来取消选择特定子菜单图像分区252)，那么方框218的查询结果为否定，且方法211继续到可选方框220。在可选方框220中，系统10可突出显示图7实施例的子菜单图像分区252C中示出的“暂停”图标。在可选方框220中用于突出显示暂停图标的技术可类似于本文描述的在可选方框112中用于指示选择的功能性的那些技术中的任一个。用于突出显示暂停图标的类似可选方框可位于方框214否分支和方框222之间。方法211可最终到达方框222，其提供的功能性类似于本文其他处描述的方框122的功能性。
本领域技术人员将了解，方法100的功能性(使用方框111和/或方法211来实施)提供在两个相对方向上的方向动作(例如，与方框116和方框120相关联的动作)。在一些实施例中，可提供不同数量的方向性用于特定的选择的动作。例如，在图2的用户界面菜单图像22中，用户界面图像(分区50B)中的一个对应于平移，其可包括在两个以上的相对方向上平移。在此情形中，可通过提供以下行为来修改图4的方法100：类似于方框114、方框118的查询的额外查询，但除了额外(例如，第三和第四)方向之外；以及类似于方框116、方框120的动作的对应额外动作，但除了此类额外方向之外。在此类实施例中，可在图3C的示意图中提供额外方向区。类似地，可在方法211中使用额外的子菜单图像分区252以提供此类额外方向。
为了选择用户界面图像分区50及其对应功能性，系统10为医师12提供菜单式交互。应该理解的是，在一些实施例中，可提供“下钻”型菜单交互，其中与特定用户界面图像分区50相关联的“功能性”将致使控制器30使投影仪34显示用户界面子图像，其中用户界面子图像包括一组新的具有对应图形和/或文本图标和对应功能性的用户界面子图像图像分区。应该理解的是，可按此方式来实施多层级的子菜单。可修改方法100以提供此类功能性，例如通过提供类似于方框106的查询的多层级查询，且在每次连续检测到选择手势时，显示对应的用户界面子图像包括一组新的用户界面图像分区。
在一些实施例中，作为方法100的一部分的动作的方向性并非必需的。例如，选择与用户界面图像分区50中的一个或用户界面子图像分区中的一个相关联的功能性中的一个特定功能性可能就足够了。在此类实施例中，可由涉及执行选择的动作的方框来替代或增强(例如，通过增加)方框111和/或方法211，而无需考虑方向性。以非限制性实例的方式，在一些实施例中，用户界面子图像分区可与以下功能性相关联：回放当前视频剪辑或将一序列后续数量(例如，300)个图像动画处理成视频剪辑并对其进行回放。如果选择此类用户界面子图像分区，那么方法100的方框111可包括回放该视频剪辑而无需查询方向性，且接着在回放该视频剪辑之后继续到方框122。
如上所述，控制器30致使投影仪34将用户界面菜单图像22投影到投影表面38上，所述投影表面38位于无菌环境16中且适于医师12观察并交互。在一些实施例中，投影表面38可包括患者14位于其上的手术台28的一部分28A的大体水平表面。医师12可通过在手术台28的部分28A和用户界面设备26之间的空间68中使用其一只(或两只)手12A来做手势而与系统10交互，且可基于医师的手12A相对于投影用户界面菜单图像22和/或相对于用户界面菜单图像22投影于其上的投影表面38的位置来解释此类手势。在一些实施例中，系统10可调整投影用户界面菜单图像22的尺寸(基于通过TOF成像系统32所获取的数据)，使得投影用户界面菜单图像22配合手术台28的部分28A(例如，不会与手术台边缘交叉)。例如，控制器30可解释TOF成像系统32所捕获的数据以定位手术台28的边缘(例如，通过手术台28和边缘另一侧上的地板之间的高度的急剧变化)。控制器30接着可致使投影仪34调整用户界面菜单图像22(如所投影)的尺寸以配合手术台28的部分28A。
尽管通常是水平的，但在投影表面38包括手术台28的一部分28A的实施例中，投影表面38可为不规则的(例如，非平面的或通常但非完全水平)。投影表面38的此不规则性可能是由于患者身体的存在、任何投影表面(例如，手术台)覆盖物的状态、医疗仪器的存在等。在一些实施例中，系统10可基于检测到的投影表面38的不规则性来补偿投影用户界面图像22。例如，控制器30可基于TOF成像系统32所获取的信息来确定投影表面38的3D轮廓，且可使用此类3D轮廓来致使投影仪34调整用户界面菜单图像22的投影，从而补偿表面不规则性。在一些实施例中，系统10可调整投影用户界面图像以补偿投影表面38的反射率和/或颜色。例如，控制器30可基于TOF成像系统32所获取的数据或通过某一其他适当的成像系统(未示出)(例如，彩色相机等)来估计投影表面38的反射率或颜色。控制器30接着可使用此信息来致使投影仪34调整用户界面菜单图像22的投影，从而补偿投影表面38的反射率和/或颜色。
在一些实施例中，可期望调整TOF成像系统32的合成时间以补偿其辐射源64(参考图3A)对其感测体积60的不规则照明。调整TOF成像系统32的合成时间对应于调整在检测器66处接收的辐射量。出于此目的，空间68可以抽象地分成如图5A中所示且如，例如由如图5A中的虚线所示的适当径向坐标阈值所描绘的三个横截面的感兴趣区域140、142、144。在图5A的所示实施例中，中心区域140为圆形横截面，以及区域142、区域144为环形横截面且这些区域与轴线69同心。应该理解的是，在其他实施例中，可以使用其他数量和/或配置的感兴趣区域。在一些实施例中，系统10可以定位或跟踪医师12的手12A的3D位置，并且可以基于以下项补偿TOF成像系统32的合成时间：手12A所处的感兴趣区域(例如，区域140、区域142或区域144)；以及沿着手12A和TOF成像系统32之间的轴线69(或手12A和与TOF成像系统32相关联的参考位置(例如，坐标系统原点)之间)的距离(例如，高度)h。图5A中示出了位于区域142中的示例性手12A。图3A中示出了沿着手12A和与TOF成像系统32相关联的参考位置之间的轴线69的示例性距离h。
在一些实施例中，这两个输入可以用作基于一个或多个查找表而确定适当合成时间的基础。图5B中提供可以用作此类查找表的基础的适当曲线图。具体地，确定手12A所处的感兴趣区域(例如，140、142、144)可以用作在对应于以下项的曲线图的查找表之间做出选择的基础：(i)中心感兴趣区域140、(ii)环形感兴趣区域142；以及(iii)环形感兴趣区域144。一旦选择了曲线图，就可以基于手12A相距与TOF成像系统32相关联的参考位置的距离h来选择用于提供合成时间的特定曲线图，即，每个曲线图的y轴提供距离h以及每个曲线图的x轴提供对应的合成时间。
本文所述的一些实施例采用手12A的相对较小的移动。这在以下情形中可能是有利的：无菌环境16中存在相对较大数量的个人(图1)和/或医师12在手术期间穿戴重铅衣服。本文所述的一些实施例采用将用户界面图像投影到面朝上、大致水平表面上的天花板安装系统。因为此定向可能不需要医师12查找患者并面向具有跨手术台28的垂直屏幕的监视器来做出手势，并且可以避免无菌环境16中的其他物体或工具阻塞TOF成像系统，且通常可以避免干扰无菌环境16中的其他物体或工具，所以此定向可能是有利的。
本发明的某些实施方案包括计算机和/或计算机处理器，其执行使该计算机和/或处理器执行本发明的方法的软件指令。例如，计算机系统中的一个或多个处理器可以通过执行从处理器可访问的程序存储器检索到的软件指令来实施本文所述的方法中的数据处理步骤。也可以程序产品的形式提供本发明。该程序产品可以包括携带一组计算机可读信号的任何媒介，所述一组计算机可读信号包括当由数据处理器执行时使数据处理器执行本发明的方法的指令。根据本发明的程序产品可以呈多种形式中的任一种形式。该程序产品可以包括，例如，物理(非暂时性)媒介，诸如包括软盘、硬盘驱动器的磁性数据存储媒介、包括CDROM、DVD的光学数据存储媒介、包括ROM、闪速RAM的电子数据存储媒介等。指令可以加密和/或压缩格式存在于程序产品上。
当上文引用部件(例如，软件模块、控制器、处理器、组件、设备、部件、电路等)时，除非另有指示，否则对该部件的引用(包括对“装置”的引用)应该解释为包括执行所述的部件的功能(即，功能上等价)的任何部件作为该部件的等价物，该任何部件包括在结构上不等价于执行本发明的所示示例性实施例中的功能的所公开结构的部件。
虽然本文讨论了许多示例性方面和实施例，但是本领域技术人员会认识到某些修改、排列、添加及其子组合。例如：
·可以由系统10显示在显示器24上的医学相关信息通常可以包括任何类型的信息。在一些实施例中，此医学相关信息可以包括正执行手术的患者14的图像。可以在手术之前或期间获取此类图像，且一般来说，不限制用于获取此类图像的技术类型。以非限制性实例的方式，此类图像可以通过X射线、计算机断层摄影(CT)扫描、磁共振成象(MRI)、超声波、内窥镜检查、弹性成像、热敏成像法、正电子发射断层成像等来获取。在一些实施例中，一些此类图像可以被组合在一起以提供视频剪辑。如本文所使用，应该将图像理解为包括视频剪辑。
·在图4的方法100中，用于执行特定功能性的方向性、量值和/或速度的手势不限于上述手势并且可以包括TOF成像系统32可辨别的任何适当的手势。以非限制性实例的方式，如果医师12将其手12A相对于TOF成像系统32在一个方向上移动，那么滚动功能性可更快地滚动，且如果医师12将其手12A相对于TOF成像系统32在相反方向上移动，那么滚动功能性可更慢地滚动。
·在上述一些实施例中，关于投影表面38描述由系统10用于辨别手势或其他的距离和阈值。在一些实施例中，系统10可以配置成将病床28与TOF成像系统32的感测体积中的其他物体辨别开来，并且除设定相对于投影表面38的此类阈值和距离之外还可以设定相对于病床28的表面(或表面的估计值)的此类阈值和距离。
·实施例在本文中被描述为解释医师12使用其手12A做出的手势。并非明确地需要使用手12A。系统10可以配置成解释医师12使用诸如医师12持有的仪器、医师12的另一个手臂、医师12的手指等其他物体做出的3D手势。
·在一些实施例中，控制器30可以(在来自TOF成像系统32的3D图像的帮助下)辨别其他手势(例如，基于手指的手势)，该其他手势并不涉及医师12与用户界面菜单图像22的交互。当这样辨别时，此类其他手势可以用于提供添加或替代功能性。
·在上述实施例中，系统10限定并且辨识基于手掌向下运动的手势表。在一些实施例中，可对此手势表做出添加或其他更改。
虽然上文已经讨论了许多示例性方面和实施例，但是本领域技术人员将认识到某些修改、排列、添加及其子组合。因此期望以下所附权利要求书和下文介绍的权利要求书应理解为包括在其真正精神和范围内的所有此类修改、排列、添加及其子组合。

Claims (76)

1.一种用于允许医师在医疗手术期间与医学相关信息交互的系统，所述系统包括：
投影仪，其用于将用户界面菜单图像投影到投影表面上；
三维光学成像系统，其用于捕捉包括所述投影表面的感测体积中的物体的三维位置信息；以及
控制器，其被连接以接收来自所述三维光学成像系统的所述三维位置信息并且所述控制器配置成至少部分基于手势相对于所述投影的用户界面菜单图像的位置来解释所述一个或多个手势，所述手势由所述医师在所述三维光学成像系统和所述投影表面之间的空间中做出；并且
其中所述控制器可连接至显示器以使所述显示器呈现图像，并且配置成使所述显示器呈现包括医学相关信息的图像，所述图像和所述医学相关信息中的至少一个至少部分基于解释的手势。
2.根据权利要求1或本文中任一其他权利要求所述的系统，其中投影仪、所述三维光学成像系统和所述显示器位于正在其中执行所述医疗手术的无菌环境中。
3.根据权利要求1至2中任一权利要求或本文中任一其他权利要求所述的系统，其中所述投影表面包括大致水平表面。
4.根据权利要求1至3中任一权利要求或本文中任一其他权利要求所述的系统，其中所述投影表面包括正在进行所述医疗手术的所述患者位于其上的手术台的一部分。
5.根据权利要求1至3中任一权利要求或本文中任一其他权利要求所述的系统，其中所述投影表面包括夹持所述医疗手术中使用的仪器的边桌的大致水平表面。
6.根据权利要求1至5中任一权利要求或本文中任一其他权利要求所述的系统，其中由所述医师做出的所述手势包括由所述医师的至少一只手做出的移动。
7.根据权利要求1至6中任一权利要求或本文中任一其他权利要求所述的系统，其中所述控制器配置成至少部分基于接收自所述三维光学成像系统的所述三维位置信息将所述手势解释为包括多个手势的手势表中的特定手势。
8.根据权利要求1至7中任一权利要求或本文中任一其他权利要求所述的系统，其中所述用户界面菜单图像包括多个用户界面图像分区，每个用户界面图像分区占用所述用户界面菜单图像的不同部分并且与对应功能性相关联。
9.根据权利要求8或本文中任一其他权利要求所述的系统，其中每个用户界面图像分区包括与其对应功能性相关联的显示的图形和/或文本。
10.根据权利要求8至9中任一权利要求或本文中任一其他权利要求所述的系统，其中基于由所述三维光学成像系统捕捉的所述位置信息，所述控制器配置成将由所述医师做出的特定手势解释为基于所述手势在所述多个用户界面图像分区中的特定一个用户界面图像分区上方的位置对所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性的选择。
11.根据权利要求8至10中任一权利要求或本文中任一其他权利要求所述的系统，其中基于由所述三维光学成像系统捕捉的所述位置信息，所述控制器配置成将由所述医师做出的特定手势解释为基于所述手势与所述多个用户界面图像分区中的一个特定用户界面图像分区的接近性对所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性的选择。
12.根据权利要求10至11中任一权利要求或本文中任一其他权利要求所述的系统，其中基于由所述三维光学成像系统捕捉的所述位置信息且在将所述医师做出的手势解释为对所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性的所述选择之后，所述控制器配置成将由所述医师做出的一个或多个进一步手势解释为包括一个或多个对应命令，以与显示在所述显示器上的所述医学相关信息交互并且使所述显示器对呈现在所述显示器上的所述医学相关信息执行所述一个或多个对应命令。
13.根据权利要求12或本文中任一其他权利要求所述的系统，其中所述控制器配置成通过以下做法将由所述医师做出的所述一个或多个进一步手势解释为包括一个或多个对应命令：
使所述投影仪将子菜单图像投影到所述投影表面上，所述子菜单图像包括多个子菜单图像分区，每个子菜单图像分区占用与所述一个或多个对应命令中的一个对应命令相关联的所述子菜单图像的不同部分；以及
将由所述医师做出的所述一个或多个进一步手势解释为包括基于所述一个或多个进一步手势相对于所述子菜单界面分区中的一个特定子菜单界面分区的位置对所述子菜单界面分区中的一个特定子菜单界面分区和所述一个或多个对应命令中的一个对应命令的选择。
14.根据权利要求13或本文中任一其他权利要求所述的系统，其中每个子菜单图像分区包括与所述一个或多个对应命令中的对应命令相关联的显示的图形和/或文本。
15.根据权利要求13至14中任一权利要求或本文中任一其他权利要求所述的系统，其中所述控制器配置成将由所述医师做出的所述一个或多个进一步手势解释为包括基于所述一个或多个进一步手势在所述子菜单界面分区中的一个特定子菜单界面分区上方的所述位置对所述子菜单界面分区中的一个特定子菜单界面分区和所述一个或多个对应命令中的一个对应命令的所述选择。
16.根据权利要求13至15中任一权利要求或本文中任一其他权利要求所述的系统，其中所述控制器配置成将由所述医师做出的所述一个或多个进一步手势解释为包括基于所述一个或多个进一步手势与所述子菜单界面分区中的一个特定子菜单界面分区的接近性对所述子菜单界面分区中的一个特定子菜单界面分区和所述一个或多个对应命令中的一个对应命令的所述选择。
17.根据权利要求12至16中任一权利要求或本文中任一其他权利要求所述的系统，其中所述一个或多个对应命令包括用于放大显示在所述显示器上的图像的放大命令和用于缩小显示在所述显示器上的图像的缩小命令。
18.根据权利要求12至17中任一权利要求或本文中任一其他权利要求所述的系统，其中所述一个或多个对应命令包括在第一方向上滚过要显示在所述显示器上的图像的滚动和在第二方向上滚过要显示在显示器上的图像的滚动。
19.根据权利要求12至17中任一权利要求或本文中任一其他权利要求所述的系统，其中所述一个或多个对应命令包括围绕显示在所述显示器上的图像在各个方向上平移。
20.根据权利要求12至19中任一权利要求所述的系统，其中所述一个或多个对应命令包括第一方向命令和与所述第一方向命令相反的方向上的第二方向命令。
21.根据权利要求20或本文中任一其他权利要求所述的系统，其中所述第一方向命令与第一方向上的第一手势相关联并且所述第二方向命令与第二方向上的第二手势相关联，所述第一方向和第二方向大致彼此相反。
22.根据权利要求21或本文中任一其他权利要求所述的系统，其中基于由所述三维光学成像系统捕捉的所述位置信息，所述控制器配置成基于与所述第一方向上的所述手势相关联的移动量、所述第一方向上的所述手势的位置以及所述第一方向上的所述手势的速度中的至少一个确定与所述第一手势相关联的量值度量。
23.根据权利要求22或本文中任一其他权利要求所述的系统，其中所述控制器配置成使所述显示器基于所述量值度量对呈现在所述显示器上的所述医学相关信息执行所述一个或多个对应命令。
24.根据权利要求13至19中任一权利要求或本文中任一其他权利要求所述的系统，其中所述一个或多个对应命令中的每个命令包括方向性和量值度量，且其中所述控制器配置成使所述显示器基于所述一个或多个对应命令中的所述对应命令的所述方向性和所述量值度量对呈现在所述显示器上的所述医学相关信息执行所述一个或多个对应命令中的所述对应命令。
25.根据权利要求10至24中任一权利要求或本文中任一其他权利要求所述的系统，其中所述特定手势包括将所述医师的一只手移动至在所述投影表面的阈值距离内的位置。
26.根据权利要求25或本文中任一其他权利要求所述的系统，其中所述阈值距离相对于与所述投影表面相关联的参考点而确定，所述参考点包括所述投影表面上最接近所述三维光学成像系统的点。
27.根据权利要求25或本文中任一其他权利要求所述的系统，其中所述阈值距离相对于与所述投影表面相关联的参考点而确定，所述参考点包括所述投影表面上的多个点的平均值。
28.根据权利要求25或本文中任一其他权利要求所述的系统，其中所述阈值距离基于在所述感测体积中病床的检测相对于所述投影表面的所述位置的估计值而确定。
29.根据权利要求10至28中任一权利要求或本文中任一其他权利要求所述的系统，其中在将由所述医师做出的所述特定手势解释为对所述多个用户界面图像分区中的所述特定用户界面图像分区和所述对应功能性的所述选择之后，所述控制器配置成使所述投影仪在所述用户界面菜单图像中投影指示，所述指示即选择了所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性。
30.根据权利要求29或本文中任一其他权利要求所述的系统，其中所述控制器配置成使所述投影仪在所述用户界面菜单图像中投影所述指示，并且配置成将包括所述指示的所述用户界面菜单图像的一部分投影到以下中的一个或多个之上：所述医师的身体的一部分；以及所述医师使用的仪器。
31.根据权利要求1至30中任一权利要求或本文中任一其他权利要求所述的系统，其中所述投影表面包括不规则的(例如，非平面的或大致水平但不完全水平的)表面轮廓，且其中基于由所述三维光学成像系统捕捉的所述位置信息，所述控制器配置成使所述投影仪调整所述用户界面菜单图像的所述投影以补偿所述投影表面的所述不规则表面轮廓。
32.根据权利要求31或本文中任一其他权利要求所述的系统，其中基于由所述三维光学成像系统捕捉的位置信息，所述控制器配置成产生所述投影表面的所述不规则表面轮廓的模型并且使所述投影仪基于所述模型调整所述用户界面菜单图像的所述投影。
33.根据权利要求31至32中任一权利要求或本文中任一其他权利要求所述的系统，其中所述投影表面的所述不规则表面轮廓包括以下中的一个或多个：由于患者身体的存在引起的不规则性；由于手术台覆盖物(例如，台布)的存在引起的不规则性；以及由于一个或多个医疗仪器的存在引起的不规则性。
34.根据权利要求1至33中任一权利要求或本文中任一其他权利要求所述的系统，其中所述控制器配置成使所述显示器至少部分基于所述解释的手势呈现来自包括医学相关信息的多个图像中的包括医学相关信息的特定图像。
35.根据权利要求1至34中任一权利要求或本文中任一其他权利要求所述的系统，其中所述控制器配置成基于指示以下中的至少一个的测量数据来调整所述用户界面菜单图像的所述投影：所述投影表面的反射率；以及所述投影表面的颜色。
36.根据权利要求1至35中任一权利要求所述的系统，其包括本文所公开的任何其他特征、特征子组合的特征组合。
37.一种用于允许医师在医疗手术期间与医学相关信息交互的方法，所述方法包括：
将用户界面菜单图像投影到投影表面上；
捕捉包括所述投影表面的感测体积中的物体的三维位置信息；
至少部分基于由所述医师做出的手势相对于所述投影用户界面菜单图像的位置将所述三维位置信息解释为包括所述一个或多个手势；以及
使显示器呈现包括医学相关信息的图像，所述图像和所述医学相关信息中的至少一个至少部分基于解释的手势。
38.根据权利要求37或本文中任一其他权利要求所述的方法，其中所述投影表面包括大致水平表面。
39.根据权利要求37至38中任一权利要求或本文中任一其他权利要求所述的方法，其中所述投影表面包括正进行所述医疗手术的所述患者位于其上的手术台的一部分。
40.根据权利要求37至39中任一权利要求或本文中任一其他权利要求所述的方法，其中由所述医师做出的所述手势包括由所述医师的至少一只手做出的移动。
41.根据权利要求37至40中任一权利要求或本文中任一其他权利要求所述的方法，其中包括至少部分基于所述三维位置信息将所述手势解释为来自包括多个手势的手势表中的特定手势。
42.根据权利要求37至41中任一权利要求或本文中任一其他权利要求所述的方法，其中所述用户界面菜单图像包括多个用户界面图像分区，每个用户界面图像分区占用所述用户界面菜单图像的不同部分并且与对应功能性相关联。
43.根据权利要求42或本文中任一其他权利要求所述的方法，其包括，对于每个用户界面图像分区而言，将与其对应功能性相关联的图形和/或文本投影到所述投影表面上。
44.根据权利要求42至43中任一权利要求或本文中任一其他权利要求所述的方法，其包括基于所述三维位置信息，将由所述医师做出的特定手势解释为基于所述手势在所述多个用户界面图像分区中的一个特定用户界面图像分区上方的位置对所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性的选择。
45.根据权利要求42至44中任一权利要求或本文中任一其他权利要求所述的方法，其包括，基于所述三维位置信息，将由所述医师做出的特定手势解释为基于所述手势与所述多个用户界面图像分区中的一个特定用户界面图像分区的接近性对所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性的选择。
46.根据权利要求44至45中任一权利要求或本文中任一其他权利要求所述的方法，其包括，基于所述三维位置信息且在将由所述医师做出的手势解释为对所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性的所述选择之后，将由所述医师做出的一个或多个进一步手势解释为包括一个或多个对应命令，以与显示在所述显示器上的所述医学相关信息交互并且使所述显示器对呈现在所述显示器上的所述医学相关信息执行所述一个或多个对应命令。
47.根据权利要求46或本文中任一其他权利要求所述的方法，其包括通过以下做法将由所述医师做出的所述一个或多个进一步手势解释为包括一个或多个对应命令：
将子菜单图像投影到所述投影表面上，所述子菜单图像包括多个子菜单图像分区，每个子菜单图像分区占用与所述一个或多个对应命令中的对应命令相关联的所述子菜单图像的不同部分；以及
将由所述医师做出的所述一个或多个进一步手势解释为包括基于所述一个或多个进一步手势相对于所述子菜单界面分区中的一个特定子菜单界面分区的位置对所述子菜单界面分区中的一个特定子菜单界面分区和所述一个或多个对应命令中的一个对应命令的选择。
48.根据权利要求47或本文中任一其他权利要求所述的方法，其包括，对于每个子菜单图像分区而言，显示与所述一个或多个对应命令中的对应命令相关联的图形和/或文本。
49.根据权利要求47至48中任一权利要求或本文中任一其他权利要求所述的方法，其包括将由所述医师做出的所述一个或多个进一步手势解释为包括基于所述一个或多个进一步手势在所述子菜单界面分区中的一个特定子菜单界面分区上方的所述位置对所述子菜单界面分区中的一个特定子菜单界面分区和所述一个或多个对应命令中的一个对应命令的所述选择。
50.根据权利要求47至49中任一权利要求或本文中任一其他权利要求所述的方法，其包括将由所述医师做出的所述一个或多个进一步手势解释为包括基于所述一个或多个进一步手势与所述子菜单界面分区中的一个特定子菜单界面分区的接近性对所述子菜单界面分区中的一个特定子菜单界面分区和所述一个或多个对应命令中的一个对应命令的所述选择。
51.根据权利要求46至50中任一权利要求或本文中任一其他权利要求所述的方法，其中所述一个或多个对应命令包括用于放大显示在所述显示器上的图像的放大命令和用于缩小显示在所述显示器上的图像的缩小命令。
52.根据权利要求46至51中任一权利要求或本文中任一其他权利要求所述的方法，其中所述一个或多个对应命令包括在第一方向上滚过显示在所述显示器上的图像的滚动和在第二方向上滚过显示在显示器上的图像的滚动。
53.根据权利要求46至52中任一权利要求或本文中任一其他权利要求所述的方法，其中所述一个或多个对应命令包括围绕显示在所述显示器上的图像在各个方向上平移。
54.根据权利要求46至53中任一权利要求所述的方法，其中所述一个或多个对应命令包括第一方向命令和与所述第一方向命令相反的方向上的第二方向命令。
55.根据权利要求54或本文中任一其他权利要求所述的方法，其中所述第一方向命令与第一方向上的第一手势相关联并且所述第二方向命令与第二方向上的第二手势相关联，所述第一方向和所述第二方向大致彼此相反。
56.根据权利要求55或本文中任一其他权利要求所述的方法，基于所述三维位置信息，所述方法包括基于与所述第一方向上的所述手势相关联的移动量、所述第一方向上的所述手势的位置以及所述第一方向上的所述手势的速度中的至少一个确定与所述第一手势相关联的量值度量。
57.根据权利要求56或本文中任一其他权利要求所述的方法，其包括使所述显示器基于所述量值度量对呈现在所述显示器上的所述医学相关信息执行所述一个或多个对应命令。
58.根据权利要求47至53中任一权利要求或本文中任一其他权利要求所述的方法，其中所述一个或多个对应命令中的每个命令包括方向性和量值度量，且其中所述方法包括使所述显示器基于所述一个或多个对应命令中的一个对应命令的所述方向性和所述量值度量对呈现在所述显示器上的所述医学相关信息执行所述一个或多个对应命令中的一个对应命令。
59.根据权利要求44至58中任一权利要求或本文中任一其他权利要求所述的方法，其中所述特定手势包括将所述医师的一只手移动至在所述投影表面的阈值距离内的位置。
60.根据权利要求44至59中任一权利要求或本文中任一其他权利要求所述的方法，在将由所述医师做出的所述特定手势解释为对所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性的所述选择之后，所述方法使所述投影仪在所述用户界面菜单图像中投影指示，所述指示即选择所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性。
61.根据权利要求60或本文中任一其他权利要求所述的方法，其包括使所述投影仪在所述用户界面菜单图像中投影所述指示并且将包括所述指示的所述用户界面菜单图像的一部分投影至以下中的一个或多个之上：所述医师的身体的一部分；以及所述医师使用的仪器。
62.根据权利要求37至61中任一权利要求或本文中任一其他权利要求所述的方法，其包括使所述显示器至少部分基于所述解释的手势呈现来自包括医学相关信息的多个图像中的包括医学相关信息的特定图像。
63.根据权利要求37至62中任一权利要求或本文中任一其他权利要求所述的方法，其包括基于指示以下各个中的至少一个的测量数据调整所述用户界面菜单图像的所述投影：所述投影表面的反射率；以及所述投影表面的颜色。
64.根据权利要求37至63中任一权利要求所述的方法，其包括本文所公开的任何其他特征、特征子组合的特征组合。
65.一种用于执行外科手术的系统，所述系统包括：
投影仪，其用于将用户界面菜单图像投影到投影表面上；以及
三维光学成像系统，其用于捕捉包括所述投影表面的感测体积中的物体的三维位置信息；
控制器，其被连接以接收来自所述三维光学成像系统的所述三维位置信息并且配置成基于手势相对于所述投影用户界面菜单图像的位置来解释所述一个或多个手势，所述手势由所述医师在所述三维光学传感器和所述投影表面之间的空间中做出；以及
显示器；
其中连接所述控制器以使所述显示器上显示图像并且配置成在所述显示器上显示包括医学相关信息的图像，所述医学相关信息至少部分基于所述解释的手势。
66.根据权利要求65或本文中任一其他权利要求所述的系统，其包括权利要求1至36或本文中任一其他权利要求所述的任何其他特征、特征子组合的特征组合。
67.根据权利要求65至66中任一权利要求所述的系统，其包括本文所公开的任何其他特征、特征子组合的特征组合。
68.一种用于执行外科手术的方法，所述方法包括：
将用户界面菜单图像投影到投影表面上；
捕捉包括所述投影表面的感测体积中的物体的三维位置信息；
基于由所述医师做出的手势相对于所述投影用户界面菜单图像的位置将所述三维位置信息解释为包括所述一个或多个手势；以及
显示包括医学相关信息的图像，所述图像至少部分基于所述解释的手势。
69.根据权利要求68或本文中任一其他权利要求所述的方法，其包括权利要求37至64或本文中任一其他权利要求所述的任何其他特征、特征子组合的特征组合。
70.根据权利要求68至69中任一权利要求所述的方法，其包括本文所公开的任何其他特征、特征子组合的特征组合。
71.一种用于允许医师在医疗手术期间与医学相关信息交互的系统，所述系统包括：
投影仪，其用于将用户界面菜单图像投影到投影表面上；以及
三维光学成像系统，其用于捕捉包括所述投影表面的感测体积中的物体的三维位置信息；
控制器，其被连接以接收来自所述三维光学成像系统的所述三维位置信息并且配置成基于手势相对于所述投影用户界面菜单图像的位置来解释所述一个或多个手势，所述手势由所述医师在所述三维光学成像系统和所述投影表面之间的空间中做出；以及
显示器；
其中连接所述控制器以使所述显示器上显示图像并且配置成在所述显示器上显示包括医学相关信息的图像，所述医学相关信息至少部分基于所述解释的手势。
72.根据权利要求71或本文中任一其他权利要求所述的系统，其包括权利要求1至35或本文中任一其他权利要求所述的任何其他特征、特征子组合的特征组合。
73.根据权利要求71至72中任一权利要求所述的系统，其包括本文所公开的任何其他特征、特征子组合的特征组合。
74.一种用于允许医师在医疗手术期间与医学相关信息交互的方法，所述方法包括：
将用户界面菜单图像投影到投影表面上；
捕捉包括所述投影表面的感测体积中的物体的三维位置信息；
基于由所述医师做出的手势相对于所述投影用户界面菜单图像的位置将所述三维位置信息解释为包括所述一个或多个手势；以及
显示包括医学相关信息的图像，所述图像至少部分基于所述解释的手势。
75.根据权利要求74或本文中任一其他权利要求所述的方法，其包括权利要求37至64或本文中任一其他权利要求所述的任何其他特征、特征子组合的特征组合。
76.根据权利要求74至75中任一权利要求所述的方法，其包括本文公开的任何其他特征、特征子组合的特征组合。
CN201580052437.2A 2014-08-15 2015-08-13 用于执行医疗手术并且用于访问和/或操纵医学相关信息的方法和系统 Expired - Fee Related CN106922190B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462038157P 2014-08-15 2014-08-15
US62/038,157 2014-08-15
PCT/CA2015/050764 WO2016023123A1 (en) 2014-08-15 2015-08-13 Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information

Publications (2)

Publication Number Publication Date
CN106922190A true CN106922190A (zh) 2017-07-04
CN106922190B CN106922190B (zh) 2020-09-18

Family

ID=55303733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580052437.2A Expired - Fee Related CN106922190B (zh) 2014-08-15 2015-08-13 用于执行医疗手术并且用于访问和/或操纵医学相关信息的方法和系统

Country Status (6)

Country Link
US (1) US10403402B2 (zh)
EP (1) EP3180721A4 (zh)
JP (1) JP2017533487A (zh)
CN (1) CN106922190B (zh)
CA (1) CA2993876C (zh)
WO (1) WO2016023123A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110507337A (zh) * 2019-08-28 2019-11-29 上海联影医疗科技有限公司 一种医学设备控制系统、医学设备控制方法及装置
CN111200971A (zh) * 2017-10-11 2020-05-26 通用医疗梅拉泰股份公司 用于控制使用该系统的放射设备的机动部件的至少一个移动的系统
CN112074235A (zh) * 2018-05-10 2020-12-11 美国西门子医疗系统股份有限公司 用于病床的视觉指示器系统
CN112220562A (zh) * 2019-07-15 2021-01-15 数字外科有限公司 手术期间使用计算机视觉增强手术工具控制的方法和系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10722200B2 (en) * 2015-06-04 2020-07-28 Siemens Healthcare Gmbh Apparatus and methods for a projection display device on X-ray imaging devices
CN109496331B (zh) * 2016-05-20 2022-06-21 奇跃公司 用户界面菜单的情景感知
CN109310480B (zh) * 2016-07-14 2021-11-05 直观外科手术操作公司 用于远程操作医疗系统中的屏幕菜单的系统和方法
JPWO2018087977A1 (ja) * 2016-11-08 2019-09-26 ソニー株式会社 情報処理装置、情報処理方法、プログラム
US10331276B2 (en) * 2016-12-30 2019-06-25 Intel Corporation Projected interactive display surface interactivity determination
CA3052869A1 (en) 2017-02-17 2018-08-23 Nz Technologies Inc. Methods and systems for touchless control of surgical environment
EP3621548A1 (en) * 2017-06-08 2020-03-18 Medos International Sàrl User interface systems for sterile fields and other working environments
US10506224B2 (en) * 2017-11-07 2019-12-10 Oriental Institute Of Technology Holographic three dimensional imaging projecting medical apparatus
DE102017127791A1 (de) 2017-11-24 2019-05-29 Aesculap Ag Medizinisches Steuersystem und medizinischer Sterilraum mit Steuersystem
US20190215460A1 (en) * 2018-01-09 2019-07-11 Osram Sylvania Inc. User Interface for Control of Building System Components
WO2019202982A1 (ja) * 2018-04-19 2019-10-24 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
US10936163B2 (en) 2018-07-17 2021-03-02 Methodical Mind, Llc. Graphical user interface system
EP3998106A1 (en) 2018-12-17 2022-05-18 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for determining a region of interest of a subject
JP2021071894A (ja) * 2019-10-30 2021-05-06 三菱電機株式会社 操作装置、操作方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090228841A1 (en) * 2008-03-04 2009-09-10 Gesture Tek, Inc. Enhanced Gesture-Based Image Manipulation
US20110181553A1 (en) * 2010-01-04 2011-07-28 Microvision, Inc. Interactive Projection with Gesture Recognition
US20130321346A1 (en) * 2012-05-31 2013-12-05 Opportunity Partners Inc. Interactive Surface
CN103705262A (zh) * 2012-10-05 2014-04-09 西门子公司 用于近距离治疗的导航设备和用于操作该导航设备的方法
CN103902035A (zh) * 2012-12-24 2014-07-02 财团法人工业技术研究院 三维互动装置及其操控方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
CN101313269A (zh) 2005-11-25 2008-11-26 皇家飞利浦电子股份有限公司 图像的非接触操作
EP2017756A1 (de) * 2007-07-20 2009-01-21 BrainLAB AG Verfahren zur Anzeige und/oder Bearbeitung bzw. Verarbeitung von Bilddaten medizinischen oder medizintechnischen Ursprungs mit Gestenerkennung
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
CA2831618A1 (en) * 2011-03-28 2012-10-04 Gestsure Technologies Inc. Gesture operated control for medical information systems
JP5834690B2 (ja) * 2011-09-22 2015-12-24 カシオ計算機株式会社 投影装置、投影制御方法及びプログラム
JP5966535B2 (ja) 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
EP2867757A4 (en) * 2012-06-30 2015-12-23 Intel Corp 3D GRAPHIC USER INTERFACE
US9369658B2 (en) * 2014-01-20 2016-06-14 Lenovo (Singapore) Pte. Ltd. Image correction of surface projected image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090228841A1 (en) * 2008-03-04 2009-09-10 Gesture Tek, Inc. Enhanced Gesture-Based Image Manipulation
US20110181553A1 (en) * 2010-01-04 2011-07-28 Microvision, Inc. Interactive Projection with Gesture Recognition
US20130321346A1 (en) * 2012-05-31 2013-12-05 Opportunity Partners Inc. Interactive Surface
CN103705262A (zh) * 2012-10-05 2014-04-09 西门子公司 用于近距离治疗的导航设备和用于操作该导航设备的方法
CN103902035A (zh) * 2012-12-24 2014-07-02 财团法人工业技术研究院 三维互动装置及其操控方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUSTIN H.TAN ET AL.: "Developing a Touchless User Interface for Intraoperative Image Control during Interventional Radiology Procedures", 《RADIO GRAPHICS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111200971A (zh) * 2017-10-11 2020-05-26 通用医疗梅拉泰股份公司 用于控制使用该系统的放射设备的机动部件的至少一个移动的系统
CN111200971B (zh) * 2017-10-11 2023-08-01 通用医疗梅拉泰股份公司 用于控制使用该系统的放射设备的机动部件的至少一个移动的系统
CN112074235A (zh) * 2018-05-10 2020-12-11 美国西门子医疗系统股份有限公司 用于病床的视觉指示器系统
US11911195B2 (en) 2018-05-10 2024-02-27 Siemens Medical Solutions Usa, Inc. Visual indicator system for patient bed
CN112220562A (zh) * 2019-07-15 2021-01-15 数字外科有限公司 手术期间使用计算机视觉增强手术工具控制的方法和系统
CN110507337A (zh) * 2019-08-28 2019-11-29 上海联影医疗科技有限公司 一种医学设备控制系统、医学设备控制方法及装置

Also Published As

Publication number Publication date
JP2017533487A (ja) 2017-11-09
US20170228104A1 (en) 2017-08-10
US10403402B2 (en) 2019-09-03
EP3180721A1 (en) 2017-06-21
EP3180721A4 (en) 2018-04-04
CN106922190B (zh) 2020-09-18
WO2016023123A1 (en) 2016-02-18
CA2993876A1 (en) 2016-02-18
CA2993876C (en) 2023-03-07

Similar Documents

Publication Publication Date Title
CN106922190A (zh) 用于执行医疗手术并且用于访问和/或操纵医学相关信息的方法和系统
US11662830B2 (en) Method and system for interacting with medical information
US20230363833A1 (en) Methods And Systems For Robot-Assisted Surgery
CA2688096C (en) Computer-assisted surgery system with user interface
US8693724B2 (en) Method and system implementing user-centric gesture control
CN104516627B (zh) 显示设备和使用所述显示设备的图像显示方法
US20150293600A1 (en) Depth-based analysis of physical workspaces
JP2020510461A (ja) コンテクストオーバレイを提供する拡張現実介入システム
Hatscher et al. GazeTap: towards hands-free interaction in the operating room
CN113366539A (zh) 对虚拟对象针对混合现实的系统定位
US10269453B2 (en) Method and apparatus for providing medical information
US20160004315A1 (en) System and method of touch-free operation of a picture archiving and communication system
US9387049B2 (en) Contactless control of medical systems
CN108778135B (zh) 多模态x射线成像中的光学相机选择
KR20160023015A (ko) 의료영상의 제공방법
Sa-nguannarm et al. Hand movement recognition by using a touchless sensor for controlling images in operating room
De Paolis et al. An Advanced Modality of Visualization and Interaction with Virtual Models of the Human Body
US20160004318A1 (en) System and method of touch-free operation of a picture archiving and communication system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200918