CN110709027A - 用于无菌场和其他工作环境的用户界面系统 - Google Patents

用于无菌场和其他工作环境的用户界面系统 Download PDF

Info

Publication number
CN110709027A
CN110709027A CN201880037819.1A CN201880037819A CN110709027A CN 110709027 A CN110709027 A CN 110709027A CN 201880037819 A CN201880037819 A CN 201880037819A CN 110709027 A CN110709027 A CN 110709027A
Authority
CN
China
Prior art keywords
controller
data pad
substrate
work environment
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880037819.1A
Other languages
English (en)
Inventor
M.霍尔
R.洛美丽
J.R.霍金斯
J.里奇特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medos International SARL
Original Assignee
Medos International SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medos International SARL filed Critical Medos International SARL
Publication of CN110709027A publication Critical patent/CN110709027A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文公开了用于无菌场和其他工作环境的用户界面系统。在一些实施方案中，用户界面系统可包括投影仪，该投影仪将图形用户界面投影到设置在工作环境内的数据板或其他基板上。该系统还可包括相机或检测与数据板或基板的用户交互的其他传感器。检测到的用户交互可由与设置在工作环境外部的设备进行交互的控制器来处理或解释，从而允许用户从工作环境内与此类设备进行交互。数据板可以是能够容易消毒的物美价廉、一次性的单次使用的系统部件，或为在无菌环境中使用而适当准备的另一部件。

Description

用于无菌场和其他工作环境的用户界面系统
相关申请的交叉引用
本申请要求于2017年6月8日提交的美国临时申请62/516,897的权益。该申请全文以引用方式并入本文。
技术领域
本文公开了用于无菌场和其他工作环境的用户界面系统，例如，用于允许从工作环境内与设置在工作环境外部的设备进行交互。
背景技术
计算机系统、移动装置、电子器件和其他设备已成为我们日常生活中的共同部分，并且此类设备的使用已成为许多医疗、商业和工业过程中的一个有价值的工具。在某些工作环境中使用此类设备可能具有挑战性。
例如，在外科手术室中，维持无菌场以降低患者感染或其他并发症的风险可能是重要的。要在外科手术中使用的任何设备必须在进入无菌场之前进行消毒，或者必须保持在无菌场外部。一些设备诸如电子装置的消毒可能非常困难、昂贵或耗时。这些问题可通过将设备保持在无菌场外部来避免，然而这样做使得无菌场内的那些人员与该设备交互具有挑战性。
例如，无菌场中的外科医生不能简单地伸出手并转动旋钮，按下按钮，或触摸非无菌设备件的触摸屏。相反，外科医生通常必须向无菌场外部的设备操作员提供言语指令或手势，该设备操作员随后执行外科医生期望的设备交互。这种交流可能会使外科医生分心，他们必须暂时将其注意力从手头的任务上移开。这也可能使所有相关人员感到沮丧，例如，如果设备操作员不像外科医生那样擅长使用设备，或者如果设备操作员误解了外科医生的要求。在一些情况下，外科医生离开无菌场以便与非无菌设备件交互。然后，外科医生必须在重新进入无菌场之前经过对手、手套、衣服等重新消毒的繁琐规程。即使遵循正确的规程，离开和重新进入无菌场也可增加污染的风险。通常设置在无菌场外部并且外科医生可能希望与之进行交互的示例性设备可包括外科导航系统、PACS(图像归档和通信系统)、相机、电外科发生器、输液泵、真空阀、音乐播放器等。
即使具有非接触性使用的设备(例如电子显示屏)也可能不方便地从无菌场内使用。例如，外科医生可能需要将其头部转动到不舒服的位置，或将视线从患者或外科医生的手中移开，以便查看显示屏。
虽然上文描述了外科手术室环境，但应当理解，这些挑战可存在于许多其他工作环境中，诸如去污室，潮湿环境，洁净室，具有高湿度、灰尘、振动、辐射、化学物质、极端温度、压力、电磁干扰(EMI)、静电放电(ESD)的区域和/或其他苛刻环境。
鉴于这些和其他挑战，需要用于无菌场和其他工作环境的改进的用户界面系统。
发明内容
本文公开了用于无菌场和其他工作环境的用户界面系统。在一些实施方案中，用户界面系统可包括投影仪，该投影仪将图形用户界面投影到设置在工作环境内的数据板或其他基板上。该系统还可包括检测与数据板或基板的用户交互的相机或其他传感器。检测到的用户交互可由与设置在工作环境外部的设备进行交互的控制器来处理或解释，从而允许用户从工作环境内与此类设备进行交互。数据板可以是能够容易消毒的物美价廉、一次性的单次使用的系统部件。数据板可不含可能对工作环境内的条件敏感的电子器件或其他部件，或不含准备该数据板进入工作环境(例如，无菌场)所需的规程(例如，消毒)。然而，在其他实施方案中，数据板可包括适于在无菌场中使用的电子部件(例如，电子纸屏幕、液晶屏幕、平板电脑等)。
在一些实施方案中，用户界面系统可包括相机，该相机被配置为捕获其中设置有基板的工作环境的图像；控制器，该控制器由所捕获的图像确定基板在工作环境内的位置和取向以及所述位置和取向的变化；投影仪，该投影仪将投影图像投影到基板上，该投影图像或该投影图像的位置由控制器响应于所确定的基板的位置或取向的变化而调节；其中控制器由所捕获的图像进一步确定用户是否以及如何与基板进行交互。
工作环境可包括外科手术室中的无菌场。基板可包括数据板。数据板可包括唯一标识符。数据板可包括位置标记。数据板可包括静态非投影用户界面元素。在一些实施方案中，数据板不包括电子器件。基板可包括患者的皮肤表面、手套或无菌敷料。基板可包括外科器械。投影图像可包括关于外科器械是否沿预定轨线设置的指示标识。投影图像可包括关于外科器械或其一部分或与其连接的植入物是否邻近或位于预定外科手术部位附近画的轮廓内的指示标识。投影图像可包括图形用户界面。投影图像可包括来自通过进入装置插入患者体内的相机的相机馈送。在一些实施方案中，投影图像可包括信息的显示，包括警告或错误消息。投影图像可包括受控设备件的显示或从受控设备件接收的信息。控制器可响应于与图形用户界面的用户交互来控制设置在工作环境外部的设备。控制器可响应于与图形用户界面的用户交互来控制设置在工作环境内的设备。
在一些实施方案中，用户界面方法可包括捕获其中设置有基板的工作环境的一个或多个图像，利用控制器由所述一个或多个捕获的图像确定基板的位置和取向；基于所检测到的位置和取向将投影图像投影到基板上；利用控制器基于所述一个或多个捕获的图像来确定用户是否以及如何与基板进行交互。
该方法可包括利用控制器基于由控制器确定的与基板的用户交互来控制设置在工作环境外部的设备。该方法可包括利用控制器基于由控制器确定的与基板的用户交互来控制设置在工作环境内的设备。该方法可包括检测基板的位置或取向的变化以及相应地调节投影图像的位置或取向。用户交互可包括手势或使用触笔。
附图说明
图1是在手术室中使用的用户界面系统的示意图；
图2是图1的用户界面系统的示例性数据板和与该数据板进行交互的用户的透视图；
图3是图1的用户界面系统的控制器的示意性硬件框图；
图4是图3的功能框图；
图5是使用图1的系统的示例性方法的流程图；
图6A示出了相对于患者的数据板和相关联的可视化平面；
图6B示出了调节图6A的数据板相对于患者的位置，以调节可视化平面相对于患者的位置；
图6C示出了相对于患者的数据板和相关联的可视化平面；并且
图6D示出了调节图6C的数据板相对于患者的取向，以调节可视化平面相对于患者的取向。
具体实施方式
本文公开了用于无菌场和其他工作环境的用户界面系统。在一些实施方案中，用户界面系统可包括投影仪，该投影仪将图形用户界面投影到设置在工作环境内的数据板或其他基板上。该系统还可包括检测与数据板或基板的用户交互的相机或其他传感器。检测到的用户交互可由与设置在工作环境外部的设备进行交互的控制器来处理或解释，从而允许用户从工作环境内与此类设备进行交互。数据板可以是能够容易消毒的物美价廉、一次性的单次使用的系统部件。数据板可不含可能对工作环境内的条件敏感的电子器件或其他部件，或不含准备该数据板进入工作环境(例如，无菌场)所需的规程(例如，消毒)。然而，在其他实施方案中，数据板可包括适于在无菌场中使用的电子部件(例如，电子纸屏幕、液晶屏幕、平板电脑等)。
现在将描述某些示例性实施方案，以提供对本文所公开的装置和方法的结构、功能、制造和用途的原理全面理解。这些实施方案的一个或多个示例在附图中示出。本领域的技术人员应当理解，本文具体描述且附图中示出的装置与方法为非限制性的示例性实施方案。结合一个示例性实施方案示出或描述的特征部可与其它实施方案的特征部进行组合。
图1示出了示例性用户界面系统100。该系统可包括投影仪102、相机或传感器104、数据板或基板106和控制器108。在使用中，相机104可捕获工作环境(例如，如图所示的手术室的无菌场)的图像。控制器108可检测所捕获的图像内的数据板106，并且可确定数据板在无菌场内的位置和取向。控制器108因此可跟踪数据板106在无菌场内的移动。获知该位置和取向信息，控制器108可控制投影仪102以将图像投影到数据板106上。当数据板在工作环境内移动时，投影图像可随着数据板106移动。控制器108还可检测所捕获的图像内的其他对象，诸如用户或其一部分(例如，用户的手、手指、指尖等)、外科器械、外科植入物、触笔或由用户保持的其他器械等。控制器108可由检测到的对象信息确定用户是否以及如何与投影到数据板106上的界面进行交互，器械或植入物如何相对于患者移动等等。
在一些实施方案中，只有数据板106设置在工作环境内。投影仪102、相机104和控制器108中的一者或多者可与工作环境隔离。此类隔离可以是规程上的、物理的或其他方面的。例如，此类部件可通过设置在手术室内但被指定为非无菌或非触摸部件来在规程上分离，使得它们不在无菌场内。作为另一个示例，此类部件可与工作环境物理隔离，例如通过远离工作环境定位，通过与工作环境的物理屏障相对设置等。
投影仪102可通过输入端口操作地耦接到控制器108，投影仪可通过该输入端口从控制器接收图像或视频信号。投影仪102可包括光源和透镜系统，以用于基于所接收的图像或视频信号将图像投影到数据板106上。投影仪102可接收来自控制器108的控制信号，该控制信号指示应当将投影定向到的目标位置。投影仪102因此可被配置为基于例如数据板106在工作环境内的移动来偏移投影图像的位置和/或取向。投影仪102可具有可调节的透镜系统(例如焦距、透镜角度、透镜位置)，可安装在常平架、构台或其他可移动安装系统上，或者可以其他方式被配置为有利于当数据板在工作环境内移动时将投影图像瞄准到数据板106上。投影仪102可被配置为投影比数据板106大得多的图像，并且可被控制为仅激活对应于数据板的当前位置和/或取向的像素。在此类布置中，投影仪102和/或透镜系统可固定在工作环境内，但仍可将投影图像“瞄准”到数据板106上。
相机或传感器104可被配置为检测工作环境的各种属性。例如，相机或传感器104可被配置为检测数据板106的位置和/或取向。又如，相机或传感器104可被配置为检测用户或其一部分(例如，用户的手、手指、指尖等)、外科器械、外科植入物、触笔或由用户保持的其他器械等的位置和/或取向。相机104可捕获工作环境的图像，该工作环境的图像可被传送至控制器108进行处理以识别所捕获的图像内的数据板106、用户或其他对象，并基于此类信息确定此类对象如何在工作环境内移动或被定位。可使用多种相机或相机系统中的任何一种，包括RGB相机、RGB-D相机、红外相机、立体相机等。示例性RGB-D相机包括MicrosoftKinect相机和Microsoft Kinect V2相机。相机或传感器104可使用结构化光、飞行时间法或本领域已知的其他方法来确定相机与所捕获的图像的每个像素或区域之间的距离。该信息可由控制器108与识别的对象信息组合来确定相机104和数据板106之间、相机和用户之间的距离等。
数据板或基板106可采取各种形式，并且可被配置为反射投影仪102在其上投影的光。数据板106可为廉价的单次使用的一次性的。数据板106可为柔性的。数据板106可由纸张、塑料、硬纸板、金属、或它们的组合形成。数据板106能够(例如)经由蒸汽浴法、辐射法和其他已知技术进行高效且非破坏性的消毒。在一些实施方案中，数据板106可不含电子器件，而在其他实施方案中，可利用电子部件(例如，从更简单的显示器诸如电子纸张显示器到液晶显示器和平板电脑的范围)。
数据板106可为部分透明的或完全透明的。在一些实施方案中，数据板106可包括电子纸张或液晶显示器，该电子纸张或液晶显示器除其他外可允许用户对数据板106的透明度进行动态控制。这可允许其中将数据板106定位在工作环境中感兴趣的项目(例如，患者、外科器械等)上的使用情况以及投影到数据板上的图像提供增强现实或平视显示效果而不会显著模糊该感兴趣的项目。一旦将数据板106覆盖在感兴趣的项目上，数据板106就可允许数据板106的主动直通查看，以通过数据板106的一个或多个透明部分来观察感兴趣的项目。在一些实施方案中，数据板106可概述身体结构诸如神经、器官和/或其他感兴趣的项目，使得当将数据板放置在身体结构上时，板可显示身体结构的轮廓，同时保持至少部分的透明度，以便不遮蔽感兴趣的项目的视图。
数据板106可涂覆有全息膜或可包括各种其他表面涂层或处理物以有利于光反射和改善投影图像的显示。数据板106可在工作环境内自由移动。可将数据板106固定在工作环境中的患者或其他表面上，或者可将其安装在可移动支撑臂(例如，外科机器人的臂)上。
虽然示出了专用的数据板106，但在其他布置中，可将用户界面投影到其他基板上，诸如患者(例如，患者的皮肤或外科暴露的解剖元件)、覆盖患者的外科手术消毒盖布、器械(由外科医生保持)、由外科医生或其他用户佩戴的一只或多只手套、无菌敷料、蓝色包裹物、植入物、手术台、白板或工作环境内的任何其他表面。
图2示出了可用于系统100中的示例性数据板106。
数据板106可包括位置标记110。位置标记110可为具有已知尺寸、形状或其他特性的符号或图像，以有利于识别数据板106的捕获图像中的位置标记。虽然示出了单个位置标记110，但数据板106可包括多个标记，例如每个端部处一个标记。使用多个标记110可提高跟踪准确度、视场或冗余。
应当理解，位置标记110的结构和操作可取决于所使用的导航系统的类型而变化。在一些实施方案中，位置标记110可包括用于与光学导航系统(例如机器人导航系统)一起使用的一个或多个球形或其他基准点。基准点可相对于彼此被布置在预定位置和取向中。基准点可被对准以便位于彼此垂直的平面中以设置笛卡尔(Cartesian)参照系。基准点可定位在导航系统的视场内，并且可在由导航系统捕获的图像中被识别。示例性基准点包括红外反射器、LED、球形反射标记、闪烁LED、增强现实标记等等。位置标记110可为或可包括惯性测量单元(IMU)、加速度计、陀螺仪、磁力计、其他传感器或它们的组合。传感器可将位置和/或取向信息传输至导航系统，例如传输至导航系统的处理单元。
位置标记110可由导航系统检测，可与导航系统通信，或者可以其他方式操作地耦接到导航系统，以允许数据板106和下面的解剖结构的位置和/或取向与导航系统配准并由导航系统进行跟踪。位置标记110在数据板106上可具有已知位置，例如相对于数据板的总体尺寸或边界而言是已知的。位置标记110可为非对称的，使得位置标记相对于相机104的取向可由位置标记的捕获图像来确定。位置标记110可粘附到数据板106，印刷在数据板上，或以其他方式附连或施加到数据板。在一些实施方案中，数据板106自身的形状可用作位置标记110以指示数据板的位置。如下所述，可使用位置标记110来确定数据板106的位置和/或取向，或跟踪工作环境内的和/或相对于相机102的数据板。
数据板106可包括唯一标识符112。唯一标识符112可以是QR码、条形码、序列号、ID号、或唯一标识特定数据板或特定的一组数据板的其他标记或标签。唯一标识符112可为控制器108可读的RFID标签。控制器108可识别数据板106的捕获图像中的唯一标识符112，并且由所述唯一标识符确定与正在工作环境中执行的任务相关的信息。例如，唯一标识符112可用作查找关键字，该查找关键字可被控制器108用于从数据库诸如网络连接的服务器、云存储等中检索信息。可由控制器108基于唯一标识符112检索的示例性信息可包括患者姓名、患者年龄、患者性别、患者出生日期、患者ID、患者图像(例如，术前扫描、CT、MR、X射线或PET图像)、PACS图像、术前计划、外科手术库存清单、外科手术核对清单或技术指南等等。唯一标识符112也可用于确定数据板106是否先前已被使用，在这种情况下，控制器108可被配置为拒绝使用该数据板，从而强制执行单次使用政策。
数据板106可包括静态或非投影界面元素114。例如，所示的数据板106包括静态上/下滚动条114。示例性静态界面元素114可包括滚动条、按钮、键盘、触控板、滑块、单选按钮、文本框、复选框、图标等。
数据板106可包括投影界面元素116。例如，所示的数据板106包括由投影仪102投影到数据板上的“主页(home)”按钮116的图像。示例性投影界面元素116可包括滚动条、按钮、键盘、触控板、滑块、单选按钮、文本框、复选框、图标等。
数据板106可包括其他投影内容118，诸如如图所示的患者X射线图像。
数据板106可具有多种形状或轮廓中的任一种。数据板106可具有凹度或凸度。凹度或凸度可与投影仪位置相关，例如，以增强投影图像。
控制器108可操作地耦接到相机104和投影仪102。控制器108可检测由相机104捕获的图像内的数据板106，并且可确定工作环境内的数据板的位置和取向。控制器108因此可跟踪数据板106在工作环境内的移动。获知该位置和取向信息，控制器108可控制投影仪102以将图像投影到数据板上。当数据板在工作环境内移动时，投影图像可随着数据板106移动。控制器108还可检测所捕获的图像内的其他对象，诸如用户或其一部分(例如，用户的手、手指、指尖等)、外科器械、外科植入物、触笔或由用户保持的其他器械等。控制器108可由检测到的对象信息确定用户是否以及如何与投影到数据板106上的界面进行交互，器械或植入物如何相对于患者移动等等。控制器108可包括操作地耦接到一个或多个受控设备件120的后端，使得控制器可基于与数据板106的用户交互而与设备进行交互。控制器108可与之交互的示例性受控设备120可包括外科导航系统、PACS(图像归档和通信系统)、相机、电外科发生器、输液泵、真空阀、音乐播放器等。受控设备120可被设置在工作环境外部(例如，可在规程上或物理上与工作环境隔离)。另选地，受控设备120可设置在工作环境内，或者受控设备可包括设置在工作环境内的设备和设置在工作环境外部的设备。
图3示出了控制器108的示例性实施方案的物理部件的框图。尽管本文描绘和描述了示例性控制器108，但应当理解，这是出于普遍性和方便性的原因。在其他实施方案中，控制器108的架构和操作可与这里示出和描述的不同。控制器108可以是平板电脑、移动装置、智能电话、膝上型计算机、台式计算机、基于云的计算机、服务器计算机、以上中的多个等。
所示的控制器108可包括处理器122，该处理器例如通过执行嵌入式软件、操作系统、装置驱动程序、应用程序等来控制该控制器的操作。处理器122可包括任何类型的微处理器或中央处理单元(CPU)，包括可编程通用或专用处理器、和/或多种专有或可商购获得的单处理器系统或多处理器系统中的任一种。如本文所用，术语处理器可指微处理器、微控制器、ASIC、FPGA、PIC、从内部存储器或外部存储器或寄存器读取和解释程序指令的处理器等。控制器108可包括存储器124，其可为将由处理器122执行的代码或为由处理器处理的数据提供临时性或永久性存储。存储器124可包括只读存储器(ROM)、闪存存储器、一种或多种随机存取存储器(RAM)和/或存储器技术的组合。控制器108的各种部件可经由任何一个或多个单独的迹线、物理总线、通信线路等互连。
控制器108可包括接口126，诸如通信接口或I/O接口。通信接口可以使得控制器108能够通过网络或通信总线(例如，通用串行总线)与远程装置(例如，其他控制器或计算机系统)通信。I/O接口可有利于一个或多个输入装置、一个或多个输出装置和控制器108的各种其他部件之间的通信。示例性输入装置包括相机104、投影仪102、触摸屏、机械按钮、键盘和指向设备。示例性输出装置包括相机104、投影仪102、电子显示屏和扬声器。控制器108可包括存储装置128，其可包括用于以非易失性和/或非暂态方式存储数据的任何常规介质。因此，存储装置128可将数据和/或指令保持在持久状态(即，尽管中断对控制器108的供电，但仍保留值)。存储装置128可包括一个或多个硬盘驱动器、闪存驱动器、USB驱动器、光盘驱动器、各种介质磁盘或卡、和/或它们的任何组合，并且可直接连接到控制器108的其他部件，或诸如通过通信接口远程连接到该控制器的其他部件。控制器108可包括显示器130，并且可生成要在其上显示的图像。在一些实施方案中，显示器130可为真空荧光显示器(VFD)、有机发光二极管(OLED)显示器或液晶显示器(LCD)。控制器108可包括电源132和适当调控和调节的电路。示例性电源包括电池，诸如聚合物锂离子电池，或用于将控制器108耦接到DC或AC电源(例如，USB适配器或墙式适配器)的适配器。
由控制器108执行的各种功能可以在逻辑上描述为由一个或多个模块执行。应当理解，此类模块可能以硬件、软件或其组合来实现。将进一步理解，当以软件实现时，模块可以是单个程序或一个或多个单独程序的一部分，并且可以在各种上下文中实现(例如，作为嵌入式软件包、操作系统、装置驱动程序、独立应用程序和/或其组合的一部分)。此外，体现一个或多个模块的软件可以作为可执行程序存储在一个或多个非暂态计算机可读存储介质上。本文所公开的由特定模块执行的功能也可由任何其他模块或模块的组合来执行，并且控制器可包括比本文所示和所述的模块更少或更多的模块。一个或多个模块可由相机104、投影仪102、另一装置或它们的组合来实现。
图4是控制器108的一个示例性实施方案的模块的示意图。
控制器108可包括数据板识别模块134。数据板识别模块134可接收数据板106的一个或多个捕获图像，并且可识别所述图像内的数据板的唯一标识符112。另选地或除此之外，数据板识别模块134可从RFID读取器或耦接到控制器108的其他装置接收唯一标识符。一旦确定，控制器108就可使用唯一标识符来检索关于数据板106、工作环境或工作环境内的对象的各种信息，如上所述。
控制器108可包括数据板跟踪模块136。数据板跟踪模块136可确定数据板106相对于基准(例如，相机104的坐标系或工作环境的坐标系)的位置和/或取向。数据板跟踪模块136可确定所述位置和/或所述取向的变化。
数据板跟踪模块136可接收由相机104捕获的工作环境的图像。数据板跟踪模块136可检测所捕获的图像内的数据板106或其一部分，例如位置标记110。在其中相机104在鸟瞰图中被定位在工作环境上方的典型布置中，数据板106沿工作环境的X轴和Y轴的定位可由数据板在整个捕获图像内的位置来确定。可基于数据板和相机106之间的距离来确定数据板104沿工作环境的Z轴的定位。所捕获的图像可包括显式距离信息，例如就由RGB-D相机捕获的图像而言。在其中相机图像数据不一定包括显式距离信息的实施方案中，可通过确定图像内的位置标记110或数据板106的尺寸，位置标记或数据板的边缘或其他特征的尺寸或角度等来计算或推断深度。
可通过将数据板图像的多个点的距相机距离信息进行比较来确定数据板106的俯仰和偏航(例如，围绕X轴和Y轴的旋转)。位置标记或数据板图像的一个区域与另一个区域之间的距相机距离的差值可指示数据板106朝向或远离相机倾斜以及倾斜方向。可通过将所捕获的图像中的位置标记110或数据板106的2D取向与物理数据板上的位置标记的预定2D取向进行比较来确定数据板106的滚转(例如，围绕Z轴的旋转)。
数据板跟踪模块136可比较随时间推移捕获的多个相机图像以确定和跟踪任何上述参数的变化，即，数据板106的位置和/或取向的变化。
因此，数据板跟踪模块136可例如实时地或基本上实时地跟踪数据板106的位置和/或取向。
控制器108可包括投影控制模块138。投影控制模块138可将图像数据发送到投影仪102以投影到数据板106上。可由控制器108基于所确定的数据板106的位置和/或取向来调节图像数据。另选地或除此之外，投影控制模块138可向投影仪102发送控制信号以控制投影图像的位置和/或取向，例如，将投影图像定向到数据板106上，将图像仅投影到数据板上，和/或补偿对于数据板相对于投影仪的任何倾斜或旋转而言的投影图像。
例如，当数据板跟踪模块136确定数据板106已在X或Y方向上偏移时，投影图像可在X或Y方向上偏移至对应的程度。又如，当数据板跟踪模块136确定数据板106已在Z方向上偏移时，可相应地缩放投影图像以匹配数据板的移动。又如，当数据板跟踪模块136确定数据板106已围绕Z轴旋转时，可相应地旋转投影图像。又如，当数据板跟踪模块136确定数据板106已倾斜时，可将梯形校正算法应用于图像数据，使得投影图像精确地映射到倾斜的数据板而不变形。
因此，当数据板在工作环境内以一个或多个自由度移动时，投影控制模块138可在数据板106上保持准确的投影图像。投影图像可实时或基本上实时地遵循数据板的移动。
控制器108可包括输入检测模块140。输入检测模块140可从由相机104捕获的图像数据确定用户是否以及如何与数据板106进行交互。例如，输入检测模块140可使用各种已知的图像处理例程来识别由相机104捕获的图像中的用户或用户的一部分。示例性图像处理例程包括边缘检测、斑点检测等。在一些实施方案中，用户可佩戴具有预定颜色或图案的手套以有利于在捕获的图像中识别用户的手指。就具有显式距相机距离信息的图像而言，输入检测模块140可计算用户手指与数据板106之间的距相机距离的差值。如果距相机距离的差值低于阈值量，则输入检测模块140可确定用户的手指正在接触数据板106。就不一定包括显式距相机距离信息的图像而言，当手指被叠加在数据板106上时，输入检测模块140可查找用户手指的Z方向移动，以确定用户正在轻击数据板。当用户的手指被确定为与数据板106接触时，用户手指的X或Y定位的变化可由输入检测模块140解释为轻扫、捏合、拖动或其他输入手势。虽然上文大体描述了使用手势来与系统进行交互，但应当理解，另选地或除此之外，用户可使用触笔或其他器械来与系统进行交互。例如，用户可使用他们当时碰巧握持的任何工具来与系统进行交互。就用于与系统进行交互的专用触笔或其他器械而言，触笔或器械可为一次性的或可重复使用的，并且可包括电子器件或可不包括电子器件。
在一些实施方案中，可基于用户的视角和/或位置例如虚拟现实跟踪来控制数据板106。用户可使用眼睛移动或头部位置和/或取向的变化来与数据板106进行交互，以控制动态查看器透视图。例如，位置标记110可被固定、放置或以其他方式附连在位于或相对于用户的头部的位置处。头部位置的移动、倾斜或其他变化可改变用户看到的视角。在一些实施方案中，头部位置的改变可控制修剪平面透视图，如下文进一步所述，以便将屏幕上的二维渲染的透视图更改为以三维显示。了解患者、数据板106和用户的头部位置的定位，呈现的透视图可允许用户看到感兴趣的对象(例如，患者的解剖结构)的三维透视图。在一些实施方案中，可将位置标记110放置在眼镜、接触镜片等上以跟踪和/或控制视角以考虑眼睛移动。在其他实施方案中，可使用一个或多个相机来监视和跟踪用户眼睛的移动。例如，RGB和红外相机中的任一个可用于监测用户眼睛的位置和他们的注视方向。应当理解，通过将位置标记放置在多个用户上以跟踪头部位置和眼睛移动，可针对多个用户跟踪动态查看器透视图的变化。在一些实施方案中，每个此类被跟踪用户可具有其自身的具有投影在其上的图像的数据板106，该图像基于其所跟踪的头部位置、注视方向等提供独特的透视图。
控制器108可包括图形用户界面模块142。图形用户界面模块142可生成表示图形用户界面的图像数据。可将图像数据传送至投影控制模块138以投影到数据板106上。可将由输入检测模块140检测到的用户输入传送至图形用户界面模块142，该图形用户界面模块可将这些输入应用于用户界面并相应地更新用户界面。例如，在检测到用户在投影到数据板106上的按钮上的点击或轻击手势时，图形用户界面模块142可执行与按钮点击相关联的事件处理程序，例如，以显示与按钮相关联的对话框或与按钮相关联的受控设备120。图形用户界面模块142可呈现用于投影到数据板106上的用户界面控件，所述控件对应于控制器108操作地耦接至的设备120的控件。
当用户与投影控件进行交互时，图形用户界面模块142可指示输出模块144与受控设备件120进行交互。例如，输出模块144可生成控制信号以将交互应用到操作地耦接到控制器108的设备120。例如，可切换信号线上的电压以在控制器108耦接至的数字设备件120(诸如导航系统，PACS等)上实现设置改变。
此外，可基于与数据板106的用户交互(例如，经由菜单等)和/或与其他设备的物理交互来动态更新显示在数据板106上的信息，以允许用户通过投影在数据板上的图形用户界面来控制设备。例如，在用于三维导航的设置或校准程序期间，可通过在数据板106上为用户直接触摸或在图形用户界面中选择的任何器械显示导航设置来利用数据板106。此类技术也可应用于器械操作参数。例如，当用户直接或在图形用户界面中(经由例如菜单选择或对器械的投影图像的直接选择)触摸特定器械或其部分时，可将器械的各种设置投影在数据板106上以允许用户查看和/或调节此类设置。例如，用户可直接触摸毛刺工具的远侧部分，或触摸投影在数据板106上的工具的图像的毛刺以呈现可调节的毛刺速度设置等等。可将动态显示相关数据并在数据板106上提供用户控制界面的能力(或者，无论界面被投影的是什么，例如，患者身上的外科手术消毒盖布等)施加到规程中使用的任何器械上。这可允许用户访问和调节对无菌场内的任何器械的设置。
图5示出了使用系统100的示例性方法。在步骤S1中，可例如使用相机104来捕获工作环境的一个或多个图像。在步骤S2中，所捕获的图像可用于确定基板(例如，数据板106)的位置和/或取向。位置和/或取向可相对于相机104、相对于工作环境或相对于一些其他参考系来确定。在步骤S3中，可将投影图像投影到基板上。例如，投影仪102可用于将图形用户界面投影到数据板106上。可根据所确定的基板的位置和/或取向来移动、缩放、成角度或以其他方式调节投影图像。在步骤S4中，可确定与基板的用户交互。例如，控制器108可处理所捕获的图像以例如通过施加触摸、轻击、轻扫、滑动、拖动、捏合或其他输入手势来确定用户是否与基板106进行交互。在步骤S5中，可基于在步骤S4中检测到的用户交互来控制设备。例如，控制器108可基于与投影图形用户界面的用户交互来控制设置在工作环境外部的设备120。在一些实施方案中，控制器108可通过将此类信息投影到图形用户界面上来显示与设备120相关联的错误或警告消息。在其他实施方案中，可通过投影外科手术部位周围的图案或其他指示标识来向用户传达诸如错误或警告之类的信息，以确保通知。此类通知可伴随例如通过投影到数据板106上的图形用户界面传达的更详细信息。
系统100可用于外科设置中。例如，可将数据板定位在无菌场内，在患者和外科医生附近。外科医生可与投影到数据板上的图形用户界面进行交互。外科医生可滚动或点击与不同的受控设备件相关联的不同选项卡。每个选项卡可包括用于调节或与所述设备进行交互的图形用户界面控件。
该数据板可包括连接到患者数据或PACS系统的QR码。当捕获氟注射或其他患者图像时，其可通过进入C臂或成像装置的患者ID与患者数据连接，并且其可自动显示在数据板上以供外科医生参考。外科医生可与数据板交互以进行简单的解剖测量，诸如脊柱外科手术中的角度校正。外科医生可与数据板进行交互以操纵患者解剖结构的3D数据集表示。相机104可用于识别外科手术部位内的独特植入物，并且系统可例如在患者数据库中将这些植入物连接或关联到患者ID。
尽管如上所述的是数据板，但系统100还可将信息投影到其他表面或对象上。例如，可将信息投影到用户佩戴或使用的观察源(未示出)上，诸如外科显微镜、眼镜、小型放大镜等。可将唯一标识符112附接到患者消毒盖布或相对于患者的另一位置，使得可限定患者相对于系统100的位置和/或取向。输入检测模块140可识别由相机104捕获的图像中的用户或用户的一部分，以确定在规程期间使用的用户的手或外科工具的位置，以及患者和其他部件(例如，可具有投影在其上的信息的数据板或消毒盖布)的位置。系统100可确定患者相对于这些其他部件的相对位置和/或取向，并且图形用户界面模块142可将图像或其他数据投影到观察源而不是诸如数据板106之类的基板(或除其之外)上，以使图像与患者的解剖结构同步。应当理解，投影图像可叠加在患者的顶部上，并且在一些实施方案中，投影图像可为透明的，使得可通过观察源看到患者。此外，投影图像可显示在用户的视野内而不直接在用户的前方或覆盖在患者身上。在一些实施方案中，可通过图案以及其他警报、声音、闪光灯等将信息诸如警告、错误消息等投影到整个外科手术部位，以确保用户得到充分的通知。这些警告也可被更详细地投影到数据板106上，以通知用户错误、警告等的性质。
在一些实施方案中，系统100可接收来自外科导航系统的输入，并且可将导航反馈投影到外科医生正在使用的器械上。例如，当器械与预定目标轨线对准时，系统可将第一指示标识(例如，绿色圈)投影到器械上。当器械偏离预定目标轨线时，系统可将第二指示标识(例如，红色字母“X”)投影到器械上。系统可将指示标识(例如箭头或三角形)投影到器械上，以指示器械的当前末端方向或取向。可将上述指示标识投影到器械的柄部、器械的轴或器械的任何其他部分上。虽然上文描述了单独的外科导航系统，但系统100还可包括集成导航系统，或者可接收来自其他患者参考源的输入。
在一些实施方案中，系统100可用于执行预先计划的规程。例如，在外科手术设置中，系统100可在工作环境外部时连接到术前计划软件，例如Surgimap，以筹划要执行的规程计划。然后可将该计划投影到工作环境中的基板106上以执行该规程。系统用途的一些非限制性示例可包括设置外科工具的预定轨线、外科工具的轨线校正、所使用的外科工具的列表等。在一些实施方案中，该计划可包括核对清单，系统100可将该核对清单投影到基板106上以允许用户使用上述触摸和/或手势来核对并推进核对清单的项目。
系统100可将外科相机(诸如设置在外科进入装置的工作通道中的内窥镜或微型化相机)的输出投影到数据板上。数据板106还可显示用于相机的导航屏幕，以通知用户有关相机相对于工作通道的位置。系统100可例如通过将彩色突出或其他指示标识投影到在相机馈送中检测到的神经或其他精细结构上或通过在相机馈送上投影测量尺度来扩充所显示的相机馈送以及源自集成设备的馈送。在一些实施方案中，数据板106可显示系统获得的EKG或ECG和/或其他神经监测测量值，以及可类似地显示在平板电脑或其他显示器上的任何其他测量值。应当理解，系统100可使用数据板106和患者的位置和/或取向信息来确保对图像进行调节，使得患者的虚拟解剖结构与患者的生理解剖结构对准。
用户的数据板的物理移动可被解释为用户输入手势。例如，数据板可像裁切平面那样工作，其中数据板的移动根据所述移动来分割显示在数据板上的3D数据。图6A-6D示出了一个示例，其中将数据板106相对于患者146移动以改变显示在数据板上的可视化平面148(例如，患者的3D数据模型内的可视化平面)。如图6A和图6B所示，调节数据板106相对于患者146的位置可有效地按比例或等量调节可视化平面148的位置。例如，如箭头所示，将数据板106朝患者146移动可使得可视化平面148更深入地移动到患者体内。相似地，如图6C和图6D所示，调节数据板106相对于患者146的取向可有效地按比例或等量调节调节可视化平面148的取向。例如，如箭头所示，将数据板106的一侧朝患者146倾斜可使得可视化平面148也倾斜。
在可使用平板电脑的应用中，该数据板可提供对平板电脑的完全替换，从而消除了将电子器件或敏感部件放置在工作环境内的需要。在包括平板电脑的实施方案中，平板电脑可袋装或包裹在无菌消毒盖布或覆盖件中以在工作环境中使用。用户可在工作环境中与平板电脑进行交互，从而以类似于用户可如何与无源数据板进行交互的方式来执行外科任务，如上所述。该系统可跟踪平板电脑，以便改变所显示的患者解剖结构的透视图、跟踪外科工具等。在规程完成时，如果需要的话，可将平板电脑从工作环境中取出、消毒并重复使用。
在利用无源数据板的实施方案中，系统100可在工作环境中提供交互式触摸屏用户界面，而不必在工作环境中放置任何电子器件。
系统100可提供用于与可以与在工作环境中执行的工作流结合使用的许多不同的系统交互的单个用户界面。就外科手术室而言，用户可全部通过数据板与无菌场内或无菌场外部的许多不同系统进行交互。数据板可用于显示术前膜，在PACS上进行测量，调节无菌场外部的装置的设置，与外科导航系统及其用户界面进行交互，将数字信息的显示直接定位在患者附近或外科医生视线之内等。
应当指出的是，上面的描述中或附图中所表达或暗示的方法步骤的任何顺序不应理解为是限制所公开的方法按照该顺序执行步骤。相反，本文所公开的每种方法的各种步骤可按照任意多种顺序执行。此外，由于所描述的方法仅为示例性实施方案，因此包括更多步骤或包括更少步骤的各种其它方法也涵盖在本公开的范围内。
本文公开的装置可由多种已知材料中的任一种构造。示例性材料包括适用于外科应用中的材料，该材料包括金属(诸如不锈钢、钛、镍、钴-铬、或它们的合金和组合)、聚合物(诸如PEEK、陶瓷、碳纤维)等。本文所公开的装置的各种部件可为刚性的或柔性的。装置的一个或多个部件或部分可由不透射线的材料形成，以便于在荧光镜透视检查和其它成像技术下可视化，或者由射线可透过的材料形成，以便不干扰其它结构的可视化。示例性射线可透过的材料包括碳纤维和高强度聚合物。
本文所公开的装置和方法可用于微创手术和/或开放式手术中。虽然本文公开的装置和方法一般在对人类患者的脊柱外科手术的上下文中进行描述，但是应当了解，本文公开的方法和装置可用于对人类或动物受试者、对无生命对象(在非外科应用中)等等的任何类型的手术。
虽然上面描述了具体实施方案，但是应当理解，在所描述的构思的实质和范围内可作出多种变化。

Claims (21)

1.一种用户界面系统，包括：
相机，所述相机被配置为捕获其中设置有基板的工作环境的图像；
控制器，所述控制器由所捕获的所述图像确定所述基板在所述工作环境内的位置和取向以及所述位置和取向的变化；和
投影仪，所述投影仪将投影图像投影到所述基板上，所述投影图像或所述投影图像的位置由所述控制器响应于所述基板的所确定的所述位置或取向的变化而调节；
其中所述控制器由所捕获的所述图像进一步确定用户是否以及如何与所述基板进行交互。
2.根据权利要求1所述的系统，其中所述工作环境包括外科手术室中的无菌场。
3.根据权利要求1所述的系统，其中所述基板包括数据板。
4.根据权利要求3所述的系统，其中所述数据板包括唯一标识符。
5.根据权利要求3所述的系统，其中所述数据板包括位置标记。
6.根据权利要求3所述的系统，其中所述数据板包括静态非投影用户界面元素。
7.根据权利要求3所述的系统，其中所述数据板不包括电子器件。
8.根据权利要求1所述的系统，其中所述基板包括患者的皮肤表面、手套或无菌敷料。
9.根据权利要求1所述的系统，其中所述基板包括外科器械。
10.根据权利要求9所述的系统，其中所述投影图像是关于所述外科器械是否沿预定轨线设置的指示标识。
11.根据权利要求9所述的系统，其中所述投影图像是关于所述外科器械或其一部分或与其连接的植入物是否邻近或位于预定外科手术部位附近画的轮廓内的指示标识。
12.根据权利要求1所述的系统，其中所述投影图像包括图形用户界面。
13.根据权利要求1所述的系统，其中所述投影图像包括来自通过进入装置插入患者体内的相机的相机馈送。
14.根据权利要求1所述的系统，其中所述投影图像包括受控设备件的显示或从所述受控设备件接收的信息。
15.根据权利要求1所述的系统，其中所述控制器响应于与所述图形用户界面的用户交互来控制设置在所述工作环境外部的设备。
16.根据权利要求1所述的系统，其中所述控制器响应于与所述图形用户界面的用户交互来控制设置在所述工作环境内的设备。
17.一种用户界面方法，包括：
捕获其中设置有基板的工作环境的一个或多个图像；
利用控制器由捕获的所述一个或多个图像确定所述基板的位置和取向；
基于所检测到的所述位置和取向将投影图像投影到所述基板上；以及
利用所述控制器基于捕获的所述一个或多个图像来确定用户是否以及如何与所述基板进行交互。
18.根据权利要求17所述的方法，还包括利用所述控制器基于由所述控制器确定的与所述基板的用户交互来控制设置在所述工作环境外部的设备。
19.根据权利要求17所述的方法，还包括利用所述控制器基于由所述控制器确定的与所述基板的用户交互来控制设置在所述工作环境内的设备。
20.根据权利要求17所述的方法，还包括检测所述基板的所述位置或取向的变化以及相应地调节所述投影图像的所述位置或取向。
21.根据权利要求17所述的方法，其中所述用户交互包括手势或使用触笔或其他器械。
CN201880037819.1A 2017-06-08 2018-06-06 用于无菌场和其他工作环境的用户界面系统 Pending CN110709027A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762516897P 2017-06-08 2017-06-08
US62/516897 2017-06-08
PCT/US2018/036284 WO2018226850A1 (en) 2017-06-08 2018-06-06 User interface systems for sterile fields and other working environments

Publications (1)

Publication Number Publication Date
CN110709027A true CN110709027A (zh) 2020-01-17

Family

ID=62842198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880037819.1A Pending CN110709027A (zh) 2017-06-08 2018-06-06 用于无菌场和其他工作环境的用户界面系统

Country Status (6)

Country Link
US (3) US10593240B2 (zh)
EP (1) EP3621548A1 (zh)
JP (1) JP7267209B2 (zh)
CN (1) CN110709027A (zh)
AU (1) AU2018280144B2 (zh)
WO (1) WO2018226850A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116825265A (zh) * 2023-08-29 2023-09-29 先临三维科技股份有限公司 就诊记录处理方法、装置、电子设备及存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018280144B2 (en) 2017-06-08 2021-03-25 Medos International Sàrl User interface systems for sterile fields and other working environments
EP3536238A1 (de) * 2018-03-06 2019-09-11 Siemens Healthcare GmbH Verfahren zu einer unterstützung einer vorbereitung eines patienten für eine medizinische bildgebungsuntersuchung
CN110507337B (zh) * 2019-08-28 2023-07-11 上海联影医疗科技股份有限公司 一种医学设备控制系统、医学设备控制方法及装置
EP3669942B1 (en) 2018-12-17 2022-01-05 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for determining a region of interest of a subject
USD910652S1 (en) * 2019-01-31 2021-02-16 OrthoGrid Systems, Inc Display screen or portion thereof with a graphical user interface
US11602280B2 (en) * 2019-04-08 2023-03-14 Avent, Inc. In-scale flexible display for medical device position guidance
EP3744281B1 (en) * 2019-05-27 2023-07-26 Leica Instruments (Singapore) Pte. Ltd. Microscope system and method for operating a surgical microscope
US20200405402A1 (en) * 2019-06-27 2020-12-31 Covidien Lp Touchless button control of surgical instrument using augmented reality
US20210141920A1 (en) * 2019-11-08 2021-05-13 Okera, Inc. Dynamic view for implementing data access control policies
US20210298863A1 (en) * 2020-03-27 2021-09-30 Trumpf Medizin Systeme GmbH & Co. KG. Augmented reality for a surgical system
DE102020114426A1 (de) 2020-05-29 2021-12-02 Karl Leibinger Medizintechnik Gmbh & Co. Kg Gerätesteuerung
USD979578S1 (en) 2021-02-08 2023-02-28 Orthogrid Systems Holdings, Llc Display screen or portion thereof with a graphical user interface
CN116867456A (zh) * 2021-03-26 2023-10-10 C·R·巴德股份有限公司 医疗设备投影系统
WO2024054718A1 (en) * 2022-09-08 2024-03-14 The Board Of Regents Of The University Of Texas System Cystoscopy device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010027526A1 (de) * 2010-07-16 2012-01-19 Gottfried Wilhelm Leibniz Universität Hannover Handführbares Vermessungs- und Projektionssystem und Verfahren
US20140088990A1 (en) * 2012-09-17 2014-03-27 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and, functional recovery tracking
JP2014132980A (ja) * 2013-01-10 2014-07-24 Advanced Healthcare Kk トロカールおよび手術支援システム
WO2016023123A1 (en) * 2014-08-15 2016-02-18 The University Of British Columbia Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information
CN105518575A (zh) * 2013-08-05 2016-04-20 微软技术许可有限责任公司 与自然用户界面的双手交互
WO2017089910A1 (en) * 2015-11-27 2017-06-01 Nz Technologies Inc. Method and system for interacting with medical information

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5788688A (en) 1992-11-05 1998-08-04 Bauer Laboratories, Inc. Surgeon's command and control
GB9405299D0 (en) 1994-03-17 1994-04-27 Roke Manor Research Improvements in or relating to video-based systems for computer assisted surgery and localisation
US5543832A (en) 1994-03-29 1996-08-06 Laser Surge, Inc. Video display system for projecting an image on to a tilted screen adjacent a surgical field
US6307674B1 (en) 1994-03-29 2001-10-23 Lasersurge, Inc. Video display system for locating a projected image adjacent a surgical field
US6175610B1 (en) 1998-02-11 2001-01-16 Siemens Aktiengesellschaft Medical technical system controlled by vision-detected operator activity
DE10033723C1 (de) * 2000-07-12 2002-02-21 Siemens Ag Visualisierung von Positionen und Orientierung von intrakorporal geführten Instrumenten während eines chirurgischen Eingriffs
US6857746B2 (en) 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
US7317954B2 (en) 2003-12-12 2008-01-08 Conmed Corporation Virtual control of electrosurgical generator functions
US7317955B2 (en) * 2003-12-12 2008-01-08 Conmed Corporation Virtual operating room integration
US7567833B2 (en) 2004-03-08 2009-07-28 Stryker Leibinger Gmbh & Co. Kg Enhanced illumination device and method
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
DE102004046430A1 (de) 2004-09-24 2006-04-06 Siemens Ag System zur visuellen Situations-bedingten Echtzeit-basierten Unterstützung eines Chirurgen und Echtzeit-basierter Dokumentation und Archivierung der vom Chirurgen während der Operation visuell wahrgenommenen Unterstützungs-basierten Eindrücke
US20070016008A1 (en) 2005-06-23 2007-01-18 Ryan Schoenefeld Selective gesturing input to a surgical navigation system
US20080125218A1 (en) 2006-09-20 2008-05-29 Kelly James Collins Method of use for a commercially available portable virtual reality system
US8996173B2 (en) 2010-09-21 2015-03-31 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system
US20120229383A1 (en) 2010-01-14 2012-09-13 Christoffer Hamilton Gesture support for controlling and/or operating a medical device
EP2524280A1 (en) 2010-01-14 2012-11-21 BrainLAB AG Controlling a surgical navigation system
US8751049B2 (en) 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
US8682030B2 (en) 2010-09-24 2014-03-25 Microsoft Corporation Interactive display
US20120078088A1 (en) * 2010-09-28 2012-03-29 Point of Contact, LLC. Medical image projection and tracking system
JP2015505679A (ja) * 2011-10-09 2015-02-26 クリア・ガイド・メディカル・リミテッド・ライアビリティ・カンパニーＣｌｅａｒ Ｇｕｉｄｅ Ｍｅｄｉｃａｌ，ＬＬＣ 超音波画像を融合することによる介入現場画像ガイダンス
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9734393B2 (en) 2012-03-20 2017-08-15 Facebook, Inc. Gesture-based control system
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9041691B1 (en) * 2013-02-11 2015-05-26 Rawles Llc Projection surface with reflective elements for non-visible light
US9196067B1 (en) 2013-03-05 2015-11-24 Amazon Technologies, Inc. Application specific tracking of projection surfaces
US10105149B2 (en) * 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
WO2014191036A1 (en) 2013-05-29 2014-12-04 Brainlab Ag Gesture feedback for non-sterile medical displays
EP3028198A2 (fr) 2013-08-01 2016-06-08 Université Pierre et Marie Curie (Paris 6) Dispositif de commande centralisé sans intermédiaire, avec ou sans contact, d'appareils médicaux distants
WO2015116805A1 (en) * 2014-01-29 2015-08-06 Becton, Dickinson And Company System and method for collection confirmation and sample tracking at the clinical point of use
US20150268773A1 (en) 2014-03-21 2015-09-24 Dell Products L.P. Projected Information Handling System Input Interface with Dynamic Adjustment
WO2015164402A1 (en) 2014-04-22 2015-10-29 Surgerati, Llc Intra-operative medical image viewing system and method
US10235737B2 (en) 2015-05-11 2019-03-19 Elwha Llc Interactive surgical drape, system, and related methods
US20160334864A1 (en) 2015-05-11 2016-11-17 Elwha Llc Interactive surgical drape, system, and related methods
US10226219B2 (en) 2015-05-11 2019-03-12 Elwha Llc Interactive surgical drape, system, and related methods
US10600015B2 (en) 2015-06-24 2020-03-24 Karl Storz Se & Co. Kg Context-aware user interface for integrated operating room
DE102015211965A1 (de) 2015-06-26 2016-12-29 Siemens Healthcare Gmbh Berührungslose Gerätesteuerung im medizinischen Sterilbereich
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
AU2018280144B2 (en) 2017-06-08 2021-03-25 Medos International Sàrl User interface systems for sterile fields and other working environments

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010027526A1 (de) * 2010-07-16 2012-01-19 Gottfried Wilhelm Leibniz Universität Hannover Handführbares Vermessungs- und Projektionssystem und Verfahren
US20140088990A1 (en) * 2012-09-17 2014-03-27 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and, functional recovery tracking
JP2014132980A (ja) * 2013-01-10 2014-07-24 Advanced Healthcare Kk トロカールおよび手術支援システム
CN105518575A (zh) * 2013-08-05 2016-04-20 微软技术许可有限责任公司 与自然用户界面的双手交互
WO2016023123A1 (en) * 2014-08-15 2016-02-18 The University Of British Columbia Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information
WO2017089910A1 (en) * 2015-11-27 2017-06-01 Nz Technologies Inc. Method and system for interacting with medical information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116825265A (zh) * 2023-08-29 2023-09-29 先临三维科技股份有限公司 就诊记录处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2018226850A1 (en) 2018-12-13
US20190012944A1 (en) 2019-01-10
US10593240B2 (en) 2020-03-17
AU2018280144A1 (en) 2019-11-07
JP2020523102A (ja) 2020-08-06
US20200251028A1 (en) 2020-08-06
AU2018280144B2 (en) 2021-03-25
JP7267209B2 (ja) 2023-05-01
EP3621548A1 (en) 2020-03-18
US20210272487A1 (en) 2021-09-02
US11024207B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
US11024207B2 (en) User interface systems for sterile fields and other working environments
CN108735290B (zh) 医疗成像设备和用于支持使用医疗成像设备的人的方法
US11464502B2 (en) Integration of surgical instrument and display device for assisting in image-guided surgery
JP6751456B2 (ja) ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法
US11662830B2 (en) Method and system for interacting with medical information
US20200388075A1 (en) Augmented reality display for surgical procedures
JP2021528786A (ja) 視線に基づく拡張現実環境のためのインターフェース
CN113366539A (zh) 对虚拟对象针对混合现实的系统定位
US20230404680A1 (en) Method for determining the spatial position of objects
US20160180046A1 (en) Device for intermediate-free centralised control of remote medical apparatuses, with or without contact
EP3907585B1 (en) Systems and methods of controlling an operating room display using an augmented reality headset
JP2021194538A (ja) 基準シードを介した可視光での外科手術での対象の追跡および合成画像登録
JP2021122743A (ja) ナビゲートされたロボット外科手術のためのエクステンデッドリアリティ器具相互作用ゾーン
EP2453290A1 (en) Image presentation method and apparatus therefor
EP4272679B1 (en) Technique for determining a visualization based on an estimated surgeon pose
US20230310086A1 (en) Camera tracking system identifying phantom markers during computer assisted surgery navigation
WO2024049942A1 (en) Techniques for updating a registration transform between an extended-reality system and a computer-assisted device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination