CN110235047A - 用于增强现实眼科手术显微镜投影的系统和方法 - Google Patents

用于增强现实眼科手术显微镜投影的系统和方法 Download PDF

Info

Publication number
CN110235047A
CN110235047A CN201880009090.7A CN201880009090A CN110235047A CN 110235047 A CN110235047 A CN 110235047A CN 201880009090 A CN201880009090 A CN 201880009090A CN 110235047 A CN110235047 A CN 110235047A
Authority
CN
China
Prior art keywords
augmented reality
digital picture
operator
lens
reality device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880009090.7A
Other languages
English (en)
Inventor
M·奥夫钦尼科夫
J·孔茨
C·多斯桑托斯
A·S·霍珀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novartis AG
Original Assignee
Novartis AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novartis AG filed Critical Novartis AG
Publication of CN110235047A publication Critical patent/CN110235047A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本披露提供了一种包括增强现实装置的系统，所述增强现实装置通信地联接至眼科显微镜的成像系统。所述增强现实装置可以包括：透镜，所述透镜被配置用于投射数字图像；注视控件，所述注视控件被配置用于检测操作者的眼睛的焦点；以及调光系统，所述调光系统通信地联接到所述注视控件和所述外表面并且包括处理器，所述处理器从所述成像系统接收数字图像、将所述数字图像投射到透镜上、从注视控件接收关于操作者的眼睛的焦点的信号、并且基于所接收到的信号使所述增强现实装置的外表面从至少部分地透明转变成不透明。本披露进一步包括使用增强现实装置来执行眼科手术的方法以及一种能够执行增强现实功能的非暂时性计算机可读介质。

Description

用于增强现实眼科手术显微镜投影的系统和方法
技术领域
本披露涉及眼科手术和手术设备、并且更具体地涉及用于增强现实眼科手术显微镜投影的系统和方法。
背景技术
在眼科学中，每年对数万名患者的眼睛和附属视觉结构进行眼科手术以拯救和改善视力。然而，鉴于视力对于眼睛中的即使是很小的变化的敏感性以及许多眼结构的微小的和微妙的性质，眼科手术是难以进行的，并且即使是微小的或是不常见的手术错误的减少或手术技术的准确性的适度改善也可以在手术后对患者的视力产生巨大影响。
眼科手术是在眼睛和附属视觉结构上进行的。在眼科手术期间，患者置于支撑件上、面向上方、在手术显微镜下方。插入开睑器以保持眼睛暴露。外科医生通常使用手术显微镜来观察患者眼睛，并可以引入手术器械以执行各种不同程序中的任一种。手术显微镜在所述程序期间提供对眼睛的某些部分的成像和可选地照明。手术显微镜可以构造成许多形式，例如顶置式手术显微镜或移动式、车载式手术显微镜。
在眼科手术中使用显微图像来观察小的眼睛结构。虽然眼睛结构被放大，但是这些图像与正常视力所能看到的匹配程度有多接近将影响手术进行得有多好。单目显微图像通过大小、焦点、阴影和遮挡来提供关于被观察物体的信息。三维(3D)显示器现在增加了双目像差，这是一只眼睛看到的图像与另一只眼睛看到的图像的差异，这使得图像更加逼真并且为外科医生提供了附加视觉信息。然而，用于眼科手术的显微图像中所包含的信息还有待改进。
发明内容
本披露提供一种用于眼科手术的系统。所述系统可以包括增强现实装置，所述增强现实装置通信地联接至眼科显微镜的成像系统。所述增强现实装置可以包括：透镜，所述透镜被配置用于投射数字图像；外表面，所述外表面联接至所述透镜，所述外表面是至少部分地透明的；注视控件，所述注视控件被配置用于检测所述增强现实装置的操作者的眼睛的焦点并且基于所述焦点发出信号；以及调光系统，所述调光系统通信地联接到所述注视控件和所述外表面。所述调光系统可以进一步包括处理器，所述处理器可操作用于：从所述眼科显微镜的成像系统接收所述数字图像；将所述数字图像投射到所述透镜上；从所述注视控件接收关于所述操作者的眼睛的焦点的信号；并且基于所接收到的信号使所述增强现实装置的外表面从至少部分地透明转变成不透明。
所述系统可以进一步具有以下附加特征中的一个或多个，这些特征除非明显地相互排斥，否则可以彼此组合：i)所述增强现实装置可以包括增强现实眼镜；ii)所述数字图像可以包括针对所述操作者的每只眼睛投射到所述透镜上的分开的图像；iii)所述系统可以包括被配置成与所述数字图像接合的器械；iii-a)所述器械可以包括由所述操作者操纵的物理器械；iii-b)所述器械可以包括由所述操作者操纵的数字器械；iv)所述系统可以包括被配置成与所述数字图像接合的控制装置。
本披露进一步提供一种执行眼科手术的方法。所述方法可以包括：从眼科显微镜的成像系统接收数字图像；将所述数字图像投射到增强现实装置的透镜上；接收关于所述操作者的眼睛的焦点的信号；并且基于所接收到的信号使所述增强现实装置的外表面从至少部分地透明转变成不透明。
所述方法可以进一步具有以下附加特征中的一个或多个，这些特征除非明显地相互排斥，否则可以彼此组合：i)所述增强现实装置可以包括增强现实眼镜；ii)所述数字图像可以包括针对所述操作者的每只眼睛投射到所述透镜上的分开的图像；iii)所述方法可以进一步包括将器械与数字图像接合；iii-a)所述器械可以包括由所述操作者操纵的物理器械；iii-b)所述器械可以包括由所述操作者操纵的数字器械；iv)所述方法可以包括被配置成与所述数字图像接合的控制装置。
本披露进一步包括一种存储有指令的非暂时性计算机可读介质，所述指令可被处理器读取、并且当被读取和执行时被配置成使所述处理器：从眼科显微镜的成像系统接收数字图像；将所述数字图像投射到增强现实装置的透镜上；接收关于所述操作者的眼睛的焦点的信号；并且基于所接收到的信号使所述增强现实装置的外表面从至少部分地透明转变成不透明。
所述非暂时性计算机可读介质可以进一步具有以下附加特征中的一个或多个，这些特征除非明显地相互排斥，否则可以彼此组合：i)所述增强现实装置可以包括增强现实眼镜；ii)所述数字图像可以包括针对所述操作者的每只眼睛投射到所述透镜上的分开的图像；iii)所述处理器可以被配置用于将器械与所述数字图像接合；iii-a)所述器械可以包括由所述操作者操纵的物理器械；iii-b)所述器械可以包括由所述操作者操纵的数字器械。
任何以上系统可以包括任何以上非暂时性计算机可读介质并且可以实施任何以上方法。任何以上非暂时性计算机可读介质也可以实施任何以上方法。
附图说明
为了更加彻底地理解本披露及其特征和优点，现在参考结合附图进行的以下说明，这些附图不是按比例的，相同的附图标记指示相同的特征，并且在这些附图中：
图1是用于执行眼科手术的眼科手术显微镜系统的示意图；
图2A展示了使用外表面为透明的增强现实装置的局部视图；
图2B展示了使用外表面为不透明的增强现实装置的局部视图；
图2C展示了使用数字图像与器械相接合的增强现实装置的局部视图；并且
图3展示了如本文所描述的用于增强现实眼科手术显微镜投影的方法。
具体实施方式
在以下说明中，通过举例的方式阐述了细节以便于讨论所披露的主题。然而，本领域普通技术人员应了解的是，所披露的实施例是示例性的而不是所有可能实施例的穷举。
本披露提供了用于在眼科手术期间使用增强现实的系统和方法。在一些情况下，这些系统使用例如头戴设备和/或眼镜等增强现实装置来显示来自眼科显微镜的图像。例如，增强现实眼镜可以包括一个或多个透明或半透明透镜、以及光学系统，所述光学系统通过将独立图像从透镜反射来将图像投射到每只眼睛中。这些图像被解释为通过透镜添加到操作者的正常视野的数字图像、三维(3D)图像，例如全息图。在一些情况下，数字图像或3D图像是半透明的。因而，除了透过眼镜通常看到的物理空间之外，投射的图像也是操作者可见的。由于投射的图像的半透明度，因为图像后方的物理空间的干扰，操作者可能难以清楚地看见投射的图像。本披露的系统可以包括透镜的外表面，所述外表面可以从透明转变成不透明。例如，外表面可以包括调光膜，所述调光膜是电子受控的以在透明与不透明之间转变。外表面可以基于从调光系统接收到信号而开始透明与不透明之间的转变。调光系统可以包括注视控件。注视控件可以检测操作者的注视并且确定操作者是聚焦于投射的图像还是物理空间上。注视控件还可以检测操作者的焦点从物理空间改变到投射的图像上，反之亦然。当注视控件检测到操作者的焦点从物理空间改变到投射的图像上时，注视控件可以发出将外表面从透明转变成不透明的信号。此外，当注视控件检测到使用的焦点从投射的图像改变到物理空间上时，注视控件可以发出将外表面从不透明转变成透明的信号。
在一些情况下，所述系统和方法可以用于在眼科手术期间对手术室设备进行非接触控制。例如，增强现实装置投射的数字或3D图像可以包括用于手术设备的虚拟控件。增强现实装置可以提供在操作者的手操作手术设备时跟踪手。进一步地，操作者可以利用物理装置。例如，物理装置可以包括但不限于控制旋钮、手柄、键盘和/或适于特定实现方式的任何其他合适的物理装置。在一些情况下，物理装置可以是可抛弃的，例如由塑料或纸制成。使用虚拟控件和/或物理装置可以允许操作者准确控制手术设备而不会损害无菌性。
图1是用于执行眼科手术的眼科手术显微镜系统100的示意图。显微镜系统100包括眼科显微镜102，所述眼科显微镜例如有线或无线地通信联接至成像系统104。成像系统104可以例如有线或无线地通信联接至增强现实装置106。
眼科显微镜102包括至少一个显微镜透镜120，从眼睛或相关结构反射的光在进入相机122之间穿过所述透镜。相机122可以是向成像系统104提供关于捕捉到的图像的数字信息的光场相机、视频相机、或任何其他相机。成像系统104使用从相机122接收的数字信息来将图像显示到视觉显示装置上，例如多视角显示器、3D眼镜或护目镜、屏幕和/或任何其他合适的显示器。在一些实施例中，3D眼镜可以被包含在增强现实装置106中并且可以进一步被包含在增强现实眼镜124中。
显微镜透镜120可以包括用于眼科手术中的任何类型的放大透镜，如直接接触透镜和间接透镜，包括大视野透镜。虽然图1中示出了一个显微镜透镜120，但是可以使用多个透镜以允许改变视觉图像的放大倍数或其他方面。在一些实施例中，放大透镜120可以存在于眼科显微镜102中，或者根本不存在。特别地，因为相机122结合成像系统104可以使用眼科显微镜102所捕捉到的数据来改变任何视觉图像的焦点，因此可以在不使用显微镜透镜120的情况下放大通过使用成像系统104而显示的视觉图像。
相机122可以是能够捕捉关于光束到达的方向的信息并且将所述信息数字化的任何光场相机或其他装置或传感器。相机122不仅可以捕捉例如光的颜色和强度等图像信息，还可以捕捉关于光线的矢量的方向信息。相机122可以包括一个或多个光传感器，所述光传感器可以是能够将光转换为数字图像的任何电子装置。例如，光传感器可以是光-数字传感器、半导体电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)器件、N型金属氧化物半导体(NMOS)器件、或含有光电二极管阵列作为一个或多个集成电路的一部分的另一个电子装置。
成像系统104可以使用来自相机122的数字信息以产生图像信息和方向信息。这种方向信息可以进一步用于生成数字图像和/或3D图像。成像系统104可以与相机122分开且与之通信，或可以是相机122的一部分。成像系统104可以包括可以与存储器通信的处理资源，所述存储器存储有一个或多个算法，所述算法用于处理来自相机122的数字信息以生成可用于将图像显示在例如增强现实眼镜124等视觉显示器上的信息。此类算法在生成信息时可以使用关于相机122的部件布置的信息，如光传感器的布置、以及任何附加元件的存在。成像系统104还可以使用针对除了眼科手术之外的其他情况而开发的任何算法，所述算法适用于生成可用于利用增强现实眼镜124或其他合适的视觉显示器来显示数字图像和/或3D图像的信息。相机122与成像系统104结合并且可选地还与一个或多个附加相机、光传感器或处理资源结合可以产生可用于通过增强现实眼镜124以足够分辨率显示将在眼科手术中使用的数字图像和/或3D图像的信息。
增强现实装置106可以包括增强现实眼镜124。增强现实眼镜124可以包括配戴在操作者的头部上的、能够向左眼和右眼投射不同图像并且在操作者头部移动时调整图像的视点的任何装置。增强现实眼镜124包括将数字图像和/或3D图像显示在一个或多个透镜108上的能力并且可以利用定位意识来提供数字现实。数字图像可以由针对操作者每只眼睛投射到透镜上的独立图像组成。组合的数字图像可以解释为3D图像或全息图。数字图像和/或3D图像可以是基本上透明的。此外，增强现实装置106的多个部分可以通过物理附接到人(例如经由皮带、经由增强现实眼镜124、经由夹子夹到眼镜上)、或通过操作者手持(例如经由透过智能手机或笔记本电脑等计算装置来观看)而被佩戴。虽然在此展示的增强现实装置106使用增强现实眼镜124作为观看装置，但是可以利用适于特定实现方式的任何观看装置。
增强现实装置106可以进一步包括外表面110。外表面110可以并入增强现实眼镜124、或可以是附接到增强现实眼镜124上的分开的装置。例如，外表面110可以夹在或以其他方式联接到透镜108或增强现实眼镜124上。外表面110可以包括允许响应于电子信号在透明与不透明之间转变的横向偏振膜或其他类型的膜或覆盖物。当外表面110转变成不透明，外表面110可以基本上不发光并且可以呈现深色或黑色。此外，外表面110可以操作成在透明与不透明之间有渐变，使得光可以部分地横穿外表面110。
增强现实装置106还可以包括注视控件112。注视控件可以例如有线或无线地通信联接到增强现实眼镜124和调光系统114上。注视控件112可以是确定操作者的注视的方向和/或焦点的任何装置。注视控件112可以操作来跟踪操作者的单眼或双眼以确定操作者的注视。例如，注视控件112可以操作来确定操作者的眼睛是否聚焦于透镜108上(所述透镜可以包括一个或多个数字图像例如数字图像和/或3D图像的投影)、或操作者的眼睛是否聚焦超过透镜108到达物理空间。
此外，增强现实装置106可以包括调光系统114。调光系统114可以例如有线或无线地通信联接到增强现实眼镜124和/或外表面110上。调光系统114可以操作来使外表面110从透明转变成不透明。调光系统114执行的转变可以是大约瞬间的。调光系统114可以例如有线或无线地通信联接到注视控件112，以从注视控件112接收信号和/或向其发出信号。例如，如果注视控件112确定操作者的眼睛聚焦在投射到透镜108上的数字图像上，注视控件112可以发出信号到调光系统114。接收到来自注视控件112的信号之后，调光系统114可以使外表面110转变成不透明。进一步地，如果注视控件112确定操作者的眼睛聚焦在透镜108之外的物理空间上，注视控件112可以发出信号到调光系统114。接收到来自注视控件112的信号之后，调光系统114可以使外表面110转变成透明或半透明。
调光系统114可以包括可以与存储器118通信的处理资源116，所述存储器存储一个或多个算法，所述算法用于处理来自注视控件112的数字信息以使得外表面110在透明与不透明之间转变。此类算法可以使用关于操作者的眼睛的注视的焦点和/或方向的信息或特异于具体实现方式的任何其他合适的信息。调光系统114还可以使用针对除了眼科手术之外的情况而开发的任何算法，所述算法适用于使外表面110在透明与不透明之间转变。
图2A展示了使用外表面110为透明的增强现实装置106的局部视图202。图2A包括穿过参考图1所讨论的透镜108的局部视图202。在图2A示出的实例中，调光系统114可以已经使外表面110转变成透明或半透明，使得透过数字图像206，物理空间204是全部或部分可见的。例如，注视控件112可能已经检测到操作者的眼睛是聚焦于或指向物理空间204。因此，注视控件112可能已经发出信号到调光系统114并且调光系统114可能已经使外表面110转变成透明或半透明。局部视图202示出了增强现实环境的示例性视图，其中，增强现实装置106的透镜108定位在操作者的视野内而没有掩盖操作者对实际物理空间204的视野的全部。
增强现实装置的透镜108同时提供透镜108内的数字图像206的投影、以及透镜108上的数字图像206的投影之外以及周围的实际物理空间204的视图。在一些实施例中，增强现实装置106的作用与成像系统104相呼应以建立操作者所观看的物理空间204以及待在透镜108上示出的数字图像206。值得注意地，透镜108上的数字图像206的尺寸和范围不限于操作者视野的特定部分，因为数字图像206可以延伸遍及操作者的视野。在一些实施例中，数字图像206可以受限于预定观看尺寸。在一些实施例中，数字图像206的尺寸可以被确定成适应透镜108，以使得数字图像206不掩盖操作者的全部视野。例如，数字图像206可以在操作者的一只眼睛的视野的一部分上延伸，而使剩下的眼睛清楚地观看物理空间204。进一步地，显示在透镜108上的数字图像206的投影可以附于与物理位置相对应的特定空间上。增强现实装置106可以显示操作者的取向相对于物理位置的数字图像206的投影的一部分或全部。增强现实装置106可以包括一个或多个加速计和/或陀螺仪以指示操作者头部的移动。例如，如果操作者朝向特定物理位置定位，数字图像206被显示，但是当操作者移动成朝向使得物理位置与操作者不对齐时，数字图像206可能被移除。
数字图像206可以不限于特定尺寸或位置。在一些实施例中，数字图像206可以是眼科手术期间眼睛的投影。在一些实施例中，数字图像206可以是多种数字内容的投影，数字内容是例如物理或数字控件、二维(2D)图像、视频、文本、可执行应用、和/或特异于具体实现方式的任何其他数字内容。
在一些实施例中，投射到透镜108上的数字图像206可以操作来通过物理相互作用与操作者接合。特别地，数字图像206可以投射到透镜108上并且与操作者接合以触发多种动作和结果。例如，对物理空间204的物理触碰可以激活进一步信息在数字图像206中出现、与眼科手术相关联的装置的移动、和/或从投射到透镜108上的数字图像206中移除信息。增强现实装置106可以操作来使投射到透镜108上的数字图像206与物理位置关联并且随后识别操作者与该数字图像206的物理相互作用以产生预定结果。
图2B展示了使用外表面110为不透明的增强现实装置106的局部视图208。图2B包括穿过参考图1所讨论的透镜108的局部视图208。在图2B示出的实例中，调光系统114可能已经使外表面110转变成不透明，例如黑色或无颜色，使得物理空间204被完全掩盖在数字图像206后方。例如，注视控件112可能已经检测到操作者的眼睛是聚焦于或指向数字图像206。因此，注视控件112可能已经发出信号到调光系统114并且调光系统114可能已经使外表面110转变成不透明。局部视图208示出了增强现实环境的示例性视图，其中，增强现实装置106的透镜108定位在操作者的视野内并且外表面1100掩盖操作者对实际物理空间204的视野的全部。
图2C展示了使用数字图像206与器械212相接合的增强现实装置106的局部视图210。图2C包括穿过参考图1所讨论的透镜108的局部视图208。在图2C示出的实例中，调光系统114可能已经使外表面110转变成不透明，例如黑色或无颜色，使得物理空间204被完全掩盖在数字图像206后方。操作者可以将数字图像206与物理或数字器械212接合以操纵数字图像206或与其相互作用。虽然被示出为与器械212接合，还可以与操作者的附属物或另一个人的附属物来接合。增强现实装置106可以操作来识别器械212或分配到数字空间内的预定位置的一个或多个其他物品的物理动作以开始与数字图像206的数字反应。进一步地，与数字图像206接合可以不发生在实际物理环境中，而是可以为操作者的实际物理动作与增强现实装置106将那些动作应用到投射到透镜108上的增强数字现实中的组合。此外，与数字图像206接合可以通过使用控件或输入/输出装置，例如按钮、杠杆、键盘、鼠标、语音识别控件、或用于特定实现方式的任何其他合适的控件来完成。操作者可以手持或操纵物理控件或数字图像206上的控件。物理控件可以用于向操作者提供操纵物理装置的触觉。同样的，物理控件可以是可抛式的并且不得损害手术环境的无菌性。操作者接合数字图像206可以允许对手术设备进行非接触控制。
图3展示了如本文所描述的用于增强现实眼科手术显微镜投影的方法300。方法300可以与上述系统和设备结合使用。方法300可以用于使用增强现实装置来投射数字图像并且使外表面在透明与不透明之间转变。方法300中描述的某些操作可以是可选的，或者可以在使用本披露的系统和装置的多种眼科手术中重新安排。
步骤305中，眼科显微镜通过显微镜透镜捕捉图像并且将图像传输到相机和/或成像系统。例如，参考图1讨论的眼科显微镜102可以使用显微镜透镜120来捕捉图像。
步骤310中，相机和/或成像系统将接收到的图像转换成数字图像。例如，成像系统104可以接收来自相机122和/或眼科显微镜102的图像并且将图像转换成数字图像。
步骤315中，增强现实装置接收数字图像。例如，成像系统104可以将数字图像传输到增强现实装置。增强现实装置可以接收数字图像并且将其准备好进行进一步处理。
步骤320中，增强现实装置将数字图像透射到增强现实眼镜的一个或多个透镜上。例如，数字图像可以投射到增强现实眼镜124的透镜108上。
步骤325中，增强现实装置确定操作者的眼睛的焦点或方向。例如，参考图1讨论的注视控件112可以检测操作者的眼睛的注视并且确定注视的焦点或方向。注视控件112还可以操作来检测注视的变化，例如操作者的眼睛的焦点或方向的变化。
步骤330中，增强现实装置接收基于操作者眼睛的注视的信号。例如，注视控件112可以发出信号到调光系统114，所述信号包括关于操作者的眼睛的焦点或方向的信息。调光系统114可以接收来自注视控件112的信号。
步骤335中，增强现实装置确定操作者是否聚焦在数字图像上。例如，注视控件112和/或调光系统114可以操作来确定操作者的眼睛是否聚焦在投射的数字图像上，例如参考图2A至图2C示出的数字图像206。如果操作者的眼睛聚焦在数字图像206上，方法300前进到步骤340，在所述步骤中，调光系统114使外表面110转变成不透明。如果操作者的眼睛没有聚焦在数字图像206上，方法300前进到步骤345，在所述步骤中，调光系统114使外表面110转变成透明或半透明。
以上披露的主题应认为是说明性而非限制性的，并且所附权利要求旨在覆盖所有此类修改、增强、以及落入本披露的真实精神和范围内的其他实施例。例如，任何以上系统可以包括任何以上非暂时性计算机可读介质并且可以实施任何以上方法。任何以上非暂时性计算机可读介质也可以实施任何以上方法。因此，在法律允许的最大程度上，本披露的范围将由对以下权利要求及其等效物的最宽允许解释来确定并且不应受限于或局限于上述详细说明。

Claims (20)

1.一种用于眼科手术的系统，包括：
增强现实装置，所述增强现实装置通信地联接至眼科显微镜的成像系统，所述增强现实装置包括：
透镜，所述透镜被配置用于投射数字图像；
外表面，所述外表面联接至所述透镜，所述外表面是至少部分地透明的；
注视控件，所述注视控件被配置用于检测所述增强现实装置的操作者的眼睛的焦点并且基于所述焦点发出信号；以及
调光系统，所述调光系统通信地联接到所述注视控件和所述外表面，所述调光系统包括处理器，所述处理器可操作用于：
从所述眼科显微镜的成像系统接收所述数字图像；
将所述数字图像投射到所述透镜上；
从所述注视控件接收关于所述操作者的眼睛的焦点的信号；并且
基于所接收到的信号使所述增强现实装置的外表面在至少部分地透明与不透明之间转变。
2.如权利要求1所述的系统，其中，所述增强现实装置包括增强现实眼镜。
3.如权利要求1所述的系统，其中，所述数字图像包括针对所述操作者的每只眼睛投射到所述透镜上的分开的图像。
4.如权利要求1所述的系统，进一步包括被配置成与所述数字图像接合的器械。
5.如权利要求4所述的系统，其中，所述器械包括由所述操作者操纵的物理器械。
6.如权利要求4所述的系统，其中，所述器械包括由所述操作者操纵的数字器械。
7.如权利要求1所述的系统，进一步包括被配置成与所述数字图像接合的控制装置。
8.一种用于执行眼科手术的方法，所述方法包括：
从眼科显微镜的成像系统接收数字图像；
将所述数字图像投射到增强现实装置的透镜上；
接收关于操作者的眼睛的焦点的信号；以及
基于所接收到的信号使所述增强现实装置的外表面在至少部分地透明与不透明之间转变。
9.如权利要求8所述的方法，其中，所述增强现实装置包括增强现实眼镜。
10.如权利要求8所述的方法，其中，所述数字图像包括针对所述操作者的每只眼睛投射到所述透镜上的分开的图像。
11.如权利要求8所述的方法，进一步包括将器械与所述数字图像接合。
12.如权利要求11所述的方法，其中，所述器械包括由所述操作者操纵的物理器械。
13.如权利要求11所述的方法，其中，所述器械包括由所述操作者操纵的数字器械。
14.如权利要求8所述的方法，进一步包括被配置成与所述数字图像接合的控制装置。
15.一种存储有指令的非暂时性计算机可读介质，所述指令可被处理器读取、并且当被读取和执行时被配置用于使所述处理器：
从眼科显微镜的成像系统接收数字图像；
将所述数字图像投射到增强现实装置的透镜上；
接收关于操作者的眼睛的焦点的信号；并且
基于所接收到的信号使所述增强现实装置的外表面在至少部分地透明与不透明之间转变。
16.如权利要求15所述的非暂时性计算机可读介质，其中，所述增强现实装置包括增强现实眼镜。
17.如权利要求15所述的非暂时性计算机可读介质，其中，所述数字图像包括针对所述操作者的每只眼睛投射到所述透镜上的分开的图像。
18.如权利要求15所述的非暂时性计算机可读介质，其中，所述处理器进一步地被配置用于将器械与所述数字图像接合。
19.如权利要求17所述的非暂时性计算机可读介质，其中，所述器械包括由所述操作者操纵的物理器械。
20.如权利要求17所述的非暂时性计算机可读介质，其中，所述器械包括由所述操作者操纵的数字器械。
CN201880009090.7A 2017-01-30 2018-01-24 用于增强现实眼科手术显微镜投影的系统和方法 Pending CN110235047A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762452077P 2017-01-30 2017-01-30
US62/452,077 2017-01-30
PCT/IB2018/050432 WO2018138653A1 (en) 2017-01-30 2018-01-24 Systems and method for augmented reality ophthalmic surgical microscope projection

Publications (1)

Publication Number Publication Date
CN110235047A true CN110235047A (zh) 2019-09-13

Family

ID=61157247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880009090.7A Pending CN110235047A (zh) 2017-01-30 2018-01-24 用于增强现实眼科手术显微镜投影的系统和方法

Country Status (7)

Country Link
US (1) US10638080B2 (zh)
EP (2) EP3574361B1 (zh)
JP (1) JP7036828B2 (zh)
CN (1) CN110235047A (zh)
AU (1) AU2018212779A1 (zh)
CA (1) CA3045780A1 (zh)
WO (1) WO2018138653A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727109A (zh) * 2019-10-18 2020-01-24 蒂姆维澳(上海)网络技术有限公司 Ar眼镜及其控制方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10973391B1 (en) * 2017-05-22 2021-04-13 James X. Liu Mixed reality viewing of a surgical procedure
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11992373B2 (en) * 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
WO2021168449A1 (en) 2020-02-21 2021-08-26 Raytrx, Llc All-digital multi-option 3d surgery visualization system and control
JP7546367B2 (ja) * 2020-03-17 2024-09-06 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置および医療用観察システム
KR102378114B1 (ko) * 2020-04-01 2022-03-24 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
US11832883B2 (en) 2020-04-23 2023-12-05 Johnson & Johnson Surgical Vision, Inc. Using real-time images for augmented-reality visualization of an ophthalmology surgical tool
US20210330394A1 (en) 2020-04-23 2021-10-28 Johnson & Johnson Surgical Vision, Inc. Augmented-reality visualization of an ophthalmic surgical tool
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
JP7528258B2 (ja) * 2020-05-07 2024-08-05 ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド 頭部装着可能ディスプレイデバイスおよび顕微鏡から受信された画像を表示する方法
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11357594B2 (en) 2020-08-07 2022-06-14 Johnson & Johnson Surgical Vision, Inc. Jig assembled on stereoscopic surgical microscope for applying augmented reality techniques to surgical procedures
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US12023106B2 (en) 2020-10-12 2024-07-02 Johnson & Johnson Surgical Vision, Inc. Virtual reality 3D eye-inspection by combining images from position-tracked optical visualization modalities
US12045957B2 (en) 2020-10-21 2024-07-23 Johnson & Johnson Surgical Vision, Inc. Visualizing an organ using multiple imaging modalities combined and displayed in virtual reality
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118845A (en) * 1998-06-29 2000-09-12 Surgical Navigation Technologies, Inc. System and methods for the reduction and elimination of image artifacts in the calibration of X-ray imagers
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US7339148B2 (en) * 2002-12-16 2008-03-04 Olympus America Inc. Confocal microscope
US7369101B2 (en) * 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
US7376903B2 (en) * 2004-06-29 2008-05-20 Ge Medical Systems Information Technologies 3D display system and method
US20060176242A1 (en) * 2005-02-08 2006-08-10 Blue Belt Technologies, Inc. Augmented reality device and method
US8777413B2 (en) * 2006-01-20 2014-07-15 Clarity Medical Systems, Inc. Ophthalmic wavefront sensor operating in parallel sampling and lock-in detection mode
WO2008078320A2 (en) 2006-12-22 2008-07-03 Yossi Gross Electronic transparency regulation element to enhance viewing through lens system
US20080297535A1 (en) * 2007-05-30 2008-12-04 Touch Of Life Technologies Terminal device for presenting an improved virtual environment to a user
US8730266B2 (en) * 2008-11-13 2014-05-20 Queen's University At Kingston System and method for integrating gaze tracking with virtual reality or augmented reality
US20120022408A1 (en) * 2010-06-18 2012-01-26 Vantage Surgical Systems, Inc. Surgical Procedures Using Visual Images Overlaid with Visual Representations of Selected Three-Dimensional Data
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8743244B2 (en) * 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
GB2498954B (en) * 2012-01-31 2015-04-15 Samsung Electronics Co Ltd Detecting an object in an image
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US8994672B2 (en) * 2012-04-09 2015-03-31 Sony Corporation Content transfer via skin input
US20140160264A1 (en) * 2012-12-10 2014-06-12 The Johns Hopkins University Augmented field of view imaging system
WO2014145166A2 (en) * 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
EP2999414B1 (en) * 2013-05-21 2018-08-08 Camplex, Inc. Surgical visualization systems
JP6521982B2 (ja) * 2013-09-20 2019-05-29 キャンプレックス インコーポレイテッド 手術可視化システム及びディスプレイ
US20160294960A1 (en) * 2014-03-30 2016-10-06 Gary Stephen Shuster Systems, Devices And Methods For Person And Object Tracking And Data Exchange
US9143693B1 (en) * 2014-06-10 2015-09-22 Google Inc. Systems and methods for push-button slow motion
DE102014113901A1 (de) * 2014-09-25 2016-03-31 Carl Zeiss Meditec Ag Verfahren zur Korrektur eines OCT-Bildes und Kombinationsmikroskop
GB2532954A (en) * 2014-12-02 2016-06-08 Ibm Display control system for an augmented reality display system
US10238279B2 (en) * 2015-02-06 2019-03-26 Duke University Stereoscopic display systems and methods for displaying surgical data and information in a surgical microscope
US10295815B2 (en) * 2015-02-09 2019-05-21 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
US9358103B1 (en) * 2015-02-10 2016-06-07 Omega Ophthalmics Llc Prosthetic capsular devices, systems, and methods
CN113017836A (zh) * 2015-02-20 2021-06-25 柯惠Lp公司 手术室和手术部位感知
NZ773847A (en) * 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
US10888389B2 (en) * 2015-09-10 2021-01-12 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
US10966798B2 (en) * 2015-11-25 2021-04-06 Camplex, Inc. Surgical visualization systems and displays
EP3403130A4 (en) * 2016-01-12 2020-01-01 eSIGHT CORP. METHODS AND DEVICES FOR INCREASING LANGUAGE ELEMENT VISION
US20170256095A1 (en) * 2016-03-02 2017-09-07 Siemens Medical Solutions Usa, Inc. Blocking screen in Augmented Reality
US10134198B2 (en) * 2016-04-19 2018-11-20 Adobe Systems Incorporated Image compensation for an occluding direct-view augmented reality system
US9844321B1 (en) * 2016-08-04 2017-12-19 Novartis Ag Enhanced ophthalmic surgical experience using a virtual reality head-mounted display
US10516879B2 (en) * 2016-08-12 2019-12-24 Avegant Corp. Binocular display with digital light path length modulation
US10187634B2 (en) * 2016-08-12 2019-01-22 Avegant Corp. Near-eye display system including a modulation stack
US10146067B2 (en) * 2016-09-09 2018-12-04 Ching-Lai Tsai Eye-protective shade for augmented reality smart glasses
US10379611B2 (en) * 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
CN106297472A (zh) * 2016-10-25 2017-01-04 深圳市科创数字显示技术有限公司 Ar与vr相结合的眼角膜智能手术培训系统
US10388072B2 (en) * 2016-10-31 2019-08-20 Verizon Patent And Licensing Inc. Methods and systems for dynamically customizing a scene for presentation to a user
US20180158390A1 (en) * 2016-12-01 2018-06-07 Charles Sanglimsuwan Digital image modification

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727109A (zh) * 2019-10-18 2020-01-24 蒂姆维澳(上海)网络技术有限公司 Ar眼镜及其控制方法

Also Published As

Publication number Publication date
EP4050403A1 (en) 2022-08-31
EP3574361B1 (en) 2022-04-20
WO2018138653A1 (en) 2018-08-02
US10638080B2 (en) 2020-04-28
JP2020506745A (ja) 2020-03-05
US20180220100A1 (en) 2018-08-02
AU2018212779A1 (en) 2019-07-04
CA3045780A1 (en) 2018-08-02
JP7036828B2 (ja) 2022-03-15
EP3574361A1 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
CN110235047A (zh) 用于增强现实眼科手术显微镜投影的系统和方法
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
US20220147141A1 (en) Eye-tracking enabled wearable devices
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US11068050B2 (en) Method for controlling display of virtual image based on eye area size, storage medium and electronic device therefor
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP3227760B1 (en) Pointer projection for natural user input
US9740282B1 (en) Gaze direction tracking
KR101471488B1 (ko) 시선 추적 장치 및 방법
JP6801263B2 (ja) 表示制御プログラム、表示制御方法および表示制御装置
WO2014141504A1 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
JP4733600B2 (ja) 操作検出装置とそのプログラム
CN112041788B (zh) 使用眼睛注视来选择文本输入字段
CN109472189A (zh) 瞳孔半径补偿
JP2015152938A (ja) 情報処理装置、情報処理方法、及びプログラム
US20200057494A1 (en) Electronic device
CN113260299A (zh) 用于眼睛追踪的系统和方法
CN109587471A (zh) 图像显示系统、图像显示方法及图像显示程序
CN108135468A (zh) 使用光场显微镜检查的眼科手术
US20200379555A1 (en) Information processing system, operation method, and operation program
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP2005261728A (ja) 視線方向認識装置及び視線方向認識プログラム
JP4451195B2 (ja) 視線検出装置
JP6996883B2 (ja) 医療用観察装置
JP2023168746A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190913