CN112859333A - 光学系统以及对应的装置、方法和计算机程序 - Google Patents

光学系统以及对应的装置、方法和计算机程序 Download PDF

Info

Publication number
CN112859333A
CN112859333A CN202011221849.3A CN202011221849A CN112859333A CN 112859333 A CN112859333 A CN 112859333A CN 202011221849 A CN202011221849 A CN 202011221849A CN 112859333 A CN112859333 A CN 112859333A
Authority
CN
China
Prior art keywords
view
field
portions
optical
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011221849.3A
Other languages
English (en)
Inventor
乔治·塞梅利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN112859333A publication Critical patent/CN112859333A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

示例涉及光学系统以及对应的装置、方法和计算机程序。光学系统包括显示模块，该显示模块用于提供在增强现实或混合现实环境中待叠加在对象上方的视觉叠加层。光学系统包括至少一个传感器，用于感测对象的至少一个光学性质。光学系统包括处理模块，被配置为使用至少一个传感器确定对象的至少一个光学性质；基于对象的至少一个光学性质，确定在增强现实或混合现实环境的视场内感知的、待叠加在对象上方的视觉叠加层和该对象之间的视觉对比度；基于待叠加在对象上方的视觉叠加层和该对象之间的确定的视觉对比度，选择性地对视场的一个或多个部分的照明、或者视场的一个或多个部分的光学衰减进行调节。

Description

光学系统以及对应的装置、方法和计算机程序
技术领域
示例涉及光学系统以及对应的装置、方法和计算机程序。
背景技术
增强现实(Augmented Reality，AR)和融合现实(Merged Reality)是研究和开发的主题。在增强现实中，真实世界环境的对象被计算机生成的信息叠加，例如为了提供关于真实世界环境的对象的上下文信息。例如，在手术室中，外科医生可以使用增强现实来查看关于在进行手术的组织的附加信息，例如在手术期间突出显示病理组织。在融合现实(即混合现实(mixed reality))中，现实世界和虚拟世界被融合/混合，使得两个世界的对象可以交互。这两种技术通常使用半透明镜和投影设备或者部分透明的显示器来实现。由于在图像混合和叠加方面的技术限制，增强现实和融合现实可视化技术经常颜色失真。例如，全息眼镜可以将数字图像物理叠加在自然视觉的视场上。这一过程可能导致明亮对象的对比度较低，诸如被充分照明的大脑组织。
发明内容
期望增强现实或融合现实环境的改进概念。
通过一种光学系统以及对应的装置、方法和计算机程序解决了这个期望。
实施例基于这样的发现，即在AR/MR环境中感知的(真实)对象的亮度可以被改变，以提高待叠加在对象上方的视觉叠加层与该对象的感知之间的对比度。这可以有选择地进行，例如为了避免降低周围对象或对象周围部分的亮度。通常，改变(真实)对象的感知至少有两个一般性概念：通过选择性地改变对象的照明，或者通过选择性地衰减对于该对象的感知。例如，可以在空间上调节，例如在空间上衰减，对于对象的照明或对于对象照明的观察。这可以提高在AR/MR环境中叠加层与对象之间的对比度。
本公开的实施例提供一种光学系统。该光学系统包括显示模块，该显示模块用于提供在增强现实或混合现实环境中待叠加在对象上方的视觉叠加层。该光学系统包括至少一个传感器，用于感测对象的至少一个光学性质。该光学系统包括处理模块，被配置为使用至少一个传感器确定对象的至少一个光学性质。处理模块被配置为基于对象的至少一个光学性质，确定在增强现实或混合现实环境的视场内感知的、待叠加在对象上方的视觉叠加层与该对象之间的视觉对比度。处理模块被配置为基于所确定的待叠加在对象上方的视觉叠加层和该对象之间的视觉对比度，选择性地对视场的一个或多个部分的照明、或者视场的一个或多个部分的光学衰减进行调节。这可以改进所述视场的所述一个或多个部分与所述视觉叠加层之间的对比度。
在至少一些实施例中，传感器模块包括摄像头。处理模块可以被配置为使用摄像头获取对象的摄像头图像。处理模块可以被配置为使用摄像头图像来确定在增强现实或混合现实环境中感知的对象的视觉表示。处理模块可以被配置为基于视觉叠加层并且基于摄像头图像来确定视觉对比度。所确定的视觉对比度可用于确定是否需要对对象的一部分进行照明或光学衰减的选择性调节。
例如，对象的至少一个光学性质可以包括视场的一个或多个部分的亮度。处理模块可以被配置为通过选择性地对视场的一个或多个部分的照明或光学衰减进行调节，选择性地对在增强现实或混合现实环境中感知的视场的一个或多个部分的亮度进行调节。例如，可以对照明或衰减进行调节，使得以降低的亮度感知视场的一个或多个部分，从而增加视觉叠加层和相应的一个或多个部分之间的对比度。
额外地或替代地，可以考虑对象的颜色组成。例如，对象的至少一个光学性质可以包括对象的颜色组成。处理模块可以被配置为基于对象的颜色组成来选择性地对视场的一个或多个部分的照明或光学衰减进行调节。例如，如果视觉叠加层的颜色和视场的该部分的颜色之间的对比度较低，则可能只需要对对象的一部分进行调节。
在至少一些实施例中，处理模块被配置为基于在视场的一个或多个部分处的对象的颜色组成和与该对象对应的位置处的视觉叠加层的颜色组成之间的视觉对比度，选择性地对视场的一个或多个部分的照明或光学衰减进行调节。例如，可以执行该调节，使得视场的一个或多个部分的颜色组成和与该对象对应的位置处的视觉叠加层的颜色组成之间的视觉对比度增加。
例如，处理模块可以被配置为通过选择性地对视场的一个或多个部分的照明的光谱特性或光学衰减的光谱特性进行调节，选择性地对在增强现实或混合现实环境中感知的视场的一个或多个部分的光谱特性进行调节。这可引起视场的一个或多个部分的颜色偏移或选择性衰减，从而提高视场的一个或多个部分和视觉叠加层之间的对比度。
在至少一些实施例中，光学系统包括用于对视场进行照明的照明源。处理模块可以被配置为控制照明源，以便选择性地对视场的一个或多个部分的照明进行调节。照明源可以在处理模块的控制下，并且因此可以实现对视场的一个或多个部分的照明的选择性调节。
例如，处理模块可以被配置为控制照明源，使得照明源被配置为提供视场的一个或多个部分的照明，该照明不同于视场的相邻部分的照明。例如，处理模块可以被配置为控制照明源，使得照明的光强和光谱特性中的至少一个在视场的一个或多个部分的照明和视场的相邻部分的照明之间不同。这可以提供照明的选择性调节。
在一些实施例中，光学系统包括光学衰减模块，该光学衰减模块被布置在光学系统的光路内。处理模块可以被配置为控制光学衰减模块，使得光学衰减模块被配置为提供从视场的一个或多个部分发出或入射到视场的一个或多个部分的光的衰减，该衰减不同于从视场的相邻部分发出或入射到视场的相邻部分的光的衰减，由此选择性地对视场的一个或多个部分的光学衰减进行调节。例如，处理模块可以被配置为控制光学衰减模块，使得光学衰减的强度和光学衰减的光谱特性中的至少一个在从视场的一个或多个部分发出或入射到视场的一个或多个部分的光的光学衰减和从视场的相邻部分发出或入射到视场的相邻部分的光的光衰减之间不同。这可以提供光学衰减的选择性调节。
例如，光学衰减模块可以被布置在光学系统的照明源和对象之间的光路内。这可以在照明到达对象之前提供对象的照明的光学衰减，从而引起视场的一个或多个部分的照明的选择性调节。替代地(或额外地)，光学衰减模块可以被布置在光学系统的用户和对象之间的光路内。这可以提供视场的一个或多个部分的选择性光学衰减。
在至少一些实施例中，处理模块被配置为选择性地对视场的一个或多个部分的照明，或者视场的一个或多个部分的光学衰减进行调节，以便在视觉叠加层和对象之间实现至少预定义的对比度。预定义的对比度可以增加视觉叠加层的可识别性或可感知性。
例如，可以使用光学系统的半透明镜将视觉叠加层叠加在对象上方。例如，叠加层可以被投射到半透明镜上。对象可以通过半透明镜看到，从而获得AR/MR体验，而不会在对象感知方面存在延迟。
在一些实施例中，对象是有机组织的样本。有机组织的样本可以叠加上下文信息，例如关于健康或病理组织的信息，或者关于隐藏在有机组织表面后面的特征的信息。
例如，视觉叠加层可以被配置为突出显示有机组织的样本的一个或多个部分。例如，突出显示的一个或多个部分可以用于在手术期间指导外科医生。
例如，光学系统可以是显微镜，例如手术显微镜。光学系统因此可以用于在手术过程中帮助外科医生。
替代地，光学系统可以是内窥镜。当结合内窥镜使用时，由于光源和摄像头之间的紧密接近，摄像头图像可能经常会受到高反射的影响。实施例可以用于选择性地对照明或衰减进行调节，以便在视觉叠加层和摄像头图像之间提供足够的对比度。此外，由于可以避免视场的一个或多个部分的过度曝光，所以可以改进摄像头记录的图像。
本公开的实施例还提供一种用于光学系统的对应装置。该装置包括接口，该接口用于与光学系统的一个或多个部件通信。该装置包括处理模块，该处理模块被配置为使用光学系统的至少一个传感器来确定对象的至少一个光学性质。该处理模块被配置为基于对象的至少一个光学性质，来确定在增强现实或混合现实环境的视场内感知的、在增强现实或混合现实环境中待叠加在对象上方的视觉叠加层与该对象之间的视觉对比度。该处理模块被配置为基于待叠加在对象上方的视觉叠加层和该对象之间的确定的视觉对比度，来选择性地对视场的一个或多个部分的照明，或者视场的一个或多个部分的光学衰减进行调节。
本公开的实施例还提供一种用于光学系统的相应方法。该方法包括使用光学系统的至少一个传感器来确定对象的至少一个光学性质。该方法包括基于对象的至少一个光学性质，来确定在增强现实或混合现实环境的视场内感知的、在增强现实或混合现实环境中待叠加在对象上方的视觉叠加层与该对象之间的视觉对比度。该方法包括基于待叠加在对象上方的视觉叠加层和该对象之间的确定的视觉对比度，来选择性地对视场的一个或多个部分的照明，或者视场的一个或多个部分的光学衰减进行调节。本公开的实施例还提供一种具有程序代码的计算机程序，当该计算机程序在处理器上执行时，该程序代码用于执行方法。
附图说明
下面将仅以示例的方式并参考附图来描述设备和/或方法的一些示例，其中
图1a至1c示出了光学系统和用于光学系统的装置的实施例的框图。
图2示出了用于光学系统的方法的实施例的流程图；以及
图3示出了在AR/MR环境中对对象的感知的示意图。
附图标记说明
100a光学系统
100b光学系统
100c光学系统
110装置
112接口
114处理模块
120显示模块
130照明源
140半透明镜
150衰减模块
155衰减模块
160传感器
170对象
210确定至少一个光学性质
220确定视觉对比度
230选择性地对照明或光学衰减进行调节
310视觉叠加层
320用户的感知
具体实施方式
现将参照示出了一些示例的附图来更全面地描述各个示例。在附图中，为了清楚起见，线、层和/或区域的厚度可能被放大。
因此，尽管进一步的示例能够具有各种修改和替代形式，但是在附图中示出了其一些特定示例，并且随后将详细描述。然而，这些详细描述不会将进一步的示例限制于所描述的特定形式。进一步的示例可以覆盖落入本公开范围内的所有修改、等同物以及替代物。贯穿附图的描述，相同或相似的数字代表相同或相似的元件，当彼此比较时，这些元件可以相同地或以修改的形式实现，同时提供相同或相似的功能。
应当理解，当一个元件被提及为“连结”或“连接”到另一个元件时，这些元件可以直接或经由一个或多个中间元件连结或连接。如果两个元件A和B使用“或”组合在一起，这应理解为公开了所有可能的组合，即只有A、只有B，以及A和B，如果没有明确或隐含地定义的话。相同组合的另一种说法是“A和B中至少一个”或“A和/或B”。加以必要的修改，同样适用于两种以上元素的组合。
本文中用于描述特定示例的术语并不旨在限制进一步的示例。无论何时使用诸如“一”、“一个”以及“该”等单数形式，并且仅使用单个元件既不被明确地也不被隐含地定义为强制性的，进一步的示例也可以使用复数个元件来实现相同的功能。同样地，当一个功能随后被描述为使用多个元件来实现时，进一步的示例可以使用单个元件或处理实体来实现相同的功能。还当理解，术语“包括(comprises)”、“包括(comprising)”、“包含(includes)”和/或“包含(including)”在使用时，指定所陈述的特征、整数、步骤、操作、过程、动作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、过程、动作、元件、部件和/或它们任何组合的存在或添加。
除非另有定义，本文中使用的所有术语(包括技术和科学术语)都是这些示例所属领域的普通含义。
图1a至1c示出了光学系统100a、100b、100c的实施例的框图。光学系统包括显示模块120，用于提供在增强现实或混合现实环境中待叠加在对象170上方的视觉叠加层。光学系统包括至少一个传感器160，用于感测对象170的至少一个光学性质。光学系统包括处理模块114，例如经由接口112连接到显示模块120和至少一个传感器160。图1a至1c还示出了用于光学系统的装置110，包括接口112和处理模块114。例如，该装置可以适用于控制光学系统，例如装置110可以是光学系统的控制装置。处理模块114被配置为使用至少一个传感器160来确定对象170的至少一个光学性质。处理模块114被配置为基于对象170的至少一个光学性质，确定在增强现实或混合现实环境的视场内感知的、待叠加在对象170上方的视觉叠加层与该对象170之间的视觉对比度。处理模块被配置为基于所确定的待叠加在对象170上方的视觉叠加层与该对象170之间的视觉对比度，选择性地对视场的一个或多个部分的照明，或者视场的一个或多个部分的光学衰减进行调节。在图1a至1c中，半透明镜140用于将视觉叠加层叠加在对象上方。换句话说，可以使用光学系统的半透明镜140将视觉叠加层叠加在对象170上方。可以使用替代方法，诸如半透明的显示器。
本公开的实施例涉及光学系统以及对应的装置、方法和计算机程序。光学系统可以被认为是增强现实(AR)或融合/混合现实(MR)系统，即其中(计算机生成的)视觉叠加层被叠加在真实对象(即，不是由计算机生成的来自真实世界的对象)上的系统。光学系统可以被配置为提供增强现实或混合现实环境，该环境可以是计算机生成的元素(即视觉叠加层)和真实对象两者都是可见的一个环境，并且其中计算机生成的元素被叠加在真实对象上方，例如以提供关于真实对象的辅助信息或上下文信息。这种光学系统例如可以用于手术环境中。例如，在手术过程中，光学系统可用于为外科医生显示辅助信息或上下文信息。例如，摄像头(诸如至少一个传感器160)可以用于执行荧光成像，例如用于获取显示已注入病理组织中的荧光染料的荧光的图像。可以基于获取的图像提取病理组织的位置，并通过光学系统叠加在对象(即病理组织)上。因此，对象170可以是有机组织的样本，例如手术部位的有机组织样本。视觉叠加层可以被配置为突出显示(有机组织样本或任何样本的)一个或多个部分，例如通过为一个或多个部分提供颜色叠加层和/或通过提供指示一个或多个部分的范围的一条或多条线。例如，有机组织样本的一个或多个部分可以包括(或者可以是)有机组织样本的一个或多个病理部分(或至少“可疑”部分)。替代地或额外地，有机组织样本的一个或多个部分可以包括(或者可以是)血管(例如动脉和静脉)，血管可以用对比色突出显示(例如动脉为红色，静脉为蓝色)。替代地或额外地，有机组织样本的一个或多个部分可以包括(或者可以是)将要对其进行手术的有机组织样本的一个或多个部分。
例如，在手术或研究环境中，光学系统可以是显微镜，例如手术显微镜、内窥镜或图像引导系统。图像引导系统通常被用作手术显微镜的附件，以帮助外科医生在组织体积内导航，并到达病理组织区域，同时避免伤害敏感但至关重要的结构，如大脑和血管。图像引导系统利用患者的术前三维扫描，诸如MRI(磁共振成像)扫描和X射线血管造影扫描。例如，有机组织样本的一个或多个部分可以叠加从患者术前三维扫描生成的图像。除了外科领域，光学系统可以是可穿戴的光学设备，诸如AR/MR眼镜，或者是移动设备，诸如智能手机或平板电脑。
处理模块被配置为使用至少一个传感器来确定对象170的至少一个光学性质。在至少一些实施例中，对象170的至少一个光学性质可以被用户“感知”，例如在假设对象的照明或光学衰减没有改变的情况下。对象的至少一个光学性质可以与对象在视场内如何被感知有关。对象170的至少一个特性可以随着照明或衰减的调节而改变。例如，随着照明或衰减的调节，对象(的一个或多个部分)的感知亮度可以改变。处理模块114可以在内部补偿这些改变，例如通过包括考虑到所执行的调节的补偿因子。替代地，对象170的至少一个性质独立于衰减的调节(尽管取决于照明的调节，因为照明也可以被至少一个传感器感知)。处理模块可以被配置为例如使用对象的至少一个光学性质在视场上的(二维)投影，将对象的至少一个光学性质(例如，至少一个传感器的传感器数据)映射到视场上，并且将对象的至少一个光学性质映射到光学系统内的对象的感知上。相应地，对象可以被映射到视场上。例如，视场的一个或多个部分可以被映射到对象的一个或多个对应的部分。视觉叠加层可以与视场内的对象(映射)对准。
在至少一些实施例中，对象的至少一个光学性质可以(至少)与视场的一个或多个部分(以及对象的对应的一个或多个部分)相关，因为这些部分是被改变的对象的部分。在检查对象和叠加层之间的视觉对比度时，可以考虑多种光学性质。例如，对象170的至少一个光学性质可以包括视场的一个或多个部分的亮度。因此，至少一个传感器160可以包括亮度传感器，该亮度传感器被配置为确定视场的一个或多个部分(以及对象的对应的一个或多个部分)的亮度。额外地或替代地，对象170的至少一个光学性质可以包括对象170的颜色组成(例如视场的一个或多个部分的颜色组成)。例如，对象170的颜色组成可以指示在光学成像系统内感知的对象的一种或多种颜色。例如，对象170的至少一个光学性质可以包括视场的一个或多个部分的颜色组成，视场的一个或多个部分的颜色组成又基于对象的一个或多个对应部分的颜色。因此，至少一个传感器160可以包括光谱分析传感器，光谱分析传感器被配置为确定对象的颜色组成。代替(或作为)亮度传感器和光谱分析传感器，可以使用摄像头来确定相应的信息。例如，传感器模块160可以包括摄像头。处理模块114被配置为使用摄像头获取对象的摄像头图像。处理模块114被进一步配置成基于摄像头图像，例如使用图像分析，来确定对象的至少一个光学性质，例如视场的一个或多个部分的亮度和/或对象(或视场)的颜色组成。
在至少一些实施例中，至少一个传感器可以感知与光学系统的用户相似的对象。例如，至少一个传感器可以被布置成使得它感知视场的一个或多个部分的光学衰减。可选地，至少一个传感器可以被布置成使得它不感知视场的一个或多个部分的光学衰减，例如，因为可以对入射到至少一个传感器的光不执行光学衰减。通常，至少一个传感器可以被布置成使得它(直接)面对对象(如图1a至1c所示)。替代地，至少一个传感器可以被配置为通过对从对象入射的光进行重定向的至少一个光学元件来感测对象的至少一个光学性质。例如，光学系统可以包括另一个半透明镜，并且至少一个传感器可以被配置为经由该另一个半透明镜观察对象。
处理模块被配置为基于对象170的至少一个光学性质，来确定在增强现实或混合现实环境的视场内感知的、待叠加在对象170上方的视觉叠加层和该对象之间的视觉对比度。在本公开的上下文中，使用术语“在增强现实或混合现实环境的视场内感知的”。大体上，该术语用于涵盖各种实施例，因为有各种方法可用于改变对象的感知。例如，朝向对象发射的光可以通过照明源或光学衰减模块来调节。替代地或额外地，从对象发出的光可以被调节，例如使用光学衰减模块。这些不同的概念被“增强现实或混合现实环境的视场内的感知”的概念统一起来。实际上，“增强现实或混合现实环境的视场内的感知”表示对象在被用户感知时，包括已经由照明源或光学衰减模块执行的调节。例如，如上所述，处理模块114可以被配置为将至少一个传感器160的传感器数据(例如，摄像头图像)、并且因此将对象的至少一个光学性质映射到视场上。另外，处理模块114可以被配置为将视觉叠加层映射到视场上。基于这两个映射，处理模块114可以确定(映射到视场中的)对象和(映射到视场中的)视觉叠加层之间的视觉对比度。换句话说，处理模块114被配置为基于映射到视场上的对象的至少一个光学性质，并且基于映射到视场上的视觉叠加层，来确定在增强现实或混合现实环境的视场内感知的、待叠加在对象170上方的视觉叠加层和对象之间的视觉对比度。例如，处理模块114可以被配置为使用至少一个传感器的传感器数据，例如使用摄像头图像，来确定在增强现实或混合现实环境中感知的对象的视觉表示，并且基于视觉叠加层以及基于摄像头图像来确定视觉对比度。
在至少一些实施例中，视觉对比度包括两个分量中的至少一个：亮度对比度和颜色对比度。换句话说，处理模块可以被配置为确定在增强现实或混合现实环境的视场内感知的、待叠加在对象170上方的视觉叠加层的亮度和对象的亮度之间的对比度。额外地或替代地，处理模块可以被配置为确定在增强现实或混合现实环境的视场内感知的、待叠加在对象170上方的视觉叠加层的颜色和对象的颜色之间的对比度。如果分量之一不够大，例如，如果在增强现实或混合现实环境的视场内感知的、视觉叠加层的亮度和对象的亮度之间的差异不够大，或者在增强现实或混合现实环境的视场内感知的、视觉叠加层的颜色和对象的颜色之间的差异不够大，则可以选择性地对对象的照明或视场的光学衰减进行调节。例如，处理模块114被配置为选择性地对视场的一个或多个部分的照明，或者对视场的一个或多个部分的光学衰减进行调节，以便在视觉叠加层和对象170之间实现至少预定义的对比度。
在实施例中，亮度和/或光学衰减的调节是选择性的，例如空间上选择性的。换句话说，亮度和/或光学衰减可以仅针对视场的一个或多个部分(而不是针对整个视场)进行调节。可以对一个或多个部分的亮度和/或光学衰减进行调节，使得视场的一个或多个部分和视场的相邻部分之间的照明和/或光学衰减不同。例如，视场的一个或多个部分可以是被叠加视觉叠加层的一个或多个部分。另外，视场的其他部分也可能被叠加视觉叠加层，并且不需要照明或光学衰减的调节。因此，处理模块114可以被配置为确定需要亮度或光学衰减的调节的视场的一个或多个部分。换句话说，处理模块114可以被配置为基于待叠加在对象170上方的视觉叠加层和对象170之间的视觉对比度，来选择视场的一个或多个部分。例如，如果视场的一部分的视觉对比度太低，则可以针对视场的一个或多个部分来选择相应部分。
在至少一些实施例中，处理模块被配置为选择性地对视场的一个或多个部分的照明进行调节。这可以通过两部分实现：通过控制照明源，和/或通过控制布置在照明源和对象之间的光学衰减模块。这两个概念都可以用于对一个或多个部分的亮度和光谱特性进行调节。
例如，可以选择性地对视场的一个或多个部分的亮度进行调节。换句话说，处理模块114可以被配置为通过选择性地对视场的一个或多个部分的照明或光学衰减进行调节，来选择性地对在增强现实或混合现实环境中感知的视场的一个或多个部分的亮度进行调节。例如，可以对照明或衰减进行调节，使得视场的一个或多个部分以降低的亮度被感知，从而增加视觉叠加层和相应的一个或多个部分之间的对比度。
在一些实施例中，如图1b所示，光学系统可以包括照明源130，照明源130例如经由接口112耦接到处理模块114。在一些实施例中，照明源可以适合于或被配置为提供均匀的光。例如，照明源可以是基于发光二极管的照明源。在这种情况下，可以经由一个或多个光学衰减模块进行选择性调节。可选地，照明源可以适合于或被配置为提供不均匀的光。例如，照明源可以被配置为提供具有空间上可调亮度的光。额外地或替代地，照明源可以被配置为提供具有空间上可调光谱特性的光。例如，这两种特征都可以使用成像投影仪来实现。换句话说，照明源可以是成像投影仪，其可以被配置为提供具有空间上不均匀亮度和/或空间上不均匀光谱特性的光。在一些实施例中，成像投影仪可以是多光谱投影仪，其被配置为使用不同光谱带的不同图像来提供具有空间上不均匀亮度和/或空间上不均匀光谱特性的光。
处理模块114可以被配置为控制照明源130，以便选择性地对视场的一个或多个部分的照明进行调节，例如使得视场的一个或多个部分处的对象的照明具有不同于对象的相邻部分的亮度或光谱特性。换句话说，处理模块114可以被配置为控制照明源，使得照明源被配置为提供视场170的一个或多个部分的照明，该照明不同于视场的相邻部分的照明。例如，处理模块114可以被配置为控制照明源130，使得照明的光强在视场的一个或多个部分的(即，对象的对应的一个或多个对应部分的)照明和视场的相邻部分的(或对象的相邻部分的)照明之间不同。
替代地，可以使用布置在照明源130和对象170之间的光学衰减模块155来选择性地改变照明的光强(参见图1b)。光学衰减模块155(同样地，衰减模块140和/或150)可以例如经由接口112耦接到处理模块114。换句话说，光学系统可以包括光学衰减模块155，光学衰减模块155被布置在光学系统100b的光源(例如光源130)和对象170之间的光路内。换句话说，处理模块114可以被配置为控制光学衰减模块155，使得光学衰减模块155被配置为提供入射到视场的一个或多个部分的光的衰减，该衰减不同于入射到视场的相邻部分的光的衰减，从而选择性地对视场的一个或多个部分的光学衰减进行调节。例如，处理模块114可以被配置为控制光学衰减模块155，使得光学衰减的强度和光学衰减的光谱特性中的至少一个在入射到视场的一个或多个部分的光的光学衰减和入射到视场的相邻部分的光的光学衰减之间不同。这可以使用部分透明的显示器作为衰减模块155来实现，所述部分透明的显示器诸如是没有背光的液晶显示器、有机发光二极管(OLED)显示器或DLP(数字光处理)模块。这种显示器可以用于选择性地对照明的亮度或光谱特性进行调节。
处理模块114可以被配置为控制光学衰减模块155，使得照明的光强在视场的一个或多个部分的照明和视场的相邻部分的照明之间不同。换句话说，处理模块114可以被配置为使用光学衰减模块155来选择性地使入射到对象上方的光衰减，以便选择性地对入射到对象上方的光的光强进行调节。
替代地或额外地，可以选择性地对照明的光谱特性进行调节，例如基于对象的颜色组成。通常，照明的光谱特性可以指照明的“光的颜色”。换句话说，可以(空间上)选择性地对照明的颜色进行调节。处理模块114可以被配置为基于对象170的颜色组成来选择性地对视场的一个或多个部分的照明进行调节。例如，对于没有为视觉叠加层提供足够对比度的对象的颜色来说，可以改变照明，使得该颜色朝着为视觉叠加层提供更多对比度的颜色偏移。例如，可以执行该调节，使得视场的一个或多个部分的颜色组成和与对象对应的位置处的视觉叠加层的颜色组成之间的视觉对比度增加。换句话说，处理模块114可以被配置为基于在视场170的一个或多个部分处的对象的颜色组成和与对象170对应的位置处的视觉叠加层的颜色组成之间的视觉对比度，来选择性地对视场的一个或多个部分的照明进行调节。如上所述，处理模块可以被配置为基于在视场170的一个或多个部分处的对象的颜色组成和与对象170对应的位置处的视觉叠加层的颜色组成之间的视觉对比度，来选择该一个或多个部分。随后，可以选择性地对视场的一个或多个部分的照明(或光学衰减)进行调节。
处理模块114可以被配置为通过选择性地对视场的一个或多个部分的照明的光谱特性进行调节，来选择性地对在增强现实或混合现实环境中感知的视场的一个或多个部分的光谱特性进行调节。同样，选择性的调节意味着对一个或多个部分的调节与对视场或对象的相邻部分的调节不同。
在一些实施例中，可以通过控制照明源来对照明进行调节。换句话说，处理模块114可以被配置为控制照明源130，使得照明的光谱特性在视场的一个或多个部分的照明和视场的相邻部分的照明之间不同。可选地，可以通过控制光学衰减模块对照明进行调节。可以使用布置在照明源130和对象170之间的光学衰减模块155来改变照明的光谱特性(参见图1b)。换句话说，处理模块114可以被配置为控制光学衰减模块155，使得照明的光谱特性在视场的一个或多个部分的照明和视场的相邻部分的照明之间不同。
替代地，可以通过(在增强现实或混合现实环境内)对从对象发出的光的感知进行调节，来对视场的一个或多个部分的亮度或光谱特性进行调节。例如，如图1c所示，光学系统可以包括布置在光学系统100a、100c的光路内的光学衰减模块140、150。在这种情况下，光学衰减模块140、150可以被布置在光学系统100a、100c的用户和对象170之间的光路内。例如，光学衰减模块140、150可以是部分透明的显示器。在一些实施例中，如图1c所示，光学衰减模块150可以与半透明镜140分开。可选地，半透明镜140可以包括或作为光学衰减模块。例如，半透明镜可以与部分透明的显示器连接。光学衰减模块可以用于选择性地对在增强现实或混合现实环境内感知的亮度或光谱特性进行调节。因此，处理模块114可以被配置为控制光学衰减模块140、150，使得光学衰减模块140、150被配置为提供从视场的一个或多个部分发出的光的衰减，该衰减不同于从视场的相邻部分发出的光的衰减，从而选择性地对视场的一个或多个部分的光学衰减进行调节。处理模块114可以被配置为控制光学衰减模块140、150，使得光学衰减的强度和光学衰减的光谱特性中的至少一个在从视场的一个或多个部分发出的光的光学衰减和从视场的相邻部分发出的光的光学衰减之间不同。
例如，处理模块114可以被配置为通过选择性地对视场的一个或多个部分的光学衰减进行调节，例如使用光学衰减模块140、150，来选择性地对在增强现实或混合现实环境内感知的视场的一个或多个部分的亮度进行调节。
额外地或替代地，处理模块114可以被配置为基于在视场170的一个或多个部分处的对象的颜色组成和与对象170对应的位置处的视觉叠加层的颜色组成之间的视觉对比度，来选择性地对视场的一个或多个部分的光学衰减进行调节。例如，对于没有为视觉叠加层提供足够对比度的对象的颜色来说，可以改变光学衰减，使得该颜色向为视觉叠加层提供更多对比度的颜色偏移。如上所述，处理模块可以被配置为基于在视场170的一个或多个部分处的对象的颜色组成和与对象170对应的位置处的视觉叠加层的颜色组成之间的视觉对比度，来选择该一个或多个部分。随后，可以选择性地对视场的一个或多个部分的光学衰减进行调节。例如，处理模块114可以被配置为通过选择性地对视场的一个或多个部分的光学衰减的光谱特性进行调节，例如使用光学衰减模块140、150，来选择性地对在增强现实或混合现实环境内感知的视场的一个或多个部分的光谱特性进行调节。换句话说，处理模块可以被配置为通过选择性地使视场的一个或多个部分衰减，来使视场的一个或多个部分的颜色偏移，例如以便增加视场的一个或多个部分和视觉叠加层之间的对比度。同样，衰减的调节是选择性的，例如在视场的一个或多个部分和视场的相邻部分之间不同。在这种情况下，在增强现实或混合现实环境内感知的视场的一个或多个部分的光谱特性可以指光学系统的用户所感知的视场的一个或多个部分的“颜色”。这种颜色可以偏移，以便增加对象的感知和视觉叠加层之间的光学对比度。
光学系统包括显示模块120，该显示模块120用于提供在增强现实或混合现实环境内待叠加在对象170上方的视觉叠加层。在一些实施例中，显示模块120可以包括投影仪，以经由半透明镜140向用户投射视觉叠加层。如图1a至1c所示的设置。可选地，显示模块120可以包括部分透明的显示器，该显示器布置在对象和用户之间的光路内。
接口112可以对应于用于接收和/或发送信息的一个或多个输入和/或输出，所述信息可以是在模块内、模块之间或不同实体的模块之间根据指定代码的数字(位)值。例如，接口112可以包括被配置为接收和/或发送信息的接口电路。在实施例中，处理模块114可以使用一个或多个处理单元、一个或多个处理设备、任何用于处理的手段来实现，例如处理器、计算机或可与相应适配的软件一起操作的可编程硬件组件。换句话说，所描述的处理模块114的功能也可以在软件中实现，然后在一个或多个可编程硬件组件上执行该软件。这种软件组件可以包括通用处理器、数字信号处理器(DSP)，微控制器等。
结合所提出的概念或者如上或如下描述的一个或多个示例(例如图2或图3)，提及了光学系统或用于光学系统的装置的更多细节和方面。光学系统或用于光学系统的装置可以包括一个或多个附加可选特征，其对应于所提出的概念的一个或多个方面或者如上或如下描述的一个或多个示例。
图2示出了用于光学系统的(对应的)方法的流程图。例如，光学系统可以类似于图1a、1b或1c的光学系统来实现。该方法包括使用光学系统的至少一个传感器，确定210对象的至少一个光学性质。该方法包括基于对象的至少一个光学性质，确定220在增强现实或混合现实环境的视场内感知的、待叠加在增强现实或混合现实环境中的对象上方的视觉叠加层和该对象之间的视觉对比度。该方法还包括基于所确定的待叠加在对象上方的视觉叠加层和该对象之间的视觉对比度，选择性地对视场的一个或多个部分的照明、或者视场的一个或多个部分的光学衰减进行调节230。
如上所述，结合图1a至1c的光学系统描述的特征同样可以应用于图2的方法。
结合所提出的概念或者如上或如下描述的一个或多个示例(例如图1或图3)，提及了该方法的更多细节和方面。该方法可以包括一个或多个附加可选特征，其对应于所提出的概念的一个或多个方面或者如上或如下描述的一个或多个示例。
本公开的实施例可以考虑AR/MR中的背景图像(即对象)来提供自动颜色和/或对比度。实施例因此可以提供改进的AR图像。
AR/MR现实设备可以将图像投射到眼睛，这些图像叠加到自然观察到的对象图像上(参见图3)。图3示出了在AR/MR环境中对对象170的感知的示意图。在简化模型中，可以假设对象170的自然观察的图像(如由用户320观察到的)可以被描述为光IR(x，y)的空间分布，典型地为反射光，并且叠加后的图像310可以被类似地写成IO(x，y)。正确对准的半透明镜140允许用户观察合成图像，该合成图像包括两个图像的代数相加(或由两个图像的代数相加组成)：I＝IO+IR。当IR与IO相比相对较弱时，则可以用预期的对比度/质量观察到IO。然而，当IR比IO亮得多时，则可能在非常低的对比度下观察到IO，或者根本无法观察。观察到的对比度的劣化的一个示例是当系统意图用鲜艳的绿色标记对象，而该对象是白色的时候。理想情况下，叠加区域应被看成绿色，即高G(绿色)值，但非常低的R(红色)和B(蓝色)值。然而，由于对象已经是白色的，所以无论如何，R、G以及B的值可能会很高。因此，系统可能只会在白色对象上方产生绿白色，而不会产生绿色印象。
为了增加叠加图像的所感知的对比度，可以使观察对象的光强衰减。这可以通过两种不同的方式实现。例如，可使用照明衰减来衰减照明的强度。这可以有助于实现，但是可能不总是可行的，除非照明(例如照明源130)是可控的(例如内窥镜、显微镜)。替代地或额外地，可以使用观察衰减来衰减反射镜的透射(或者如果所使用的技术不是简单的反射镜，则类似地衰减可观察的光强)。这种方法在技术上更具挑战性，但可用于任何照明条件。
如上列出的两种方法的光学衰减可以在光谱上和空间上是均匀的，例如使用中性密度滤光器，该滤光器以相同的方式使所有波长和区域衰减。在至少一些实施例中使用的替代方法可以是创建光谱上和空间上可变的衰减。两种衰减方式的技术解决方案可能不同。对于照明衰减来说，可以使用成像投影仪来代替传统光源。换句话说，照明源可以是成像投影仪。这个概念可以将RGB概念扩展到多光谱投影仪，该投影仪可以为多个光谱带创建不同的图像。对于观察衰减来说，可以使用放置在成像轴的成像点上的空间光调制器，诸如LCD或DLP(与投影仪的原理相同)。
结合所提出的概念或者如上或如下描述的一个或多个示例(例如图1a至图2)，提及了该概念的更多细节和方面。该概念可以包括一个或多个附加可选特征，其对应于所提出的概念的一个或多个方面或者如上或如下描述的一个或多个示例。
如本文所使用的，术语“和/或”包括一个或多个相关列出项目的任何和所有组合，并且可以缩写为“/”。
尽管已经在装置的上下文中描述了一些方面，但是很明显，这些方面也表示对应方法的描述，其中对应或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对应的方框或项的描述或者对应装置的特征的描述。一些或所有方法步骤可以通过(或使用)硬件装置来执行，例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中，一个或多个重要方法步骤中的一些可以由这样的装置来执行。
根据某些实施方式要求，本发明的实施例可以用硬件或软件来实现。可以使用诸如数字存储介质的非暂时性存储介质来执行该实施方式，例如其上存储有电子可读控制信号的软盘、DVD、蓝光、CD、只读存储器(ROM)、可编程只读存储器(PROM)和可编程只读存储器(EPROM)、电可编程只读存储器(EEPROM)或闪存，这些非暂时性存储介质与可编程计算机系统协作(或能够协作)，从而执行相应的方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作，从而执行本文描述的其中一种方法。
通常，本发明的实施例可以被实现为具有程序代码的计算机程序产品，当该计算机程序产品在计算机上运行时，该程序代码可操作用于执行其中一种方法。程序代码可以例如被存储在机器可读载体上。
其他实施例包括存储在机器可读载体上用于执行本文描述的其中一种方法的计算机程序。
换句话说，因此，本发明的一个实施例是一种具有程序代码的计算机程序，当该计算机程序在计算机上运行时，该程序代码用于执行本文描述的其中一种方法。
因此，本发明的另一个实施例是一种存储介质(或数据载体，或计算机可读介质)，其包括存储在其上的计算机程序，当由处理器执行时，该计算机程序用于执行本文描述的其中一种方法。数据载体、数字存储介质或记录介质通常是有形的和/或非过渡性的。本发明的另一个实施例是一种装置，如本文所述，该装置包括处理器和存储介质。
因此本发明的另一个实施例是一种数据流或信号序列，其表示用于执行本文描述的其中一种方法的计算机程序。例如，数据流或信号序列可以被配置为经由数据通信连接(例如，经由互联网)来传输。
另一个实施例包括处理手段，例如，计算机或可编程逻辑器件，其配置成或适用于执行本文描述的其中一种方法。
另一个实施例包括具有其上安装有计算机程序的计算机，该计算机程序用于执行本文描述的其中一种方法。
根据本发明的另一个实施例包括一种装置或系统，其配置成将用于执行本文描述的其中一种方法的计算机程序传送(例如，电子地或光学地)到接收器。例如，该接收器可以是计算机、移动设备、存储设备等。例如，该装置或系统可以包括用于将计算机程序传送给接收器的文件服务器。
在一些实施例中，可编程逻辑器件(例如现场可编程逻辑门阵列)可以用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程逻辑门阵列可以与微处理器协作，以执行本文描述的其中一种方法。通常，这些方法优选地由任何硬件装置来执行。

Claims (15)

1.一种光学系统(100a；100b；100c)：
显示模块(120)，用于提供在增强现实或混合现实环境中待叠加在对象(170)上方的视觉叠加层；
至少一个传感器(160)，用于感测所述对象(170)的至少一个光学性质；以及
处理模块(114)，被配置为：
使用所述至少一个传感器确定所述对象(170)的所述至少一个光学性质，
基于所述对象(170)的所述至少一个光学性质，确定在所述增强现实或混合现实环境的视场内感知的、在待叠加在所述对象(170)上方的所述视觉叠加层与所述对象之间的视觉对比度，以及
基于所确定的待叠加在所述对象(170)上方的视觉叠加层与所述对象(170)之间的视觉对比度，选择性地对所述视场的一个或多个部分的照明、或者所述视场的一个或多个部分的光学衰减进行调节。
2.根据权利要求1所述的光学系统，其中，所述传感器模块(160)包括摄像头，其中，所述处理模块(114)被配置为使用所述摄像头获取所述对象的摄像头图像，其中，所述处理模块(114)被配置为使用所述摄像头图像确定在所述增强现实或混合现实环境内感知的所述对象的视觉表示，以及基于所述视觉叠加层和基于所述摄像头图像确定所述视觉对比度。
3.根据权利要求1或2中的一项所述的光学系统，其中，所述对象(170)的所述至少一个光学性质包括所述视场的所述一个或多个部分的亮度，其中，所述处理模块(114)被配置为通过选择性地对所述视场的所述一个或多个部分的所述照明或所述光学衰减进行调节，选择性地对在所述增强现实或混合现实环境内感知的所述视场的所述一个或多个部分的所述亮度进行调节。
4.根据权利要求1至3中的一项所述的光学系统，其中，所述对象(170)的所述至少一个光学性质包括所述对象(170)的颜色组成，其中，所述处理模块(114)被配置为基于所述对象(170)的所述颜色组成，选择性地对所述视场的所述一个或多个部分的所述照明或所述光学衰减进行调节。
5.根据权利要求4所述的光学系统，其中，所述处理模块(114)被配置为基于在所述视场(170)的所述一个或多个部分处的所述对象的所述颜色组成和与所述对象(170)对应的位置处的所述视觉叠加层的颜色组成之间的视觉对比度，选择性地对所述视场的所述一个或多个部分的所述照明或所述光学衰减进行调节。
6.根据权利要求1至5中的一项所述的光学系统，其中，所述处理模块(114)被配置为通过选择性地对所述视场的所述一个或多个部分的所述照明的光谱特性或所述光学衰减的光谱特性进行调节，选择性地对在所述增强现实或混合现实环境内感知的所述视场的所述一个或多个部分的光谱特性进行调节。
7.根据权利要求1至6中的一项所述的光学系统，所述光学系统包括用于对所述视场进行照明的照明源(130)，其中，所述处理模块(114)被配置为控制所述照明源(130)，以便选择性地对所述视场的所述一个或多个部分的所述照明进行调节。
8.根据权利要求7所述的光学系统，其中，所述处理模块(114)被配置为控制所述照明源(130)，使得所述照明源(130)被配置为提供所述视场(170)的所述一个或多个部分的照明，该照明不同于所述视场的相邻部分的照明。
9.根据权利要求1至8中的一项所述的光学系统，所述光学系统包括布置在所述光学系统的光路内的光学衰减模块(140；150；155)，其中，所述处理模块(114)被配置为控制所述光学衰减模块(140；150；155)，使得所述光学衰减模块(140；150；155)被配置为提供从所述视场的所述一个或多个部分发出或入射到所述视场的所述一个或多个部分的光的衰减，该衰减不同于从所述视场的相邻部分发出或入射到所述视场的相邻部分的光的衰减，由此选择性地对所述视场的所述一个或多个部分的所述光学衰减进行调节。
10.根据权利要求9所述的光学系统，其中，所述光学衰减模块(155)被布置在所述光学系统的照明源和所述对象(170)之间的光路内，
或者其中，所述光学衰减模块(140；150)被布置在所述光学系统的用户和所述对象(170)之间的光路内。
11.根据权利要求1至10中的一项所述的光学系统，其中，所述处理模块(114)被配置为选择性地对所述视场的所述一个或多个部分的所述照明、或者所述视场的所述一个或多个部分的所述光学衰减进行调节，以便在所述视觉叠加层和所述对象(170)之间实现至少预定义的对比度。
12.根据权利要求1至11中的一项所述的光学系统，其中，所述对象(170)是有机组织的样本，其中，所述视觉叠加层被配置为突出显示所述有机组织的样本的一个或多个部分。
13.一种用于光学系统(100a；100b；100c)的装置(110)，所述装置(110)包括：
接口(112)，用于与所述光学系统的一个或多个部件通信；以及
处理模块(114)，被配置为：
使用所述光学系统的至少一个传感器，确定对象(170)的至少一个光学性质，
基于所述对象(170)的所述至少一个光学性质，确定在增强现实或混合现实环境的视场内感知的、在所述增强现实或混合现实环境中待叠加在所述对象上方的视觉叠加层与所述对象之间的视觉对比度，以及
基于所确定的待叠加在所述对象(170)上方的视觉叠加层与所述对象(170)之间的视觉对比度，选择性地对所述视场的一个或多个部分的照明、或者所述视场的一个或多个部分的光学衰减进行调节。
14.一种用于光学系统(100a；100b；100c)的方法，所述方法包括：
使用所述光学系统的至少一个传感器，确定(210)对象的至少一个光学性质，以及
基于所述对象的所述至少一个光学性质，确定(220)在增强现实或混合现实环境的视场内感知的、在所述增强现实或混合现实环境中待叠加在所述对象上方的视觉叠加层与所述对象之间的视觉对比度，以及
基于所确定的待叠加在所述对象上方的视觉叠加层与所述对象之间的视觉对比度，选择性地对所述视场的一个或多个部分的照明、或者所述视场的一个或多个部分的光学衰减进行调节(230)。
15.一种具有程序代码的计算机程序，用于当在处理器上执行所述计算机程序时执行根据权利要求14所述的方法。
CN202011221849.3A 2019-11-08 2020-11-05 光学系统以及对应的装置、方法和计算机程序 Pending CN112859333A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19208053.9 2019-11-08
EP19208053.9A EP3819699B1 (en) 2019-11-08 2019-11-08 Optical system and corresponding apparatus, method and computer program

Publications (1)

Publication Number Publication Date
CN112859333A true CN112859333A (zh) 2021-05-28

Family

ID=68501466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011221849.3A Pending CN112859333A (zh) 2019-11-08 2020-11-05 光学系统以及对应的装置、方法和计算机程序

Country Status (4)

Country Link
US (1) US11494954B2 (zh)
EP (1) EP3819699B1 (zh)
JP (1) JP7101740B2 (zh)
CN (1) CN112859333A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107250728A (zh) * 2014-12-14 2017-10-13 埃尔比特系统公司 所显示彩色符号表示的视觉感知加强
US20180088323A1 (en) * 2016-09-23 2018-03-29 Sheng Bao Selectably opaque displays
WO2018063528A1 (en) * 2016-08-16 2018-04-05 Insight Medical Systems, Inc. Systems for sensory augmentation in medical procedures
CN110199319A (zh) * 2017-01-17 2019-09-03 开放电视公司 增强现实显示器中的叠加强调修改

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
US9836122B2 (en) * 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US12008751B2 (en) * 2015-08-14 2024-06-11 Elucid Bioimaging Inc. Quantitative imaging for detecting histopathologically defined plaque fissure non-invasively
EP3206061A1 (en) 2016-02-15 2017-08-16 Leica Instruments (Singapore) Pte. Ltd. Illumination filter system and observation system for a multispectral fluorescence microscope
NZ745790A (en) * 2016-03-15 2023-04-28 Magic Leap Inc Direct light compensation technique for augmented reality system
US10235788B2 (en) * 2017-01-17 2019-03-19 Opentv, Inc. Overlay contrast control in augmented reality displays
US11409105B2 (en) * 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
CN114777686A (zh) 2017-10-06 2022-07-22 先进扫描仪公司 生成一个或多个亮度边缘以形成物体的三维模型
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107250728A (zh) * 2014-12-14 2017-10-13 埃尔比特系统公司 所显示彩色符号表示的视觉感知加强
WO2018063528A1 (en) * 2016-08-16 2018-04-05 Insight Medical Systems, Inc. Systems for sensory augmentation in medical procedures
US20180088323A1 (en) * 2016-09-23 2018-03-29 Sheng Bao Selectably opaque displays
CN110199319A (zh) * 2017-01-17 2019-09-03 开放电视公司 增强现实显示器中的叠加强调修改

Also Published As

Publication number Publication date
JP7101740B2 (ja) 2022-07-15
JP2021077375A (ja) 2021-05-20
US11494954B2 (en) 2022-11-08
EP3819699A1 (en) 2021-05-12
EP3819699B1 (en) 2024-02-21
US20210142533A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
US20210015350A1 (en) Systems and methods for simultaneous near-infrared light and visible light imaging
US20170256095A1 (en) Blocking screen in Augmented Reality
US20170090194A1 (en) System And Method For Subtractive Augmented Reality And Display Contrast Enhancement
KR101190265B1 (ko) 헤드 마운트 수술용 확대 장치
US20120056996A1 (en) Special-illumination surgical video stereomicroscope
JP6608884B2 (ja) 観察対象物の視覚強化のための観察装置および観察装置の作動方法
WO2012157493A1 (ja) 画像処理システム、装置及び方法
US11150479B2 (en) Screen for an HMD
KR20220070563A (ko) 정반사 검출 및 저감을 위한 시스템 및 방법
TW202217280A (zh) 用於同時近紅外光及可見光成像之系統及方法
JP7101740B2 (ja) 光学システムならびに対応する装置、方法およびコンピュータプログラム
US11347060B2 (en) Device and method of controlling device
US20220308328A1 (en) Binocular device
EP3655814A1 (en) Display apparatus and method of displaying using means for providing visual cues
EP3983844A1 (en) Optical assembly, observation apparatus and method for optically overlaying input images
CN111449611B (zh) 一种内窥镜系统及其成像方法
US11874469B2 (en) Holographic imaging system
US20210294086A1 (en) Illumination System, System, Method and Computer Program for a Microscope System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination