CN110431465B - 用于拍摄和呈现样品的三维图像的显微镜装置 - Google Patents

用于拍摄和呈现样品的三维图像的显微镜装置 Download PDF

Info

Publication number
CN110431465B
CN110431465B CN201880019344.3A CN201880019344A CN110431465B CN 110431465 B CN110431465 B CN 110431465B CN 201880019344 A CN201880019344 A CN 201880019344A CN 110431465 B CN110431465 B CN 110431465B
Authority
CN
China
Prior art keywords
dimensional
image
sample
unit
microscope device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880019344.3A
Other languages
English (en)
Other versions
CN110431465A (zh
Inventor
伊利亚·卡拉宁
亚历山大·盖杜克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN110431465A publication Critical patent/CN110431465A/zh
Application granted granted Critical
Publication of CN110431465B publication Critical patent/CN110431465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/04Measuring microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images

Abstract

本发明涉及一种用于三维拍摄要用显微镜检验的样品的和用于呈现用显微镜检验的样品的三维图像的显微镜装置(01)。显微镜装置(01)包括用于获知样品的照片的图像拍摄单元(02)和用于从图像拍摄单元(02)的照片生成样品的三维图像的图像处理单元(03)。显微镜装置(01)此外还包括用于三维呈现样品的生成的三维图像的至少一个显示单元(04)。根据本发明,显微镜装置(01)配置成用于以每秒至少一个图像的图像重复频率生成并呈现样品的三维图像。

Description

用于拍摄和呈现样品的三维图像的显微镜装置
技术领域
本发明涉及一种用于三维拍摄要用显微镜检验的样品的和用于呈现用显微镜检验的样品的三维图像的显微镜装置。
背景技术
针对确定的应用需要显微镜,其能够实现实时地三维呈现用显微镜检验的对象。典型的使用领域例如是手术显微镜、在电子显微镜检查和X射线显微镜检查中的应用以及用于生物研究和日常工作的显微镜。为了促成三维印象,在这些应用中现在使用立体显微镜,其首先结合人的观察产生伪三维显示。用户要求已知的立体显微镜具有从获得的图像生成立体图像的能力。然而三维印象是不可用的。
一些数字显微镜能够实现以显微镜来检验的对象的三维显示。为此可用的解决方案是非实时性的。
EP 2 671 114 B1描述了用于用显微镜拍摄和显示的成像系统。系统包括用于检测深度信息的设备、用于主动实时监控用户的一个或两个眼睛的位置的设备和用于配置依赖于检测的眼睛位置的二维显示内容的器件。
US 2015/0032414 A1教导了一种用于三维测量样品的方法。该方法能够针对多个用户同时实现观察和检查样品。该解决方案基于激光扫描显微镜(LSM)。激光扫描显微镜的实时性通过基于帧扫描的数据检测来限界。
制造商SD Optics有限公司的在市场上得到的产品“3D WiseScopemicroscope”能够实现快速产生宏观的和微观的图像,其具有扩展景深(EDoF)。聚焦可以以1kHz至10kHz或更大的频率改变。被称为MALS模块的镜子-阵列-透镜系统用于实现EDoF功能性。MALS代表镜子阵列透镜系统。
立体显微镜经常用于三维和实时检查微观环境,为此,需要在所有三个维度且实时的导航。利用立体显微镜的空间感知基于人的视觉能力,用以调节视力并且在大脑中重建空间图像。无目镜的检查和导航也基于人的视觉能力,但使用另一光学技术,以便将立体图像传输至光学输出端。空间微观信息的数字式文件汇编还是有问题的,并且大多是缓慢的,从而其不能够与自然的视觉感知实时比较。这一方面具有物理原因。因此,不是每个用户都能够使借助立体显微镜检测的图像在空间上可视化。对于许多用户来说,利用立体显微镜的目镜或三维显示器的工作此外是非常疲劳的。
WO 2016/078923 A1示出了一种用于立体观察的设备,其中,立体图像由两个视频图像产生。该解决方案需要两个用于投影两个视频图像的投影器、空心镜子装置和观察透镜。两个待投影的图像在位置上和/或在其相对于待呈现的对象的取向中有所不同。
DE 10 2015 118 154 A1示出了一种手术显微镜,其也可以构造为立体显微镜。手术显微镜包括用于改变照相机单元的焦点位置的调节装置。从针对多个焦点值产生的主要图像数据组获知次要图像数据组,其具有扩展景深。次级图像以至少25Hz的频率产生和显示。
DE 10 2005 032 354 A1示出了一种用于在用显微镜扫描样品期间利用扩展景深区域来拍摄图像的方法。利用控制设施预设针对光学单元的可变的焦点调节区域。针对焦点调节区域的每个焦点值拍摄单图像,从而拍摄多个单图像,从多个单图像的分别对比明显的部分实时产生总图像。该过程应该快速进行,从而总图像可以实时再现在屏幕上。
US 2004/0264765 A1示出了一种显微镜系统,其中,在物镜的焦距改变并且测量各自的焦点位置期间,确定在拍摄的图像内的阴影信息。对象的全焦点图像和高度图被确定,以便从中获知三维图像。全焦点图像的聚焦应该实时进行。
DE 10 2016 108 664 A1教导了一种数字立体手术显微镜,其具有至少两个用于从两个不同的角度拍摄对象的图像拍摄单元。立体手术显微镜具有型廓生成器,用于从由图像拍摄单元拍摄的辐射数据产生型廓数据。立体手术显微镜此外具有用于产生立体视图的图示生成器和至少两个用于针对多个用户提供立体图像的图像呈现单元。手术区的实际呈现实时实现,其方法是,型廓生成器和图示生成器适用于在小于50ms中显示立体视图。
从US 2015/0173715 A1已知了一种用于内部组织的超声波诊断的方法,在该方法中,例如在使用佩珀尔幻象原理的情况下进行三维显示。
DE 698 00 802 T2示出了用于如下显微镜的透镜组,该显微镜具有用于使透镜组的焦距连续摆动的器件。应该进行清晰的图像的快速的和连续的展现,以便得到不受限的景深。显微镜例如可以构造为双筒显微镜。
DE 10 2006 025 149 A1描述了一种立体显微镜,其具有用于改变景深的装置。该装置例如通过微镜阵列形成,微镜阵列循环地以一个频率来操控,其中,该频率大于或等于闪光融合频率。
从DE 10 2008 037 074 A1已知了一种用于控制显微镜中的孔径光圈的方法,通过该方法尤其是应该在立体显微镜中实现景深优化。孔径光圈通过可控制的传输显示器形成,其以接近闪光融合频率的频率运行。
发明内容
本发明的任务是从现有技术出发提供一种显微镜装置,利用该显微镜装置能够实现以显微镜来检验的样品的更符合实际的三维再现。
根据所附的权利要求1的显微镜装置来解决该任务。
根据本发明的显微镜装置用于三维拍摄要用显微镜检验的样品,并且用于呈现用显微镜检验的样品的三维图像。显微镜装置首先包括用于获知样品的照片的图像拍摄单元。样品的照片至少在其总和中包括沿X、Y和Z方向的信息。沿Z方向的信息优选从二维照片获得,尤其是从具有不同的聚焦的二维照片获得。但也可以优选涉及至少两个具有不同的Z分量的二维图像。备选地,优选涉及通过一组三维数据补充的二维图像。备选地,优选涉及完全三维的图像。特别优选地,能通过图像拍摄单元获知的照片是具有不同的聚焦并且因此形成所谓的焦点堆叠或z堆栈的二维照片。图像拍摄单元优选装备有至少一个物镜和至少一个图像传感器。物镜用于样品的光学成像。图像传感器将成像的图像转换为电信号。图像拍摄单元优选设计用于拍摄适用于产生三维图像的二维图像,即样品的照片。必须从拍摄的二维图像获得深度信息。可以为此例如以样品的不同的侧的视野来拍摄样品。此外存在以不同的焦点位置或以不同的照明方向或以不同的照明方向、照明条件和不同的焦点位置拍摄样品的图像的可能性。图像拍摄单元优选构造用于拍摄具有扩展景深的图像,为此,图像拍摄单元优选包括具有能机械运动的微型镜子(MALS)的微型系统。
显微镜装置此外包括用于从图像拍摄单元的照片生成样品的三维图像的图像处理单元。三维图像是如下的呈现,其通过在所有三个维度中的再现在观察者中引起三维呈现的错觉,和/或是可以从所有侧面来观察的三维呈现。因此不是仅涉及立体图像或双筒图像,这是因为该立体图像或双筒图像不能够在所有三个维度上再现,这是因为在此仅涉及两个来自两个不同的位置的二维视图,它们也仅在该前提条件下能作为两个二维图像再现。三维图像特别优选地是可以分别从多个位置和/或多个侧来观察的三维呈现。三维图像进一步优选地是可以分别从所有位置和/或从所有可观察的或拍摄的侧来观察的三维呈现。能通过图像处理单元产生的三维图像特别优选地分别包括分布在三个维度中的许多体素。因此,三维图像分别是空间数据组,其以离散化的形式在迪卡尔坐标中存在,其中,体素分别是在数据组的XYZ坐标上的离散的值。不需要给数据组中的每个XYZ坐标配属一个值,从而一些体素没有被定义。优选仅定义了代表表面、尤其是样品表面的体素。由此,可以少耗费地产生和呈现三维图像。
三维图像优选由拍摄的二维图像生成。包括体素的三维图像优选分别由具有不同的聚焦的二维照片生成。为此,从具有不同的聚焦的二维照片首先获知深度信息。
图像处理单元优选配置为:使得其可以每秒产生样品的其中至少一个三维图像。优选地,图像处理单元应该设计成用于每秒产生样品的多于一个的三维图像,优选每秒产生样品的10至50个三维图像,并且进一步优选每秒产生样品的直至300个三维图像。为此,自然地,图像拍摄单元必须相应是高性能的,从而可以提供样品的例如生成三维图像所需数量的二维图像。因此,针对样品的每个产生的三维图像,例如必须提供样品的至少两个不同的照片。上提到的“3D WiseScope microscope”例如具有这种性能。样品的借助图像处理单元生成的三维图像优选分别代表具有至少1mm、并且进一步优选至少10mm的边长的立方体。提到的尺寸然而仅具有示例性的特性;具有其他适当的尺寸的三维图像是完全可能的。在对象平面中可以实现直至衍射边界的光学分辨率。
至少一个三维显示单元形成显微镜装置的另外的组成部分,其用于三维呈现样品的借助图像处理单元生成的三维图像。为此必须确保的是:图像处理单元提供呈适用于在三维显示单元上呈现的数据格式的三维图像数据。除了三维显示单元以外,显微镜装置优选补充地也包括二维显示单元。两个显示单元优选配置用于共同呈现样品的图像。备选地,优选地二维显示单元配置成用于呈现截面图像或用于呈现用于测量样品的功能元件或用于操作显微镜装置的功能元件。各个显示单元的图像重复频率可以根据待呈现的内容的目的和提供的要求有所不同。
根据本发明,显微镜装置不仅构造用于产生和呈现作为静态三维图像的三维图像,而且构造用于产生和呈现作为动态三维图像的三维图像。人的视觉不是将所示的三维图像感知为随时间不变的,而是将其感知为与时间有关,从而样品的改变以对于人的感知来说可忽略延迟地同步再现。因此,显微镜装置配置成用于以每秒至少一个三维图像的图像重复频率产生和呈现样品的三维图像。相应地,图像处理单元配置成用于以每秒至少1个图像的图像重复频率来生成样品的三维图像。相应地,显示单元配置用于以每秒至少1个图像的图像重复频率三维来呈现样品的生成的三维图像。每秒至少1个图像的图像重复频率促成了显微镜装置的实时性。因为涉及样品的三维区域的分别也可以被称为体数据的三维图像,所以图像重复频率也可以描述为体数据重复频率,其根据本发明是至少每秒1个体数据。
图像重复频率或体数据重复频率优选是每秒至少10个、进一步优选是至少25个图像或者体数据。
根据本发明的显微镜装置的重要的优点是,该显微镜装置与迄今为止已知的解决方案相比能够实现三维的运动的景深扩展的再现/实时再现,其具有用显微镜来检验的样品的扩展的景深,为此,更快速地产生和呈现用显微镜来检验的样品的三维图像。因此,针对样品的三维错觉,给用户迅速提供样品的三维图像,用户可以借助使用的三维显示单元舒适地观察这些三维图像。与现有技术不同地,根据本发明的显微镜装置的速度不会由于例如基于帧扫描的数据检测被限制为静态的三维再现。
根据有利的实施方式,显微镜装置装备有用于传输由图像拍摄单元检测的数据和/或由图像处理单元制备的数据的数据接口。外部设备可以与数据接口联接,以便将获得的数据例如输送至另外的处理部,以便能够实现在空间上很远的显示单元上的显示,或者以便必要时例如针对存档目的执行存储数据。
证实为有利的是给显微镜装置装备电子控制单元。借助控制单元可以控制图像拍摄单元和/或图像处理单元和/或显示单元。控制单元优选整合到图像处理单元中并且与其形成结构单元。控制单元能够在显微镜装置运行时实现高效的工作流程。优选仅需要来自用户的少量的用户干预,其优选可以减小为接通和切断显微镜装置的相应的单元,触发图像拍摄和触发存储生成的数据。优选的实施方式使用具有能通过用户操作的操作单元的控制单元。操作单元优选构造为电子移动设备、优选构造为可自由编程的移动电话(智能手机)、平板电脑或类似设备。此外,操作单元、例如电脑鼠标、触摸板、键盘、针对姿势的传感器或控制杆可以用于输入控制指令。
至少一个三维显示单元优选构造为全息显示单元、用于产生三维运动图像再现的设备或可佩戴在用户的头上的三维显示单元(头戴式显示器)。提到的三维显示单元、尤其是可佩戴在用户的头上的三维显示单元(头戴式显示器)根据本发明能够实现三维显示,从而尤其是用户可以选择位置和其视线的取向,然而这在由现有技术已知的立体再现中是不可能的。
在另一优选的实施方式中,显示单元基于佩珀尔幻象原理。为此,显示单元包括多个周向布置的部分透明的镜子和朝部分透明的镜子指向的投影单元。部分透明的镜子优选通过半透明的镜子形成。部分透明的镜子是部分反射的或半反射的。部分透明的、部分反射的镜子的反射程度或部分透明度优选是能控制的,从而该镜子是以能控制的方式部分反射的镜子。投影单元构造成用于将相应地待呈现的三维图像的配属于一个视角的部分图像分别投影到各个部分透明的镜子上。在部分透明的镜子之间的中间空间中形成三维景象,其再现了相应待呈现的三维图像。投影单元优选构造用于通过光呈现二维图像。投影单元优选通过屏幕形成。
部分透明的镜子优选如棱锥的侧面那样布置。棱锥优选具有四个侧面,从而部分透明的镜子的数量是四个。棱锥的底面优选是矩形。投影单元优选从上方朝棱锥指向。投影单元在优选屏幕形式的情况下优选平行于棱锥的底面地布置。
备选地,部分透明的镜子优选呈扁球体、球体或椭圆体的形式布置,其中,不必完全模仿扁球体、球体或椭圆体。投影单元优选从上方朝扁球体、球体或椭圆体指向。
图像拍摄单元优选构造成用于从不同的视角拍摄具有扩展景深的图像。图像处理单元优选构造成用于计算三维图像的二维的、配属于各一个视角的单图像,其中,二维单图像通过显示单元的投影单元投影到各自的部分透明的镜子上。为此,图像处理单元优选构造成用于将具有扩展景深的拍摄的图像的视角换算为要在显示单元中呈现的具有扩展景深的单图像的视角。显示单元优选为此构造成如果针对不同的视角的单图像是不可用的就将相同的单图像投影到部分透明的镜子上。为了从不同的视角确定单图像,图像处理单元优选为此构造成用于从拍摄的图像确定三维模型。
在优选的实施方式中,显微镜装置配置为使多个用户可以同时观察产生的三维图像数据,其中,用户位于空间内的不同的位置上,并且也可以运动。此外优选地,针对多个用户中的每个用户能够个性化地实现对三维图像数据的监控、即导航和/或与三维图像数据的交互。各个用户可以个性化地选择再现的样品的视图。为此,控制单元和必要时还有显示单元尤其是配置成通过多个用户同时操作。因此,一方面,三维显示单元可以相对于图像拍摄单元定位在空间中的确定的点上。备选地,存在通过多个装备有能个性化地佩戴的三维显示单元的用户同时观察相同的场景的可能性。
根据有利的实施方式,显微镜装置包括用于输出用显微镜来检验的样品的三维模型的三维打印机。三维模型可以借助三维打印机以期望的放大来输出。该三维模型随后可用于另外的检查,或者可以用于与在三维显示单元上呈现的三维模型比较。为此,被打印的三维模型放置在三维显示设备的显示区中。被打印的三维模型与显示的三维模型的比较可以手动、半自动或自动地在使用附加的宏观数字化器件的情况下进行。为了在样品或样品的放大的复制上的更有效的导航,附加的宏观数字化器件此外能够实现三维全局呈现。
显微镜装置优选装备有用于容纳样品的样品台,样品台能沿X和/或Y方向移动,和/或是能转动的或能倾斜的。以该方式,样品可以以高的精度定位。此外,样品台的该功能可以用于以不同的样品侧的视野来拍摄样品。
根据本发明的显微镜装置的电子控制单元优选配置成用于实施如下方法,其用于少耗费地扩展景深,从而样品可以少耗费地以扩展的景深成像。在该方法的一个步骤中,以图像拍摄单元拍摄多个图像,即样品的多个二维照片,其中,以不同的聚焦来拍摄二维图像。因此,拍摄的图像,即二维照片形成焦点堆叠。优选以许多不同的聚焦来拍摄图像,即二维照片,这些聚焦的范围从聚焦间隔的最小聚焦直至聚焦间隔的最大聚焦。优选地,以不同的聚焦拍摄至少四个图像并且特别优选地以不同的聚焦拍摄至少十个图像。
在另一优选地要执行的步骤中制备图像,即,通过去除各个图像中的不清晰的图像部分来制备二维照片。不清晰的图像部分优选通过空间频率分析来探测。不清晰的图像部分优选被去除,从而这些图像部分中的像素被定义为透明的。
在另一步骤中,利用显示单元以时间上的次序来呈现图像,即呈现二维照片,由此产生样品的景深扩展的成像。通过以快速的时间上的次序来呈现各个图像,针对观察者形成样品的唯一的成像的印象,其中,针对每个图像区域的成像也包含清晰的图像部分,从而得到景深扩展。优选地,以时间上的次序来呈现所制备的图像。因为已去除制备的图像中的不清晰的图像部分,所以仅呈现清晰的图像部分。通过以快速的在时间上的次序来呈现各个制备的图像,针对观察者形成样品的唯一的成像的印象,其中,成像不包含不清晰的图像部分,从而得到景深扩展。以如下图像更换频率来呈现优选制备的图像,该图像更换频率优选至少和闪光融合频率一样大。优选在周向布置的部分透明的镜子上呈现二维图像。样品的景深扩展的成像因此在相应的部分透明的镜子上产生。因为显示单元的该实施方式包括多个周向布置的部分透明的镜子,所以在其中每个部分透明的镜子上从一个视角产生其中一个景深扩展的成像,从而在部分透明的镜子之间三维地呈现三维图像。
该实施方式的特别的优点是,可以放弃对具有扩展的景深的整个图像或合成图像进行耗费的计算,由此可以更快速地产生并呈现三维图像。
优选地,图像拍摄单元、图像处理单元和/或显示单元也构造成用于实施所描述的方法。
附图说明
本发明的另外的细节和优点由随后对优选的实施方式的描述参考附图得到。其中:
图1示出根据本发明的显微镜装置的优选的实施方式的示意图;
图2示出根据本发明的显微镜装置的优选的实施方式的显示单元;和
图3示出优选通过根据本发明的显微镜装置的控制单元实施的方法的流程图。
具体实施方式
图1示出了根据本发明的显微镜装置01的优选的实施方式的示意图。
根据本发明的显微镜装置01的所示的实施方式首先包括图像拍摄单元02。借助图像拍摄单元02可以拍摄(未示出)样品的照片。图像拍摄单元02例如配置成用于提供适用于产生三维图像的图像。图像拍摄单元02包含至少一个照明模块(未示出)、用于样品的光学成像的物镜(未示出)和用于将成像的图像转换为电信号的图像传感器(未示出)。另外的未示出的优选的实施方式能够实现从不同的视角、即在不同的拍摄观察角下的拍摄,为此,图像拍摄单元02例如以如下方式相应构造,即图像拍摄单元02包括多个在空间上分布的图像拍摄设备。
图像处理和控制单元03形成显微镜装置01的另外的组成部分。图像处理和控制单元03的用于图像处理的部件从由图像拍摄单元02拍摄的图像产生样品的三维图像。根据本发明,可以每秒产生样品的至少一个三维图像。力求达到的是,每秒产生样品的多于一个的三维图像。优选地,应该每秒生成样品的10至60个图像,并且进一步优选地每秒生成样品的直至300个图像。图像处理和控制单元03的用于控制的部件控制图像拍摄单元02,并且优选也至少与显微镜装置01的一些随后描述的组成部分相互作用。在备选的实施方式中,图像处理和控制单元03可以通过单独的结构组件实现。
显微镜装置01此外包括用于呈现样品的三维图像的三维显示单元04。三维显示单元04例如可以构造为全息显示单元,或者构造为可佩带在用户的头上的三维显示单元,例如3D眼镜或头戴式显示器。二维显示单元05用于呈现样品的二维图像。此外可能的是,三维和二维图像同时或单独以三维显示单元04呈现。
样品的三维模型可以通过三维打印机07打印出。样品的被打印的三维模型可以与样品的在三维显示单元04上显示的三维模型比较。为此,显微镜装置01装备有比较单元08。比较单元08具有用于对样品的打印出的三维模型进行数字化的相应部件。
显微镜装置01此外具有操作单元09,借助操作单元可以由用户输入控制指令,用于控制显微镜装置01的各个单元。操作单元09优选构造为电子移动设备、优选是可自由编程的移动电话或平板电脑。备选地,操作单元09也可以实施为电脑鼠标、触摸板、键盘或控制杆。此外可能的是,操作单元09的功能元件和样品的图像同时以三维显示单元04或以二维显示单元05呈现。
此外,显微镜装置01装备有数据接口10。通过数据接口10可以将由图像拍摄单元02检测的和/或由控制和图像处理单元03制备的数据传输至外部设备12。外部设备12例如能够针对远程用户实现数据的可视化。数据此外可以被进一步处理、评估,或者输送至外部存储介质。
图2示出根据本发明的显微镜装置的优选的实施方式的显示单元04。在该实施方式中,显示单元04基于佩珀尔幻象原理。显示单元04包括框14,在框上紧固有三个或四个周向布置的部分透明的部分反射的镜子15。显示单元04此外包括投影单元16,投影单元通过平板屏幕形成,并且从上方朝部分透明的镜子15取向。部分透明的镜子15如棱锥的侧面那样布置。投影单元16构造用于将相应地待呈现的三维图像17的配属于一个视角的部分图像分别投影到各个部分透明的镜子15上。在部分透明的镜子15之间的中间空间中,三维图像17以能从不同的视角18观察的三维视景的形式形成。
图3示出方法的优选的实施方式的流程图,方法用于少耗费的景深扩展,并且通过电子图像处理和控制单元03(在图1中示出)实现。利用该方法,样品可以少耗费地以扩展了的景深成像。在该方法的一个步骤中,拍摄样品的大量二维图像或照片,其中,以不同的聚焦拍摄二维图像。因此,拍摄的二维图像或照片形成焦点堆叠和针对三维图像的基础。在另一步骤中,各个二维图像中的不清晰的组成部分被去除或标记,从而二维图像基本上仅具有清晰的部分。在另一步骤中,借助显示单元04(在图1中示出)以快速的时间上的次序来呈现仅还包含清晰的部分的图像,由此产生样品的景深扩展的成像。通过借助显示单元04(在图1中示出)从不同的视角显示景深扩展了的成像,实现了对由二维照片形成的三维图像的三维呈现。
附图标记列表
01-显微镜装置
02-图像拍摄单元
03-图像处理和控制单元
04-三维显示单元
05-二维显示单元
06-
07-三维打印机
08-比较单元
09-操作单元
10-数据接口
11-
12-外部设备
13-
14-框
15-部分透明的镜子
16-投影单元
17-三维图像
18-视角。

Claims (13)

1.用于三维拍摄样品的和用于呈现样品的三维图像的显微镜装置(01),所述显微镜装置包括:
-用于获知样品的照片的图像拍摄单元(02);
-用于从图像拍摄单元(02)的照片生成样品的三维图像的图像处理单元;和
-用于三维呈现样品的生成的三维图像(17)的至少一个显示单元(04);
其特征在于,所述显微镜装置配置成用于以每秒至少一个图像的图像重复频率来生成并呈现样品的三维图像(17),其中,
所述显微镜装置包括用于控制所述图像拍摄单元(02)和/或所述图像处理单元和/或所述显示单元(04)的电子控制单元,并且其中,
所述电子控制单元配置成用以实施用于景深扩展的方法,所述方法包括如下步骤:
-拍摄样品的二维照片,其中,以不同的聚焦来拍摄照片,从而照片形成焦点堆叠;和
-以时间上的次序来呈现各个照片,由此生成样品的景深扩展的成像,并且其中,
样品的三维图像(17)能够从所有的侧来观察。
2.根据权利要求1所述的显微镜装置(01),其特征在于,所述图像拍摄单元(02)构造成用于获知样品的二维照片,其中,所述二维照片具有不同的聚焦。
3.根据权利要求1或2所述的显微镜装置(01),其特征在于,能通过所述图像处理单元生成的三维图像分别能从多个位置和/或多个侧来观察。
4.根据权利要求1至3中任一项所述的显微镜装置(01),其特征在于,能通过所述图像处理单元生成的三维图像分别包括大量分布在三个维度中的体素。
5.根据权利要求4所述的显微镜装置(01),其特征在于,在能通过所述图像处理单元生成的三维图像中仅定义了代表样品的表面的体素。
6.根据权利要求1至5中任一项所述的显微镜装置(01),其特征在于,能通过所述图像处理单元生成的三维图像分别由其中至少两个具有不同聚焦的二维照片形成。
7.根据权利要求1至6中任一项所述的显微镜装置(01),其特征在于,所述至少一个显示单元(04)构造为全息显示单元或能佩戴在用户的头上的三维显示单元。
8.根据权利要求1至6中任一项所述的显微镜装置(01),其特征在于,所述显示单元包括多个周向布置的部分透明的镜子(15)和朝所述部分透明的镜子(15)指向的投影单元(16),并且所述投影单元构造成用于将三维图像(17)的配属于一个视角的部分图像分别投影到各个部分透明的镜子(15)上。
9.根据权利要求8所述的显微镜装置(01),其特征在于,所述部分透明的镜子(15)如棱锥的侧面那样或呈扁球体的形式布置,并且所述投影单元(16)从上方朝棱锥或扁球体指向。
10.根据权利要求1至9中任一项所述的显微镜装置(01),其特征在于,所述显微镜装置包括用于输出以显微镜来检验的样品的三维模型的三维打印机(07)。
11.根据权利要求1至10中任一项所述的显微镜装置(01),其特征在于,所述图像拍摄单元(02)构造成用于拍摄具有扩展景深的图像,为此,所述图像拍摄单元(02)包括具有能机械运动的微型镜子的微型系统。
12.根据权利要求1、7至11中任一项所述的显微镜装置(01),其特征在于,所述电子控制单元配置成用于通过多个用户同时操作。
13.根据权利要求1所述的显微镜装置(01),其特征在于,所述电子控制单元此外还配置成用以实施用于景深扩展的方法的另外的在拍摄照片后执行的步骤,其中,通过去除各个照片中的不清晰的图像部分来制备照片,其中,以时间上的次序来呈现各个制备的照片,由此生成样品的景深扩展的成像。
CN201880019344.3A 2017-04-07 2018-04-05 用于拍摄和呈现样品的三维图像的显微镜装置 Active CN110431465B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017107489.9A DE102017107489B3 (de) 2017-04-07 2017-04-07 Mikroskopanordnung zur Aufnahme und Darstellung dreidimensionaler Bilder einer Probe
DE102017107489.9 2017-04-07
PCT/EP2018/058678 WO2018185201A2 (de) 2017-04-07 2018-04-05 Mikroskopanordnung zur aufnahme und darstellung dreidimensionaler bilder einer probe

Publications (2)

Publication Number Publication Date
CN110431465A CN110431465A (zh) 2019-11-08
CN110431465B true CN110431465B (zh) 2021-12-21

Family

ID=62027942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880019344.3A Active CN110431465B (zh) 2017-04-07 2018-04-05 用于拍摄和呈现样品的三维图像的显微镜装置

Country Status (5)

Country Link
US (1) US20200371338A1 (zh)
JP (1) JP6921973B2 (zh)
CN (1) CN110431465B (zh)
DE (1) DE102017107489B3 (zh)
WO (1) WO2018185201A2 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019119310A1 (de) * 2019-07-17 2021-01-21 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe
JP2021085757A (ja) * 2019-11-27 2021-06-03 国立大学法人神戸大学 顕微鏡による焦点画像群を用いた形状計測方法及び装置
CN113395509B (zh) * 2020-03-12 2023-08-25 平湖莱顿光学仪器制造有限公司 提供及呈现目标对象的三维显微视频信息的方法与设备
CN113392267B (zh) * 2020-03-12 2024-01-16 平湖莱顿光学仪器制造有限公司 一种用于生成目标对象的二维显微视频信息的方法与设备
EP3926385B1 (en) 2020-06-16 2024-05-15 Carl Zeiss Microscopy GmbH Digital microscope and microscopic set
WO2022097104A1 (en) * 2020-11-07 2022-05-12 Singh Samrat Digitization module for microscopes to enable sample viewing on a smart device
EP4137866A1 (en) 2021-08-18 2023-02-22 Carl Zeiss Microscopy GmbH Digital microscope and method for capturing and displaying microscopic images

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003057169A (ja) * 2001-08-13 2003-02-26 Shiseido Co Ltd 皮膚の三次元画像生成装置
CN1961239A (zh) * 2004-05-27 2007-05-09 立体播放有限公司 变焦透镜
JP2008525854A (ja) * 2005-01-26 2008-07-17 ビズー インベスト エイピーエス 擬似3次元画像を作成する表示装置
JP2008282016A (ja) * 2007-05-10 2008-11-20 Leica Microsystems (Schweiz) Ag 振動補償機能を有する光学装置
WO2009091366A1 (en) * 2008-01-17 2009-07-23 Thomson Licensing Display system
FR3034858A1 (fr) * 2015-04-10 2016-10-14 Lltech Man Procede et systeme d'imagerie par microscopie interferentielle plein champ
WO2017004555A1 (en) * 2015-07-01 2017-01-05 The Trustees Of Columbia University In The City Of New York System, method and computer-accessbile medium for multi-plane imaging of neural circuits

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5896223A (en) 1997-06-13 1999-04-20 Tigliev; George S. Optical system having an unlimited depth of focus
WO2002100284A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system
JP2005521123A (ja) * 2001-10-22 2005-07-14 ライカ ミクロジュステムス ヴェツラー ゲーエムベーハー 光学顕微鏡検出3次元画像の生成方法及び生成装置
JP3867143B2 (ja) 2003-06-25 2007-01-10 独立行政法人産業技術総合研究所 三次元顕微鏡システムおよび画像表示方法
DE102005032354B4 (de) 2005-07-08 2008-04-10 Olympus Soft Imaging Solutions Gmbh Verfahren und Vorrichtung zur Bildaufnahme mit erweitertem Tiefenschärfebereich
DE102006025149A1 (de) 2006-05-30 2007-12-06 Leica Microsystems (Schweiz) Ag Optisches Gerät mit erhöhter Tiefenschärfe
DE102008037074A1 (de) 2008-08-08 2010-02-11 Carl Zeiss Microimaging Gmbh Verfahren und Einrichtung zur Steuerung von Aperturblenden
WO2012062681A1 (de) * 2010-11-08 2012-05-18 Seereal Technologies S.A. Anzeigegerät, insbesondere ein head-mounted display, basierend auf zeitlichen und räumlichen multiplexing von hologrammkacheln
SG182880A1 (en) 2011-02-01 2012-08-30 Univ Singapore A method and system for interaction with micro-objects
US9874437B2 (en) 2011-12-28 2018-01-23 Femtonics Kft. Method for the 3-dimensional measurement of a sample with a measuring system comprising a laser scanning microscope and such measuring system
US10231704B2 (en) 2013-12-20 2019-03-19 Raghu Raghavan Method for acquiring ultrasonic data
GB201420352D0 (en) 2014-11-17 2014-12-31 Vision Eng Stereoscopic viewing apparatus
DE102015118154A1 (de) 2015-10-23 2017-04-27 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronisches Mikroskop, insbesondere Operationsmikroskop
DE102016108664A1 (de) 2016-05-11 2017-07-06 Carl Zeiss Meditec Ag Digitales Stereo-Operationsmikroskop für mehrere Benutzer und Verfahren zur Darstellung mindestens zweier Ansichten eines Objektes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003057169A (ja) * 2001-08-13 2003-02-26 Shiseido Co Ltd 皮膚の三次元画像生成装置
CN1961239A (zh) * 2004-05-27 2007-05-09 立体播放有限公司 变焦透镜
JP2008525854A (ja) * 2005-01-26 2008-07-17 ビズー インベスト エイピーエス 擬似3次元画像を作成する表示装置
JP2008282016A (ja) * 2007-05-10 2008-11-20 Leica Microsystems (Schweiz) Ag 振動補償機能を有する光学装置
WO2009091366A1 (en) * 2008-01-17 2009-07-23 Thomson Licensing Display system
FR3034858A1 (fr) * 2015-04-10 2016-10-14 Lltech Man Procede et systeme d'imagerie par microscopie interferentielle plein champ
WO2017004555A1 (en) * 2015-07-01 2017-01-05 The Trustees Of Columbia University In The City Of New York System, method and computer-accessbile medium for multi-plane imaging of neural circuits

Also Published As

Publication number Publication date
WO2018185201A3 (de) 2018-12-27
JP6921973B2 (ja) 2021-08-18
CN110431465A (zh) 2019-11-08
US20200371338A1 (en) 2020-11-26
DE102017107489B3 (de) 2018-07-05
JP2020508496A (ja) 2020-03-19
WO2018185201A2 (de) 2018-10-11

Similar Documents

Publication Publication Date Title
CN110431465B (zh) 用于拍摄和呈现样品的三维图像的显微镜装置
JP7076447B2 (ja) ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
JP3867143B2 (ja) 三次元顕微鏡システムおよび画像表示方法
US9301682B2 (en) Eye examination apparatus with digital image output
US7193773B2 (en) Stereomicroscopy method and stereomicroscopy system
CN109031642B (zh) 一种通用的体视显微裸眼可视化的显示方法和系统装置
CN110638527A (zh) 基于光学相干层析增强现实的手术显微成像系统
JP2005521123A (ja) 光学顕微鏡検出3次元画像の生成方法及び生成装置
SE500028C2 (sv) Anordning för presentation av en tredimensionell bild
US11092929B2 (en) Visualization system and method for generating holographic presentations from optical signals
JP2010057619A (ja) 立体画像撮影表示システム
JP2023504252A (ja) 視覚化カメラ及び光学コヒーレンストモグラフィを統合するシステム及び方法
JP2013088490A (ja) 顕微鏡、画像取得方法、プログラム、及び記録媒体
CN110168609A (zh) 用于在数字显微镜中生成试样的三维模型的方法和数字显微镜
CN107209949B (zh) 用于产生放大3d图像的方法和系统
JP6767481B2 (ja) ライトフィールド顕微鏡法を用いる眼科手術
KR101859197B1 (ko) 실시간 입체 현미경
US11686931B2 (en) Three-dimensional viewing device
TWI572899B (zh) 擴充實境成像方法及其裝置
KR20050076839A (ko) 표본 검사 시스템 및 표본 검사 방법
Shen et al. Novel microscope-integrated stereoscopic display for intrasurgical optical coherence tomography
JPWO2018158946A1 (ja) 細胞観察装置
JP2018074463A (ja) 画像生成装置、画像表示システム及びプログラム
JP2011215176A (ja) 画像処理装置および方法
US20220317431A1 (en) Three-dimensional viewing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant