CN110398830A - 显微系统以及用于操作显微系统的方法 - Google Patents

显微系统以及用于操作显微系统的方法 Download PDF

Info

Publication number
CN110398830A
CN110398830A CN201910315797.7A CN201910315797A CN110398830A CN 110398830 A CN110398830 A CN 110398830A CN 201910315797 A CN201910315797 A CN 201910315797A CN 110398830 A CN110398830 A CN 110398830A
Authority
CN
China
Prior art keywords
microscopic system
microscope
image capture
capture device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910315797.7A
Other languages
English (en)
Other versions
CN110398830B (zh
Inventor
S.绍尔
C.沃伊特
M.韦尔兹巴赫
C.豪格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Medical Technology Co Ltd
Original Assignee
Carl Zeiss Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=67701908&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN110398830(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Carl Zeiss Medical Technology Co Ltd filed Critical Carl Zeiss Medical Technology Co Ltd
Priority to CN202111589545.7A priority Critical patent/CN114488501A/zh
Publication of CN110398830A publication Critical patent/CN110398830A/zh
Application granted granted Critical
Publication of CN110398830B publication Critical patent/CN110398830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/364Projection microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

本发明涉及一种显微系统以及一种用于操作显微系统的方法,该显微系统包括:‑显微镜,‑支架,该支架用于安装该显微镜,其中,该支架包括至少一个驱动装置以用于移动该显微镜,‑至少一个位置检测装置,该至少一个位置检测装置用于检测至少一个目标物的空间位置,该至少一个目标物能够紧固至身体部分或器械上,其中,该位置检测装置包括具有至少一个标记元件的至少一个目标物、以及用于光学采集该目标物的图像捕捉装置,‑至少一个控制装置,该至少一个控制装置用于根据所检测的目标物的位置操作该显微系统,其中,该位置检测装置被设计为通过评估该图像捕捉装置的二维图像来确定该目标物的位置。

Description

显微系统以及用于操作显微系统的方法
技术领域
本发明涉及一种显微系统以及一种用于操作显微系统的方法。
背景技术
显微镜通常用于提供检查物体的放大视图。在医学应用中,所谓的手术显微镜尤其用于辅助手术干预。除了其他方面以外,手术显微镜用于提供身体区域的放大视图,以便在干预过程中为外科医生提供更好的视觉取向。这些手术显微镜通常以可移动的方式尤其安装在支架上。除了其他方面以外,这允许使用者改变显微镜的位置和/或取向,例如以便变更看向检查区域的角度或者以便查看其他检查区域。在许多应用中,由使用者自身通过手动致动显微镜来改变位置。这一点的缺点是使用者必须放下他在干预中正使用的器械例如以改变位置。这占用时间并且不是使用很方便的。
还已知脚操作开关或口操作开关用于操作显微镜。然而,这些在其使用方面受到限制,即它们仅允许几个使用自由度,或者它们对于使用者来说是不舒服或不卫生的。
从现有技术已知DE 10 2014 106 865 A1。其披露了一种用于非接触式操作手术显微镜的方法。从所述文件中已知的是可以由操作者非接触式空间定位手术显微镜。该文件还描述了所谓的三维传感器,该三维传感器用于确定距离或取向。该文件未包含任何关于此三维传感器的进一步说明。
US 2017/025853 A1披露了一种光学跟踪系统以及基于无源标记的光学跟踪方法。
WO 2016/041050披露了一种用于跟踪具有共线安排的标记的医疗设备的系统,这些标记在医疗设备上彼此距先前已知的距离而安排。
EP 1 193 520 B1披露了一种手术显微镜,该手术显微镜具有用于观察物体的物镜并且具有用于检测物体点的位置的装置,其中,该手术显微镜包括彼此相距一定距离安排的第一图像传感器和第二图像传感器。
WO 2017/157763披露了一种用于跟踪至少一个医疗器械在医疗工作空间中的空间位置的医疗跟踪方法,该医疗工作空间包括患者的解剖学结构。
发明内容
解决的技术问题是使一种显微系统以及一种用于操作显微系统的方法可供使用,尤其允许非接触式控制显微系统的操作、尤其在多达六个空间自由度上以以准确的方式跟踪显微镜,为此目的所需的部件数量少并且因此还有制造成本低、安装空间要求低。
从具有下文所述的特征的主题会明白该技术问题的解决方案。
一种显微系统,包括:
-显微镜,
-支架,该支架用于安装该显微镜,其中,该支架包括至少一个驱动装置以用于移动该显微镜,
-至少一个位置检测装置,该至少一个位置检测装置用于检测目标物的空间位置,其中,该位置检测装置包括具有至少一个标记元件的至少一个目标物、以及用于光学采集该目标物的图像捕捉装置,
-至少一个控制装置,该至少一个控制装置用于根据所检测的该目标物的位置控制该显微系统的操作,
其特征在于,
该位置检测装置被设计为通过评估该位置检测装置的图像捕捉装置产生的二维图像来确定该目标物的位置。
一种用于操作根据本文所述的显微系统的方法,其中,确定该至少一个目标物相对于该位置检测装置的至少一个图像捕捉装置的位置,其中,根据所确定的位置控制该显微系统的操作。
从下面的描述会明白本发明的进一步有利配置。
在一个实施例中,该控制装置是用于根据所检测的该目标物的位置控制该至少一个驱动装置的控制装置、和/或用于调整该显微镜的至少一个操作参数和/或移动参数和/或操作模式的控制装置。
在一个实施例中,该位置检测装置的图像捕捉装置以这样的方式被安排在该显微镜中或其上,使得由该图像捕捉装置检测的光束延伸穿过该显微镜的至少一个光学元件。
在一个实施例中,该位置检测装置的图像捕捉装置以这样的方式被安排在该显微镜中或其上,使得由该图像捕捉装置检测的光束不延伸穿过该显微镜的至少一个光学元件。
在一个实施例中,该显微镜的透明元件被安排在该位置检测装置的图像捕捉装置与待成像的检测区域之间。
在一个实施例中,能够根据至少两个图像的序列执行该位置检测。
在一个实施例中,该序列能够以HDR方法生成。
在一个实施例中,该目标物包括标记元件,其中,该标记元件具有椭圆形标记体或椭圆形标记表面、以及此标记体或此标记表面的几何中心,其中,该标记体或该标记表面填充有色谱点,这些色谱点相对于该几何中心径向分布,其中,该标记/标记表面的每个色谱点的颜色值是根据穿过该几何中心的水平线与穿过该几何中心和对应的色谱点的另一条线之间的角度来确定的。
在一个实施例中,能够实时进行基于位置的控制。
在一个实施例中,该显微系统包括用于照亮该目标物的照明装置。
在一个实施例中,该照明装置产生波长在可见光范围之外、尤其在红外波长范围内的光。
在一个实施例中,可根据该目标物距该图像捕捉装置的距离调整照明强度和/或该图像捕捉装置的工作距离和/或曝光时间。
在一个实施例中,该显微系统包括用于对由该图像捕捉装置检测的光束进行滤波的至少一个装置,和/或该图像捕捉装置只检测所限定的波长或某一波长范围、尤其是红外波长范围的光束,和/或该图像捕捉装置是单色图像捕捉装置。
在一个实施例中,该显微系统包括用于启动该显微系统的基于位置的控制的装置。
在一个实施例中,该图像捕捉装置是广角相机。
在一个实施例中,将标识分配给标记元件,其中,在图像基础上可识别此标识。
在一个实施例中,根据所识别的标识可控制该显微系统的操作。
在一个实施例中,根据该显微镜的至少一个操作参数和/或该位置检测装置的图像捕捉装置的至少一个操作参数实现该显微镜的移动的开环或闭环控制。
在一个实施例中,该显微镜的移动的所实现的自由度的数量和/或类型是可调整的。
在一个实施例中,该显微系统的工作空间的大小和/或该移动的最大容许速度是可调整的。
在一个实施例中,根据该目标物的位置操作图形用户界面。
提出了一种显微系统。该显微系统包括显微镜。在本发明的含义内,显微镜指定用于放大目视观察检查物体的装置。显微镜可以是经典的光学显微镜,该显微镜尤其借助于用于光束引导和/或光束形和/或光束偏转的装置、例如透镜通过利用光学效应产生放大的图像。然而,显微镜也可以是数字显微镜,其中,待通过显微镜查看的图像可以借助于图像捕捉装置产生,并且可以呈现在相应的显示装置、例如显示屏上。
显微镜尤其可以包括至少一个目镜。目镜指定显微镜的一部分,使用者透过目镜观看或看向目镜,以便查看显微镜产生的图像。换言之,目镜形成显微镜的眼睛侧光学接口。目镜可以形成管的一部分。在这种情况下,显微镜还可以包括管。目镜可以例如集成在管中、由管形成、或可以尤其是可更换地固定在管的主体上。在后一种情况下,具有不同放大系数的目镜例如可以固定在管上。
在这种情况下,管包括用于光束引导和/或光束整形和/或光束偏转的至少一个光学元件,例如透镜或棱镜。然而,还可想到的是,管不包括此类元件并且被设计为例如管道。此至少一个光学元件可以形成用于目镜与显微镜光学连接的光路。至少一个光学元件可以例如集成在管的主体中。管还可以具有用于紧固、尤其是可释放地紧固至显微镜、尤其是显微镜本体上的机械接口。管还可以具有用于紧固、尤其是可释放地紧固目镜的机械接口。
目镜可以尤其经由所讨论的光学元件光学地连接至物镜。
此外,显微镜可以包括至少一个物镜。此物镜可以产生检查物体的实际光学图像。在这种情况下,物镜可以包括用于光束引导和/或光束整形和/或光束偏转的光学元件。
此外,显微镜可以包括显微镜本体。在这种情况下,显微系统可以包括用于光束引导和/或光束整形和/或光束偏转的另外的光学元件。物镜可以可释放地、即还可更换地固定在显微镜本体上。然而,物镜还可以牢固地集成在显微镜本体中或其上。在这种情况下,物镜可以相对于显微镜本体安排在固定位置。此外,显微镜本体可以具有或形成用于紧固、尤其是可释放地紧固管的至少一个紧固接口。显微镜本体还可以具有或形成多个紧固接口、尤其是两个紧固接口。这允许不同的管、尤其是具有不同设计的管紧固至显微镜本体上。例如,所谓的枢转管、所谓的可折叠管、所谓的直管、或另外的管可以紧固至显微镜本体上。
目镜或具有目镜的管可以机械刚性地、如果适当的话不可释放地连接至显微镜本体。此外,目镜或具有目镜的管可以相对于显微镜本体安排在固定位置。然而,如下面将更详细说明的,目镜或具有目镜的管优选地同样可释放地、即可更换地紧固在显微镜本体上和/或可相对于显微镜本体移动。
显微系统此外包括用于安装显微镜本体的支架。显微镜、尤其是显微镜本体可以因此机械地紧固至支架上。显微镜可以尤其是可移动地、即可枢转地紧固至支架的自由端上。在这种情况下,支架以这样的方式配置,使得其允许显微镜在空间中的尤其至少一个自由度、优选六个自由度的移动。当然支架也可以以这样的方式配置,使得其允许显微镜在空间中的有限数量的自由度、尤其小于六个自由度的移动。
在这种情况下,自由度可以是平移自由度或旋转自由度。具体地,支架可以允许三个不同的平移自由度和三个不同的旋转自由度的移动。
在这种情况下,自由度可以与参考坐标系有关。此参考坐标系的竖轴(z轴)可以被定向成与重力平行和与重力相反。参考坐标系的纵轴(x轴)和参考坐标系的横轴(y轴)可以跨越相对于竖轴垂直地定向的平面。此外,纵轴和横轴还可以彼此正交地定向。因此,该参考坐标系可以是笛卡儿坐标系。
此外,支架包括用于移动显微镜的至少一个驱动装置。支架优选地包括多个驱动装置。驱动装置指定用于产生驱动力或驱动力矩的装置。此类驱动装置例如可以是伺服马达。当然,支架还可以包括用于传递力或力矩的装置,例如齿轮单元。具体地,至少一个驱动装置可以以这样的方式致动,使得显微镜在空间中执行期望的移动并且因此期望的位置变化或者采用期望的位置和/或取向。在这种情况下,移动速度可以被限制在预定的最大速度。此外,可以限制支架的工作空间的范围。
例如,至少一个驱动装置可以以这样的方式致动,使得物镜的光轴采用期望的取向。此外,至少一个驱动装置可以以这样的方式致动,使得显微镜的参考点、例如焦点位于空间中的期望位置。
在这种情况下,期望位置可以由使用者或另一个高级系统预先定义。用于根据期望位置并根据支架的运动结构控制至少一个驱动装置的方法是本领域技术人员所熟知的。在这种情况下,使用者可以是操作显微镜、尤其是看向目镜/透过目镜观看以获得物体的放大视图的人。显微镜可以是所谓的手术显微镜。在这种情况下,使用者尤其可以是外科医生。
显微系统此外包括至少一个位置检测装置以用于检测至少一个目标物的位置。位置检测装置包括至少一个目标物,其中,该目标物包括或具有至少一个标记元件。目标物可以包括恰好一个标记元件或者两个或更多个标记元件。目标物优选地包括三个标记元件。在这种情况下,这些标记元件可以被安排成相对于彼此固定在位。标记元件之间的相对位置可以是提前已知的。在这种情况下,这些标记元件可以不是共线安排。可想到的是,目标物包括支撑体,其中,至少一个标记元件紧固至支撑体上。在这种情况下,标记元件可以是光学可检测的并且因此还可在图像中检测的标记元件、尤其是光学可检测的图案。
标记元件优选地是无源标记元件。无源标记尤其可以是不消耗任何能量以便光学可检测或可靠地光学可检测的标记。因此,无源标记也不必被供应例如来自比如电池等能量储存装置或来自电力网的能量。这进而允许以最小的安装空间要求构造。
具体地,无源标记不能产生信号,尤其不能发射由接收装置、尤其是图像捕捉装置接收的信号。具体地,因此无源标记不需要任何能量以便允许可由图像捕捉装置检测。以此方式,在显微系统的操作过程中可以有利地使能量消耗最小化。然而,在不太优选的实施例中,标记元件也可以是有源标记元件。
此外,至少一个标记元件可以是非反射标记元件和/或非磷光标记元件和/或非荧光标记元件。
位置检测装置此外包括图像捕捉装置、尤其是恰好一个图像捕捉装置以用于光学采集目标物并且因此还有至少一个标记元件。在这种情况下,图像捕捉装置可以是相机,例如CCD相机或CMOS相机。当然,图像捕捉装置还可以包括物镜,该物镜用于对在图像捕捉装置的采集范围内的物体进行成像。采集范围可以指定图像捕捉装置的视野。
目标物和图像捕捉装置因此形成位置检测装置的元件。
在这种情况下,位置检测装置的元件、优选地目标物可以安排在患者附近。这可以意味着,该元件可以安排在由以下平面界定的半空间中,并且沿着光轴安排在此平面后方,该平面相对于显微镜的光轴垂直定向并且延伸穿过该光轴与显微镜的光学或透明元件之间的交点。当显微镜朝向患者定向时,光轴从显微镜朝向患者定向,并且患者也安排在此半空间中。
具体地,该元件紧固或可紧固至使用者的某个身体部分、器械、患者、或手术室设备上。
器械尤其可以是医疗器械、更具体地手术器械。例如,这包括比如夹子、固持器、注射器、镊子、刮刀、剪刀、手术刀、伤口钩、钳子、抽吸器、烧灼工具、还有例如脑牵开器的牵开器等器械。器械尤其可以是可以由使用者的手引导的器械。手术室中的设备例如可以是手术台或梅菲尔德(Mayfield)头架。
位置检测装置的元件可以例如借助于相应的固位装置紧固至使用者的身体部分、器械、患者、或手术室设备上。在此背景下,本领域技术人员将意识到,这种紧固可以以不同的方式产生。
此处,图像捕捉装置的元件尤其可以紧固在身体部分、器械、患者、或手术室设备上相对于其固定在位。在这种情况下,此位置可以在位置检测装置的坐标系中检测。然后,该坐标系中的位置可以转换为以上所说明的参考坐标系中的位置。因此,例如从位置检测装置的坐标系几何变换为参考坐标系可以是先前已知的。这可以例如通过所谓的配准来确定。
此外,位置检测装置的其余元件、即目标物或优选地图像捕捉装置安排在显微镜上。此处,可想到的是,其余元件机械地刚性地连接至显微镜、尤其是显微镜的一部分。换言之,其余元件可以紧固至显微镜的一部分,以相对于显微镜的所述部分固定在位。例如,其余元件可以机械地连接至目镜或管。其余元件还可以连接至显微镜本体。
此外,可想到的是,使用荧光或磷光标记元件。自动点亮的OLED标记元件也是可想到的。
具体地,如果图像捕捉装置安排在显微镜上,显微镜的采集范围可以与图像捕捉装置的采集范围至少部分重叠以光学采集目标物。图像捕捉装置的采集范围还可以完全安排在显微镜的采集范围内,或者显微镜的采集范围还可以完全安排在图像捕捉装置的采集范围内。用于光学捕获目标物的图像捕捉装置可以相应地安排在显微镜、尤其是显微镜本体上。此外,用于光学捕获目标物的图像捕捉装置可以不同于显微镜的图像捕捉装置。显微镜的图像捕捉装置例如可以用于对在显微镜的采集范围内的物体进行成像,然后将这些(放大)图像显示在相应的显示装置上。
换言之,显微系统可以包括至少两个不同的图像捕捉装置,即一方面显微镜的图像捕捉装置和另一方面用于光学采集目标物的图像捕捉装置。
用于位置检测的图像捕捉装置尤其可以以这样的方式配置和/或安排,使得在工作距离为至少200mm的情况下,可以对尤其沿着显微镜的光轴位于此工作距离处的直径为至少250mm或至少300mm的物体进行成像。此外,位置检测装置的图像捕捉装置尤其可以以这样的方式安排和/或配置,使得在至多600mm工作距离处的标记元件以预定的最小尺寸成像到图像的部分区域上。最小尺寸例如可以是10像素、50像素或100像素。
可能但非必要的是,位置检测装置的元件、尤其是位置检测装置的图像捕捉装置相对于目镜安排在固定位置。具体地,该元件可以机械地连接至目镜。然而,位置检测装置的元件优选地安排在显微镜本体中或其上、尤其在显微镜本体的壳体中,其中,用于光束引导和/或光束整形和/或光束偏转的光学元件也可以安排在此壳体中。
此外,位置检测装置可以用于检测目标物相对于图像捕捉装置的位置。换言之,因此可以确定目标物与图像捕捉装置之间的相对位置,其中,此相对位置用于计算目标物和/或图像捕捉装置在参考坐标系中的位置。
对于位置检测,可以在图像中以基于图像的方式、即通过图像评估检测在图像中描绘的目标物、尤其是目标物的至少一个标记元件,其中,然后可以根据目标物在图像坐标系中的位置、即其图像位置来确定目标物与图像捕捉装置之间的相对位置。为此目的,图像捕捉装置可以适当地校准。当然,可以对多个目标物进行成像、即同时检测多个目标物。在这种情况下,可以区分所述多个目标物并且确定其位置。然后可以基于所述多个位置确定结果位置。
如果位置检测装置的元件、例如目标物可以紧固至使用者的身体部分、器械、患者、或手术室设备上,那么其也可以相对于使用者的身体部分、器械、患者、或手术室设备在空间上固定在位。在这种情况下,根据元件的位置,可以确定使用者的身体部分、器械、患者、或手术室设备的位置、尤其是相应参考点的位置。在这种情况下,参考点相对于位置检测装置的元件的位置可以是提前已知的,并且尤其可以通过合适的校准确定。然而,这不是必需的,因为出于控制目的仅检测目标物的位置,不必是身体部分的位置。具体地,当启动相应操作模式时,因此可以假定目标物位于相对于身体部分的期望相对位置。还可以假定身体部分与目标物之间的相对位置在正常操作下不发生变化。
换言之,根据目标物与图像捕捉装置之间的相对位置,还可以确定使用者的身体部分、器械、患者、或手术室设备尤其在参考坐标系中的位置。例如,位置检测装置的元件可以紧固至用于固持/紧固至使用者的身体部分上的固持器装置。此类固持装置例如可以是手套或其他固持装置。位置检测装置的元件还可以紧固至用于固持/紧固至器械上的固持器装置。此类固持装置例如可以是夹持器。
至少一个图像捕捉装置优选地以这样的方式紧固至显微镜或其一部分上,使得在显微镜的预期使用过程中,当使用者的身体部分、器械、患者、或手术室设备位于显微镜的采集范围内时,使用者的身体部分(尤其是其手)、或由使用者引导的器械、患者、或手术室设备(并且因此还有紧固至其上的目标物)位于图像捕捉装置的采集范围内。
当然,用于位置检测的装置还允许确定目标物位置的变化并且因此还有身体部分/器械/患者/手术室设备位置的变化。此处,位置和/或位置的变化可以由位置检测装置本身或通过信号链路和/或数据链路连接至其上评估装置确定。此评估装置可以同样是显微系统的一部分。评估装置可以是计算装置,例如被配置为微控制器的计算装置。
显微系统此外包括至少一个控制装置,以用于基于所检测的目标物的位置并且因此还基于身体部分/器械/患者/手术室设备的位置控制显微系统的操作。控制装置可以形成用于确定位置变化的评估装置。位置检测装置可以通过信号链路和/或数据链路连接至控制装置。换言之,可以以基于位置的方式控制显微系统。这进而有利地允许非接触式控制显微系统。
控制装置尤其可以是用于根据所检测的目标物的位置、尤其根据所确定的目标物位置的变化来控制至少一个驱动装置的控制装置。换言之,控制装置可以根据所检测的目标物的位置来产生至少一个驱动装置的控制信号,其中,然后这些控制信号可以传输至驱动装置。例如,可以根据所检测的目标物的位置或其位置的变化确定针对显微镜移动的期望移动参数。在这种情况下,移动参数可以是期望位置、期望位置变化、期望移动方向、期望速度或期望加速度、最大容许移动速度、最大容许加速度、或另一移动参数。
具体地,控制装置可以根据所检测的目标物的位置以这样的方式致动至少一个驱动装置,使得显微镜跟踪目标物的移动。这尤其可以意味着,确定目标物位置的变化,其中,显微镜执行相同的位置变化或按比例的位置变化。
替代性地或另外地,控制装置可以是用于根据所检测的目标物的位置、尤其根据所确定的目标物位置的变化调整、尤其是改变显微镜的操作参数和/或移动参数和/或操作模式的控制装置。显微系统的操作参数例如可以是期望的放大倍数、焦点位置、缩放因子、照明强度、或另一操作参数。以上已经说明了移动参数的实例。具体地,例如可以设置最大容许移动速度。下文更详细说明了操作模式的实例。操作模式也可以是查看模式或操作模式。
控制装置尤其可以被配置为计算装置、例如微控制器,或者可以包括此类计算装置。
根据本发明,位置检测装置被设计为通过评估位置检测装置的图像捕捉装置产生的二维图像来确定目标物的位置。具体地,可以由位置检测装置通过评估二维图像、尤其是恰好一个二维图像来确定空间设置、即三维位置和三维取向。这也可以被称为所谓的平面位置检测。具体地,可以执行对二维图像的像素(图像点)的强度值的评估,以便确定位置。
例如在引言中提及的US 2017/258531 A1中描述了用于通过评估图像捕捉装置的(恰好)一个二维图像来检测目标物或标记元件的位置的方法的实例。
后一种方法有利地使得使用少量部件、尤其是仅一个图像捕捉装置精确且快速地检测目标物的位置,并且计算力降低,因为只需要评估一个二维图像以进行位置检测。这进而有利地允许降低制造所提出的显微系统的成本,并且具体地与需要至少两个图像捕捉装置的立体位置检测装置相比,降低具有位置检测功能的显微系统的安装空间要求。
因此,可以借助于图像捕捉装置检测紧固至器械、例如手术器械(例如抽吸器或指示器)的目标物。因此,可以确定目标物、以及还有抽吸器的空间位置、尤其还有此空间位置的变化。还可以检测紧固至使用者、例如外科医生的身体部分上的目标物。例如,目标物可以紧固至使用者的手、手套、或前臂上。以此方式,可以检测目标物以及因此还有身体部分的位置、以及其位置的变化。然而相反地,还可以借助于紧固至器械或使用者的身体部分上的图像捕捉装置检测安排在显微镜上的目标物,并且因此确定空间相对位置。
这进而有利地允许根据所检测的位置、尤其是所检测的位置变化控制显微镜、尤其是显微镜的空间移动的操作。具体地,可以以位置跟踪模式控制显微镜,其方式为使得显微镜可以执行与目标物相同的位置变化。
总之,有利地获得显微系统,通过该显微系统,可以基于使用者的身体部分(尤其是手)、由使用者移动的器械、患者、手术室设备的位置或其位置的变化可靠、精确且快速地控制显微系统的操作、尤其是显微镜的移动和/或显微镜的操作参数的调整。具体地,允许非接触式控制,这使得显微镜的操作更舒适并且减少操作过程中、尤其是定位过程中的时间损失,并且还可以进一步降低患者在手动控制显微系统的情况下感染的风险。具体地,可以在手动移动或器械移动的帮助下控制显微系统。这进而有利地允许容易地重新定位显微镜,例如以便允许查看待治疗的另一个区域,以便改善使用者的深度知觉,以便对患者相对于显微镜的重新定位作出反应,或为了补偿部位的移动,例如通过大脑移位或呼吸。然而,不仅仅可以控制显微系统的移动:还有显微系统的操作参数、例如变焦也可以容易地调整,而不会占用不期望的时间量。
在进一步实施例中,该控制装置是用于根据所检测的目标物的位置控制该至少一个驱动装置的控制装置、和/或用于调整该显微镜的至少一个操作参数和/或移动参数和/或调整操作模式的控制装置。以上已经解释了这一点。
在进一步实施例中,位置检测装置的图像捕捉装置被安排在显微镜中或其上,其方式为使得由图像捕捉装置检测的光束延伸穿过显微镜的至少一个光学元件。显微镜的光学元件尤其可以是用于光束引导和/或光束整形和/或光束偏转的元件。显微镜的光学元件指定用于通过显微镜提供视图、尤其是放大视图的元件。具体地,光学元件可以是透镜。因此,在位置检测装置的图像捕捉装置的采集范围内的物体以放大或缩小的形式通过显微镜的光学元件示出。例如,为此目的,图像捕捉装置可以安排在显微镜的壳体中、尤其是显微镜本体的壳体中,其中,显微镜的至少一个光学元件被安排在位置检测装置的图像捕捉装置与待成像的采集范围之间。这有利地允许进一步减少可靠位置检测所需的部件数量,因为可以使用显微镜已经存在的元件。因此同样地,位置检测功能以需要较小的安装空间的方式结合到显微系统中。
在这种情况下,由图像捕捉装置检测的光束另外延伸穿过至少一个光学元件,该至少一个光学元件不是显微镜的光学元件,即不用于通过显微镜查看。具体地,此类光学元件可以是位置检测装置的图像捕捉装置的光学系统的一部分。
在替代性实施例中,位置检测装置的图像捕捉装置被安排在显微镜中或其上,其方式为使得由图像捕捉装置检测的光束不延伸穿过显微镜的至少一个光学元件。还在此背景下,光学元件可以是用于光束引导和/或光束整形和/或光束偏转的元件。具体地,因此在位置检测装置的图像捕捉装置与待成像的采集范围之间未安排显微镜的光学元件。
然而,此实施例可以包括图像捕捉装置在显微镜中或其上的安排,其方式为使得由图像捕捉装置检测的光束延伸穿过显微镜的至少一个透明元件,该至少一个透明元件不用于光束引导和/或光束整形和/或光束偏转。举例来讲,此类元件可以是玻璃片。透明元件可以安排在显微镜中或其上、尤其是显微镜本体中或其上。
然而,由图像捕捉装置检测的光束还可以另外延伸穿过至少一个光学元件,该至少一个光学元件不是显微镜的光学元件,即不用于通过显微镜查看。具体地,此类光学元件可以是位置检测装置的图像捕捉装置的光学系统的一部分。
以此方式,有利地保护图像捕捉装置免受灰尘和水分,并且同时此附加图像捕捉装置易于集成在显微系统中,因为图像捕捉装置的光学参量不必适于显微镜光学元件的光学特性。
在进一步实施例中,显微镜的透明元件安排在位置检测装置的图像捕捉装置与待成像的采集范围之间。换言之,在从待成像的物体至显微镜的光束方向上,图像捕捉装置可以安排在显微镜的透明盖元件后方。以上已经说明了相应优点。
在进一步实施例中,可以根据至少两个图像的序列、或恰好两个图像的序列,优选地根据恰好三个或至少三个图像系列执行位置检测或位置确定。在这种情况下,这些图像是由同一图像捕捉装置在不同的时间点按时间顺序、尤其是按时间顺序一个接一个地或彼此紧接着产生的二维图像。优选地,该序列中的图像在一个(短)时间段(例如以不长于1微秒或不长于1毫秒的时间间隔)内获得。此外,按时间顺序一个接一个地产生的图像或彼此紧接着产生的图像之间的时间间隔可以例如在从10ms至35ms的范围内。然而,应注意,此时间间隔取决于在产生图像时的期望曝光时间,并且因此可以取决于传感器大小和其他边界参数。
具体地,可以在图像基础上在每个图像中检测一个或多个标记元件,并且因此对于每个图像,可以在图像坐标系中确定图像特定位置。基于图像特定位置例如通过通知或其他合适的数据融合方法定义标记元件在图像坐标系中的结果位置,然后评估该结果位置以确定目标物的位置。由于可以假设标记元件的位置没有改变,或者改变了不超过预定程度,因此在产生该序列的时间段内,位置检测的精度也不受影响,或者受到不超过预定程度的影响。
这具有以下优点:即使在不利于位置检测的曝光条件的情况下,也可以确保位置检测的精度。
因此,例如,可以以这样的方式照亮显微镜的采集区域,即使得该采集区域包括不同的照明区域、即具有不同照明强度的区域。例如,第一照明区域可以是照明锥,以高于第一预定阈值的照明强度照亮该区域。第二照明区域可以是第一照明区域外部的区域,并且以低于另一预定阈值的照明强度被照亮。第三照明区域可以是第一照明区域与第二照明区域之间的过渡区域。目标物、尤其是目标物的标记元件可以安排在这些不同的照明区域中。具体地,目标物的不同的标记元件可以安排在不同的照明区域中。然而,这使得难以评估单个图像以确定位置。具体地,在这种情况下,某些图像捕捉参数的选择、例如照明时间、孔径光阑、以及另外的成像参数可能具有以下影响:由于过度曝光或曝光不足,某些标记元件在图像的基础上是不能检测到的,或者仅能困难地检测到。例如,这可能具有以下影响:在过渡区域,由于照明影响的强度分布使得图像中的标记元件的识别变得困难,该识别例如可以基于边缘检测和边缘抽取。
在不同的图像捕捉参数和/或不同的照明参数下还可以产生该序列中的不同图像。
通过选择不同的图像捕捉参数和/或照明参数来产生序列中的单个图像,则可以可靠地识别在以上所说明的不同的照明区域中的标记元件,并且使用相应的信息来进行位置确定。
在进一步实施例中,该序列能够以HDR(高动态范围)方法生成。这意味着,这些图像是所谓的HDR图像。这还有利地允许提高尤其是在不同的照明区域中的标记元件的基于图像的识别的可靠性。
在进一步实施例中,目标物包括标记元件,其中,标记元件具有椭圆形标记体或椭圆形标记表面、以及此标记体或此标记表面的几何中心。此处,术语“椭圆形”也包括圆形构型。
标记体或标记表面(还可以被指定为内标记体或内标记表面)填充有色谱点,这些色谱点相对于几何中心径向分布。定义了标记体/标记表面的每个色谱点的颜色值,并且因此可以根据穿过几何中心的水平线与穿过几何中心和对应的色谱点的另一条线之间的角度来确定。换言之,在色谱值与角度以及色谱点距几何中心的距离之间可以存在赋值、尤其是单值赋值(例如函数关系)。角度和距离可以以极坐标的形式给出。
如果在图像中描绘了(尤其是一个目标物的)至少两个这样的标记元件,则在另一方法步骤中,可以在图像的基础上检测这些至少两个标记元件、尤其是标记体或标记表面的边缘。在另一方法步骤中,可以检测所检测的图像量中的斑点。在此背景下,斑点可以指定图像中的连续区域。
此外,可以在所检测的斑点量中检测椭圆。在另一方法步骤中,可以评估在每一个所检测的椭圆中的正弦图案。此外,在此评估的基础上,可以确定至少两个标记元件的二维位置,然后可以在二维维度的基础上确定三维位置。
在检测尤其是边缘、斑点、椭圆、以及正弦图案的必要步骤中,可以应用本领域技术人员已知的图像处理方法。
在引言中讨论的US 2017/025853 A1中描述了三维位置的这种确定,并且完全参考对应的披露内容。换言之,US 2017/025853 A1的披露内容作为本披露的一部分完全并入。
这有利地产生简单、可靠且精确的位置检测,并且在计算方面不需要很大的支出。
在进一步实施例中,可以实时执行基于位置的控制。这可以意味着,取决于所检测的位置的并且用于控制操作的控制信号在检测到目标物位置后的小于100ms、10ms、或1ms的时间段内产生,或者由这种控制信号引起的过程在检测到目标物位置后的小于100ms、10ms、或1ms的时间段内执行或完成。这有利地允许时间上快速的、基于位置的控制。
在进一步实施例中,显微系统包括用于照亮目标物的至少一个照明装置。具体地,位置检测装置可以包括至少一个照明装置。在这种情况下,照明装置可以机械地连接至支架或优选地显微镜上。例如,照明装置可以安排在目镜上并相对于其固定在位、或者安排在显微镜本体上并相对于其固定在位。例如,照明装置可以被安排为相对于图像捕捉装置固定在位。因此,照明装置还可以紧固在例如图像捕捉装置上。
照明装置优选地以这样的方式配置和/或安排,使得当以预期的方式使用显微系统时,目标物安排在照明装置的照明范围内。具体地,照明装置可以以这样的方式配置和/或安排,使得此装置的照明范围与位置检测装置的图像捕捉装置的采集范围完全或至少部分重叠。
照明装置尤其可以包括至少一个LED。优选地,由照明装置发射的辐射的波长不同于显微系统环境中、例如手术室中的其他装置的波长。
以此方式,尤其是在只有少量环境光可用的操作情景中,目标物的基于图像的检测的可靠性得以有利地提高。具体地,即使在几乎没有可用的、波长在可见范围内的光的照明情景下、例如在黑暗的手术室中,也可以确保目标物的可靠的光学检测。
在进一步实施例中,照明装置产生波长在可见(波长)范围之外的光。优选地,照明装置产生波长在红外范围内的光。在这种情况下,照明装置可以不产生任何波长在可见光范围内的光。然而,照明装置还可以同时产生波长在可见光范围内的光以及还有波长在可见光范围之外的光。例如,照明装置可以产生波长在780nm(含或者不含)至1mm(含或者不含)范围内的光。
其优点是标记元件的光学检测不会被可见光范围内的光干扰,在显微系统环境中,该光可以在不同的照明情景下改变。例如,可以在显微系统的使用者或另一人不被照明装置的可见光干扰的情况下确保前述光学检测的可靠性。
在进一步实施例中,可根据目标物距图像捕捉装置的距离调整照明强度。可以例如根据所检测的目标物的位置、换言之图像捕捉装置与目标物之间的相对位置确定该距离。具体地,由图像捕捉装置产生的图像因此可以用于确定目标物、或目标物的标记元件距图像捕捉装置的距离。例如,照明强度可以与该距离成比例地增加。当然,可想到距离与照明强度之间的其他函数关系或预定义关系,例如以分配的形式。这有利地允许针对目标物与图像捕捉装置之间的不同距离由图像捕捉装置可靠检测目标物。
替代性地或另外地,可基于目标物距图像捕捉装置的距离调整图像捕捉装置的例如呈焦点位置形式的工作距离,该工作距离也被指定为目标物距离。具体地,工作距离可以与目标物距离成比例地调整,其方式为使得随着目标物距离增加,图像捕捉装置的检测范围变小。工作距离优选地跟踪目标物距离。这可以意味着,当目标物距离改变时,工作距离也例如成比例地或成反比地改变。具体地,该变化以这样的方式发生,即尽管图像捕捉装置的清晰度的深度有限,但目标物可以被清晰地成像。在这种情况下,工作距离可以通过电子方式或通过修改光路、即用于光束引导和/或光束整形的光学元件的光路来改变。也以此方式,目标物的检测的可靠性得以有利地提高。
替代性地或另外地,此外可根据目标物距离调整图像捕捉装置的曝光时间。具体地,曝光时间可以与目标物距离成比例地或依赖于目标物距离、例如以2或4的指数来调整,其方式为使得随着目标物距离增加,曝光时间也延长。也以此方式,目标物的检测的可靠性得以有利地提高。
在进一步实施例中,显微系统包括用于对由图像捕捉装置产生的辐射、即用于产生图像的辐射进行滤波的至少一个装置。滤波装置例如可以是光谱滤波器。例如,滤波装置可以透红外波长范围内的光,并且不透或不太透红外波长范围之外的光。因此,滤波装置对然后用于产生图像捕捉装置的图像的辐射进行滤波。在这种情况下,滤波装置可以紧固至显微镜、尤其是显微镜本体或目镜上、或图像捕捉装置上。
替代性地或另外地,用于产生图像的图像捕捉装置仅捕捉所限定的波长或预定波长范围的、尤其是前述红外波长范围的辐射。在这种情况下,例如,图像捕捉装置的传感器可以以这样的方式配置,使得其仅捕捉预定波长范围的光,然后基于此捕捉的辐射产生图像。
替代性地或另外地,图像捕捉装置是单色图像捕捉装置。单色图像捕捉装置可以基于具有在大波长范围内的波长、尤其是所有可检测的波长的辐射产生强度图像、尤其是灰度图像。这有利地具有以下效果:与用于图像捕捉装置的传感器的彩色相机相比,可以利用更大的辐射功率来产生图像,并且因此图像对强度的变化更加敏感。此外,在这种情况下,图像捕捉装置的传感器可以配置有比使用彩色相机时更小的表面积,这降低了制造成本。
这有利地允许尤其是与前述照明装置相结合,进一步提高目标物检测的可靠性,因为改变可见光范围内的光强度不会影响检测以及因此位置检测的可靠性。此外,这有利于简化用于评估所产生的图像的数据处理。
在进一步实施例中,显微系统包括用于启动显微系统的基于位置的控制的装置。用于启动基于位置的控制的装置因此还可以是用于启动显微系统的非接触式控制的装置。启动装置可以包括用于输入使用者的启动信号的界面。例如,可以通过致动进行输入,例如通过脚或手。因此,显微系统例如可以包括手致动或脚致动开关。还可想到口操作开关以进行启动。还可想到声音输入,例如语音命令的形式。在这种情况下,启动装置可以包括麦克风。当然,还可想到启动装置的其他实施例。
当启动装置被致动时,显微系统被设置为可在位置基础上控制的状态。在此状态下,进行以上所说明的基于位置的控制。
当然,显微系统还可以包括用于停用基于位置的控制的装置。此停用装置可以形成启动装置或者还可以被配置为与启动装置分开。当停用装置被致动时,显微系统被设置为不可在位置基础上控制的状态。在不可在位置基础上控制的状态下,目标物的位置不用于控制显微系统。然而,位置信息当然可以用于其他应用,例如用于器械在部位的虚拟图像中的空间正确呈现。
这有利地具有以下效果:显微系统可以以不同的操作模式操作,其结果是有利地扩展了使用范围。
在进一步实施例中,图像捕捉装置是广角相机。在这种情况下,广角相机可以指定相机与广角物镜的组合。在这种情况下,广角相机的视场角可以大于50°(不含)的视场角、尤其是在28mm(含)与38mm(含)之间的范围内的焦距处。此处应注意的是,也可以选择其他焦距。
具体地,广角相机的视场角大于具有正常视角物镜的相机的视场角,正常视角物镜具有在约40°至50°范围内的视场角并且其成像最好地与人的视角感知相对应。此外,广角相机的焦距可以比具有正常视角物镜的相机的焦距短。广角相机对远距离物体进行较小的成像。因此,具体地,广角相机在相同的图形距离下缩小图像比例。此外,还获得了广角照片特有的景深。因此,广角物镜具有与望远物镜相反的特性。广角物镜同样包括鱼眼物镜。
这有利地允许改进目标物的位置的检测、尤其是标记沿着图像捕捉装置的光轴距图像捕捉装置的距离的检测。实际上可以假设,随着图像捕捉装置的视场角增加,成像标记的大小在距离改变的情况下也更明显地改变,这可以用于更精确地确定距离。另一优点是非常靠近图像捕捉装置安排的物体也可以被可靠地捕捉。这是有利的,因为目标物可能通常靠近图像捕捉装置而安排。
在进一步实施例中,将标识、尤其是明确的标识分配给标记元件,其中,此标识是可在图像基础上识别的。在这种情况下,基于图像的识别可以表示为通过评估图像数据来确定标识。以此方式,不同的标记元件有利地可以彼此不同。这进而通过使用具有此类不同的标识的标记元件扩展了显微系统的使用范围,这些标识可以在图像基础上确定。下文更详细说明了用途的实例。
在进一步实施例中,显微系统的操作是可基于所识别的标识控制的。例如,显微系统的以上已经讨论的操作参数中的至少一个可以根据标识来调整,例如调整至预定值。替代性地或另外地,显微系统的以上已经讨论的移动参数中的至少一个可以根据标识来调整,例如调整至预定值。
因此,例如,标识与至少一个可调整操作参数和/或移动参数之间可以存在关联。此关联可以例如以使用者资料的形式给出,该使用者资料被分配给标记元件的预定标识并且例如通过使用者输入产生。对应于使用者的偏爱的参数可以存储在此使用者资料中并且在识别对应的标记元件之后调整。通过使用者的仅少数输入,这有利地允许舒适地调整参数,并且因此改进显微系统的操作。
替代性地,只要识别出具有预定标识的标记元件,就可以启动一个预定操作模式或多个预定操作模式。例如,只有当识别出对应的标记元件时,才可以启动位置跟踪模式。因此,例如,标识与待启动的至少一个操作模式之间可以存在关联。
此外,只有当识别出对应的标记元件时,才可以启动显微系统的整体操作、例如还包括放大视图。
这有利地允许防止显微系统、或预定操作模式的未授权使用,或者甚至提供了一种防盗保护。总之,因此这有利地改进显微系统的操作安全性。
此外,替代性地,可以将标记元件的预定标识分配给不同的使用者、例如外科医生。然后可以尤其是与识别的时间段的相结合地存储所识别的标记元件的标识。进而,这有利地使得可以记录一个或多个使用者对显微系统的使用。例如,随后可以查明哪一个外科医生使用了显微系统以及在什么时间使用了显微系统。
进一步实施例包括根据显微镜的至少一个操作参数对显微镜的移动进行开环或闭环控制。替代性地或另外地,实施例包括根据位置检测装置的图像捕捉装置的至少一个操作参数对显微镜的移动进行开环或闭环控制。
这可以意味着,显微镜的至少一个移动参数是基于显微镜和/或图像捕捉装置的一个或多个操作参数调整的。在这种情况下,移动参数可以不同于操作参数。然而,还可想到的是,参数形成移动参数以及还有操作参数两者。例如,不同的操作参数或操作参数量与移动参数或移动参数量之间可以存在关联或另一个先前已知的关系、例如函数关联,其中,利用此关联或此关系来调整移动参数。当然,开环或闭环控制的其他参数、例如控制器参数、极限值或移动的其他参数还可以基于显微镜的至少一个操作参数来调整。
以上已经说明了显微镜的操作参数。图像捕捉装置的操作参数例如是图像捕捉装置的可调整工作距离。目镜、或管的操作参数例如是目镜与显微镜本体之间的相对位置。
例如,移动的速度、尤其是最大速度或最大容许速度可以基于当前经调整的显微镜放大倍数来调整。具体地,移动的最大速度或最大容许速度可以与放大倍数的增加成比例地减小。
这有利地允许增强操作安全性并提高显微系统操作的使用方便性。
在进一步实施例中,针对显微镜移动实现的自由度的数量是可调整的。例如,可以实现显微镜移动的一个、两个、三个、四个、五个、或六个自由度。替代性地,但优选地另外地,所实现的自由度的性质是可调整的。例如,可以实现所选择的平移自由度和/或所选择的旋转自由度。如果实现了这种自由度,则显微镜可以以这种自由度移动。可以仅实现旋转自由度或者仅实现平移自由度。
此外,特定于自由度的坐标系也是可调整的,其中,可关于或相对于此坐标系调整针对显微镜移动实现的自由度的数量。特定于自由度的坐标系尤其可以是以上所说明的参考坐标系或具有固定焦点的坐标系。当然,也可以使用其他坐标系。
在具有固定焦点的坐标系的情况下,坐标系的原点可以位于焦点处。竖轴可以沿着显微镜的光轴延伸。其余的两个轴可以跨越平面并且各自可以相对于竖轴且相对于彼此垂直地定向。在这种情况下,例如,所谓的点锁定操作是可能的,其中,焦点在参考坐标系中的位置是固定的,并且仅实现围绕具有固定焦点的坐标系的轴的旋转所需的自由度。在这种情况下,自由度不必与支架机械地提供的自由度重合,并且因此这些自由度还可以被指定为虚拟自由度。因此,可想到的是,针对移动仅实现两个虚拟自由度,而尽管如此,支架的移动围绕支架可能的所有自由度进行。
在这种情况下,所实现的自由度的数量和/或类型基于所检测的位置来调整。例如,可想到的是,借助于目标物进行预定移动,其中,此移动通过位置检测来检测,然后实现待实现的自由度的分配给此运动的数量和/或类型。此外,取决于位置,可以启动显微系统的预定操作模式,其中,在此操作模式下,所实现的自由度的数量和/或类型是预先确定的。这种操作模式可以被指定为例如受限的移动模式。
替代性地,可想到的是,基于至少一个标记元件的所识别的标识调整所实现的自由度的数量和/或类型。在这种情况下,可以将所实现的自由度的不同的数量和/或不同的类型分配给不同的标记元件。
还可以基于所检测的位置或基于在位置基础上调整的操作模式调整操作参数和/或移动参数、尤其还有用于开环或闭环控制显微镜的移动的开环或闭环参数。
这有利地允许增强显微系统的操作安全性,因为在预定操作情景下,所实现的自由度的数量和/或类型以及还有显微镜的机动性可以受到限制。以此方式,例如,可以有利地降低碰撞风险、尤其是与人碰撞的风险。
在进一步实施例中,可尤其基于所检测的位置和/或基于至少一个标记元件的所识别的标识调整显微系统的工作空间的大小。在这种情况下,工作空间可以指定显微系统的显微镜可以在其中移动的空间区域。在这种情况下,工作空间可以是参考点周围的空间,其中,参考点例如在启动具有预定义大小的工作空间的操作模式时由显微镜(或显微镜的参考点)的当前空间位置形成。具体地,参考点可以是工作空间的几何中心点。
这有利地允许通过降低碰撞风险进一步改进操作安全性。
替代性地或另外地,可尤其基于所检测的位置和/或基于至少一个标记元件的所识别的标识调整移动的最大容许速度。以上已经说明了这一点以及相应优点。这还有利地允许增强操作可靠性,尤其是因为由于所设定的最大容许速度,使用者可以迅速中断不期望的移动。
还在这种情况下,取决于位置,可以启动显微系统的预定操作模式,其中,在此操作模式下,显微系统的工作空间的大小和/或最大容许速度是预先确定的。
在进一步实施例中,根据目标物的位置操作图形用户界面。这尤其可以在操作模式下进行。当例如基于目标物的位置启动这种操作模式时,可以根据目标物的位置操作图形用户界面。
图形用户界面可以是某一应用、尤其是计算机辅助应用的用户界面。例如,用户界面可以是用于控制显微系统、例如用于调整操作参数和/或移动参数的用户界面。
用户界面可以由显示装置、例如显示屏显示。在这种情况下,显示装置可以同时用于呈现由显微镜产生的(放大)图像。在这种情况下,可以实施用于所谓的增强现实的方法。然而,用户界面也可以显示在不用于同时呈现由显微镜产生的(放大)图像的显示装置上。
例如,控制可以涉及根据目标物的位置调整图像元素的位置。图像元素例如可以是光标。在这种情况下,图像元素可以是用户界面的一部分。具体地,可以根据目标物位置的变化修改图像元素在图像中的位置。例如,如果目标物沿着预定空间方向移动,则图像元素可以沿着预定图像方向、例如沿着图像轴线移动。例如,目标物沿着参考坐标系、或位置检测装置的图像捕捉装置的坐标系的横轴的移动或部分移动可以致使图像元素沿着横轴在图像中移动。
此外,可以根据目标物的位置、尤其是其位置的变化发出预定控制命令,例如启动或执行所选择的功能或放大/减小显示大小。为此目的,可以将控制命令分配给位置或位置变化。例如,当目标物位置的变化对应于双击形式的移动、即包括两个彼此之间的差异不超过预定程度的局部移动时,可以执行(所选择的)功能。
这有利地允许计算机程序的交互式控制,例如从菜单中选择所期望的命令。
如果目标物不再被检测或者不再被完全检测,则可以中断所启动的模式、或在所启动的模式下进行的控制(例如以上所说明的位置跟踪)。当在预定时间段结束之前检测、尤其是完全检测目标物时,可以恢复中断的模式或对应控制。如果在预定时间段结束之前没有进行重新检测,可能有必要重新启动中断的模式,其中,此重新启动不是、或者不是唯一通过重新检测目标物来实现的。例如,可能有必要手动启动。然而,当再次检测、尤其完全检测目标物时,还可以独立于已经过去的时间恢复中断的模式或对应控制。具体地,一旦恢复,在这种情况下,可以不必进行重新初始化,该初始化例如在对应模式的初始启动时进行。
还提出了一种用于操作根据本披露描述的实施例之一的显微系统的方法。因此,显微系统以这样的方式配置,使得这种方法可以通过显微系统来实施。
在该方法中,确定至少一个目标物相对于位置检测装置的至少一个图像捕捉装置的位置。当然,还可以尤其使用同样以上所说明的变换规则来确定目标物在以上所说明的参考坐标系中的位置。取决于如此确定的位置,还可以确定使用者的身体部分(尤其是手)、由使用者移动的器械、患者、手术室设备的位置或其位置的变化。
此外,根据所确定的位置或所确定的位置变化控制显微系统的操作。具体地,可以根据所确定的位置控制尤其是显微镜的移动。此外,可以根据该位置来调整显微镜的操作参数和/或移动参数。还可以根据该位置启动或停用显微镜的操作模式。
因此,例如,可以存在显微系统的不同操作模式。例如,可以存在移动控制模式,其中,根据所确定的位置控制移动。为此目的,至少一个驱动装置可以以这样的方式致动,使得显微镜执行期望的移动、即具有期望的移动参数的移动。特殊移动控制模式可以是以上所说明的位置跟踪模式。具体地,至少一个驱动装置可以以这样的方式在位置跟踪模式下被致动,使得目标物与用于位置检测的图像捕捉装置之间的相对移动得以补偿。这可以意味着,显微镜所执行的移动具有与此相对移动相同的移动参数、尤其是具有相同的轨迹。具体地,可以确定相对位置的位置变化,其中,根据此位置变化更改显微镜的位置。这还可以意味着,根据所确定的位置、尤其是所确定的位置变化以这样的方式致动显微镜,使得目标物或上面安排有目标物的物体与显微镜之间的距离保持不变或与期望位置、例如起始位置的差别不超过预定范围。这还可以意味着,实施了所谓的轨迹伺服控制。这用于补偿偏差。在轨迹伺服控制下,显微镜跟随目标物相对于图像捕捉装置的移动。在这种情况下,此移动的轨迹不一定重复。例如,可以限制显微镜移动的速度或加速度。这可以具有以下效果:当跟随轨迹时,显微镜沿着以下轨迹移动,该轨迹偏离目标物的例如在轨道上的移动轨迹,轨道的直径小于目标物沿其移动的轨道。
优选移动模式可以是以上所说明的受限制的移动模式。
在位置跟踪模式下、以及还有在不同于其的移动控制模式下,可以进行对应的控制。此控制尤其可以由对应的计算机单元实施,该计算机单元执行对应的算法。这有利地意味着使用者总是可以毫无困难地并以期望的方式看向显微镜的目镜。
此外,还可以存在参数调整模式,在该模式下,根据位置调整显微镜的操作参数和/或移动参数。如以上所说明的,还可以根据所识别的标记元件的标识来调整显微系统的操作参数和/或移动参数。例如,目标物的与显微镜的光轴平行定向的移动分量可以用于调整显微系统的操作参数,例如焦点。例如,朝向显微镜的移动可以减小焦点值,而远离显微镜的移动可以增大焦点值。
目标物的另一移动分量、例如相对于显微镜的光轴横向定向的分量可以用于调整显微系统的另一操作参数,例如缩放值。
在另一操作模式下,可以将位置跟踪模式和参数调整模式进行组合。例如,目标物的与显微镜的光轴平行定向的移动分量可以用于调整显微系统的操作参数,例如焦点,其中,与此光轴垂直的移动分量用于位置跟踪。另一操作模式可以是以上所说明的控制模式。
在这种情况下,模式、尤其是移动模式可以由对应的启动装置启动并且由相应的停用装置停用。例如,可以例如经由手操作或脚操作接口手动启动和停用。如以上所说明的,也可以基于目标物位置启动/停用。
还描述了一种程序,当在计算机上或由计算机执行时,该程序使计算机实施本披露中阐述的用于操作显微系统的方法的一个、几个或所有步骤。替代性地或另外地,描述了程序存储介质,该程序尤其以非临时形式,即以永久形式存储在该程序存储介质上或其中。替代性地或另外地,描述了计算机,该计算机包括此程序存储介质。此外,替代性地或另外地,描述了信号、例如数字信号,该信号编码表示该程序的信息项,并且包括适用于执行本披露中阐述的用于操作显微系统的方法的一个、几个或所有步骤的编码装置。信号可以是物理信号、例如电信号,其尤其是在技术上或通过机器产生的。
此外,用于操作显微系统的方法可以是计算机实施的方法。例如,该方法的一个、几个或所有步骤都可以由计算机实施。计算机实施的方法的一个实施例是使用用于执行数据处理技术的计算机。例如,计算机可以包括至少一个计算装置、尤其是处理器,以及例如至少一个存储装置,以便处理数据,尤其是技术地、例如电子地和/或光学地处理数据。在这种情况下,计算机可以是任何类型的数据处理设备。处理器可以是基于半导体的处理器。在这种情况下,计算装置可以是或包括以上所说明的控制装置。
附图说明
基于说明性实施例更详细地说明本发明。在附图中:
图1示出了根据本发明的第一实施例的显微系统的示意图,
图2示出了根据本发明的进一步实施例的显微系统的示意图,
图3示出了根据本发明的进一步实施例的显微系统的示意图,
图4示出了目标物的透视图,
图5a至图5d示出了标记元件的示意性平面图,
图6示出了根据本发明的方法的示意性流程图,并且
图7示出了根据本发明的进一步实施例的方法的示意性流程图。
具体实施方式
下文中完全相同的附图标记指定具有完全相同或类似技术特征的元件。
图1示出了根据本发明的在手术环境中使用期间的显微系统1。显微系统1包括手术显微镜2,该手术显微镜安排在用于安装显微镜2的支架3上、具体在支架3的自由端处。支架3允许显微镜2移动,以改变显微镜2的位置和/或取向。参考坐标系用竖轴z和纵轴x描绘。此处,竖轴z与重力方向平行并且被定向成与重力方向相反。纵轴x垂直于竖轴z。参考坐标系的横轴(未示出)此处垂直于纵轴x和竖轴z,其中,轴x、z形成笛卡儿坐标系。
所示的支架3是用于安装并移动显微镜2的运动结构的实例。本领域技术人员当然知道也可以使用其他运动结构。
支架3包括用于移动显微镜2的驱动装置(未示出)。此处,驱动装置例如可以允许支架3的移动部分围绕旋转轴线4、5、6以及与竖轴z平行的旋转轴线进行旋转移动。该图还示出了控制装置7,该控制装置用于控制驱动装置(未示出)。借助于控制装置7,驱动装置可以尤其以显微镜2尤其在参考坐标系中执行期望的移动的方式被致动。例如,可以将显微镜2放置在期望的空间位置上并具有期望的取向。此外,控制装置7还可以用于调整显微镜2的操作参数和/或移动参数,例如调整显微镜2的变焦。为此目的,控制装置7可以通过信号链路和/或数据链路连接至显微镜2和/或驱动装置。此外,控制装置7还可以用于调整显微镜2的期望的操作模式,例如移动模式。
显微系统1还包括用于检测器械19的位置的位置检测装置,使用者8可以握持并移动该器械。使用者8例如可以是外科医生。位置检测装置包括具有至少一个标记元件22(例如参见图4)的至少一个目标物9、以及用于捕捉目标物的至少一个图像捕捉装置10。借助于位置检测装置,可以确定目标物9相对于图像捕捉装置尤其在位置检测装置的坐标系中的位置。此处,目标物9包括至少一个无源标记元件22、优选三个无源标记元件22。
图1示出了目标物9紧固至器械19上。其通过合适的固持装置、例如夹持器紧固,通过该固持装置,目标物9以相对于器械19固定在位的方式紧固至该器械上。器械19可以被配置为例如抽吸器。在这种情况下,器械19由使用者8握持,其方式为使得目标物9安排在图像捕捉装置10的采集范围内。
器械19的位置可以由位置检测装置借助于尤其在图像基础上确定目标物9的位置来检测,其中,器械19的位置则可以根据目标物9在器械19上的固定安排来确定。目标物9与器械19之间的相对位置可以是事先已知的并且可以通过配准来确定。如果仅要检测头部位置的变化,则此配准不是绝对必需的。
该图还示出了显微系统1的图像捕捉装置10,例如CCD相机。此图像捕捉装置10安排在显微镜2的显微镜本体16中。具体地,图像捕捉装置安排在显微镜本体16的壳体中。此外,图像捕捉装置10尤其机械地刚性地安排在显微镜2的一部分上,并且因此安排在相对于所述部分的固定位置上。
该图还示出了在图像捕捉装置10与控制装置7之间的信号链路和/或数据链路12。借助于控制装置7或者借助于评估装置(未示出),可以确定目标物9与图像捕捉装置10之间的在位置检测装置的三维坐标系中的相对位置,该评估装置可以是例如图像捕捉装置的一部分。例如,可以确定目标物9在图像捕捉装置10的二维图像坐标系中的位置,然后根据此位置,确定在位置检测装置的坐标系中的位置。在位置检测装置的三维坐标系中可以确定位置以及还有取向两者。通过将目标物9紧固至器械19上,因此还可以确定器械19在位置检测装置的坐标系中并且因此还有在参考坐标系中的位置。具体地,目标物9位置的变化以及因此还有器械19的位置变化可以通过位置检测装置检测。
在开始操作显微系统1之前,位置检测装置的坐标系可以与所示的参考坐标系配准。换言之,可以确定变换规则以将位置检测装置的坐标系中的位置变换到参考坐标系中。
目标物9的位置可以通过正确地评估图像捕捉装置10的一个二维图像来检测。
此外,描绘的控制装置7以这样的方式配置,使得其可以根据所检测的目标物9的位置或者根据所检测的目标物9并且因此器械的位置变化来致动支架3的至少一个驱动装置,该控制装置可以例如包括微控制器。替代性地或另外地,显微镜2的至少一个操作参数和/或移动参数或显微镜2的操作模式可以根据所检测的目标物9的位置或者根据所检测的目标物9并且因此器械19的位置变化由控制装置7来调整,如以上说明的。
该图还示出了躺在手术台14上的患者13。还示出了显微镜2包括目镜15,使用者8看向该目镜以通过显微镜2查看患者13的尤其放大的局部区域。
该图还示出了显微镜2的光轴17。在沿着此光轴从患者13至显微镜2的辐射方向上,图像捕捉装置10安排在显微镜2的玻璃片18后方,该玻璃片18将显微镜本体16的壳体的内部与外界环境隔离。因此,玻璃片18安排在图像捕捉装置10与待观察的患者13之间。
该图还示出了平面E,该平面界定半空间HB。此平面E相对于显微镜2的光轴17垂直定向,并且穿过光轴17与玻璃片18之间的交点延伸。沿着光轴17,半空间HB安排在此平面E后方,其中,光轴17从显微镜2朝向患者13定向。患者13以及还有目标物9安排在此半空间HB中。这可以被指定为目标物9安排在患者附近。
虽然此处未示出,但图像捕捉装置10还可以安排在显微镜本体16的壳体内部,其方式为使得在辐射方向上,图像捕捉装置位于显微镜2的透镜后方。在这种情况下,透镜以及还有玻璃片18安排在图像捕捉装置10与待观察的患者13之间。
图像捕捉装置10的采集范围与显微镜的采集范围至少部分重叠以放大对患者或患者13的身体区域的描绘。
通过例如用手移动器械19,使用者8可以移动目标物9并且因此改变目标物的位置。位置的变化可以通过位置检测装置来检测,其中,然后控制装置7根据所检测的目标物9的位置控制显微系统1的操作、尤其是至少一个驱动装置的操作和/或显微镜2的操作。具体地,显微镜2的移动可以跟踪器械19的移动。
图2示出了根据本发明的进一步实施例的显微系统1的示意图。图2所示的显微系统1配置的方式与图1所示显微系统1基本上相同,并且因此可以参考关于图1的说明。与图1所示的实施例相比,图像捕捉装置10安排在显微镜本体16的壳体上并且因此不在其中。换言之,图像捕捉装置10安排在壳体外部。具体地,在图像捕捉装置10与待观察的患者13之间未安排玻璃片18(参见图1)和/或显微镜2的光学元件。
此处,图像捕捉装置10以这样的方式安排在显微镜2上,使得图像采集范围与显微镜2的采集范围至少部分重叠或完全重叠以获得放大视图。
图3示出了根据本发明的进一步实施例的显微系统1的示意图。本实施例与图1所示的实施例基本上相同,并且因此可以参考关于图1的对应说明。与图1所示的实施例相比,显微系统1包括照明装置20。照明装置20可以尤其是产生波长在可见光范围之外、尤其在红外波长范围内的光的照明装置20。照明装置20的照明范围可以与图像捕捉装置10的图像采集范围至少部分重叠。以此方式,照明装置20也可以照亮安排在图像采集范围内的目标物9。
图4示出了具有三个标记元件22的目标物9的透视图。该图示出了标记元件22安排在支撑体23上。具体地,标记元件22不是共线安排。此处,标记元件22是呈圆形形状或者具有圆形内标记表面、以及此标记表面的几何中心。
内标记表面具有变化的颜色值或灰度值。具体地,填充有色谱点,这些色谱点相对于几何中心径向分布。定义了标记表面的每个色谱点的颜色值或灰度值,并且因此可以根据穿过几何中心的水平线与穿过几何中心和对应的色谱点的另一条线之间的角度来确定。
图5a、图5b、图5c和图5d示出了标记元件22的不同实施例,即第一标记元件22a、第二标记元件22b、第三标记元件22c、以及第四标记元件22d。这些标记元件22a、...、22d各自具有不同的颜色值或灰度值分布。这有利地允许将标识、尤其是唯一标识分配给标记元件22、22a、...、22d,该标识是可在图像基础上识别的,即通过评估由图像捕捉装置10产生的图像。
此外,然后可以根据标记元件22、22a、...、22d的所识别的标识来控制图1所示的显微系统1。例如,借助于控制装置7,可以调整显微镜2的操作参数和/或移动参数和/或显微镜2的操作模式,这些参数和/或模式被分配给所识别的标记元件22a、...、22d。此处,不同的标记元件22a、...、22d可以被分配不同的参数值。
图6示出了根据本发明的第一实施例的方法的示意性流程图。在第一步骤S1中,检测至少一个目标物9(例如参见图1)相对于图1所示的显微系统1的至少一个图像捕捉装置10的位置。此处,还可以检测位置的变化。根据此位置,然后可以确定紧固至身体部分或器械19上的目标物9的空间位置。目标物9还可以紧固至患者13或手术台14上。在这种情况下,可以根据目标物9的位置确定患者13或手术台14的空间位置。
此处,确定在参考坐标系中的空间位置(参见关于图1的说明)。在第二步骤S2中,可以基于如此确定的位置操作显微系统1。以上已经说明了这一点。
具体地,显微镜2的移动可以在位置的基础上尤其以这样的方式控制,使得显微镜2的光轴17以期望的取向安排。
替代性地或另外地,显微镜的操作参数、例如焦距和/或焦点可以根据所检测显微镜2的位置、尤其是所检测的其位置的变化和/或其操作模式来调整。
在参数调整模式下,可以例如根据所检测的相对位置来调整显微镜2的变焦。在移动控制模式下,显微系统1的支架3的驱动装置可以以这样的方式被致动,使得用期望的移动控制显微镜2。具体地,可以确定目标物9分位置变化,其中,然后可以以这样的方式致动驱动装置,使得显微镜2执行相同的位置变化(位置跟踪模式)。
此外,还可以控制照明装置20(参见图3)的操作、例如所产生的辐射强度、和/或图像捕捉装置10的操作。因此,在第二步骤S2中确定目标物9与图像捕捉装置10之间的距离,其中,根据该距离更改照明装置10的照明强度和/或图像捕捉装置10的工作范围。
此外,可以在第二步骤S2中识别标记元件的标识,在这种情况下,然后可以根据所识别的标识控制显微系统1的操作、尤其还有移动。
图7示出了根据本发明的进一步实施例的方法的示意性流程图。此处,在第一步骤S1之前的初始步骤S0中,启动显微系统1的基于位置的控制。这可以例如通过致动启动装置、例如脚操作开关来完成。
为此目的,图1所示的显微系统1具有用于启动显微系统1的基于位置的控制的启动装置(未示出)和/或用于启动期望操作模式的装置。
尤其在这种情况下,可以在第二步骤S2之前或期间评估哪个操作模式被启动。还可以评估操作模式是否被启动并且如果被启动,启动哪一个。取决于所启动的操作模式,然后可以执行该方法的进一步步骤。具体地,在第二步骤S2中,只有当显微系统1处于可以在位置基础上控制的移动模式时,才实现移动控制。
例如,可以通过使用者8致动开关、例如脚操作开关,通过评估位置或位置变化,和/或通过识别标记元件22来启动基于位置的控制或期望的操作模式。
此外,在初始步骤S0中,可以确定针对显微镜2的移动所实现的自由度的数量和/或类型。
关于第一步骤S1和第二步骤S2,可以参考关于图6的说明。如果不再打算实施显微系统1的基于位置的控制,那么在第三步骤S3中,可以例如通过致动对应的停用装置停用显微系统1的基于位置的控制。此处,停用装置可以等同于启动装置。
可以根据由图像捕捉装置10(参见图1)依次产生的至少两个、优选三个图像的序列进行位置检测。为此目的,在第一步骤S1中,可以在第一辅助步骤中产生第一图像,可以在第二辅助步骤中产生第二图像,并且可以在第三辅助步骤中产生第三图像。可以以图像捕捉装置10的不同成像参数或操作参数、例如不同的孔径光阑产生这些图像。
附图标记清单
1 显微系统
2 显微镜
3 支架
4 旋转轴线
5 旋转轴线
6 旋转轴线
7 控制装置
8 使用者
9 目标物
10 图像捕捉装置
12 信号链路和/或数据链路
13 患者
14 手术台
15 目镜
16 显微镜本体
17 光轴
18 玻璃片
19 器械
20 照明装置
22 标记元件
22a 标记元件
22b 标记元件
22c 标记元件
22d 标记元件
23 支撑装置
S0 初始步骤
S1 第一步骤
S2 第二步骤
S3 第三步骤
E 平面
HB 半空间

Claims (22)

1.一种显微系统,包括:
-显微镜(2),
-支架(3),该支架用于安装该显微镜(2),其中,该支架(3)包括至少一个驱动装置以用于移动该显微镜(2),
-至少一个位置检测装置,该至少一个位置检测装置用于检测目标物(9)的空间位置,其中,该位置检测装置包括具有至少一个标记元件(22,22a,...,22d)的至少一个目标物(9)、以及用于光学采集该目标物(9)的图像捕捉装置(10),
-至少一个控制装置(7),该至少一个控制装置用于根据所检测的该目标物(9)的位置控制该显微系统(1)的操作,
其特征在于,
该位置检测装置被设计为通过评估该位置检测装置的图像捕捉装置(10)产生的二维图像来确定该目标物(9)的位置。
2.根据权利要求1所述的显微系统,其特征在于,该控制装置(7)是用于根据所检测的该目标物(9)的位置控制该至少一个驱动装置的控制装置(7)、和/或用于调整该显微镜(2)的至少一个操作参数和/或移动参数和/或操作模式的控制装置。
3.根据权利要求1或2所述的显微系统,其特征在于,该位置检测装置的图像捕捉装置(10)以这样的方式被安排在该显微镜(2)中或其上,使得由该图像捕捉装置(10)检测的光束延伸穿过该显微镜(2)的至少一个光学元件。
4.根据权利要求1或2所述的显微系统,其特征在于,该位置检测装置的图像捕捉装置(10)以这样的方式被安排在该显微镜(2)中或其上,使得由该图像捕捉装置(10)检测的光束不延伸穿过该显微镜(2)的至少一个光学元件。
5.根据前述权利要求之一所述的显微系统,其特征在于,该显微镜(2)的透明元件被安排在该位置检测装置的图像捕捉装置(10)与待成像的检测区域之间。
6.根据前述权利要求之一所述的显微系统,其特征在于,能够根据至少两个图像的序列执行该位置检测。
7.根据权利要求6所述的显微系统,其特征在于,该序列能够以HDR方法生成。
8.根据前述权利要求之一所述的显微系统,其特征在于,该目标物(9)包括标记元件(22,22a,...,22d),其中,该标记元件(22,22a,...,22d)具有椭圆形标记体或椭圆形标记表面、以及此标记体或此标记表面的几何中心,其中,该标记体或该标记表面填充有色谱点,这些色谱点相对于该几何中心径向分布,其中,该标记/标记表面的每个色谱点的颜色值是根据穿过该几何中心的水平线与穿过该几何中心和对应的色谱点的另一条线之间的角度来确定的。
9.根据前述权利要求之一所述的显微系统,其特征在于,能够实时进行基于位置的控制。
10.根据前述权利要求之一所述的显微系统,其特征在于,该显微系统(1)包括用于照亮该目标物的照明装置(20)。
11.根据权利要求10所述的显微系统,其特征在于,该照明装置(20)产生波长在可见光范围之外、尤其在红外波长范围内的光。
12.根据权利要求10或11所述的显微系统,其特征在于,可根据该目标物(9)距该图像捕捉装置(10)的距离调整照明强度和/或该图像捕捉装置(10)的工作距离和/或曝光时间。
13.根据前述权利要求之一所述的显微系统,其特征在于,该显微系统(1)包括用于对由该图像捕捉装置(10)检测的光束进行滤波的至少一个装置,和/或该图像捕捉装置(10)只检测所限定的波长或某一波长范围、尤其是红外波长范围的光束,和/或该图像捕捉装置(10)是单色图像捕捉装置。
14.根据前述权利要求之一所述的显微系统,其特征在于,该显微系统(1)包括用于启动该显微系统的基于位置的控制的装置。
15.根据前述权利要求之一所述的显微系统,其特征在于,该图像捕捉装置(10)是广角相机。
16.根据前述权利要求之一所述的显微系统,其特征在于,将标识分配给标记元件(22,22a,...,22d),其中,在图像基础上可识别此标识。
17.根据权利要求16所述的显微系统,其特征在于,根据所识别的标识可控制该显微系统(1)的操作。
18.根据前述权利要求之一所述的显微系统,其特征在于,根据该显微镜(2)的至少一个操作参数和/或该位置检测装置的图像捕捉装置(10)的至少一个操作参数实现该显微镜(2)的移动的开环或闭环控制。
19.根据前述权利要求之一所述的显微系统,其特征在于,该显微镜(2)的移动的所实现的自由度的数量和/或类型是可调整的。
20.根据前述权利要求之一所述的显微系统,其特征在于,该显微系统(1)的工作空间的大小和/或该移动的最大容许速度是可调整的。
21.根据前述权利要求之一所述的显微系统,其特征在于,根据该目标物(9)的位置操作图形用户界面。
22.一种用于操作根据权利要求1至21之一所述的显微系统(1)的方法,其中,确定该至少一个目标物(9)相对于该位置检测装置的至少一个图像捕捉装置(10)的位置,其中,根据所确定的位置控制该显微系统(1)的操作。
CN201910315797.7A 2018-04-25 2019-04-18 显微系统以及用于操作显微系统的方法 Active CN110398830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111589545.7A CN114488501A (zh) 2018-04-25 2019-04-18 显微系统以及用于操作显微系统的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018206406.7A DE102018206406B3 (de) 2018-04-25 2018-04-25 Mikroskopiesystem und Verfahren zum Betrieb eines Mikroskopiesystems
DE102018206406.7 2018-04-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111589545.7A Division CN114488501A (zh) 2018-04-25 2019-04-18 显微系统以及用于操作显微系统的方法

Publications (2)

Publication Number Publication Date
CN110398830A true CN110398830A (zh) 2019-11-01
CN110398830B CN110398830B (zh) 2022-01-04

Family

ID=67701908

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111589545.7A Pending CN114488501A (zh) 2018-04-25 2019-04-18 显微系统以及用于操作显微系统的方法
CN201910315797.7A Active CN110398830B (zh) 2018-04-25 2019-04-18 显微系统以及用于操作显微系统的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111589545.7A Pending CN114488501A (zh) 2018-04-25 2019-04-18 显微系统以及用于操作显微系统的方法

Country Status (3)

Country Link
US (3) US11406455B2 (zh)
CN (2) CN114488501A (zh)
DE (1) DE102018206406B3 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111803213A (zh) * 2020-07-07 2020-10-23 武汉联影智融医疗科技有限公司 一种协作式机器人引导定位方法及装置
CN114488501A (zh) * 2018-04-25 2022-05-13 卡尔蔡司医疗技术股份公司 显微系统以及用于操作显微系统的方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019004235B4 (de) 2018-07-16 2024-01-18 Mako Surgical Corp. System und verfahren zur bildbasierten registrierung und kalibrierung
JP2021003201A (ja) * 2019-06-25 2021-01-14 ソニー株式会社 手術顕微鏡システム、制御装置及び制御方法
US11864841B2 (en) * 2019-12-31 2024-01-09 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US11607287B2 (en) 2019-12-31 2023-03-21 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
DE102020118801A1 (de) 2020-07-16 2022-01-20 Carl Zeiss Microscopy Gmbh Mikroskop und verfahren zur abstandsbestimmung einer probenreferenzebene
DE112022002477A5 (de) 2021-05-07 2024-03-14 Carl Zeiss Meditec Ag Mikroskopiesystem und Verfahren zum Betreiben eines Mikroskopiesystems
EP4086685A1 (de) 2021-05-07 2022-11-09 Carl Zeiss Meditec AG Mikroskopiesystem und verfahren zum betreiben eines mikroskopiesystems
EP4086686A1 (de) 2021-05-07 2022-11-09 Carl Zeiss Meditec AG Mikroskopiesystem und verfahren zum betreiben eines mikroskopiesystems
DE102021207950A1 (de) 2021-07-23 2023-01-26 Carl Zeiss Meditec Ag Verfahren und System zur Bestimmung einer Lage zumindest eines Objekts in einem Operationssaal

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070211243A1 (en) * 2006-03-13 2007-09-13 Clemex Technologies Inc. System and method for automatic measurements and calibration of computerized magnifying instruments
US20070265495A1 (en) * 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking
US8221399B2 (en) * 2004-12-01 2012-07-17 Nidek Co., Ltd. Ophthalmic apparatus
CN103091825A (zh) * 2011-10-28 2013-05-08 莱卡微系统Cms有限责任公司 用于照明样品的方法和系统
CN202975466U (zh) * 2012-10-22 2013-06-05 中国科学院寒区旱区环境与工程研究所 螺旋测微器数控数显定位载物台
CN103399413A (zh) * 2013-07-30 2013-11-20 浙江大学 基于双螺旋光束的样品轴向漂移检测及补偿方法和装置
US20140198197A1 (en) * 2013-01-11 2014-07-17 Olympus Corporation Image processing apparatus, microscope system, and recording medium
US20140376773A1 (en) * 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
CN104714638A (zh) * 2013-12-17 2015-06-17 西门子公司 医疗技术控制器
US20150238073A1 (en) * 2012-06-27 2015-08-27 Camplex, Inc. Surgical visualization systems
CN105050527A (zh) * 2013-03-15 2015-11-11 圣纳普医疗(巴巴多斯)公司 智能定位系统和用于其的方法
US20160180046A1 (en) * 2013-08-01 2016-06-23 Universite Pierre Et Marie Curie Device for intermediate-free centralised control of remote medical apparatuses, with or without contact
US20160202040A1 (en) * 2013-08-26 2016-07-14 Leica Microsystems Cms Gmbh Method for calibrating a laser deflection apparatus of a laser microdissection system and laser microdissection system
US20170045728A1 (en) * 2015-08-13 2017-02-16 Novartis Ag Systems and methods for an optical system with an adjustable projected focal plane
CN106714681A (zh) * 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US20170188826A1 (en) * 2015-12-31 2017-07-06 Carl Zeiss Meditec Ag Apparatus for determining and quantifying the staining of ocular structures and method therefor
CN107340584A (zh) * 2016-05-03 2017-11-10 卡尔蔡司显微镜有限责任公司 显微镜
US20180021094A1 (en) * 2015-03-23 2018-01-25 Sony Production Medical support arm device and method of controlling medical support arm device
CN107765414A (zh) * 2016-08-16 2018-03-06 徕卡仪器(新加坡)有限公司 利用手势控制的手术显微镜和用于手术显微镜的手势控制的方法

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3739223A1 (de) * 1987-11-19 1989-06-01 Reichert Optische Werke Ag Verfahren zur autofokussierung von mikroskopen und mikroskope mit einer autofokussierung
US5098426A (en) * 1989-02-06 1992-03-24 Phoenix Laser Systems, Inc. Method and apparatus for precision laser surgery
US6675040B1 (en) * 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
DE19529950C1 (de) 1995-08-14 1996-11-14 Deutsche Forsch Luft Raumfahrt Verfahren zum Nachführen eines Stereo-Laparoskops in der minimalinvasiven Chirurgie
DE10025285A1 (de) 2000-05-22 2001-12-06 Siemens Ag Vollautomatische, robotergestützte Kameraführung unter Verwendung von Positionssensoren für laparoskopische Eingriffe
US6850794B2 (en) * 2000-09-23 2005-02-01 The Trustees Of The Leland Stanford Junior University Endoscopic targeting method and system
DE10048546A1 (de) 2000-09-30 2002-04-11 Zeiss Carl Operationsmikroskop
IL156500A0 (en) * 2001-01-05 2004-01-04 Immunivest Corp Devices and methods to image objects
US20110015518A1 (en) * 2002-06-13 2011-01-20 Martin Schmidt Method and instrument for surgical navigation
WO2003105709A1 (de) 2002-06-13 2003-12-24 Möller-Wedel GmbH Verfahren und instrument zur chirurgischen navigation
AU2003245561A1 (en) 2002-06-18 2003-12-31 Lifespan Biosciences, Inc. Computerized image capture of structures of interest within a tissue sample
US7161504B2 (en) 2003-01-31 2007-01-09 Alpine Electronics, Inc. Navigation system for finding optimum route using traffic incidents information
EP1716444B1 (en) * 2004-02-09 2008-12-17 Philips Intellectual Property & Standards GmbH Fluorescence microscope arrangement
DE102004049258B4 (de) 2004-10-04 2007-04-26 Universität Tübingen Vorrichtung, Verfahren zur Steuerung von operationsunterstützenden medizinischen Informationssystemen und digitales Speichermedium
CN101170961A (zh) * 2005-03-11 2008-04-30 布拉科成像S.P.A.公司 利用显微镜的用于外科手术导航及可视化的方法及设备
US20070073133A1 (en) 2005-09-15 2007-03-29 Schoenefeld Ryan J Virtual mouse for use in surgical navigation
GB0622451D0 (en) 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
EP2240567A2 (en) * 2007-09-19 2010-10-20 Cell Kinetics, Ltd. Cell carrier coding
US8622951B2 (en) 2008-06-09 2014-01-07 Abbott Medical Optics Inc. Controlling a phacoemulsification system based on real-time analysis of image data
WO2011058516A1 (en) * 2009-11-11 2011-05-19 Activiews Ltd. Systems & methods for planning and performing percutaneous needle procedures
WO2011085815A1 (en) 2010-01-14 2011-07-21 Brainlab Ag Controlling a surgical navigation system
WO2011116812A1 (en) 2010-03-22 2011-09-29 Brainlab Ag Controlling a surgical microscope
CN101900875B (zh) * 2010-06-04 2011-12-14 南开大学 基于双光源离轴照明的高倍率三维成像显微镜及成像方法
DE102010035104A1 (de) * 2010-08-23 2012-04-05 Euroimmun Medizinische Labordiagnostika Ag Vorrichtung und Verfahren zur automatischen Fokussierung für die Mikroskopie schwach leuchtender Substrate
RU2462195C2 (ru) * 2010-12-31 2012-09-27 Российская Федерация, От Имени Которой Выступает Министерство Промышленности И Торговли Российской Федерации Способ исследования и диагностики состояния биологического объекта или его части
US8945149B2 (en) 2011-04-05 2015-02-03 Gabriel Min Kim Automated surgical illumination system
EP2760360B1 (en) 2011-09-28 2017-09-06 Brainlab AG Self-localizing medical device
EP2728306A1 (en) * 2012-11-05 2014-05-07 Hexagon Technology Center GmbH Method and device for determining three-dimensional coordinates of an object
KR101446173B1 (ko) 2013-02-21 2014-10-01 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2014139018A1 (en) 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Context aware surgical systems
US9827054B2 (en) 2014-03-14 2017-11-28 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
CA2948719A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
US9597009B2 (en) 2013-12-19 2017-03-21 Novartis Ag Marker-based tool tracking
CN103892919B (zh) * 2014-03-27 2016-03-30 中国科学院光电技术研究所 基于光学相干层析引导的显微外科手术系统
WO2015150577A1 (en) 2014-04-04 2015-10-08 Danmarks Tekniske Universitet Thévenin equivalent based static contingency assessment
HK1198858A2 (zh) * 2014-04-16 2015-06-12 Master Dynamic Ltd 標記固態材料的方法,並且根據這種方法標記固態材料
DE102014106865A1 (de) 2014-05-15 2015-11-19 Carl Zeiss Meditec Ag Bediensystem für ein Operationsmikroskop mit automatischer Folge- oder Ausrichtungsvorrichtung, Verfahren und Operationsmikroskop
DE102014210056A1 (de) 2014-05-27 2015-12-03 Carl Zeiss Meditec Ag Verfahren zur Ansteuerung eines chirurgischen Geräts sowie chirurgisches Gerät
DE202014103766U1 (de) 2014-08-14 2014-12-17 Brainlab Ag Markeranordnung für die medizintechnische Navigation
WO2016023599A1 (en) 2014-08-14 2016-02-18 Brainlab Ag Ultrasound calibration device
WO2016041050A1 (en) 2014-09-15 2016-03-24 Synaptive Medical (Barbados) Inc. Surgical navigation system using image segmentation
CN106999256B (zh) * 2014-11-03 2020-03-03 奥普蒂纳弗公司 基于无源标记的光学跟踪方法和系统
DE102014118891A1 (de) * 2014-12-17 2016-06-23 Carl Zeiss Microscopy Gmbh Steuersystem für ein Mikroskop und Verfahren zur Steuerung eines Mikroskops
US20160331584A1 (en) 2015-05-14 2016-11-17 Novartis Ag Surgical tool tracking to control surgical system
DE102015211879B4 (de) * 2015-06-25 2018-10-18 Carl Zeiss Ag Vermessen von individuellen Daten einer Brille
JP3220165U (ja) 2015-09-24 2019-02-21 シナプティヴ メディカル (バルバドス) インコーポレイテッドSynaptive Medical (Barbados) Inc. 電動全視野適応型顕微鏡
US9833294B2 (en) 2015-10-02 2017-12-05 Synaptive Medical (Barbados) Inc. RFID medical device control interface
EP3429498B1 (en) 2016-03-17 2020-08-05 Brainlab AG System for optical tracking
CN107438413B (zh) * 2016-03-30 2019-12-06 索尼公司 控制装置、控制方法、以及用于手术的显微镜装置
DE102016217628B4 (de) 2016-09-15 2018-06-07 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Betreiben eines Operationsmikroskopiesystems, Bewegungsmesssystem für ein Operationsmikroskopiesystem und Operationsmikroskopiesystem
DE102018206406B3 (de) * 2018-04-25 2019-09-12 Carl Zeiss Meditec Ag Mikroskopiesystem und Verfahren zum Betrieb eines Mikroskopiesystems

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8221399B2 (en) * 2004-12-01 2012-07-17 Nidek Co., Ltd. Ophthalmic apparatus
US20070265495A1 (en) * 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking
US20070211243A1 (en) * 2006-03-13 2007-09-13 Clemex Technologies Inc. System and method for automatic measurements and calibration of computerized magnifying instruments
CN103091825A (zh) * 2011-10-28 2013-05-08 莱卡微系统Cms有限责任公司 用于照明样品的方法和系统
US20150238073A1 (en) * 2012-06-27 2015-08-27 Camplex, Inc. Surgical visualization systems
CN202975466U (zh) * 2012-10-22 2013-06-05 中国科学院寒区旱区环境与工程研究所 螺旋测微器数控数显定位载物台
US20140198197A1 (en) * 2013-01-11 2014-07-17 Olympus Corporation Image processing apparatus, microscope system, and recording medium
CN105050527A (zh) * 2013-03-15 2015-11-11 圣纳普医疗(巴巴多斯)公司 智能定位系统和用于其的方法
US20140376773A1 (en) * 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
CN103399413A (zh) * 2013-07-30 2013-11-20 浙江大学 基于双螺旋光束的样品轴向漂移检测及补偿方法和装置
US20160180046A1 (en) * 2013-08-01 2016-06-23 Universite Pierre Et Marie Curie Device for intermediate-free centralised control of remote medical apparatuses, with or without contact
US20160202040A1 (en) * 2013-08-26 2016-07-14 Leica Microsystems Cms Gmbh Method for calibrating a laser deflection apparatus of a laser microdissection system and laser microdissection system
CN104714638A (zh) * 2013-12-17 2015-06-17 西门子公司 医疗技术控制器
CN106714681A (zh) * 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US20180021094A1 (en) * 2015-03-23 2018-01-25 Sony Production Medical support arm device and method of controlling medical support arm device
US20170045728A1 (en) * 2015-08-13 2017-02-16 Novartis Ag Systems and methods for an optical system with an adjustable projected focal plane
US20170188826A1 (en) * 2015-12-31 2017-07-06 Carl Zeiss Meditec Ag Apparatus for determining and quantifying the staining of ocular structures and method therefor
CN107340584A (zh) * 2016-05-03 2017-11-10 卡尔蔡司显微镜有限责任公司 显微镜
CN107765414A (zh) * 2016-08-16 2018-03-06 徕卡仪器(新加坡)有限公司 利用手势控制的手术显微镜和用于手术显微镜的手势控制的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114488501A (zh) * 2018-04-25 2022-05-13 卡尔蔡司医疗技术股份公司 显微系统以及用于操作显微系统的方法
CN111803213A (zh) * 2020-07-07 2020-10-23 武汉联影智融医疗科技有限公司 一种协作式机器人引导定位方法及装置
CN111803213B (zh) * 2020-07-07 2022-02-01 武汉联影智融医疗科技有限公司 一种协作式机器人引导定位方法及装置

Also Published As

Publication number Publication date
CN110398830B (zh) 2022-01-04
US20190328464A1 (en) 2019-10-31
US20240058075A1 (en) 2024-02-22
US11406455B2 (en) 2022-08-09
US11806092B2 (en) 2023-11-07
CN114488501A (zh) 2022-05-13
DE102018206406B3 (de) 2019-09-12
US20220346887A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
CN110398830A (zh) 显微系统以及用于操作显微系统的方法
US11852461B2 (en) Generation of one or more edges of luminosity to form three-dimensional models of objects
CN110786819B (zh) 手术成像系统
US7050845B2 (en) Projecting patient image data from radioscopic imaging methods and/or tomographic imaging methods onto video images
JP7376533B2 (ja) 外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡バー
CN105431076A (zh) 视线引导装置
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
US20210267435A1 (en) A system, method and computer program for verifying features of a scene
JP2018060011A (ja) 表示装置
JP6502785B2 (ja) 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム
JPWO2020116067A1 (ja) 医療システム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant