CN112099215A - 利用手势控制的手术显微镜和用于手术显微镜的手势控制的方法 - Google Patents

Abstract

一种具有视场手术显微镜，包括对至少部分位于视场中检查区域成像的光学成像系统和用于检测物体运动的手势检测单元，其经由信号线连接到光学成像系统并配置成根据物体运动将控制信号经由信号线输出至光学成像系统，其配置成根据控制信号改变其状态。物体选自包括第一类型物体和与第一类型物体不同的第二类型物体的物体的组；手势检测单元还包括关系映射单元，其经由运动数据线连接到运动检测模块并适于映射物体运动与控制信号之间的关系，控制信号经由信号线被提供给光学成像系统，手势检测单元适于确定物体类型，关系映射单元适于根据物体类型从多个关系映射中选择相应关系映射。还提供了一种用于本发明手术显微镜的手势控制的方法。

Description

利用手势控制的手术显微镜和用于手术显微镜的手势控制的 方法

本申请是申请号为201710695931.1、发明名称为“利用手势控制的手术显微镜和用于手术显微镜的手势控制的方法”的中国发明专利申请的分案申请。

技术领域

本发明涉及一种具有视场的手术显微镜，该显微镜包括对至少部分位于视场中的检查区域进行成像的光学成像系统。本发明还涉及一种用于对具有光学成像系统的手术显微镜进行手势控制的方法。

背景技术

手术显微镜是旨在提供在操作区域的低放大倍率并且提供相对大的工作距离的光学设备，使得外科医生容易进入操作区域以进行手术操作。操作区域或检查区域通常由光学成像系统成像，该成像系统通过常用的立体目镜和/或通过监视器或屏幕向外科医生的眼睛提供检查区域的图像，监视器或屏幕显示由光学成像系统成像的并且由录制所述图像的相机检测的图像。

手术显微镜被设计用于最小化对外科医生的干扰，使他或她保持专注于手术。但是，当外科医生改变显微镜参数，例如示例性的焦点、变焦和视场(即当前观察的操作或检查区域)时，手术工作流程受到干扰。改变这种显微镜参数需要外科医生将他或她手中的手术工具放下以操作显微镜的交互装置，例如显微镜手柄、按钮和调节轮。

因此，为了在手术期间改变任何显微镜参数，采用现有技术的手术显微镜的外科医生需要将手术工具放在工作台等上，以伸向和操作显微镜的交互装置。由于外科医生的这种调节操作，手术工作流程被中断，并且可能导致外科医生失去注意力，这会对外科医生造成不便，因为他或她必须从显微镜目镜上抬起头并且适应不同的环境光线条件。而且，这种调节会延迟对患者的手术。另外，由于需要放下手术工具，污染的风险增加。此外，为了避免上述的不便和延迟，外科医生可能会使用次优的显微镜设置，即仍然有改进空间的设置。

上述不便导致现有技术解决方案的发展，例如脚踏开关和嘴控开关，脚踏开关和嘴控开关允许外科医生用他或她的脚或嘴来控制显微镜。尽管使用脚踏开关或嘴控开关可以克服上述一些缺点，但是这种现有技术的解决方案仍然是非直观的，需要训练,并且对所有外科医生都不方便。而且，脚踏开关不适合于控制手术显微镜的视场，并且不如手控那么精确。因此，显微镜手柄仍然是控制显微镜以及与显微镜交互的主要方法。

发明内容

因此，本发明的一个目的是提供一种手术显微镜，其进一步改进现有的手术显微镜，特别是分别在不干扰手术工作流程的方面，以及在手术工作流程受到的例如由调节产生的干扰保持最小化方面。

此外，本发明的一个目的是提供一种具有与手术显微镜相同的优点的方法。

对于开始时提到的手术显微镜，根据本发明实现了这个目标，因为手术显微镜还包括用于物体(诸如手指和工具中的至少一个)的运动检测的手势检测单元，并且因为手势检测单元经由信号线连接至光学成像系统，并且手势检测单元被配置成根据物体的运动将控制信号经由信号线输出至光学成像系统，光学成像系统被配置成根据控制信号改变其状态。

对于开始时提到的方法，根据本发明实现了这个目标，因为该方法包括以下步骤：非接触地检测物体(诸如手指和工具中的至少一个)相对于参考点的运动，特别是相对于手势检测单元，和/或非接触地检测物体与参考点的距离，并且根据物体的运动来控制光学成像系统。

在下文中，将描述本发明的其它实施例。下面描述的每个进一步的实施例具有其自身的优点和技术效果，并且因此可以任意地与所描述的任何其它实施例结合。

可以在手术显微镜旁边检测物体的运动，优选在外科医生的可达到区域内。更优选地，在光学成像系统和检查区域之间检测物体的运动。

通过光学或超声波装置可以实现运动或距离的非接触式检测。

在手术显微镜旁边检测物体的运动的优点在于，外科医生可以将他/她的手定位在显微镜的一侧，作为虚拟手柄，这可以允许他/她转动或重新定位显微镜而不用触摸任何东西。

手势控制的参考点可以是预定的，因此优选是手势检测单元。参考点也可以位于检查区域中。在任何情况下，物体的绝对位置只能用于计算物体的相对运动或相对位置。

本发明的这种手术显微镜的优点在于，外科医生使自己保持专注于手术过程；在手术显微镜的调节或重新调节期间不会产生延迟，因为通过手势控制手术显微镜比通过显微镜手柄控制来得快；由于外科医生不需要为了调节或再调节手术显微镜而放下手术工具，所以污染的任何风险都被最小化。此外，手动控制手术显微镜比例如使用脚踏开关或使用嘴控开关更精确。因此，本发明的一个优点是提供一种手术显微镜，其支持外科医生和手术工作流程，而不会使外科医生分心或干扰手术工作流程。

利用手势控制的本发明的手术显微镜的进一步优点是手术显微镜的直观操作，与手机的操作系统类似的手术显微镜的交互操作的可能性，以及利用已经存在于手术显微镜中的部件即3D相机或微分干涉对比单元(DIC-单元)来实施本发明的手势控制的可能性，这使现有手术显微镜的升级变得便宜。此外，本发明不改变现有手术显微镜的外观，因为它不给手术显微镜添加任何可见部件，诸如按钮、脚踏开关或嘴控开关。

手势被理解为物体(诸如手指或工具)的运动，或理解为两个物体彼此的相对运动，或理解为一个或多个物体的旋转。一个或多个物体的旋转可以围绕任意空间轴线执行，例如，垂直于或平行于成像轴线。围绕空间轴线的旋转可以任意组合。

本发明的手术显微镜可以包括由检测单元可检测的一套复杂的手势，例如竖起大拇指、摊开手掌或闭合手掌。

此外，任意数量的手指(例如两个手指)的检测也可以被手势检测单元理解为手势。

物体的运动可以在基本上平行于操作区域的平面中发生，这可以被称为水平运动。平行于成像轴线的物体的运动可以被称为垂直运动。

操作区域也可以称为检查区域，该操作区域应当被理解为待手术或待检查的患者的一部分，该部分也可以被视为手术显微镜的视场。手术显微镜的视场由显微镜物镜的数值孔径以及物镜与检查区域之间的距离限定。检查区域基本上垂直于光学成像系统的光轴，特别是基本上垂直于光学成像系统的面向检查区域的光学部件的光轴，即当前应用的显微镜物镜的光轴。

手术显微镜可以包括用于保持显微镜的臂，该臂可以附接至支架。手术显微镜通常不配备镜台，但可以适于改造成带有可选的镜台。

可以在光学成像系统的视场内检测物体的运动。换句话说，可以在光学成像系统的视场中检测物体的运动，即物体及其运动由光学成像系统成像并且能够被外科医生看到。

手术显微镜还可以包括目镜控制单元，其检测使用了一般立体目镜架上的一个目镜，还是使用了两个目镜，还是两个目镜都没使用。该检测可以被理解为接近传感器，如果外科医生以他的/她的脸接近目镜，则该传感器可以激活目镜。

如果外科医生仅以一只眼睛接近立体目镜，则只有所使用的目镜被激活即被提供被成像的操作区域。为了避免对外科医生的干扰，未使用的目镜可以被去激活，即被成像的检查或操作区域上没有干扰光通过未使用的目镜传输。

如果立体目镜架的两个目镜都没有使用，则手术显微镜可以启动关闭照明。关闭照明可以优先在预定的延迟时间之后才进行。因此，对外科医生的简短中断可能不够长，不足以启动关闭对手术显微镜的照明。

检测到仅使用一个目镜也可以理解为一种外科医生的手势。如果手术显微镜检测到仅使用了一个目镜，则手势检测单元可以将该手势理解为一种选择，例如右左选择，该选择示例性地可以是在手术显微镜的初始化期间对照明或放大的选择。

在本发明的手术显微镜的另一个实施例中，在垂直于朝向检查区域的物镜的光轴的方向上，可以邻近于光学成像系统的视场执行和检测物体的这种运动。优选地，在外科医生用他或她的手指和/或工具能够很方便地达到的视场侧进行检测，而在本发明的手术显微镜的这个实施例中，外科医生通过目镜或显微镜的屏幕看不到手指和/或工具。

手势检测单元通过光学检测来检测物体的运动，即是非接触的。控制信号能够以模拟或数字信号形式经由电线输出，但也可以无线地传输至接收器。控制信号的无线传输在例如以下情况中是有利的：控制信号要从手势控制单元向手术显微镜的待控制的构件传输，该构件位于远离手势检测单元处，从而电线会增加事故的风险，例如被电线绊倒的风险。

手势检测单元可以与手术显微镜一体地设置，即它可以集成到任何现有的手术显微镜中。

还可以想到的是，手势检测单元被实施为附接至手术显微镜并且通过有线线路或无线连接装置连接到手术显微镜的独立单元。

在本发明的手术显微镜的第一有利实施例中，手势检测单元包括位于检查区域和光学成像系统之间的检测区，并且该检测区与检查区域间隔开，其中手势检测单元的手势检测限于物体在检测区中的运动。

这种检测区将被理解为三维空间，在该空间中检测手势，即物体的运动。在该检测区之外，物体的运动不会引起输出至光学成像系统的控制信号。与检查区域间隔开地定位检测区具有以下优点：在检查区域中对患者进行手术时，外科医生将不会调节或重新调节手术显微镜，特别是不通过工具，例如手术刀等调节或重新调节手术显微镜。也就是说，检查区域的由光学成像系统成像的部分不被改变，并且外科医生不会被例如视场的变化分心。但是，通过使手指运动到检测区中，外科医生可以调节或重新调节手术显微镜。

在本发明的手术显微镜的第二有利实施例中，检测区至少部分地与检查区域重叠。在该实施例中，检查区域的由光学成像系统成像的并且能够通过目镜或屏幕被外科医生看到的部分也对运动的物体进行成像，其优点在于物体的运动可以由外科医生精确地监测。

检测区可以延伸超出光学成像系统的视场。因此，在不受视场限制的检测区中，在视场外进行物体的运动检测。延伸超出视场的检测区对于手术显微镜的某些调节可以是有利的，例如平移(在基本上垂直于显微镜物镜的光轴的平面内移动待手术或待检查的区域)或缩放(放大倍率的变化)。

在本发明的手术显微镜的另一个有利的实施例中，手势检测单元还包括运动检测模块，运动检测模块用于区分检测区中物体的三维运动，该运动检测模块经由运动数据线连接至手势检测单元，并且该运动检测模块适于根据物体的运动将运动数据信号经由运动数据线输出至手势检测单元。

运动检测模块的优点在于，其允许区分在基本上垂直于当前应用的显微镜物镜的光轴的检测平面(即该检测平面基本上平行于检查区域并且位于检测区内)内发生的运动。当检测区沿着当前应用的显微镜物镜的光轴延伸时，可以想到多种不同的检测平面。

运动检测模块可以区分检测平面中的物体的运动和沿着基本上垂直于检测平面的方向的运动。

运动检测模块还可以包括距离检测单元，其可以适于提供距离信号，距离信号取决于物体到距离检测单元的距离。距离检测单元可以经由距离线将距离信号提供给二进制比较器，该二进制比较器检测物体是否沿着当前应用的显微镜物镜的光轴的方向在检测区内。

运动检测模块还可以适于检测代表检测平面中的运动与垂直于检测平面的运动的组合的运动，也就是说，三维运动。

在本发明的手术显微镜的另一有利实施例中，手势检测单元还包括关系映射单元，关系映射单元经由运动数据线连接到运动检测模块，并且该关系映射单元适于映射物体的运动和控制信号之间的关系，该控制信号经由信号线提供至光学成像系统。

关系映射单元可以适于提供可以存储在非瞬时存储介质中的关系映射，该关系映射是特定控制信号与物体的运动模式的双向一对一的分配。

关系映射单元还可以包括相似单元，其接收物体的运动数据并且输出信号，在该信号中被发现与所测量的运动模式相对应的特定运动模式被编码。

关系映射单元可以连接到计算单元，或者可以包括计算单元。计算单元可以是微控制器、个人计算机等。计算单元可以允许通常地与用户进行交互，或者仅在服务和维护期间进行交互。计算单元还可以适于在关系映射中记录物体的任何用户特定的运动。

在本发明的手术显微镜的另一有利实施例中，光学成像系统包括可运动机械部件，其位置取决于控制信号。该实施例的优点在于外科医生可以机械地控制手术显微镜，例如相对于检查区域的部分移动视场，以对例如患者和手术区域的不同部分进行成像。

此外，可以想到的是，手术显微镜的机械部件包括可运动的照明装置，可以根据照明装置的位置和/或光强度和/或应用的滤光器和/或类似可能的对照明装置的调节调节该照明装置。

在本发明的手术显微镜的另一个有利实施例中，光学成像系统包括投影单元，该投影单元光学地连接到光学成像系统，并且该投影单元适于在至少一个交互部分上投影可选和/或交互图像，所述至少一个交互部分至少部分地与被成像的检查区域重叠。

投影单元具有增加手术显微镜的通用性和交互性的优点。

投影单元可以通过光束组合器光学地连接到光学成像系统，该光束组合器允许叠加图像。在另一个实施例中，投影单元可以将可选和/或交互图像作为实像直接投影到检查区域上，然而出于可见性的原因，虚像的叠加是优选的。

交互部分应被理解为被成像的检查区域的一部分，该交互部分优选地位于边缘处，甚至更优选地位于被成像的检查区域的角落。因此，交互部分是被成像的检查区域的虚拟区段，该虚拟区段可以仅通过手术显微镜的目镜或屏幕看到。

投影单元的可选和/或交互图像的叠加可以通过例如不透明或半透明的覆盖物来执行。

投影单元可以投影包含手术显微镜的参数或包含例如患者的生命体征的图像。被投影的图像还可以用作被投影的虚拟按钮，其功能将参照下面的方法进行说明。

上文介绍的本发明的方法主要包括两个步骤。在第一步骤中，例如以非接触的方式光学地检测物体的运动。运动检测是指在基本上垂直于当前应用的显微镜物镜的光轴的平面中的运动的检测，以及物体与手势检测单元的距离的检测。因此，该方法适于检测物体的三维运动。

在第二步骤中，手势检测单元根据物体的运动给光学成像系统提供控制信号，以控制所述光学成像系统。

在本发明方法的第一有利实施例中，该方法还包括将物体的距离和运动数据提供给计算单元的步骤。物体的距离和运动数据可以经由数据线提供，其中数据可以被模拟或数字编码。计算单元可以适于暂时存储接收到的物体的距离和运动数据。

在本发明方法的第二有利实施例中，该方法还包括区分检测到的物体运动的步骤。区分的第一步可以是区分在平行于检查区域定向的平面中的物体运动，在基本上垂直于检查区域的方向上(即平行于当前应用的显微镜物镜的光轴)的运动，或者前两者的组合运动。

在本发明方法的另一个有利实施例中，包括将物体的运动与预定的运动模式进行比较的进一步步骤。在该步骤中，将可以由计算单元存储的物体的距离和运动数据与可以例如存储在关系映射中的预定运动模式进行比较，该关系映射被读取并且与测得的运动物体的距离和运动数据比较。对于关系映射中的每条记录，可以输出指示相应的预定运动模式与测得的物体运动之间相似度的相似度值，可以将相似度值进行比较和排序，然而可以输出指示测得的运动与预定运动模式之间最高相似度的最高相似度值。

在本发明方法的另一实施例中，有利的是，该方法还包括根据物体的运动来控制手术显微镜的可运动机械部件的步骤。

在方法的该步骤中，控制信号由手势检测单元经由信号线或经由无线连接提供给手术显微镜的接收器，该接收器接收并解释控制信号，随后根据接收到的控制信号启动手术显微镜状态的改变。

在本发明方法的又一有利实施例中，该方法还包括以下步骤：将至少一个可选和/或交互图像投影到被成像的检查区域的至少一个交互部分上，将物体的运动与预定的交互运动模式进行比较，以及根据物体在至少一个交互部分内的运动来控制光学成像系统和/或手术显微镜。

这样的实施例的优点在于它包括增加的通用性和功能性，该功能性在由外科医生进行非接触式光输入时可执行。

在该实施例中，投影到被成像的检查区域的至少一个交互部分上的可选和/或交互图像可以包括手术环境和/或患者的数据的图像。这样的投影图像可以表现患者的生命体征或手术显微镜的参数或与外科医生相关的类似数据。

该方法可以适于将物体的位置与被成像的检查区域的至少一个交互部分的位置进行比较，并且如果检测到物体位于交互部分内，则可进一步启动加载第二关系映射。第二关系映射可以包括与第一关系映射相比不同的一组预定运动模式，如果检测到物体位于交互部分之外的检测区中，则加载第一关系映射。

在检测到非实时运动之后，该方法的该实施例可以启动手术显微镜设置的变化，例如手术显微镜的照明模式或成像模式，启动保存检查区域的当前观察部分的图像或待执行的类似功能。

非实时运动将被理解为启动在用户与物体交互之后(即在执行物体的运动之后)被执行的操作的运动。示例性地，可以在检测到物体的竖直运动之后执行显微镜成像模式的变化，该运动类似于鼠标点击。相反，实时运动直接在物体运动期间启动操作，例如被成像的检查区域的平移、缩放或倾斜。

在本发明方法的进一步的有利实施例中，该方法还包括以下步骤：光学地检测物体，将检测到的物体与预定物体模式进行比较以确定物体的类型，并且根据物体的类型选择至少两个关系映射中的一个。方法的该实施例的优点在于由物体可控制的可能的参数取决于物体。也就是说，如果检测到手术刀，则取决于手术刀的运动的可能的操作可以与检测到手指时的可能的操作不同。这例如就以下意义而言可以是有利的，即如果检测到手术刀，则可以暂停患者移动，以避免被手术刀意外割伤。

此外，在检测到手术刀时加载的关系映射可以包括比检测到手指时被加载的关系映射更精确的调节步骤。通过这种区别，可以用外科医生的手指来进行手术显微镜的粗略对准，而如果使用手术刀则可以进行精调。

在方法的该实施例中，可以包括进一步的步骤，即如果检测到两个或多个不同的物体时，决定哪个物体(例如手术刀或手指)启动相应的关系映射的加载。映射到物体的运动的手术显微镜的操作的某个子集可以存在于所有操作模式中，而在不同的操作模式中，调节能够以粗略或精细的方式发生。

本发明的手术显微镜和方法的手势检测可以基于合适的模型和算法，例如基于3D模型的算法，基于外观的算法，基于骨骼的算法以及类似的方法。

手势的检测可以示例性地通过立体相机、深度感知相机、单个相机或多个距离检测单元来执行。

在任何上述实施例中的本发明方法由合适类型的非暂时性存储介质执行。非暂时性存储介质可以是例如诸如光盘(CD)或数字化通用光盘(DVD)之类的光学存储介质，作为软盘或硬盘驱动器的磁存储介质，或者基于电荷存储(闪存)的非暂时性存储介质。非暂时性存储介质可以位于微控制器或个人计算机中，该个人计算机可以进一步向用户提供输入和输出装置。

在下文中，将呈现物体的一些示例性可能的运动，同时伴随手术显微镜的相应的可能的调节操作。

对于以下说明，引入了包括3个彼此垂直定向的轴线的示例性坐标系，x轴和y轴位于平行于检查区域的平面中，z轴基本上垂直于检查区域定向。关于外科医生可以看到的检查区域的成像部分，x轴可以以从外科医生看到的图像的左侧延伸至外科医生看到的图像的右侧的方式定向。y轴可以垂直于x轴定向，并且可以从外科医生看到的图像的下侧延伸至外科医生看到的图像的上侧。z轴可以朝向手术显微镜的光学成像系统定向到检查区域之外。

在这种定义的坐标系中，单个物体的运动可以沿x轴，沿y轴，沿着由x轴上的运动和y轴上的运动组成的方向进行。由手势检测单元检测到的这种运动可以启动检查区域的成像部分的运动(滚动/平移)，位于物体位置处的图像的固定点随着物体一起运动。

物体的进一步可能的运动是沿着表示半圆形的或圆形角部分的轨迹。物体的这种运动，图像的固定点可以启动检查区域的成像部分围绕图像中心旋转。

物体沿z轴的运动可以导致显微镜焦点的变化，即改变工作距离。为了避免在用于移动视场的物体运动期间改变工作距离，工作距离的变化的启动可以被限制在被成像的检查区域的一部分内，该部分可以位于远离被成像的检查区域的中心处。

也可以根据物体的运动在例如强度和照明模式方面来控制照明。可以想到的是，能够应用位于外科医生看到的图像的上边缘处的被成像的检查区域的条形区段来改变照明强度。因此，可以在位于图像上边缘的区段中分别从左向右移动物体以增强照明强度，以及从右向左移动物体以减弱照明强度。

通过物体的运动可控制的其它显微镜参数是照明光源的偏振，照明模式(例如白光、窄带成像、绿光)，以及引入到光学成像系统的光路中的可能的滤光器。

此外，物体沿着z轴的运动可以被解释为类似于鼠标点击的用户输入。特别是结合将附加和/或交互图像投影到被成像的检查区域上的投影单元，外科医生可以通过将物体(外科医生的手指或手术刀)定位在至少一个投影图像的下方并且沿z轴执行物体的运动来触发手术显微镜的预定功能或其计算单元。通过在被成像的检查区域的交互部分中沿z轴的这种运动，可以开启与相应的交互部分相关的功能。这种功能可以例如将手术显微镜切换到不同的成像模式。

投影到被成像的检查区域的交互部分上的图像也可以指聚焦的不同模式，并且在这种交互部分中物体沿Z方向的运动可以切换从手动聚焦到局部或外部聚焦开和/或关。

此外，手势检测单元可以同时检测两个或更多物体，其中两个不同的物体可以朝向彼此或远离彼此运动。这种检测到的运动组合可以产生控制信号，该控制信号启动光学成像系统以缩小或放大，即改变手术显微镜的放大倍率。

两个物体的组合运动的进一步可能的组合可以导致检查区域的倾斜，这对当前应用的物镜的光轴不垂直于检查区域定向的情况是有用的。此外，检查区域的旋转运动和倾斜的不同组合是可以想到的并且通过相应的关系映射即通过在所述关系映射中存储这种预定运动模式可程序化。

特别地，用于放大、缩小或移动视场的上述手势与智能手机中常用的那些手势非常相似，因此对外科医生来说是相当熟悉的，不需要例如在脚踏开关和嘴控开关的情况下的强化训练。

本发明的手术显微镜和用于手术显微镜的手势控制的本发明方法还可以包括启动手势控制的激活或去激活的开启/关闭手势。任何可能的手势可以激活或去激活手势控制，例如利用物体或手指的双虚拟点击，将物体或手指定位在屏幕的某个区域或检测区的某个区域中，其中物体或手指可以在该区域执行点击或者可以在该区域中保持几秒钟以激活或去激活手势控制。

此外，可以通过相同的手势或通过不同的手势来执行手势控制的激活或去激活，然而激活或去激活也可以通过音频说明，手术显微镜的物理按钮，目镜的使用或者利用外科医生的手、手指或物体的复杂手势来执行。那些复杂的手势可以优先在显微镜旁边进行，即不在物体和成像区域之间。特别复杂的手势的优点在于手势控制不会无意地被外科医生激活或去激活。

手术显微镜可以包括能够位于外科医生的目镜侧的助手目镜，并且该助手目镜可以成像检查区域，使得助手可以通过观察外科医生在检查区域中的措施来仿效操作，而不会干扰外科医生。此外，助手目镜可以包括检测助手目镜是否被使用的传感器系统。如果手术显微镜检测到外科医生的目镜未被使用，然而仅使用了助手目镜，则通过助手目镜成像的视场可以适应使用助手目镜的观察者的位置，例如旋转90°，而手势控制的环境也可以旋转90°。

因此，如果助手目镜的位置对外科医生而言更方便，则助手目镜也可以用作外科医生的目镜。

手术显微镜还可以包括反馈发生器，其可以适于输出传输至可视化装置(例如投影单元或照明装置)的反馈信号。反馈信号也可以被传送至音频装置，即产生声音的扬声器，该声音与某个手势相对应并且向外科医生给出可听见的反馈。此外，反馈信号可以被传输至机械反馈装置，例如指示某个手势的检测的振动元件。

反馈发生器可以适于仅产生指示手势的检测或者执行与手势有关的动作的反馈，但也可以适于指示与手势控制无关的不同的显微镜功能，例如指示达到最大变焦，指示错误，指示保存图像，或者指示是否需要注意患者的器官。

附图说明

在下文中，参考附图示例性地描述本发明。在附图中，提供相同功能和/或技术效果的元件被指定相同的附图标记。

附图所示和下面描述的特征的组合仅仅是示例。如果对于特定的应用需要或者可以省略上述特定特征的技术效果，则可以添加或省略单独的特征。

在附图中：

图1示出了本发明的手术显微镜的第一实施例的示意性侧视图；

图2示出了本发明的手术显微镜的第二实施例的示意性前视图；

图3示出了物体的不同可能的运动模式；

图4示出了本发明的手术显微镜的工作距离的示例性调节；和

图5示出了用于选择成像记录的四个交互部分之一的示例性应用。

具体实施方式

图1示出了本发明的手术显微镜1的第一实施例的示意性侧视图，该手术显微镜1包括光学成像系统3，该光学成像系统3包括例如：包括目镜5的立体目镜架4、包括位于手术显微镜1一侧的助手目镜5a的立体助手目镜架4a和物镜7。光学成像系统3确定视场9，该视场是可以是患者13的检查区域11的一部分。

视场9由光学成像系统3的数值孔径和工作距离15确定，沿z轴测量该工作距离15。视场9沿x轴和y轴延伸。

手术显微镜1还包括手势检测单元17，该手势检测单元17附接至手术显微镜1的壳体19。手势检测单元17在图1所示的实施例中用作参考点38。在其他实施例中，参考点38可以例如位于检查区域11中。

目镜5和助手目镜5a包括传感器6，该传感器6检测目镜5,5a之一是否用于观察被成像的视场9。在所示实施例中，传感器6是接近传感器6a。

手势检测单元17包括两个信号线76，其中一个信号线76是电线(实线)，第二信号线76是无线连接(虚线)。通过这两个信号线76，传输由箭头所示的控制信号77。

由实线表示的信号线76连接到可运动机械部件，该机械部件是保持手术显微镜1的保持臂82b的接头82a。

手势检测单元17围绕x轴倾斜并且面向视场9，使得手势检测区21与光学成像系统3的观察区段23至少部分地重叠。观察区段23由环绕的虚线指示。

物镜7限定平行于z轴定向的光轴25。值得注意的是，光轴25根据物镜7定向，而不一定根据光学成像系统3的其它部件(例如目镜5)。

在图1中，示出了具有3D空间的检测区21位于相距检查区域11的视场9一定距离处。仅检测虚线内被包围的空间中的物体(未示出)的运动，也就是说，物体在检测区21上方(相对于z轴)或下方的运动将被忽略，而且不会产生控制信号。

图2示出了本发明的手术显微镜1的第二实施例的示意性前视图，其中手势检测单元17被整体地呈现在手术显微镜1的壳体19中。该实施例不包括立体助手目镜架4a。

在图2所示的实施例中，手术显微镜1的3D相机27经由信号线76提供物体29的距离信息。

手势检测单元17还包括运动检测模块78，通过信号线76a向运动检测模块提供来自3D相机27的数据。

运动检测单元78经由运动数据线79向手势检测单元17提供运动数据信号80。

经由信号线76，手势检测单元17将控制信号77输出至光学成像系统3。控制信号77和运动数据信号80由箭头指示。

手势检测单元17还包括关系映射单元81，其将检测到的运动65映射到由光学成像系统3或可运动机械部件82执行的操作。

手术显微镜1还包括投影单元83，投影单元83适于将附加和/或交互图像71(未示出)投影到被成像的检查区域上。在所示的实施例中，投影单元83利用光束分离器33光学耦合至光学成像系统3。

在图2中，物体29是手术刀31，该手术刀位于检测区21内并且其运动由手势检测单元17检测。

3D相机27被示意性地示出，然而仅指示了光束分离器33和2D传感器35。2D传感器可以是CCD(电荷耦合)相机。由于两个通道不同的观察区段23a和23b，通过目镜5可以产生、成像和观察视场9的三维图像。

在图2所示的手术显微镜1的实施例中，手势检测单元17接收来自3D相机27，特别是来自2D传感器35的数据，并且评估手术刀31的距离数据，而距离数据对应于手术刀31的尖端的距离37。

图2的手术显微镜1不包括立体助手目镜架4a。

图3是图示了物体(未示出)的不同运动模式的示意图，然而可以区分单手手势39和双手手势41。

可能的单手手势39是物体沿y轴的运动，例如竖直手势43、水平手势45、组合的2D手势47、圆形手势49和向上手势51，在向上手势期间物体沿表示z轴正方向的Z方向运动。

可能的双手手势41是位移手势53a和53b、放大手势55和缩小手势57。

在第二向上手势59的情况下示出沿z轴的可能的双手手势41，其中两个物体(未示出)沿z方向运动，而由于该图选定为立体图，所以绘制的箭头指向不同的方向。

图3还示出了旋转手势49a，这也是一种可能的单手手势39并且是圆形手势49。通过将手术刀31从第一旋转位置31a旋转到第二旋转位置31b并且旋转进入第三旋转位置31c，在x-y平面中执行旋转手势49a。

图4示出了根据手术刀31的运动由光学成像系统呈现的示例性操作。

图4示出了在光学成像系统3的两种状态下的视场9的图像。在未聚焦状态61中，由于错误的工作距离和由此导致的手术显微镜1的焦点未对齐，图像模糊不清。

在未聚焦状态61中，手术刀31位于检测区21中，即手势检测单元17(未示出)检测手术刀31的运动，而手势检测单元17继而又产生用于改变光学成像系统3的状态的控制信号，但是检测区(例如参见图2)在图4中不可见。

手术刀31执行由箭头指示的运动65，该运动65起始于手术刀31的开始位置67并且终止于手术刀31的结束位置69。

检测到的运动产生控制信号，该控制信号控制光学成像系统3的工作距离并且启动光学成像系统3的工作距离15的变化，继而调节手术显微镜1的焦点。

如果手术刀31从开始位置67运动到结束位置69，则手术刀31的运动65被检测为实时手势，即外科医生直接看到手术显微镜1在运动65期间的状态变化。

当达到由光学成像系统3成像的视场9的聚焦状态63时，外科医生停止手术刀的运动，该停止位置对应于结束位置69。

图5示出了用于从多个成像模式中选择一个的交互部分的示例性应用。

在图5中，示出了聚焦状态63的相同的视场9，其中投影单元(未示出)以叠加的方式在被成像的检查区域上投影四个不透明图像71，这些图像71限定视场9的交互部分73。图像71和交互部分73在图5所示的第一视图75a中被单独标记。

图像71包含光学成像系统3的操作的视觉反馈，该反馈可以由相应的交互部分73激活。

在图5中，示出的交互部分73对应于不同的成像模式，其中在第一视图75a中，手术刀31位于交互部分73之外，并且随后运动到第二视图75b所示的左下交互部分73a中。

在第三视图75c中，由箭头指示手术刀31离开绘制平面的运动65，即沿z轴的运动。这个手势由手势检测单元17(未示出)检测到，手势检测单元17产生由计算单元(未示出)处理的控制信号，该计算单元随后启动由当前成像模式至与左下交互部分73a相对应的成像模式的变化。

图5中选择的成像模式在第三视图75c中是“MFL 400”模式，并且在识别出手术刀31的运动65之后，通过在左下交互部分73a中投影替换的(即修改的)图像71来指示用于激活对应左下交互部分73a的功能的运动65的检测。

第三视图75c中所示的运动65是非实时运动，即仅在运动65完成之后执行对应于相应的交互部分73的激活的操作。

如在附图说明开始时已经提到的，图1-5所示的实施例将被理解为示例性的，并不限制本公开的保护范围。因此，任何数量的交互部分73、单手手势39、双手手势41和视场9的功能区段都是可以想到的。

附图标记

1 手术显微镜

3 光学成像系统

4 立体目镜架

4a 立体助手目镜架

5 目镜

5a 助手目镜

6 传感器

6a 接近传感器

7 物镜

9 视场

11 检查区域

13 患者

15 工作距离

17 手势检测单元

19 壳体

21 检测区

23、23a、23b 观察区段

25 光轴

27 3D相机

29 物体

31 手术刀

31a 第一旋转位置

31b 第二旋转位置

31c 第三旋转位置

33 光束分离器

35 2D传感器

37 距离

38 参考点

39 单手手势

41 双手手势

43 竖直手势

45 水平手势

47 组合2D手势

49 圆形手势

49a 旋转手势

51 向上手势

53a、53b 位移手势

55 放大手势

57 缩小手势

59 第二向上手势

61 未聚焦状态

63 聚焦状态

65 运动

67 开始位置

69 结束位置

71 图像

73 交互部分

73a 左下交互部分

75a 第一视图

75b 第二视图

75c 第三视图

76、76a 信号线

77 控制信号

78 运动检测模块

79 运动数据线

80 运动数据信号

81 关系映射单元

82 可运动机械部件

82a 接头

82b 保持臂

83 投影单元

x x轴

y y轴

z z轴

Claims (18)

1.一种具有视场(9)的手术显微镜(1)，包括对至少部分位于视场(9)中的检查区域(11)进行成像的光学成像系统(3)，其中手术显微镜(1)还包括用于检测物体(29)的运动(65)的手势检测单元(17)，手势检测单元(17)经由信号线(76)连接到光学成像系统(3)，并且手势检测单元(17)被配置成根据物体(29)的运动(65)将控制信号(77)经由信号线(76)输出至光学成像系统(3)，光学成像系统(3)被配置成根据控制信号(77)改变其状态，

其中物体(29)选自包括第一类型物体和与第一类型物体不同的第二类型物体的物体的组；

其中手势检测单元(17)还包括关系映射单元(81)，关系映射单元(81)经由运动数据线(79)连接到运动检测模块(78)，其中关系映射单元(81)适于映射物体(29)的运动(65)与控制信号(77)之间的关系，所述控制信号(77)经由信号线(76)被提供给光学成像系统(3)，

其中手势检测单元(17)适于确定物体(29)的类型，并且关系映射单元(81)适于根据物体(29)的类型从多个关系映射中选择相应的关系映射。

2.根据权利要求1所述的手术显微镜(1)，其中第一类型物体是手指，并且第二类型物体是工具。

3.根据权利要求1或2所述的手术显微镜(1)，其中用于第一类型物体的关系映射为光学成像系统(3)的粗略调节提供控制信号(77)，并且用于第二类型物体的关系映射为光学成像系统(3)的精细调节提供控制信号(77)。

4.根据权利要求1至3中任一项所述的手术显微镜(1)，其中手势检测单元(17)包括位于检查区域(11)和光学成像系统(3)之间的检测区(21)，所述检测区(21)与检查区域(11)间隔开，其中手势检测单元(17)的手势检测被限制于检测区(21)中的物体(29)的运动(65)。

5.根据权利要求4所述的手术显微镜(1)，其中检测区(21)至少部分地与检查区域(11)重叠。

6.根据权利要求4所述的手术显微镜(1)，其中所述手势检测单元(17)还包括运动检测模块(78)，用于区分在检测区(21)中的物体(29)的三维运动(65)，其中运动检测模块(78)经由运动数据线(79)连接到手势检测单元(17)，并且运动检测模块(78)适于根据物体(29)的运动(65)将运动数据信号(80)经由运动数据线(79)输出至手势检测单元(17)。

7.根据权利要求1至3中任一项所述的手术显微镜(1)，其中所述光学成像系统(3)包括至少一个可运动机械部件(82)，其中至少一个可运动机械部件(82)的位置取决于控制信号(77)。

8.根据权利要求1至3中任一项所述的手术显微镜(1)，还包括投影单元(83)，投影单元(83)光学地连接到光学成像系统(3)，其中投影单元(83)适于将可选和/或交互图像(71)投影到至少一个交互部分(73)上，其中至少一个交互部分(73)至少部分地与被成像的检查区域(11)重叠。

9.一种用于对具有光学成像系统(3)的手术显微镜(1)进行手势控制的方法，包括以下步骤：

光学地检测物体(29)，其中物体(29)选自包括第一类型物体和与第一类型物体不同的第二类型物体的物体的组；

通过将物体(29)与预定物体模式进行比较来确定物体(29)的类型；

根据物体(29)的类型选择至少两种关系映射中的一种；

非接触地检测物体(29)相对于参考点(38)的运动(65)，和

根据物体(29)的运动(65)和选择的关系映射控制光学成像系统(3)。

10.根据权利要求9所述的方法，其中第一类型物体是手指，并且第二类型物体是工具。

11.根据权利要求9或10所述的方法，其中用于第一类型物体的关系映射为光学成像系统(3)的粗略调节提供控制信号(77)，并且用于第二类型物体的关系映射为光学成像系统(3)的精细调节提供控制信号(77)。

12.根据权利要求9所述的方法，其中所述参考点(38)是手势检测单元(17)。

13.根据权利要求9所述的方法，还包括将物体(29)的距离和/或运动数据提供给计算单元的步骤。

14.根据权利要求9所述的方法，还包括区分检测到的物体(29)的运动(65)的步骤。

15.根据权利要求9所述的方法，还包括将检测到的物体(29)的运动(65)与预定运动模式进行比较的步骤。

16.根据权利要求9所述的方法，还包括根据物体(29)的运动(65)来控制手术显微镜(1)的至少一个可运动机械部件(82)的步骤。

17.根据权利要求9所述的方法，还包括以下步骤：

将至少一个可选和/或交互图像(71)投影到由光学成像系统(3)成像的检查区域(11)的至少一个交互部分(73)上；

将物体(29)的运动(65)与预定的交互运动模式进行比较；和

根据物体(29)在至少一个交互部分(73)内的运动(65)来控制光学成像系统(3)和/或手术显微镜(1)。

18.一种实施为执行根据权利要求9所述的方法的非暂时性存储介质。

Images