CN111552068B - 用于显微镜的控制器、相应的方法和显微镜系统 - Google Patents

Abstract

用于显微镜的控制器被配置为接收表示伤口的图像数据，并且使用图像数据确定到伤口的视线。控制器还被配置为输出用于显微镜的控制信号，所述控制信号指示显微镜将其光轴与视线对准。

Description

用于显微镜的控制器、相应的方法和显微镜系统

技术领域

实施例涉及用于显微镜的控制器以及控制显微镜的相关联的方法和计算机程序。

背景技术

外科医生可能需要显微镜以便在深伤口的底部进行手术，即用于在人体组织内形成深腔的伤口。例如，在脑外科手术中，伤口通常较深，以便能够进入要在其上进行手术的大脑内的组织。将要在其上进行手术的组织通常位于腔体的底部，并且使用显微镜使外科医生能够监视在腔体的底部使用的工具。

发明内容

实施例涉及一种用于显微镜(诸如手术显微镜)的控制器。控制器被配置为接收表示伤口的图像数据，并且使用图像数据确定朝向伤口的底部的视线。此外，控制器被配置为输出用于显微镜的控制信号，所述控制信号指示显微镜将其光轴与视线对准。使用这种用于显微镜的控制器可以实现显微镜的定向的自动调整，使得将要在其上进行手术的组织对外科医生是可见的，同时避免外科医生的手动调整(其可能比自动调整慢)。外科医生可以因此节省时间，使患者受益。此外，外科医生可以只需要专注于手术本身而没有调整显微镜的任何干扰，这可以带来更好的手术效果。

根据实施例，图像数据包括沿不同方向拍摄的伤口的多个图像，并且控制器被配置为计算每个图像内伤口的面积。此外，控制器被配置为基于对应于具有最大面积的伤口的图像的方向来确定视线。在所有图像中显示具有最大面积的伤口的选择图像是在最接近垂直于患者组织方向的角度下拍摄的。对应于选择图像的视线可以用来观察伤口的底部，而该视线可以仅使用显微镜本身的成像设备来确定。

根据实施例，控制器被配置为基于图像数据确定伤口的腔体的三维模型。三维模型可以允许使用任意标准来确定视线，以非常高的灵活性以及将视线的确定适应个体手术或个体外科医生偏好的可能性来执行对准。

根据实施例，控制器被配置为基于腔体内满足预定标准的轴线来确定视线。提供定义预定标准的可能性可以提供将视线的确定适应个体手术的灵活性。

根据实施例，控制器被配置为基于腔体的腔体形心轴线确定视线。使用腔体形心轴线可以确定视线，使得沿视线到腔体的周围壁的平均距离最大。在伤口的腔体的柔性侧壁在手术过程中移动或变形的情况下，这可以提供具有最大安全余量的视线。

根据实施例，控制器被配置为基于使体腔的底部的可见区域最大化的轴线来确定视线。使腔体的底部的可见区域最大化可以使外科医生能够在伤口的底部容易地进行导航。

根据实施例，控制器被配置为基于使用视线生成的另一图像数据来确定到伤口的底部的另一视线。如果使控制器能够通过确定另一视线来更新视线和显微镜的对准，则可以在进行中的手术期间连续地重新调整对准，以使外科医生能够仅专注于手术本身，这一方面可以减少用于手术的时间，而另一方面可以提高结果的质量。

显微镜系统的实施例包括控制器和显微镜，所述显微镜被配置为基于控制信号将其光轴与视线对准。显微镜系统的实施例可以避免由外科医生对显微镜的手动调整，这可能比自动调整慢且不可靠。因此，外科医生可以只需要专注于手术本身，这可以带来更好的手术效果。

根据实施例，显微镜系统还包括被配置为生成图像数据的成像设备。根据这样的实施例的显微镜系统可以用于自主确定所需的图像数据并且调整显微镜的视野。

根据实施例，成像设备是飞行时间照相机、立体照相机和三维照相机中的一个。给显微镜系统配备这种成像设备可以使控制器能够基于通过显微镜系统本身生成的图像数据确定伤口的腔体的三维模型。

用于控制显微镜的方法的实施例包括接收表示伤口的图像数据并使用图像数据确定到伤口的底部的视线。所述方法还包括指示显微镜将其光轴与视线对准。

根据所述方法的实施例，确定视线包括计算沿不同方向拍摄的伤口的多个图像中的每个图像内的伤口的面积，并且基于对应于具有最大面积的伤口的图像的方向来确定视线。

根据所述方法的实施例，所述方法包括基于图像数据确定伤口的腔体的三维模型。

根据所述方法的实施例，基于腔体的腔体形心轴线确定视线。

根据所述方法的实施例，基于使腔体的底部的可见区域最大化的轴线确定视线。

计算机程序的实施例具有程序代码，当所述程序在处理器上执行时，所述程序代码用于执行控制显微镜的方法。计算机程序的实施例可以因此被用来补充或升级现有显微镜系统，使其具有自动将显微镜的光轴对准期望的视线的能力。

附图说明

装置和/或方法的一些示例将在下面仅通过示例的方式并且参考附图进行描述，其中

图1图示说明用于显微镜的控制器的实施例；

图2图示说明形成深腔的伤口的示意图；以及

图3图示说明用于控制显微镜的方法的实施例的流程图。

具体实施方式

现在将参考图示说明一些示例的附图更全面地描述各种示例。在附图中，为了清楚起见，线、层和/或区域的厚度可能被放大。

因此，尽管其他示例能够进行各种修改和可替代形式，但是其一些具体示例在附图中示出并且随后将详细描述。然而，该详细描述并没有将其他示例限于描述的具体形式。其他示例可以涵盖落入本公开范围内的所有修改、等同形式和可替代形式。在整个附图的描述中，相同或相似的附图标记指代相似或类似元件，这在彼此比较时可以等同地或以修改的形式实现，同时提供彼此相同或类似功能。

将理解的是，当一个元件被称为“连接”或“耦合”到另一元件时，元件可以直接连接或耦合或经由一个或多个中间元件。如果两个元素A和B使用“或”进行组合，则应理解为公开所有可能的组合，即仅A、仅B以及A和B(如果没有另外明确或隐含地定义)。相同组合的可替代措辞为“A和B中的至少一个”或“A和/或B”。这经适当修改后同样适用于两个以上元素的组合。

本文出于描述具体示例的目的而使用的术语并不旨在限制其他示例。每当使用诸如“一”、“一个”和“该”的单数形式并且使用仅单个元素没有明确或隐含地定义为强制性时，其他示例也可以使用多个元素来实现相同的功能。同样，当随后将功能描述为使用多个元素来实现时，其他示例可以使用单个元素或处理实体来实现相同的功能。将进一步理解，术语“包括”、“包含”、“含有”和/或“具有”在使用时指定存在所述特征、整数、步骤、操作、过程、动作、元素和/或组件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、过程、动作、元素、组件和/或其任何组。

除非另有定义，否则本文中所有术语(包括技术和科学术语)均以其在示例所属的领域的普通含义使用。

图1图示说明用于显微镜110(诸如手术显微镜110)的控制器100的实施例。图1中图示说明具有光轴112的显微镜110，以补充描述控制器。控制器100和显微镜110一起构成显微镜系统的实施例。在图1中，可选组件用虚线图示说明。

控制器100被配置为接收表示伤口的图像数据，并且使用图像数据确定到伤口的底部的视线。此外，控制器100被配置为输出用于显微镜110的控制信号，所述控制信号指示显微镜110将其光轴112与视线对准。使用这种用于显微镜110的控制器100可以实现显微镜的定向的自动调整，使得将要在其上进行手术的组织对外科医生是可见的，同时避免外科医生的手动调整(其可能比自动调整慢)。外科医生可以因此节省时间，使患者受益。此外，外科医生可以只需要专注于手术本身而没有调整显微镜的任何干扰，这可以带来更好的手术效果。例如，可以执行将显微镜的光轴112与视线对准，使得光轴112平行于视线或等于视线。

对准显微镜的光轴112可以包括改变显微镜110的定向或移动显微镜。控制器的实施例可以与不同类型的显微镜一起使用。例如，显微镜可以与控制器100一起使用，所述显微镜已经包括对其定向的机动化调整。定向可以例如通过(手术)显微镜110的机器人手臂或通常是机动手臂来改变。在这种显微镜的情况下，由控制器100生成的控制信号可以指示显微镜110内已经存在的电机以产生显微镜110的对准光轴112。然而，控制器的其他实施例也可以用作仅部分机动化或根本没有机动化的现有显微镜的附件。在这种情况下，可以将电机添加到例如调整显微镜视场的机械装置中。在这种设置中，控制器的控制信号指示添加的电机执行调整显微镜的机械装置的缩放和/或定向所需的动作。

为了接收图像数据，控制器100还可以可选地包括输入接口102。为了将控制信号输出到显微镜110，控制器100可以可选地包括输出接口104。取决于显微镜110的环境和能力，图像数据可以由显微镜110生成并从显微镜110接收，或由连接到输入接口102的外部成像设备生成并从外部成像设备接收。显微镜110和控制器100之间的任何互连可以是有线的或无线的，该互连可以建立点对点连接，或者可以通过中间网络路由、通过总线系统建立等。在一些实施例中，控制器100还可以可选地包括处理器106，以执行使用图像数据确定视线所需的计算。

为了讨论识别视线的不同可能性，图2示意性地图示说明了在人体组织204中形成深腔的伤口202的轮廓。伤口202具有不规则形状并延伸到人体组织204中以在其中形成腔体。深伤口的特征可以在于其在伤口表面的延伸小于腔体的深度。在图2图示说明的示例性坐标系中，伤口202的表面基本上平行于x-y平面，而腔体平行于z方向延伸。图2图示说明用于手术的典型示例，其中伤口202和周围组织204被可以例如由绿色或蓝色布料制成的布片206覆盖。布片206及其圆形开口208限定由外科医生直接可进入的区域。当需要深伤口时，通常在伤口的底部210处进行手术。在这种情况下，可能需要显微镜110将其光轴112对准视线，以使外科医生能够看到伤口202的底部210。仅作为示例，图2图示说明两个可能的视线212和214，其使得能够观察伤口202的底部210。然而，可以使用不同的标准来确定这两个视线。

视线212大致垂直于伤口200的表面，并且大致沿z方向延伸。视线212可以例如使用沿不同方向拍摄的伤口202的多个图像生成。可以通过显微镜110的图像传感器拍摄多个图像，或可替代地或附加地通过添加到显微镜110的另一成像设备来拍摄多个图像。图1示意性地图示说明可选的成像设备130，其可以用于这个目的。为了确定视线212，控制器被配置为计算每个图像内伤口202的面积。在每个图像中，计算出的伤口202的面积对应于伤口的实际面积在垂直于拍摄图像的方向的平面上的投影。如果拍摄图像所在的方向垂直于伤口202的表面，则计算出的伤口202的面积变为最大。因此，相应的方向可以用作视线212，光轴可以与该视线对准以保证在伤口202的底部210上的观察。因此，视线212可以仅使用显微镜本身的成像设备来确定。

为了计算各个图像内的伤口202的面积，在图像数据内识别伤口的位置。在、申请人于2019年2月12日向欧洲专利局提交的、接收申请号为EP19156627、标题为“Acontroller for a microscope,a corresponding method and a microscope system”的欧洲专利申请中描述了在不同类型的图像数据内识别伤口的多种可能方式。关于如何例如通过控制器识别图像数据内的伤口的教导以及关于可以使用的图像数据的教导在此通过引用所述申请并入本文。

控制器100还可以附加地或可替代地被配置为基于图像数据确定伤口202的腔体的三维(3D)模型。三维模型可以允许使用任意标准来确定视线，以高灵活性以及将视线的确定适应个体手术或个体外科医生偏好的可能性来执行对准。换句话说，3D模型可以提供基于腔体内满足任意预定标准的轴线来确定视线的可能性。

例如，控制器可以被配置为基于使腔体的底部的可见区域最大化的轴线来确定视线。使腔体的底部210的可见区域最大化可以使外科医生能够容易地在伤口内导航。可以使用任意搜索算法来执行最大化。基于腔体的底部210的可见区域最大化的标准来确定视线还可以用来避免障碍物，诸如例如由图2中虚线示意性图示说明的障碍物216。在存在障碍物216的情况下，无论它是作为组织的一部分还是通过将外部物质并入伤口(例如棉絮吸收血液)，确定视线以使得伤口202的底部210的可见区域最大化将导致底部仍然可见，尽管障碍物216可能阻挡到伤口的底部210的其他可能视线(诸如视线212)。

控制器还可以被配置为基于腔体的腔体形心轴线来确定视线。使用腔体形心轴线可以确定视线，使得沿视线到腔体的周围壁的平均距离最大。在伤口202的腔体的柔性侧壁在手术过程中移动或变形的情况下，这可以提供具有最大安全余量的视线。腔体形心轴线可以像具有质量的物体的主惯性轴线那样被计算。为此，腔体的体积可以被视为具有均匀质量密度的体积，以计算求解相应早已建立的方程的主惯性轴线。例如，然后可以将沿z方向延伸的主惯性轴线用作视线。

在确定了第一视线之后，控制器还可以被配置为基于使用该视线生成的另一图像数据来确定到伤口的底部的另一视线。如果使控制器能够通过确定另一视线来更新视线和显微镜的对准，则可以在进行中的手术期间连续地重新调整对准，以使外科医生能够仅专注于手术本身，这一方面可以减少用于手术的时间，而另一方面可以提高结果的质量。此外，进入伤口的障碍物216可能不会永久地阻挡外科医生对伤口的底部的观察，因为可以选择重新确定的另一视线，使得障碍物216不阻挡沿另一视线在底部上的观察。

如在图1中作为可选特征图示说明的，包括显微镜110和控制器100的显微镜系统的一些实施例还可以可选地配备有被配置为生成图像数据的成像设备130。

例如，一些实施例配备有飞行时间照相机、立体照相机或3D照相机，以便使控制器能够基于由选择的成像设备生成的图像数据来生成腔体的3D模型。

图3图示说明用于控制显微镜的方法的实施例的流程图。方法包括接收表示伤口的图像数据302，并且使用图像数据确定到伤口的底部的视线304。此外，方法包括指示显微镜306将其光轴与视线对准。

如图3进一步图示说明的，根据一些实施例，可以可选地以循环308执行接收图像数据302、确定视线304以及指示显微镜306将其光轴与视线对准。连续重新对准显微镜的光轴可以自动考虑伤口的腔体内的障碍物，诸如例如手术期间使用的工具。永久性重新对准可以使外科医生能够专注于手术，并避免外科医生不再能够看到其正在进行手术的组织。

换句话说，先前描述的一些实施例提出显微镜的对准以便可视化狭窄手术腔的底部，这是可能繁琐且耗时的过程。例如，可以如由人类将进行的那样模仿对准，即感知腔体的长轴线并相应地对准。存在不同的技术方法。例如，可以使用显微镜的2D相机，并经由图像处理来确定手术腔的边缘。然后可以改变成像角度并针对每个角度计算边缘中包括的面积。垂直位置是面积最大化时的位置。人工智能可以帮助进一步改善这种方法。例如，可以执行手术腔的3D扫描，然后将最佳成像轴线计算为腔体空间的几何轴线。可以用不同的方式执行3D扫描，诸如：立体相机、3D相机(例如飞行时间(TOF)、图案投影)或工作距离的扫描并使用压缩映射。

与其中使用专用工具集(例如具有附加的3D定位星的管状牵引器)向自动执行对准的机械臂提供引导的常规方法相比，之前所述的实施例可以实现相同的结果或更好的结果，而无需使用特定的牵引器和/或其他3D定位工具/标记。

尽管已经在设备的上下文中描述了一些方面，但清楚的是，这些方面也表示相应方法的描述，其中框或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对相应装置的相应框或项目或特征的描述。方法步骤中的一些或全部可以通过(或使用)硬件装置来执行，像例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中，这种装置可以执行最重要的方法步骤中的某个或多个。

取决于某些实施要求，本发明的实施例可以以硬件或软件来实施。可以使用非暂时性存储介质(诸如数字存储介质，例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或FLASH)执行该实施，具有存储在其上的电子可读控制信号，所述电子可读控制信号与可编程计算机系统协作(或能够协作)，从而执行相应的方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，所述电子可读控制信号能够与可编程计算机系统协作，从而执行本文中描述的方法之一。

通常，本发明的实施例可以被实施为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，所述程序代码可操作用于执行方法之一。程序代码可以例如被储存在机器可读载体上。

其他实施例包括储存在机器可读载体上的用于执行本文描述的方法之一的计算机程序。

换句话说，因此，本发明的实施例是具有程序代码的计算机程序，当计算机程序在计算机上运行时，程序代码用于执行本文描述的方法之一。

因此，本发明的另一实施例是存储介质(或数据载体、或计算机可读介质)，其包括储存在其上的计算机程序，所述计算机程序用于在由处理器执行时执行本文描述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非过渡的。本发明的另一实施例是如本文描述的设备，其包括处理器和存储介质。

因此，本发明的另一实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列例如可以被配置为经由数据通信连接(例如经由互联网)来传输。

另一实施例包括处理装置，例如计算机或可编程逻辑设备，其被配置为或适于执行本文描述的方法之一。

另一实施例包括计算机，所述计算机上安装有用于执行本文描述的方法之一的计算机程序。

根据本发明的另一实施例包括被配置为将用于执行本文描述的方法之一的计算机程序(例如，电子地或光学地)传输到接收器的装置或系统。接收器可以是例如计算机、移动设备、存储设备等。所述装置或系统可以例如包括用于将计算机程序传输到接收器的文件服务器。

在一些实施例中，可编程逻辑设备(例如，现场可编程门阵列)可以用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以便执行本文描述的方法之一。通常，所述方法优选地由任何硬件设备执行。

附图标记列表

100 控制器 102 输入接口

104 输出接口 106 处理器

110 显微镜 112 光轴

130 成像设备 202 伤口

204 组织 206 布片

208 开口 210 伤口的底部

212 视线 214 另一视线

216 障碍物 302 接收表示组织的图像数据

304 确定视线 306 指示显微镜对准其光轴

308 循环

Claims (13)

1.一种用于显微镜(110)的控制器(100)，所述控制器被配置为：

接收表示伤口(202)的图像数据；

使用所述图像数据确定朝向伤口(202)的底部(210)的视线(212，214)；以及

输出用于显微镜(110)的控制信号，所述控制信号指示显微镜(110)将其光轴(112)与视线(212，214)对准；

其中所述图像数据包括沿不同方向拍摄的伤口(202)的多个图像；以及

其中所述控制器(100)被配置为计算每个图像内伤口(202)的面积；以及

基于对应于具有最大面积的伤口(202)的图像的方向来确定视线(212，214)。

2.根据权利要求1所述的控制器(100)，其中所述控制器(100)被配置为基于所述图像数据来确定伤口(202)的腔体的三维模型。

3.根据权利要求2所述的控制器(100)，其中所述控制器(100)被配置为基于所述腔体内满足预定标准的轴线来确定视线(212，214)。

4.根据权利要求3所述的控制器(100)，其中所述控制器(100)被配置为基于所述腔体的腔体形心轴线确定所述视线(212，214)。

5.根据权利要求3所述的控制器(100)，其中所述控制器(100)被配置为基于使所述腔体的底部(210)的可见区域最大化的轴线来确定视线(212，214)。

6.根据前述权利要求中任一项所述的控制器(100)，其中所述控制器(100)被配置为基于使用视线(212，214)生成的另一图像数据来确定到伤口(202)的底部(210)的另一视线(212，214)。

7.一种显微镜系统，包括：

根据权利要求1至6中任一项所述的控制器(100)，以及

显微镜(110)，被配置为基于控制信号将其光轴(112)与视线(212，214)对准。

8.根据权利要求7所述的显微镜系统，还包括：

成像设备(130)，被配置为生成图像数据。

9.根据权利要求8所述的显微镜系统，其中成像设备(130)是飞行时间照相机和三维照相机中的一个。

10.一种用于控制显微镜的方法，包括：

接收表示伤口的图像数据(302)；

使用所述图像数据确定到伤口的底部的视线(304)；以及

指示显微镜(306)将其光轴与视线对准；

其中确定视线(304)包括：

计算沿不同方向拍摄的伤口的多个图像中的每个图像内的伤口的面积；以及

基于对应于具有最大面积的伤口的图像的方向来确定视线(304)。

11.根据权利要求10所述的方法，还包括：

基于所述图像数据确定伤口的腔体的三维模型。

12.根据权利要求11所述的方法，包括：

基于所述腔体的腔体形心轴线或基于使所述腔体的底部的可见区域最大化的轴线来确定视线(304)。

13.一种计算机可读存储介质，存储有具有程序代码的计算机程序，当所述程序在处理器上运行时，所述程序代码用于执行根据权利要求10至12中任一项所述的方法。

Images