CN116829091A - 外科手术辅助系统和表示方法 - Google Patents

Abstract

本公开涉及一种外科手术辅助系统(1)，包括：表示装置；内窥镜(2)，具有远侧的成像的拍摄头(6)，所述拍摄头适于创建所述患者(P)的体内拍摄(IA)；数据提供单元，所述数据提供单元适于提供所述患者(P)的数字3D拍摄数据(3DA)；以及控制单元(12)，所述控制单元适于处理所述内窥镜(2)的体内拍摄(IA)以及所述3D拍摄数据(3DA)，其中，初始通过对应的解剖标志和/或取向将所述体内拍摄与所述3D拍摄数据(3DA)配准。跟踪系统(16)连续地检测内窥镜(2)的方位和/或移动和/或取向，并且控制单元(12)借助于所检测的方位和/或移动和/或取向产生不仅具有体内拍摄(IA)的表示而且具有3D拍摄数据(3DA)的视图的表示的关联表示(K)，在所述关联表示中，体内拍摄(IA)和3D拍摄数据(3DA)的视图在内窥镜(2)方面是彼此关联的。此外，本公开涉及根据并列权利要求的拍摄表示方法、存储介质以及消毒室。

Description

外科手术辅助系统和表示方法

技术领域

本公开涉及具有表示装置和内窥镜的用于在患者中的外科手术干预中使用的外科手术辅助系统。此外，本公开涉及根据并列权利要求的前序部分的一种拍摄表示方法、一种计算机可读的存储介质以及一种消毒室。

背景技术

在对软组织的微创外科手术(例如腹部外科手术)中，根据当前的现有技术的具有(仅)计算机辅助导航的外科手术辅助系统仍不能足够精确地工作。由于软组织的手术中移动和硬组织参考的缺少，手术前拍摄的三维3D拍摄数据(例如计算机断层造影(CT)拍摄数据或磁共振断层成像(MRT)拍摄数据)在外科手术期间不能足够精确地与患者联接。因此，外科医生还尤其依赖于内窥镜拍摄以找到目标手术区、识别组织并相应地执行治疗。

然而，内窥镜拍摄本身在信息内容方面受限并且尤其是不允许根据手术前的(三维)3D拍摄数据的路径规划或组织识别。这种缺陷可能导致对关键解剖结构、例如神经或血管的无意损伤，以及目标病理组织的不足切除或过度切除。例如，为肝脏器官开发了特殊的数学模型，以基于从内窥镜拍摄中的表面提取来校正手术中的变形。然而，这些技术不够可靠并且不能保证所需的高精度。

因此，如果外科医生不仅能够在手术中/在体内提供内窥镜拍摄而且能够在手术前提供3D拍摄，则外科医生一般受益。然而目前不可能的是，在保持高的精度要求的情况下在没有附加的复杂性的情况下将拍摄的这两种模式互相连接。

从现有技术中已知用于内窥镜软组织导航的外科手术辅助系统，其中，在显示器上彼此并列地或叠加地示出两个拍摄的两个不同的表示。除了在显示器的第一部分区域中的第一内窥镜体内拍摄外，在显示器的第二部分区域中静态地示出三维虚拟CT拍摄。然而，在根据现有技术的外科手术辅助系统中，手术医生必须手动地改变虚拟CT图像，以便重新调节CT拍摄的表示并且适配到具有体内拍摄的内窥镜的当前视图。该过程占用能力、要求高、累人并且不能保证必要的精度并且因此不能保证外科手术中的安全性。

此外，由现有技术已知一种基于导航的内窥镜，其中，内窥镜和患者借助摄像头追踪/跟踪。为此，在内窥镜上以及在患者上都安设有标记元件/跟踪器，利用所述标记元件/跟踪器执行配准。以这种方式，CT拍摄数据可以与内窥镜的体内拍摄关联。然而，这种系统和方法需要非常高的附加成本。

发明内容

因此，本公开的任务是避免或至少减少现有技术中的缺点并且尤其提供外科手术辅助系统、(拍摄)表示方法、存储介质以及消毒室，所述外科手术辅助系统、表示方法、存储介质以及消毒室一目了然地为手术参与者、尤其是(高级)外科医生提供内窥镜的体内拍摄的信息以及患者的数字3D拍摄数据的直观且辅助的融合，改进手眼协调以及确保可靠地接近手术区，以便尤其避免由于疏忽和无意的动作引起的组织损伤并且使外科手术的持续时间最小化。尤其，手术参与者应当以简单的方式从两种模式(即通过内窥镜的局部导航以及通过患者的拍摄数据的全局导航)中获益并且可以直观且不费力地执行外科手术。

本公开的任务和目标在这种类型的外科手术辅助系统中通过权利要求1的特征实现，在这种类型的(拍摄)表示方法中通过权利要求11的特征实现，在这种类型的存储介质中通过权利要求13的特征实现，并且在这种类型的消毒室中通过权利要求14的特征实现。

通过外科手术辅助系统向手术参与者、如外科医生以信息充足的方式且彼此协调地提供手术中的两种(拍摄)模式，办法是：将两种(拍摄)模式彼此关联并且外科医生可以使用内窥镜的体内拍摄以用于局部引导，并且可以使用3D拍摄数据(的视图)、尤其是手术前拍摄以用于全局引导以及用于例如关于组织的进一步信息。

在外科手术辅助系统中，内窥镜的体内拍摄因此最初与患者身体的数字3D拍摄数据配准，并且具体而言通过“基于拍摄的”配准，其中，在体内拍摄中，至少一个特征性标志/取向点(在拍摄方向上)和/或解剖取向被检测和确定。该标志和/或取向同样也在(虚拟/数字)3D拍摄数据中找到。通过该至少一个参考点(标志)和/或取向可以将体内拍摄与3D拍摄数据(几何地)关联。尤其，在体内拍摄中检测和确定多个特征性标志，优选两个特征性标志，特别优选三个特征性标志。

换言之，在外科手术辅助系统中存在两个方面/空间：具有实际内窥镜和患者实际身体的实际的第一(几何)空间以及具有虚拟内窥镜和患者的虚拟身体(区域)的虚拟的第二(几何)空间。目的是以简单的方式将实际空间与虚拟空间“联接”，即关联，使得拍摄头、尤其是内窥镜与实际空间中的身体的几何关系对应于拍摄头、尤其是内窥镜与虚拟空间中的身体的几何关系。在此假定，数字3D拍摄数据至少局部地在几何上看相应于患者的实际身体并且近似地表示在虚拟空间中的1：1成像。

如果在外科手术中所述内窥镜被插入患者的身体中，是手动地或由机器人引导的，则该内窥镜通过其拍摄头(尤其是光学地)检测身体的体内区域并且完成体内拍摄，例如二维或三维图像。如上所述，所拍摄的图像或所拍摄的解剖结构不仅可以在实际身体中而且可以在虚拟的数字身体中找到。现在为了进行实际内窥镜与实际患者(或患者身体)之间的初始配准，可以说借助体内拍摄进行虚拟内窥镜或至少一个虚拟拍摄头与患者的虚拟身体之间的配准并且最后“传递”到实际空间上。然后，实际空间和虚拟空间可以说是彼此联接的并且虚拟空间可以被视为实际空间的“成像”。

配准尤其可以借助以下不同的配准方法进行：

-点对点配准，其中，对于明确的方位识别需要至少三个点。在此，在体内拍摄中检测至少三个彼此间隔开的(解剖)点作为标志(这些点撑开一个平面)。这种检测例如可以自动地和/或借助于手动的输入来进行。然后尤其该控制单元可以适于在3D拍摄数据中检测或确定三个对应的点/标志并且相应地执行配准；

-点与取向配准，其中，需要至少一个点作为标志和取向。在此，通过参考标志和取向实现唯一的确定；在此情况下，术语“取向”尤其相对于参考坐标系而言意味着，为了确定取向而说明了三个角度，由此取向是唯一的。

-表面均衡，其中，体内拍摄的三维检测的表面(3D表面)(具有近似3D表面的多个标志)与3D拍摄数据中的对应3D结构(例如分段的(三维)结构)关联并且因此被初始地配准。例如可以将实际空间中的肝脏的(部分)表面与在MRT拍摄数据中的肝脏的分段的3D结构进行关联。

通过借助至少一个标志和/或取向的初始配准，至少初始地存在体内拍摄与3D拍摄数据(关于至少一个拍摄头)的关系。

因此通过跟踪系统探测实际内窥镜(尤其是拍摄头)在实际空间中的移动(随时间变化的方位)。移动或内窥镜移动数据可以具有平移(变换)和/或旋转，这些平移或旋转可以相加到直至六个自由度。尤其，从内窥镜的操作区段(尤其是手持件)到其拍摄头的变换或变换矩阵是已知的或可确定的，从而基于操作区段的移动，拍摄头的移动可尤其是通过控制单元确定，反之亦然。进一步优选地，从拍摄头到体内(内窥镜)拍摄的变换或变换矩阵和/或从操作区段到体内拍摄的变换也可以是已知的或可确定的，从而可以尤其通过控制单元确定体内拍摄的移动、拍摄头或操作区段的移动，反之亦然。因此，尤其在三个方向上的平移移动和围绕三个轴线的旋转移动可以作为控制单元的内窥镜移动数据来提供。控制单元将实际空间的内窥镜移动数据传递到3D拍摄数据，尤其是传递到虚拟空间中的虚拟拍摄头。也可以说，利用配准执行绝对关联并且利用移动的检测执行随后的相对关联。

也可以说，内窥镜移动数据改变拍摄头的局部坐标系与虚拟空间中的患者身体(3D拍摄数据)的局部坐标系之间的变换矩阵并且相应地适配3D拍摄数据的视图。要注意的是，在内窥镜移动数据的所检测的最多六个自由度中，尤其也可以仅将所选择的集合作为内窥镜移动数据转发到虚拟空间中。内窥镜移动数据的子集例如在手术期间内窥镜的位置仅非常小地变化而主要是仅一个取向变化时是有意义的。

外科手术辅助系统利用所产生的关联表示向外科医生提供局部的和全局的导航模式并且改善外科医生的取向。外科医生能够借助例如由手术监控器输出的关联表示在自然图像/体内拍摄中“看到”解剖结构的后方。外科医生可更好地且更有效地进行导航以到达所期望的区域并知道外科医生需要在何处进行操作。此外，在外科手术期间的安全性提高并且外科手术的质量被改善。更好的取向导致更短的手术时间。尤其是外科医生不必再在头部中叠加截面图像或估计外科医生正好处于的地方。这导致并发症的降低并且因此导致患者和医院的附加成本和风险的降低。

换言之，在用于使用在患者处的外科手术中的外科手术辅助系统中实现了该任务，其中，该辅助系统具有：表示装置，尤其是手术监控器，以用于表示可视内容，尤其是图像，内窥镜，尤其是视频内窥镜，具有远侧的成像的拍摄头，所述拍摄头被设置并且适于创建所述患者的体内拍摄并且数字/计算机可读地提供该体内拍摄，数据提供单元，尤其是存储单元，所述数据提供单元被设置和适于数字/计算机可读地提供、尤其是整理和提供患者的数字3D拍摄数据，尤其是手术前的3D拍摄数据，以及控制单元/计算单元/计算机单元，所述控制单元/计算单元/计算机单元适于处理所述内窥镜的体内拍摄以及所述3D拍摄数据。此外，外科手术辅助系统具有：配准单元，所述配准单元被设置和适于，在所述内窥镜的体内拍摄中检测至少一个尤其多个、优选两个、特别优选三个、尤其是预定的解剖标志和/或解剖取向以及确定在所提供的3D拍摄数据中的至少一个对应的解剖标志和/或取向并且通过所述对应的解剖标志和/或取向至少初始地将所述体内拍摄与3D拍摄数据配准并且相对于患者的(身体)配准所述内窥镜、尤其是所述拍摄头；以及跟踪系统，所述跟踪系统被设置和适于连续/持续地检测内窥镜的方位和/或内窥镜的、尤其拍摄头的移动并且作为内窥镜移动数据提供给控制单元。所述控制单元还适于，产生具有所述体内拍摄的(至少一个)表示和所述3D拍摄数据的视图的(至少一个)表示的关联表示，在所述关联表示中，所述体内拍摄和所述3D拍摄数据的视图关于所述内窥镜、尤其是所述拍摄头彼此关联。在此，将所检测的内窥镜移动数据传递到在所述3D拍摄数据的视图中的虚拟拍摄头、尤其是虚拟内窥镜的至少一个虚拟位置和/或取向，以用于关联的移动，并且所述控制单元适于通过所述表示装置可视地输出由此产生的关联表示。控制单元例如可以具有用于相应的处理和控制的处理器(CPU)。当发生模型的与环境有关的变化(例如通过组织的形变或分离)时，数据提供单元也可以准备数据。

因此，原则上，在外科手术辅助系统中，本公开提供第一(实际)图像，即通过内窥镜的体内拍摄以及呈3D拍摄数据(诸如CT拍摄数据或MRT拍摄数据)的(预定)视图形式的第二(虚拟)拍摄。两个拍摄在尤其手术监控器上可视地显示给手术参与者、如外科医生。具体地，尤其在关联表示的(部分)区域中并且因此在手术监控器的(部分)区域中，实时的实际的内窥镜视频拍摄被表示为体内拍摄，而在手术监控器的另外的(部分)区域中表示3D拍摄数据的(选择的)关联的视图。尤其是，两个表示并列布置。备选地，也可以叠加地示出两种表示(增强现实)。由此外科医生能够通过查看3D拍摄数据来执行全局导航以到达目标外科手术区域，而内窥镜体内拍摄提供关于软组织的实际当前方位的详细图像。因为两个拍摄彼此关联，所以外科医生不必进行手动的适配或虚拟的旋转或拍摄彼此间的位移。两个拍摄的关联尤其是自动地通过外科手术辅助装置进行。

换言之，本公开涉及一种手术中的外科手术辅助系统，其尤其并列地示出患者的内窥镜图像(体内拍摄)和尤其手术前的3D图像(3D拍摄数据)。两个图像(拍摄)关联并且涉及拍摄头的、尤其是内窥镜的当前位置和/或取向。优选地，在将内窥镜引入手术区时，由外科医生根据内窥镜图像(体内拍摄)选择尤其预定义的解剖标志和/或取向并且与在3D数据组(3D拍摄数据)中的相应的解剖标志和/或取向关联，其中，该步骤称为配准。不同的配准方法是可能的：

-点对点，至少3个点

-点和取向

-表面均衡，将来自内窥镜图像(体内拍摄)的3D表面与3D图像(3D拍摄数据)中的尤其相应的分段的结构关联。

借助标志的配准虽然具有如下优点，即，也一起拍摄与对象、例如肝脏的距离并且因此可以“匹配”体内拍摄的绝对尺寸和3D拍摄数据，然而当仅仅正确地旋转对象(仅仅角度适配)时也已经足够。这在分段的表示中恰好是有意义的，因为3D拍摄数据尤其也可以仅包括一个器官。

术语3D定义了，患者的拍摄数据在空间上、即三维地呈现。患者的身体或身体的具有空间伸展的至少一个部分区域可以在具有例如笛卡尔坐标系(X，Y，Z)的三维空间中数字地作为拍摄数据呈现。

术语“方位”既定义位置也定义取向。位置可以例如在笛卡尔坐标系中用(X，Y，Z)来表示并且取向可以用三个角度(α，β，γ)来表示。

术语“视图”描述了，尤其在3D拍摄数据中，尤其在(可预定的)点上，具有尤其(可预定的)旋转的(可预定的)视线方向/视角类似于在CAD模型中的可选择的视图。在一定程度上定义观察点的方位。

术语“实际”定义了物理的(实际的)内窥镜和被进行实际手术的患者的“方面”，而“虚拟”定义了数字虚拟内窥镜和所拍摄的虚拟患者数据的“方面”，所述虚拟患者数据是计算机可读地存在的并且可以以简单方式数字操纵以便示出个体信息。

有利的实施方案在从属权利要求中要求保护并且在下面阐述。

在优选的实施方式中，跟踪系统尤其可以被构造为内窥镜内部的跟踪系统，并且内窥镜、尤其是操作区段和/或拍摄头可以具有内部运动传感器、优选是加速度传感器和/或转速传感器、尤其是惯性测量单元(IMU)，以用于检测内窥镜移动数据。因此外科手术辅助系统不需要另外的外部系统或测量装置，而是仅一个集成在内窥镜中的空间小的传感器就足够了。通过内部运动传感器可以说自给自足地探测内窥镜、尤其是拍摄头的移动并且数字地作为内窥镜移动数据提供给控制单元。换句话说，为了确定内窥镜、尤其拍摄头的移动，内窥镜可以具有至少一个运动传感器，优选地具有内部传感器，例如尤其是IMU。

根据另外的实施方式，作为对用于跟踪系统的内窥镜内部传感器的备选或附加方案，也可以设置由摄像头系统检测的外部传感器或参考标记。尤其是，跟踪系统可以具有摄像头系统，该摄像头系统(连续地)在空间上检测内窥镜、尤其是操作区段，确定内窥镜的方位并且作为内窥镜移动数据提供给控制单元。由此可以通过预定的几何关系推断出拍摄头的方位。换句话说，跟踪系统还可以具有外部摄像头，尤其是3D摄像头，该外部摄像头检测手术区域并且在刚性内窥镜的情况下连续地探测操纵区段的方位并且根据所探测的操纵区段在时间上确定内窥镜、尤其是拍摄头的方位和因此的移动。

根据优选的实施方式，为了形成跟踪系统，控制单元可适于通过对体内拍摄中的移动解剖结构的图像分析/数据评估来确定内窥镜的移动并且作为内窥镜移动数据提供。通过合适的图像分析方法可以通过改变图像推断出移动。这例如可以与汽车的前方摄像头的视频拍摄进行比较，其中，根据行车道标记或者例如移动的水平线来探测移动。因此，呈适配的控制单元形式的跟踪系统借助随时间变化的体内拍摄来计算移动，尤其是拍摄头的移动。为此，尤其已知内窥镜的体内拍摄的光学参数和/或校准拍摄头、尤其拍摄头的内窥镜摄像头。换句话说，内窥镜的移动也可以通过内窥镜图像/体内拍摄来识别，办法是：分析图像中的(解剖)结构在哪个方向上并且尤其是以哪个速度移动。这种图像分析的优点例如在于，即使在没有运动传感器的情况下也能够求取内窥镜移动数据。

尤其，跟踪系统可以具有被设置在内窥镜中的运动传感器，尤其是加速度传感器和/或转速传感器，特别优选地具有惯性测量单元，并且控制单元可适于通过图像分析来检测内窥镜移动数据，其中，从内窥镜移动数据的至少两个结果中计算两个结果的组合值，尤其是内窥镜移动数据的适配的平均值或加权的值，作为内窥镜移动数据(作为最终结果)。可以对旋转和平移的每个单独的元素/分量(六个元素/自由度)进行加权。例如，惯性测量单元(IMU)可以比平移更准确地确定旋转。尤其，从关于惯性测量单元(IMU)的至少两个结果中提供旋转数据并且通过图像分析提供内窥镜移动数据的平移数据。尤其，可以进行加权，使得在IMU的结果中，旋转分量以大于80％、尤其是100％加权，而平移分量以小于20％、尤其是0％加权，其中，在图像分析的结果中，将旋转分量互补地以小于20％、尤其是0％加权并且将平移分量以大于80％、尤其是100％加权。平均值例如可以是算术平均值、几何平均值或平方平均值，该平均值尤其在每个单个分量中形成。以这种方式将(至少)两个不同的“传感器系统”互相连接。通过利用组合进行冗余的检测、尤其是平均值形成或加权，可以进一步最小化系统引起的不精确性误差并且提高精度。尤其，内部传感器和图像分析可以被组合以确定内窥镜的移动。结果，外科医生可以在3D图像/3D拍摄数据中跟踪内窥镜的实际位置，尤其是拍摄头的实际位置，并且因此识别关键结构或跟踪来自手术前规划的路径。

根据另外的优选实施方式，控制单元可以适于尤其基于存储在存储单元中的具有医学器械的几何上预定义的结构的数据库，在体内拍摄中方位正确地识别至少一个(存储的)医学器械，并且在3D拍摄数据的视图中作为虚拟医学器械方位正确地、尤其是关联地示出所识别的医学器械，使得在两个拍摄中示出医学器械。术语“方位正确”定义位置正确和取向正确的组合，即在一致的位置和方位上。换句话说，尤其也可以在两个拍摄中展示至少一个器械，从而外科医生不仅可以在3D拍摄数据中可视化例如内窥镜的位置和/或取向，而且可以可视化医学器械的位置和/或取向。为此，医学器械在体内拍摄中被探测并且在3D拍摄数据(3D图像)中虚拟地叠加在其(实际)位置上。对此的前提条件是，器械在内窥镜图像中可见并且其几何形状是已知的。

尤其，在存储于存储单元中的数据库中也可以存储关于拍摄头的数据、尤其是摄像头类型，和/或关于内窥镜的数据、尤其是集成的内窥镜和/或用于摄像头的“虚拟内窥镜”的类型。例如，拍摄头的所存储的几何数据可以相应地插入到关联表示中。

控制单元尤其可以适于根据内窥镜、尤其是拍摄头的位置和/或取向，确定存储在存储单元中的关于内窥镜、尤其是关于拍摄头的光学参数的数据，并且优选根据与目标解剖结构的距离，确定拍摄头的视锥，并且在3D拍摄数据的表示中的关联表示中一起插入虚拟拍摄头的虚拟视锥。以这种方式，用户看到他在3D拍摄数据上正在观看哪个区域。例如，当比例不相同并且例如3D拍摄数据被缩小地示出时，这是有利的。术语“视锥”描述了三维体积，其通过由光学器件限定的视场和与正面的相应距离形成。

优选地，所述配准单元可以除了所述初始配准外在至少一个另外的、尤其是预定的时间点执行重新配准，以便进一步提高关联的精度。因为基于拍摄头的配准的(绝对)起始位置，内窥镜移动数据是相对数据(没有外部绝对基准)，所以重新配准(作为绝对关联)可以进一步提高精度。尤其，可以在预定时间之后或在预定的移动总和之后执行随后的配准。尤其，也可以在分别预定的时间、预定的路径或预定的移动总和之后作为“重置”执行多个重复的配准。因此，内窥镜的体内拍摄与3D拍摄数据(3D模型/3D图像)之间的重新配准可以在任何时间被再次执行，以便进一步改善在软组织移动的情况下的精度。

在优选的实施方式中，内窥镜可以构造为刚性的视频内窥镜。在刚性内窥镜的情况下，在操作区段和拍摄头之间存在恒定的几何关系。例如可以在手持件中设置配准手持件中的移动的运动传感器，并且控制单元可以适于根据所检测的移动数据和几何关系来推断拍摄头的移动。

优选地，控制单元可以适于在3D拍摄数据的视图的表示和/或体内拍摄的表示中的关联表示中除了实际和/或虚拟内窥镜外还方位正确地(虚拟地)示出存储在存储单元中的预先规划的医学器械和/或植入物，尤其是预先规划的套管针。因此尤其可以在3D拍摄数据中或在3D拍摄数据相对于内窥镜的当前位置的视图中示出预先规划的套管针。

根据另外的优选实施方式，控制单元可适于在3D拍摄数据的视图的表示和/或体内拍摄的表示的关联表示中示出规划路径/轨迹，以向外科医生指示朝向手术区的路径。由此进一步改善外科医生的取向。轨迹可以尤其通过在规划路径的方向上具有箭头尖端的插入箭头说明，该插入箭头与内窥镜的移动相适配并且总是指向路径的方向。备选地或附加地，也可以将规划路径例如呈沿着该路径的三维线的形式插入到3D拍摄数据中。备选地或附加地，也可以在手术中将手术前规划的注释点插入到3D拍摄数据中，以便例如接近目标区域或识别关键结构。

优选地，控制单元可以适于将3D拍摄数据的视图建立为相对于内窥镜的图像坐标系和/或沿着内窥镜、尤其是拍摄头的拍摄轴线的3D场景/3D再现和/或二维横截面和/或创建为虚拟内窥镜图像。3D拍摄数据因此例如可以是具有或不具有分段解剖结构的渲染的3D模型，其在虚拟空间中可以自由移动并且可以由不同的位置和视图从不同的观察角度以尤其不同的解剖结构的不同的透明度来表示，类似于CAD模型。然后控制单元创建3D场景的所选视图。例如也可以在虚拟空间中遮蔽大量解剖结构，以便获得相关结构的更好的视图。备选地或附加地，3D拍摄数据也可以作为(分段的)相对于内窥镜的坐标系、尤其是内窥镜的图像坐标系和/或沿着轴线(例如在MRT或CT拍摄数据中)的二维横截面存在。图像坐标系对应于体内拍摄的(局部)坐标系。备选地，也可以创建相对于拍摄头的局部坐标系的二维横截面。体内拍摄的图像坐标系可以通过到拍摄头的局部坐标系的变换以及进一步通过到手持件的局部坐标系的变换来反算。然后，控制单元可以与拍摄头、尤其内窥镜的位置对应地创建沿着拍摄方向的轴线或者拍摄头、尤其是内窥镜的轴线的3D拍摄数据的视图，这与超声图像相似。这例如能够实现识别在由内窥镜拍摄的图像后面的解剖结构。作为沿着拍摄轴线的横截面的备选或附加方案，也可以创建对角线的或个别的取决于例如解剖结构的或预定义的截面图。优选地，可以创建相对于内窥镜的参考坐标系(具有X-Y-Z轴)观察的X截面和/或Y截面和/或Z截面。在Z截面(即，与内窥镜的视场平行并且与内窥镜的参考坐标系的局部Z轴垂直的截面)的情况下，尤其可以通过内窥镜的前后移动来相应地移动所述截面。朝向对象的移动范围可以例如通过工作距离来限制。在刚性内窥镜的情况下，Z轴尤其与其纵轴线同轴，并且Z截面相应地与Z轴正交并且因此与视场平行地布置。备选地或附加地，控制单元可以将3D拍摄数据的视图作为虚拟内窥镜图像/内窥镜视角来创建，其模仿拍摄头的实际拍摄。换言之，创建3D拍摄数据的视图，其中，虚拟内窥镜的虚拟拍摄头具有与实际拍摄头相同的方位(即位置和取向)，并且创建具有与实际内窥镜的光学参数精确相同的光学参数的虚拟拍摄，使得实际的体内拍摄可以说被表示为虚拟空间中的虚拟体内拍摄(1：1表示实际拍摄-虚拟拍摄)。在此，外科医生不仅在实际的表示中而且在虚拟的表示中在刚好“相同的方向上在相同的位置处”“看见”。换言之，3D拍摄数据、尤其是3D拍摄数据(3D图像)的视图可以作为具有或不具有分段的解剖结构的3D场景/3D渲染被展示。备选地或附加地，与超声图像类似，3D图像可以被展示为沿着内窥镜的轴线的2D横截面。3D图像可以备选地或附加地作为虚拟的内窥镜图像展示，其类似于飞越模型模仿内窥镜的视线方向。

优选地，外科手术辅助系统具有视图选择单元，在该视图选择单元中存储有预定义数量的不同视图。尤其，存储鸟瞰图、内窥镜视图(沿拍摄方向)、侧视图和仰视图。在尤其是由外科医生选择视图时，控制单元将3D拍摄数据的视图相应地与所选择的视图相适配。换句话说，外科手术辅助系统可以具有预配置的设定，这些设定允许外科医生获取用于待检查区域的3D拍摄数据(3D图像的表示)的不同视图，例如鸟瞰图、内窥镜视图、侧视图、底视图，从而采用不同的视角并且考虑外科医生的决定的单独可用且不同的内容。

尤其，控制单元执行跟踪系统的功能。

根据实施方式，外科手术辅助系统还可以具有机器人，并且内窥镜、尤其是内窥镜的操作区段尤其是借助机器人臂可以是机器人引导的，并且所述跟踪系统通过所述机器人的、尤其是所述机器人臂的所属方位和/或取向和/或移动确定所述内窥镜、尤其所述拍摄头的方位和/或取向和/或移动。在所述内窥镜由机器人引导的机器人辅助的外科手术的情况下，优选地可以直接由轴系统或控制命令利用相应的变换计算位置和/或取向并且在时间上观察因此计算内窥镜、尤其拍摄头的移动。因此位置和/或取向和/或移动的探测不是在内窥镜本身中进行，而是在机器人中进行。换句话说，在机器人系统中，内窥镜的移动和/或位置和/或取向由机器人、尤其是机器人臂导出。

在用于关联地表示两个不同的拍摄的拍摄表示方法方面，本公开的任务和目标通过以下步骤来解决：读取患者的数字3D拍摄数据、尤其是手术前的3D拍摄数据；通过内窥镜创建体内拍摄；在所述体内拍摄中检测至少一个标志和/或取向；在所述3D拍摄数据中确定对应的标志和/或取向；经由至少一个检测的标志和/或取向将3D拍摄数据与体内拍摄配准；产生具有所述体内拍摄的表示和所述3D拍摄数据的视图的表示的至少一个关联表示，并且优选地通过所述表示装置输出所述关联表示；连续检测内窥镜、尤其是拍摄头的方位和/或取向和/或移动；将所述内窥镜的、尤其所述拍摄头的所检测的移动传递到在所述3D拍摄数据的视图中的虚拟拍摄头、尤其是虚拟内窥镜的至少一个虚拟位置和/或取向上，并且产生具有所述体内拍摄和所述3D拍摄数据的更新的视图的更新的关联表示并且通过所述表示装置输出所述关联表示。

根据必要时独立要求保护的实施方式，拍摄表示方法优选可以具有以下步骤：检测3D拍摄(数据)，尤其是手术前的3D拍摄(数据)；优选分段3D拍摄(数据)；在外科手术辅助系统中提供3D拍摄数据，尤其是分段的拍摄；优选地，操作内窥镜和/或创建体内拍摄；在所述天然的内窥镜的体内拍摄中瞄准和检测解剖标志；在3D拍摄数据中确定和检测对应的标志；关于所检测的标志配准两个拍摄(体内拍摄和3D拍摄数据)；尤其通过使用至少一个内窥镜内部传感器和/或所述内窥镜内体内拍摄的图像分析/拍摄分析，(检测和)确定所述拍摄头、尤其是所述内窥镜的移动；将所求取的移动传递到3D拍摄；并且尤其并列地和/或叠加地关联输出两个拍摄。

优选地，表示方法具有重新配准的另外步骤。

根据另外的优选的实施方式，表示方法能够具有步骤：探测医学器械和其在体内拍摄中的方位；在3D拍摄数据中方位正确地虚拟叠加表示/表示所探测的器械；

优选地，表示方法能够具有步骤：在3D拍摄数据中方位正确地表示虚拟内窥镜、尤其是虚拟拍摄头。

根据另外的优选的实施方式，表示方法能够具有步骤：在体内拍摄和/或3D拍摄数据中插入预先规划的医学器械、尤其是预先规划的套管针。

尤其，表示方法能够具有步骤：检测视图选择的输入，尤其是鸟瞰图、内窥镜视角、侧视图和底视图的集合中的选择；将视图选择应用于3D拍摄数据的视图，以便在关联表示中表示所选择的视图。

优选地，表示方法还可以具有步骤：根据所检测的标志和所确定的对应的标志，确定实际解剖结构的形变，尤其是相对于初始解剖结构的形变；并且将所确定的形变传递到所述3D拍摄数据中的虚拟解剖结构，以相应地适配所述3D拍摄数据。也就是可以根据对应的标志和其尤其是与初始标志的相对变化来确定形变，并且然后将该形变相应地传递到3D拍摄数据，以便校正该3D拍摄数据。首先在借助表面配准的配准中，该方法具有优点，其中，现在不仅与3D拍摄数据进行刚性关联，而且分段的对象、例如肝脏在3D拍摄数据中相应地变形，使得3D拍摄数据与通过内窥镜拍摄的实际的3D结构适配。这些步骤尤其可以由辅助系统的控制单元实施。

在此应当指出，本公开的表示方法的特征可以转用到本公开的外科手术辅助系统，反之亦然。

就计算机可读存储介质而言，本公开的任务和目标通过以下方式解决，即，计算机可读存储介质包括指令，该指令在由计算机执行时使得计算机执行根据本公开的拍摄表示方法的方法步骤。

在这种类型的消毒室方面，本公开的任务通过以下方式解决，即，医学消毒室具有根据本公开的外科手术辅助系统。

附图说明

下面将借助附图根据优选实施方式来解释本公开。示出了：

图1示出第一优选实施方式的外科手术辅助系统的示意图，

图2示出具有所属的体内拍摄的另外的优选实施方式的外科手术辅助系统的刚性内窥镜的示意部分视图，刚性内窥镜的移动被传递到具有3D拍摄数据的视图的虚拟内窥镜；

图3示出外科手术辅助系统的基于拍摄的配准的示意图；

图4示出优选实施方式的外科手术辅助系统中使用的视频内窥镜的示意立体视图；

图5是用于3D拍摄数据的视图的不同视角的示意图；并且

图6示出优选的实施方式的拍摄表示方法的流程图。

附图本质上仅是示意的并且仅用于理解本公开。相同的元件设有相同的附图标记。各种实施方式的特征可以彼此替换。

具体实施方式

图1示出使用的第一优选实施方式的外科手术辅助系统1(下文中仅称为辅助系统)的示意图。辅助系统1在优选实施方式的手术室100形式的医学消毒室中使用，以便在对患者P(在此仅示意示出)进行外科手术时通过合适的可视化支持手术参与者、尤其是外科医生。在中部的无菌的外科手术区域中，对患者进行微创手术。具有手持件/手柄4和间隔的前侧成像拍摄头6的刚性视频内窥镜2(以下仅称为内窥镜)为此在内窥镜柄侧上处于患者的身体内部。为了成像，拍摄头具有内窥镜视频摄像头(未示出)，该内窥镜视频摄像头在内窥镜2的纵轴线方向上在端侧借助CMOS传感器创建患者P的身体内部的二维体内拍摄IA作为时间当前的(实况视频)拍摄并且数字地提供。然后，经由呈手术监控器8形式的表示装置，能够为手术参与者再现可视内容，诸如体内拍摄IA的表示。应当指出的是，内窥镜2也可以可选地在其操作区段上由机器人臂引导。

此外，外科手术辅助系统1具有以存储单元10形式的数据提供单元，在该存储单元中数字地/计算机可读地存储待治疗的患者P的数字的手术前的3D拍摄数据3DA。作为3D拍摄数据3DA例如可以存储(分段的)MRT拍摄数据或CT拍摄数据，其虚拟或数字地成像患者P的身体或身体的至少一部分。

为了检测、处理和计算以及控制，辅助系统1具有控制单元12，该控制单元适于处理内窥镜2的体内拍摄IA以及3D拍摄数据并且相应地操控手术监控器8。

外科手术辅助系统还具有在该实施方式中被构造为专门适配的控制单元12的配准单元14。具体地，控制单元12适于在内窥镜2的体内拍摄IA中检测解剖标志15以及在所提供的3D拍摄数据中确定对应的解剖标志15'。在插入患者P的身体中并拍摄目标解剖结构作为二维图像的内窥镜2的体内拍摄IA中，在该实施方式中，外科医生选择三个预定义的特征性(实际)标志15。在实际空间中的这三个标志15同样作为三个(虚拟)标志15'地在虚拟空间中又出现。通过总共两乘三个对应的解剖标志15、15'，体内拍摄IA与3D拍摄数据初始关联，即配准。因此，内窥镜2、尤其是拍摄头6也相对于患者P配准。也就是说，在患者P的虚拟拍摄头6'与虚拟身体之间建立几何关系(3D拍摄数据)，该几何关系相应于在实际的拍摄头6与患者P的实际身体之间的实际的几何关系。在虚拟空间中控制单元12计算相应的变换矩阵并且将该变换矩阵传递到实际空间上。因此实际内窥镜2的拍摄头6相对于患者P的身体的方位于是被确定。换言之，首先将(实际)体内拍摄IA与(虚拟或数字)3D拍摄数据3DA关于至少一个特征性标志15、15'进行比较，该标志在两次拍摄中发生初始关联，也就是说配准，以便配准或确定(实际)内窥镜2、尤其是拍摄头6相对于患者P的方位。

尤其，控制单元12可以适于在已知拍摄头6的光学参数或拍摄头6与解剖标志之间的距离的情况下求取3D拍摄数据3DA的这种视图，其中，这三个标志在3D拍摄数据3DA中具有与在体内拍摄IA中基本相同的彼此间的距离。

此外，外科手术辅助系统1具有跟踪系统14，该跟踪系统连续地检测内窥镜2和拍摄头6的移动并且作为内窥镜移动数据提供给控制单元12。在该实施方式中，使用内窥镜内部的传感器与由控制单元12实施的图像分析的组合。

具体而言，刚性内窥镜2的手柄4具有惯性测量单元(IMU)18，惯性测量单元具有多个惯性传感器，在此为加速度传感器20和转速传感器21(三轴加速度传感器和三轴陀螺仪)，以用于构造为惯性导航系统(也参见图4)。在三个方向上的各个加速度产生在实际空间中的一个方向上的总加速度(矢量)。所检测的围绕三个轴线的转速例如可以被成像为旋转矩阵。因此连续地(由于技术限制，以具有尽可能小的时间间隔的离散时间间距近似地)检测内窥镜在实际空间中的移动并且作为具有平移和旋转的内窥镜移动数据转发到控制单元12。通过手柄4与拍摄头6的固定的几何关系，利用IMU 18不仅能检测手柄4的移动，而且能检测拍摄头6的移动。

此外，在外科手术辅助系统1中，控制单元12适于借助体内拍摄IA执行图像分析。控制单元12如下地执行数据处理，即，该控制单元检测解剖结构的时间上的变化并且由此确定结构的移动(尤其是方向变化)并且根据该变化确定拍摄头6的移动并且由此确定内窥镜2的移动。由此，除了传感器式的内窥镜移动数据外，还存在图像分析的内窥镜移动数据，这些内窥镜移动数据可以彼此联接，以便最小化测量误差并且提高精度。在此，形成两个内窥镜移动数据的平均值并且作为结果提供给控制单元12。

因为控制单元12另外适于产生关联表示K，该关联表示具有对体内拍摄IA的表示和对3D拍摄数据3DA的视图的表示的并列表示，其中，体内拍摄IA和3D拍摄数据3DA的表示关于内窥镜2、尤其是拍摄头6彼此关联。为此，将所检测的内窥镜移动数据传递到在3D拍摄数据3DA的视图中的虚拟拍摄头6'、尤其是虚拟内窥镜2'的至少一个虚拟位置和/或取向上以用于关联的移动。尤其，虚拟拍摄头4'以与实际拍摄头4相同的方式一起移动。相应地适配3D拍摄数据的视图。最后，控制单元12适于经由手术监控器8可视地输出如此产生的关联表示K。关联表示K是内窥镜体内拍摄IA和手术前3D拍摄数据的并列表示，其中，将两个拍摄关于内窥镜的移动关联。

3D拍摄数据的视图实现全局取向，而内窥镜体内拍摄实现精确的空间取向。本公开的外科手术辅助系统1适于彼此并列地并且以关联方式示出两种模式。因此，尽管由于组织的手术中变形，内窥镜体内拍摄和3D拍摄数据不总是完全一致，外科医生能够更好地执行手术并且直接使用尤其具有手术前信息的3D拍摄数据。为了精确的手术，外科医生也可以依靠内窥镜的体内拍摄。关联的3D拍摄数据或3D图像使得外科医生能够避免关键的结构损伤，更好地找到其手术目标，并且精确且有效地实施手术前的规划。通过具有3D拍摄数据的全局引导，辅助系统1也可以在使用内窥镜的体内拍摄时缩短学习曲线。尤其是内窥镜、尤其是拍摄头的位置和/或取向的相对于3D拍摄数据或相对于分段的3D模型的定向导致外科医生在感兴趣区域中的改进的取向。

在初始配准之后，因此在本公开的外科手术辅助系统1中可以说可以在虚拟空间中以与在实际空间中的变换矩阵相同的程度改变变换矩阵，以便与实际空间中的内窥镜2或拍摄头6相同地一起引导虚拟空间中的内窥镜2'、尤其是拍摄头6'并且相应地适配(关联)、尤其一起移动3D拍摄数据3DA的视图。

借助于配准单元14的初始配准(作为绝对关联)尤其可以如下执行。可以为内窥镜2的拍摄头6在实际空间中分配局部拍摄头坐标系。局部坐标系也可以配设患者P的身体。为了初始配准，必须计算和提供在这两个局部坐标系之间的变换矩阵，以便通过该变换矩阵确定拍摄头的初始方位(位置和取向)并且由此尤其确定内窥镜相对于患者P的身体的初始方位(位置和取向)。在虚拟空间中也可以将局部拍摄头坐标系配设给虚拟拍摄头6'以及将局部坐标系配设给患者的“虚拟身体”对应。也可以说，将虚拟身体或至少一个部分区域、例如器官一致地配设给实际身体。由此建立在实际空间和虚拟空间之间的基础关联。这是显而易见的，因为尤其拍摄了整个身体或身体的至少一个部分区域的手术前的3D拍摄数据，例如CT拍摄数据或MRT拍摄数据，当然是在空间中对实际身体进行1：1成像。具有至少一个检测的标志的解剖结构的实际的体内拍摄IA也在虚拟的3D拍摄数据中找到并且能够借助于比较实现尤其在虚拟拍摄头6'和虚拟身体之间的配准。由此获得虚拟空间中的初始变换矩阵，其可以“传递”到实际空间，以便执行初始配准。因此，在两个空间中配准之后，至少拍摄头的几何方位与患者身体关联并且因此体内拍摄也与3D拍摄数据关联。

因此，借助于本公开的外科手术辅助系统1，可以利用现有内窥镜的仅非常小的硬件改变，即通过用内部(移动)传感器18补充(标准)内窥镜和/或通过经由外部摄像头、诸如3D立体摄像头检测内窥镜2的移动，以及通过相应地适配控制单元(该适配尤其可以通过相应存储的程序来实现)，而无需附加的空间密集且易出错的硬件装置，将体内拍摄IA与3D拍摄数据3DA的视图关联并且经由手术监控器8输出。该辅助系统1改善外科医生的取向并且由此也改善患者P的安全性。

控制单元12还适于借助于存储在存储单元10中的具有在体内拍摄IA中的医学器械24的几何上预定义的结构的数据库一方面识别这种医学器械24，并且还适于检测实际空间中的所属方位。然后，所检测的这种医学器械24在3D拍摄数据3DA中在其所检测的方位中借助其所存储的几何结构被虚拟地作为虚拟医学器械24'方位正确地插入或虚拟地叠加，使得医学器械24、24'在拍摄IA、3DA的两个表示中被示出。因此，能够进一步改进取向。

除了识别实际空间中的医学器械24外，控制单元12也适于在虚拟空间中以3D拍摄数据(3DA)的视图(插入或叠加地)示出预先规划的虚拟医学器械24'、尤其是预先规划的套管针。这些预先规划的虚拟医学器械24'包括其相对于患者的(虚拟)身体的方位同样存储在存储单元10中。

此外，在存储单元10中存储了通往手术区的规划路径，该规划路径可以相应地插入到3D拍摄数据中，例如作为箭头或作为三维路径线，以便向外科医生指示路线。

图2示出另外的优选实施方式的辅助系统1的示意部分视图，具有实际空间和虚拟空间的对照以用于阐述工作方式。辅助系统1与图1的辅助系统1的区别主要在于3D拍摄数据3DA的所选择的视图。在图2的左侧部分区域中描绘实际空间并且在右侧部分区域中描绘虚拟空间。实际内窥镜2在端侧通过其拍摄头6检测体内拍摄IA，该体内拍摄对外科医生而言用于局部导航。对应的虚拟内窥镜2'以其虚拟拍摄头6'在CT拍摄的节段中(作为3D拍摄数据3DA)在其当前位置处利用插入的虚拟视场26'示出。也就是说，对于关联表示K来说，对于3D拍摄数据3DA的视图使用CT拍摄的节段，该节段对应于拍摄头6的在上前方向上的位置。在3D拍摄数据的视图中于是方位正确地虚拟地将拍摄头6'和其取向示意地插入。外科医生因此可以在3D拍摄数据3DA的视图中以简单和直观的方式一目了然地看到他在患者P身体中的全局位置。

如果现在在图2中在配准(如已针对图1阐释的那样)之后内窥镜2移动(参见实际空间的移动箭头)，则所检测到的移动传递到具有虚拟拍摄头6'的虚拟内窥镜2'上(参见虚拟空间的移动箭头)。由此一方面改变了虚拟拍摄头6'的所示出的方位并且此外当拍摄头6在上前方向上移动时，示出CT拍摄的在该位置上适配的节段。而且，当内窥镜2围绕其纵轴线旋转时，该旋转也被传递到3D拍摄数据3DA的视图上。例如，在最简单的示例中，当内窥镜2正好在上前方向上定向并且3D拍摄数据3DA的视图同样在该方向上定向时，则将旋转1：1传递到该视图上。如果例如内窥镜2在顺时针方向上旋转90°，则3D拍摄数据3DA的视图沿着顺时针方向旋转90°。因此通过辅助系统1，体内拍摄IA与3D拍摄数据3DA的(可选择的和可变的)视图关联并且内窥镜2的移动被传递到3D拍摄数据3DA的视图并且相应地适配该视图。

例如在关联表示中可以包含体内拍摄的两个表示。这里，第一表示可以是荧光模式下的(分屏)实时表示，而第二表示示出“正常的”内窥镜图像。因此多个系统和模式以及因此体内拍摄的多个实时表示是可能的。同样，在关联表示中可以展示相同3D拍摄数据的不同视角的多个表示。

图3示意地示出具有经由三个点的体内拍摄IA与3D拍摄数据3DA的配准的辅助系统1的优选实施方式。以最简单的形式，外科医生在体内拍摄IA中选择三个彼此间隔开的特征性标志15。这三个标志15作为对应的虚拟标志15'又在3D拍摄数据3DA中可见。要么控制单元12可以适于自动地确定标志15'，要么外科医生可以在3D拍摄数据中手动地确定三个虚拟标志15'。以这种方式，体内拍摄IA与3D拍摄数据3DA配准，并且内窥镜2与患者P配准。

图4以详细的立体部分视图示出根据实施方式的(具有刚性柄的)刚性内窥镜2，该内窥镜可以被使用在图1至图3的辅助装置1中。内窥镜2具有手柄4和远侧拍摄头6，所述远侧拍摄头在拍摄方向上光学地检测体内拍摄IA(在此仅示意地示出)并且数字地提供给控制单元12。在手柄4中，内窥镜内部的运动传感器以惯性测量单元18的形式被设置用于构造惯性导航系统，该惯性导航系统检测内窥镜2的移动。通过在内部传感器18的位置和具有拍摄头6的内窥镜2的尖端之间的定义的几何参数，也可以通过控制单元12计算拍摄头6的移动。然后，该移动被相应地传递到虚拟空间中的3D拍摄数据3DA上。在图4中也示出三个局部坐标系。第一局部坐标系是手持件的坐标系，第二局部坐标系是拍摄头的坐标系，并且第三局部坐标系是体内拍摄的图像坐标系。所有三个坐标系可以通过合适的(串行)变换彼此联接，从而(尤其是利用内窥镜的相应(几何)数据)可以从一个坐标系推断出另一个坐标系。

图5示出3D拍摄数据的示例性的不同视图，这些3D拍摄数据可以借助于图1中的辅助系统1的视图选择单元由外科医生选择。3D拍摄数据3DA的视图的该表示然后在关联表示K中反映，以便为外科医生提供灵活的适配和改善的取向。因此，如果外科医生能够选择观察方向彼此垂直的侧视图、正视图和俯视图，外科医生可近似地分析在刚性内窥镜2的纵轴线和目标手术区之间是否存在错位。

图6示出根据本公开的优选实施方式的用于尤其是在外科手术辅助系统1中集中关联地表示两个不同的拍摄的拍摄表示方法的流程图。在此要指出，步骤的顺序也可以改变。

在第一步骤S1中，读取患者P的数字3D拍摄数据3DA，尤其是手术前的3D拍摄数据。例如，所读取的3D拍摄数据、如患者P的整个身体的CT拍摄可以存储在具有相应分段的存储单元中。

在下一步骤S2中，通过内窥镜2、在此通过拍摄头创建或检测体内拍摄IA。应当注意，步骤S1和S2的顺序不重要，从而也可以首先进行体内拍摄IA并且然后进行读取，或者可以同时进行两个步骤S1和S2。

在随后的步骤S3中，在体内拍摄IA中瞄准和检测标志15，尤其是三个标志15。在检测标志15之后，在步骤S4中在3D拍摄数据3DA中'确定相对应的标志15'。在步骤S5中，经由所检测的标志15、15'将3D拍摄数据3DA与体内拍摄IA配准。步骤S3至S5由此一起形成配准步骤。

在步骤S6中，例如通过呈手术监控器8形式的表示装置来产生并输出具有体内拍摄IA的表示和3D拍摄数据3DA的视图的关联表示的关联表示K。也可以说，执行内窥镜的体内拍摄(内窥镜图像)与手术前的3D拍摄数据(3D图像)的变换关联。

在步骤S7中，(连续地)检测内窥镜2的方位和/或移动，尤其是通过操作区段4间接地也检测拍摄头6的方位和/或移动。所检测的移动可以作为内窥镜移动数据来提供。

在步骤S8中，将具有拍摄头6的内窥镜2的所检测的移动传递到在所述3D拍摄数据3DA的视图中的虚拟内窥镜2'的虚拟拍摄头6'的虚拟位置和/或取向上。

在随后的步骤S9中，产生具有体内拍摄IA的并列表示和3D拍摄数据3DA的更新的视图的更新的关联表示K，所述更新的关联表示例如通过手术监控器8示出。以这种方式，向外科医生提供体内拍摄IA和3D拍摄数据3DA的视图的当前关联表示。

在第一条件B1中，然后检查是否应当执行重新配准。如果要执行重新配准，则表示方法跳到标志15的检测的步骤S3。

如果不应执行重新配准，则该方法跳到第二条件B2并且检验是否应结束该方法。如果该方法不应该结束，则该方法再次跳到移动检测的步骤S7并且实施实施重新的迭代。

如果条件B2表明，该方法应该结束，则中断该循环并且最终结束拍摄表示方法。

在重新配准的情况下，不必强制重新定义这些标志。尤其也可以使用之前确定的标志，这些标志仅“重新测量”或关联。

尤其，上述的拍摄表示方法呈计算机可读的存储介质上的指令的形式存储并且当由计算机读取并实施时，使得计算机实施方法步骤。

附图标记列表

1 外科手术辅助系统

2 内窥镜

2' 虚拟内窥镜

4 手柄

6 拍摄头

6' 虚拟拍摄头

8 手术监控器

10 存储单元

12 控制单元

14 配准单元

15 标志

15' 虚拟标志

16 跟踪系统

18 IMU

20 加速度传感器

22 转速传感器

24 医学器械

24' 虚拟医学器械

26 内窥镜的视场

26' 内窥镜的虚拟视场

100 手术室

S1 读取拍摄数据的步骤

S2 创建或检测体内拍摄的步骤

S3 在体内拍摄中检测至少一个标志的步骤

S4 在3D拍摄数据中确定对应的标志的步骤

S5 通过对应的标志进行配准的步骤

S6 产生关联表示的步骤

S7 检测内窥镜的移动的步骤

S8 通过传递所检测的移动来关联的步骤

S9 产生和输出更新的关联表示的步骤

B1 重新配准的条件？

B2 结束方法的条件？

P 患者

IA 体内拍摄

3DA 3D拍摄数据

K 关联表示。

Claims (14)

1.一种用于在患者(P)的外科手术中使用的外科手术辅助系统(1)，具有：

表示装置，尤其是手术监控器(8)，以用于表示可视内容，尤其是图像，

内窥镜(2)，尤其是视频内窥镜，具有优选远侧的成像的拍摄头(6)，所述拍摄头被设置并且适于创建所述患者(P)的体内拍摄(IA)，

数据提供单元，尤其是存储单元(10)，所述数据提供单元适于提供、尤其是整理和提供所述患者(P)的数字3D拍摄数据(3DA)，尤其是手术前的3D拍摄数据(3DA)，

控制单元(12)，所述控制单元适于处理所述内窥镜(2)的体内拍摄(IA)以及所述3D拍摄数据(3DA)，

其中，所述外科手术辅助系统(1)还具有：

配准单元(14)，所述配准单元适于在所述体内拍摄(IA)中检测至少一个、尤其是预定的解剖标志(15)和/或解剖取向以及确定在所提供的3D拍摄数据(3DA)中的对应的解剖标志(15')和/或取向并且通过所述对应的解剖标志(15、15')至少初始地将所述体内拍摄(IA)与所述3D拍摄数据(3DA)配准并且相对于所述患者(P)配准所述内窥镜(2)、尤其是所述拍摄头(6)，

跟踪系统(16)，所述跟踪系统适于连续地检测所述内窥镜(2)、尤其是所述拍摄头(6)的方位和/或取向和/或移动并且作为内窥镜移动数据提供给所述控制单元(12)，

其中，所述控制单元(12)还适于，产生具有所述体内拍摄(IA)的至少一个表示和所述3D拍摄数据(3DA)的视图的至少一个表示的关联表示(K)，在所述关联表示中，所述体内拍摄(IA)和所述3D拍摄数据(3DA)的视图关于所述内窥镜(2)、尤其是所述拍摄头(6)彼此关联，办法是：将所检测的内窥镜移动数据传递到在所述3D拍摄数据(3DA)的视图中的虚拟拍摄头(6')、尤其是虚拟内窥镜(2')的至少一个虚拟位置和/或取向，以用于关联移动，并且所述控制单元(12)适于通过所述表示装置可视地输出由此产生的关联表示(K)。

2.根据权利要求1所述的外科手术辅助系统(1)，其特征在于，所述跟踪系统(16)尤其被构造为内窥镜内部的跟踪系统(16)，并且所述内窥镜(2)、尤其是操作区段(4)和/或所述拍摄头(6)具有用于检测所述内窥镜移动数据的内窥镜内部的运动传感器，尤其是加速度传感器(20)和/或转速传感器(22)，尤其优选地具有惯性测量单元(18)。

3.根据权利要求1或2中任一项所述的外科手术辅助系统(1)，其特征在于，对于所述跟踪系统(16)，所述控制单元(12)适于通过对所述体内拍摄(IA)中的移动解剖结构的图像分析来确定所述内窥镜、尤其是所述拍摄头的移动。

4.根据权利要求2和3所述的外科手术辅助系统(1)，其特征在于，所述跟踪系统(16)具有被设置在所述内窥镜中的加速度传感器(20)和/或转速传感器(22)，尤其是惯性测量单元(18)，并且此外，所述控制单元(12)适于通过所述图像分析来检测所述内窥镜移动数据，其中，从所述内窥镜移动数据的两个结果中计算所述两个结果的组合值，尤其是适配的平均值或加权的值，作为内窥镜移动数据。

5.根据前述权利要求中任一项所述的外科手术辅助系统(1)，其特征在于，所述控制单元(12)适于，尤其是基于存储在所述存储单元(10)中的具有医学器械(24')的几何上预定义的结构的数据库，在所述体内拍摄(IA)中方位正确地识别至少一个医学器械(24)，并且优选地，所述控制单元适于在所述3D拍摄数据(3DA)的视图中方位正确地指示所识别的医学器械(24)，使得所述医学器械(24、24')在两个拍摄(IA、3DA)中被示出。

6.根据前述权利要求中任一项所述的外科手术辅助系统(1)，其特征在于，所述配准单元(14)除了所述初始配准外在至少一个另外的时间点执行重新配准，以便进一步提高所述关联的精度。

7.根据前述权利要求中任一项所述的外科手术辅助系统(1)，其特征在于，所述内窥镜(2)、尤其是所述内窥镜(2)的操作区段是机器人引导的，尤其是借助机器人臂，并且所述跟踪系统(16)通过所述机器人的、尤其是所述机器人臂的所属方位和/或取向和/或移动并且因此通过所述机器人确定所述内窥镜(2)、尤其所述拍摄头(6)的方位和/或取向和/或移动。

8.根据前述权利要求中任一项所述的外科手术辅助系统(1)，其特征在于，所述控制单元(12)适于在所述3D拍摄数据(3DA)和/或所述体内拍摄(IA)的表示中的关联表示(K)中，除了所述内窥镜(2；2')外还方位正确地示出存储在所述存储单元(10)中的预先规划的医学器械(24')和/或植入物、尤其是预先规划的套管针。

9.根据前述权利要求中任一项所述的外科手术辅助系统(1)，其特征在于，所述控制单元(12)适于在所述3D拍摄数据(3DA)的视图和/或所述体内拍摄(IA)的表示中的所述关联表示(K)中示出规划路径和/或注释，以便为外科医生指示朝向所述手术区的路径。

10.根据前述权利要求中任一项所述的外科手术辅助系统(1)，其特征在于，所述控制单元(12)适于将所述3D拍摄数据(3DA)的视图创建

作为3D场景，或者

作为相对于所述内窥镜(2)的图像坐标系和/或沿着所述内窥镜(2)的、尤其是所述拍摄头(6)的拍摄轴线的二维的横截面，或者

作为虚拟内窥镜图像。

11.一种用于尤其在根据权利要求1至10中任一项所述的外科手术辅助系统(1)中集中地关联地表示两个不同拍摄的拍摄表示方法，其特征在于步骤：

(S1)读取患者(P)的数字3D拍摄数据(3DA)、尤其是手术前的3D拍摄数据(3DA)；

(S2)通过内窥镜(2)创建或检测体内拍摄(IA)；

(S3)在所述体内拍摄(IA)中检测至少一个标志(15)和/或解剖取向；

(S4)在所述3D拍摄数据(3DA)中确定对应的标志(15')和/或取向；

(S5)通过至少一个所检测的对应的标志(15、15')和/或取向将所述3D拍摄数据(3DA)与所述体内拍摄(IA)配准；

(S6)产生具有所述体内拍摄(IA)的至少一个表示和所述3D拍摄数据(3DA)的视图的至少一个表示的关联表示(K)并且优选地通过所述表示装置输出所述关联表示(K)；

(S7)连续地检测所述内窥镜(2)的、尤其拍摄头(6)的方位和/或取向和/或移动；

(S8)将所述内窥镜(2)的、尤其所述拍摄头(6)的所检测的移动传递到在所述3D拍摄数据(3DA)的视图中的虚拟拍摄头(6')、尤其是虚拟内窥镜(2')的至少一个虚拟位置和/或取向上，并且

(S9)产生具有所述体内拍摄(IA)和所述3D拍摄数据(3DA)的更新的视图的至少一个更新的关联表示(K)并且通过所述表示装置输出所述关联表示(K)。

12.根据权利要求11的拍摄表示方法，其特征在于步骤：

根据所检测的标志和所确定的对应的标志，尤其是根据表面均衡，尤其相对于具有初始标志的初始解剖结构的形变确定实际解剖结构的形变，并且

将所确定的形变传递到所述3D拍摄数据中的虚拟解剖结构，以相应地适配和校正所述3D拍摄数据。

13.一种计算机可读存储介质，包括指令，所述指令在由计算机实施时使得所述计算机实施根据权利要求11或12所述的方法步骤。

14.一种医学消毒室，如手术室(100)，其特征在于，所述医学消毒室具有根据权利要求1至10中任一项所述的外科手术辅助系统(1)。