CN105208909A - 用于立体显示图像数据的方法和装置 - Google Patents

Abstract

本发明涉及一种用于立体显示图像数据的装置和方法，特别是用于在借助内窥镜实施的微创手术中三维显示图像信息的方法和装置。在此，首先借助传感器装置三维采集内窥镜的操作区域。根据通过传感器获得的3D数据，生成立体图像数据，并且在合适的显示装置上可视化。

Description

用于立体显示图像数据的方法和装置

技术领域

本发明涉及一种用于立体显示图像数据的方法和装置，特别是一种用于在微创手术中立体显示图像数据的方法和装置。

背景技术

在医学领域中，相对于对患者的开放式手术，内窥镜治疗和检查能够实现明显更温和的并且创伤更小的治疗。因此，该治疗方法变得越来越重要。在微创手术中，外科医生通过在患者身上的一个或多个相对小的入口将光学器械和手术器械(内窥镜)引入到患者身体中。外科医生由此可以借助手术器械执行检查和治疗。该过程同时可以通过光学器械监视。在此，简单的内窥镜允许通过内窥镜的窥视孔直接观看或者通过安装在内窥镜上的照相机和外部监视器观察待手术区域。在这种简单的内窥镜的情况下，不可以进行空间查看。如果内窥镜还具有能够从第二方向观察对象的第二观察通道，则通过借助两个窥视孔针对左眼和右眼向外引出两个方向，可以实现空间观看。因为在单个内窥镜的情况下，观察通道之间的距离通常非常小(一般最大为6mm)，所以这种立体内窥镜也仅在显微范围内提供非常有限的空间观看。因此，对于对应大约10cm的人眼距离的空间观察，需要实现另一个间隔开的进入通道。然而，因为用于附加的进入通道的在患者身体上的另一个开口与患者的另外的创伤相关联，所以应当尽量避免附加的进入通道。

因此，如果要在微创手术中通过单个内窥镜实现治疗区域的空间可视化，则必须在内窥镜的横截面内向外引出两个观察光路，或者替代地如上所述在内窥镜末端上安装两个互相间隔开的照相机。在这两种情况下，由于内窥镜的横截面非常有限，仅可以实现极低的空间分辨率，这导致显示区域的分辨率非常有限。

替代地，也可以借助数字系统对患者内部的治疗区域进行三维测量。文件DE102006017003A1例如公开了一种具有光学深度数据获取的内窥镜。在此，向治疗区域中照射调制光，并且基于接收到的光信号计算治疗空间的深度数据。

在此，在确定治疗空间内部的可用深度数据之后，外科医生还是不能直接空间观看治疗区域。外科医生必须基于在二维屏幕上显示的模型规划并实施其治疗步骤。

因此，存在对于更好地立体显示图像数据的需要，特别是存在对于在微创手术中立体显示图像数据的需要。

发明内容

本发明一方面实现一种用于在微创手术中立体显示图像数据的方法，具有以下步骤：至少部分地三维采集表面；建立至少部分地三维采集的表面的深度图；将所建立的深度图织构化；根据织构化的深度图计算立体图像数据；以及将所计算的立体图像数据可视化。

另一方面，本发明实现一种用于在微创手术中立体显示图像数据的装置，具有：传感器装置，设计用于至少部分地三维采集表面；用于建立深度图的装置，设计用于根据至少部分地三维采集的表面建立深度图；织构化装置，设计用于将所建立的深度图织构化；图像数据生成器，设计用于根据织构化的深度图计算立体图像数据；以及可视化装置，设计用于将所计算的立体图像数据可视化。

本发明的一个想法是，首先通过传感器三维采集非直接入口区域，并且根据该三维采集建立深度图形式的数字模型。根据该深度图于是可以以简单的方式自动为用户生成最佳匹配用户的眼距的立体图像数据。

在此，通过借助特殊传感器系统对观察区域进行三维测量，可以通过仅具有非常小的尺寸的传感器采集例如患者身体内部的非入口区域。这样采集的数据可以以简单的方式向外传送，而为此不需要具有特别大的横截面的内窥镜。

由此，实现对治疗区域特别好的空间采集，而为此不需要具有特别大的横截面的内窥镜或者通向患者身体内部的操作区域的另外的入口。

另一优点在于，这样的传感器系统能够以非常好的空间分辨率和对应地高数量的像素采集待采集的区域，因为内窥镜上的传感器仅需要单个照相机。因此，能够在仅给患者带来小创伤的情况下，以非常好的图像质量显示待监视的操作区域。

另一优点在于，根据传感器系统提供的三维数据能够生成最佳匹配用户的眼距的待监视区域的立体可视化。由此可以为用户准备图像数据的可视化，使得可以实现最佳空间采集。

另外有利的是，立体图像数据的计算与传感器对对象表面的三维采集无关地进行。由此还可以为用户提供偏离内窥镜的当前位置的治疗区域的立体显示。

通过根据三维采集的对象数据合适地准备深度图，由此可以为用户提供非常接近真实情况的治疗区域的显示。

按照一种实施方式，所计算的立体图像数据对应于用户两个眼睛的两个视线方向。通过与用户眼睛的视线方向对应地准备立体图像数据，可以实现对于用户最佳的治疗区域的立体可视化。

在一种实施方式中，深度图包括至少部分地三维采集的表面的空间点。这样的深度图使得能够对三维采集的表面非常好地进行进一步处理。

按照一种实施方式，连续实施对表面的三维采集，并且基于连续三维采集的表面匹配深度图。以这种方式可以连续补充并在必要时还修改深度图，从而逐步建立待观察区域的完整三维模型。由此在一段时间之后还可以提供关于起先由于遮挡等原因而未能采集的区域的图像信息。

在另一种实施方式中，根据本发明的方法包括步骤：提供其它图像信息以及将其它图像信息与所采集的三维表面合成。通过该三维采集的表面与其它图像数据的合成，能够实现对立体图像数据的特别好且逼真的可视化。

在一种特殊实施方式中，其它图像信息是诊断图像数据，特别是来自计算机断层成像、磁共振断层成像、X射线拍摄和/或超声波扫描的数据。这样的在治疗前或治疗期间建立并且与待观察治疗区域有关的诊断图像数据为治疗区域的准备和可视化提供了特别有价值的信息。这些图像数据例如可以直接由成像诊断装置或存储装置21提供。

在另一种实施方式中，在计算立体图像数据的步骤中计算对于预设视线方向的图像数据。该视线方向可以不同于具有用于三维采集表面的传感器的内窥镜的当前位置。由此可以实现对治疗区域的特别灵活的可视化。

在一种特殊实施方式中，根据本发明的方法还包括采集用户输入的步骤，其中，根据所采集的用户输入匹配预设视线方向。由此使用户可以专门按其需要匹配视线方向。

在根据本发明的装置的另一种实施方式中，传感器装置被安装在内窥镜上或中。

在一种特殊的实施方式中，内窥镜还包括至少一个手术器械。因此，可以通过单个入口同时实施手术操作并且在此对手术进行光学监视。

在本发明的一种实施方式中，根据本发明的装置包括传感器装置，该传感器装置具有飞行时间照相机(Time-of-Flight-Kamera)和/或用于三角测量的装置、特别是用于主动式三角测量的装置。通过这样的传感器装置可以实现对表面的特别好的三维采集。

在另一种实施方式中，传感器装置包括照相机、优选彩色照相机。由此，通过传感器装置除了获取表面的三维采集之外，还可以同时获取用于将治疗区域可视化的数字图像数据。

在另一种实施方式中，图像数据生成器计算对于预设视线方向的图像数据。

在一种特别的实施方式中，根据本发明的装置还包括输入装置，其被设计用于采集用户输入，其中，图像数据生成器基于用户输入计算对于视线方向的立体图像数据。

在另一种特别的实施方式中，输入装置在此采集用户移动，特别是用户采取的姿势。优选通过照相机采集该移动或姿势。

附图说明

从以下结合附图的描述中得到本发明实施方式的其它特征和优点。

对附图的简略描述：

图1示出了根据本发明的一种实施方式的用于立体显示图像数据的装置的示意图；

图2示出了根据另一种实施方式的根据本发明的装置的部件的示意图；

图3和4示出了用于立体可视化的监视器元件的示意图；以及

图5示出了基于根据本发明的另一种实施方式的用于立体显示图像数据的方法的示意图。

具体实施方式

图1示出了利用内窥镜进行微创手术的示意图，该内窥镜包括根据本发明的实施方式的用于立体显示的装置。在此，在患者身体2中，内窥镜12通过入口2d被引入到身体2b中。在此，在将入口2d相应密封之后，例如可以通过引入合适的气体扩大治疗空间2a。由此在治理对象2c前方形成足够大的治疗空间。在治疗空间2a中，通过内窥镜12可以一方面将传感器装置10，并且另外还将一个或多个手术器械11引入治疗空间。在此，手术器械11可以通过合适的装置11a从外部控制，以便在内部空间2a中执行治疗。

在此，通过传感器装置10对该治疗进行光学监视。该传感器装置10在此是可以三维采集治疗空间2a的表面以及在此特别地还有治疗对象2c的表面的传感器。传感器装置10例如可以是按照飞行时间照相机(ToF照相机)原理工作的传感器。在此，由光源发出调制的光脉冲，并且通过相应的传感器、例如照相机评估由表面散射和反射的光。基于光的传播速度于是可以建立三维模型。

替代地，传感器装置10例如也可以执行三角测量，以便确定表面在治疗空间2a中的三维位置。原则上，例如可以借助被动式三角测量通过两个分离的照相机进行这种三角测量。然而，因为在被动式三角测量中在低对比度的表面(例如肝)的情况下，对应问题的解决很困难并且3D数据密度非常低，所以优选进行主动式三角测量。在此，由传感器装置10在治疗空间2a的表面上投影已知的图案(Muster)，并且所述表面在此被照相机拍摄。优选借助可见光在表面上投影已知图案。然而，附加地或替代地，也可以利用可见光波长范围之外的光照射操作区域，例如利用红外线或紫外线。

通过比较由照相机拍摄的治疗空间2a的表面上的图案与投影仪发出的已知的理想图案，于是可以三维采集和评估治疗空间2a的表面。

在此，还可以与三维采集表面同时或交替地，由照相机常规采集治疗空间2a及其表面。以此方式可以采集治疗空间2a相应的彩色图像或黑白图像。在此，优选还可以将传感器装置10的光源同时用于照亮治疗空间2a，以便获得常规图像数据。

由传感器装置10采集的关于治疗空间2a中的表面的三维位置的数据以及由照相机采集的彩色图像数据或黑白图像数据被向外传输，并由此提供用于进一步处理，特别是可视化。

图2示出了用于将如例如根据结合图1所描述的例子生成的立体图像数据可视化的装置的示意图。在此，传感器装置10采集位于传感器装置10的可视区域中的表面以及其各个表面点在空间中的三维位置。如上所述，在此还可以与三维采集空间点同时或交替地，借助黑白或彩色照相机常规采集图像数据。关于空间点的三维位置的信息于是被传送到用于建立深度图的装置20。该用于建立深度图的装置20评估来自传感器装置10的关于表面点的三维位置的信息，并且据此产生深度图，其包括关于由传感器装置10采集的空间点的三维位置的信息。

因为传感器装置10仅具有有限的可视区域，并且还例如由于治疗空间2a中的突起而使一些子区域起先由于遮挡而不能被采集，所以在开始三维采集治疗空间2a中的表面时，深度图首先或多或少具有大的空隙。通过进一步由传感器装置10连续采集治疗空间2a中的表面，随着时间推移，特别是当传感器装置10在治疗空间2a内移动时，所建立的深度图越来越完整。由此，在一段时间后，在该深度图中也具有关于当前因为例如位于可视区域外或阴影下而不能被传感器装置10采集的空间点的信息。另外，通过由传感器装置10连续采集表面，还可以在深度图中修改表面的变化。由此，深度图始终反映治疗空间2a中的表面的当前存在的状态。

在深度图中存在的治疗空间2a的表面的空间点被传送到织构化装置30。在此，织构化装置30必要时可以将来自深度图的信息与内窥镜黑白照相机或彩色照相机的图像数据合成。织构化装置30根据深度图的空间点产生具有连续表面的三维对象。通过合成深度图的三维空间数据与内窥镜照相机数据，在此可以按需要给表面合适地上色或画阴影。

另外，还可以包括附加的诊断图像数据。例如在手术前就已经可以由治疗区域建立影像。为此，例如适合使用诸如计算机断层成像(CT)、磁共振断层成像(MR或MRT)、X射线拍摄、超声波扫描等的成像诊断方法。同样还可以考虑，必要时在治疗期间通过合适的成像诊断方法生成附加信息，其可以一起流入图像生成处理。

在根据深度图的空间数据和必要时其它图像数据在织构化装置30中执行治疗空间2a的表面的织构化(Texturierung)之后，将这样准备好的信息传送给图像数据生成器40。该图像数据生成器40根据织构化的三维信息产生立体图像数据。该立体图像数据包括至少两个彼此稍微交错的图像，其考虑了人类观察者的眼距。在此，所使用的两个眼睛之间的距离通常是大约80mm。当假设待观察的对象位于观察者眼睛前大约25cm时，观察者在此获得特别好的空间感。然而，原则上也可以是能够针对观察者实现针对待观察对象的空间感的其它参数。图像数据生成器40由此根据预设视线方向计算出至少两个图像数据组，其中，两个图像数据组的视线方向的区别在于观察者的眼距。这样生成的图像数据于是被传送给可视化装置50。如果可视化装置50为进行空间显示还需要其它信息或数据，则其同样可以通过图像数据生成器40生成和提供。

在此，所有适合为观察者的两个眼睛分别提供不同的图像信息的装置都适合作为可视化装置50。可视化装置50例如可以是3D监视器或者是为用户的两个眼睛显示不同的图像数据的特殊眼镜。

图3示出了用于3D监视器的第一实施方式的一段像素的示意图。在此，在屏幕上并排交替地布置了对于左眼的图像点51和对于右眼的图像点52。由于布置在这些图像点51和52之前的分瓣光圈(Schlitzblende)53，左眼和右眼在此分别仅看到为其确定的图像元素，而分别对于用户另一眼睛的图像点由于各自的视线方向而被分瓣光圈53遮挡。

图4示出了3D监视器的替代形式。在此，在对于左眼的图像点51和对于右眼的图像点52前分别布置了小透镜54，其使对于左眼和右眼的光路偏转，同样使得每个眼睛仅看到为相应眼睛确定的图像点。

此外，原则上，所有其它类型的具有3D能力的监视器也是可以考虑和适合的。因此，例如也可以使用对于左眼和右眼分别发出具有不同偏振的光的监视器。然而，在此用户必须佩戴具有合适的偏振过滤器的眼镜。即使在监视器交替为左眼和右眼输出图像数据的情况下，用户也必须佩戴合适的光闸眼镜(Shutterbrille)，其与交替显示的图像同步地分别仅为左眼和右眼交替地释放指向监视器的视线。然而，由于佩戴眼镜而带来的舒适度损失，按照图3和4的原理工作的可视化装置相比要求用户佩戴特殊眼镜的显示系统更能被用户所接受。

因为深度图和随后的织构化如前所述逐渐越来越完整，所以在一段时间后呈现治疗空间2a几乎完整的模型，其也包含关于目前不可见和被遮挡区域的信息。因此，对于图像数据生成器40也可以生成来自与传感器装置10的当前位置不一致的观察角度的图像数据。因此，例如也可以在可视化装置50上显示治疗空间2a的示图，其或多或少偏离传感器装置10的当前位置，并且也偏离同样布置在内窥镜上的手术器械11。在深度图足够完整之后，用户几乎可以任意预设所希望的视线方向。特别是通过将来自深度图的空间信息与内窥镜照相机的其它图像数据和附加诊断图像信息合成，由此可以在可视化装置50上给用户显示非常接近被打开的身体的示图的示图。

为了在手术期间更好地定向，用户因此可以按照其希望任意预设和改变视线方向。这例如特别有助于在待治疗的器官上找到特定位置或者通过识别特定血管等辅助在对应器官上的定向。

在此可以通过合适的输入装置41进行所希望的视线方向的预设。该输入装置41例如可以是键盘、计算机鼠标、摇杆、轨迹球等。然而，因为用户在手术期间通常必须以双手操作内窥镜和其所包含的手术工具11，所以在许多情况下没有空闲的手操作输入装置41来控制要预设的视线方向。因此，在优选实施方式中也可以无接触地控制视线方向。例如可以通过语音控制执行对视线方向的控制。另外也可以借助预设的特殊移动来控制视线方向。例如用户可以通过采取特定姿势来控制所希望的视线方向。特别是可以考虑监视和评估用户的眼睛移动。基于所采集的眼睛移动于是为立体显示匹配视线方向。然而，监视用户的其它身体部分来控制视线方向同样可行。优选通过照相机监视和评估用户的这些移动或姿势。替代地，在语音控制的情况下，输入装置41可以是麦克风。但是也可以考虑其它可能性来控制预设的视线方向，例如通过脚的移动等。

图5示出了基于本发明的用于立体显示图像数据的方法100的示意图。在第一步骤110中，首先至少部分地三维采集治疗空间2a的表面。如前所述，治疗空间2a的表面的该三维采集可以通过任意适合的传感器10进行。进一步，在步骤120中基于对对象表面的三维采集建立深度图。所建立的深度图包含三维采集的表面的空间点。因为传感器装置10仅具有有限的视角，另外可能部分区域由于遮挡而首先不能被采集，所以所建立的深度图在开始时首先可能不完整。通过在治疗空间2a内移动内窥镜并由此也移动传感器装置10，可以连续三维采集表面的其它空间点，并且将这些信息一起集成到深度图中。在所采集的表面发生变化时，同样可以在深度图中修改对应的信息。

在利用至少部分地三维采集的表面建立深度图之后，在步骤130中利用在深度图中现有的空间点执行织构化。必要时可以将该织构化与现有的来自传感器装置10的照相机的其它图像数据和/或诸如计算机断层成像、磁共振断层成像、超声波扫描或X射线的成像方法的其它诊断图像信息集成到一起。以此方式首先产生治疗空间2a的表面的三维彩色图像或黑白图像。根据这样织构化的深度图，于是在步骤140中计算立体图像数据。该立体图像数据包括来自预设视线方向的至少两个示图，其中，示图根据观察者的眼距而不同。最后，在步骤150中将先前计算的立体图像数据在合适的显示设备上可视化。

在此可以任意地匹配基于步骤140中的立体图像数据的计算的视线方向。对于计算立体图像数据的视线方向特别是可以不同于传感器装置10的视线方向。为调节基于步骤140中的立体图像数据的计算的视线方向，根据本发明的方法可以包括另一步骤，其中，采集用户输入，随后根据用户输入匹配用于计算立体图像数据的视线方向。在此优选无接触地进行用户输入来匹配视线方向。例如可以通过评估预设的用户姿势来进行用户输入。

综上所述，本发明涉及一种用于立体显示图像数据的装置和方法，特别是用于在借助内窥镜实施的微创手术中三维显示图像信息的方法和装置。在此，首先借助传感器装置三维采集内窥镜的手术区域。根据传感器获得的3D数据生成立体图像数据，并且在合适的显示装置上可视化。

Claims (15)

1.一种用于在微创手术中立体显示图像数据的方法(100)，具有以下步骤：

至少部分地对表面进行三维采集(110)；

建立(120)至少部分地三维采集的表面的深度图；

将所建立的深度图织构化(130)；

根据织构化的深度图计算(140)立体图像数据；

将所计算的立体图像数据可视化(150)。

2.按照权利要求1所述的方法(100)，其中，所计算的立体图像数据对应于用户的两个眼睛的两个视线方向。

3.按照权利要求1或2所述的方法(100)，其中，深度图包括至少部分地三维采集的表面的空间点。

4.按照上述权利要求1至3中任一项所述的方法(100)，其中，连续执行对表面的三维采集(110)；并且基于对表面的连续三维采集匹配深度图。

5.按照上述权利要求1至4中任一项所述的方法(100)，还包括以下步骤：提供其它图像信息，以及将所述其它图像信息与所采集的三维表面合成。

6.按照权利要求5所述的方法(100)，其中，所述其它图像信息包括诊断图像数据，特别是来自计算机断层成像、磁共振断层成像、X射线拍摄、超声波扫描的数据。

7.按照上述权利要求1至6中任一项所述的方法(100)，其中，计算立体图像数据的步骤计算预设视线方向的图像数据。

8.按照权利要求7所述的方法(100)，还包括采集用户输入的步骤，其中，基于所采集的用户输入匹配所述预设视线方向。

9.一种用于在微创手术中立体显示图像数据的装置(1)，具有：

传感器装置(10)，设计用于至少部分地三维采集表面；

用于建立深度图的装置(20)，设计用于根据至少部分地三维采集的表面建立深度图；

织构化装置(30)，设计用于将所建立的深度图织构化；

图像数据生成器(40)，设计用于根据织构化的深度图计算立体图像数据；以及

可视化装置(50)，设计用于将所计算的立体图像数据可视化。

10.按照权利要求9所述的装置，其中，所述传感器装置(10)布置在内窥镜(12)中。

11.按照权利要求10所述的装置，其中，所述内窥镜(12)还包括至少一个手术器械(11)。

12.按照权利要求9至11中任一项所述的装置，其中，所述传感器装置(10)包括飞行时间照相机和/或用于三角测量的装置、特别是用于主动式三角测量的装置。

13.按照权利要求9至12中任一项所述的装置，其中，所述图像数据生成器(40)计算预设视线方向的图像数据。

14.按照权利要求13所述的装置，还包括输入装置(41)，其被设计用于采集用户输入；其中，所述图像数据生成器(40)基于用户输入计算视线方向的立体图像数据。

15.按照权利要求14所述的装置，其中，所述输入装置(41)采集用户的移动，特别是用户的姿势。