CN107452050B - 用于多感官展示物体的方法和展示系统 - Google Patents

Abstract

本发明涉及一种用于多感官展示物体(O)的方法，所述方法带有如下步骤：首先提供物体(O)的多维数字模型数据(D)。基于物体(O)的多维数字模型数据(D)的至少一个部分制造真实三维物体模型(M)。然后检测真实三维物体模型(M)的位型。最后通过AR显示装置(30)根据物体模型(M)的位型显示物体(O)的多维数字模型数据(D)的至少一个部分(DD、ID)。此外描述了适合于此的展示系统(1)。

Description

用于多感官展示物体的方法和展示系统

技术领域

本发明涉及用于多感官地展示物体的方法和适合于多感官地展示物体的展示系统。

背景技术

在实时地由计算机生成的交互的、完全的或部分的虚拟环境中展示且同时感觉真实性及其物理特征称为虚拟现实(Virtual Reality，VR)或增强现实(Augmented Reality，AR)。通常在此主要是代替真实性的视觉成分。在增强现实中，例如真实环境与虚拟物体或附加地与虚拟信息叠加。使用者可与所展示的虚拟元素交互，例如旋转或转动虚拟元素，或对于虚拟元素进行放缩。为此，使用者通常佩戴AR眼镜，如例如在文献US 2013/0162673中所描述。所展示的虚拟物体虽然可因此具有关于细节和信息的超越真实性的程度，但所展示的虚拟物体当然不可触及。

另一方面已知了3D打印机。以此3D打印机可生成带有几乎任意结构的物体。对此可基本上使用多种材料。当然，实际用于制造物体的材料的数量由于3D打印机的类型或由于成本原因而限制到少数材料。因此，借助于3D打印机例如以逼真的设色来制造真实物体的模型目前是困难的或至少是不经济的。可实现的模型根据其类型是静态的且通常是不透明的。因此借助于可单个制造的真实模型的资源，位于内部的细节的动态的可改变的设色和可见的展示是困难的或目前不可实现的。

发明内容

因此，本发明的任务是给出用于展示物体的方法和用于展示物体的展示系统，以此实现对于物体的光学和触觉感知。

此任务通过按照本发明的用于多感官展示物体的方法和按照本发明的的展示系统解决。

前述用于多感官地展示物体的方法具有至少如下步骤：首先提供物体的多维数字模型数据。然后，基于物体的多维数字模型数据的至少一个部分制造真实三维物体模型。在随后的步骤中检测真实三维物体模型的位型。最后，显示物体的多维数字模型数据的至少一个部分。在此根据物体模型的位型且通过“AR显示装置”进行显示。AR显示装置理解为如下设备，即所述设备形成为再现或显示AR内容(增强现实内容)。

根据本发明的方法因此提供了多感官展示，即以多个感觉(视觉、触觉)可感知的物体输出。待展示的物体可以是任意物体。但优选地待展示的物体是难以接近的物体，在本发明的范围内有利地可在很大程度上与所述物体自由地交互。多维数字模型数据在下文中也简称为模型数据。所述模型数据给出了物体的数字模型(数字物体模型)。所述模型数据因此实现了物体的数字描述，例如通过代表了物体的点堆的空间坐标的文件。数字模型可例如自身是图像点阵，即三维像素图，或是物体的向量模型，其中通过合适的算法也可进行从离散的点到可放缩的线和面的过渡。

多维数字模型数据因此包括描述了物体的单独的元素的形状和布置的结构数据。所述结构数据例如至少描绘了物体的表面。优选地，颜色数据和关于物体的另外的特征的数据也可与所述结构数据特别地在空间上关联。

对于提供，模型数据例如可在方法开始前已通过合适的方式被存储，或直接对于方法例如通过CAD软件(计算机辅助设计)被建模。但模型数据也可基于例如以3D照相机(立体照相机、TOF照相机等)拍摄的物体的三维图像数据。基于的意义是，相应的数据，例如图像数据和/或CAD数据，一方面由模型数据包括，另一方面其他同样被模型数据包括的数据，例如修改的结构数据等也可从其导出。多维数字模型数据因此形成了统一的总模型，其中也包括例如构造数据、功能数据、动态数据、修改的结构数据等。

也可在方法前已存储例如具有基础模型的形式的模型数据的仅一部分，且对于方法，为匹配基础模型，产生模型数据的另外的部分。

基于物体的三维模型数据的至少一个部分，也就是特别地在使用数字模型的条件下制造真实三维物体模型。三维模型数据的所使用的部分优选地包括物体的结构数据。也就是在制造时尽可能逼真地描绘物体的触觉或结构特征，如外部形状。

所制造的真实物体模型现在可由操作者触摸、旋转且根据愿望定位。在此，以合适的措施，也就是例如以传感器或照相机检测物体模型的位型，即其位置和定向。因此例如产生真实三维物体模型的图像数据，将所述图像数据与三维模型进行比较且将其记录到数字模型上。

由此例如借助该比较，取决于物体模型的位型进行显示。在此，模型数据的一部分虚拟地显示在物体模型上，其中此数据优选地补充或增强了真实物体模型。以此方式，例如可将也由模型数据包括的颜色数据显示在真实物体模型上。可一方面透明地进行显示，使得例如可感知物体模型的真实阴影投射，另一方面物体模型也可以被不透明地叠加，使得选择地截取相应的图像区域且将其完全地以虚拟展示覆盖。优选地三维地进行显示，即从模型数据生成的三维图像数据在透视上正确地在真实物体模型上被显示。

例如可使用投影仪的系统作为AR显示装置，其中投影仪分别从不同的方向将三维图像数据投影到物体模型上。替代地，AR显示装置也可实施为典型的AR眼镜或AR头盔的形式。与通过投影仪的显示相比，在此显示仅对于操作者且仅从操作者的视角进行。三维物体模型以及重叠在其上的虚拟显示因此间接或直接地基于相同的模型数据或同一个数字模型。在此，虚拟显示不仅在尽可能真实展示的方面补充了真实物体模型；而且虚拟显示提供了如下可能性，即除真实物体模型信息外也展示信息且因此实现真实性增强的展示。

前述用于物体的展示系统因此形成为执行根据本发明的用于展示物体的步骤。为此，展示系统具有至少一个存储装置、制造设备、物体检测单元以及AR显示装置。

根据本发明的展示系统的关键部件，特别是显示计算单元，可在主要部分上形成为软件部件的形式。但基本上，这些部件也可部分地特别在涉及快速计算的情况下实现为具有软件支持的硬件的形式，例如FPGA等。所需的接口，例如在仅涉及从另外的软件部件接收数据时，也可形成为软件接口。但所述接口也可形成为硬件方面构建的、通过合适的软件控制的接口。

在很大程度上在软件方面的实现的优点是，目前已使用的部件也可以模块化地继续使用，且以简单的方式通过软件更新可改装，以便按照根据本发明的方式工作。就此而言，任务也通过相应的带有计算机程序的计算机程序产品解决，所述计算机程序可通过程序直接载入到展示系统的展示设备的存储装置中，其带有程序部分以在所述程序在展示设备内实施时执行根据本发明的方法的所有步骤。此计算机程序产品除计算机程序外如需要也包括附加的组成部分，例如文档和/或也包括硬件部件的附加部件，例如用于使用软件的硬件秘钥(加密狗等)。

为运输到展示设备和/或为在展示设备上或内存储，可使用计算机可读介质，例如存储条、硬盘或其他可运输的或固定安装的数据载体，在所述数据载体上存储由展示设备的计算机单元可读入的且可执行的计算机程序的程序部分。计算机单元可例如为此具有一个或多个可协作的微处理器等。

本发明的另外的特别有利的构造由从属权利要求以及如下的描述中得到，其中一个权利要求类型的独立权利要求也可类似于另外的权利要求类型的从属权利要求扩展，且特别地不同的实施例或变体的单独的特征也可组合为新的实施例或变体。

所述的根据本发明的方法因此提供的可能性是，形象地展示物体且通过在现实增强中展示的信息可容易地检测自身复杂的涉及物体的关系。为此，不要求接近待展示的物体或根本不要求所述物体真实地存在。可仅需要提供物体的模型数据。因此，方法特别地适合于展示处在身体内部的物体，其中多维数字模型数据优选地基于物体的图像数据，所述图像数据借助于优选地医疗技术上的成像方法得到，所述成像方法在此可获得身体内部的图像数据。

身体在此一般地为较大的、包括物体的总体，但优选地为患者的身体。相应地，物体优选地为患者的内部器官。所成像的方法因此提供了身体的内部的图像数据，即所述图像数据将身体的内部结构描绘为三维的体积数据组。此成像方法的示例是计算机断层成像(CT)、磁共振断层成像(MRT)、超声波以及正电子发射断层成像(PET)。在此，图像数据组也可由这些方法的组合产生。

对此可明显且形象地展示位于身体内部内的物体，即优选地患者内部的器官，而不损伤身体。由可触摸的物体模型和虚拟显示组成的组合使得例如手术者在侵入性手术前已可与所涉及的器官的尽可能逼真的展示交互且因此可进行手术计划。

优选地，多维数字模型数据基于物体的三维图像数据，所述三维图像数据通过软件、特别地优选地通过CAD程序产生。如已提及，因此对于根据本发明的方法不要求真实存在的物体，而是以所需要的细节程度代表了物体的虚拟地得到的图像数据足矣。

特别地优选地，多维数字模型数据也包括物体内部的图像数据自身。此数据可一方面在制造真实物体模型时被考虑，使得真实物体模型不仅具有表面上的而且具有内部内的尽可能精确的结构。另一方面，此数据在虚拟显示时实现了在物体模型的表面下方的直至一定深度，观察者的侵入印象。与纯表面展示相比，因此也可显示和/或考虑位于表面下方的结构，例如用于手术计划。

有利地，多维数字模型数据可包括功能和/或动态数据。动态数据在时间历程上改变，即例如在固定的序列中或如需要取决于交互改变。功能数据代表了物体的功能和/或特征。功能数据和动态数据一般地都不容易在真实物体上可见。因此，所述功能数据和/或动态数据成为在显示时对于真实感知的虚拟增强。因此，例如将液体或气体流量作为向量展示和/或将空间温度分布及其时间历程以人造颜色在显示中在真实物体上可视化。

优选地，功能数据和/或动态数据基于成像方法。因此，可例如通过功能MRT，通过所谓的BOLD对比(血氧水平依赖对比)检测患者的脑电波，且如需要也在时间历程中在患者的脑部的真实物体模型上显示。也可以此方式将患者的血管内和/或心脏内的血流作为虚拟显示在相应的真实物体模型上展示。

优选地，功能和/或动态数据基于仿真。因此例如通过合适的软件对于物体的待展示的参量或特征得到虚拟模型。例如，在根据所谓的有限元法(FEM)的仿真的情况中，众所周知将物体划分为单独的单元且因此通过限定的边界条件对于差分方程或差分方程组进行数值求解。以此方法可通过考虑物体的结构和外部边界条件确定例如温度、材料应力等参量的空间历程且如需要确定其时间历程。对于仿真方法的另外的示例是BEM(边界元方法)、FDTD(时域有限差分法)等。所确定的参量然后作为显示数据在空间上关联地在物体显示上，例如通过人造颜色展示显示。观察者因此可有利地在物体上直接得到涉及参量的信息。

特别地优选地，因此此外也检测真实三维物体模型的状态，且将三维物体的多维数字模型数据附加地取决于真实三维物体模型的状态进行显示。真实物体模型的状态在此描述了特殊的特征，例如实际的真实温度。但作为状态也可检测真实物体模型是否变形，即例如是否弯曲。物体模型的状态因此可特别地也作为外部边界条件引入到前述FEM仿真中。此外，作为真实物体模型的状态，可检测物体模型是否尚完整或例如物体模型的部分区域是否被观察者移除。多维数字模型数据因此一般地与真实物体模型的实际状态相匹配。

优选地，基于标记检测真实三维物体模型的位型且如需要其状态。所述标记例如可作为光学标记安置在物体模型上和/或也以解剖标志的形式被检测。对于标记的另外的示例是可引入到物体模型内的RFID芯片(射频识别芯片)，LED和/或用于非光学的跟踪方法的装置，例如磁性跟踪或声学跟踪。

AR显示装置优选地包括多个投影仪，或优选地由投影仪形成。投影仪理解为幻灯机，所述幻灯机将以图像数据的形式传递的图像作为光图像投影到表面上。为此，投影仪以相互限定的投影方向布置。以此，AR显示特别地优选地从所有侧在真实物体模型上进行。这使得不仅观察者而且所有处在空间内的人员可感知真实物体模型上的AR显示，而不要求对于每个观察者的分开的AR显示装置。

优选地，真实三维物体模型借助于3D打印机和/或CNC机制造。CNC机在此如3D打印机也由计算机支持进行数字控制(计算机数字控制)。如前所述，这两个制造设备低成本地提供了如下可能性，即根据数字模型因此例如基于所存在的多维数字模型数据相对简单地实现真实三维物体模型。特别地，通过3D打印机可有利地建立以现有的另外的机器难于或根本无法制造的复杂的形状。所提及的固有缺点，即在此无法简单且廉价地实现逼真的颜色展示，根据本发明通过虚拟地显示模型数据所包括的颜色数据被克服。

为此，特别优选地使得真实三维物体模型的触觉特征基本上对应于物体的触觉特征。即，物体的将被触摸检查的特征，例如物体表面结构、刚度等在建立物体模型时尽可能逼真地复现。因此，可例如在相应的3D打印方法的情况中通过所使用的聚合物的交联度确定刚度。聚合物的交联度对此例如通过入射光的强度被光反应地调节。因此建立的真实物体模型可使用根据本发明的方法触觉且视觉地不仅尽可能真实地被感知，而且在增强现实中通过AR显示也向观察者展示附加的信息。

附图说明

本发明在下文中通过根据实施例参考附图进一步详细解释。在此，在不同的图中相同的部件提供以相同的附图标号。附图通常不按比例。各图为：

图1示出了根据本发明的用于多维展示物体的方法的实施例的示意性方框图，

图2示出了根据本发明的方法的展示系统的实施例的示意性方框图，

图3示出了类似于图2中的展示系统，但带有AR显示装置的替代的构造，

图4示出了AR显示装置的另外的实施例的粗略示意图，

具体实施方式

在图1中在八个步骤中示例地图示了根据本发明的方法的方框图。对于设备特定的附图标号参考图2，所述图2将在下文中随后详述。在第一步骤I中通过MRT扫描器2检测患者的身体K内的心脏O的图像数据BD作为物体O。图像数据BD在此包括结构数据以及心脏的动态运动数据和流过心脏的血液流动数据。此外，检测可视化的生理数据，例如EKG信号。

基于这些数据且通过添加另外的存储的数据，例如作为心脏的一般配色方案的颜色数据，在第二步骤II中得到心脏O的个体统一的数字模型及其动态特征。数字模型在此可基于测量得到。替代地，数字模型可附加地基于或也仅基于通过CAD软件得到的虚拟模型。数字模型在此基于体素，其中每个体素(体积图像点)与笛卡尔坐标(x、y、z)相关，且和与之空间相关的数据关联。数字模型在此总体上以多维数字模型数据D的形式在存储装置12内预备。

在第三步骤III中，基于多维数字模型数据D产生心脏O及其特征的AR可兼容的展示。从心脏O的多维数字模型数据D在第四步骤IV中产生具有文件格式(STP、VRML、3MF、CNC)的构造数据KD，所述构造数据KD适合于通过3D打印机3制造真实心脏模型M作为心脏O的真实物体模型。在随后的第五步骤V中，以3D打印机进行心脏模型M的建立。在此，步骤III可与步骤IV和V并行地执行。

因此所制造的心脏模型M在第六步骤VI中现在可被观察者B检查且操纵。观察者B可根据需要将心脏模型M定位，优选地也将其变形，例如压弯曲等，且在其上完全实施侵入手术。并行地，通过作为AR显示设备30的AR头盔30附加地显出基于多维数字模型数据的所谓的AR元素，所述AR元素将真实心脏模型M进行增强现实展示。根据预先限定的或实际限定的调节或根据观察者B的选择，这些元素可以以可调节的透明程度因此部分地直至完全地重叠在心脏模型M上被显示。心脏模型M于是可光学地完全虚拟地被感知，使得所述心脏模型M真实地基本上仅通过触觉被检测。

作为AR元素在此可根据观察者B的调节和选择将所提供的多维数字模型数据D的所有部分如需要也组合地显示。因此，可例如同时以一定的透明度逼真地将颜色显示在心脏模型M的表面上，而将心室和血管内期待的血液流动速度可视化。特别地，也可将心脏模型M的可能真实存在的区域虚拟地隐去，即展示心脏模型M内的虚拟的切开部。例如温度和/或液体流量的其他参量的时间演变也可薄膜状地在心脏模型M的扩展中展示。为此，显示自动地在离散的时间间隔(帧)内更新，但所述展示由观察者B作为连贯的图像序列感知到。

如所述，观察者B对于心脏模型M的位型且如需要也对于其状态进行影响，且在此也改变心脏模型M的位型或其自身的透视。与显示相关的改变在第七步骤VII中被检测。为此，AR头盔具有摄像机31、32，所述摄像机检测具有心脏模型M的虚拟数据VD的形式的图像数据。心脏模型M为此具有附加的标记，所述标记已在步骤IV中被考虑且在步骤V中被连同制造或构建。

为记录心脏模型M的位型改变或状态改变，第七步骤VII具有四个子步骤VII.1、VII.2、VII.3、VII.4。在第一子步骤VII.1中，验证位型的改变，即相对于空间参考系从先前的位置和定向的偏离。在否定的情况N中，即在未记录到改变时，以第二子步骤VII.2继续。其中检验观察者B的视角的改变。为检测观察者的视角，AR头盔30具有措施，例如标记，以检测在空间参考系内观察者B的视线。在否定的情况N中，即在此处也未记录到改变时，以第三子步骤VII.3继续。其中检验是否应显示薄膜状地展示的AR元素的新的帧。在否定的情况N中，即在不要求更新时，方法以子步骤VII.4继续，所述子步骤VII.4将在下文中进一步描述。

在步骤VII.1至VII.3的肯定的情况Y中，即在检测到相应的改变时，方法以第八步骤VIII继续。其余的子步骤在此情况中因此不进行，但检测相应的改变用于显示的更新。在第八步骤VIII中，相应地且基于所检测到的改变重新计算且渲染待显示的AR元素。被更新的AR元素在重新进行第六步骤VI时被显示，其中观察者B可进行在心脏模型M上的另外的操纵。

在最后的第四子步骤VII.4中检验用于展示的方法是否应结束。这可例如基于观察者的输入决定。在否定的情况N中，重复进行子步骤VII.1至VII.4，直至在第八步骤VIII中重新渲染AR元素。在肯定的情况中中，方法结束。

图2示例地示出了根据本发明的展示系统1的粗略的示意性方框图，也示意性地图示的观察者B与之交互。展示系统1包括：中央展示设备10和作为外周部件的、作为医疗成像模态的MRT装置2，作为制造设备3的3D打印机3，以及作为AR显示装置30的AR头盔30。

MRT装置2采集患者身体K的原始数据RD，且特别地为作为物体O的心脏O的原始数据RD。原始数据RD通过原始数据接口21传递到展示设备10的重构装置11处。重构装置11从原始数据RD重构数据图像BD且将其存储在存储装置12内。重构装置11经常也与MRT装置2相关，使得展示设备10通过合适的接口直接接收图像数据BD。在存储装置12内优选地也预备另外的数据，如添加到图像数据BD的对于物体O的配色方案和/或待匹配的基础模型。总体而言，因此从图像数据BD得到心脏O的统一的数字模型作为待展示的物体。数字模型以多维数字模型数据D的形式存储在存储装置12内。多维数字模型数据D中包括心脏O的功能数据FD和结构数据SD、SD’、SD”，所述结构数据给出了组织部分相互间的空间布置且也给出了其详细的内部结构和特征。

用于制造物体模型M而修改的结构数据SD’的数据组传递到构造规定单元13。修改的结构数据SD’包括涉及附加信息的标记，所述标记在随后的制造中应被连同制造。构造规定单元13将结构数据SD’转化为具有适合于3D打印机3的格式的构造数据KD。构造数据KD通过制造接口22传递到3D打印机处。3D打印机根据构造数据KD制成心脏的真实3D模型，所述真实3D模型在下文中称为心脏模型M。

心脏模型M从形状和结构上(可能除了附加的标记)是患者的心脏O的逼真的复制。可由观察者B任意地相应地根据图1描述的方法步骤VI观察且操纵心脏模型M。在操纵期间以合适的传感器检测心脏模型M的位置和定向,作为模型数据MD。在光学标记的情况下，使用照相机、例如后文中将描述的CCD传感器32与AR头盔30的物镜31用于检测，在RFID芯片的情况中，使用相应的读装置等。所检测的模型数据MD通过模型检测接口23传递到模型检测单元16。模型检测单元16在空间参考系中评估模型数据MD且由此确定涉及心脏模型M的位置和定向的位型数据LD。此外，例如通过温度传感器和/或另外的合适的传感器检测心脏模型M的状态数据ZD，所述状态数据ZD涉及如温度、变形等的特征。

从存储装置12将用于显示不变数据ID的修改的结构数据SD”传递到结构规定单元15。修改的结构数据SD”除结构信息外包括不随操纵的时间历程改变的另外的数据，例如对于心脏模型M的配色方案。结构规定单元15将修改的结构数据SD”转化为具有适合于AR显示的格式的不变数据ID，且将所述不变数据ID传输到显示计算单元18处。

存储装置12此外将结构数据SD和功能数据FD传递到动态规定单元14。动态规定单元14将结构数据SD和功能数据FD组合且通过使用状态数据ZD计算具有适合于AR显示的格式的动态数据DD，且将所述动态数据DD传递到显示计算单元18处。动态数据DD因此允许例如AR显示当前的温度、变形下的材料应力以及流动展示等。

此外，检测AR头盔30的位型和定向。此检测可通过与检测模型数据MD相同的传感器进行。所述传感器将相应的数据也通过AR检测接口24转达到视角检测单元17处。所述视角检测单元17通过使用空间参考系也确定了观察者B的视角且将相应的视角数据PD转达到显示计算单元18处。

显示计算单元18附加地从AR头盔30通过AR图像接口25获得了从观察者视角的视觉数据VD，以及通过输入接口26获得了观察者B的手动输入E。通过使用视觉数据VD、不变数据ID、动态数据DD、位型数据LD和视角数据PD，显示计算单元18根据预先限定的调节或根据观察者B的手动输入E计算显示数据AD。显示数据AD因此反映了从观察者B的视角的心脏模型M的景象，所述心脏模型M通过展示设备10被添加虚拟的AR元素。显示数据AD通过AR图像接口25传递到AR头盔30处。

AR头盔30具有显示接口33以用于接收显示数据AD且用于传递视觉数据VD。视觉数据VD通过照相机设备31、32拍摄。照相机设备为此包括物镜31作为光学成像系统，所述物镜31将心脏模型M从观察者B的视角成像到CCD传感器32上。CCD传感器32与显示接口33连接，将在其上成像的图像转化为视觉数据VD，且将所述视觉数据VD通过显示接口33传输到展示设备10处。视觉数据VD也可同时用作模型数据MD，且因此也被传递到模型检测接口23处。显示数据AD通过显示接口33传输到显示器34上，所述显示器34将所述显示数据AD转化且作为图像展示。以AR元素增强的心脏模型M的图像通过光学系统35成像到投影面36上，且在此处由观察者B可见以用于视觉感知W。

在图3中展示了类似于图2中的展示系统1，但在此带有AR头盔30’的替代的构造。展示系统1的其余部件，特别是展示设备10保持不变。在修改的AR头盔30’的情况下，在物镜31后方在AR头盔30’的光轴A上安置了选择性的逐像素的关闸37。关闸37基于显示数据AD将应通过AR元素替代的图像区域隐去，这通过所述关闸37在此区域内不透明来实现。相对于光轴A的45°角在光轴A上从被观察的心脏模型M来看在关闸37后方布置了半透明的镜子38。此镜子38可使带有隐去的区域的图像通向在所述半透明的镜子38后方布置在光轴A上的光学系统35。垂直于光轴A且与半透明的镜子38成45°角布置了显示器34’，所述显示器34’将在其上展示的图像从半透明的镜子38投射到光学系统35上。显示器34’基于显示数据AD现在以AR元素补充了由关闸37选择性地隐去的心脏模型M的区域，使得又得到通过AR元素增强的完全的图像。所述图像通过光学系统35成像到投影面36上以被观察者B视觉感知。

图4示例性地且示意地示出了带有四个投影仪39的AR显示装置30”的替代的实施例。投影仪39在空间中相互布置为使得所述投影仪具有带有共同的投影中心的定义的投影方向。心脏模型M处在透视中心，在所述心脏模型M上由投影仪39投射了AR元素。投影仪39在此布置为使得根据显示数据AD在心脏模型M的所有表面上进行组合的共同的投影，所述显示数据AD由根据本发明的显示设备10(在此未图示)传递。心脏模型M和所显示的AR元素因此可以以有利的方式由一个或多个观察者B操纵且通过视觉感知W被检测。如上所述，心脏模型M在空间内的位置和定向例如由合适的照相机检测，作为模型数据MD且由此导出位型数据LD。通过使用位型数据LD，投影仪39的投射的图像在其投影区域内与心脏模型M的位置和定向匹配。如需要，投影仪39也相应地电动地定向，使得投影仪39以其投影区域跟踪心脏模型M的位置。

最后，应再次指出的是，此处详细描述的设备和方法仅涉及实施例，所述实施例由专业人员以不同的方式可修改，而不偏离本发明的范围。特别地，可不仅将心脏的图像数据，而且将另外的内部器官(例如脑部、肝部、骨等)的图像数据以及非生命物体(例如，管道内的阀等)的另外的图像数据用作根据本发明的基础。此外，不定冠词“一”或“一个”的使用不排除所涉及的特征也多重地存在。在本发明的范围内，以一次根据本发明制造的物体模型可例如当然反复地执行检测和显示的步骤。概念“元素”也不排除所涉及的部件由多个协作的子部件形成，所述子部件如需要也可在空间上分布开。

Claims (18)

1.一种用于多感官展示患者的解剖物体的方法，所述方法带有如下步骤：

-根据医疗成像方法操作医疗成像扫描器，以获得患者的解剖物体的功能和/或动态数据，用于生成所述解剖物体的三维图像数据；

-向处理器提供所述三维图像数据，并且在所述处理器中，使用所述患者的所述解剖物体的所述三维图像数据，来生成所述患者的所述解剖物体的多维数字模型数据；

-从所述处理器操作制造设备，以制造所述患者的所述解剖物体的真实三维物体模型，所述制造设备从由3D打印机和CNC机构成的组中选择；

-检测所述患者的所述解剖物体的所述真实三维物体模型的位型；以及

-向增强现实显示装置提供所述患者的所述解剖物体的所述多维数字模型数据以及表示所述真实三维物体模型的所述位型的电子信号，并且在所述增强现实显示装置处，根据所述患者的所述解剖物体的所述真实三维物体模型的所述位型，作为所述功能和/或动态数据的虚拟增强，显示所述解剖物体的所述多维数字模型的至少一个部分，其中，所述功能和/或动态数据的所述虚拟增强叠加在所述解剖物体的所述真实三维物体模型上。

2.根据权利要求1所述的方法，所述方法包括：在所述处理器中通过执行CAD程序生成所述多维数字模型数据。

3.根据权利要求1所述的方法，其中所述多维数字模型数据包括所述解剖物体内部的图像数据。

4.根据权利要求1所述的方法，其中所述功能和/或动态数据基于成像方法。

5.根据权利要求1所述的方法，其中所述功能和/或动态数据基于仿真。

6.根据权利要求1所述的方法，所述方法包括：在所述患者的所述真实三维解剖物体上安置标记，并且基于所述标记检测所述患者的所述解剖物体的所述真实三维物体模型的位型。

7.根据权利要求6所述的方法，其中，所述标记从由光学标记和RFID标记构成的组中选择。

8.根据权利要求1所述的方法，所述方法包括：在所述处理器中附加地检测所述患者的所述解剖物体的所述真实三维物体模型的状态，并且附加地取决于所述真实三维物体模型的所述状态，在所述增强现实显示装置处显示所述多维数字模型数据的所述部分。

9.根据权利要求1所述的方法，所述方法包括：在所述虚拟增强显示装置处，使用多个投影仪，来显示所述多维数字模型数据的所述部分。

10.根据权利要求1所述的方法，所述方法包括：所述增强现实显示装置与所述患者的所述解剖物体的触觉特征对应地展示所述患者的所述解剖物体的所述真实三维物体模型的触觉特征。

11.根据权利要求1所述的方法，其中，所述功能和/或动态数据表示所述解剖物体的不容易可见的功能和/或不容易可见的特征。

12.根据权利要求11所述的方法，其中，所述不容易可见的功能和/或不容易可见的特征包括以下中的至少一个：液体流量，气体流量，温度，以及空间温度分布。

13.根据权利要求1所述的方法，其中，所叠加的所述功能和/或动态数据的虚拟增强至少部分是透明的。

14.根据权利要求1所述的方法，其中，所叠加的所述功能和/或动态数据的虚拟增强是不透明的。

15.根据权利要求1所述的方法，其中，所述功能和/或动态数据表示所述解剖物体的非结构方面。

16.根据权利要求1所述的方法，其中，所述功能和/或动态数据表示所述解剖物体的不容易可见的非结构方面。

17.一种用于多感官展示患者的解剖物体的展示系统，所述展示系统包括：

-医疗成像扫描器，根据医疗成像方法操作所述医疗成像扫描器，以获得患者的解剖物体的功能和/或动态数据，用于生成所述解剖物体的三维图像数据；

-处理器，向所述处理器提供所述三维图像数据，所述处理器被配置为，使用所述患者的所述解剖物体的所述三维图像数据，来生成所述患者的所述解剖物体的多维数字模型数据；

-制造设备，所述处理器操作所述制造设备，以制造所述患者的所述解剖物体的真实三维物体模型，所述制造设备从由3D打印机和CNC机构成的组中选择；

-检测器，所述检测器检测所述患者的所述解剖物体的所述真实三维物体模型的位型；以及

-增强现实显示装置，向所述增强现实显示装置提供所述患者的所述解剖物体的所述多维数字模型数据以及表示所述真实三维物体模型的所述位型的电子信号，并且所述增强现实显示装置根据所述患者的所述解剖物体的所述真实三维物体模型的所述位型，作为所述功能和/或动态数据的虚拟增强，显示所述解剖物体的所述多维数字模型的至少一个部分，其中，所述功能和/或动态数据的所述虚拟增强叠加在所述解剖物体的所述真实三维物体模型上。

18.一种计算机可读取介质，在所述计算机可读取介质上存储由计算机单元可读取且可执行的程序部分，以当所述计算机程序部由计算机单元执行时执行根据权利要求1至16中任一项所述的方法的所有步骤。

Images