CN117237524A - 用于提供对象的三维模型的方法和设备 - Google Patents

用于提供对象的三维模型的方法和设备 Download PDF

Info

Publication number
CN117237524A
CN117237524A CN202310703135.3A CN202310703135A CN117237524A CN 117237524 A CN117237524 A CN 117237524A CN 202310703135 A CN202310703135 A CN 202310703135A CN 117237524 A CN117237524 A CN 117237524A
Authority
CN
China
Prior art keywords
model
providing
volume data
data
image synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310703135.3A
Other languages
English (en)
Inventor
塞巴斯蒂安·克吕格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN117237524A publication Critical patent/CN117237524A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及用于提供通过体积数据表示的对象的三维模型的方法和设备。在此使用图像合成算法，所述图像合成算法构成用于通过将体积数据映射到二维可视化图像的可视化像素上来使三维对象可视化。求取用于操控图像合成算法的参数集，所述参数集适合于借助图像合成算法基于体积数据集产生多个不同的可视化图像的集。还通过借助图像合成算法利用参数集映射体积数据来产生多个不同的可视化图像的集。还基于多个可视化图像的集计算3D模型。

Description

用于提供对象的三维模型的方法和设备
技术领域
本发明涉及用于产生和提供真实的三维对象的虚拟的三维模型(3D模型)的方法和设备。在此，提供3D模型以用于再现给用户以及由用户使用，所述用户可以根据3D模型使对象的不同的视图显示。
背景技术
三维对象的建模、重建或可视化在领域医学(例如CT、PET)、物理学(例如大分子的电子结构)或地球物理学(地层的性质和位置)中具有广泛的应用范围。通常，待检查的对象被照射(例如借助于电磁波或声波)，以便检查所述对象的性质。探测散射辐射并且从所探测的值中确定对象的特性。通常在物理变量(例如密度、组织类型、弹性、速度)中产生结果，针对对象求取所述物理变量的值。在此，通常使用虚拟网格，在所述虚拟网格的网格点处求取变量的值。所述网格点通常称为体素。术语“体素”是由术语“体积”和“像素”形成的合成词。体素对应于网格点的空间坐标，所述空间坐标相关联有所述位置处的变量的值。在此通常涉及物理变量，所述物理变量可以表示为标量或矢量场，即对应的场值与空间坐标相关联。对象的如此获得的数据也称为体积数据。通过体素的内插，可以获得任意对象点处(即所检查的对象的任意位置点处)的变量或场的值。
为了使体积数据可视化，通常从体素中产生对象或身体在二维显示面(例如屏幕或所谓的“增强现实眼镜”的盘或透镜)上的三维显示。换言之，(以三个维度限定的)体素被映射到二维可视化图像的(以两个维度限定的)像素上。可视化图像的像素在下文中也称为可视化像素。映射通常称为体积渲染(体积再现)。与体积再现的执行相关的是，如何借助于像素再现在体素中包含的信息。
用于体积再现的最广泛使用的方法中的一个方法是所谓的光线投射(参见Levoy：“Display of Surfaces from Volume Data”，IEEE Computer Graphics andApplications，第8版，第3期，1988年5月，第29-37页)。在光线投射中，从假想的观察者的眼睛发出的模拟的射线通过所检查的身体或所检查的对象发送。沿着射线，从体素中为采样点确定RGBA值，并且借助于Alpha复合或Alpha混合而合成用于二维图像的像素。在此，在表述RGBA中，字母R、G和B代表颜色分量红、绿和蓝，由其组成对应的采样点的颜色贡献。A代表ALPHA值，其表示用于采样点处的透明度的量度。在将采样点处的RGB值叠加至像素时使用相应的透明度。通常在称为“浓淡处理”的方法的范围内借助于照明模型来考虑照明效果。
用于体积再现的另一方法是所谓的Path-Tracing或路径跟踪方法(参见Kajiya：“The rendering equation”，ACM SIGGRAPH Computer Graphics，第20版，第4期，1986年8月，第143-150页)。在此，对于每个可视化像素，将多个模拟的射线射到体积数据中，然后所述模拟的射线与体积相互作用，即反射、折射或吸收，其中每次生成至少一个随机射线(吸收的情况除外)。因此，每个模拟的射线通过体积数据寻找其路径(英文：path)。每个可视化像素使用的虚拟射线越多，就越接近理想的图像。在此，尤其可以应用EP 3178 068B1中描述的方式和方法。在此，EP 3 178 068 B1的内容通过引用整体并入本发明。
在实现用于交互式体积再现的系统中的主要技术障碍是对大数据量的快速、高效和本地处理。恰好在具有有限的计算能力或图形能力的设备上，快速的体积渲染是一个挑战。这种设备的示例是移动设备，例如智能手机或平板电脑。所述设备通常配备有节能处理器(“System on a Chip(片上系统)”)，与现代PC相比，所述节能处理器具有比较低的计算能力。此外，体积再现系统的可移植性通常受限，因为不仅体积再现算法而且体积数据必须移植以用于本地使用。由于数据量和出于数据安全性的原因，这通常是不可行的。此外，找到用于产生合适的可视化图像的合适的参数通常是不容易的，以及对于最终用户难以概览，因为最终用户通常不是用于体积再现的方法的专家。
这引起，通过最终用户的交互式体积再现通常仅是受限的或甚至是不可行的。在通常情况下，仅将各个可视化图像提供给用户。然而，恰好在医学领域中重要的是，用户如女医生或男医生可以自由地改变体积再现中的视图。通常，由此仅可以实现基本事实的理解。
发明内容
本发明的目的是，提出在所述方面改进的方法和设备，所述方法和设备尤其为用户确保三维对象的体积再现的更好的可移植性和交互性。
所述目的和其他目的借助根据本发明的实施例的方法、设备、计算机程序产品或计算机可读的存储介质来实现。有利的改进方案在下述描述中说明。
在下文中，所述目的的根据本发明的解决方案不仅在所要求保护的设备方面而且在所要求保护的方法方面予以描述。在此提及的特征、优点或替选的实施方式同样也可以转用于其他所要求保护的主题，并且反之亦然。换言之，实体性的权利要求(所述权利要求例如针对设备)也可以借助于结合方法描述或要求保护的特征来改进。在此，所述方法的对应的功能特征通过对应的实体模块构成。
根据一个方面，提供计算机实现的用于提供通过体积数据表示的三维对象的3D模型的方法。所述方法具有多个步骤。一个步骤旨在提供体积数据。另一步骤旨在提供图像合成算法，所述图像合成算法构成用于通过将体积数据映射到二维可视化图像的可视化像素上来使三维对象可视化。另一步骤旨在求取用于操控图像合成算法的参数集，所述参数集适合于借助图像合成算法基于体积数据集产生多个不同的可视化图像的集。另一步骤旨在通过借助图像合成算法利用参数集映射体积数据来产生多个不同的可视化图像的集。另一步骤旨在基于多个可视化图像的集来计算3D模型。另一步骤旨在(为用户)提供3D模型。
体积数据可以具有多个体素。体素(“体积像素”或三维像素)是表示三维(3D)空间中的规则网格上的值的体积元素。体素类似于表示二维(2D)图像数据的像素。与像素一样，体素本身通常不包含其在空间中的位置(所述体素的坐标)，而是所述体素的坐标基于所述体素相对于其他体素的位置(即所述体素在形成单个的体积图像的数据结构中的位置)导出。体素的值可以表示三维对象的不同的物理特性，例如局部密度。例如，在计算机断层扫描记录(CT扫描)中，所述值以亨氏单位表示，所述值表示被映射的材料关于X射线的不透明度。借此，体积数据描述对象体积中的三维对象。体积数据尤其可以说明对象体积中的三维对象的(尤其不均匀的)密度。
体积数据尤其可以通过医学成像方法来提供。成像方法例如可以基于X射线透视、计算机断层扫描(CT)、磁共振断层扫描(MR)、超声和/或正电子发射断层扫描(PET)。对应地，三维对象可以是患者的身体或身体部位。在此，三维对象可以包括患者的一个或多个器官。
图像合成算法尤其可以理解为计算机程序产品，所述计算机程序产品构成用于将体积数据映射到二维投影面上或对三维对象进行体积再现或对三维对象进行体积渲染。在此，投影面通过可视化图像给出。图像合成算法可以具有用于处理器的呈一个或多个指令形式的程序组成部分，所述处理器用于计算可视化图像。例如，用于图像合成算法的其他术语是“渲染器”、“渲染算法”或“体积渲染器”。例如可以通过如下方式来提供图像合成算法：将所述图像合成算法保存在存储装置中或加载到合适的数据处理装置的工作存储器中或一般性地提供所述图像合成算法用于应用。
在此，图像合成算法可以单独地或以组合的形式实现用于使体积数据集可视化的不同的方法。例如，图像合成算法可以具有光线投射模块和/或路径跟踪模块。图像合成算法将体积数据映射到可视化像素上。
根据所选择的设定(参数)，图像合成算法对于可视化图像可以实现特定的视图、视角、场景照明、传递函数、体积数据的一个或多个区域的透明度、通过体积数据的剖面、体积数据内的感兴趣区域，和/或用于渐显到可视化图像中的一个或多个附加信息。在此，传递函数包括显示参数。所述显示参数将特定的颜色、透明度、对比度、照明度、锐度等等与三维体积中的每个值相关联。通常而言，显示参数影响输出给用户的可视化图像中的对应对象类型的对象的显示类型。
可视化图像是体积再现过程的二维结果。可视化图像由多个可视化像素组成。与体积数据一样，可以存储可视化图像。
参数集是用于图像合成算法的如下输入参数：基于所述输入参数，图像合成算法可以产生体积数据的一个或多个可视化图像。换言之，参数集可以理解为用于图像合成算法的控制指令集。换言之，在参数集中可以对在各个可视化图像中分别实现哪些视图、视角、场景照明、传递函数、透明度、剖面等进行编码。
尤其地，参数集可以预设N个不同的可视化图像的产生。N在此可以大于或等于6，优选地大于10，更优选地大于20，以及更优选地大于50。
在3D计算机图像学中，3D建模是开发对象的任意表面在三维中的数学的和基于坐标的显示的过程。三维(3D)模型例如通过如下方式来表示物理对象：所述三维模型使用3D空间中的如下点的集合：所述点通过不同的几何单元如三角形、线、弯曲的表面等连接。所述三维模型的表面可以通过纹理映射(英文：Texture Mapping)进一步限定。3D模型尤其可以具有比体积数据更低的存储需求。
因此，3D模型表示对象的数字的或虚拟的模型。3D模型尤其表示对象的数字的或虚拟的视图模型。基于3D模型，可以通过3D渲染产生二维图像。3D模型的渲染在此通常比体积数据的渲染更简单。因此，通过由用户操纵3D模型，可以从不同的视图中无级地观察3D模型。
在计算3D模型时，从尤其显示对象的不同的视图的各个可视化图像中进行3D模型的三维重建。在此，可视化图像仅表示离散视图，在计算3D模型时可以经由所述离散视图进行内插。由单个图像计算3D模型原则上是已知的。
3D模型例如可以作为数据集来提供。3D模型尤其可以存储在存储装置中并从而被提供。3D模型尤其可以被提供以用于下载。3D模型还可以通过例如经由互联网和/或内联网的传输来提供。
通过基于渲染的体积数据的3D模型提供可以同时便携地和交互地可视化的数据集。在此，通过借助图像合成算法对所基于的体积数据进行渲染的步骤，可以确保对于基于3D模型的可视化的高图像质量。同时，减少产生可视化图像的数据量和复杂性，这改进了对于最终用户的可传输性和应用友好性。换言之，体积数据鉴于其三维可视化通过使用图像合成算法和计算3D模型来预处理、压缩、优化和编码。
根据一个方面，计算3D模型的步骤通过摄影测量学来进行。
在示例性的实施方式中，通过摄影测量学的计算包括从二维数据(即可视化图像)中提取三维尺寸。例如，位于平行于图像平面的平面上的两个点之间的间距可以通过测量其在可视化图像中的间距来确定，因为比例是已知的。此外，为了计算3D模型的目的，可以提取颜色区域和/或颜色值，如反照率、镜面反射、金属度或环境遮盖这种变量。
通过摄影测量学，可以以简单的和可靠的方式从可视化图像中产生3D模型。
根据一个方面，所述集具有分别表示三维对象的不同视图的多个不同可视化图像。
通过提供不同视图，可以有效地产生3D模型。
根据一个方面，3D模型实现为表面模型。
换言之，表面模型意味着，3D模型的表面被纹理和颜色占据并且例如是不透明的。这种设计方案适合于3D模型的随后的再现和通过最终用户的进一步使用，因为所述模型因此限制于基础数据，此外所述基础数据可以通过最终用户简单地解释。
根据一个方面，所述方法还包括提供用于待创建的3D模型的要求简档的步骤，其中所述要求简档说明待创建的3D模型的一个或多个特性，其中在求取参数集的步骤中，附加地基于要求简档来求取参数集。
要求简档例如可以被预先确定。提供要求简档还可以包括：从多个不同的选择要求简档中选择。在此，选择要求简档例如可以分别涉及3D模型的不同的使用目的。要求简档可以涉及3D模型的与具体的数据集无关的上级特性，例如数据体积、在3D模型中可用的对象的视图或3D模型的分辨率。要求简档还可以与体积数据相关。因此，低分辨的体积数据通常需要与更高分辨的体积数据不同的可视化图像以用于产生3D模型。因此，要求简档也可以基于体积数据来提供。
如果基于要求简档确定参数集，则可以有针对性地提供用于操控图像合成算法的合适的参数。由此可以自动地产生引起具有期望的特性的3D模型的这种可视化图像。
根据一个方面，参数集具有第一参数化和第二参数化。第一参数化涉及体积数据的(上级的)映射特性(或构成用于规定所述映射特性)。第二参数化构成用于借助相同的第一参数化产生三维对象的多个不同的视图，以便如此产生所述集的多个不同的可视化图像。
通过划分成第一参数化和第二参数化，可以产生不同的可视化图像，所述不同的可视化图像虽然显示对象的不同的视图，但是具有相同的全局映射特性，如场景照明、颜色、透明度、对比度、照明度、锐度等。由此可以产生连贯的可视化图像集，这使3D模型的计算变得容易。
根据一个方面，第一参数化包括用于将体积数据映射到可视化图像上的传递函数和/或三维对象的分割和/或剪辑蒙版(Clippingmaske)。
传递函数在此包括显示参数。所述显示参数将特定的颜色、透明度、对比度、照明度、锐度等等与体积数据中的每个值相关联。通常而言，显示参数影响输出给用户的可视化图像中的对应的对象类型的对象的显示类型。
剪辑蒙版例如可以实现为剪辑平面或其他类型的剪辑面，借助所述剪辑蒙版可以截掉对象的各个组成部分和从而通过图像合成算法将所述组成部分从体积再现中排除。因此，例如当通过剪辑蒙版截掉外部面时，可以看到对象体积。
分割可以包括：辨识体积数据中的至少一个区域，由此所述区域在体积再现中可以与所述区域外的其余体积数据不同地处理。
通过使用统一的传递函数或分割或剪辑蒙版，不仅可以确保可视化图像的统一外观，而且也可以在3D模型中实施分割和/或剪辑效果。
根据一个方面，所述方法包括提供用户的偏好用以体积再现的步骤，其中基于用户的偏好产生参数集。
偏好例如可以包括最终用户的优选的映射特性。这例如可以包括优选的场景照明、特定的颜色、透明度、对比度、照明度、锐度、剪辑面、分割等等。偏好尤其可以包括优选的传递函数和/或优选的第一参数化。
通过考虑用户偏好，不仅可以考虑用户的个性化喜好，而且用户也可以一起决定在产生3D模型时应考虑对象的哪些部分。因此，所述用户可以通过偏好、例如剪辑平面进行设置，以便看到对象的内部。
根据一个方面，提供偏好包括：为用户提供多个不同的示例可视化图像以用于选择，其中示例可视化图像中的每个示例可视化图像借助不同的映射特性或不同的第一参数化来产生；以及接收通过用户对示例可视化图像中的一个示例可视化图像的选择；以及基于所选择的示例可视化图像的映射特性和/或第一参数化确定偏好。示例可视化图像尤其可以同样基于体积数据利用图像合成算法来产生。
由此，用户可以以简单的方式规定偏好，而不必关心图像合成算法的复杂的设定可行性。
根据一个方面，提供体积数据、提供图像合成算法、求取参数集、产生所述集和计算3D模型的步骤在第一计算装置中进行。在提供的步骤中，将3D模型提供给第二计算装置，所述第二计算装置与第一计算装置不同，其中第二计算装置尤其包括便携式的用户终端设备。
第一计算装置可以构成为中央或分散计算装置。第一计算装置尤其可以实现为本地或基于云的处理服务器。第一计算装置可以具有一个或多个处理器。处理器可以构成为中央处理单元(对此的英文专业表述是“central processing unit”，简称CPU)和/或图形处理器(对此的英文专业表述是“graphics processing unit”，简称GPU)。
第二计算装置可以构成为客户端或用户客户端。第二计算装置可以具有用户界面，经由所述用户界面，最终用户可以与3D模型相互作用以及可以显示3D模型的不同的视图。用户界面为此可以具有输入设备、例如触敏的屏幕或计算机键盘，和输出设备、如屏幕。第二计算装置可以具有一个或多个处理器。处理器可以构成为中央处理单元(对此的英文专业表述是“central processing unit”，简称CPU)和/或图形处理器(对此的英文专业表述是“graphics processing unit”，简称GPU)。第二计算装置可以构成为所谓的单芯片系统(对此的英文专业表述是“system-on-a-chip”，简称SoP)，所述单芯片系统控制设备的所有功能。计算装置尤其可以构成为便携式用户终端设备，例如笔记本电脑、平板电脑或智能手机。
换言之，包括可视化图像的渲染的相对耗费的3D模型的计算可以在高性能的计算装置中进行。随后，3D模型可以被提供给具有较低计算性能的计算装置。在第二计算装置处，仅必须基于3D模型对于最终用户进行可视化。由于更小的数据量，这比基于体积数据的可视化更简单。因此，计算耗费的和在通过用户的调整中复杂的步骤在第一计算装置中离线地执行。由此可以简单地传输对于体积数据的可视化必要的信息，以及在第二计算装置中通过用户的简单的和交互的可视化是可行的。
根据一个方面，提供包括经由互联网将3D模型从第一计算装置传输至第二计算装置。
通过经由互联网的传输，可以进行3D模型的灵活的提供和从而进行改进的访问。
根据一个方面，图像合成算法实现路径跟踪方法或光线投射方法。
通过这种方法，可以产生特别逼真的可视化，这提升整个方法的使用。所述方法虽然在应用中是复杂的；然而，通过根据本发明转换成3D模型，所述方法可以通过最终用户简单地使用并且本质上提供良好的可视化。
根据一个方面，体积数据通过医学成像方法来产生并且表示患者的一个或多个器官。所述方法还包括提供与患者相关联的患者信息的步骤，其中基于患者信息产生参数集。
患者信息可以包括与患者和/或患者的体积数据相关联的医学信息。患者信息例如可以说明或涉及或包含患者的一个或多个身体部位和/或一个或多个器官。患者信息例如还可以说明或涉及或包含患者的或患者的身体部位或器官的一个或多个诊断结果。换言之，患者信息可以显示：体积数据的哪些方面对于相应的患者是特别相关的并从而可以在产生可视化图像时对应地予以考虑和/或突出。
通过考虑患者信息，参数集和从而可视化图像可以特定地匹配于对于患者相关的应用情况。因此可以确保，体积数据的相关部分也包含在3D模型中。
根据一个方面，患者信息可以包括结构化或未结构化的包含一个或多个文本元素的文件或数据。
根据一个方面，患者数据包括患者的医学诊断结果报告和/或患者的电子病历和/或用于通过用户为患者创建诊断结果的诊断任务。
在所述患者信息中，尤其可以表示由体积数据表示的患者的身体部位和/或器官。在所述患者信息中的提及可以对应地表明，所述身体部位和/或器官对于3D模型是相关的并且应对应地考虑。
根据一个方面，在提供的步骤中，将3D模型作为其他患者信息以及尤其作为(电子)医学诊断结果报告的一部分提供给患者。
由此，3D模型与患者相关联并且存档，并且可以用于稍后的使用。
根据一个方面，所述方法还包括基于患者信息确定用于在3D模型中显示的至少一个选择器官的步骤，以及产生用于体积数据的分割掩码(Segmentierungsmaske)以分割至少一个选择器官的步骤，其中在产生的步骤中，附加地基于分割掩码产生多个不同的可视化图像。
尤其地，可以从患者信息中提取至少一个选择器官的说明。为此，例如可以使用已知的计算机语言算法，所述计算机语言算法构成用于识别在患者信息中包含的文本元素以及将含义赋予所述文本元素。
换言之，通过评估患者信息可以自动地进行体积数据的分割。由此可以针对医学应用情况计算3D模型。
根据一个方面，患者信息具有与三维对象相关的注释，其中在产生的步骤中，将注释插入到3D模型中。
注释例如可以涉及在体积数据中表示的患者的至少一个身体部位和/或器官。注释例如可以包括为体积数据编制的测量和/或记录。例如，可以在相应的身体部位和/或器官的空间附近将注释插入到3D模型中。替选地，注释可以插入到可视化图像中。
由此，3D模型可以富含有附加信息，所述附加信息然后与3D模型一起被提供。
根据一个方面，在查看应用程序中提供3D模型，所述查看应用程序使用户能够选择和查看3D模型的不同的视图。
例如，查看应用程序可以构成用于计算3D模型的二维可视化图像。查看应用程序还可以构成用于接收旨在选择3D模型的视图的用户输入，并且基于用户输入将所选择的视图提供为3D模型的可视化图像。查看应用程序尤其可以构成用于在第二计算装置中运行。
通过提供为查看应用程序，可以实现具有交互操作的3D模型的简单的再现。
根据一个方面，查看应用程序实施现为网页应用程序(Web-Applikation)。这具有查看应用程序的简单的访问和轻量级的实现方案的优点。
根据一个方面，在提供3D模型的步骤中，3D模型可以在存储装置中被提供以用于下载。
存储装置例如可以构成为云存储器。替选地，存储装置可以构成为本地存储器。提供以用于下载尤其可以意味着，使3D模型在存储装置中可供用户访问。
提供的步骤例如可以包括产生用于直接访问在存储装置中被提供以用于下载的3D模型的链接(Link)和提供所述链接。尤其可以在查看应用程序中提供链接或可以经由所述查看应用程序调用所述链接。由此不仅可以实现3D模型的简单的再现而且可以实现对于用户的良好的可访问性。
根据一个实施方式，所述方法还包括提供被训练的函数的步骤，所述被训练的函数构成用于基于体积数据(和可选地患者信息和/或要求简档和/或用户偏好)来求取用于操控图像合成算法的参数集，所述参数集适合于借助图像合成算法基于体积数据集产生多个不同的可视化图像的集，其中在求取参数集的步骤中，通过应用被训练的函数(应用到体积数据和可选地患者信息和/或要求简档和/或用户偏好上)来求取参数集。
被训练的函数通常将输入数据映射到输出数据上。在此，输出数据尤其还可以与被训练的函数的一个或多个参数相关。被训练的函数的一个或多个参数可以通过训练来确定和/或调整。确定和/或调整被训练的函数的一个参数或多个参数尤其可以基于训练输入数据和相关联的训练输出数据构成的对，其中被训练的函数应用到训练输入数据上，以产生训练映射数据。尤其地，确定和/或调整可以基于训练映射数据和训练输出数据的比较。通常，可训练函数，即具有尚未调整的参数的函数也被称为被训练的函数。
用于被训练的函数的其他术语是被训练的映射规则、具有被训练的参数的映射规则、具有被训练的参数的函数、基于人工智能的算法、机器学习的算法。被训练的函数的示例是人工神经网络。替代术语“神经网络”，也可以使用术语“神经网”。神经网络基本上如生物神经网、例如人脑来构造。人工神经网络尤其包括输入层和输出层。所述人工神经网络还可以包括在输入层与输出层之间的多个层。每个层包括至少一个、优选地多个节点。每个节点可以理解为生物处理单元、例如神经元。换言之，每个神经元对应于应用于输入数据上的运算。一个层的节点可以通过边或连接与其他层的节点连接，尤其通过有向的边或连接来与其他层的节点连接。所述边或连接限定网络的节点之间的数据流。边或连接与通常称为“权重”或“边权重”的参数相关联。所述参数可以调节第一节点的输出对第二节点的输入的重要性，其中第一节点和第二节点通过边连接。
尤其可以训练神经网络。尤其地，基于训练输入数据和相关联的训练输出数据训练神经网络根据“监督”学习技术(英文专业术语是“supervised learning”)来执行，其中将已知的训练输入数据输入到神经网络中，并且将由网络生成的输出数据与相关联的训练输出数据进行比较。只要最后的网络层的输出数据与训练输出数据不充分对应，人工神经网络就学习并且独立地调整用于各个节点的边权重。
尤其地，被训练的函数也可以是深度人工神经网络(英文专业术语是“deepneural network”或“deep artificial neural network”)。根据一些实现方案，被训练的函数具有神经网络和尤其卷积神经网络。用于卷积神经网络的英文专业术语是：convolutional neural network。卷积神经网络尤其可以构成为深度卷积神经网络(英文专业术语是“deep convolutional neural network”)。在此，神经网络具有一个或多个卷积层(英文专业术语是“convolutional layer”)和一个或多个反卷积层(英文专业术语是“deconvolutional layer”)。神经网络尤其可以包括池化层(英文专业术语是“poolinglayer”)。通过使用卷积层和/或反卷积层，可以将神经网络特别高效地用于导出参数集，因为尽管在节点层之间存在多个连接，然而仅必须确定少的边权重(即对应于卷积核的值的边权重)。借此，在相同数量的训练数据的情况下，也可以改进神经网络的精度。尤其表明，卷积神经网络可以很好地处理作为输入数据的体积数据。
用于训练被训练的函数的数据集例如可以包括训练输入数据和训练输出数据。训练输入数据包括体积数据和可能患者信息和/或要求简档和/或用户偏好。训练输出数据包括(经验证的)用于输入到图像合成算法中和用于产生多个可视化图像的训练参数集。训练参数集例如可以由不仅熟悉图像合成算法而且熟悉对用于计算3D模型的可视化图像的要求的专业人员来提供。
通过使用被训练的函数，可以高效自动地产生参数集。与基于规则的产生相比，使用被训练的函数具有如下优点：通过训练，被训练的函数能够实现对不同事实的动态适配。
根据一个方面，提供用于提供被训练的函数的方法，所述被训练的函数构成用于提供参数集，借助所述参数集可以操控用于产生3D模型的图像合成算法。所述方法具有多个步骤。第一步骤旨在提供训练输入数据，其中训练输入数据具有表示三维对象的体积数据(和可选地患者信息和/或要求简档和/或用户偏好)。另一步骤旨在提供训练输出数据，其中训练输出数据具有训练参数集，所述训练参数集适合于借助图像合成算法基于体积数据产生多个不同的可视化图像的集。另一步骤旨在通过将被训练的函数应用到体积数据(和可选地患者信息和/或要求简档和/或用户偏好)上来产生参数集，其中参数集适合于借助图像合成算法基于体积数据产生多个不同的可视化图像的集。另一步骤旨在将参数集与训练参数集进行比较。另一步骤旨在基于所述比较调整被训练的函数。
根据另一方面，提供用于提供被训练的函数的训练系统，所述训练系统构成用于，执行上述的用于提供被训练的函数的方法的一个或多个方法步骤。
根据一个方面，提供用于提供通过体积数据表示的三维对象的3D模型的设备。所述设备具有计算装置和接口。接口构成用于接收体积数据和提供3D模型。计算装置构成用于主控图像合成算法，所述图像合成算法构成用于通过将体积数据映射到二维可视化图像的可视化像素上来使三维对象可视化。计算装置还构成用于求取用于操控图像合成算法的参数集，所述参数集适合于借助图像合成算法基于体积数据集产生多个不同的可视化图像的集。计算装置还构成用于，通过借助图像合成算法利用参数集映射体积数据来产生多个不同的可视化图像的集。计算装置还构成用于基于多个可视化图像的集计算3D模型。
计算装置尤其可以对应于在此描述的第二计算装置。
例如，计算装置可以包括配置模块，所述配置模块构成用于，基于体积数据(和可选地基于患者信息和/或要求简档和/或用户偏好)提供参数集。配置模块可以构成用于实施被训练的函数。
计算装置例如可以包括可视化模块，所述可视化模块构成用于基于参数集和体积数据产生可视化图像。可视化模块可以构成用于实施图像合成算法。
计算装置例如可以包括建模模块，所述建模模块构成用于基于可视化图像产生3D模型。建模模块可以构成用于实施摄影测量学算法。
接口通常可以构成用于在计算装置与其他部件之间进行数据交换。所述接口可以以一个或多个单个的数据接口的形式实现，所述接口可以具有硬件接口和/或软件接口，例如PCI总线、USB接口、Fire-Wire接口、ZigBee接口或蓝牙接口。接口还可以具有通信网络的接口，其中通信网络可以具有局域网(LAN)、例如内联网或广域网(WAN)或互联网。对应地，一个或多个数据接口可以具有LAN接口或无线LAN接口(WLAN或Wi-Fi)。
根据一方面，所述设备还具有存储装置，所述存储装置构成用于存储体积数据以及经由接口提供所述体积数据。
存储装置尤其可以是所谓的图片存档和通信系统(PACS)的一部分。附加地或替选地，存储装置可以是医学信息系统、如医院信息系统或实验室信息系统的一部分。
所提出的设备的优点基本上对应于所提出的方法的优点。特征、优点或替选的实施方式同样可以转用于其他要求保护的主题，并且反之亦然。
根据一个方面，提供一种计算机程序产品，所述计算机程序产品具有计算机程序，所述计算机程序可以直接加载到设备的存储器中，所述计算机程序产品具有程序段，以便当程序段由设备执行时，执行根据在此描述的方面中的一个方面的用于提供3D模型或用于提供被训练的函数的方法的所有步骤。
根据一个方面，提供一种计算机可读的存储介质，在所述存储介质上存储有由设备可读和可执行的程序段，以便当程序段由设备执行时，执行根据在此描述的方面中的一个方面的用于提供3D模型或用于提供被训练的函数的方法的所有步骤。
在此，计算机程序可以包括：具有源代码的软件，所述源代码还必须编译和链接或仅必须解释；或可执行的软件代码，其为了执行仅还应加载到处理单元中。通过计算机程序产品，可以快速地、相同可重复地且鲁棒地执行所述方法。计算机程序产品配置成，使得所述计算机程序产品可以借助于计算单元执行根据本发明的方法步骤。在此，计算单元分别必须具有先决条件，如例如对应的工作存储器、对应的处理器、对应的显卡或对应的逻辑单元，使得可以高效地执行相应的方法步骤。
计算机程序产品例如存储在计算机可读的存储介质上或保存在网络或服务器上，从那里，所述计算机程序产品可以加载到相应的计算单元的处理器中，所述处理器可以直接与计算单元连接或构成为计算单元的一部分。此外，计算机程序产品的控制信息可以存储在计算机可读的存储介质上。计算机可读的存储介质的控制信息可以构成为，使得当在计算单元中使用数据载体时，所述控制信息执行根据本发明的方法。计算机可读的存储介质的示例是DVD、磁带或USB记忆棒，在其上存储有电子可读的控制信息、尤其软件。当从数据载体中读取所述控制信息并将其存储到计算单元中时，可以执行上述方法的根据本发明的所有实施方式。因此，本发明也可以基于所述计算机可读介质和/或所述计算机可读的存储介质。
所提出的计算机程序产品或相关联的计算机可读介质的优点基本上对应于所提出的方法的优点。
附图说明
从下文中根据示意图对实施例的阐述中可看到本发明的其他特点和优点。在所述上下文中提及的修改方案可以分别彼此组合，以便构成新的实施方式。在不同的图中，相同的附图标记用于相同的特征。
附图示出：
图1示出用于提供3D模型的系统的第一实施方式的示意图，
图2示出根据一个实施方式的用于提供3D模型的方法的流程图，
图3示出根据一个实施方式的用于提供3D模型的方法的数据流程图，
图4示出用于产生用于输入到图像合成算法中的参数集的被训练的函数，
图5示出用于提供被训练的函数的系统的一个实施方式的示意图，以及
图6示出用于提供用于产生参数集的被训练的函数的方法的流程图。
具体实施方式
在图1中示出根据一个实施方式的用于提供对象的3D模型的系统1。系统1具有服务器SERV(作为第二计算单元的示例)、接口30、用户终端设备或客户端CLNT(作为第一计算装置的示例)和存储装置40。服务器SERV原则上构成用于基于描述三维对象的体积数据VD计算三维对象的3D模型。体积数据VD可以经由接口30从存储装置40提供给服务器SERV。
存储装置40可以构成为中央或分散数据库。存储装置40尤其可以是服务器系统的一部分。在医学领域中，存储装置40尤其可以是医学信息系统的一部分，例如是医院信息系统(对此的英文专业术语是hospital information system或简称HIS)和/或PACS系统(PACS在此代表影像归档和通信系统(英文：picture archiving and communicationsystem))的一部分和/或实验室信息系统(LIS)的一部分。存储装置40还可以构成为所谓的云存储器。
三维对象的体积数据VD可以存储在存储装置40中。体积数据VD表示三维对象。体积数据VD具有由多个体积像素、所谓的体素构成的三维数据集。在体积数据VD中，可以空间分辨地对三维对象的一个或多个几何的和/或物理的特性进行编码。例如，体素值可以表示用于三维对象在所述体素的位置处的局部密度的量度。体积数据VD可以通过对应的成像方法来产生，例如通过X射线透视或计算机断层扫描方法。
在医学应用中，体积数据VD可以通过医学成像方法来产生。体积数据VD然后可以表示患者的身体部位和例如显示患者的一个或多个器官。例如，体积数据VD可以通过X射线透视、计算机断层扫描(CT)、磁共振断层扫描(MR)、超声和/或正电子发射断层扫描(PET)来产生。例如，体积数据VD可以按DICOM格式被格式化。在此，DICOM代表医学数字成像和通信，并且表示用于存储和交换医学图像数据管理中的信息的开放标准。
提供体积数据VD例如可以包括：将体积数据VD加载到服务器SERV的未示出的工作存储器中。
附加地，在系统1中可以存在对于产生三维模型3DM相关的其他信息。这例如是对于产生3D模型3DM特定的要求简档AP、关于产生3D模型的一定的用户偏好NP或涉及待建模对象的其他信息。在医学应用情况下，后者例如可以是患者信息PI。附加信息可以存储在存储装置40(或医学信息系统)中，或由用户终端设备CLNT的用户提供。
服务器SERV构成用于，基于体积数据VD计算在体积数据VD中示出的对象的三维模型3DM。在此，服务器SERV可以构成用于考虑附加信息。服务器SERV可以具有一个或多个处理器。处理器可以实现为中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、图像处理处理器、集成的(数字或模拟)电路或上述部件的组合。服务器SERV可以实现为单独的部件或具有并行或串行工作的多个部件。替选地，服务器SERV可以具有真实或虚拟的计算机组，例如集群或云。根据实施方式，服务器SERV可以构成为本地存储器或云存储器。服务器SERV例如通过计算机可读的指令、设计和/或硬件构成为，使得所述服务器SERV可以执行根据本发明的实施方式的一个或多个方法步骤。
服务器SERV尤其构成用于不直接从体积数据VD中计算3D模型3DM，而是经由中间步骤计算3D模型3DM。所述中间步骤提出，首先从体积数据VD中产生二维可视化图像VB的集S。为此，优选地应用可以基于光学射线路径的模拟的物理渲染器方法。由此可以产生体积数据VD的非常真实的映射。服务器SERV还构成用于然后从所述图像中计算3D模型3DM。相对于从体积数据VD中直接计算3D模型3DM，这具有如下优点：可以考虑映射效果如透明度、底纹、颜色溢出、遮挡效应等。恰好在医学图像数据中，直接从体积数据VD中有意义地计算3D模型通常不容易实现，因为不同的组织通过医学成像方法分隔不够清晰地分辨并且必须首先通过渲染方法来切出。
3D模型以一定方式表示相对于体积数据VD减少的或压缩的数据集，所述数据集包含用于观察对象的基本特性。这例如可以是3D空间中的如下点的集合：所述点通过不同的几何单元如三角形、线、弯曲的表面等连接，从而表征对于观察者相关的面。与此相对地，例如可以省去对象的内部结构。
为了基于输入数据提供3D模型3DM，服务器SERV或其计算单元20可以具有不同的模块21、22和23。所进行的将计算单元20划分成模块21-23在此仅用于对计算单元20或服务器SERV的运行方式的更简单的阐述而不应被理解为限制性的。模块21-23或其功能也可以组合在一个单元中。模块21-23在此尤其也可以理解为计算机程序产品或计算机程序段，所述计算机程序产品或计算机程序段当在计算单元20或服务器SERV中执行时实现以下描述的方法步骤中的一个或多个方法步骤。
模块21可以理解为配置模块21。配置模块21可以实现、主控或控制配置算法KA，所述配置算法KA构成用于基于输入数据、即体积数据VD和可能附加信息来求取用于控制图像合成算法BSA的参数集PS。参数集PS在此包含促使图像合成算法BSA输出可视化图像VB的集S的说明。根据一些实施方式，配置算法KA可以具有被训练的函数。
模块22可以理解为可视化模块22或“体积再现引擎”。可视化模块22在此可以实现、主控或控制图像合成算法BSA，所述图像合成算法BSA构成用于将体积数据VD映射到可视化图像VB或可视化图像VB的像素上。为了计算映射，图像合成算法BSA就其而言可以具有不同的模块。例如，图像合成算法BSA可以包括光线投射模块，在所述光线投射模块中，借助光线投射的方法计算可视化图像VB的像素。图像合成算法BSA还可以具有路径跟踪模块，在所述路径跟踪模块中，根据路径跟踪的方法计算可视化图像VB的像素。附加地，图像合成算法BSA的各个模块可以涉及补充的映射效果。尤其在光线投射方法中，所述补充的映射效果例如可以包括环境遮盖的效果、阴影效果、半透明效果、颜色溢出效果、表面阴影、复杂的相机效果和/或通过任意环境光照条件引起的照明效果。
模块23可以理解为建模模块23。建模模块23构成用于，从通过图像合成算法BSA计算的可视化图像VB中计算3D模型。建模模块23在此可以实现、主控或控制建模算法MA，所述建模算法MA构成用于，从可视化图像VB中计算3D模型3DM。建模算法MA尤其可以实现摄影测量学方法。
如果计算3D模型3DM，则所述3D模型3DM应显示给用户。为此，3D模型3DM经由接口30被提供给用户终端设备CLNT。用户终端设备CLNT可以具有输出装置、如屏幕，所述屏幕设计用于显示图形用户界面GUI，所述图形用户界面GUI用于示出3D模型的不同的视图。附加地，用户终端设备CLNT可以具有输入装置、如触摸屏，借助所述输入装置，用户可以选择3D模型的不同的视图。用户终端设备CLNT可以具有计算单元、如处理器，所述处理器构成用于基于所选择的视图和3D模型3DM计算二维可视化。在示例性的实施方式中，用户终端设备CLNT是智能手机或平板PC或笔记本电脑或台式PC。
接口30可以具有一个或多个单个的数据接口，所述数据接口确保系统1的部件SERV、CLNT、40之间的数据交换。一个或多个数据接口可以具有硬件接口和/或软件接口，例如PCI总线、USB接口、Fire-Wire接口、ZigBee接口或蓝牙接口。一个或多个数据接口可以具有通信网络的接口，其中通信网络可以具有局域网(LAN)、例如内联网或广域网(WAN)或互联网。对应地，一个或多个数据接口可以具有LAN接口或无线LAN接口(WLAN或Wi-Fi)。尤其地，用户终端设备CLNT与服务器SERV之间的接口是互联网接口，并且用户终端设备CLNT与服务器SERV之间的数据传输经由互联网进行。
在图2中示出用于使三维对象可视化的方法的示意性的流程图。方法步骤的顺序既不受所示出的顺序限制，也不受所选择的编号限制。因此，步骤的顺序必要时可以交换，并且可以省略个别步骤。在图3中示意性地示出所属的数据流程图。在图2和图3中，示例性地根据作为体积数据VD的医学图像数据示出所述方法。应理解，所述方法很大程度上也可以应用于任意其他类型的图像数据。
第一步骤S10旨在提供体积数据VD。在此，所述提供可以通过从存储装置40中调用体积数据VD和/或将体积数据VD加载到服务器SERV中来实现。体积数据VD在此表示三维对象。在此，在所讨论的示例中涉及患者的身体部位。
在可选的子步骤S15中可以提供附加信息，所述附加信息用于有针对性地产生可视化图像VB的集S并从而用于有针对性地计算3D模型3DM。附加信息例如可以包括患者信息PI、要求简档AP和/或用户偏好NP。
患者信息PI例如可以包括患者的医学诊断结果报告，和/或患者的电子病历和/或用于通过用户为患者创建诊断结果的诊断任务。借此，患者信息PI可以包含对于可视化和模型产生相关的说明，如待诊断的身体部位的说明、涉及一个或多个身体部位的一个或多个疑似诊断、医学诊断结果的说明等。患者信息PI尤其可以包括一个或多个结构化或未结构化的文本文件，所述文本文件包含自然语言。这种信息可以由存储装置40提供或下载。
要求简档AP一般可以包括关于需要哪些不同的单个图像来产生特定的3D模型3DM的说明。这可以包括可视化图像VB的数量或待映射的视图的说明。在此，不同类型的模型3DM可以分别具有不同的要求简档AP。因此，在选择模型3DM时，可以选择和提供所属的要求简档AP。要求简档AP可以存储在服务器SERV中或由存储装置40提供或下载。
用户偏好NP一般可以包括对于计算3D模型3DM优选的用户设定，例如映射参数(场景照明、分辨率、可用视图、传递函数等)或用户期望的3D模型3DM的类型。用户偏好NP例如可以由用户终端设备CLNT提供。替选地，用户偏好NP可以存储在服务器SERV中或由存储装置40提供或下载。
另一步骤S20旨在提供图像合成算法BSA。在此，所述提供可以通过在任意存储器(例如医学信息系统的存储装置40或服务器SERV的任意存储器)中或由任意存储器保存和/或调用图像合成算法BSA，和/或将图像合成算法BSA加载到服务器SERV的计算单元20中来实现。
在另一步骤S30中，基于可用的输入数据、即体积数据VD以及可选地患者信息PI、用户偏好NP和/或要求简档AP来求取参数集PS。参数集PS适合于借助图像合成算法BSA产生可视化图像VB的集S，从所述可视化图像VB的集S中可以计算3D模型3DM。
因此，参数集PS可以理解为控制指令的集，借助所述控制指令的集可以操控图像合成算法BSA，以用于产生可视化图像VB的集S。因此，在参数集PS中，可以对用于图像合成算法BSA的对应的设定进行编码。根据示例性的实施方式，参数集PS具有两种不同类型的参数。一方面，这是适用于集S的所有可视化图像VB的“全局”参数。这例如涉及场景照明、传递函数、对比度、锐度、体积数据VD的一个或多个区域的透明度、通过体积数据VD的剖面、用于渐显到可视化图像VB中的一个或多个附加信息等。所述“全局”参数组合在第一参数化PS-1中。另一方面，参数集PS也包括第二参数化PS-2中，在所述第二参数化PS-2中对用于产生不同的视图或视角的指令进行编码，以用于随后计算3D模型3DM。
可选地，在子步骤S31中可以规定待计算的3D模型3DM。这可以基于体积数据VD或可选的患者信息PI和/或可选的要求简档AP自动进行。因此，例如可以规定，对于特定的患者信息PI(例如特定的待创建的诊断结果)应产生特定的3D模型3DM。在此，在步骤S31中，可以从多个不同的预先确定的3D模型中自动地选择待产生的3D模型。替选地，特定的3D模型3DM的选择可以通过用户终端设备CLNT的用户进行，以及例如可以经由用户偏好NP转发给服务器SERV。
可选地，在步骤S30中可以自动地分割用于可视化和从而3D模型3DM的体积数据VD。为此，在可选的子步骤S32中可以首先辨识用于在3D模型3DM中显示的一个或多个选择器官。这例如可以基于患者信息PI来进行。例如，如果在患者信息PI中提及肺部，则可以从中推断出肺部作为选择器官。为此，例如可以借助计算机语言算法分析患者信息PI，所述计算机语言算法构成用于识别患者信息PI中的一个或多个关键词或术语。在另一子步骤S33中，可以求取一个或多个分割掩码，以用于应用到体积数据VD上。分割掩码构成用于分割、即辨识体积数据VD中的属于选择器官的图像数据。
参数集PS可以如所提及的那样通过对应地适配的配置算法KA基于输入数据(体积数据VD或可选地患者信息PI、用户偏好NP和/或要求简档AP)来求取。配置算法KA可以包括计算机语言算法，所述计算机语言算法构成用于以算法的方式处理呈文本数据或语音数据的形式的自然语言。配置算法KA还可以包括被训练的函数TF，所述被训练的函数TF构成用于基于输入数据产生参数集PS。在一个可选的步骤S34中，可以对应地提供这种被训练的函数。
在步骤S40中，基于参数集PS和体积数据VD产生可视化图像VB的集S。为此，体积数据VD和参数集PS输入到图像合成算法BSA中。可选地，在此可以考虑在步骤S30中求取的分割掩码。
在步骤S50中，在步骤S40中产生的可视化图像VD用于计算在体积数据VD中示出的对象的3D模型3DM。为此，可视化图像VB被输入到建模算法MA中，所述建模算法MA构成用于基于不同的二维视图计算对象的3D模型。换言之，建模算法MA将多个二维可视化图像VB转换成三维模型3DM。
建模算法MA尤其可以实现摄影测量学的方法。建模算法MA构成用于，从可视化图像VB的集S中通过摄影测绘确定三维对象的位置和形状。为此，可以在计算可视化图像VB的时刻恢复映射几何。所述恢复例如可以在遵守面共性的情况下根据中心投影定律来进行。在此，每个图像对于与相应的虚拟相机的投影中心一起映射的点规定相对于对象点的方向。在虚拟的相机的定向已知和映射几何已知的情况下，然后可以描述空间中的每个射线。通过使用两个不同记录位置的至少两个同源(相对应)的图像点，在知晓相互位置(相对取向)的情况下建模算法MA可以使两条射线相交，从而三维地计算每个对象点。
最后，在步骤S60中提供3D模型3DM。所述3D模型3DM为此可以传输给用户终端设备CLNT或通过用户终端设备CLNT提供以用于下载。例如，3D模型3DM可以由医学信息系统的对应的存储装置40、例如云存储器提供以用于下载。
3D模型3DM还可以借助查看应用程序提供。查看应用程序可以提供图形用户界面GUI。经由图形用户界面GUI，用户例如可以选择3D模型3DM的不同的视图并且使其显示。因此，视图(类似于可视化图像VB)表示三维输出数据的二维“渲染”。
查看应用程序例如可以在用户终端设备CLNT处激活，其方式为，用户从应用商店(App-Store)下载所述查看应用程序和/或在本地执行所述查看应用程序。替选地，查看应用程序可以构成为网页应用程序(Web-Applikation)，所述网页应用程序由服务器和/或医学信息系统主控。
图4示出被训练的函数TF的示例性的示图，如所述被训练的函数TF可以在步骤S30中用于求取参数集PS。被训练的函数TF获得体积数据VB或可选地获得患者信息PI、用户偏好NP和/或要求简档AP作为输入，并且输出参数集PS作为输出，即换言之，输出用于操控可视化模块22或图像合成算法BSA的控制指令作为输出。
在所示出的实施例中，被训练的函数TF构成为神经网。神经网也可以称为人工神经网、人工神经网络或神经网络。
神经网100包括节点120、...、129和边140、141，其中每个边140、141是从第一节点120、...、129至第二节点120、...、129的有向连接。通常，第一节点120、...、129和第二节点120、...、129是不同的节点，也可行的是，第一节点120、...、129和第二节点120、...、129是相同的。从第一节点120、...、129至第二节点120、...、129的边140、141也可以称为用于第二节点的入边和用于第一节点120、...、129的出边。
神经网100对关于输入层110的多个输入节点120、121、122的输入值x(1) 1、x(1) 2、x(1) 3做出响应。应用输入值x(1) 1、x(1) 2、x(1) 3，以便产生一个或多个输出x(3) 1、x(3) 2。例如，节点120经由边140与节点123连接。例如，节点121经由边141与节点123连接。
在所述实施例中，神经网100通过其基于训练数据适配各个节点的权重因子wij(权重)的方式来学习。输入节点120、121、122的可行的输入值x(1) 1、x(1) 2、x(1) 3例如可以是各个场变量和/或检查信息(只要存在)。
神经网100基于学习过程对输入层110的输入值进行加权。神经网100的输出层112的输出值优选地对应于场信息FI，基于所述场信息FI可以至少部分地抑制签名S所基于的电场和/或磁场。输出可以经由输出层112中的单个或多个输出节点x(3) 1、x(3) 2来进行。
人工神经网100优选地包括隐藏层111，所述隐藏层111包括多个节点x(2) 1、x(2) 2、x(2) 3。可以设有多个隐藏层，其中一个隐藏层使用另一隐藏层的输出值作为输入值。隐藏层111的节点执行数学运算。节点x(2) 1、x(2) 2、x(2) 3的输出值在此对应于其输入值x(1) 1、x(1) 2、x(1) 3和权重因子wi,j的非线性函数f。在获得输入值x(1) 1、x(1) 2、x(1) 3之后，节点x(2) 1、x(2) 2、x(2) 3将每个输入值x(1) 1、x(1) 2、x(1) 3的利用权重因子wi,j加权的乘积相加，如通过以下函数确定：
权重因子wi,j尤其可以是实数、尤其在[-1；1]或[0；1]的区间中。权重因子表示第m层110、11、112的第i个节点与第n层110、111、112的第j个节点之间的边的权重。
尤其地，节点x(2) 1、x(2) 2、x(2) 3的输出值形成为节点激活的函数f，例如S型函数或线性斜坡函数。输入值x(2) 1、x(2) 2、x(2) 3传输给一个或多个输出节点128、129。每个输出值x(2) 1、x(2) 2、x(2) 3的加权乘积的相加重新作为节点激活的函数f计算并从而计算输出值x(3) 1、x(3) 2。
在此所示的神经网TF是前馈神经网，在所述前馈神经网中，所有节点111将前一层的输出值以其加权和的形式作为输入值进行处理。当然，根据本发明也可以使用其他神经网类型、例如反馈网，在所述反馈网中，节点的输入值同时也可以是其输出值。
神经网TF可以借助于监督学习的方法来训练，以便提供场信息FI。一种已知的方法途径是反向传播，所述反向传播可以应用于本发明的所有实施例。在训练期间，神经网TF应用到训练输入数据或训练输入值上，并且必须产生对应的、先前已知的训练输出数据或训练输出值。在所计算的输出值与预期的输出值之间的均方差(英文：mean square error-“MSE”)被迭代计算，并且适配各个权重因子，直至所计算的输出值与预期的输出值之间的偏差低于预先确定的阈值。
为了提供训练数据，例如可以采用由可视化专家为特定的医学文本和特定的体积数据VD创建的参数集PS。
图5示出用于训练或提供被训练的函数TF的系统200的实施方式。系统200包括处理器210、接口220、工作存储器230、存储装置240和数据库250。处理器210、接口220、工作存储器230和存储装置240可以构成为计算机290。处理器210控制计算机290在训练被训练的函数TF时的运行。处理器210尤其可以构成为，使得所述处理器210执行图6中所示的方法步骤。指令可以被存储在工作存储器230或存储装置240中和/或当期望执行指令时，指令可以被加载到工作存储器230中。存储装置240可以构成为本地存储器或远程存储器，可以经由网络访问所述远程存储器。图6中所示的方法步骤可以通过存储在工作存储器230和/或存储装置240中的计算机程序产品来限定。
数据库250可以实现为云存储器或本地存储器，所述数据库250经由无线或有线接口220与计算机290连接。数据库250尤其也可以是计算机290的一部分。数据库250用作用于(训练)体积数据、训练附加信息(患者信息PI、用户偏好NP和/或要求简档AP)和/或所属的训练参数集的档案。数据库250还可以用作用于一个或多个被训练的函数TF的档案。
在图6中示出用于提供被训练的函数TF的方法的示意性的流程图，所述被训练的函数TF用于提供参数集PS。方法步骤的顺序既不受所示出的顺序也不受所选择的编号限制。因此，步骤的顺序必要时可以交换，并且可以省略个别步骤。
第一步骤T10旨在提供被训练的函数TF。在此，被训练的函数TF可以经由接口220从数据库250提供给处理器210。在此，被训练的函数TF可以已经被预训练，即被训练的函数TF的一个或多个参数已经通过所描述的训练方法和/或另外的训练方法调整。替选地，被训练的函数的一个或多个参数还不能借助于训练数据调整，一个或多个参数尤其可以通过恒定值和/或通过随机值预分配。被训练的函数TF的所有参数尤其还不能借助于训练数据调整，所有参数尤其可以通过恒定值和/或通过随机值预分配。
第二步骤T20旨在提供训练输入数据。因为在使用中，被训练的函数TF应匹配于相应的体积数据VD以及可选地基于所属的患者信息PI、所属的用户偏好NP和/或所属的要求简档AP提供参数集PS，所以适合的训练输入数据恰好是训练体积数据和这种可选的附加信息。
步骤T30旨在提供训练输出数据。在此，训练输出数据是训练参数集PS。训练参数集PS在此表示对于训练体积数据VD的集有意义的参数集PS，所述参数集PS引起适合于创建3D模型3DM的可视化图像VB的集S。训练参数集PS例如可以通过专家提供。
在下一步骤T40中，训练输入数据、即训练体积数据VD和可能附加信息PI、NP、AP被输入到被训练的函数TF中。在此基础上，被训练的函数TF计算用于操控图像合成算法BSA的参数集PS。
在下一步骤T50中，将如此计算的参数集PS与所属的训练参数集PS进行比较。然后，基于所述比较，在步骤T60中调整被训练的函数TF。这例如可以基于惩罚所计算的参数集PS与所属的训练参数集PS的偏差的成本函数来实现。然后，被训练的函数TF的一个或多个参数尤其可以调整成，使得成本函数最小化，例如借助于反向传播(英文专业术语是“back propagation”)。在一个实施方式中，成本函数可以基于所计算的参数集PS和所属的训练参数集PS的控制参数或可视化参数的成对的差，例如基于平方偏差的总和。为了使成本函数最小化，对由所计算的参数集PS与所属的训练参数集PS构成的不同的成对的组执行比较，直至达到成本函数的局部最小值并且被训练的函数TF以令人满意的方式工作。
即使未明确表明，但是有意义地并且在本发明的意义下，可以将各个实施例、实施例的各个子方面或特征彼此组合或交换，而不脱离本发明的范围。在没有明确说明的情况下，如果可转用，本发明的参照实施例描述的优点也适用于其他实施例。

Claims (15)

1.一种计算机实现的用于提供通过体积数据(VD)表示的三维对象的3D模型(3DM)的方法，所述方法具有以下步骤：
-提供(S10)所述体积数据(VD)，
-提供(S20)图像合成算法(BSA)，所述图像合成算法(BSA)构成用于通过将所述体积数据(VD)映射到二维可视化图像(VB)的可视化像素(VP)上来使所述三维对象可视化，
-求取(S30)用于操控所述图像合成算法(BSA)的参数集(PS)，所述参数集(PS)适合于借助所述图像合成算法(BSA)基于体积数据集(VD)产生多个不同的可视化图像(VB)的集(S)，
-通过借助所述图像合成算法(BSA)利用所述参数集(PS)映射所述体积数据(VD)来产生(S40)所述多个不同的可视化图像(VB)的集(S)，
-基于所述多个可视化图像(VB)的集(S)计算(S50)所述3D模型(3DM)，以及
-提供(S60)所述3D模型(3DM)。
2.根据权利要求1所述的方法，其中：
-计算(S50)所述3D模型(3DM)的步骤通过摄影测量学进行。
3.根据上述权利要求中任一项所述的方法，其中：
-所述参数据(PS)具有：
-所述体积数据(VD)的映射特性的第一参数化(PS-1)，以及
-用于借助相同的所述第一参数化(PS-1)产生所述三维对象的多个不同的视图的第二参数化(PS-2)，以便因此产生所述集(S)的多个不同的可视化图像(VB)。
4.根据权利要求3所述的方法，其中：
-所述第一参数化(PS-2)包括用于将所述体积数据(VD)映射到所述可视化图像(VB)上的传递函数和/或所述三维对象的分割和/或剪辑蒙版。
5.根据上述权利要求中任一项所述的方法，其中：
-提供(S10)所述体积数据(VD)、提供(S20)所述图像合成算法(BSA)、求取(S30)所述参数集(PS)，产生(S40)所述集(S)和计算(S50)所述3D模型(3DM)的步骤在第一计算装置(SERV)中进行，以及
-在所述提供(S60)的步骤中，将所述3D模型(3DM)提供给第二计算装置(CLNT)，所述第二计算装置(CLNT)与所述第一计算装置(SERV)不同，其中所述第二计算装置(CLNT)尤其包括便携式用户终端设备(SP)。
6.根据上述权利要求中任一项所述的方法，其中：
-所述图像合成算法(BSA)实现路径跟踪方法或光线投射方法。
7.根据上述权利要求中任一项所述的方法，其中：
-所述体积数据(VD)通过医学成像方法产生并且表示患者的一个或多个器官，以及所述方法还包括：
-提供(S15)与所述患者相关联的患者信息(PI)，其中：
-附加地，基于所述患者信息(PI)求取所述参数集(PS)。
8.根据权利要求7所述的方法，其中：
-提供(S60)所述3D模型的步骤包括为所述患者提供所述3D模型(3DM)作为另外的患者信息(PI)、尤其呈医学诊断结果报告的形式。
9.根据权利要求7或8所述的方法，所述方法还具有如下步骤：
-基于所述患者信息(PI)确定(S32)用于在所述3D模型(3DM)中显示的一个或多个选择器官，
-产生(S33)用于在所述体积数据(VD)中分割所述选择器官的分割掩码，其中
-在所述产生(S40)的步骤中，附加地基于所述分割掩码产生所述多个不同的可视化图像(VB)。
10.根据权利要求7至9中任一项所述的方法，其中：
-所述患者信息(PI)具有与所述三维对象相关的注释(ANN)，以及
-在所述产生(S40)的步骤中，将所述注释(ANN)插入到所述3D模型中。
11.根据上述权利要求中任一项所述的方法，其中：
-在查看应用程序(GUI)中提供所述3D模型(3DM)，所述查看应用程序(GUI)使所述用户能够选择和查看所述3D模型的不同的视图。
12.根据上述权利要求中任一项所述的方法，所述方法还具有如下步骤：
-提供(S33)被训练的函数(TF)，所述被训练的函数(TF)构成用于基于体积数据(VD)求取用于操控图像合成算法(BSA)的参数集(PS)，所述参数集(PS)适合于借助所述图像合成算法(BSA)基于所述体积数据集(VD)产生多个不同的可视化图像(VB)的集(S)，其中：
-在求取(S30)所述参数集(PS)的步骤中，通过应用所述被训练的函数(TF)来求取所述参数集(PS)。
13.一种用于提供通过体积数据(VD)表示的三维对象的3D模型(3DM)的设备(SERV)，所述设备(SERV)具有计算单元(20)和接口(30)，其中：
-所述接口(30)构成用于接收所述体积数据(VD)以及提供所述3D模型(3DM)，以及
-所述计算单元(20)构成用于：
-主控图像合成算法(BSA)，所述图像合成算法(BSA)构成用于通过将所述体积数据(VD)映射到二维可视化图像(VB)的可视化像素(VP)上来使所述三维对象可视化，
-求取用于操控所述图像合成算法(BSA)的参数集(PS)，所述参数集(PS)适合于借助所述图像合成算法(BSA)基于所述体积数据(VD)产生多个不同的可视化图像(VB)的集(S)，
-通过借助所述图像合成算法(BSA)利用所述参数集(PS)映射所述体积数据(VD)来产生所述多个不同的可视化图像(VB)的集(S)，以及
-基于所述多个可视化图像(VB)的集(S)计算所述3D模型(3DM)。
14.一种计算机程序产品，所述计算机程序产品具有计算机程序，所述计算机程序能够直接加载到用于提供3D模型(3DM)的设备(SERV)的存储器中，所述计算机程序产品具有程序段，以便当由所述设备(SERV)执行所述程序段时，执行根据权利要求1至12中任一项所述的用于提供3D模型的方法的所有步骤。
15.一种计算机可读的存储介质，在所述存储介质上存储有由用于提供3D模型(3DM)的设备(SERV)可读和可执行的程序段，以便当由所述设备(SERV)执行所述程序段时，执行根据权利要求1至12中任一项所述的用于提供3D模型的方法的所有步骤。
CN202310703135.3A 2022-06-15 2023-06-14 用于提供对象的三维模型的方法和设备 Pending CN117237524A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22179088.4A EP4293626A1 (de) 2022-06-15 2022-06-15 Verfahren und vorrichtung zum bereitstellen eines dreidimensionalen modells eines objekts
EP22179088.4 2022-06-15

Publications (1)

Publication Number Publication Date
CN117237524A true CN117237524A (zh) 2023-12-15

Family

ID=82067708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310703135.3A Pending CN117237524A (zh) 2022-06-15 2023-06-14 用于提供对象的三维模型的方法和设备

Country Status (3)

Country Link
US (1) US20240020919A1 (zh)
EP (1) EP4293626A1 (zh)
CN (1) CN117237524A (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3072111A4 (en) * 2013-11-20 2017-05-31 Fovia, Inc. Volume rendering polygons for 3-d printing
KR20170059469A (ko) 2014-09-23 2017-05-30 지멘스 헬스케어 게엠베하 삼차원 오브젝트를 가시화하기 위한 방법, 가시화 디바이스, 및 컴퓨터 프로그램 제품
US10492761B2 (en) * 2015-10-14 2019-12-03 General Electric Company Utilizing depth from ultrasound volume rendering for 3D printing
US11094116B2 (en) * 2019-11-18 2021-08-17 GE Precision Healthcare LLC System and method for automatic generation of a three-dimensional polygonal model with color mapping from a volume rendering
US20210208567A1 (en) * 2020-01-07 2021-07-08 GE Precision Healthcare LLC Methods and systems for using three-dimensional (3d) model cuts based on anatomy for three-dimensional (3d) printing

Also Published As

Publication number Publication date
US20240020919A1 (en) 2024-01-18
EP4293626A1 (de) 2023-12-20

Similar Documents

Publication Publication Date Title
US11538216B2 (en) Dynamically estimating light-source-specific parameters for digital images using a neural network
CN108701370B (zh) 基于机器学习的基于内容的医学成像渲染
Lawonn et al. A survey of surface‐based illustrative rendering for visualization
US20200257891A1 (en) Face Reconstruction from a Learned Embedding
Kam et al. Rviz: a toolkit for real domain data visualization
CN110211215B (zh) 医用图像处理装置以及医用图像处理方法
US10755474B1 (en) Method of processing a volumetric dataset and a method of rendering a volumetric dataset
US20210327563A1 (en) Salient visual explanations of feature assessments by machine learning models
US10275909B2 (en) Systems and methods for an integrated system for visualizing, simulating, modifying and 3D printing 3D objects
EP3545500B1 (en) System and method for rendering complex data in a virtual reality or augmented reality environment
CN111325825B (zh) 确定体积数据集的照明效果的方法
US11989819B2 (en) Method and apparatus for the visualization of three-dimensional objects
US20130135306A1 (en) Method and device for efficiently editing a three-dimensional volume using ray casting
Haubner et al. Virtual reality in medicine-computer graphics and interaction techniques
EP3989172A1 (en) Method for use in generating a computer-based visualization of 3d medical image data
US20220044472A1 (en) Method and device for visualization of three-dimensional objects
US11398072B1 (en) Method of obtaining a set of values for a respective set of parameters for use in a physically based path tracing process and a method of rendering using a physically based path tracing process
Kalarat et al. Real-time volume rendering interaction in Virtual Reality
CN117237524A (zh) 用于提供对象的三维模型的方法和设备
Mönch et al. Interactive mesh smoothing for medical applications
US20240087218A1 (en) Systems and methods for automated rendering
Nystrom et al. Segmentation and visualization of 3D medical images through haptic rendering
Prabha et al. Enhanced Medical Image Analysis: Leveraging 3D Visualization and VR-AR Technology
Raspe et al. Using a GPU-based framework for interactive tone mapping of medical volume data
Gregoir et al. Interoperable encoding and 3D printing of anatomical structures resulting from manual or automated delineation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination