CN109584349A - 用于渲染材料属性的方法和设备 - Google Patents

用于渲染材料属性的方法和设备 Download PDF

Info

Publication number
CN109584349A
CN109584349A CN201811138330.1A CN201811138330A CN109584349A CN 109584349 A CN109584349 A CN 109584349A CN 201811138330 A CN201811138330 A CN 201811138330A CN 109584349 A CN109584349 A CN 109584349A
Authority
CN
China
Prior art keywords
rendering
surface texture
medical data
texture
data collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811138330.1A
Other languages
English (en)
Other versions
CN109584349B (zh
Inventor
K.佩特科夫
P.特雷菲尔
D.于
B.斯瓦米多斯
邱峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Ag
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN109584349A publication Critical patent/CN109584349A/zh
Application granted granted Critical
Publication of CN109584349B publication Critical patent/CN109584349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/80Shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)

Abstract

渲染物体表面的一个或多个材料属性的方法包括获取包括三维物体的三维表示(204a)的医学数据集(204)。基于医学数据集(204)确定对应于三维物体的表面的表面结构(206)。基于所确定的表面结构得出多个渲染位置。所述方法包括:在所述多个渲染位置中的每一个处,通过基于物理的体积渲染器和根据医学数据集渲染物体表面的一个或多个材料属性。存储每个渲染位置的一个或多个渲染的材料属性。还公开了用于执行该方法的设备(304)。

Description

用于渲染材料属性的方法和设备
技术领域
本发明涉及渲染材料属性,并且更具体地涉及物体表面的材料属性的基于物理的体积渲染。
背景技术
基于物理的体积渲染是计算机图形学方面的模型,该模型模拟光与3D物体或组织的真实世界交互。基于蒙特卡洛路径追踪的基于物理的体积渲染是用于光传输计算的渲染技术,其中使用随机过程建模自然光现象。基于物理的体积渲染可以产生多个全局照明效果,并因此导致与来自传统体积渲染(诸如光线投射或直接体积渲染)的图像相比更逼真的图像。这种效果包括环境光遮挡、柔和阴影、渗色和景深。增加的图像逼真度可以提高用户对基于感知的任务的表现。例如,对医学数据的照片级逼真的渲染对于外科医生或治疗师来说可能更容易理解和解释,并且可以支持与患者的沟通和教育成果。
然而,在基于蒙特卡洛路径追踪的基于物理的体积渲染中对渲染整体的评估可能需要每个像素许多随机样本,例如数千随机样本,以产生可接受的无噪声图像。因此,取决于渲染参数和所使用的处理器,产生图像可能花费大约几秒钟用于交互式工作流程并花费数小时用于产品级质量图像。具有较低处理能力的装置(诸如移动装置)可能花费甚至更长时间。当用户尝试细化渲染以实现期望的结果时,这些渲染时间可能导致过长的交互时间。
此外,尽管基于物理的体积渲染可以在计算机显示器上产生逼真的组织纹理和形状感知,但是在一些情况下(例如为了测定外科植入物或仪器的尺寸,或规划治疗方法,或用于教育目的)仍然需要实体模型。可以使用3D可打印模型由增材制造过程(诸如3D打印)来制造实体物体。用于医学工作流程的现有3D打印物体从医学数据的分割得出。在这种情况下,使用纯色来视觉上分离分割的物体。
然而,虽然现有3D可打印模型可以描绘物理形状,但他们缺乏细节,诸如组织纹理,并且因此缺乏逼真度。这可能会限制他们的效用。
发明内容
根据本发明的第一方面,提供了一种渲染物体表面的一个或多个材料属性的方法,所述方法包括:
获取包括三维物体的三维表示的医学数据集,所述物体具有表面;
基于所述医学数据集确定与所述物体表面对应的表面结构;
基于所确定的表面结构,得出多个渲染位置;
在所述多个渲染位置中的每一个处,通过基于物理的体积渲染器并根据所述医学数据集渲染所述物体表面的一个或多个材料属性;和
存储每个渲染位置的一个或多个材料属性。
所述多个渲染位置中的一个或多个可以基本上位于所述表面结构处。
渲染可以包括光线追踪,并且所述多个渲染位置中的每一个可以与用于光线追踪的光线原点对应。
给定光线的光线方向可以平行于表面结构的表面法线。
一个或多个渲染的材料属性可以包括以下各项中的一项或多项:散射系数、镜面系数、漫射系数、散射分布函数、双向透射率分布函数、双向反射率分布函数和颜色信息。
渲染可以包括基于蒙特卡洛的渲染。
该方法可以包括:
基于所渲染的材料属性中的一个或多个,确定用于增材制造软件和/或用于可视化软件的一个或多个材料规格代码。
确定材料规格代码可以包括:确定物体的一个或多个区域的材料规格代码。
该方法可以包括:
将每个渲染位置和/或每个区域的所确定的材料规格代码传送到增材制造单元和/或可视化单元。
表面结构可以是封闭表面结构。
确定表面结构可包括:
分割医学数据集以产生分割表面;和
从分割表面生成表面结构。
确定表面结构可包括:
生成表示医学数据集的点云;和
从点云生成表面结构。
生成点云可以包括:
通过基于物理的体积渲染器并根据医学数据集来渲染表示投影到二维视点上的物体的像素;
定位每个像素的深度;和
根据所述像素和每个像素的深度生成点云。
该方法可以包括:
基于医学数据集和/或物体表面的一个或多个检测到的属性,使所述多个渲染位置中的一个或多个从表面结构偏离。
表面结构可以包括纹理映射坐标,并且可以从纹理映射坐标得出所述多个渲染位置。
表面结构可以是网格。
所述多个渲染位置中的一个或多个可以均位于网格的顶点处。
该方法可以包括:
对网格执行网格处理,所述网格处理包括以下各项中的一项或多项:网格修复、网格平滑、网格细分、网格缩放、网格平移、网格增厚;以及生成一个或多个纹理坐标用于将一个或多个网格坐标映射到纹理空间。
根据本发明的第二方面,提供了一种用于渲染物体表面的一个或多个材料属性的设备,该设备被布置为执行根据第一方面的方法。
根据本发明的第三方面,提供了一种计算机程序,该计算机程序包括指令,当所述指令由计算机执行时使计算机执行根据第一方面的方法。
根据参照附图做出的、仅作为示例给出的本发明优选实施例的以下描述,本发明的其他特征和优点将变得显而易见。
附图说明
图1示意性地图示了根据示例的用于渲染物体表面的材料属性的方法;
图2a示意性地图示了根据示例的医学数据集;
图2b示意性地图示了根据示例的包括生成的表面结构的医学数据集;和
图3示意性地图示了根据示例的系统,该系统包括用于渲染物体表面的材料属性的设备。
具体实施方式
参考图1,其示意性地图示了根据示例的渲染物体表面的一个或多个材料属性的方法。
在步骤102中,该方法包括获取医学数据集。
医学数据集包括三维(3D)物体的三维(3D)表示。可以通过从存储器、传感器和/或其他源加载来获取医学数据集。可以从扫描仪(参见例如图3中的扫描仪302)提供医学数据集。例如,医学数据集可以从如下各项得出:计算机断层摄影术、磁共振、正电子发射断层摄影术、单光子发射计算机断层摄影术、超声或另外的扫描模态。扫描数据可以来自多个二维扫描,或者可以从3D扫描格式化。该数据集可以包括被格式化为均匀或非均匀3D格栅中的体素或扫描格式(例如极坐标格式)的数据。每个体素或格栅点由3D位置(例如,x,y,z)和强度、标量或其他信息表示。医学数据集可以表示患者,例如人类患者。在一些示例中,医学数据集可以用于兽医学。
在图2a和2b中示意性图示的示例中,医学数据集包括由笛卡尔坐标x,y,z定义的均匀3D格栅202中的体素204。医学数据集包括3D物体的3D表示204a。例如,3D物体可以是由患者的其他组织包围的心脏。对应于心脏的医学数据集的体素204a可以包括与对应于周围组织的医学数据集的体素204(在图2a中由不同的体素阴影示意性地图示)不同的信息。
返回图1,该方法包括在步骤104中确定对应于物体表面的表面结构206。
表面结构206可以与物体的表面平行。例如,表面结构可以从物体表面偏离并与物体表面平行。作为另一示例,表面结构206可以与物体表面重合。表面结构206可以遵循物体的3D表示的轮廓。如图2b中示意性图示的,表面结构206可以与对应于物体(例如心脏)的数据集的体素204a和对应于包围该物体的材料(例如,包围心脏的其他组织)的医学数据集的体素204的边界重合。表面结构206可以是封闭表面结构206。
表面结构206可以是网格。网格可以是多边形网格,例如三角形网格。网格可包括对应于物体表面的形状的多个顶点、边缘和面。
确定表面结构206的步骤104可以包括分割医学数据集204。例如,确定表面结构206可以包括分割医学数据集204以产生分割表面以及从分割表面生成表面结构206。例如,行进立方体算法可用于从医学数据集的分割掩模生成分割表面。
数据集204的分割可以通过自动分割工具进行。例如,分割工具可以分析医学数据集的每个体素204的信息以确定针对该体素的类描述符。例如,类描述符可以包括“心脏组织”和“其他组织”。分割工具可以根据类描述符来分割医学数据集,即,具有共同类描述符的体素被分配到共同分段。例如,对应于心脏的体素204a可以形成第一分段,并且对应于包围心脏的组织的体素204可以形成第二分段。
数据集204的分割可以通过手动分割(例如通过逐片分割)进行。该分割可以是半自动的,例如通过区域增长算法。例如,可以选择一个或多个种子体素204,204a并为其分配区域,可以分析相邻的体素以确定是否将该相邻的体素添加到该区域。重复该过程直到医学数据集被分割。
可以生成对应于分割表面的表面结构206,诸如网格。例如,表面结构206可以被确定为与医学数据集的给定分段的分割表面重合的表面结构206。分割表面本身可以被转换为网格格式。可以以标准网格格式导出分割表面。作为另一个示例,表面结构206可以被确定为从医学数据集的给定分段的分割表面偏离并与之平行的表面结构206。
在另一示例中,确定表面结构206的步骤104可以基于表示医学数据集的点云。点云可以包括三维坐标系中的一组数据点。这些点可以表示物体的表面。确定表面结构206可以包括:生成表示医学数据集的点云,以及从点云生成表面结构206。例如,点云可用于生成网格。
点云可以通过如下方式生成:由基于物理的体积渲染器并根据医学数据集来渲染像素,所述像素表示投影到二维视点上的物体;定位每个像素的深度;以及根据像素颜色和每个像素的深度生成点云。
例如,基于物理的体积渲染器可以模拟光传播的物理特性,并且通过医学数据集来建模光或光子(包括由散射和吸收引起的光或光子)的路径,以渲染像素的2D格栅,该2D格栅表示物体在二维中的投影。可以生成每个像素的深度值。例如,可以基于不透明度来分配给定像素的深度。可以检查沿着针对该像素的观察光线的体素不透明度。相对于观察平面具有最大不透明度的体素的深度可以用作像素的深度。替代地,沿着给定光线从所述观察平面累积的不透明度达到阈值量的深度可以用作像素的深度。在另一个示例中,可以利用聚集来定位深度。基于物理的体积渲染器在渲染像素时使用的每个采样点可以包括散射量。可以确定评估光子散射所处于的采样点密度。通过聚集采样点,可以将与最大群集(例如,最大平均散射、最大总散射、群集中最大数量的样本点和/或具有足够散射群集的最接近深度)相关联的深度或深度范围分配给像素。任何聚集,可以使用其他启发式算法。
可以从像素的2D栅格和每个像素的深度信息生成点云。例如,像素在2D栅格中的位置可以与分配给每个像素的深度组合,以针对点云中的每个点生成3D位置。可以沿给定的观察光线或为给定像素分配多于一个深度,例如,聚集可以示出几个表面。然后可以使用点云来生成表面结构206。例如,可以将点云的最高点密度区域分配作为物体的表面,并且表面结构206可以被生成为与该表面重合和/或遵循该表面的轮廓。如此生成的表面结构206可以是网格。可以使用三角测量算法或通过泊松表面重建等从点云生成所述网格。
确定表面结构206的步骤104可以包括执行对表面结构206的后处理。例如,在表面结构206是网格的情况下,该方法可以包括:对网格执行网格处理。网格后处理可以包括如下各项中的一项或多项:网格修复、网格平滑、网格细分、网格闭合、网格缩放、网格平移和网格增厚。
网格修复可以包括闭合所生成的网格的开放部分。网格平滑可以包括:检测网格中有噪声的区域,例如在小的距离上位置广泛波动的区域;以及平滑这些区域,例如通过平均。网格细分可以包括将生成的网格划分为更精细的网格,即每单位面积具有更多数量的顶点、边缘和/或面。网格缩放可以包括增加和/或减小网格的尺寸或一个或多个维度。网格平移可以包括将网格从原始位置移动或移位到三维空间中的不同位置。
网格增厚可包括增加网格的厚度。例如,网格的厚度可以在平行于网格的表面法线的方向上增加。网格增厚可以包括基于原始网格生成偏离网格。偏离网格可以与原始网格等中心。网格增厚可包括闭合所述原始网格和所述偏离网格,以确保由增厚的网格定义闭合体积。可以根据需要缩放和/或平移增厚的网格。增厚的网格可以表示为四面体网格。
网格后处理可以包括生成一个或多个纹理坐标,纹理坐标用于将一个或多个网格坐标映射到纹理空间。纹理空间可以由表示为U和V的轴在两个维度上定义。可以为每个网格顶点或每个网格面生成纹理坐标。生成一个或多个纹理坐标可以包括使用UV展开算法。UV展开可以包括将网格打开成二维平面并确定与网格顶点对应的UV坐标。可以使用用于生成一个或多个纹理坐标以将一个或多个网格坐标映射到纹理空间的其他建模过程。这些过程可以包括简化和或抽取(即,在保持整体形状的同时减少表面网格的面、边缘和/或顶点的数量)。
返回图1,该方法包括:在步骤106中,基于所确定的表面结构,得出多个渲染位置。
所述多个渲染位置中的一个或多个可以基本上位于表面结构206处。例如,所述多个渲染位置中的一个或多个可以与表面结构206重合。例如,所述多个渲染位置中的一个或多个可以位于网格表面结构206的顶点处。
所述方法包括:在步骤108中,通过基于物理的体积渲染器并根据医学数据集,在所述多个渲染位置的每一个处渲染物体表面的一个或多个材料属性。
基于物理的体积渲染器可以包括能够计算光传输的任何基于物理的渲染算法。基于物理的体积渲染模拟数据集中光传播的物理特性,以确定在所述多个渲染位置中的每一个处的医学数据集的物体的物理属性。以这种方式,可以认为渲染位置一起定义针对渲染器的观察平面。
渲染可以包括路径或光线追踪。光线追踪可以涉及对到达所述多个渲染位置中的每一个处的所有被模拟的照度进行积分。光线追踪可以包括对来自光线原点的光线或光子(包括由于散射和吸收导致的光线或光子)的路径进行建模。所述多个渲染位置中的每一个可以对应于用于光线追踪的光线原点。例如,网格表面结构的每个顶点可以对应于用于渲染的光线原点。给定光线的光线方向可以平行于表面结构的表面法线。
在光线追踪期间,可以针对表示3D物体的数据集的每个采样点建模不同水平或量的散射和/或吸收。基于物理的体积渲染结果可以随着时间而积累,因为渲染可以依赖于概率散射和追踪数百万个光路。渲染可以包括基于蒙特卡洛的渲染。例如,路径追踪可以包括蒙特卡洛路径追踪,其中使用随机过程对自然光现象进行建模。
一个或多个被渲染的材料属性可以包括以下各项中的一项或多项:散射系数、镜面系数、漫射系数、散射分布函数、双向透射率分布函数、双向反射率分布函数和颜色信息。这些材料属性可用于得出渲染位置处的物体表面的透明度、反射率、表面粗糙度和/或其他属性。可以基于渲染位置处的医学数据集的标量值和/或基于用户指定的参数来得出这些表面材料属性。
如上所述,所述多个渲染位置中的一个或多个(并且因此用于光线追踪的光线原点)可以与表面结构206重合,并且在给定光线原点处用于光线投射的光线方向可以与该光线原点处的表面结构的表面法线平行。然而,在一些示例中,所述多个渲染位置中的一个或多个(并且因此用于光线追踪的光线原点)可以从表面结构206偏离。可以基于一个或多个启发式算法来确定该偏离。例如,光线原点可以从表面结构206偏离固定距离。光线原点可以从表面结构206偏离,直到光线原点位于空的空间中。这些偏离可以允许更准确地捕获物体表面的一个或多个材料属性。
可以基于数据集或表面结构206的任何检测到的或得出的或用户选择的属性来修改所述多个渲染位置中的一个或多个(并且因此修改用于光线投射的光线原点)。例如,可以检测到在表面结构206处或附近的医学数据集包括血管或一些其他细节,该血管或一些其他细节可以受益于更准确地再现他们的其他技术。例如,详细结构的再现可以受益于反失真技术。例如,如果在给定渲染位置处或附近检测到血管,则代替该点处的单个渲染位置,可以生成从该点偏离的另外的多个渲染位置(并且因此生成另外的光线原点),例如每个位置具有不同的光线方向,以更好地捕获该点附近物体的表面的细节。例如,可以关于给定的渲染位置以圆柱形或锥形投射光线。例如,渲染位置可以沿着表面法线偏离表面结构206,并且然后可以按照锥形生成光线方向,其中渲染位置是锥形的顶点。然后可以例如对针对所述另外的多个渲染位置中的每一个渲染位置渲染的材料属性进行平均,以给出在给定渲染位置处的材料属性的更准确反映。
如上所述,一个或多个(或所有)渲染位置可以位于网格表面结构的顶点处。然而,在一些示例中,可以使用对表面的规则采样,例如,所述多个渲染位置可以基本上规则地分布在表面结构上。在一些示例中,可以在将渲染位置分配给每个顶点之前细分网格表面结构,以增加所生成的纹理的分辨率。例如,可以使用诸如Catmull-Clark和最小二乘细分表面(例如LS3 Loop)之类的细分算法,但是将理解的是,可以使用任何合适的细分算法。在其他示例中,表面结构206可以是具有现有纹理映射坐标的3D表面模型,在该现有纹理映射坐标上渲染图像纹理。例如,可以从纹理映射坐标得出所述多个渲染位置,例如所述多个渲染位置可以与纹理映射坐标相同。从概念上讲,纹理的每个像素可以对应于渲染位置。在实践中,纹理的每个像素可以对应于光线原点和方向。
用于光线追踪的一条或多条(或所有)光线的路径长度可以是渲染的约束。例如,路径长度必须是沿表面法线的最小距离,以有助于渲染。这可以提供:执行对物体表面的充分采样以捕获相关表面特性,例如组织特性。
由于表面结构206对应于物体的3D表示的表面,并且基于表面结构206得出渲染位置(并且因此得出用于光线追踪的光线原点),因此渲染的材料属性可以准确地表示物体表面的材料属性。例如,如上所述,表面结构206可以与物体表面重合,并且渲染位置可以与表面结构206重合。在这种情况下,实际上,渲染器的观察平面可以与物体表面重合。在其他示例中,表面结构206可以与物体表面平行并且从物体表面偏离,并且渲染位置可以与表面结构206重合;或者,表面结构206可以与物体表面重合,并且渲染位置可以从表面结构偏离(例如,如上所述);或者,表面结构206可以与物体表面平行并且从物体表面偏离,并且渲染位置可以从表面结构偏离(例如,如上所述)。在每种情况下,由于渲染位置(并且因此,实际上渲染器的观察平面)基于所确定的物体表面本身,所以在那些渲染位置处的基于物理的体积渲染可以准确地再现物体表面的材料属性。
渲染可以基于一个或多个渲染参数。渲染参数可以被设置为默认值、由用户设置、由处理器确定或上述各种方式的组合。渲染参数可以包括数据一致性参数。数据一致性参数可以包括窗口化、缩放、级别压缩和数据正则化中的一个或多个。渲染参数可以包括照明参数。照明参数可以包括如下各项中的一项或多项:虚拟光的类型、虚拟光源的位置、虚拟光源的取向、基于图像的光源和环境照明。渲染参数可以包括观察参数。可以修改渲染参数以计及观察可视化或打印物体的方式。例如,可以修改渲染参数以降低或消除阴影强度,修改虚拟光源以匹配预期的真实世界光源,修改颜色等。
在一些示例中,每个物体可以存在多于一个部分或部件。在所述结构的一个或多个部分或部件被所述结构的另一部分掩盖或覆盖的情况下,渲染器可以从内到外迭代上述渲染。也就是说,渲染器可以在它渲染覆盖部分或部件或物体的每个渲染位置的材料属性之前渲染被覆盖部件或部件或物体的每个渲染位置的材料属性。这可以允许确定即使被覆盖或掩盖的表面的逼真的表面纹理。例如,当渲染具有已知保护外壳的组织(诸如脑组织(皮质组织,皮质下组织)和心脏解剖结构(心内膜、心肌、心外膜或血池))时,可以应用从内到外的渲染方法。
该方法包括,在步骤110,存储每个渲染位置的所述一个或多个材料属性。例如,材料属性可以与对应渲染位置(例如,以三维笛卡尔坐标系中的坐标的形式)相关联地存储在计算机存储装置中。例如,该信息可以包括三维空间中每个渲染位置的坐标,以及在每个相应渲染位置处渲染的表面的材料属性。这样,例如,可以根据所存储的信息生成物体的表面纹理的逼真三维表示。因此,该信息本身有用。可以以多种不同方式利用该信息。
例如,该方法可以进一步包括:基于所渲染的材料属性中的一个或多个来确定用于增材制造软件和/或用于可视化软件的一个或多个材料规格代码。该方法然后可以包括:将每个渲染位置和/或每个区域的所确定的材料规格代码传送到增材制造单元(参见例如图3的318)和/或传送到可视化单元(参见例如图3的314)。
例如,可以为每个所渲染的材料属性分配材料规格代码。例如,材料规格代码可以是针对WavefrontTM.OBJ文件的.mtl(材料模板库)文件的材料规格代码。.OBJ文件格式供可视化软件和其他3D图形学应用使用。OBJ文件是几何定义文件。文件格式表示3D几何形状,并且可以例如指定网格表面结构的每个顶点的位置,每个纹理坐标顶点的UV位置,顶点法线以及把每个多边形定义为顶点列表的面。.mtl文件是.OBJ文件的伴随文件格式,.mtl文件描述一个或多个.OBJ文件内物体的表面材料属性。.mtl通过名称(即通过材料规格代码)引用一个或多个材料描述。作为另一示例,材料规格代码可以是.3MF文件中的材料规格代码。3MF是供增材制造软件使用的数据格式,并且包括关于材料、颜色的信息和其他信息。
确定材料规格代码可以包括:基于所述一个或多个渲染的材料属性分配材料规格代码。基于所述一个或多个渲染的材料属性分配材料规格代码可以包括:查询查找表,该查找表包含与一个或多个材料属性和/或一个或多个材料属性的范围相关联地存储的材料规格代码。该方法然后可以包括:存储每个渲染位置(例如,每个渲染坐标或表示物体表面的几何形状的其他坐标,例如表面结构网格)的材料规格代码。例如,表示物体表面的几何形状的渲染位置或其他坐标可以以.OBJ文件格式存储,并且所确定的材料规格代码可以以伴随.mtl文件格式存储。作为另一示例,表示物体表面的几何形状的坐标和所确定的材料规格代码可以以.3MF文件格式存储。
每个渲染位置的材料规格代码表示逼真但紧凑的纹理化表面,该纹理化表面可以例如被导入到可视化软件中以用于可视化,或者导入到用于制造实体物体的增材制造软件中。
例如,该方法可以包括:将例如分别采用.mtl和.OBJ文件格式的每个渲染位置(或表示物体表面的几何形状的其他坐标)的所确定的材料规格代码导入到可视化软件中。然后,可视化软件可以生成纹理化表面的3D表示。纹理化表面逼真地再现物体的表面纹理,但足够紧凑以用于高度交互式可视化使用实例中,例如用于增强现实或虚拟现实使用实例,和/或用于可能不够强大到执行完整的照明模拟的设备上(例如在移动设备中)的可视化。例如,在由于涉及可能的长渲染时间而不期望进行完全渲染的情况下,所得到的纹理化表面可以用作基于物理的体积渲染器的代用品。
作为另一示例,该方法可以包括:将每个渲染位置(或表示物体表面的几何形状的其他坐标)的所确定的材料规格代码导入到增材制造软件中。例如,每个坐标的材料规格代码可以采用网格文件或.3MF文件格式。然后,增材制造软件可以将纹理化表面制造(例如打印)为实体物体。所得到的实体物体的表面可以具有从复杂材料属性得出的逼真纹理和由医学数据集的基于物理的体积渲染捕获的全局照明效果。例如,可以利用对应的有光泽材料打印展现强光泽反射的物体表面的部分。因此,所得到的实体物体可能看起来更逼真,并且因此允许例如在测定外科植入物或仪器的尺寸中或在规划治疗方法中或用于教育目的的增强的效用。
在一些示例中,确定材料规格代码可以包括:确定物体的一个或多个区域的材料规格代码。例如,区域可以是网格表面结构的面。作为另一示例,区域可以是或包括物体的部分或部件或子部件(如上所述,其可以被物体的另一部分或部件或另一物体覆盖或掩盖)。当一些增材制造软件可以被配置为打印网格的每个面,或每个部分或部件或子部件(例如与每个顶点相对)时,这可能是有用的。
例如,该方法可以包括:将表面结构网格解析为用于增材制造软件的文件,例如解析为.3MF文件。例如,表面结构网格文件可以采用.OBJ或.STL或.WRL或X3D文件格式等。所述解析可以包括:解析表面结构网格文件以识别表面结构网格的连接或未连接部分或物体或部件。例如,可以将表面结构网格的每个网格或部件或部分解析为按照3MF规范的网格物体。该方法然后可以包括:为表面结构网格的每个面或物体或部件分配颜色,以及为表面结构网格的每个面或物体或部件分配材料规格代码。例如,确定表面结构网格的面的材料规格代码可以包括:对定义面的每个顶点的所渲染的材料属性进行平均,以及基于平均的所渲染的材料属性将材料规格代码分配给面。
每个渲染位置(或表示物体表面的几何形状的其他坐标)或每个区域的材料规格代码可以被导入到用于制造(例如,打印)实体物体的增材制造软件中。因此,取决于所使用的增材制造过程,该方法可以进一步包括(未在图1中示出):计算用于物体的增材制造设备的挤出机的挤出机路径,和/或根据打印分辨率内插用于3D打印机的表面结构的切片,和/或计算支撑材料,从该支撑材料可以再现与材料规格代码对应的表面纹理。
上述方法提供将逼真渲染的表面转印到3D可打印代用品上,例如网格代用品。在基于物理的体积渲染中使用路径追踪模拟通过医学数据场景的全光传输,并且可以模拟各种各样的视觉效果。如上所述,这些效果可用于进一步得出用于3D打印过程的复杂材料属性。通过利用基于物理的体积渲染技术,该方法解决了根据3D医学图像为3D可打印表面模型创建逼真的、患者特定的且医学相关的纹理的挑战。
现在参考图3,示意性地图示了示例网络301,在示例网络301中可以使用示例渲染设备304。网络301包括扫描仪302、渲染设备304、可视化单元314、计算机网络(诸如互联网)316以及增材制造单元318。将被理解的是,在一些示例中,网络301可以包括比图3中所示的那些更少的或者附加的部件。例如,网络301可以仅包括可视化单元314和增材制造单元318中的一个或另一个。
扫描仪302可以是用于生成医学数据集的任何扫描仪,该医学数据集包括三维3D物体(例如患者的一部分)的3D表示204。例如,扫描仪可以是计算机断层摄影扫描仪、磁共振扫描仪、正电子发射断层摄影扫描仪等。扫描仪302被连接到渲染设备304,例如经由有线或无线连接。扫描仪302可以被布置成向渲染设备304直接或间接地传送或以其他方式提供医学数据集。
渲染设备304包括处理器304和存储装置208。渲染设备304用于渲染物体表面的一个或多个材料属性。渲染设备304被布置为执行渲染物体表面的一个或多个材料属性的上述方法。例如,存储器308可以存储包括指令的计算机程序,所述指令在由处理器306执行时使得所述渲染设备304执行上述方法。所述程序可以存储在计算机可读介质上,该计算机可读介质可以由渲染设备304读取,从而执行所述程序。渲染设备304可以被布置为从扫描仪302直接或间接地接收或以其他方式获取医学数据集204。
渲染设备304可以被布置为将信息(例如,每个坐标和/或每个区域的上述材料规格代码)传送到增材制造单元318和/或可视化单元314。所述传送可以是直接或间接的,例如,经由互联网316。
可视化单元314可以包括用于显示物体310的三维表示310(例如,如根据从渲染设备304提供的每个区域和/或每个坐标的材料规格代码得出的)的可视化软件。可视化单元314可以包括显示屏以及一个或多个图形学硬件或软件部件。可视化单元314可以是或包括移动装置。从渲染设备304提供的每个坐标和/或每个区域的材料规格代码允许物体的纹理化表面的逼真再现,该逼真再现仍然足够紧凑以用于高度交互式可视化使用实例中,例如用于增强现实或虚拟现实使用实例,和/或用于具有有限处理能力的装置上的可视化。
增材制造单元318可以是或包括适于制造实体物体320(例如,如根据从渲染设备304提供的每个坐标和/或每个区域的材料规格代码得出的)的任何合适的增材制造设备。增材制造单元318例如可以包括挤出和/或打印设备。从渲染设备304提供的每个坐标和/或每个区域的材料规格代码允许增材制造单元318制造具有逼真和复杂表面纹理的实体物体320,并且因此其可以允许在例如测定外科植入物或仪器的尺寸中或在规划治疗方法中或用于教育目的的增强的效用。
以上示例应被理解为本发明的说明性示例。此外,应当理解,关于任何一个示例描述的任何特征可以单独使用,或者与所描述的其他特征组合使用,并且还可以与任何其他示例或者任何其他示例的任何组合的一个或多个特征组合使用。此外,在不脱离由所附权利要求限定的本发明的范围的情况下,也可以采用上面未描述的等同物和修改。

Claims (15)

1.一种渲染物体表面的一个或多个材料属性的方法,所述方法包括:
获取医学数据集(204),所述医学数据集(204)包括三维物体的三维表示(204a),所述物体具有表面;
基于所述医学数据集确定对应于所述物体表面的表面结构(206);
基于所确定的表面结构(206)得出多个渲染位置;
在所述多个渲染位置中的每一个处,通过基于物理的体积渲染器并根据所述医学数据集(204)渲染所述物体表面的一个或多个材料属性;和
存储每个渲染位置的所述一个或多个材料属性。
2.根据权利要求1所述的方法,其中所述多个渲染位置中的一个或多个基本上位于所述表面结构(206)处。
3.根据权利要求1或权利要求2所述的方法,其中,所述渲染包括光线追踪,并且其中,所述多个渲染位置中的每一个对应于用于光线追踪的光线原点。
4.根据权利要求1至权利要求3中任一项所述的方法,所述方法包括:
基于所渲染的材料属性中的一个或多个,确定用于增材制造软件和/或用于可视化软件的一个或多个材料规格代码。
5.根据权利要求4所述的方法,所述方法包括:
将每个渲染位置和/或每个区域的所确定的材料规格代码传送到增材制造单元(318)和/或传送到可视化单元(314)。
6.根据权利要求1至权利要求5中任一项所述的方法,其中所述表面结构(206)是闭合表面结构。
7.根据权利要求1至权利要求6中任一项所述的方法,其中,确定所述表面结构(206)包括:
分割所述医学数据集(204)以产生分割表面;和
根据所述分割表面生成所述表面结构(206)。
8.根据权利要求1至权利要求6中任一项所述的方法,其中,确定所述表面结构(206)包括:
生成表示所述医学数据集(204)的点云;和
根据所述点云生成所述表面结构(206)。
9.根据权利要求8所述的方法,其中,生成所述点云包括:
通过基于物理的体积渲染器和根据所述医学数据集(204)渲染表示投影到二维视点上的所述物体的像素;
定位每个像素的深度;和
根据所述像素和每个像素的深度生成所述点云。
10.根据权利要求1至权利要求9中任一项所述的方法,所述方法包括:
基于所述医学数据集(204)和/或所述物体表面的一个或多个检测到的属性,使所述多个渲染位置中的一个或多个从所述表面结构(206)偏离。
11.根据权利要求1至权利要求10中任一项所述的方法,其中,所述表面结构(206)包括纹理映射坐标,并且所述多个渲染位置从所述纹理映射坐标得出。
12.根据权利要求1至权利要求11中任一项所述的方法,其中所述表面结构(206)是网格。
13.根据权利要求12所述的方法,其中所述多个渲染位置中的一个或多个均位于所述网格的顶点处。
14.一种用于渲染物体表面的一个或多个材料属性的设备(304),所述设备被布置为执行根据权利要求1至权利要求13中任一项所述的方法。
15.一种计算机程序,包括指令,所述指令在由计算机(304)执行时使所述计算机(304)执行权利要求1至权利要求13中任一项所述的方法。
CN201811138330.1A 2017-09-28 2018-09-28 用于渲染材料属性的方法和设备 Active CN109584349B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17193803.8 2017-09-28
EP17193803.8A EP3462418B1 (en) 2017-09-28 2017-09-28 Method and apparatus for rendering material properties

Publications (2)

Publication Number Publication Date
CN109584349A true CN109584349A (zh) 2019-04-05
CN109584349B CN109584349B (zh) 2023-10-20

Family

ID=59974356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811138330.1A Active CN109584349B (zh) 2017-09-28 2018-09-28 用于渲染材料属性的方法和设备

Country Status (3)

Country Link
US (1) US20190096119A1 (zh)
EP (1) EP3462418B1 (zh)
CN (1) CN109584349B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192170A (zh) * 2021-04-30 2021-07-30 深圳市山行科技有限公司 三维噪声地图渲染数据存取方法、系统、装置及存储介质
CN114581575A (zh) * 2021-12-13 2022-06-03 北京市建筑设计研究院有限公司 一种模型渲染处理方法、装置及电子设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10930049B2 (en) * 2018-08-27 2021-02-23 Apple Inc. Rendering virtual objects with realistic surface properties that match the environment
FR3087036B1 (fr) * 2018-10-03 2021-06-25 Soletanche Freyssinet Procede de texturation d'un modele 3d
US11195319B1 (en) * 2018-10-31 2021-12-07 Facebook Technologies, Llc. Computing ray trajectories for pixels and color sampling using interpolation
US11004253B2 (en) * 2019-02-21 2021-05-11 Electronic Arts Inc. Systems and methods for texture-space ray tracing of transparent and translucent objects
US11272988B2 (en) 2019-05-10 2022-03-15 Fvrvs Limited Virtual reality surgical training systems
EP3796265A1 (en) * 2019-09-23 2021-03-24 Siemens Healthcare GmbH Implicit surface shading in medical volumetric rendering
US11398072B1 (en) * 2019-12-16 2022-07-26 Siemens Healthcare Gmbh Method of obtaining a set of values for a respective set of parameters for use in a physically based path tracing process and a method of rendering using a physically based path tracing process
US11410387B1 (en) * 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
EP3879498A1 (en) * 2020-03-09 2021-09-15 Siemens Healthcare GmbH Method of rendering a volume and a surface embedded in the volume
CN112884873B (zh) * 2021-03-12 2023-05-23 腾讯科技(深圳)有限公司 虚拟环境中虚拟物体的渲染方法、装置、设备及介质
CN117456074B (zh) * 2023-12-22 2024-04-19 浙江远算科技有限公司 基于数字孪生仿真的海上风电冲刷坑三维渲染方法和设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024269A (zh) * 2009-09-21 2011-04-20 西门子公司 在体绘制中有效确定灯光效果
US20140232719A1 (en) * 2013-02-20 2014-08-21 Toshiba Medical Systems Corporation Volume rendering of medical images
CN104050707A (zh) * 2013-03-15 2014-09-17 想象技术有限公司 使用点采样和预计算光传输信息进行的渲染
US20150079327A1 (en) * 2013-09-18 2015-03-19 Disney Enterprises, Inc. 3d printing with custom surface reflection
CN104992603A (zh) * 2015-07-06 2015-10-21 嘉恒医疗科技(上海)有限公司 人体虚拟漫游展示系统
CN106023300A (zh) * 2016-05-09 2016-10-12 深圳市瑞恩宁电子技术有限公司 一种半透明材质的体渲染方法和系统
CN106485777A (zh) * 2015-09-02 2017-03-08 西门子保健有限责任公司 用功能信息在渲染解剖结构中光照
US20170256090A1 (en) * 2016-03-04 2017-09-07 Siemens Healthcare Gmbh Cinematic rendering of unfolded 3d volumes

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233329B2 (en) * 2003-11-03 2007-06-19 Siemens Corporate Research, Inc. Rendering for coronary visualization
US8125498B2 (en) * 2007-01-03 2012-02-28 Siemens Medical Solutions Usa, Inc. Generating a 3D volumetric mask from a closed surface mesh
US20150324114A1 (en) * 2014-05-06 2015-11-12 Conceptualiz Inc. System and method for interactive 3d surgical planning and modelling of surgical implants
CA2948903C (en) * 2014-05-13 2020-09-22 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
US9710880B2 (en) * 2014-07-03 2017-07-18 Siemens Product Lifecycle Management Software Inc. User-guided shape morphing in bone segmentation for medical imaging
MX2017012039A (es) * 2015-03-25 2018-11-12 Zaxis Labs Sistema y metodo para la planeacion de un procedimiento medico.
US10919220B2 (en) * 2016-03-11 2021-02-16 Carbon Design Innovations, Inc. Directed ink deposition of additive material using a needle brush

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024269A (zh) * 2009-09-21 2011-04-20 西门子公司 在体绘制中有效确定灯光效果
US20140232719A1 (en) * 2013-02-20 2014-08-21 Toshiba Medical Systems Corporation Volume rendering of medical images
CN104050707A (zh) * 2013-03-15 2014-09-17 想象技术有限公司 使用点采样和预计算光传输信息进行的渲染
US20150079327A1 (en) * 2013-09-18 2015-03-19 Disney Enterprises, Inc. 3d printing with custom surface reflection
CN104992603A (zh) * 2015-07-06 2015-10-21 嘉恒医疗科技(上海)有限公司 人体虚拟漫游展示系统
CN106485777A (zh) * 2015-09-02 2017-03-08 西门子保健有限责任公司 用功能信息在渲染解剖结构中光照
US20170256090A1 (en) * 2016-03-04 2017-09-07 Siemens Healthcare Gmbh Cinematic rendering of unfolded 3d volumes
CN106023300A (zh) * 2016-05-09 2016-10-12 深圳市瑞恩宁电子技术有限公司 一种半透明材质的体渲染方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192170A (zh) * 2021-04-30 2021-07-30 深圳市山行科技有限公司 三维噪声地图渲染数据存取方法、系统、装置及存储介质
CN114581575A (zh) * 2021-12-13 2022-06-03 北京市建筑设计研究院有限公司 一种模型渲染处理方法、装置及电子设备

Also Published As

Publication number Publication date
EP3462418B1 (en) 2024-06-19
CN109584349B (zh) 2023-10-20
US20190096119A1 (en) 2019-03-28
EP3462418C0 (en) 2024-06-19
EP3462418A1 (en) 2019-04-03

Similar Documents

Publication Publication Date Title
CN109584349A (zh) 用于渲染材料属性的方法和设备
EP3345162B9 (en) Visualization of surface-volume hybrid models in medical imaging
Cheng et al. A morphing-Based 3D point cloud reconstruction framework for medical image processing
US10311631B2 (en) Light path fusion for rendering surface and volume data in medical imaging
US9001124B2 (en) Efficient determination of lighting effects in volume rendering
CN106981098A (zh) 虚拟场景组分的视角表示
US9224236B2 (en) Interactive changing of the depiction of an object displayed using volume rendering
US11127197B2 (en) Internal lighting for endoscopic organ visualization
CN115131487A (zh) 医学影像处理方法、系统、计算机设备、存储介质
CN111325825A (zh) 确定体积数据集的照明效果的方法
JP7471814B2 (ja) 既知の伝達関数を用いた体積レンダリングの最適化
US11955246B2 (en) Unified anisotropic volume and surface mesh storage
Wilson et al. Interactive multi-volume visualization
EP4215243A1 (en) A computer-implemented method for use in determining a radiation dose distribution in a medical volume
US10347032B2 (en) Slice representation of volume data
US20140049542A1 (en) Layer Display of Volume Data
JP5245811B2 (ja) ボクセル配列可視化装置
CN104616344A (zh) 纹理映射体绘制的3d java 实现的方法
US20230360314A1 (en) Technique for real-time rendering of medical images using virtual spherical light sources
WO2020152338A1 (en) Method for selecting an illumination pattern for a fluorescence molecular tomography measurement
STAGNOLI Ultrasound simulation with deformable mesh model from a Voxel-based dataset
DE102021110797A1 (de) Verfahren und System zum Optimieren einer Abstandsschätzung
Skabek et al. Applications of computer vision in medicine and protection of monuments
Monclús Lahoya Advanced interaction techniques for medical models
WO2024184117A1 (en) Apparatus for generating a visualization of a medical image volume

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240905

Address after: German Phu F Haim

Patentee after: Siemens Medical AG

Country or region after: Germany

Address before: Erlangen, Germany

Patentee before: SIEMENS HEALTHCARE GmbH

Country or region before: Germany