CN115578496A - 一种用于医学图形的局部gpu加速实时渲染方法 - Google Patents

一种用于医学图形的局部gpu加速实时渲染方法 Download PDF

Info

Publication number
CN115578496A
CN115578496A CN202211294186.7A CN202211294186A CN115578496A CN 115578496 A CN115578496 A CN 115578496A CN 202211294186 A CN202211294186 A CN 202211294186A CN 115578496 A CN115578496 A CN 115578496A
Authority
CN
China
Prior art keywords
model
medical
real
human tissue
rendering method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211294186.7A
Other languages
English (en)
Inventor
赵兆瑞
边普阳
王高峰
张靖宇
田雅芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202211294186.7A priority Critical patent/CN115578496A/zh
Publication of CN115578496A publication Critical patent/CN115578496A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)

Abstract

本发明提供一种用于医学图形的局部GPU加速实时渲染方法，包括如下步骤：A、使用一组人体组织的医学图形作为基本模型；B、读取基本模型的模型信息，包括各定点的拓扑关系、特性标签和基本顶点；C、将读取的模型信息传入顶点着色器中，并在顶点着色器中将顶点加工成表面；D、设置人体组织模型的多个视图，通过目标视图相邻的两个输入视图获取所述目标视图的纹理信息；E、对于实时性能，通过在原生深度图和混合图上采样提高分辨率，进而提高渲染效果；F、绘制构成人体组织的三角面片；G、将处理后的人体组织模型进行光栅化，最终得到渲染结果；本发明实现了渲染医学图形中需要的实时高效，对模型渲染的精度高的技术。

Description

一种用于医学图形的局部GPU加速实时渲染方法
技术领域
本发明属于计算机渲染技术领域，尤其涉及一种用于医学图形的局部GPU加速实时渲染方法。
背景技术
曲面细分是OpenGL4.x中的一个令人兴奋的新特性，曲面主要用于解决3D模型的静态属性，包括他们的精细度和多边形数量。具体来说就是当我们近距离观察一个复杂的模型(如心脏)时，我们希望能够看到这个模型的所有细节(例如组织表面的褶皱)，这是渲染医学图形所需要的一个特性。
关键问题是物理模拟和细节优化通常在CPU上运行，而渲染的表面几何形状存储
在GPU上。这需要CPU侧从GPU访问网格数据，以便计算表面变形。此外，物理更新涉及将修改后的表面几何上传回GPU。由于CPU-GPU内存总线的带宽和延迟限制，这导致了重要的运行时开销并影响了当前硬件架构的性能。
综上可知，现有渲染技术在实际使用上，显然存在不便与缺陷，所以有必要加以改进。
发明内容
本发明的目的在于提供一种用于医学图形的局部GPU加速实时渲染方法，其特征在于，包括如下步骤：
S1：对人体组织模型进行预处理；
S2：设置预处理后的所述人体组织模型的多个视图，通过目标视图相邻的两个输入视图获取所述目标视图的纹理信息；
S3：对于实时性能，通过在原生深度图和混合图上采样提高分辨率，进而提高渲染效果；
S4：绘制构成人体组织的三角面片；
S5：将处理后的人体组织模型进行光栅化，最终得到渲染结果。
进一步地，所述S2具体为：设置目标视图
Figure BDA0003902002490000021
和
Figure BDA0003902002490000022
相邻的两个输入视图
Figure BDA0003902002490000023
和
Figure BDA0003902002490000024
的深度图，将输入图像I1和I2分别扭曲到目标视图
Figure BDA0003902002490000025
得到I1，t和I2，t，再将源视图和深度图分别变形为目标视图得到
Figure BDA0003902002490000026
和
Figure BDA0003902002490000027
从而获得遮挡信息，通过公式一表示：
Figure BDA0003902002490000028
所述公式一中，Oi和
Figure BDA0003902002490000029
中i同时为1或2。
进一步地，对于遮挡信息，将每个三元组的相邻像素相链接获得隐式三角形网格，然后使用相应的深度图将隐式三角形网格扭曲到目标虚拟视图位置，并用相关颜色进行光栅化，当其他输入图像没有包含用于填充隐式三角形网格的信息，则检测到位于遮挡上的隐式三角形网格内的像素被丢弃，并在最终结果中保持黑色，从而避免场景深度变化时产生伪影，进而达到加速渲染的目的。
进一步地，通过使用质量标准q表征能够避免拉长三角形的能力，从而检测朝外位置的三角形，质量标准q通过经验公式经验获取，所述经验公式表示为：
Figure BDA00039020024900000210
所述经验公式中，L为三角形的最长边，T为像素阈值，
Figure BDA00039020024900000211
为目标摄像机观察向量，
Figure BDA00039020024900000212
为三角形的法线，当三角形的q为零时，丢弃三角形内部的像素。
进一步地，通过使用混合函数ΘTBN将相邻输入视图的局部精细几何和纹理信息与像素级混合图W融合，避免I1，t和I2，t混合后产生的伪影，所述混合函数ΘTBN表示为：
W＝ΘTBN(I1，t，O1，I2，t，O2)。
进一步地，所述S3中，通过使用双线性插值对
Figure BDA0003902002490000031
进行上采样，然后医用区已操作提取边界区域，并以1K分辨率形成新的深度图
Figure BDA0003902002490000032
使用
Figure BDA0003902002490000033
将原始高分辨率输入图像扭曲到目标视图中已获得
Figure BDA0003902002490000034
从而避免由于深度推断的模糊性导致的圆生菜杨在边界附近造成的锯齿效应。
进一步地，最终的纹理混合结果通过公式二表示：
Figure BDA0003902002490000035
所述公式二中，为通过双线性插值原生采样的高分辨率混合图。
进一步地，所述S1中，所述预处理包括如下步骤：
S11：使用一组人体组织的医学图形作为基本模型；
S12：读取基本模型的模型信息，所述模型信息包括各定点的拓扑关系、特性标签和基本顶点；
S13：将读取的模型信息传入顶点着色器中，并在所述顶点着色器中将顶点加工成表面。
进一步地，所述S4中，还需设置人体组织的光照模型并加载相关纹理。
与现有技术相比，本发明的有益效果主要体现在：将医学图形集成到硬件细分管线中，通过一种神经混合管线方法，来提高渲染的简单性和效率，不仅提高了运算速度，还加快了渲染的流畅性，渲染的真实性。
附图说明
图1为本发明一种用于医学图形的局部GPU加速实时渲染方法的流程框图。
具体实施方式
下面将结合示意图对本发明一种用于医学图形的局部GPU加速实时渲染方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果，因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
如图1所示，一种用于医学图形的局部GPU加速实时渲染方法，其特征在于包括以下步骤：
步骤(1)使用一组人体组织的医学图形作为基本模型。
步骤(1-1)读取模型的信息包括各顶点的拓扑关系，特性标签，基本顶点。
步骤(1-2)将以上数据传入顶点着色器中，并在顶点着色器中将顶点加工成表面。
步骤(2)对于输入的一组医学图形，在设置多个视图时，目标视图中的大部分纹理信息可以通过它两个相邻的输入视图来获取。
基于这一点，首先生成目标视图
Figure BDA0003902002490000041
和两个输入视图
Figure BDA0003902002490000042
和
Figure BDA0003902002490000043
的深度图，我们使用
Figure BDA0003902002490000044
将输入图像I1和I2扭曲到目标视图中，用I1，t和I2，t表示，我们还将源视图深度图变形为目标视图并获得
Figure BDA0003902002490000045
和
Figure BDA0003902002490000046
以获得遮挡信息
Figure BDA0003902002490000047
Oi和
Figure BDA0003902002490000048
中i同时为1或2。
在与其他视图混合之前，每个输入视图都会按照目标相机姿势进行扭曲。为了避免最终输出图像中出现小洞，将每个三元组的相邻像素链接在一起，可以获得隐式三角形网格；然后使用相应的深度图将三角形扭曲到目标虚拟视图位置，并最终用它们相关的颜色进行光栅化；如果没有其他输入图像包含用于填充它们的信息，则检测到位于遮挡上的像素将被丢弃并在最终结果中保持黑色；这种方法避免了场景中突然深度变化时产生伪影，并且不像在超像素中修复或分割图像那样耗时；为了检测朝外位置上的三角形，使用质量标准q来表征能够避免拉长三角形的能力，质量标准q可以通过如下经验公式经验获取：
Figure BDA0003902002490000051
其中L是三角形的最长边，T是像素阈值，
Figure BDA0003902002490000052
是目标摄像机观察向量，
Figure BDA0003902002490000053
是三角形的法线，细长的三角形在视觉上的效果非常一般，其对应相对较小的q，当某个三角形的q为零时，其将被丢弃。
由于自遮挡和不准确的几何特征，I1，t和I2，t可能存在较大误差，简单的混合会使它们产生较严重的伪影，因此使用一个混合函数ΘTBN，它利用多视图设置的全局信息，将相邻输入视图的局部精细几何和纹理信息与像素级混合图W融合，其定义为：
W＝ΘTBN(I1，t，O1，I2，t，O2)
步骤(3)对于实时性能，深度图以低分辨率256×256生成。为了实现更为逼真的渲染效果，需要将基于在原生深度图和混合图上采样以达到1K分辨率；由于深度推断的模糊性，原生采样会在边界附近造成严重的锯齿效应；为了克服锯齿效应，使用双线性插值对
Figure BDA0003902002490000054
进行上采样；然后应用取异或操作来提取边界区域；边界区域内的深度值通过使用混合管线重新计算，并以1K分辨率形成新的深度图
Figure BDA0003902002490000055
然后用
Figure BDA0003902002490000056
将原始高分辨率输入图像扭曲到目标视图中以获得
Figure BDA0003902002490000057
最终的纹理混合结果表示为：
Figure BDA0003902002490000058
其中
Figure BDA0003902002490000059
是通过双线性插值原生采样的高分辨率混合图。
步骤(4)绘制构成人体组织的三角面片。
步骤(4-1)设置人体组织的光照模型，并加载相关纹理。
步骤(5)将处理过的模型进行光栅化，最终得到渲染结果。
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (9)

1.一种用于医学图形的局部GPU加速实时渲染方法，其特征在于，包括如下步骤：
S1：对人体组织模型进行预处理；
S2：设置预处理后的所述人体组织模型的多个视图，通过目标视图相邻的两个输入视图获取所述目标视图的纹理信息；
S3：对于实时性能，通过在原生深度图和混合图上采样提高分辨率，进而提高渲染效果；
S4：绘制构成人体组织的三角面片；
S5：将处理后的人体组织模型进行光栅化，最终得到渲染结果。
2.根据权利要求1所述的用于医学图形的局部GPU加速实时渲染方法，其特征在于，所述S2具体为：设置目标视图
Figure FDA0003902002480000011
和
Figure FDA0003902002480000012
相邻的两个输入视图
Figure FDA0003902002480000013
和
Figure FDA0003902002480000014
的深度图，将输入图像I1和I2分别扭曲到目标视图
Figure FDA0003902002480000015
得到I1，t和I2，t，再将源视图和深度图分别变形为目标视图得到
Figure FDA0003902002480000016
和
Figure FDA0003902002480000017
从而获得遮挡信息，通过公式一表示：
Figure FDA0003902002480000018
所述公式一中，Oi和
Figure FDA0003902002480000019
中i同时为1或2。
3.根据权利要求2所述的用于医学图形的局部GPU加速实时渲染方法，其特征在于，对于遮挡信息，将每个三元组的相邻像素相链接获得隐式三角形网格，然后使用相应的深度图将隐式三角形网格扭曲到目标虚拟视图位置，并用相关颜色进行光栅化，当其他输入图像没有包含用于填充隐式三角形网格的信息，则检测到位于遮挡上的隐式三角形网格内的像素被丢弃，并在最终结果中保持黑色，从而避免场景深度变化时产生伪影，进而达到加速渲染的目的。
4.根据权利要求3所述的用于医学图形的局部GPU加速实时渲染方法，其特征在于，通过使用质量标准q表征能够避免拉长三角形的能力，从而检测朝外位置的三角形，质量标准q通过经验公式经验获取，所述经验公式表示为：
Figure FDA0003902002480000021
所述经验公式中，L为三角形的最长边，T为像素阈值，
Figure FDA0003902002480000022
为目标摄像机观察向量，
Figure FDA0003902002480000023
为三角形的法线，当三角形的q为零时，丢弃三角形内部的像素。
5.根据权利要求4所述的用于医学图形的局部GPU加速实时渲染方法，其特征在于，通过使用混合函数ΘTBN将相邻输入视图的局部精细几何和纹理信息与像素级混合图W融合，避免I1，t和I2，t混合后产生的伪影，所述混合函数ΘTBN表示为：
W＝ΘTBN(I1，t，O1，I2，t，O2)。
6.根据权利要求5所述的用于医学图形的局部GPU加速实时渲染方法，其特征在于，所述S3中，通过使用双线性插值对
Figure FDA0003902002480000024
进行上采样，然后医用区已操作提取边界区域，并以1K分辨率形成新的深度图
Figure FDA0003902002480000025
使用
Figure FDA0003902002480000026
将原始高分辨率输入图像扭曲到目标视图中以获得
Figure FDA0003902002480000027
从而避免由于深度推断的模糊性导致的原生采样在边界附近造成的锯齿效应。
7.根据权利要求6所述的用于医学图形的局部GPU加速实时渲染方法，其特征在于，最终的纹理混合结果通过公式二表示：
Figure FDA0003902002480000028
所述公式二中，为通过双线性插值原生采样的高分辨率混合图。
8.根据权利要求1所述的用于医学图形的局部GPU加速实时渲染方法，其特征在于，所述S1中，所述预处理包括如下步骤：
S11：使用一组人体组织的医学图形作为基本模型；
S12：读取基本模型的模型信息，所述模型信息包括各定点的拓扑关系、特性标签和基本顶点；
S13：将读取的模型信息传入顶点着色器中，并在所述顶点着色器中将顶点加工成表面。
9.根据权利要求1所述的用于医学图形的局部GPU加速实时渲染方法，其特征在于，所述S4中，还需设置人体组织的光照模型并加载相关纹理。
CN202211294186.7A 2022-10-21 2022-10-21 一种用于医学图形的局部gpu加速实时渲染方法 Pending CN115578496A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211294186.7A CN115578496A (zh) 2022-10-21 2022-10-21 一种用于医学图形的局部gpu加速实时渲染方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211294186.7A CN115578496A (zh) 2022-10-21 2022-10-21 一种用于医学图形的局部gpu加速实时渲染方法

Publications (1)

Publication Number Publication Date
CN115578496A true CN115578496A (zh) 2023-01-06

Family

ID=84587034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211294186.7A Pending CN115578496A (zh) 2022-10-21 2022-10-21 一种用于医学图形的局部gpu加速实时渲染方法

Country Status (1)

Country Link
CN (1) CN115578496A (zh)

Similar Documents

Publication Publication Date Title
Sen et al. Shadow silhouette maps
US8243070B1 (en) Triangulation for accelerated rendering of polygons
JP5232358B2 (ja) アウトラインフォントのレンダリング
US8773432B2 (en) Triangulation for accelerated multi-resolution rendering of stroked paths
US8072452B1 (en) Efficient multi-resolution curve rendering
Wyman et al. Penumbra Maps: Approximate Soft Shadows in Real-Time.
US8379021B1 (en) System and methods for rendering height-field images with hard and soft shadows
US8269770B1 (en) Tessellation of trimmed parametric surfaces by walking the surface
JP2005100177A (ja) 画像処理装置およびその方法
CN108230435B (zh) 采用立方图纹理的图形处理
JP6863693B2 (ja) グラフィックス処理システムおよび方法
JP7038683B2 (ja) 合成装置、方法及びプログラム
US11727628B2 (en) Neural opacity point cloud
Xu et al. Stylized rendering of 3D scanned real world environments
Li et al. Chameleon: An interactive texture-based rendering framework for visualizing three-dimensional vector fields
JP2005100176A (ja) 画像処理装置およびその方法
US11087511B1 (en) Automated vectorization of a raster image using a gradient mesh with arbitrary topology
CN108197555B (zh) 一种基于人脸追踪的实时人脸融合方法
US7808512B1 (en) Bounding region accumulation for graphics rendering
US6906729B1 (en) System and method for antialiasing objects
US11989807B2 (en) Rendering scalable raster content
CN115578496A (zh) 一种用于医学图形的局部gpu加速实时渲染方法
US8274513B1 (en) System, method, and computer program product for obtaining a boundary attribute value from a polygon mesh, during voxelization
Ivo et al. Improved silhouette rendering and detection of splat-based models
JP4714919B2 (ja) レンダリング装置及び記録媒体並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination