CN1716317B - 滑动纹理的体绘制方法与系统 - Google Patents

滑动纹理的体绘制方法与系统 Download PDF

Info

Publication number
CN1716317B
CN1716317B CN2005100878290A CN200510087829A CN1716317B CN 1716317 B CN1716317 B CN 1716317B CN 2005100878290 A CN2005100878290 A CN 2005100878290A CN 200510087829 A CN200510087829 A CN 200510087829A CN 1716317 B CN1716317 B CN 1716317B
Authority
CN
China
Prior art keywords
texture
polygon
data
different
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2005100878290A
Other languages
English (en)
Other versions
CN1716317A (zh
Inventor
K·D·恩格尔
G·帕拉迪尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical Solutions USA Inc filed Critical Siemens Medical Solutions USA Inc
Publication of CN1716317A publication Critical patent/CN1716317A/zh
Application granted granted Critical
Publication of CN1716317B publication Critical patent/CN1716317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

体数据子集被顺序存储以用于从二维纹理进行体绘制。例如,相邻二维图像对被加载到RAM或者高速缓存中。一个或多个纹理数据片被内插用于在二维图像之间延伸的多边形。片或多边形比二维图像更正交于观察方向。在为多个非共面多边形内插来自二维图像的纹理数据后,纹理数据被绘制。绘制的信息表示三维显示的一部分。其它部分通过对相邻二维图像的其他对或子集组重复处理过程被绘制。较低成本的设备,如编程的计算机或具有有限量存储器的GPU,能绘制用于非常大的三维阵列的三维显示的图像。可在无需复制不同主轴的体数据的情况下绘制图像。可以使用不同缩放比例或在表示体积的二维图像之间的变化空间关系。多边形被变化以说明差异,避免计算密集的重新采样。

Description

滑动纹理的体绘制方法与系统
相关申请 
依据35U.S.C§119(e),本专利文件要求序列号为60/574038、申请日为2004年5月25日的临时美国专利申请的优先权,所述临时申请被通过引用结合于此。 
技术领域
本发明涉及生成用于体绘制的数据。直接体绘制包括若干不同的技术,被粗略地划分为基于图像(反向投影),例如光线投射法(ray-casting),和基于物体(正向投影),例如单元格投影(cell projection)、剪切-扭曲(shear-warp)、溅泼(splatting)或者基于纹理的算法。所述共同的主题是沿着在用于三维显示的每一个像素的体积内部的数据(例如,RGBα值)的观察线的积分。 
背景技术
直接体绘制被提供用于医学图像,例如,那些获取自磁共振(MR)、计算机化X射线分层造影(CT)、电子发射断层扫描(PET)或者任何其它能够生成一系列成网格状阵列的图像的医学层析成像扫描仪的图像。近来的技术发展在层析成像领域已经大幅度地提高了数据采集的空间分辨率和速度,导致了由几百、甚至几千幅图像组成的非常巨大的数据集合的产生。例如,使用西门子SOMATOM VolumeZoomTMCT扫描仪可能高速地生成一系列的1024个图像,其中每幅图像由512×512像素的网格组成,得到512×512×1024体元素(超过2亿6千8百万个数据值)的三维体积。在石油和煤气工业中,地震数据测量结果也被存储为巨大的三维体积,其具有多达2048×2048×2048个网格元素(超过85亿个数据值)。 
直接体绘制可能需要随机访问三维阵列的数据值,并且因此所述整个阵列被存储于计算机的RAM或者图形处理单元(GPU)存储器中。这样庞大的数据量常常大于现在的计算机上可提供的随机存取存储器(RAM)的存储容量。为了计算非常巨大的体积的直接体绘制,使用一种具有大量RAM的昂贵的设 备。 
当使用32位CPU时,用于直接体绘制的阵列的尺寸被限制在CPU能够寻址的数据元素的数量的最大值内。一些三维阵列可以如此巨大以致于它们的尺寸超过了在许多个人计算机和图形工作站中能被找到的32位中央处理器(CPU)的存储器寻址能力,所述CPU的存储器寻址能力被限制在最大值为42亿个数据元素。 
体绘制方法也可能需要把所述体数据重新抽样成均匀笛卡尔网格。所述图像都具有相同的分辨率和维数,以及在相邻图像之间的距离对于整个体数据集合为常数。 
用于所述体积的数据能够被存储为单独的3D纹理,并且来自切片的顶点的三个纹理坐标被内插到所述切片多边形的内部。所述三个纹理坐标在光栅化期间被用来从所述3D纹理映射中获取被过滤的像素。取决于3D纹理的尺寸,CPU或者GPU的高速缓存性能将遭受损失。将所述体积分解为若干更小的3D纹理(小块)以增加高速缓存性能也是有可能的。然而,为了保证在小块之间的连续内插,所述体数据不得不在小块的边界处被复制。由于在CPU和GPU中的高速缓存相对较小,所述体数据被分割为大量的小块以保证最佳的高速缓存性能。许多体数据在所述小块的边界处被复制,这并不是用于巨大体数据的可行的解决方案。另外,数据必须在存储器中从原始表示重新安排为切片的叠层那样。 
一种替代的方法是将体数据存储为许多的二维图像(2D纹理)。所述体数据的单幅图像与整个体积相比是相当小的。每次绘制单独的二维纹理会产生好的高速缓存性能。然而,这种方法需要所述体数据的三份副本存储于存储器中,而每一份副本被用所述体数据的三条主轴中的一条来标定方向。具有最正交于观察者视线的主轴的体数据副本被用于绘制以保证好的存储器访问模式和高速缓存相干性。 
发明内容
经由介绍,下面描述的优选实施例包括用于生成体绘制的数据的方法和系统。所述体数据的子集被连续地存储,用于从二维纹理进行体绘制。例如,相邻的二维图像对被加载到RAM或者高速缓存中。纹理数据的一个或多个片被 内插用于在二维图像之间延伸的多边形。所述片或者多边形比二维图象更加正交于观察方向。在内插来自二维图像的用于多个不共面的多边形的纹理数据之后,纹理数据被绘制。所述被绘制的信息表示所述三维显示的一个部分。其他的部分通过重复用于相邻的二维图像的其他对或者子集组的处理过程来绘制。 
低成本设备,例如具有有限存储容量的被编程的计算机或者GPU,能够绘制用于非常大的三维阵列的三维显示的图像。所述图像可以在不需要复制用于不同主轴的体数据的情况下被绘制。可以使用在表示体积的二维图像之间的不同缩放比例或变化的空间关系。多边形被多样化以说明所述差异,避免计算上密集的重新采样。 
在第一个方面,提供一种用于生成体绘制的数据的方法。至少获得第一和第二二维纹理。从所述第一和第二二维纹理生成比二维纹理更正交于观察方向的纹理数据。所述纹理数据表示在第一和第二二维纹理之间的区域。 
在第二个方面,提供一种用于从二维纹理进行体绘制的方法。就像在相邻的二维纹理之间的片一样延伸的多边形被识别。生成用于所述多边形的纹理数据。从用于所述多边形的纹理数据绘制图像。 
在第三个方面,提供一种用于生成体绘制的数据的系统。存储器可用来按顺序存储多幅二维图像的不同子集。处理器可用来在至少一个表示在每一个不同的子集的二维图像之间的区域的片上生成用于每一个不同子集的纹理数据。用于每一个不同子集的纹理数据是来自所述各自不同的子集的二维图像的函数。 
本发明由所附的权利要求限定,并且在这一部分的任何表述都不应当成为对那些权利要求的限制。本发明的更多的方面和有点将结合优选实施例在随后进行讨论。 
附图说明
所述部件和附图不一定按比例,而是把重点放在说明本发明的原理。然而,在所述附图中,相似的参考标号指定不同视图中的相应部分。 
图1是一幅用于生成体绘制的纹理数据的系统的一个实施例的方块图。 
图2是一幅用于生成纹理数据和体绘制的方法的一个实施例的流程图。 
图3是一幅表示体积的二维图像阵列的图形表示。 
图4是一幅在一对二维图像之间延伸的多个多边形上内插纹理数据的图形表示。 
具体实施方式
体数据集合通过移动的窗口被寻址,每次绘制在两幅相邻图像之间的空间(体切片)。两幅相邻的图像从任何存储设备或者网络连接流入本地CPU或者GPU存储器中。在两个相邻图像之间的空间通过光栅化一系列切片多边形来绘制,所述切片多边形被来自所述两幅相邻图像的内插数据加上纹理。在用于特定切片的切片多边形已经被绘制后,接着绘制相邻的切片。附加的图像流入本地存储器去替换不能限制新切片的先前图像中的一幅。这个过程一直被重复,直到所述体积或者阵列的整个系列的图像都已经被处理为止。 
利用直接体绘制有效地生成图像,甚至当包含被内插的数据的整个三维阵列非常巨大并且超出了处理设备的存储器存储和/或存储器寻址能力时。所述目标的相邻图像一次一幅地逐渐被穿过并且利用图像对或者其他子集而被内插。用于巨大的体数据的显像的任何设备的存储器存储需求能够被大大地减少,因为在任意时刻仅仅两幅图像需要驻留在存储器中,并且每一幅图像仅仅被加载在存储器中一次。低存储需求容许简单的处理设备,例如具有有限的存储器的计算机或者具有很小的视频存储器的GPU,来计算包含任意巨大数量的图像的非常庞大的三维体积的直接体积显像。所述图像间距离和图像缩放比例可以是任意的,允许具有局部变化的分辨率的体数据集合的显像而不必在笛卡尔网格上对数据重新采样。 
图1表示用于生成体绘制的数据和体绘制所生成的数据的系统10。所述系统10包括数据源12、存储器14、处理器16和显示器18。另外,可以提供不同的或者更少的部件,例如没有数据源12的系统。在一个实施例中,所述系统10是医学成像或者断层扫描系统的一部分,例如,MRI,CT,X射线,PET,超声或者其他的医学成像的形态。在另外的实施例中,所述系统10是计算机、工作站、数据库系统或者其他独立式或者移动处理系统。 
数据源12是医学成像系统,断层扫描器,网络,数据库,存储设备,计算机或者其他的可用来获得和/或存储表示体积的数据集的设备。例如,数据源12同时或者按顺序提供数十、数百或者甚至数千个二维图像和相关联的空间关 系信息。图像包括用于生成图像的即使不是成像格式的数据或者先前是成像格式的数据或者尚未被用于显示图像的数据。二维图像的阵列表示通过病人或者结构的平行或者不平行的切片或者平面。所述图像具有相同的或者不同的分辨率,在每一个紧接的图像对之间的间隔相同或者变化。任何现知的或者以后发展的数据源12和相关联的二维纹理(图像)的阵列或者集合都可以被使用。 
存储器14是高速缓存存储器,随机存取存储器,CPU存储器,GPU存储器,缓冲器,它们的结合或者其他现知或者以后发展的存储器。存储器14可用来按顺序存储表示体积的数据的不同的子集。例如,存储器14存储两个或者更多个来自于更大数量的二维图像的图像。所存储的图像彼此相邻,例如成为紧接的图像对。或者,存储其间间隔一个或者多个其他图像的相对相邻的图像。 
为了利用滑动窗从体数据中选择图像子集的连续存储区来绘制,存储器14可以先进先出形式来工作。也可以使用其他形式。所述滑动纹理方法阻止了为体绘制使用二维纹理的问题的出现。特别地,所述滑动纹理方法不需要存储三份体数据的副本,但是可使用多个副本。体数据能够以原始形式表示为单一系列的二维图像。每一幅图像的数据内容在存储器14之中是连续的,以保证良好的高速缓存相干性,但是也可以使用一幅或者多幅具有处于不连续地址的数据的图像。所述图像可以被存储在不同的存储器中(例如,数据源12和存储器14)并且所述图像可以不具有统一的缩放比例和/或图像间距离。 
处理器16是通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列,图形处理单元,中央处理单元,模拟电路,数字电路,它们的组合,多个处理器,网络或者其他已知的或以后发展的处理器。在一个实施例中,所述处理器和存储器14是图形处理单元的一部分,例如,按照OpenGL、DirectX或者其他图形数据绘制语言可操作的图形卡。 
处理器16可用来从存储于存储器14中的二维纹理的不同子集来三线性内插数据。例如,处理器16首先双线性内插。处理器16在至少一个表示在每一个不同子集的二维图像之间的区域的片上生成纹理数据。所述纹理数据生成自限制所述区域的二维图像,因此用于每一个不同子集的纹理数据是来自分别不同的子集的二维图像的函数。生成表示所述切片的不同纹理片。对于当前存储于存储器14中的二维图像的每一对或者子集,多个在二维图像之间延伸的实 质上平行的非共面的多边形被识别并且在所述多边形上从二维图像对内插纹理数据。 
为了从所述纹理片进行绘制,处理器16沿着更为正交而不是平行于所述纹理片的其他维度进行内插,提供三线性内插。通过连续地执行用于体数据的不同子集的三线性内插,处理器16绘制具有被绘制自对应于不同子集的不同片的不同区域的三维表示。 
在一个示例GPU实现中,体数据被存储于存储器14中。如果体数据的整个集合安装在GPU存储器14中,切片S1-Sn的整个序列被以2D纹理的堆叠形式存储。作为选择,2D纹理(例如,T1和T2)的另一个子集被放置于GPU存储器14。不论是整个集合还是子集,两幅或者更多幅图像被挑选出来去定义每一个体切片。模板几何图形被预计算或者实时地识别多边形。来自所述模板或者被计算出的多边形被存储在GPU存储器中,其中利用了显示列表,顶点缓冲对象(VBO),顶点阵列(VAR)或者其他任何允许在GPU存储器中存储几何图形的技术。所述子集的图像被限制为多纹理单元(例如,TU1和TU2)以及被用于在替代几何图形(例如,平移的模板几何图形)中纹理化。可编程分段处理器从组成所述切片的两幅图像中取回两个双线性内插的样本。所述分段处理器在Z纹理坐标中用内插因子对两个样本加权以获得三线性内插样本。这个样本能够进一步地被用于分类和明暗处理。 
在第一切片已经被绘制后,按切片间距离进行的平移被增加到用于基于模板的实施例的模型图矩阵中。下一个来自所述体积的切片被复制到GPU存储器14中的两种2D纹理之一中。所述下一个切片采用往复式或者先进先出方式被加载到GPU存储器14中的两种2D纹理中。每一个切片仅仅被加载一次,如下面的示例所示: 
第一切片:  加载图像S1到T1,加载图像S2到T2, 
用T1给TU1赋值,用T2给TU2赋值 
绘制 
第二切片:  加载图像S3到T1, 
用T2给TU1赋值,用T1给TU2赋值 
绘制 
第三切片:  加载图像S4到T2, 
用T1给TU1赋值,用T2给TU2赋值 
绘制 
第四切片:  加载图像S5到T1, 
用T2给TU1赋值,用T1给TU2赋值 
绘制 
第五切片:  加载图像S6到T2, 
用T1给TU1赋值,用T2给TU2赋值 
绘制 
第(i*2)切片:  加载图像S(i*2+1)到T1, 
用T2给TU1赋值,用T1给TU2赋值 
绘制 
第(i*2+1)切片:  加载图像S(i*2+2)到T2, 
用T1给TU1赋值,用T2给TU2赋值 
绘制 
在每一个切片之中由后至前的合成使用透明几何图形的由后至前的排序。分别地,由前至后的合成使用透明几何图形的由前至后的排序。为了正投影,所述切片按照z的增序或者降序被排序。为了立体投影,所述切片纹理片根据在模型空间中的照相机的z坐标被排序。因为每一个切片具有沿着z轴(所述轴实质上平行于限定所述切片的二维图像)的特定范围,具有照相机的模型空间z坐标的切片在其范围内首先被绘制以用于由前至后的合成或者最后被绘制以用于由后至前的合成。对于由前至后合成按照与第一切片的渐增的距离的顺序或者对于由后至前合成按照与最后的切片的渐减的距离的顺序对其他切片进行绘制。 
显示器18是CRT、LCD、投影仪、等离子显示器或者其他现知的或者以后发展的显示设备。显示器18在所述数据被绘制期间或者之后生成一幅图像或者图像序列。所述图像是三维表示,例如从用户或者处理器选择的观察方向绘制的二维图像。显示器18是本地系统10的一部分或者是远程的,例如联网的显示器。 
图2表示用于生成体绘制的数据和用于从二维纹理进行体绘制的方法。所 述方法是使用图1的系统10或者不同的系统来实现的。可以使用动作30-38的相同或者不同的顺序。另外,可以使用不同的或者更少的动作。例如,在没有动作38的情况下执行动作36。作为另一个实例,动作34对应于识别区域、片或者切片,未必识别多边形。 
在动作30中,获得多个二维纹理。图3表示多个表示体积52的二维图像50。所述二维图像是从经由被扫描的身体的常规的一连串相邻图像50组合的数据的三维体阵列中的纹理。每一幅图像50是数据点的二维图像阵列。二维图像50的每一个网格值都是一个图像元素或者“像素”。所述三维体阵列的每一个网格值被称为体元素,或者“体素”。所述三维体阵列是能够从磁共振(MR)成像系统、计算机化X射线分层造影(CT)扫描系统、电子发射断层扫描(PET)、x射线、超声扫描或者其他系统获得的。可选择地或者附加地,所述体阵列从存储器、数据库、网络、输入连接或者其他资源处获得。 
二维图像50通常处于第一方位,例如实质上正交于z轴或者维度。如果沿着x或者y轴或者维度观察体积52,二维图像50实质上看起来为直线。图像50具有统一的或者不统一的间隔。例如,在每一相邻图像50对之间的距离是变化的或者是相同的。如图所示,图像50是处于平行的平面上的。在其他的实施例中,图像50是处于在体积52的内部或者外部相交的相交平面上,例如,与通过绕着一个轴旋转扫描仪来执行的体积52的扫描相关联。图像50具有相同或者不同的缩放比例。例如,以较低的分辨率获得一些图像50,例如在体积52末端的图像50。以较高的分辨率获得其他的图像50,例如与体积52中所关心的区域相交的图像50。 
在动作32,所述体阵列的子集被加载到存储器或者处理器中。多个二维图像的不同的子集被依次地选择。每一个子集包括任何数量的所述二维图像,例如紧密相邻对。选择窗逐渐地滑过所述图像数据去选择每一个子集。第一子集包括体积52沿着z轴的最初的或者最后的图像50,但是来自体积52的中心或者其他位置的图像50可以首先被选择。 
在一个有效的实施例中,每一个子集通过仅仅加载所述子集的部分而形成。每次仅仅加载单一的图像。在图像1,2,3...N的序列中,图像1和2的第一子集被加载。对于图像2和3的第二子集,由图像3替换图像1。作为选择,使用具有通常相邻的图像(例如,1和3)的子集或者具有三个或者更多 个图像的子集。 
对于图像的每一个子集,在当前相邻图像(一个切片)之间的空间被扫描。为了对象对准的切片和沿着z轴(参见图3)的主要观察方向,图像50被用于将这个空间光栅化。对象对准的切片和沿着z轴从二维纹理进行的绘制提供了一种三维显示。也同样可以绘制三线性内插的中间切片。对于更多地沿着x或者y轴的观察方向,从二维图像的直接纹理绘制可能导致中断或者不希望有的外观。 
为了沿着x或者y轴绘制,在动作34识别作为相邻二维纹理之间的片延伸的多边形或者区域。例如,图4表示对于沿着x轴的观察方向一般定向的两幅图像50。多个多边形56在延伸在相同的相邻二维纹理或图像50之间的实质上平行的平面中被识别。在作为选择的实施例中,仅仅识别单个多边形56。所述多边形56被通过两个图像50的边界限定或定义切片来修剪。多边形56与图像50是不平行的,例如处于基本正交于图像50的平面上。多边形56具有统一的或者变化的间隔且互相之间是平行的或者不平行的。为了沿着x轴或者y轴的主要观察方向,多边形56按照由后至前或者由前至后的顺序被绘制。 
基于从对象对准或者观察对准的切片获知的替代几何图形识别多边形56。在一个实施例中,每一个多边形56的顶点根据图像50的空间关系来确定,例如,具有沿着图像50的外部边沿的末端的顶点的第一多边形56。为了对象对准的切片,以许多拉长的矩形或者片为结果。在观察对准的切片中,以具有3到6个顶点的多边形的集合为结果。这些多边形的顶点的xy纹理坐标表示在图像50上的顶点的位置,而对于所有的处于切片的第一图像50的平面上的顶点,z纹理坐标被指定为0,并且对于所有的处于第二图像50的平面上的顶点,z纹理坐标被指定为1。在一个变化中,多边形56正交于图像50,但是与所述图像的外边沿并不对齐,例如,在那里所述图像被弯曲或者不与体积52的边沿平行。在一个备选的实施例中,每一个多边形56的顶点至少部分被标识为观察方向的函数,例如,使得与图像56其中之一或之二不成直角的多边形56的取向更加正交于观察方向。 
多个切片和相关的多边形对于图像50的不同的子集被顺序地识别。对于每一个子集,识别多边形56。每一个切片或者子集的多边形56是互相独立的或者被确定为来自不同的切片或者子集的多边形56的函数。例如,计算用于 图像50的第一切片或者子集的多边形56的集合。多边形56接着被平移以用于第二个不同的切片或者子集。被平移的多边形56作为用于不同切片的多边形被使用。为了有效的体绘制,预计算切片多边形的替代几何图形。用于使两个相邻图像50之间的空间光栅化的模板几何图形被生成并且存储。对于具有恒定的图像间距离和图像缩放比例的切片,相同的模板几何图形可被重新利用。所述模板几何图形沿着z轴,通过把说明移位的平移矩阵与模型图矩阵相乘,被从一个切片移到另一个切片。为了对象对准的切片,所述模板几何图形是拉长的矩形的堆叠。这样的模板几何图形对于给定的采样率被预计算一次。三个重要的主观察方向的每一个都使用一个单独的模板几何图形。为了观察对准的切片,模板几何图形对于每一个新的观察方向被计算。然而,用于第一切片的切片几何图形可以通过增加平移到模型图矩阵中被再用于随后的切片。计算平移量可能比独立地计算多边形56具有更少的计算负担。 
切片之间涉及的多边形56的另一个示例使用切断平面。对应于三个或者更多个相邻二维纹理的实质上平行的非共面的多边形被识别。使用用于观察对准的体切片的替代几何图形。为了限制对在两个或者较少数量的相邻图像50之间的空间的光栅化,建立一个或者多个、例如一对切断平面。每一个切断平面处于两幅定义切片的图像50之一的平面上,每一个具有不同的切离切片之外的空间的方位。在绘制期间,从传统的观察对准的切片获得的相同的替代几何图形为了每一个切片被反复地绘制。所述切断平面为了切片的每一个被调整以保证仅仅使所述切片光栅化。 
在动作36,生成用于多边形56的纹理数据。所述纹理数据表示比所述二维纹理或者图像50更加正交于观察方向的区域或片。所述纹理数据表示一个区域,多边形56,在二维纹理之间。不同的纹理数据为了不同的多边形56中每一个和相关的切片或者子集而被生成。通过在不平行于图像50的多边形56上生成纹理数据,提供了用于绘制的纹理数据。 
对于给定多边形56通过内插生成纹理数据。所述纹理数据是从多边形56相交的二维纹理的数据来内插的。来自体积52的相邻二维纹理的数据被用于提供多边形56的纹理。内插在相交处的数据。例如,为了具有如图4所示的图像50的边沿上的顶点的多边形56内插纹理数据。选择沿着所述边沿的图像数据。为了在多边形56上的每一个位置具有数据,来自在图像50的边沿上的 两个最接近位置(多边形56与图像50的相交点)的数据值被加权后进行内插。权值表示每一幅图像50对内插的相对贡献,例如是与多边形56上的数据位置之间的距离的函数。以任何所需分辨率为纹理数据提供内插,例如与缩放量相关联。为了在多边形56中的每一个空间位置执行内插以生成用于片的具有所需分辨率的纹理数据。可能提供附加的内插,在那里从沿着相交处的两个值内插用于给定图像50的值。 
在一个实施例中,用于所述片的纹理数据被实质上同时或者作为一个函数的一部分从两个图像50双线性内插。在光栅化期间,纹理坐标被内插到替代几何图形内部,并且x-和y-坐标被用于获得体数据,生成所述体数据的双线性内插样本。在另一个实施例中,形成纹理数据的两个不同的集合。一个集合对应于仅仅从其中一幅图像50内插到多边形56,例如,将值0混合到来自图像50的值。另一个使用另一幅图像50的纹理数据的集合也被生成。接着所述两个集合被结合,例如取平均值。纹理数据的平均值集合表示自两幅图像50混合的多边形56。 
对于一个切片的每一个多边形56生成纹理数据。例如,对于在两个纹理之间的多个片中的每一个生成独立的纹理。内插的纹理数据表示不同的实质上平行的相交于图像50的平面。 
在动作38,从用于多边形56的纹理数据绘制图像。为了对所述切片三线性内插体数据,来自所述体积的两幅相邻的图像50被加载到CPU或者GPU存储器中。用于所述切片的每一个多边形的纹理数据是使用xy纹理坐标从所述体积被双线性内插的。那两个双线性内插的值被使用内插的z纹理坐标来加权。这得到三线性内插或者绘制的体样本。多边形56的纹理数据被用于绘制体积52的三维显示的一部分。纹理绘制被提供二维图像而无需用于每一维度的数据的副本。 
所述绘制是用于任何观察方向且无需生成在与第一方向、例如图3所示的z轴方向不同的方向表示体积的数据副本。为了面向观察方向的绘制,沿着观察方向或者线路的数据被组合。在所述观察线路通过不止一片切片的地方,提供局部的组合。当为连续切片生成纹理数据时,相应的局部组合被组合。 
可以使用任何使用纹理数据的绘制技术,例如,间接或者直接体绘制技术。例如,执行最大值、最小值、平均值或者其他强度的投影绘制。色彩和/或不透 明值可以为了绘制沿着所需方向被内插。当间接方法生成和绘制体数据的中间显示的时候,直接方法通过估计描述所述体积如何发射、反射、散射、吸收和封闭光线的光学模型来显示体素数据。所述体素值被映射到描述在3D空间中的各个点上的光线交互的物理量。在图像合成期间,通过基于所述光学模型沿着观察射线结合光线交互影响来计算光传播。 
基于纹理的体绘制方法包括依据替代几何图形的方向的观察对准或者对象对准的方法。为了观察对准的切片,替代几何图形被定向为正交于虚拟照相机的观察方向。使用体素数据(3D纹理)块表示体数据。为了对象对准的切片,替代几何图形被定向为正交于体积的三个主轴。大量的通过体素数据的体积的观察或者对象对准的切片在绘制期间使用替代几何图形来重构。 
对象顺序光栅化绘制算法的基本方法,例如在消费者图形硬件中实现的那些方法,是基于图元(多边形,直线,点)的扫描转换。在扫描转换(片段)期间生成的数据值被混合到帧缓冲器中。由于体数据不是由这样的图元本身组成的,替代几何图形被定义以用于通过体数据的每一个独立的切片。每一个切片由来自所述体积的相应的数据进行纹理化。在切片多边形上光栅化期间通过把滤波器核应用于体数据的旋转重构所述体积。能够通过这样的切片的堆叠表示整个体积。 
可以在没有重新采样二维纹理或者图像50的阵列的情况下执行所述纹理绘制。传统的算法使用在均匀的笛卡尔网格上的体数据,要求所述体数据被重新采样。当重新采样可以被使用的时候,由于在两幅相邻的图像50之间的空间被能够具有沿着z轴的任意缩放比例的多边形填充,重新采样可以被避免。沿着z轴通过绘制填充在两个相邻图像之间的空间的切片多边形来自动地缩放所述体数据。为z纹理坐标分配的内插因子保证沿着z轴的体数据的正确的缩放比例。 
具有不统一的图像缩放比例的体数据可以被用于纹理绘制。在两幅相邻的图像50之间的空间被能具有沿着x和y轴的任意缩放比例的多边形所填充。在纹理中的简单的缩放比例因子和模型图矩阵保证切片的正确的缩放比例。如果两幅图像50不具备统一的缩放比例,多边形被缩放以使两幅图像50的最大范围光栅化。用于一幅或者另一幅图像50上的顶点的纹理坐标被指定以用于说明两幅图像的不同缩放比例。相邻图像50的边沿策略被设置为0(即,从图 像边界外部取回的值被赋予值0)。 
每一个切片被绘制。切片的绘制对应于绘制三维显示的一个区域。所述区域对应于在定义所述切片的图像50之间的体积。多边形56定义所述切片的范围和被绘制的结果区域。在使用切断的地方,切断所述多边形以对应于所需区域或者切片。所述切断导致多边形56被限制为比没有切断时更小数量的相邻二维纹理。 
图2表示从动作38到动作32的反馈回路。动作32的获得子集,动作34的识别多边形,动作36的生成纹理数据和动作38的纹理绘制被重复用于多个对中的每一对或者二维纹理的其他子集。每一次重复对应于绘制三维显示的不同的片或者区域。所述图像的不同部分作为不同子集的函数被连续地绘制。表示体积的二维图像的不同区域作为对应于相邻二维纹理的不同集合的片中不同的几个的函数而被绘制。通过连续地加载图像的不同子集,可以使用比一次绘制整个体积时更少的存储空间来纹理化绘制三维显示。 
当通过参考不同的实施例已经对本发明进行了描述的时候,应当理解能够做出许多改变和修改而并不脱离本发明的范围。因此意味着前述详细的描述只被认为是说明性的而不是限制,并且能够理解接下来的权利要求,包括所有等效物,被用来定义本发明的精神和范围。 

Claims (19)

1.一种用于生成体绘制的数据的方法,所述方法包括:
获得至少第一和第二二维纹理;
从所述第一和第二二维纹理生成比所述二维纹理更加正交于观察方向的纹理数据,所述纹理数据表示在第一和第二二维纹理之间的区域,
其中所述第一和第二二维纹理在第一方向表示体积;并且
纹理绘制作为表示所述区域的纹理数据的函数的三维显示,所述绘制是用于任何观察方向的且无需生成在不同于所述第一方向的方向上表示所述体积的数据的副本;
其中生成纹理数据包括生成用于在所述第一和第二二维纹理之间的多个区域中的每一个的纹理数据,所述多个区域处于与所述第一和第二二维纹理相交的不同的实质上平行的平面上;
其中纹理绘制包括从用于所述多个区域的所述纹理数据进行纹理绘制;以及
对于多个二维纹理对的每一个,重复所述获得、生成和纹理绘制的步骤,每一次重复对应于绘制三维显示的不同的片。
2.如权利要求1所述的方法,其中生成纹理数据包括生成表示在所述第一和第二二维纹理之间的片的纹理数据,所述第一和第二二维纹理在二维纹理的序列中互相在空间上相邻,所述片与所述第一和第二二维纹理不平行。
3.如权利要求1所述的方法,其中所述获得包括顺序地获得多幅二维图像的不同的子集,所述第一和第二二维纹理对应于所述不同的子集中的第一个;
其中所述生成纹理数据包括对于每一个不同的子集生成表示至少一个片的纹理数据,所述片与每一个不同的子集的二维图像是不平行的。
4.如权利要求1所述的方法,其中生成纹理数据包括从与对应所述区域的多边形相交的所述第一和第二二维纹理的数据进行内插。
5.如权利要求4所述的方法,其中内插包括将所述纹理数据的第一集合从所述第一二维纹理内插到区域,将所述纹理数据的第二集合从所述第二二维纹理内插到区域并且结合纹理数据的所述第一和第二集合。
6.如权利要求3所述的方法,其中所述获得包括获得在多个二维纹理之中 具有不统一的距离、不统一的缩放比例或者不统一的距离和不统一的缩放比例这二者的不同的子集;并且
其中纹理绘制包括不对所述多个二维纹理重新采样的纹理绘制。
7.一种用于从二维纹理进行体绘制的方法,所述方法包括:
识别作为在相邻的二维纹理之间的片延伸的多边形;
生成用于所述多边形的纹理数据;以及
从用于所述多边形的所述纹理数据绘制图像;
其中识别包括顺序地识别用于多个相邻的二维纹理的不同子集的多边形;
其中绘制包括顺序地绘制作为所述不同子集的函数的图像的不同的部分。
8.如权利要求7所述的方法,其中绘制包括作为二维图像来纹理绘制三维显示,其中所述二维图像的不同的区域作为对应于所述相邻的二维纹理的不同集合的所述片中不同的若干片的函数来绘制。
9.如权利要求7所述的方法,其中识别多边形包括识别在所述相同的相邻二维纹理之间延伸的实质上平行的平面中的多个多边形,其中,生成纹理数据包括对于所述多个多边形中的每一个多边形,从多边形与相同的相邻二维纹理的相交处的数据进行内插,并且其中绘制包括在所述多个多边形中的多边形之间内插。
10.如权利要求7所述的方法,其中识别多边形包括计算用于所述相邻的二维纹理的第一集合的多边形中的第一多边形并且对于所述二维纹理的第二个不同的集合平移所述第一多边形,所述平移的第一多边形为第二多边形。
11.如权利要求7所述的方法,其中识别多边形包括识别对应于三个或者更多个相邻的二维纹理的实质上平行的非共面的多边形;
其中,绘制包括切断所述多边形,所述切断导致所述多边形被限制为比没有切断时更小数量的相邻二维纹理。
12.如权利要求7所述的方法,其中识别包括识别与相邻的二维纹理不平行的多边形。
13.如权利要求7所述的方法,其中生成纹理数据包括从与每一个多边形相交的相邻的二维纹理的数据进行内插。
14.如权利要求7所述的方法,其中相邻的二维纹理在第一方向表示体积;
其中绘制包括用于任何观察方向且无需生成在不同于所述第一方向的方向 上表示体积的数据的副本的纹理绘制。
15.如权利要求7所述的方法,其中相邻的二维纹理包括三个或者更多个具有不统一的距离、不统一的缩放比例或者不统一的距离和不统一的缩放比例这二者的二维纹理;并且
其中绘制包括不对相邻的二维纹理重新采样的纹理绘制。
16.一种用于生成体绘制的数据的系统,所述系统包括:
存储器,用来顺序地存储多个二维图像的不同的子集;以及
处理器,用来为每一个不同子集在至少一个片上生成纹理数据,所述的片表示在每一个不同子集的二维图像之间的区域,每个不同子集的纹理数据是来自分别不同的子集的二维图像的函数;
其中所述存储器以先进先出形式工作,并且所述处理器用来对于当前存储在存储器中的二维图像的每一对,通过识别多个在二维图像对之间延伸的实质上平行的非共面的多边形和通过在所述多边形上内插来自二维图像对的数据来生成纹理数据。
17.如权利要求16所述的系统,其中所述处理器包括图形处理单元。
18.如权利要求16所述的系统,其中所述处理器用来绘制具有从对应于不同子集的不同片绘制的不同区域的三维显示。
19.如权利要求16所述的系统,其中所述处理器用来从所述不同子集进行三线性内插。 
CN2005100878290A 2004-05-25 2005-05-25 滑动纹理的体绘制方法与系统 Active CN1716317B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US57403804P 2004-05-25 2004-05-25
US60/574038 2004-05-25
US11/132,541 US7460117B2 (en) 2004-05-25 2005-05-19 Sliding texture volume rendering
US11/132541 2005-05-19

Publications (2)

Publication Number Publication Date
CN1716317A CN1716317A (zh) 2006-01-04
CN1716317B true CN1716317B (zh) 2010-12-08

Family

ID=35424692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005100878290A Active CN1716317B (zh) 2004-05-25 2005-05-25 滑动纹理的体绘制方法与系统

Country Status (3)

Country Link
US (2) US7460117B2 (zh)
CN (1) CN1716317B (zh)
DE (1) DE102005023964A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460117B2 (en) * 2004-05-25 2008-12-02 Siemens Medical Solutions Usa, Inc. Sliding texture volume rendering
US7656412B2 (en) * 2005-12-21 2010-02-02 Microsoft Corporation Texture resampling with a processor
US7692648B2 (en) * 2006-01-18 2010-04-06 Siemens Medical Solutions Usa, Inc. System and method for empty space skipping in sliding texture based volume rendering by trimming slab polygons
US8314811B2 (en) 2006-03-28 2012-11-20 Siemens Medical Solutions Usa, Inc. MIP-map for rendering of an anisotropic dataset
US8743109B2 (en) * 2006-08-31 2014-06-03 Kent State University System and methods for multi-dimensional rendering and display of full volumetric data sets
US8184120B2 (en) * 2008-05-19 2012-05-22 Siemens Aktiengesellschaft Framework for processing and rendering large volume data
US8165393B2 (en) * 2008-06-05 2012-04-24 Microsoft Corp. High dynamic range texture compression
US10835207B2 (en) * 2009-12-23 2020-11-17 Biosense Webster (Israel) Ltd. Fast anatomical mapping using ultrasound images
DE102011079916B4 (de) 2011-07-27 2013-08-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum progressiven Laden von medizinischen, mehrdimensionalen Bildern in eine medizinische Applikation
US9082217B1 (en) * 2011-11-15 2015-07-14 Intrinsic Medical Imaging, LLC Avoidance-based ray tracing for volume rendering
TWI536226B (zh) * 2011-11-30 2016-06-01 緯創資通股份有限公司 光學觸控裝置與觸控影像處理方法
CN102542598B (zh) * 2011-12-20 2014-05-21 浙江工业大学 一种面向医学体数据的局部特征加强体绘制方法
EP2677491B1 (en) * 2012-06-20 2018-08-08 Agfa Healthcare Method, system and apparatus for loading image data stored in a first memory into a second memory
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
KR101851221B1 (ko) 2013-07-05 2018-04-25 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
US9842424B2 (en) * 2014-02-10 2017-12-12 Pixar Volume rendering using adaptive buckets
CN105721855B (zh) * 2016-03-18 2018-04-13 南京洛菲特数码科技有限公司 一种三维体数据绘制方法及其应用、三维图像显示方法
KR20190043129A (ko) 2016-06-22 2019-04-25 뷰레이 테크놀로지스 인크. 약한 필드 강도에서의 자기 공명 영상화
US10339699B2 (en) * 2017-06-07 2019-07-02 Siemens Healthcare Gmbh Adaptive usage of available storage for accelerated volume rendering
US10102015B1 (en) 2017-06-22 2018-10-16 Microsoft Technology Licensing, Llc Just in time GPU executed program cross compilation
US10241766B2 (en) 2017-06-22 2019-03-26 Microsoft Technology Licensing, Llc Application binary interface cross compilation
US10289393B2 (en) 2017-06-22 2019-05-14 Microsoft Technology Licensing, Llc GPU-executed program sequence cross-compilation
US10657698B2 (en) * 2017-06-22 2020-05-19 Microsoft Technology Licensing, Llc Texture value patch used in GPU-executed program sequence cross-compilation
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
CN111951370A (zh) * 2020-08-13 2020-11-17 武汉兆图科技有限公司 一种面向旋转扫描采集数据的直接体绘制方法
CN117152334B (zh) * 2023-10-30 2024-02-06 青岛恒天翼信息科技有限公司 一种基于电波、气象云图大数据实现的三维仿真模拟方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600487B1 (en) * 1998-07-22 2003-07-29 Silicon Graphics, Inc. Method and apparatus for representing, manipulating and rendering solid shapes using volumetric primitives
CN1164904C (zh) * 2002-12-05 2004-09-01 天津大学 二氧化碳跨临界制冷循环转子式膨胀节能器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001239926A1 (en) * 2000-02-25 2001-09-03 The Research Foundation Of State University Of New York Apparatus and method for volume processing and rendering
US6570952B2 (en) 2001-02-27 2003-05-27 Siemens Corporate Research, Inc. Memory efficient shear-warp voxel projection algorithm
US6852081B2 (en) 2003-03-13 2005-02-08 Siemens Medical Solutions Usa, Inc. Volume rendering in the acoustic grid methods and systems for ultrasound diagnostic imaging
US7119810B2 (en) 2003-12-05 2006-10-10 Siemens Medical Solutions Usa, Inc. Graphics processing unit for simulation or medical diagnostic imaging
US7460117B2 (en) * 2004-05-25 2008-12-02 Siemens Medical Solutions Usa, Inc. Sliding texture volume rendering
US8021300B2 (en) 2004-06-16 2011-09-20 Siemens Medical Solutions Usa, Inc. Three-dimensional fly-through systems and methods using ultrasound data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600487B1 (en) * 1998-07-22 2003-07-29 Silicon Graphics, Inc. Method and apparatus for representing, manipulating and rendering solid shapes using volumetric primitives
CN1164904C (zh) * 2002-12-05 2004-09-01 天津大学 二氧化碳跨临界制冷循环转子式膨胀节能器

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Arie Kaufman.Memory Organization for a Cubic Frame Buffer.In Proc.Eurographics'86.1986,93-100. *
C.Rezk-Salama, K.Engel, M.bauser, G.Greiner, T.Ertl.Interactive Volume Rendering on Standard PCGraphicsHardware Using Multi-Texture and Multi-StageRasterization.Proceedings of the ACM SIGGRAPH/EUROGRAPHICS workshop on Graphics hardware.2000,第5、7部分,图6、11、12. *
G.Eckel.OpenGL Volumizer Programmer'sGuide.SGI Developer Bookshelf,1998,116-117. *
JP特开平10-69547 1998.03.10
Levoy, M..Display of surfaces from volume data.Computer Graphics and Applications, IEEE8卷 3期.1998,8卷(3期),第30页右列第30行至第31页左列第17行.
Levoy, M..Display of surfaces from volume data.Computer Graphics and Applications, IEEE8卷 3期.1998,8卷(3期),第30页右列第30行至第31页左列第17行. *
William E.Lorensen, Harvey E.Cline.Marching cubes:A high resolution 3D surface construtionalgorithm.ACM SIGGRAPH Computer Graphics21卷 4期.1987,21卷(4期),163-169.
William E.Lorensen, Harvey E.Cline.Marching cubes:A high resolution 3D surface construtionalgorithm.ACM SIGGRAPH Computer Graphics21卷 4期.1987,21卷(4期),163-169. *

Also Published As

Publication number Publication date
US7460117B2 (en) 2008-12-02
US20090033657A1 (en) 2009-02-05
US7649533B2 (en) 2010-01-19
DE102005023964A1 (de) 2005-12-22
US20050264578A1 (en) 2005-12-01
CN1716317A (zh) 2006-01-04

Similar Documents

Publication Publication Date Title
CN1716317B (zh) 滑动纹理的体绘制方法与系统
Kaufman et al. Overview of volume rendering.
LaMar et al. Multiresolution techniques for interactive texture-based volume visualization
CN102044089A (zh) 一种三维模型的自适应化简、渐进传输和快速绘制的方法
Liu et al. Octree rasterization: Accelerating high-quality out-of-core GPU volume rendering
Kaufman Voxels as a computational representation of geometry
Gascon et al. Fast deformation of volume data using tetrahedral mesh rasterization
US7692651B2 (en) Method and apparatus for providing efficient space leaping using a neighbor guided emptiness map in octree traversal for a fast ray casting algorithm
Chu et al. GL4D: A GPU-based architecture for interactive 4D visualization
Guan et al. Innovative volume rendering using 3D texture mapping
Chen et al. Representation, display, and manipulation of 3D digital scenes and their medical applications
Kaufman et al. A survey of architectures for volume rendering
EP0549182A2 (en) Apparatus and method for displaying surgical cuts in three-dimensional models
JP2009247502A (ja) 中間画像生成方法および装置ならびにプログラム
Neophytou et al. GPU-Accelerated Volume Splatting With Elliptical RBFs.
US5821942A (en) Ray tracing through an ordered array
Luo et al. Gpu-based multi-slice per pass algorithm in interactive volume illumination rendering
Kim et al. Binary volume rendering using Slice-based Binary Shell
Kaufman et al. Modeling in volume graphics
Yagel Classification and survey of algorithms for volume viewing
Reis et al. High-quality rendering of quartic spline surfaces on the GPU
Yagel Volume viewing algorithms: Survey
Hung et al. Fast Volume Rendering for Medical Image Data
Aliaga Automatically reducing and bounding geometric complexity by using images
LiZhong et al. Key Technology Research on Image Display and Processing of 3D Data Scenes.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20061208

Address after: American Pennsylvania

Applicant after: SIEMENS MEDICAL SOLUTIONS USA, Inc.

Address before: New jersey, USA

Applicant before: Siemens Corporate Research, Inc.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231009

Address after: Erlangen

Patentee after: Siemens Healthineers AG

Address before: Pennsylvania, America

Patentee before: SIEMENS MEDICAL SOLUTIONS USA, Inc.

TR01 Transfer of patent right