CN106384377A

CN106384377A - 医学数据的体绘制方法和装置

Info

Publication number: CN106384377A
Application number: CN201610841357.1A
Authority: CN
Inventors: 王睿; 刘雯卿; 段琦
Original assignee: Shanghai United Imaging Healthcare Co Ltd
Current assignee: Shanghai United Imaging Healthcare Co Ltd
Priority date: 2016-09-22
Filing date: 2016-09-22
Publication date: 2017-02-08
Anticipated expiration: 2036-09-22
Also published as: CN106384377B

Abstract

本发明提供了一种医学数据的体绘制方法和装置。该方法是基于OpenGL进行且包括以下步骤：对医学体数据进行维度分析；对超出三维纹理限制的体数据进行重排或划分；将经过重排或划分的体数据载入到一个或多个纹理单元中作为原始体数据；根据所述原始体数据构造对应的虚拟体数据；以及对所述虚拟体数据进行体绘制。

Description

医学数据的体绘制方法和装置

技术领域

本发明主要涉及医学图像处理领域，尤其涉及一种医学数据的体绘制方法和装置。

背景技术

体绘制(Volume Rendering)是直接由三维数据场产生屏幕上可显示的二维图像的技术。一个典型的三维数据场是医学图像三维数据场，由计算机断层成像(CT)或核磁共振(MRI)扫描获得一系列的医学图像切片数据，把这些切片数据按照位置和角度信息进行规则化处理，然后就形成一个三维空间中由均匀网格组成的规则的数据场，网格上的每个节点为一个体素，描述了对象的密度等属性信息。体绘制以这种体素为基本操作单位，计算出每个体素对显示图像的影响。

通过以三维体数据作为输入，以特征细节展示为目的，辅以提供丰富的交互手段，可以帮助用户充分挖掘数据内部的各种信息。因此在医疗数字成像领域，体绘制是一种广泛应用的可视化渲染方法。

OpenGL作为跨编程语言、跨平台的专业的2D/3D图形程序接口被广泛的应用在各个行业中，如基于OpenGL的体绘制技术就是目前医学图像三维重建的重要方法之一。采用基于OpenGL的体绘制技术时，需要将医学体数据加载到显存中作为GPU运算的数据源。对于OpenGL来说图形处理器(GPU)中主要的存储器类型有缓冲器(Buffer)和纹理单元(texture)两种，这两种存储器都是从显存开辟资源。

缓冲器采用线性存储的方式，能够分配和显存大小相当的存储空间。例如一种out-of-core技术是将数据分成一个个小方块，在绘制一帧的过程中在内存和显存之间交换数据，从而将绘制过程分成若干次来完成。然而由于缓冲器不具有硬件插值的加速功能，GPU上的数据存取速度有所降低，而内存和显存之间的数据交换会大大降低绘制的效率，因此不适用于对实时性要求很高的医学影像工作站中。

纹理单元分为一维、二维和三维纹理单元，其存储方式经过了硬件的优化，缓存也和缓冲器不同，因此对数据的随机访问的效率更高。并且对于纹理单元的插值是通过硬件的处理器完成，不需要额外的计算操作。但是纹理单元的缺点是维度有限制，OpenGL在截止目前的最新版本4.5.0，都对三维纹理做了长度不超过2048的限制。现代诊断医疗的数据一般情况下都不会超出显存的大小(主流大小4GB，高端显卡为8GB 16GB)，但是数据的某一个维度却可能超出纹理单元的限制范围。因此基于OpenGL对超过纹理限制范围的医学数据进行体绘制，是当前需要解决的问题。

发明内容

本发明要解决的技术问题是提供医学数据的体绘制方法和装置，可以对超过OpenGL纹理限制大小范围内的数据进行体绘制。

为解决上述技术问题，本发明提供了一种医学数据的体绘制方法，此体绘制方法是基于体绘制方法进行，且包括以下步骤：对医学体数据进行维度分析；对超出三维纹理限制的体数据进行重排或划分；将经过重排或划分的体数据载入到一个或多个纹理单元中作为原始体数据；根据所述原始体数据构造对应的虚拟体数据；以及对所述虚拟体数据进行体绘制。

在本发明的一实施例中，所述的医学数据的体绘制方法还包括对重排或划分后的各个子数据进行扩边。

在本发明的一实施例中，对超出三维纹理限制的体数据进行重排的步骤包括：将体数据在超出纹理限制的第一维度上分为多个子数据，使得每一子数据在所述第一维度上不超过纹理限制；将各个子数据在不同于所述第一维度的第二维度和/或第三维度上进行重排。

在本发明的一实施例中，该多个子数据的个数m以如下公式决定：m＝ceil(z/L)；其中z为该第一维度上的体数据长度，L为OpenGL的三维纹理限制，ceil表示向上取整。

在本发明的一实施例中，每一子数据的大小为z/(ceil(z/L))，其中z为该第一维度上的体数据长度，L为OpenGL的三维纹理限制，ceil表示向上取整。

在本发明的一实施例中，对超出三维纹理限制的体数据进行划分的步骤包括：将体数据在超出纹理限制的一个或多个维度上分别分为多个子数据，使得每个子数据在各个维度上都不超过纹理限制。

在本发明的一实施例中，该多个子数据的个数n以如下公式决定：n＝ceil(a/L)；其中a为各个维度上的体数据长度，L为OpenGL的三维纹理限制，ceil表示向上取整。

在本发明的一实施例中，每一子数据的大小为a/ceil(a/L)，其中a为各个维度上的体数据长度，L为OpenGL的三维纹理限制，ceil表示向上取整。

在本发明的一实施例中，通过OpenGL的纹理导入接口将经过重排或划分的体数据载入到一个或多个纹理单元中作为原始体数据。

在本发明的一实施例中，所述虚拟体数据上标记所述原始体数据在纹理单元中的地址。

在本发明的一实施例中，对所述虚拟体数据进行体绘制之前还包括：根据人机交互指令，计算从物体坐标系到投影坐标系的变换矩阵。

在本发明的一实施例中，对所述虚拟体数据进行体绘制的步骤包括：在所述虚拟体数据中进行光线路径计算；以及对每段路径进行积分运算，并将每段积分的结果进行再积分得到最终结果。

在本发明的一实施例中，当所述体数据进行了划分时，每条路径仅遍历所述原始体数据的子数据。

本发明还提出一种医学数据的体绘制装置，此体绘制装置是基于OpenGL进行，且包括中央处理器和图形处理器，该图形处理器包括显存，其中该中央处理器配置为对医学体数据进行维度分析，对超出三维纹理限制的体数据进行重排或划分，且将经过重排或划分的体数据载入到该图形处理器的该显存的一个或多个纹理单元中作为原始体数据；该图形处理器配置为根据所述原始体数据构造对应的虚拟体数据，且对所述虚拟体数据进行体绘制。

与现有技术相比，本发明上述的医学数据的体绘制方法和装置，对于超出OpenGL纹理单元大小，但在显存范围内的数据，仍然能够使用纹理单元进行处理，而且具有实时性。

附图说明

图1是本发明一实施例的医学数据的体绘制方法流程图。

图2A-2C是本发明一实施例的重排示意图。

图3A-3C是本发明一实施例的划分示意图。

图4A-4D是本发明一实施例的划分示意图。

图5是本发明一实施例的扩边示意图。

图6A、6B是本发明一实施例的构造虚拟体数据的示意图。

图7A-7D是本发明一实施例的光线积分路径计算示意图。

具体实施方式

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。

本发明的实施例描述医学数据的体绘制方法和装置，可以对超过OpenGL纹理限制大小范围内的数据进行体绘制，且性能和OpenGL纹理限制大小范围内的数据的体绘制相同。

图1是本发明第一实施例的医学数据的体绘制方法流程图。参考图1所示，本实施例的方法是基于OpenGL进行，包括以下步骤：

在步骤101，对医学体数据进行维度分析；

在步骤102，判断体数据是否超出OpenGL的三维纹理限制，如果是则进入步骤104，否则进入步骤103。

在步骤103，按照常规方式对体数据进行体绘制。

在步骤104，对超出三维纹理限制的体数据进行重排或划分。

重排得到的是单个体数据，且其不会超过OpenGL的三维纹理限制，因此适合载入到一个纹理单元中。划分得到的是包含多个子数据的体数据，每一子数据不会超过OpenGL的三维纹理限制，分别适合载入到每一对应的纹理单元中。

在步骤105，将经过重排或划分的体数据载入到一个或多个纹理单元中作为原始体数据。

在步骤106，根据原始体数据构造对应的虚拟体数据。虚拟体数据的大小和原始体数据的大小相同。

在步骤107，对虚拟体数据进行体绘制。

在上述的方法中，重排的方式是，将体数据在超出纹理限制的某一维度(在此称为第一维度)上分为多个子数据，使得每一子数据在所述第一维度上不超过纹理限制；然后将各个子数据在不同于所述第一维度的第二维度和/或第三维度上进行重排。

重排需要满足一定条件，具体地说，设体数据维度为xyz，且超出纹理限制的维度为z。令满足(x×k+(k-1×8)×k<L的最大的整数k值为K_x，令满足(y×k+(k-1)×8)×k<L的最大的整数k值为K_y，则当K_x×K_y<＝ceil(z/L)时可以重排。可以重排的话，每个子数据的z维度为ceil(z/ceil(z/L))。

承上述，可将z维分为m个子数据，其中：

m＝ceil(z/L)；

z代表z维上的体数据长度，L为OpenGL的三维纹理限制，ceil表示向上取整。这样，将体数据的z维分成m个子数据。设各个子数据大小相等，则每个子数据长度大约为z/(ceil(z/L))。当然，各个子数据大小可以不相等，则各个子数据的大小可在z/(ceil(z/L))附近调整。假设L＝2048,z＝5000，则m＝3。

分出的各个子数据可以在x和/或y维上进行重排，这取决于这些维度的长度。图2A-2C是本发明一实施例的重排示意图，参考图2A-2C所示，A为原始体数据，将A在z维上分为两个子数据B、C，然后将B、C重新在x维上进行重排。子数据B和子数据C的大小不超过纹理限制即可。优选的，令子数据B和子数据C大小相等，其优势是在后续渲染时的地址查询速度，比子数据大小不相等情况，综合速度更快。

划分的方式是，将体数据在超出纹理限制的一个或多个维度上分别分为多个子数据，使得每个子数据在各个维度上都不超过纹理限制。

划分可以在体数据不满足重排条件的情况下进行，即如果体数据不满足条件：K_x×K_y<＝ceil(z/L)，则可以进行划分。当然，也可以直接对超过三维纹理限制的体数据进行划分。

设体数据维度为xyz，且超出纹理限制的维度为z。子数据的个数n以如下公式决定：n＝ceil(z/L)。设各个子数据大小相等，则每个子数据长度大约为z/(ceil(z/L))。当然，各个子数据大小可以不相等，则各个子数据的大小可在z/(ceil(z/L))附近调整。其中z为z维上的体数据长度，L为OpenGL的三维纹理限制，ceil表示向上取整。图3A-3C是本发明一实施例的划分示意图。参考图3A-3C所示，根据上述公式直接将体数据A分成2子数据B、C。

对于有两个或者三个维度都超过三维纹理限制的体数据，则在每个维度上，多个子数据的个数n以如下公式决定：n＝ceil(a/L)。设各个子数据大小相等，则每个子数据长度大约为z/(ceil(z/L))。当然，各个子数据大小可以不相等，则各个子数据的大小可在z/(ceil(z/L))附近调整。其中a为各个维度上的体数据长度，L为OpenGL的三维纹理限制，ceil表示向上取整。具体的划分过程包括，如果xyz三维度都超过了L，先将z维划分为多个第一子数据，对每一第一子数据，在x维进一步划分为多个第二子数据，然后对每一个第二子数据部分，在y维进一步划分为多个第三子数据。图4A-4D是本发明另一实施例的划分示意图，参考图4A-4D，将体数据A在z维划分为2个第一子数据B、C，然后将每一个第一子数据B、C在x维划分为2个第二子数据B1、B2；C1、C2，最后将各第二子数据B1、B2、C1、C2在y维划分为2个第三子数据B11、B12；B21、B22；C11、C12(图中未示)；C21、C22。

在步骤105中，依赖于OpenGL的数据传输机制，重建后的体数据需要通过纹理的方式传递给图形处理器(GPU)，纹理有二维纹理和三维纹理两种。由于重建之后的体数据本身就是三维的，故采用三维纹理的导入相对简单和直观。当然，也可以采用二维纹理的导入。数据按照三维或二维纹理排布好后，通过OpenGL的纹理导入接口，便可以把中央处理器(CPU)的内存数据加载到GPU的存储空间中，供GPU后续处理管线使用。

当在步骤104是对超出三维纹理限制的体数据进行划分时，较佳的在步骤104之后还包括对重排或划分后的各个子数据进行扩边。扩边是在重排或划分的位置扩充若干个像素，例如4个像素。图5是本发明一实施例的扩边示意图。参考图5所示，子数据B、C之间的灰色部分是扩充的像素。

在步骤106中，虚拟体数据的大小和原始体数据的大小相同。光线在虚拟体数据中步进，每一步的采样则在实际的原始体数据中(已经过重排或者划分)。在虚拟体数据的重排/划分边界处标记纹理单元的实际地址。图6A是本发明一实施例的构造虚拟体数据的示意图，参考图6A所示，虚拟体数据的A、B分别对应划分后的纹理单元A’、B’，且在边界处标记纹理单元的实际地址。图6B是本发明另一实施例的构造虚拟体数据的示意图，参考图6B所示，虚拟体数据的A、B分别对应重排后的纹理单元A’、B’，且在边界处标记纹理单元的实际地址。

在步骤107中，对虚拟体数据进行体绘制的的步骤包括：在虚拟体数据中进行光线路径计算；以及对每段路径进行积分运算，并将每段积分的结果进行再积分得到最终结果。

图7A-7D是本发明一实施例的光线积分路径计算示意图。参考图7A，其显示光线1、2、3在虚拟体数据中的路径，A、B为虚拟划分的子数据。参考图7B，其显示光线2在虚拟体数据中的离散积分路径，分成两段，每一段都限定在子数据A或B的范围内，每条路径仅遍历子数据A或B。图7C、图7D分别表示光线2在A、B两个纹理单元中的积分情况，可见A纹理单元的下方和B纹理单元的上方都做了扩边处理，这样能够保证光线在边界积分的插值正确性。

在实际的应用场景中，使用者会通过人机交互界面对用于进行体绘制的装置下达人机交互指令。装置根据人机交互指令，计算从物体坐标系到投影坐标系的变换矩阵。三维成像系统中基本的三种人机交互包括：绕屏幕上两个轴的旋转、放大缩小和上下左右前后六个观测方向的选择。OpenGL的图形处理管线中的角度变换功能是通过坐标变换矩阵实现的。人机交互方法是：首先建立基本人机交互指令与空间变换矩阵间的对应关系，然后根据OpenGL的坐标定义设计空间变换矩阵。系统运行时，用户每通过人机交互界面下达一个指令，设备就按照事先设计的方式修改空间变换矩阵，导入到OpenGL的顶点着色器中，在顶点着色器中用顶点的坐标向量乘以空间变换阵就可以得到顶点在空间变换后的坐标。

本发明实施例的医学数据的体绘制装置可以在个人计算机、工作站或者服务器中实施。体绘制装置是基于OpenGL进行，包括中央处理器和图形处理器，图形处理器包括显存。中央处理器配置为对医学体数据进行维度分析，对超出三维纹理限制的体数据进行重排或划分，且将经过重排或划分的体数据载入到图形处理器的显存的一个或多个纹理单元中作为原始体数据。图形处理器配置为根据原始体数据构造对应的虚拟体数据，且对虚拟体数据进行体绘制。

本发明上述实施例的医学数据的体绘制方法和装置，对于超出OpenGL纹理单元大小，但在显存范围内的数据，仍然能够使用纹理单元进行处理，而且具有实时性。举例来说，尺寸为512×512×2050(超出纹理单元限制)的体数据和512×512×2048(未超出纹理单元限制)的数据的体渲染的帧率基本相当，能够满足医学影像工作站的要求。

虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims

1.一种医学数据的体绘制方法，所述体绘制方法基于OpenGL进行，包括以下步骤：

对医学体数据进行维度分析；

对超出三维纹理限制的体数据进行重排或划分；

将经过重排或划分的体数据载入到一个或多个纹理单元中作为原始体数据；

根据所述原始体数据构造对应的虚拟体数据；以及

对所述虚拟体数据进行体绘制。

2.根据权利要求1所述的医学数据的体绘制方法，其特征在于，还包括对重排或划分后的各个子数据进行扩边。

3.根据权利要求1所述的医学数据的体绘制方法，其特征在于，对超出三维纹理限制的体数据进行重排的步骤包括：

将体数据在超出纹理限制的第一维度上分为多个子数据，使得每一子数据在所述第一维度上不超过纹理限制；

将各个子数据在不同于所述第一维度的第二维度和/或第三维度上进行重排。

4.根据权利要求3所述的医学数据的体绘制方法，其特征在于，该多个子数据的个数m以如下公式决定：

m＝ceil(z/L)；

其中z为该第一维度上的体数据长度，L为OpenGL的三维纹理限制，ceil表示向上取整。

5.根据权利要求3所述的医学数据的体绘制方法，其特征在于，每一子数据的大小为z/(ceil(z/L))，其中z为该第一维度上的体数据长度，L为OpenGL的三维纹理限制，ceil表示向上取整。

6.根据权利要求1所述的医学数据的体绘制方法，其特征在于，对超出三维纹理限制的体数据进行划分的步骤包括：

将体数据在超出纹理限制的一个或多个维度上分别分为多个子数据，使得每个子数据在各个维度上都不超过纹理限制。

7.根据权利要求5所述的医学数据的体绘制方法，其特征在于，该多个子数据的个数n以如下公式决定：

n＝ceil(a/L))；

其中a为各个维度上的体数据长度，L为OpenGL的三维纹理限制，ceil表示向上取整。

8.根据权利要求5所述的医学数据的体绘制方法，其特征在于，每一子数据的大小为a/ceil(a/L)，其中a为各个维度上的体数据长度，L为OpenGL的三维纹理限制，ceil表示向上取整。

9.根据权利要求1所述的医学数据的体绘制方法，其特征在于，通过OpenGL的纹理导入接口将经过重排或划分的体数据载入到一个或多个纹理单元中作为原始体数据。

10.根据权利要求1所述的医学数据的体绘制方法，其特征在于，所述虚拟体数据上标记所述原始体数据在纹理单元中的地址。

11.根据权利要求1所述的医学数据的体绘制方法，其特征在于，对所述虚拟体数据进行体绘制之前还包括：根据人机交互指令，计算从物体坐标系到投影坐标系的变换矩阵。

12.根据权利要求1所述的医学数据的体绘制方法，其特征在于，对所述虚拟体数据进行体绘制的步骤包括：

在所述虚拟体数据中进行光线路径计算；以及

对每段路径进行积分运算，并将每段积分的结果进行再积分得到最终结果。

13.根据权利要求12所述的医学数据的体绘制方法，其特征在于，

当所述体数据进行了划分时，每条路径仅遍历所述原始体数据的子数据。

14.一种医学数据的体绘制装置，所述体绘制装置基于OpenGL进行，包括中央处理器和图形处理器，该图形处理器包括显存，其中：

该中央处理器配置为对医学体数据进行维度分析，对超出三维纹理限制的体数据进行重排或划分，且将经过重排或划分的体数据载入到该图形处理器的该显存的一个或多个纹理单元中作为原始体数据；

该图形处理器配置为根据所述原始体数据构造对应的虚拟体数据，且对所述虚拟体数据进行体绘制。