CN101002226A - 基于条纹的图像数据存储 - Google Patents

Abstract

本发明涉及一种存储3D图像的方式。3D图像由像素数据的阵列所表示的二维视频数据子集的堆叠组成。像素数据的每个阵列被分割成多个重叠和相邻的像素数据的垂直条纹，所述条纹具有的宽度至多等于存储器的高速缓存行。首先存储最左上条纹，然后在左边的相邻条纹被存储之后存储每个条纹。当存储具有多行像素数据的每个条纹时，首先存储上行，然后将每个后续行的第一像素数据存储在一个存储器位置中，该存储器位置在存储条纹中的前一行的最后像素数据的存储器位置之后。

Description

基于条纹的图像数据存储

技术领域

本发明涉及三维(3D)图像的存储和存储器带宽的优化。

背景技术

视频和显示技术是医生可用于帮助他们进行诊断的新工具。由于医学图像的性质以及这些图像服务的目的，需要作工作以使当前视频技术适应医学领域的特定限制。医学专家看待视频技术所提供的特征的重要性顺序与其他视频应用例如视频游戏或电影剪辑中常见的重要性顺序稍有不同。而且在所有特征中，对医疗团队来说最有关系的特征是交互性、精度以及现实和比例的一致性。因而需要以新的方式处理和概念化视频数据。

医学应用与游戏一起无疑是3D图像最为成功的两个突出领域。然而3D图像的主要缺陷在于处理器在短的时间量内处理的数据集的大小。除非找到优化数据访问、数据传送和数据处理的解决方案，否则处理大的3D数据集可以迅速成为正确的数据可视化的障碍，并且将常常使处理减慢到不可接受的水平。当前中央处理单元(CPU)通过高速缓存层次结构来访问在主存储器中存储的数据。通常，存在两个高速缓存级别，并且第一级高速缓存常常比第二级高速缓存小得多。对于第一级高速缓存的数据访问快，而对于主存储器的数据访问相对较慢。数据传送通常通过高速缓存行进行，高速缓存行是在两个存储器实体或高速缓存实体之间一次传送的数据量。上一代处理器具有例如高达128字节的高速缓存行，并且该数字仍在增长。基于高速缓存的存储器组织会在仅仅使用高速缓存行的少许数据但是接触大量的高速缓存行的算法的运行时间期间导致性能的严重下降。运行这种类型的算法需要过度的数据传送。当一些算法通常由于该体系结构而变慢时，对于不同的参数范围，其他算法的性能破坏高达10倍。因而迫切需要找到减小传送的数据量的解决方案。

在数字图像处理中，设想了优化数据传送的第一种解决方案。结合于此作为参考的文献US 6,028,612公开了一种存储器体系结构，当从存储器检索图像的阵列部分时所述存储器体系结构减小存储器带宽。存储器被细分为多个字以用于存储具有行和列的图像。图像被分割成两个或更多个条纹(stripe)，每个具有预定数目的列。一个条纹的一行中的字节数目等于一个字中的字节数目，以用于将条纹的一行中的数据存储在一个字中。在逐行视频序列或图像的情况下以帧结构来组织存储器。对于将要存储在帧组织的存储器中的帧图像或将要存储在场组织的存储器中的场图像，条纹之一的第一行中的数据被存储在第一字中。条纹的每个后续行中的数据被存储在字地址与存储直接前一行的数据的字相邻并且在它之后的字中。在该文献中提出的解决方案仅仅部分解决了在数据处理时高速缓存行的过量传送问题。例如，条纹边缘像素的处理仍然必须检索若干不同的高速缓存行，因而不适当地延长了数据传送。另外，由于结构考虑，所提出的实现方式具有的主要缺陷是将条纹宽度限制为字长。

发明内容

因而在工业中需要开发一种优化最终被处理和/或显示的三维数据阵列的存储的解决方案。

为此，提出了一种将关于三维对象的信息数据采样的三维阵列存储在存储器中的方法。在第一步骤中，将信息数据采样的阵列分割成多个重叠和相邻的垂直条纹。从左上条纹开始将条纹逐一地存储在存储器中：首先存储左上条纹，然后在其左边的条纹被存储之后存储每个后续条纹。每个单个条纹由采样的多个行组成并且被如下存储：首先存储上行，然后自顶到底逐一地存储行。也就是，条纹的每一行(忽略第一行)的第一信息数据采样被存储在一个存储器位置中，该存储器位置在前一行的最后信息数据采样被存储的存储器位置之后。

本发明提出将与3D对象有关的信息数据采样的阵列分割成条纹，并且以连续方式从左上角的采样开始逐一地存储所述条纹。本发明的特征在于，所述条纹是重叠的。这样的冗余允许减小在数据调用期间所需的数据集的数目。在高速存储器行中访问数据的实施例中，冗余可以减小传送的高速缓存行的总数目。例如，显示算法常常需要特定采样周围的采样，并且如果仅仅能在不同的高速缓存行中找到周围采样，则传送的高速缓存行的数目可能惊人地增加。以本发明所提出的方式重复关于处理的采样的周围采样的信息因而允许收集在数目减小的高速缓存行中进行处理所需的数据。本发明的一个或多个实施例的优点在于减小存储器带宽，由此加速算法的总性能。在医学领域中，信息数据采样可以是与3D对象的体素有关的测量或辐射值。

在本发明的一个或多个实施例中，条纹具有相同的宽度，所述宽度可以是与存储器有关的高速缓存行的一部分。在存储器耦合到第一高速缓存以及有可能耦合到第二或第三高速缓存级别的实施例中，条纹的宽度最大至少为一个或两个高速缓存行。因而，与正被处理的体素周围的体素有关的信息数据采样有很大机会与被处理的体素在相同的高速缓存行内。在上述的插值算法的例子中，计算给定采样的插值常常基于与相邻体素有关的信息数据采样。如果条纹的宽度小于高速缓存行，那么与相邻体素有关的采样将有很大机会存在于相同的高速缓存行中。

根据下文描述的实施例，本发明的这些和其他方面将是显而易见的，并将参考所述实施例对其进行阐明。

附图说明

现在将通过例子参考附图更详细地描述本发明，其中：

-图1说明用于存储3D图像的常规方法；

-图2和图3说明本发明的方法；

-图4示出根据本发明属于相邻条纹之间的重叠区的像素；

-图5是本发明的存储器；以及

-图6是本发明的图像。

在所有附图中，相同的参考数字是指相同的元件、或者基本上执行相同功能的元件。

具体实施方式

本发明涉及一种存储3D图像的方式，所述方式优化了可视化和处理。尽管本发明特别有利于医学领域，但是它的特征通用得足以使它可以应用于任何种类的视频应用。本发明基于的原理是3D图像可以被表示为2D切片的堆叠(stack)。每个2D切片被视为常规2D图像，并且基本上由像素数据的列和行的阵列组成。根据视频应用和设计者的选择，像素数据可以是色值、亮度或色度值、不透明度或反射率值。每个2D图像因而可以由点的二维阵列来用图形表示，每个点表示一个像素。

图1示出3D图像100的2D切片102、104和106。2D图像102在图中由具有六行像素数据的方阵列表示。按照常规，像素数据从左上角的像素数据开始被逐行地连续存储在存储器中。例如，像素数据的段108被存储在第一存储区中，段110被存储在相邻的第二存储区中或下一存储块中，等等，直到最后一个段。该实施例的缺陷在于像素及其上下相邻像素的存储的不连续性。的确，相邻像素，尤其是在垂直方向的相邻像素，将最有可能被存储在不同的和不连续的存储器位置，并且当需要检索这些像素时将调用不同的高速缓存行。

图2和3说明了本发明的一些基本特征。采用沿X和Y方向以规则间隔放置的像素的阵列114的形式来表示图像102。在该典型实施例中，像素的阵列114被分割成有限数目的垂直重叠条纹。示出了相邻的第一和第二条纹116和118。与图1中所示的实施例相反，像素被逐条纹地存储在存储器中，这意味着给定条纹的所有像素一起被存储在一个存储区中。可以首先存储条纹116，从其左上角的像素开始，此后存储相邻的条纹118。条纹118的左上角像素可以被存储在一个存储器位置中，该存储器位置与存储条纹116的右下像素(最后存储的条纹116的像素)的存储器位置相邻。

条纹116被如下存储。首先存储条纹116的左上角的像素，随后通过条纹116向右下连续地存储像素。以类似的方式存储条纹118。在该实施例中，条纹116和118具有与存储器的高速缓存行的一部分相同的宽度。段150和152是在存储器中存储的高速缓存行。

另外，如图2中所见，条纹116和118具有两个像素的重叠区120，这意味着区域120中的像素数据在存储器中是冗余的。重叠像素的数目的选择是任意的，并且可以被选择为最佳地适合实现设计和存储器加载。尽管它导致开销，但是重叠区120中的数据被有利地用于需要关于周围像素的信息的算法。的确，例如由于需要关于相邻像素的信息来计算插值结果，所以所得到的数据冗余促进了线性和三次插值的性能。参考图4对此进行更详细的解释。

图4示出条纹116的第一行的最后几个像素和条纹118的第一行的开始几个像素。如相对于US 6,028,612在先前段落中所述，如果像素数据被存储在非重叠条纹中，那么在边缘的像素的插值需要访问相邻条纹，因而访问不同的高速缓存行、存储区或者甚至不同的存储器实体。这种实现方式不适当地限制了处理性能。在条纹重叠的本发明中，可以对处理重叠区中的像素的算法施加附加限制。在该实施例中，插值算法将被限于只处理位于重叠区的一部分内的条纹像素，并且算法将不处理因而不插值位于允许的重叠部分外部的像素。例如，参考图4，当处理条纹116时，插值算法被设定成仅仅插值像素122的像素值，并且算法将不计算像素124的任何插值。假设插值算法仅仅需要最近像素的像素值，则算法可以容易地计算像素122的结果而不请求任何附加高速缓存行。类似地，当处理条纹118时，插值算法被设定为成仅仅计算像素124的插值结果。在条纹的处理期间忽略每个条纹116和118的边缘像素，并且由于信息是冗余的，所以与非边缘像素相同的边缘像素将存在于相邻条纹中，因而仍将在最后被处理。该实施例防止增加数据链路负担并消耗带宽的高速缓存行的不必要调用。以上仅仅作为典型实施例被给出，并且可以选择满足算法处理的任何大小的重叠区。以类似的方式，选择条纹116和118的宽度以优化在运行时间期间高速缓存行访问的数目。如果需要的话，条纹116和118可以具有不同的宽度。

图5说明了高效地分配存储器地址的本发明的典型实施例。图5示出了形成3D图像100的2D切片102的左上角像素130和相邻像素132-136以及下一个2D切片104的左上角像素138。图5也包括表示存储器140的内部组织的块单元。存储器140被表示为两列表，其中左列中是存储器地址，以及右列中是数据像素。如所示，与像素130有关的数据被存储在存储器地址0，像素132被存储在地址1，像素134被存储在地址X0，像素136被存储在地址2X0，以及像素138被存储在地址Y0。如上所述，位于相同行中的像素被连续存储在存储器140中，并且每一行的开始像素在前一行的最后像素之后被存储在存储器中。在该实现方式中，恒定地址偏移量即X0被引入在像素和在2D切片中在其之下的像素之间。所以像素130、134和136在存储器140中分别被存储在地址0、X0和2X0。位于像素132之下的像素142也在存储器140中被存储在地址1+X0。类似的地址偏移量Y0被引入在切片102的像素和切片104的像素之间。的确，像素130和138在存储器140中被存储在相应的地址0和Y0中。引入的恒定偏移量允许与相邻像素有关的像素数据的快速检索。

所提出的基于条纹的存储方法对条纹宽度强加了条件，但是对条纹的厚度和高度不设限制。两个剩余尺度的该选择自由度允许在处理和虚拟块建立期间的极大灵活性。在图6中，图像102包括身体器官的轮廓142。轮廓142是与器官外表面或壳层的图像102的平面的交线。为了处理形成轮廓142的像素数据，包括整个轮廓142的2D虚拟块114、146和148可以被计算。虚拟块144、146、148的X尺度与条纹116、188的宽度相同，而Y尺度留待设计者选择。块的Y尺度可以被选择成覆盖包括轮廓和条纹的交线的条纹部分。所得到的如图6中所见的虚拟块144-148被获得。

必须注意，3D虚拟块也可以被构建成覆盖身体器官的3D壳层。为此，计算块144、146和148沿Z方向的厚度。与传统的基于块的存储实现方式(其中固定大小的块被存储在存储器中)相比，本发明允许更大的灵活性并且加速了处理。这种实现方式尤其适合于身体表面或壳层需要被处理和可视化的医学应用。

而且，尽管所公开的存储体系结构基于高速缓存行，但是其他存储布置也良好地适于实现本发明。另外，考虑到存储器体系结构而修改条纹的宽度可能更有利，所述条纹的宽度可以比高速缓存行或其他存储器传送实体更大。

还要注意的事实是，在本发明中像素的3D阵列被切成2D阵列仅仅作为典型实施例被给出，并且本发明首先涉及表示与体素有关的物理数据、辐射数据、测量结果的信息数据采样的3D阵列。显然，条纹可以具有一个或多个信息数据采样的厚度。

前述仅仅说明了本发明的原理。因而将会理解，本领域的技术人员将能够设计各种布置，所述布置尽管未明确在此描述或显示，但是体现了本发明的原理，因而在后面的权利要求书的精神和范围内。

在解释这些权利要求时，应当理解：

a)词语“包括”并不排除在给定权利要求中列出的那些之外的其他元件或行动的存在；

b)在元件之前的词语“一”或“一个”并不排除多个这种元件的存在；

c)在权利要求中的任何附图标记并不限制它们的范围；

d)若干“装置”可以由相同的产品或硬件或软件实现的结构或功能来表示；

e)每个所公开的元件可以由硬件部分(例如包括分立和集成电子电路)、软件部分(例如计算机编程)、以及它们的任何组合组成；

f)硬件部分可以由模拟和数字部分之一或二者组成；

g)除非另外明确说明，任何一个公开的设备或其部分可以被组合在一起或者分离成另外的部分；以及

h)除非明确指出，并不打算需要行动的特定顺序。

权利要求书(按照条约第19条的修改)

1.一种用于将关于三维对象的信息数据采样(114)的三维阵列(100)存储在存储器中的方法，所述方法包括：

将信息数据采样的阵列分割成多个重叠和相邻的垂直条纹(116，118)；

首先存储最左上条纹，然后在左边的相邻条纹被存储之后存储每个条纹；以及

当存储具有多行信息数据采样的每个条纹时，首先存储上行，然后将每个后续行的第一采样存储在一个存储器位置(0，X0，Y0)中，该存储器位置与存储前一行的最后存储的采样的存储器位置相邻，

其特征在于，条纹具有的宽度至多等于与存储器有关的高速缓存行。

2.权利要求1所述的方法，其特征在于，所有垂直条纹具有相同的宽度。

3.权利要求1所述的方法，其特征在于，条纹具有与信息数据的阵列相同的高度。

4.权利要求1所述的方法，其特征在于，每个采样和之下的采样以恒定的地址偏移量(X0，Y0)被存储在存储器中。

5.权利要求1所述的方法，其特征在于，条纹的厚度是一个信息数据采样，以及相邻条纹的并置形成三维阵列的二维子集(102，104，106)。

6.权利要求5所述的方法，其特征在于，在它们的各自子集中具有相同位置的二维子集中的第一个子集的每个第一数据采样和二维子集中的第二个子集的每个第二数据采样以恒定的地址偏移量被存储在存储器中。

7.权利要求1所述的方法，其特征在于，条纹的厚度至少是两个信息数据采样。

8.权利要求1所述的方法，其特征在于，信息数据采样与三维图像的体素有关。

9.一种存储系统，包括：

存储器布置，包括主存储器和具有已知高速缓存行的第一级高速缓存；以及

存储器控制单元，用于控制信息数据采样的三维阵列在存储器布置中的存储；

其特征在于，存储器控制单元将信息数据采样的阵列分割成多个重叠和相邻的采样的垂直条纹，所述条纹具有的宽度至少等于高速缓存行，以及存储器控制单元首先将最左上条纹存储在主存储器中，然后在左边的相邻条纹之后存储每个条纹；以及当存储具有多行采样的每个条纹时，控制单元首先存储上行，然后将每个后续行的首先存储的采样存储在一个存储器位置中，该存储器位置与存储前一行的最后存储的采样的存储器位置相邻。

10.一种包含计算机可执行指令的记录载体，所述指令用于将关于三维对象的信息数据采样的三维阵列存储在存储器中，所述存储步骤包括下列子步骤：

将信息数据的阵列分割成多个重叠和相邻的垂直条纹；

首先存储最左上条纹，然后在左边的相邻条纹被存储之后存储每个条纹；以及

当存储具有多行信息数据采样的每个条纹时，首先存储上行，然后将每个后续行的首先存储的采样存储在一个存储器位置中，该存储器位置与存储前一行的最后存储的采样的存储器位置相邻，

其特征在于，条纹具有的宽度至多等于与存储器有关的高速缓存行。

Claims (11)

1.一种用于将关于三维对象的信息数据采样(114)的三维阵列(100)存储在存储器中的方法，其特征在于，所述方法包括：

将信息数据采样的阵列分割成多个重叠和相邻的垂直条纹(116，118)；

首先存储最左上条纹，然后在左边的相邻条纹被存储之后存储每个条纹；以及

当存储具有多行信息数据采样的每个条纹时，首先存储上行，然后将每个后续行的第一采样存储在一个存储器位置(0，X0，Y0)中，该存储器位置在存储前一行的采样的存储器位置之后。

2.权利要求1所述的方法，其特征在于，条纹具有的宽度至多等于与存储器有关的高速缓存行。

3.权利要求1所述的方法，其特征在于，所有垂直条纹具有相同的宽度。

4.权利要求1所述的方法，其特征在于，条纹具有与信息数据的阵列相同的高度。

5.权利要求1所述的方法，其特征在于，每个采样和之下的采样以恒定的地址偏移量(X0，Y0)被存储在存储器中。

6.权利要求1所述的方法，其特征在于，条纹的厚度是一个信息数据采样，以及相邻条纹的并置形成三维阵列的二维子集(102，104，106)。

7.权利要求6所述的方法，其特征在于，在它们的各自子集中具有相同位置的二维子集中的第一个子集的每个第一数据采样和二维子集中的第二个子集的每个第二数据采样以恒定的地址偏移量被存储在存储器中。

8.权利要求1所述的方法，其特征在于，条纹的厚度至少是两个信息数据采样。

9.权利要求1所述的方法，其特征在于，信息数据采样与三维图像的体素有关。

10.一种存储系统，包括：

存储器布置，包括主存储器和具有已知高速缓存行的第一级高速缓存；以及

存储器控制单元，用于控制信息数据采样的三维阵列在存储器布置中的存储；

其特征在于，存储器控制单元将信息数据采样的阵列分割成多个重叠和相邻的采样的垂直条纹，所述条纹具有的宽度至少等于高速缓存行，以及存储器控制单元首先将最左上条纹存储在主存储器中，然后在左边的相邻条纹之后存储每个条纹；以及当存储具有多行采样的每个条纹时，控制单元首先存储上行，然后将每个后续行的第一采样存储在一个存储器位置中，该存储器位置在存储前一行的最后采样的存储器位置之后。

11.一种包含计算机可执行指令的记录载体，所述指令用于将关于三维对象的信息数据采样的三维阵列存储在存储器中，其特征在于，所述存储包括：

将信息数据的阵列分割成多个重叠和相邻的垂直条纹；

首先存储最左上条纹，然后在左边的相邻条纹被存储之后存储每个条纹；以及

当存储具有多行信息数据采样的每个条纹时，首先存储上行，然后将每个后续行的第一采样存储在一个存储器位置中，该存储器位置在存储前一行的采样的存储器位置之后。

Images