CN107679164A - 基于四叉树虚拟显示的超大容量图像的浏览方法及系统 - Google Patents

Abstract

本发明提供了一种基于四叉树虚拟显示的超大容量图像的浏览方法及系统，包括金字塔型数据结构布局步骤：根据预定的数据块大小以及图层数量，对图像进行金字塔数据结构布局；四叉树引索建立步骤：建立数据块与邻接图层之间的引索关系；图像虚拟化显示步骤：基于建立的引索关系，根据对图像的操作进行虚拟化显示。采用该方法及系统能够大幅减少超大容量图像浏览所需的内存，使图像平移、缩放等操作更加流畅，尤其适用于大容量的全切片数字病理扫描图像的快速浏览。

Description

基于四叉树虚拟显示的超大容量图像的浏览方法及系统

技术领域

本发明涉及计算机图像显示技术领域，具体地，涉及一种基于四叉树虚拟显示的超大容量图像的浏览方法及系统。

背景技术

近十年来，随着信息化技术的发展，为病理诊断发展带来革命性变化，数字化病理和远程诊断已成为各国医学诊断领域的重要发展趋势。它是将传统的玻璃病理切片通过全自动显微镜或光学放大系统扫描采集得到高分辨数字图像，再应用计算机对数字图像自动进行高精度多视野无缝隙拼接和处理，形成完整的全切片数字病理图像。数字病理图像已广泛应用于病理诊断、生命科学研究、新药研制等多个领域。通过数字化病理信息管理软件可以随时、随地对相关病理案例进行综合观察，结合医院的临床与工作流工具可以有效改善病理诊断服务的质量与效率。采用数字病理切片扫描仪能够在几分钟内获取上GByte像素分辨率、高图像质量的全切片数字切片。在实际应用中，需要对超大容量图像进行快速平移、多分辨率无级缩放等操作，在此过程中必须确保图像数据显示的完整性和正确性。受计算机内存容量的限制，如何将超大容量图像信息实时显示出来是计算机图像显示技术的一个重大挑战。

目前，可查的超大容量图像显示技术，基本采用数据分块存储思想，然而在图像数据的获取以及窗口区域更新显示的方法上尚有不足之处。以中国发明专利《大容量快速图像浏览系统》(申请号200610126845.0)为例，采用了分块显示的基本思想，图像显示时只需要将显示区域的数据显示出来。然而，在更新显示内容上采用遍历查询方法，即根据显示操作临时遍历所有待显示的相邻数据块，确定位置关系，加载图像数据。这种方法遍历频繁，内存需求大，计算耗时长，无法适应大容量数字病理图像的实时浏览。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于四叉树虚拟显示的超大容量图像的浏览方法。

根据本发明提供的一种基于四叉树虚拟显示的超大容量图像的浏览方法，包括：

金字塔型数据结构布局步骤：根据预定的数据块大小以及图层数量，对图像进行金字塔数据结构布局；

四叉树引索建立步骤：建立数据块与邻接图层之间的引索关系；

图像虚拟化显示步骤：基于建立的引索关系，根据对图像的操作进行虚拟化显示。

优选的，所述四叉树引索建立步骤具体包括：

将四叉树引索的各层与金字塔数据结构的各图层相对应，将四叉树引索中各层的节点与金字塔型数据结构中各图层的数据块相对应，各节点记录对应数据块的位置信息、数据容量信息以及关联节点信息。

优选的，所述关联节点信息包括相邻图层或相同图层邻接数据块之间的拓扑关系，相同图层邻接数据块包括八个方位：左上、中上、右上、左、左下、中下、右下以及右。

优选的，所述图像虚拟化显示步骤具体包括：

步骤S301、根据金字塔型数据结构布局步骤以及四叉树引索建立步骤进行虚拟容器布局，保证虚拟容器的位置和拟装载数据块在原始图像中的位置保持一一对应；

步骤S302、对于不同的图像显示操作确定哪些虚拟容器移出/移入显示区域，从而确定哪些虚拟容器所对应的数据块需要加载/释放；

对于移出显示区域的虚拟容器，将其中的数据块进行虚拟化；对于未移出显示区的虚拟容器中的数据块保留不动；对于移入显示区域的虚拟容器，除加载其自身的数据块之外，根据其对应的索引关系，对其邻接的虚拟容器也加载对应的数据块。

优选的，所述金字塔型数据结构布局步骤具体包括：

步骤S101、获取原始图像，标记为第0层图层；

步骤S102、将图像划分为特定大小的相互独立的数据块，记录每一数据块的坐标信息，并保证图像在长度和宽度方向上的数据块个数为4的倍数，对每一个数据块进行压缩存储，形成完整的图像；

步骤S103、对前一层图层的图像进行四分之一倍率下采样，得到下一层图层，然后重复步骤S102和步骤S103，直至达到预定的图层数量；

步骤S104、将获得的各个图层按获得次序，由下往上构建金字塔型数据结构，将金字塔型数据结构采用TIFF文件进行多页存储，每页对应一个分辨率的图层。

根据本发明提供的一种基于四叉树虚拟显示的超大容量图像的浏览系统，包括：

金字塔型数据结构布局模块：根据预定的数据块大小以及图层数量，对图像进行金字塔数据结构布局；

四叉树引索建立模块：建立数据块与邻接图层之间的引索关系；

图像虚拟化显示模块：基于建立的引索关系，根据对图像的操作进行虚拟化显示。

优选的，所述引索关系包括：将四叉树引索的各层与金字塔数据结构的各图层相对应，将四叉树引索中各层的节点与金字塔型数据结构中各图层的数据块相对应，各节点记录对应数据块的位置信息、数据容量信息以及关联节点信息。

优选的，所述关联节点信息包括相邻图层或相同图层邻接数据块之间的拓扑关系，相同图层邻接数据块包括八个方位：左上、中上、右上、左、左下、中下、右下以及右。

优选的，所述图像虚拟化显示模块包括：

虚拟容器布局子模块：根据金字塔型数据结构布局步骤以及四叉树引索建立步骤进行虚拟容器布局，保证虚拟容器的位置和拟装载数据块在原始图像中的位置保持一一对应；

虚拟容器移出移入确认子模块：对于不同的图像显示操作确定哪些虚拟容器移出/移入显示区域，从而确定哪些虚拟容器所对应的数据块需要加载/释放；

对于移出显示区域的虚拟容器，将其中的数据块进行虚拟化；对于未移出显示区的虚拟容器中的数据块保留不动；对于移入显示区域的虚拟容器，除加载其自身的数据块之外，根据其对应的索引关系，对其邻接的虚拟容器也加载对应的数据块。

优选的，所述金字塔型数据结构布局模块包括：

图像获取子模块：获取原始图像，标记为第0层图层；

数据块划分存储子模块：将图像划分为特定大小的相互独立的数据块，记录每一数据块的坐标信息，并保证图像在长度和宽度方向上的数据块个数为4的倍数，对每一个数据块进行压缩存储，形成完整的图像；

采样模块：对前一层图层的图像进行四分之一倍率下采样，得到下一层图层，然后重复划分数据块以及采样，直至达到预定的图层数量；

构建子模块：将获得的各个图层按获得次序，由下往上构建金字塔型数据结构，将金字塔型数据结构采用TIFF文件进行多页存储，每页对应一个分辨率的图层。

与现有技术相比，本发明具有如下的有益效果：

1、金字塔型数据结构结合四叉树数据索引系统以及虚拟容器的使用，由于图像文件的数据结构是预先确定的，保证了四叉树数据索引系统的稳定性和确定性，四叉树索引无需实时建立索引关系，保证了索引的高效准确性；

2、四叉树数据索引系统和虚拟容器的结合使用，四叉树保证了索引的准确性，使用虚拟容器，在图像显示更新的时候将特定大小的数据块作为最小的更新单元，计算机只处理移出显示区和新进入显示区的数据块进行处理，高效地保证了图像显示的实时性，更重要的是优化了计算机内存使用效率，增强了图像显示的准确性和流畅性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的工作流程图；

图2为本发明四叉树引索建立的示意图；

图3为本发明图像虚拟化显示的示意图；

图4为本发明不同操作下的图像显示示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，本发明提供的一种基于四叉树虚拟显示的超大容量图像的浏览方法，包括三大步骤：

金字塔型数据结构布局步骤：根据预定的数据块大小以及图层数量，对图像进行金字塔数据结构布局；

四叉树引索建立步骤：建立数据块与邻接图层之间的引索关系；

图像虚拟化显示步骤：基于建立的引索关系，根据对图像的操作进行虚拟化显示。

如图2所示，一个多层金字塔图像，每一层都由特定大小的数据块组成，如图层11和图层12。图3为图像浏览示意图，包括显示区域14，待显示区域15，四叉树结构单元16，图像拖动方向13。金字塔型数据结构布局步骤具体包括：

步骤S101、获取原始图像，标记为第0层图层；

步骤S102、将图像划分为特定大小的相互独立的数据块，记录每一数据块的坐标信息(可以从左到右，从上到下依次标记数据块的位置坐标信息，坐标信息格式为p(x,y)，图像的水平方向为x轴，图像的竖直方向为y轴)，并保证图像在长度和宽度方向上的数据块个数为4的倍数，对于数据块不足4的倍数的情况，进行空白数据填补，对每一个数据块进行压缩存储，形成完整的图像；

步骤S103、对前一层图层的图像进行四分之一倍率下高斯采样，得到下一层图层(标记为第1层)，然后重复步骤S102和步骤S103，直至达到预定的图层数量；

步骤S104、将获得的各个图层按获得次序，由下往上构建金字塔型数据结构，将金字塔型数据结构采用TIFF文件进行多页存储，每页对应一个分辨率的图层。

四叉树引索建立步骤包括：将四叉树引索的各层与金字塔数据结构的各图层相对应，将四叉树引索中各层的节点与金字塔型数据结构中各图层的数据块相对应，各节点记录对应数据块的位置信息、数据容量信息以及关联节点信息；

具体步骤如下：

步骤S201：获取并记录图层的尺寸信息以及每层图层中数据块的尺寸和位于该图层中的位置坐标信息；

步骤S202：基于每层图层的图像在长度、宽度方向上数据块数量信息，以及上下相邻图层的倍率关系，进而以每一个数据块为一个节点，由底层图层图像到顶层图层图像构建起四叉树数据结构，该四叉树结构并不是一个完全四叉树，并不是由一个父节点建立起来的，该四叉树只有特定的几层，该数据结构建立了相同图层的不同数据块之间，以及不同图层数据块之间的拓扑关系。关联节点信息包括相邻图层或相同图层邻接数据块之间的拓扑关系，相同图层邻接数据块包括八个方位：左上、中上、右上、左、左下、中下、右下以及右。

图像虚拟化显示步骤具体包括：

步骤S301、根据金字塔型数据结构布局步骤以及四叉树引索建立步骤进行虚拟容器布局，主要包括虚拟容器数量和位置的布局，保证虚拟容器的位置和拟装载数据块在原始图像中的位置保持一一对应；

步骤S302、对于不同的图像显示操作确定哪些虚拟容器移出/移入显示区域，从而确定哪些虚拟容器所对应的数据块需要加载/释放；

对于移出显示区域的虚拟容器，将其中的数据块进行虚拟化；对于未移出显示区的虚拟容器中的数据块保留不动；对于移入显示区域的虚拟容器，除加载其自身的数据块之外，根据其对应的索引关系，对其邻接的虚拟容器也加载对应的数据块。

将虚拟容器结合四叉树索引关系引入到显示中去，保证了数据显示中只对新进入显示区域的数据块和移出显示区域的数据块进行操作。

如图4所示，在图像缩放过程中，以金字塔型数据结构默认图层的倍率为基准倍率，对图像进行缩小操作时，显示区域的图像分辨率越来越小，在当前的显示倍率大于图像金字塔上一层图层的倍率时，对新进入显示区的四叉树节点所对应的虚拟容器进行实例化；在当前的显示倍率等于图像金字塔上一层图层的倍率的时候，这时要以上一层图层作为数据源，进行该层图层的虚拟容器的布局，再根据显示区域的四叉树节点进行虚拟容器的实例化，从而进行显示。图像的放大过程为该过程的逆过程。

在图像平移过程，在图像移动的过程中，根据同一层图像中数据库块邻接拓扑关系，会有节点不断移出显示区域，也有新的节点不断进入显示区域，这些节点会通过四叉树索引结构被确定和标识，对移出显示区域的节点对应的虚拟容器进行数据的虚拟化，对新进入显示区的节点对应的虚拟容器进行数据的实例化，移动过程中仍然在显示区的节点对应的虚拟容器不作处理。

本发明提供的一种基于四叉树虚拟显示的超大容量图像的浏览系统，包括：

金字塔型数据结构布局模块：根据预定的数据块大小以及图层数量，对图像进行金字塔数据结构布局；

四叉树引索建立模块：建立数据块与邻接图层之间的引索关系；

图像虚拟化显示模块：基于建立的引索关系，根据对图像的操作进行虚拟化显示。

金字塔型数据结构布局模块包括：

图像获取子模块：获取原始图像，标记为第0层图层；

数据块划分存储子模块：将图像划分为特定大小的相互独立的数据块，记录每一数据块的坐标信息(可以从左到右，从上到下依次标记数据块的位置坐标信息，坐标信息格式为p(x,y)，图像的水平方向为x轴，图像的竖直方向为y轴)，并保证图像在长度和宽度方向上的数据块个数为4的倍数，对于数据块不足4的倍数的情况，进行空白数据填补，对每一个数据块进行压缩存储，形成完整的图像；

采样模块：对前一层图层的图像进行四分之一倍率下高斯采样，得到下一层图层(标记为第1层)，然后重复步骤S102和步骤S103，直至达到预定的图层数量；

构建子模块：将获得的各个图层按获得次序，由下往上构建金字塔型数据结构，将金字塔型数据结构采用TIFF文件进行多页存储，每页对应一个分辨率的图层。

四叉树引索建立模块包括：将四叉树引索的各层与金字塔数据结构的各图层相对应，将四叉树引索中各层的节点与金字塔型数据结构中各图层的数据块相对应，各节点记录对应数据块的位置信息、数据容量信息以及关联节点信息；

具体实现如下：

步骤S201：获取并记录图层的尺寸信息以及每层图层中数据块的尺寸和位于该图层中的位置坐标信息；

步骤S202：基于每层图层的图像在长度、宽度方向上数据块数量信息，以及上下相邻图层的倍率关系，进而以每一个数据块为一个节点，由底层图层图像到顶层图层图像构建起四叉树数据结构，该四叉树结构并不是一个完全四叉树，并不是由一个父节点建立起来的，该四叉树只有特定的几层，该数据结构建立了相同图层的不同数据块之间，以及不同图层数据块之间的拓扑关系。关联节点信息包括相邻图层或相同图层邻接数据块之间的拓扑关系，相同图层邻接数据块包括八个方位：左上、中上、右上、左、左下、中下、右下以及右。

图像虚拟化显示模块包括：

虚拟容器布局子模块：根据金字塔型数据结构布局步骤以及四叉树引索建立步骤进行虚拟容器布局，保证虚拟容器的位置和拟装载数据块在原始图像中的位置保持一一对应；

虚拟容器移出移入确认子模块：对于不同的图像显示操作确定哪些虚拟容器移出/移入显示区域，从而确定哪些虚拟容器所对应的数据块需要加载/释放；

对于移出显示区域的虚拟容器，将其中的数据块进行虚拟化；对于未移出显示区的虚拟容器中的数据块保留不动；对于移入显示区域的虚拟容器，除加载其自身的数据块之外，根据其对应的索引关系，对其邻接的虚拟容器也加载对应的数据块，从而达到高效预加载、实时显示的目的。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于四叉树虚拟显示的超大容量图像的浏览方法，其特征在于，包括：

金字塔型数据结构布局步骤：根据预定的数据块大小以及图层数量，对图像进行金字塔数据结构布局；

四叉树引索建立步骤：建立数据块与邻接图层之间的引索关系；

图像虚拟化显示步骤：基于建立的引索关系，根据对图像的操作进行虚拟化显示。

2.根据权利要求1所述的基于四叉树虚拟显示的超大容量图像的浏览方法，其特征在于，所述四叉树引索建立步骤具体包括：

将四叉树引索的各层与金字塔数据结构的各图层相对应，将四叉树引索中各层的节点与金字塔型数据结构中各图层的数据块相对应，各节点记录对应数据块的位置信息、数据容量信息以及关联节点信息。

3.根据权利要求2所述的基于四叉树虚拟显示的超大容量图像的浏览方法，其特征在于，所述关联节点信息包括相邻图层或相同图层邻接数据块之间的拓扑关系，相同图层邻接数据块包括八个方位：左上、中上、右上、左、左下、中下、右下以及右。

4.根据权利要求1所述的基于四叉树虚拟显示的超大容量图像的浏览方法，其特征在于，所述图像虚拟化显示步骤具体包括：

步骤S301、根据金字塔型数据结构布局步骤以及四叉树引索建立步骤进行虚拟容器布局，保证虚拟容器的位置和拟装载数据块在原始图像中的位置保持一一对应；

步骤S302、对于不同的图像显示操作确定哪些虚拟容器移出/移入显示区域，从而确定哪些虚拟容器所对应的数据块需要加载/释放；

对于移出显示区域的虚拟容器，将其中的数据块进行虚拟化；对于未移出显示区的虚拟容器中的数据块保留不动；对于移入显示区域的虚拟容器，除加载其自身的数据块之外，根据其对应的索引关系，对其邻接的虚拟容器也加载对应的数据块。

5.根据权利要求1所述的基于四叉树虚拟显示的超大容量图像的浏览方法，其特征在于，所述金字塔型数据结构布局步骤具体包括：

步骤S101、获取原始图像，标记为第0层图层；

步骤S102、将图像划分为特定大小的相互独立的数据块，记录每一数据块的坐标信息，并保证图像在长度和宽度方向上的数据块个数为4的倍数，对每一个数据块进行压缩存储，形成完整的图像；

步骤S103、对前一层图层的图像进行四分之一倍率下采样，得到下一层图层，然后重复步骤S102和步骤S103，直至达到预定的图层数量；

步骤S104、将获得的各个图层按获得次序，由下往上构建金字塔型数据结构，将金字塔型数据结构采用TIFF文件进行多页存储，每页对应一个分辨率的图层。

6.一种基于四叉树虚拟显示的超大容量图像的浏览系统，其特征在于，包括：

金字塔型数据结构布局模块：根据预定的数据块大小以及图层数量，对图像进行金字塔数据结构布局；

四叉树引索建立模块：建立数据块与邻接图层之间的引索关系；

图像虚拟化显示模块：基于建立的引索关系，根据对图像的操作进行虚拟化显示。

7.根据权利要求6所述的基于四叉树虚拟显示的超大容量图像的浏览系统，其特征在于，所述引索关系包括：将四叉树引索的各层与金字塔数据结构的各图层相对应，将四叉树引索中各层的节点与金字塔型数据结构中各图层的数据块相对应，各节点记录对应数据块的位置信息、数据容量信息以及关联节点信息。

8.根据权利要求7所述的基于四叉树虚拟显示的超大容量图像的浏览系统，其特征在于，所述关联节点信息包括相邻图层或相同图层邻接数据块之间的拓扑关系，相同图层邻接数据块包括八个方位：左上、中上、右上、左、左下、中下、右下以及右。

9.根据权利要求6所述的基于四叉树虚拟显示的超大容量图像的浏览系统，其特征在于，所述图像虚拟化显示模块包括：

虚拟容器布局子模块：根据金字塔型数据结构布局步骤以及四叉树引索建立步骤进行虚拟容器布局，保证虚拟容器的位置和拟装载数据块在原始图像中的位置保持一一对应；

虚拟容器移出移入确认子模块：对于不同的图像显示操作确定哪些虚拟容器移出/移入显示区域，从而确定哪些虚拟容器所对应的数据块需要加载/释放；

对于移出显示区域的虚拟容器，将其中的数据块进行虚拟化；对于未移出显示区的虚拟容器中的数据块保留不动；对于移入显示区域的虚拟容器，除加载其自身的数据块之外，根据其对应的索引关系，对其邻接的虚拟容器也加载对应的数据块。

10.根据权利要求6所述的基于四叉树虚拟显示的超大容量图像的浏览系统，其特征在于，所述金字塔型数据结构布局模块包括：

图像获取子模块：获取原始图像，标记为第0层图层；

数据块划分存储子模块：将图像划分为特定大小的相互独立的数据块，记录每一数据块的坐标信息，并保证图像在长度和宽度方向上的数据块个数为4的倍数，对每一个数据块进行压缩存储，形成完整的图像；

采样模块：对前一层图层的图像进行四分之一倍率下采样，得到下一层图层，然后重复划分数据块以及采样，直至达到预定的图层数量；

构建子模块：将获得的各个图层按获得次序，由下往上构建金字塔型数据结构，将金字塔型数据结构采用TIFF文件进行多页存储，每页对应一个分辨率的图层。