CN108959660A - 一种基于hdfs分布式文件系统的存储方法及使用方法 - Google Patents

Abstract

本发明提出一种基于HDFS分布式文件系统的存储方法及使用方法，包括：一体化内容存储文件块结构：包括内容索引表块、采样体数据块、基础信息表块、三维体矩阵块、头信息备份块；基于一体化内容存储文件块结构的文件缓存池：包括用户队列、用户数据队列和HDFS连接池；包括文件缓存池访问流程；本发明技术搭建在分布式文件系统上，减少数据存储成本，易于扩展，支持不停机状态的存储扩容，同时数据存储冗余存储提高了安全性；采用分布式数据访问，显著提升了并发访问能力，比传统的集中存储技术具有更好的读写性能，满足在线高并发访问需求；该技术部署在云平台，能够快速构建应用共享平台，满足移动应用开发对云存储分布性能需求。

Description

一种基于HDFS分布式文件系统的存储方法及使用方法

技术领域

本发明属于医学图像处理领域，具体涉及一种基于HDFS分布式文件系统的存储方法及使用方法。

背景技术

随着医学成像技术快速发展，医学图像已经成为医学临床诊断的重要依据。当前这些数据都存储在PACS(图像归档与通信系统)系统中，采用高性能、大容量的网络存储阵列、磁带库等存储介质。PACS遵循DICOM3.0国际标准，是医学图像的组织与通信标准。

目前PACS系统已经从单机、科室逐步发展到全院、区域，实现了医院无胶片化。区域化是政府卫生部门和医疗机构目前的主要研究目标，但构建支持区域化PACS应用的大型共享医学图像中心和协作平台还面临如下挑战：

1)建设费用高：图像数据量达到TB、PB级别，采用传统存储架构(如FC SAN/iSCSI)费用高，异构集成及扩展灵活性差；

2)传输带宽存在瓶颈：即使是高性能的FC SAN网络带宽和处理能力也难以达到PB级数的快速处理和传输要求；

3)可用性受限：大型医院PACS系统常用“在线-近线-离线”的存储模式，离线数据大多存储在磁带库中，可用性较差，数据不能实时获取；

4)缺乏一体化的应用共享平台：医学影像协作，如Web DICOM终端、影像会诊、影像转诊、远程教育、数字胶片代存等服务基本采用“点对点”的模式，缺乏一体化、跨平台、高可用的区域医学影像协同应用软件，数据共享困难，如转院、异地就医等无法在线数据转存。

同时，移动设备如智能手机、平板等设备的应用使得信息获取方式日益变得更加便利，医生逐渐不再局限在阅片暗室，在任何时候、任何地点、任何设备上都可以共享、实时查看图像成为当前迫切的需求。因此，随着云计算技术的飞速发展，为构建低成本、高可用、高性能的共享医学影像协作平台提供了一条有效途径，其中医学图像云存储是其中重要组成部分。

在架构云存储方面，Hadoop HDFS分布式文件系统具有高可靠性和伸缩性，以流式数据访问模式存储大文件，可以运行在低廉的硬件集群上，是一种构建安全、可靠、稳定、性价比高的云存储可行方案。HDFS采用Master/Slaves的主从架构，一个HDFS集群有一个Namenode节点和多个Datanode节点组成的。Namenode是一个中心服务器，负责管理文件系统的原数据和客户端对文件的访问。Datanode负责数据块的存储，并且采用冗余备份机制。因此，HDFS具有以下优势：

1)非常适合海量数据的存储和处理；

2)可扩展性高，只需要简单添加服务器数量，即可实现存储容量和计算能力的线性增长；

3)数据冗余度高，缺省每份数据在3台服务器上保留备份；

4)适合“流式”访问，即一次写入，多次读取，数据写入后极少修改，这点也非常适合医学图像文件的特点；

5)除了数据存储能力外，Hadoop MapReduce分布式计算框架还可以充分利用各种服务器CPU的计算资源，便于后期开展基于海量医学图像数据的图像融合、图像内容检索、三维重建等计算密集型应用。

除了上面所述医学图像具有数据量大的特点外，下面我们再来看医学图像应用中的数据访问特点：医学图像应用访问存储系统主要用于加载图片文件到PACS工作站，PACS工作站来展示平片、三维重建或计算机辅助分析等，因此两个基本需求：(1)浏览二维平片图像，一般会看整个序列图像，一个一个显示；(2)对整个序列图像进行三维重建可视化，需要整体构建体数据，这时候将一个一个图像内容合并为一个。因此，基于HDFS的PACS系统架构会存在以下问题：

1)HDFSNamenode效率下降问题。HDFS的设计理念针对大文件进行优化的，默认大小64MB，而常见的CT、MRI等图像大小多为512KB左右，一次拍摄产生的图像数据量假设为100～200幅，如果直接存储这些数据到HDFS，过多的小文件将导致HDFS的Namenode节点内存消耗过大，降低整个集群的性能。Namenode的架构设计简化了文件系统的整体结构，存储着文件的元数据，因此Namenode的内存容量限制了文件的数量。每个block及索引目录在内存均以对象的形式存储，每个对象约占150字节，那么一个100万个小文件，至少占用300M内存。存储1亿甚至更多文件时，Namenode需要20G甚至更多内存容量，超出目前的硬件能力。目前Hadoop针对小文件也提供了对应的解决方案，如Hadoop Archive文件归档、SequenceFile文件等，但是这些方法无法完全满足医学DICOM序列图像应用需求，如缺乏内容索引和单幅随机访问。

2)HDFS不适合实时应用问题。HDFS设计的理念不适合实时应用，数据写入过程，每个数据块需要复制至少3份，写入性能大大低于读取性能，因此，HDFS的写入性能是不够实时和不适合多任务并发的，不太适合需要快速获取图像资源并撰写诊断报告等PACS实时应用的。同时，每次访问HDFS，客户端都需要建立链接、打开、关闭和断开链接操作，对于一个序列上百图像频繁读取，与本地文件系统相比，读取效率会明显下降；

3)HDFS文件内容随机读写效率低问题。HDFS适用于高吞吐量，而不适合低时间延迟的访问。如果同时存入1Million个文件，和本地磁盘存储相比，HDFS将花费几个小时的时间。更重要的是HDFS采用流式读取的方式，不适合多用户读写，以及任意位置读写。如在线服务器负责计算处理的应用，服务器端程序需要实时从指定数据位置开始读取。如果访问小文件，则必须从一个Datanode跳转到另外一个Datanode，这样大大降低了读取性能。

发明内容

基于以上技术问题，本发明提出一种基于HDFS分布式文件系统的存储方法及使用方法，其包括：

(1)一体化内容存储文件块结构：将所有本地图像文件按照如下分区块进行保存，分区块包括内容索引表块、采样体数据块、基础信息表块、三维体矩阵块、头信息备份块；

内容索引表块：包括记录图像文件类型标记、每个分区块的起止位置、图像像素矩阵起止位置、图像大小和图像个数信息，共五个部分；图像文件读写顺序是按照内容索引表块五个部分的排序顺序进行读取的；

采样体数据块：存储原始图像文件的降采样后数据，用于给用户的缩略图显示以及不需要高精度原始数据场景；

基础信息表块：记录图像文件数据的公共信息；

三维体矩阵块：存储每一个图像文件的图像像素矩阵原始数据，按照医学图像内容的顺序排列；

头信息备份块：保留原有图像文件信息，内容比基础信息表块中保存的信息全，包括所有原始图像文件标准规定的信息，保证通过头信息备份块中的信息还原原有图像，或者查找基础信息表块中不存在的信息；

(2)基于一体化内容存储文件块结构的文件缓存池：文件缓存池位于服务器与本地图像文件系统之间，包括用户队列、用户数据队列和HDFS连接池；

用户队列：采用哈希结构，保存着每个用户登录信息，并在每个哈希冲突采用一个双向链表实现，每一个登录用户自动在该队列中创建一个节点，每个用户节点自动创建一个用户的数据队列，并加载上一次登录加载的序列数据，如果是新用户，就不加载；

用户数据队列：用户数据队列管理者当前用户能够访问的所有序列数据，采用哈希结构，并用双向链表解决冲突，用户每次加载一个序列数据，就会创建一个数据节点，该数据节点保存着三类信息：上述一体化内存存储文件中的基础信息数据；操作状态信息，即当前用户对这个数据操作；数据内存标识，即内存文件的引用，可以用该内存标识来访问内存文件；用户数据队列数据节点采用先进先出或最近使用作为淘汰策略；

HDFS连接池：管理对HDFS分布式文件系统的连接，当需要创建新连接时，该模块返回一个连接句柄；每个用户数据队列创建的同时会打开一个HDFS访问连接，该连接一直保持，直到用户注销或者用户操作超时销毁。

内存文件：指用户访问的图像数据，该图像数据对应本地图像文件中的一个物理文件，即本地磁盘文件，内存文件在文件存储方法中起到如计算机中内存的作用，每一个本地图像文件都对应一个内存文件，不用将所有本地图像文件全部加载到内存文件中，内存文件在用户队列中节点上保存，内存文件句柄是在用户数据队列中创建数据节点同时创建的；

所述一种基于HDFS分布式文件系统的存储方法以及使用方法的使用方法，其特征在于，包括如下流程：

步骤1；用户登录初始化：当用户登录时，文件缓存池创建用户节点加入到用户队列；然后创建该用户的数据队列，并初始化该数据队列，包括：如果以前用户打开访问过，那么将上次用户打开的序列数据加入到数据队列；并打开一条HDFS文件系统连接。

步骤2：数据请求访问：用户登录后，根据客户端发送的用户信息，在文件缓存池中查找用户信息；如果查到该用户数据，直接调用对应访问接口返回给客户端；如果该用户数据不存在，那么从HDFS分布式文件系统中加载该数据，首先查看该用户的数据队列是否达到缓存上线，若没有达到，文件缓存池创建一个数据节点，并加载该数据从HDFS分布式文件系统中到数据节点，创建该数据的内存映射文件，保存该内存文件对应的本地物理文件句柄到数据节点和已经解析对应的基础信息；若达到缓存上线，那么根据配置的淘汰策略，删除一个数据节点，并开始上述创建数据节点过程；最终将数据反馈给客户端，最后记录客户端对该序列数据操作状态，修改数据节点的状态，记录标记该数据节点使用的时间戳，用于节点淘汰策略评估使用；

步骤3：用户注销：客户端发送请求给服务器，然后文件缓存池注销用户节点、注销数据队列，记录该用户历史数据，以备下次访问预加载，释放HDFS连接。

所述用户数据队列数据节点淘汰策略包括：先进先出和最近使用策略，根据用户需求设定；先进先出策略指按照时间戳删除时间最早的节点；最近使用策略指将最不经常用的删除。

所述基础信息表块公共信息包括，对于原始图像文件提取患者ID、姓名、年龄、模态、制造商、医院、图像个数、图像宽高、像素间距和层间距；

有益技术效果：

本发明创新性提出了一种基于HDFS分布式文件系统的存储方法及使用方法，

(1)设计了一种针对大规模图像序列数据的一体化内容存储技术，适应分布式文件系统上高性能存储效率(HDFS系统)；

(2)本发明技术搭建在分布式文件系统上，减少数据存储成本，易于扩展，支持不停机状态的存储扩容，同时数据存储冗余存储提高了安全性；

(3)采用分布式数据访问，显著提升了并发访问能力，比传统的集中存储技术具有更好的读写性能，满足在线高并发访问需求；

(4)该技术部署在云平台，能够快速构建应用共享平台，满足移动应用开发对云存储分布性能需求；

(5)设计了一种基于内存映射的文件缓存池技术，该缓存池采用基于内存映射文件方法实现高效的读数据过程，同时提供池中文件的替换淘汰策略。

附图说明

图1为本发明实施例的一种基于HDFS分布式文件系统的存储方法及使用方法示意图；

图2为本发明实施例的一体化内容存储文件块结构示意图；

图3为本发明实施例的文件缓存池示意图；

图4为本发明实施例的文件缓存池访问时序图；

图5为本发明实施例的淘汰策略示意图。

具体实施方式

下面结合附图和具体实施实例对发明做进一步说明：

一种基于HDFS分布式文件系统的存储方法及使用方法，本发明改进HDFS分布式文件系统，如图1所示，图1中虚线部分为本发明内容，在HDFS分布式文件系统基础上增加了一体化内容存储文件块结构和基于一体化内容存储文件块结构的文件缓存池，并给出文件缓存池访问流程，包括：

(1)一体化内容存储文件块结构：将所有本地图像文件按照如下分区块进行保存，包括内容索引表块、采样体数据块、基础信息表块、三维体矩阵块、头信息备份块，将原始图像文件按照如上五部分结构进行存储，如图2所示：

内容索引表块：包括记录图像文件类型标记、每个分区块的起止位置、图像像素矩阵起止位置、图像大小和图像个数信息，共五个部分；图像文件读写顺序是按照内容索引表块五个部分的排序顺序进行读取的；文件类型标记，就是在文件头几个字节写一个短字符串，本发明预定用的是“mics”，标记文件是否是本发明所提的文件内容组织格式，便于开发实现中调试。

采样体数据块：存储原始图像文件的降采样后数据，用于给用户的缩略图显示以及不需要高精度原始数据场景；主要存储了原始序列图像的降采样后数据，主要用于给用户的缩略图显示以及一些特定应用，如要求传输效率，不需要高精度原始数据场景。默认情况下一般预存储1/2和1/4两种采样精度数据，即：图像宽高是原来的1/2和1/4，数据量是原始数据量的1/4和1/16，这个可以根据应用需求设定。如原来一个512*512的医学图像，占用512K的存储空间，经过1/2降采样后图像大小为128K，经过1/4降采样后图像大小为32K，远远小于原始数据量。

基础信息表块：记录图像文件数据的公共信息；

三维体矩阵块：存储每一个图像文件的图像像素矩阵原始数据，按照医学图像内容的顺序排列，例如：按照医学图像内容身体从头到脚的顺序排列；

头信息备份块：保留原有图像文件信息，内容比基础信息表块中保存的信息全，包括所有原始图像文件标准规定的信息，保证通过头信息备份块中的信息还原原有图像，或者查找基础信息表块中不存在的信息；

(2)基于一体化内容存储文件块结构的文件缓存池：文件缓存池位于服务器与本地图像文件系统之间，包括用户队列、用户数据队列和HDFS连接池；

如图3所示，用户哈希表对应的右边队列就是用户队列，每一个用户都有一个队列节点，每一个用户都对应一个数据队列，就是数据哈希对应的那个队列，这个队列包含了B、S和F，B就是基本信息，S是用户操作状态或者说上下文，比如旋转角度、是否反显、当前窗宽窗位等参数，F是该数据的内存文件，及内存文件对应的物理文件句柄。原始数据存储于分布式文件系统中，当用户加载数据，文件缓存池从文件系统加载到数据队列中，同时也将该内存数据映射为内存文件，保存到本地文件系统，以后不用从远程文件系统加载数据，因为本地加载速度要远远高于从远程读取数据，这也是为什么把它作为内存文件操作的原因，因此这个虚线箭头是说文件缓存池相当于把数据从远程的分布式文件系统中复制到了本地，由远程操作改变为本地操作；

用户队列：采用哈希结构，保存着每个用户登录信息，并在每个哈希冲突采用一个双向链表实现，每一个登录用户自动在该队列中创建一个节点，每个用户节点自动创建一个用户的数据队列，并加载上一次登录加载的序列数据，如果是新用户，就不加载；

用户数据队列：用户数据队列管理者当前用户能够访问的所有序列数据，采用哈希结构，并用双向链表解决冲突，用户每次加载一个序列数据，就会创建一个数据节点，该数据节点保存着三类信息：上述一体化内存存储文件中的基础信息数据；操作状态信息，即当前用户对这个数据操作；数据内存标识，即内存文件的引用，可以用该内存标识来访问内存文件；

HDFS连接池：管理对HDFS分布式文件系统的连接，当需要创建新连接时，该模块返回一个连接句柄；每个用户数据队列创建的同时会打开一个HDFS访问连接，该连接一直保持，直到用户注销或者用户操作超时销毁。

内存文件：用户数据队列管理者当前用户能够访问的所有序列数据，采用哈希结构，并用双向链表解决冲突，用户每次加载一个序列数据，就会创建一个数据节点，该数据节点保存着三类信息：上述一体化内存存储文件中的基础信息数据；操作状态信息，即当前用户对这个数据操作；数据内存标识，即内存文件的引用，可以用该内存标识来访问内存文件；用户数据队列数据节点采用先进先出或最近使用作为淘汰策略；

(3)文件缓存池访问流程，如图4所示：

步骤1：用户登录初始化：当用户从客户端登录服务器时，文件缓存池创建用户节点加入到用户队列；然后创建该用户的数据队列，并初始化该数据队列，同时打开一条HDFS文件系统连接，初始化数据队列过程包括：如果之前用户打开访问过，那么将上次用户打开的序列数据加入到数据队列，即加载历史数据到数据队列；

步骤2：数据请求访问：用户登录后，客户端发送请求到服务器端，根据请求数据内容，在文件缓存池查找用户，如果查到该用户数据，根据请求数据内容从数据队列中查找，如果找到，则将结果数据直接返回给客户端，如果没有找到，那么从远程文件系统开始加载，这个加载过程就是创建一个数据队列节点，将新数据存储为内存文件，建立本地内存文件的本地物理文件，然后返回给客户端；如果该用户数据不存在，那么创建用户队列节点，创建该用户的数据队列，是空的队列，并从HDFS系统中加载该数据，首先查看该用户的数据队列是否达到缓存上线，若没有达到，文件缓存池创建一个数据节点，并加载该数据从HDFS中到数据节点，创建该数据的内存映射文件，保存该内存文件对应的本地物理文件句柄到数据节点和已经解析对应的基础信息；若达到缓存上线，那么根据配置的淘汰策略，删除一个数据节点，并开始上述创建数据节点过程；最终将数据反馈给客户端，最后记录客户端对该序列数据操作状态，修改数据节点的状态，记录标记该数据节点使用的时间戳，用于节点淘汰策略评估使用；

步骤3：用户注销：客户端发送注销请求给服务器，然后文件缓存池注销用户节点、注销数据队列，记录该用户历史数据，以备下次访问预加载，释放HDFS连接，断开HDFS连接。

所述数据节点淘汰策略包括：先进先出和最近使用策略，根据用户需求设定；先进先出策略指按照时间戳删除时间最早的一个节点，如图5所示，时间戳为9000的节点位于队列尾部，则删除该节点，时间戳为12000新节点加入到队尾；最近使用策略指将最不经常用的那个节点删除，如图5所示，时间戳为10633的节点是最不经常使用的，删除该节点，时间戳为12000新节点加入到队头。

所述基础信息表块公共信息包括，对于原始图像提取患者ID、姓名、年龄、模态、制造商、医院、图像个数、图像宽高、像素间距和层间距；

测试环境：文件系统是HDFS1.4版本，10个节点，存储9TB容量，单节点2G内存、一个四核CPU Intel(R)Xeon(R)CPU E5-2620 v4@2.10GHz，操作系统Ubuntu16.04，java1.8运行环境，网络100M局域网。

测试结果见表格1：

表格中的序号指的是按照不同条件的测试次序，选择A数据、B数据、C数据进行测试，每组数据对应采用本地存储方式或本发明改进的HDFS方式，在本发明的方式进行采样，表格中指代压缩，或者不用本发明的采样方法，也就是不压缩，每组数据都对应这4种不同的方式，从表格1中可以看出：采用本发明的采样体数据块的方法(即表格中的压缩)读取速度非常快，明显高于没有采用本发明采样方法的读取速度；并且使用本发明的大规模图像序列数据的高性能分布式存取方法，即改进的HDFS，比使用本地的存储方式，读取数据速度明显加快。

表格1：一种基于HDFS分布式文件系统的存储方法及使用方法测试结果

Claims (4)

1.一种基于HDFS分布式文件系统的存储方法，其特征在于，包括：

(1)一体化内容存储文件块结构：将所有本地图像文件按照如下分区块进行保存，分区块包括内容索引表块、采样体数据块、基础信息表块、三维体矩阵块、头信息备份块；

内容索引表块：包括记录图像文件类型标记、每个分区块的起止位置、图像像素矩阵起止位置、图像大小和图像个数信息，共五个部分；图像文件读写顺序是按照内容索引表块五个部分的排序顺序进行读取的；

采样体数据块：存储原始图像文件的降采样后数据，用于给用户的缩略图显示以及不需要高精度原始数据场景；

基础信息表块：记录图像文件数据的公共信息；

三维体矩阵块：存储每一个图像文件的图像像素矩阵原始数据，按照医学图像内容的顺序排列；

头信息备份块：保留原有图像文件信息，内容比基础信息表块中保存的信息全，包括所有原始图像文件标准规定的信息，保证通过头信息备份块中的信息还原原有图像，或者查找基础信息表块中不存在的信息；

(2)基于一体化内容存储文件块结构的文件缓存池：文件缓存池位于服务器与本地图像文件系统之间，包括用户队列、用户数据队列和HDFS连接池；

用户队列：采用哈希结构，保存着每个用户登录信息，并在每个哈希冲突采用一个双向链表实现，每一个登录用户自动在该队列中创建一个节点，每个用户节点自动创建一个用户的数据队列，并加载上一次登录加载的序列数据，如果是新用户，就不加载；

用户数据队列：用户数据队列管理者当前用户能够访问的所有序列数据，采用哈希结构，并用双向链表解决冲突，用户每次加载一个序列数据，就会创建一个数据节点，该数据节点保存着三类信息：上述一体化内存存储文件中的基础信息数据；操作状态信息，即当前用户对这个数据操作；数据内存标识，即内存文件的引用，可以用该内存标识来访问内存文件；用户数据队列数据节点采用先进先出或最近使用作为淘汰策略；

HDFS连接池：管理对HDFS分布式文件系统的连接，当需要创建新连接时，该模块返回一个连接句柄；每个用户数据队列创建的同时会打开一个HDFS访问连接，该连接一直保持，直到用户注销或者用户操作超时销毁。

内存文件：指用户访问的图像数据，该图像数据对应本地图像文件中的一个物理文件，即本地磁盘文件，内存文件在文件存储方法中起到如计算机中内存的作用，每一个本地图像文件都对应一个内存文件，不用将所有本地图像文件全部加载到内存文件中，内存文件在用户队列中节点上保存，内存文件句柄是在用户数据队列中创建数据节点同时创建的。

2.权利要求1中所述一种基于HDFS分布式文件系统的存储方法的使用方法，采用权利要求1所述的存储方法，其特征在于，包括如下流程：

步骤1；用户登录初始化：当用户登录时，文件缓存池创建用户节点加入到用户队列；然后创建该用户的数据队列，并初始化该数据队列，包括：如果以前用户打开访问过，那么将上次用户打开的序列数据加入到数据队列；并打开一条HDFS文件系统连接。

步骤2：数据请求访问：用户登录后，根据客户端发送的用户信息，在文件缓存池中查找用户信息；如果查到该用户数据，直接调用对应访问接口返回给客户端；如果该用户数据不存在，那么从HDFS分布式文件系统中加载该数据，首先查看该用户的数据队列是否达到缓存上线，若没有达到，文件缓存池创建一个数据节点，并加载该数据从HDFS分布式文件系统中到数据节点，创建该数据的内存映射文件，保存该内存文件对应的本地物理文件句柄到数据节点和已经解析对应的基础信息；若达到缓存上线，那么根据配置的淘汰策略，删除一个数据节点，并开始上述创建数据节点过程；最终将数据反馈给客户端，最后记录客户端对该序列数据操作状态，修改数据节点的状态，记录标记该数据节点使用的时间戳，用于节点淘汰策略评估使用；

步骤3：用户注销：客户端发送请求给服务器，然后文件缓存池注销用户节点、注销数据队列，记录该用户历史数据，以备下次访问预加载，释放HDFS连接。

3.根据权利要求1所述一种基于HDFS分布式文件系统的存储方法，其特征在于，所述用户数据队列数据节点淘汰策略包括：先进先出和最近使用策略，根据用户需求设定；先进先出策略指按照时间戳删除时间最早的节点；最近使用策略指将最不经常用的删除。

4.根据权利要求1所述一种基于HDFS分布式文件系统的存储方法，其特征在于，所述基础信息表块公共信息包括，对于原始图像文件提取患者ID、姓名、年龄、模态、制造商、医院、图像个数、图像宽高、像素间距和层间距。