CN109815209A - 一种用于医院后勤精益管理的分布式存储系统 - Google Patents

Abstract

本发明涉及一种用于医院后勤精益管理的分布式存储系统，该系统通过对医院后勤精益管理业务需求和数据存储管理的综合分析，针对其中需要迫切解决的海量多类异构数据的集成存储问题给出了医院后勤海量数据的分布式存储框架，该框架采用Hadoop大数据平台，完成医院后勤结构化数据、半结构化数据和非结构化数据的分布式存储，解决了医院后勤精益管理中大容量、多格式的同构或异构数据存储和高速度响应需求的组合难题，有利于推动医院后勤精细化管理的智能化、信息化进程。

Description

一种用于医院后勤精益管理的分布式存储系统

技术领域

本发明涉及医院资源布局优化技术领域，尤其是涉及一种用于医院后勤精益管理的分布式存储系统。

背景技术

医院后勤管理是指医院的后勤服务和保障。它是保证医院正常运行的重要基础，是保障医院医疗、教学、科研、预防、保健等工作正常进行的重要支柱。高效的医院后勤管理可以及时掌握医院资源的分布和利用情况，优化医院资源布局和结构，提高医院资源利用率。近年来，随着计算机技术的不断发展和普及，互联网、物联网和大数据等相关计算机技术被广泛应用于医疗、教育、旅游等领域。另一方面，随着医院管理服务水平的不断提升和医院信息化建设的不断完善，在医院服务、医疗、管理等过程产生的数据呈爆发式增长趋势。以医院设备管理、供应管理等各类后勤管理模块为例，这些应用系统正对每年TB级增长速度的数据进行采集和存储，同时具有数据量大、多样化、维度关系复杂和应用价值大的典型特点。采用传统的关系数据库已经不能满足日益增长的数据分析功能和性能需求。

另一方面，随着计算机网络技术的发展和医院后勤数据的高效有质量采集，使得构建有效的医院后勤精益管理平台变得确实可行。这里精益管理中的“精”表示消除生产或服务过程中的一切浪费，降低运营成本，“益”表示通过降低成本达到增加效益的目的。通过有效利用大数据技术和人工智能技术，利用采集存储的后勤数据可以为后勤管理提供综合高效决策，以保障医院安全运行，提高能源使用效率，实现节能优化。但是，如何有效地管理和存储日益增长的各类后勤管理数据，为医院后勤精益管理平台提供强有力的数据支撑仍然面临着巨大的挑战。例如：

1、数据信息孤岛的整合：

医院后勤涉及范围广而杂，随着计算机技术的发展，医院后勤管理在一些专项领域有信息化系统建设，例如设备监控、物资管理、维修管理、安防管理、订餐管理等，但在整个后勤整体化信息平台建设上整合度和完整度不够，信息孤岛较多，尤其和医院内其他业务相关系统上基本没有对接关联，对于外部影响因素的考虑较少。随着物联网技术与大数据技术的广泛应用，面对海量的数据、成本效益控制的压力和多系统间紧密联系的要求，医院后勤保障管理必须在原有信息化的基础上全面整合“信息孤岛”，为后续的医院精益管理平台的整体框架提供数据保障。

2、数据结构化程度不同：

随着医院后勤运行保障管理逐渐向标准化、规范化和专业化管理转型，医院后勤信息平台中包含了医疗设备管理、物业服务管理、建筑空间管理等多个信息管理系统，这些系统不仅功能相互独立，而且存储的数据格式也各不相同。既有日常设备、物业服务等结构化或半结构化数据，也有建筑空间、图像等大量非结构化数据；制定数据标准时也采用不同的术语和标准规范，因此需要对这些形式各异的大样本复杂数据进行梳理和转换，为后续的数据分析提供高质量的数据储备。

3、大数据量采集存储处理的效率瓶颈和稳定性风险：

现在的医院信息管理软件大多为基于关系型数据库管理系统的开发和应用，这些典型的关系型数据库如Oracle，MySQL等，对TB级或更大规模数据的响应处理缺乏有力支持。由于后勤服务大数据是支撑医院正常运作的数据，其涉及范围较广，通过各类数据采集软硬件设备采集数据，采集存储量很快就会超越TB级别。因此如何高效实现海量数据的采集、存取将是一个挑战，虽然平台应用的并发数量并不会很高，但单次请求的数据计算读取量会极大。上述难点概括为：大容量数据、多格式数据和高速度响应需求的组合难度。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于医院后勤精益管理的分布式存储系统。

本发明的目的可以通过以下技术方案来实现：

一种用于医院后勤精益管理的分布式存储系统，该系统包括：

应用层关系数据库：包括原始医院后勤数据库，用于提供不同地域和信息系统的医院后勤的同构、异构数据源；

数据接入预处理层：用于将分布在不同地域和信息系统中的医院后勤的同构、异构数据源抽取到临时中间层，以将关系型数据库导入至分布式文件存储平台和数据库系统HDFS中或将HDFS数据导入至关系型数据库中，所述的分布式文件存储平台包括HBase分布式数据库；优选地，所述的数据接入预处理层采用数据清洗、转换和集成工具将分布在不同地域和信息系统中的医院后勤的同构、异构数据源抽取到临时中间层，如后勤管理的岗位设置、工作流程、工作机制，标准化设计各类表单、报表、档案台帐等数据。

数据接入预处理层的数据转换的具体内容为：以时间戳为单位，定时接收运行数据中心发布的抽取任务，利用大数据批量传输交换工具将应用层关系数据库的数据信息传输至分布式文件存储平台和数据库系统HDFS中，或将HDFS数据导入至关系型数据库中。

HDFS分布式文件存储层：用于通过构建分布式服务器集群为整个系统的数据提供存储：所述的HDFS分布式文件存储层为基于HDFS的非结构化存储层。所述的HDFS分布式文件存储层为整个系统的数据提供存储的具体内容为：HDFS分布式文件存储层在集群中部署HDFS的服务器，并构建分布式服务器集群，通过软硬件结合模式提高计算和I/O速度，以实现为整个系统提供存储，包括HBase等结构化存储子模块用于提供最底层的基石，利用其线性扩展能力和有效的容错机制保证存储系统的高效长期的运行。同时它还为那些无法存储在数据库系统中的非结构化数据提供直接的存储功能。

HBase分布式数据库层：用于通过关系型数据库将现有的医院后勤管理系统所提交的各类医疗数据文件通过切割分块的形式保存至Hadoop集群数据节点，实现文件的分片管理和负载均衡控制。

优选地，整个系统架构中采用Zookeeper用于保障分布式存储介质之间的高性能通信。

优选地，所述的关系型数据库包括MySQL数据库、Oracle数据库。

优选地，所述的HBase分布式数据库采用HBase五维数据库(三维空间+时间+信息)，用于存储与医院后勤管理相关的所有设施设备的三维空间位置、名称、型号、安装、质保、维修记录、厂家等详细信息。

优选地，所述的应用层关系数据库包括维修管理数据单元、能源管理数据单元、资产管理数据单元、绩效管理数据单元、应急保洁数据单元、被服管理数据单元、膳食管理数据单元、医废管理数据单元、设备管理数据单元、库房管理数据单元、工程仓库数据单元、运送管理数据单元、临床报修数据单元。

应用层关系数据库的数据来源于后勤数据采集模块，所述的后勤数据采集模块包括设备数据采集单元、能耗数据采集单元、运送数据采集单元、物资数据采集单元、维修数据采集单元、安保数据采集单元、餐食数据采集单元。

与现有技术相比，本发明根据后勤精益管理业务功能和统计决策的数据存储要求，从数据可用性、容错性、实时性和可扩展性原则出发，设计了后勤数据分布式存储系统的体系架构和逻辑架构，根据业务功能的需求，给出了医院后勤海量数据的分布式存储框架，采用Hadoop大数据平台，完成医院后勤结构化数据、半结构化数据和非结构化数据的分布式存储，解决了医院后勤精益管理中大容量、多格式的同构(异构)数据存储和高速度响应需求的组合难题，有利于推动医院后勤精细化管理的智能化、信息化进程，为构建适用于医院后勤精益管理的大数据存储及管理平台提供探索思路。

附图说明

图1为HDFS与HBase的关系示意图；

图2为本发明系统中关系型数据库转换为分布式存储系统的架构图；

图3为本发明系统实现结构化、半结构化及非结构化数据合理存储的原理框图；

图4为本发明实施例中基于Sqoop的后勤大数据转换集成框架图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

HDFS分布式文件系统(Hadoop Distribute File System)是基于Google的GFS设计实现的开源分布式文件系统，其将数以万计的存储节点连接起来组成一个分布式文件系统，存储的数据可达上百PB。其与以往单机版本或以往的文件系统有了许多显著的区别和改进，如设置三副本，能在秒级范围内完成故障修复，拥有高容错性和高可靠性；采用流式方式实现数据的一次写多次读功能，拥有高读写性能。这些特点为其成为大数据文件存储的基础标准存储系统提供了强有力的支撑。

HBase是Google的BigTable的开源实现版本，具有简单的数据模型和高效扩展等特点。HBase是运行在Hadoop上的NoSQL(Not Only SQL)数据库，以HDFS为基础散布于不同的机器上，通过HDFS实现了数据冗余和自动负载均衡，具备高可靠性。HBase的服务能力随服务器的增长而线性增长，可伸缩性强；由于其数据模型是基于列存储，且不同列族的文件是分离的，与传统的行模式表格结构的关系数据库不同，不必为整个表单独建立索引文件，故存储和查询效率很高。

图1给出了HDFS和HBase的关系图。HDFS为底层存储支撑，HBase的数据则存储在HDFS上。ZooKeeper为HDFS和HBase提供分布式配置、同步等服务，确保HDFS和HBase的正常运作。

根据对已有医院后勤管理系统的分析和对后勤精益管理的系统需求分析出发，支撑后勤精益管理的数据应用平台中所存储数据的主要特点为：

1)数据结构繁多：由于医院后勤管理承担了保障医院正常运作的大量基础管理工作，其涉及到安防管理、危化管理、医废管理、物资管理、能耗管理、应急管理等安全、成本和效率多个板块，其中包含了文件，结构化和半结构化数据等多种数据结构；医院后勤服务数据不仅拥有广义上“大数据”的基本特征，更重要的是其来源于不同的应用模块，但描述样本信息的数据复杂，数据之间的关联度复杂，需要提供统一的数据表示方法，为分析数据样本之间的关联关系提供数据保障；

2)满足平台正常运作的高性能要求：医院后勤管理所涉及的历史数据来源于医院各类相关信息系统的长期积累，这些信息管理系统面向不同的应用，在数据格式、数据接口上都不尽相同。在面向医院后勤精益管理的数据整合过程中既要从医院的实际情况出发，保障应用系统的正常运作，又要从数据的整合需求出发，确保服务数据为后勤综合决策管理提供高效的数据支撑，以满足医院基层工作者和各级管理者的应用需求。

3)数据安全性保障：为后期精准管理提供数据支撑的服务数据不仅需要长期保存和数据备份，以确保在出现问题时能够及时恢复数据；而且需要具有很高的稳定性和安全性，这里数据安全性不仅包括其数据本身的实体安全，诸如数据平台里存储的设备、人员等数据信息，还衍生到数据之外的虚体安全，包括资金使用的安全、职责安全及决策安全等，形成大环境范畴内的“全面安全”，帮助医院建立基于信息技术的“医院安全围栏”。

根据上述医院后勤数据特点和面对的医院后勤精益管理中存在的数据运行维护问题，本发明依据Hadoop框架的特点，设计了一种用于医院后勤精益管理的分布式存储系统，该系统由依次连接的应用层关系数据库、数据接入预处理层、HDFS分布式文件存储层、HBase分布式数据库层四部分组成。其中，应用层关系数据库将数据导入至数据接入预处理层，数据接入预处理层对数据进行预处理，处理后的数据导出至HDFS分布式文件存储层，HDFS分布式文件存储层将数据进行结构化后将数据输入至HBase分布式数据库层进行保存。从图2给出的体系架构可以看出，平台数据存储主要由Hadoop数据节点集群和原始医院后勤数据库组成，以HDFS和HBase作为分布式存储载体，负责将现有的医院后勤管理系统所提交的各类医疗数据文件通过切割分块的形式保存至Hadoop集群数据节点，其中HDFS不仅用于非结构化文件的存储，更重要的是为HBase提供了高可靠性的底层存储支持，实现文件的分片管理和负载均衡控制，为后续的数据查询和相关算法的执行提供高效，可扩展的数据获取能力和持久化计算结果。整个系统架构中采用Zookeeper用于保障分布式存储介质之间的高性能通信。

应用层关系数据库：

应用层关系数据库由原始医院后勤数据库组成，其中包含维修管理数据单元、能源管理数据单元、资产管理数据单元、绩效管理数据单元、应急保洁数据单元、被服管理数据单元、膳食管理数据单元、医废管理数据单元、设备管理数据单元、库房管理数据单元、工程仓库数据单元、运送管理数据单元、临床报修数据单元等多种应用关系数据单元。应用层关系数据库的数据来源于后勤数据采集模块，后勤数据采集模块包括设备数据采集单元、能耗数据采集单元、运送数据采集单元、物资数据采集单元、维修数据采集单元、安保数据采集单元、餐食数据采集单元等。

数据接入预处理层：

数据接入预处理层是大数据存储流程的首要环节。在该层中，采用数据清洗、转换和集成工具负责将分布在不同地域和信息系统中的医院后勤的同构、异构数据源抽取到临时中间层，如后勤管理的岗位设置、工作流程、工作机制，标准化设计各类表单、报表、档案台帐等数据。通过这种方式，可避免对已经成熟应用的孤岛系统二次重复开发，且通过系统集成的方式接入数据存储中心，可以提高数据信息集成共享的能力。通过对数据进行数据转换操作，完成将数据从传统的关系型数据库中导入到适合大数据平台快速处理的分布式文件存储系统和数据库中，为数据存储建模和资源描述提供数据基础。

Apache Sqoop是一款开源的大数据批量传输交换工具，可以支持不同类型数据库之间的导入与导出。因此可以将关系型数据库(如MySQL、Oracle等)导入至分布式文件存储和数据库系统HDFS中，也可以将HDFS的数据导入到关系型数据库中，且其支持增量更新，可以将新记录添加到最近一次的导出数据源上，或者指定上次修改的时间戳的文件位置。

医院后勤运行保障管理由粗放管理逐步向标准化、精益化、规范化、科学化、专业化管理转型；逐步涵盖了机电设备管理、动力运行管理、物业服务管理、医疗设备管理、物资供应保障、固定资产管理、安全管理、基本建设等主要内容，成为支撑与保障医院正常运行的重要基础。这些管理系统日趋成熟，也积累了大量真实有效的后勤服务数据，为了满足医院后勤精细一体化智能管理的应用需求，根据后勤运维管理模型构建目标，本发明针对HBase分布式数据库采用HBase五维数据库(三维空间+时间+信息)，用于存储与医院后勤管理相关的所有设施设备的三维空间位置、名称、型号、安装、质保、维修记录、厂家等详细信息。将上述已有的基于报表或二维结构的异构数据，包括现有ERP系统的资产数据、ILMS系统的房屋与设备基本信息以及长期纸质保存的设备档案、设备维修维保数据、外包服务人员信息、供应商信息、合同信息、预算信息、工程档案等数据集成统一到适合大数据平台快速处理的分布式文件存储系统和数据库中，并建立统一标准清洗数据，为数据存储建模和资源描述提供数据基础。

在将医院后勤服务数据从传统的关系型数据库中导入到分布式存储系统的传输过程中，以时间戳为单位，定时接收运行数据中心发布的抽取任务。如将数据传输系统定于0-2点间，错峰接收采集到的数据信息。导入后的数据文件存储模式能够更好地支持细粒度的统计需求。也实现了将传统单一节点医疗数据库中存放的各类医院后勤数据转为HDFS分布式存储管理的应用需求。具体的后勤服务数据整合框架图如图4所示，医院后勤关系数据库的数据可通过Sqoop工具将数据导入至HDFS分布式文件存储库或HBase分布式数据库中。

HDFS分布式文件存储层：

HDFS分布式文件存储层为基于HDFS的非结构化存储层，在集群中进行HDFS的服务器部署，构建分布式服务器集群，通过软硬件结合模式提高计算和I/O速度，用于为整个系统提供存储：包括HBase等结构化存储子模块用于提供最底层的基石，利用其线性扩展能力和有效的容错机制保证存储系统的高效长期的运行。同时它还为那些无法存储在数据库系统中的非结构化数据提供直接的存储功能。

从整个系统的体系结构看，随着医院后勤精益管理业务需求的不断提升，其数据平台不仅需要抓取原始的医疗服务数据作为结构化的同构数据，而且还要进一步抓取包括图像、文件在内的半结构化和非结构化数据。从系统的可扩展性考虑，经过数据预处理之后的内容，采用直接存储在HDFS中的模式，从整个系统的体系结构上看，目前需要解决已有数据和未来数据的兼容关系，并为后续的数据建模和数据服务提供可靠安全的数据基础。

如图3所示，在构建用于医院后勤服务海量数据存储的数据存储模型时，引入互联网行业中的大数据相关技术的成功解决方案，尤其在平台数据的采集和存储阶段，其目的是为了后续的数据处理。由于大数据要处理大量、非结构化的数据，所以在各处理环节中都采用分布式处理方式，即利用主流的Hadoop组件群分布式技术完成数据存储和数据集成。基于HDFS的非结构化存储层，为整个系统的存储提供基础。HDFS位于分布式存储系统的底层，利用其线性扩展能力和有效的容错机制保证存储系统的高效长期运行，同时还为那些无法存储在数据库系统中的非结构化数据提供直接的存储功能，并为HBase等NoSQL数据库存储提供了可靠的存储介质。

通过图3可知，本发明通过对关系型数据库、NoSQL数据库和HDFS分布式文件存储的合理运用，实现对结构化、半结构化及非结构化数据的合理存储，为后勤数据提供强有力的安全保障的同时，也为后续的数据服务及分析应用提供了强大的数据支撑。

对于各信息系统中已有的关系型数据和非关系型数据，本发明从现有各信息系统中抓取原有的后勤服务数据作为结构化数据，经过数据预处理后，采用直接存储在HDFS中的模式，将目前结构化关系型数据库中的每个表对应HDFS文件系统中的一个文件，表中的每行记录对应HDFS文件中的一行，在以“天”为单位导入数据时，可将关系型数据库中的表按照时间顺序存储在HDFS文件中。这种设计模式能够利用其良好的可扩展性，无缝地为输入数据提供弹性的存储服务。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种用于医院后勤精益管理的分布式存储系统，其特征在于，该系统包括：

应用层关系数据库：包括原始医院后勤数据库，用于提供不同地域和信息系统的医院后勤的同构、异构数据源；

数据接入预处理层：用于将分布在不同地域和信息系统中的医院后勤的同构、异构数据源抽取到临时中间层，以将关系型数据库导入至分布式文件存储平台和数据库系统HDFS中或将HDFS数据导入至关系型数据库中，所述的分布式文件存储平台包括HBase分布式数据库；

HDFS分布式文件存储层：用于通过构建分布式服务器集群为整个系统的数据提供存储：

HBase分布式数据库层：用于通过关系型数据库将现有的医院后勤管理系统所提交的各类医疗数据文件通过切割分块的形式保存至Hadoop集群数据节点，实现文件的分片管理和负载均衡控制。

2.根据权利要求1所述的一种用于医院后勤精益管理的分布式存储系统，其特征在于，所述的数据接入预处理层采用数据清洗、转换和集成工具将分布在不同地域和信息系统中的医院后勤的同构、异构数据源抽取到临时中间层。

3.根据权利要求2所述的一种用于医院后勤精益管理的分布式存储系统，其特征在于，数据接入预处理层的数据转换的具体内容为：

以时间戳为单位，定时接收运行数据中心发布的抽取任务，利用大数据批量传输交换工具将应用层关系数据库的数据信息传输至分布式文件存储平台和数据库系统HDFS中，或将HDFS数据导入至关系型数据库中。

4.根据权利要求1所述的一种用于医院后勤精益管理的分布式存储系统，其特征在于，所述的HDFS分布式文件存储层为基于HDFS的非结构化存储层。

5.根据权利要求4所述的一种用于医院后勤精益管理的分布式存储系统，其特征在于，所述的HDFS分布式文件存储层为整个系统的数据提供存储的具体内容为：

HDFS分布式文件存储层在集群中部署HDFS的服务器，并构建分布式服务器集群，通过软硬件结合模式提高计算和I/O速度，以实现为整个系统提供存储。

6.根据权利要求3所述的一种用于医院后勤精益管理的分布式存储系统，其特征在于，所述的关系型数据库包括MySQL数据库、Oracle数据库。

7.根据权利要求1所述的一种用于医院后勤精益管理的分布式存储系统，其特征在于，所述的HBase分布式数据库包括用以存储与医院后勤管理相关的所有设施设备的三维空间位置、名称、型号、安装、质保、维修记录、厂家信息的HBase五维数据库。

8.根据权利要求1所述的一种用于医院后勤精益管理的分布式存储系统，其特征在于，所述的应用层关系数据库包括维修管理数据单元、能源管理数据单元、资产管理数据单元、绩效管理数据单元、应急保洁数据单元、被服管理数据单元、膳食管理数据单元、医废管理数据单元、设备管理数据单元、库房管理数据单元、工程仓库数据单元、运送管理数据单元、临床报修数据单元。

9.根据权利要求8所述的一种用于医院后勤精益管理的分布式存储系统，其特征在于，所述的应用层关系数据库的数据来源于后勤数据采集模块，所述的后勤数据采集模块包括设备数据采集单元、能耗数据采集单元、运送数据采集单元、物资数据采集单元、维修数据采集单元、安保数据采集单元、餐食数据采集单元。