CN105095653A - 医疗大数据应用基础服务系统 - Google Patents

Abstract

本发明涉及一种医疗大数据应用基础服务系统，其特征在于该系统包括大数据云ETL子系统、大数据基础内核子系统、医疗大数据分析挖掘子系统、系统运行管理监控子系统；大数据云ETL子系统负责对医院信息系统的相关数据进行抽取、清洗转换和加载；大数据基础内核子系统利用大数据基础能力中所使用的Storm流计算、MapReduce批量计算、Spark、医疗大数据元数据、HBASE半结构化数据存储等技术，实现医疗大数据的存储、计算和分析；医疗大数据分析利用数据探索、挖掘建模和模型评估，对医疗大数据基础内核平台存储的数据进行分析；管理监控系统负责为整个医疗大数据应用基础平台提供所需的支持、监控、配置和安全服务。

Description

医疗大数据应用基础服务系统

技术领域

本发明涉及大数据技术领域，特别是涉及一种医疗大数据应用基础服务系统。

背景技术

近年来随着互联网、云计算、移动和物联网等的迅猛发展，无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互，要处理的数据量巨大，数据一直都在以每年50%的速度增长，而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求，传统的常规技术手段根本无法应付，因此，大数据技术（BigData）成为近来的一个技术热点，引起了广泛的重视。

大数据创造价值是基于这样一个核心逻辑，即当今社会在商业、经济、政府及相关领域中，决策行为越来越取决于数据和分析，而不再是经验和直觉。大数据技术可以为决策提供一定的“预见参考”，而成功的分析和预见往往能带来商业和经济价值。

除了较早前就开始利用大数据的互联网公司，医疗行业是让大数据分析最先发扬光大的传统行业之一。医疗行业早就遇到了海量数据和非结构化数据的挑战，而近年来很多国家都在积极推进医疗信息化发展，因此，医疗行业将和银行、电信、保险等行业一起首先迈入大数据时代。麦肯锡在其报告中指出，排除体制障碍，大数据分析可以帮助美国的医疗服务业一年创造3000亿美元的附加价值。

通过大数据技术可以加速医学的猜想、发现到医疗实践的转化：借助于不断增长的私密和公开医疗数据，大数据技术帮助人们存储管理好医疗大数据并从大体量、高复杂的数据中提取价值，相关的医疗技术、产品将不断涌现，将有可能给医疗行业开拓一个新的黄金时代。

大数据技术在医疗领域的应用具有非常广阔的前景，但由于网络安全性不高、技术不足、观念落后等原因，大数据技术在医疗领域的应用还存在一些困难：

首先数据量大，数据类型复杂。医疗领域的数据量巨大，数据类型复杂。到2020年，医疗数据将增至35ZB，相当于2009年数据量的44倍。另外，在医院，每个患者不但要经过辨证论治的个体化诊疗，还会经过各种理化检测进行疾病及其预后的诊断，所以不光有病历资料中包含的信息，还会有生化检查、多种影像或病理切片检查的生物学信息，数据类型十分复杂。这给数据的存储、分析、处理、传输等带来很大挑战。

其次，信息采集不足，收集渠道不畅。要想在医疗领域使用大数据技术，首先要有足够的病人、药物等相关信息，这是数据分析的基础，然而许多病人可能出于隐私考虑不愿提供这些信息，制药企业也有可能因为商业利益不愿共享药物成分等敏感信息。另外，各个医院及机构的医疗信息、软件及硬件服务都各自独立，缺乏合理接口，大数据收集的渠道不畅，导致采集与应用存在一定程度上的脱离。

第三，大数据高效分析能力欠缺，采集到足够信息后，需要由相关领域的专业人士与信息技术专家一起对数据进行有针对性地归纳和分析，得出由大量新兴技术（如HadoopMapReduce、内存数据库等）组成的高性能的专业的分析技术架构解决方案，而这种跨学科、跨领域合作能否顺利实现，是大数据技术实际应用中的重要问题。

此外，大数据的安全缺乏保障。随着数据量的不断增加，数据存储的物理安全性越来越重要，对数据的多副本与容灾机制提出更高的要求。但是网络和数字化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，大数据的保护越来越重要。

为解决目前医疗大数据应用中普遍存在的上述挑战，需要设计一种医疗大数据应用基础平台以解决数据量大且数据类型复杂、信息采集不足与收集渠道不畅、大数据高效分析能力和安全保障欠缺等问题。

发明内容

本发明提供了一种医疗大数据应用基础服务系统，用以解决目前医疗大数据数据量大且数据类型复杂、信息采集不足与收集渠道不畅、大数据高效分析能力和安全保障欠缺等问题，本发明解决所述问题的技术方案为。

一种医疗大数据应用基础服务系统，其特征是包括大数据云ETL子系统、大数据基础内核子系统、医疗大数据分析挖掘子系统、运行管理监控子系统：

1)大数据云ETL子系统：主要包括数据抽取、数据清洗转换、数据加载、调度引擎等，是医疗大数据应用基础平台的数据来源工具，负责对医院信息系统的相关数据进行抽取、清洗转换和加载。

2)大数据基础内核子系统：主要包括Storm流计算、MapReduce批量计算、Spark、医疗大数据元数据、医疗大数据模型、HBASE半结构化数据存储，实现医疗大数据的存储、计算和分析。

3)医疗大数据分析挖掘子系统：主要包括数据探索、挖掘建模、模型评估，对医疗大数据基础内核平台存储和处理的结构和非结构化数据进行分析和挖掘。

4)运行管理监控子系统:主要包括状态监控、配置节点管理、集群节点管理、节点和服务状态管理、数据安全管理，为医疗大数据应用基础平台提供所需的支持、监控、配置和安全服务。

附图说明

图1为本发明系统总体架构图。

图2为本发明Storm流计算架构图。

图3为本发明MapReduce处理流程图。

具体实施方式

下面将结合本发明实施例中的附图及具体实施例进一步说明本发明的技术方案。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

本发明提供了一种医疗大数据应用基础服务系统，其特征是包括大数据云ETL子系统、大数据基础内核子系统、医疗大数据分析挖掘子系统、运行管理监控子系统。

整个系统在软件架构上主要分为大数据云ETL、大数据基础内核、医疗大数据分析挖掘和系统运行管理监控，用以支持医疗大数据众多典型应用（电子病历大数据产品、药品研发、实时统计分析、就诊行为分析、传染病模型分析、基本药物临床应用分析、临床决策支持、远程病人数据分析），满足个人（医生、临床研究员、公众）和机构（医疗器械、商业保险、医疗企业）中的不同用户对于海量数据访问、处理和分析的需求。

系统体系架构如图1所示，大数据云ETL子系统是在大数据平台的基础上，对医院信息系统（HIS、PACS、CIS、RIS、LIS、EMR）的相关数据进行抽取、清洗转换和加载，并通过调度引擎进行任务调度与监控，从而提供数据整合的解决方案。医疗大数据基础内核子系统是利用大数据基础能力中所使用的Storm流计算、MapReduce批量计算、Spark内存计算、Metadata元数据管理、DataModel医疗大数据模型、HDFS分布式文件存储、HBASE半结构化数据存储等，实现医疗大数据的存储、计算和分析。医疗大数据分析挖掘子系统利用数据探索、挖掘建模和模型评估，对医疗大数据基础内核平台存储和处理的结构和非结构化数据进行分析和挖掘，从而支持用户的业务和管理活动。运行管理监控子系统对整体的产品运行体系提供所需的支持、监控、配置和安全服务。对云ETL提供可视化的配置服务，对系统的软硬件环境、网络、运行程序、处理任务进行统一的监控，对数据进行保密性处理和安全性管理，对业务用户的使用提供单点登录、权限配置和访问管理等服务。

大数据云ETL子系统包括数据抽取、数据清洗转换、数据加载、调度引擎模块。数据抽取是采用分布式抽取与数据同步功能将结构化数据和非结构化数据抽取到大数据云ETL的过程，在抽取的过程中需要选择不同的抽取方法。分布式抽取基于分布式、高可靠、高可用的面向流的数据采集和导入技术，可处理海量非结构化日志数据的采集、聚合和传输，支持在海量日志文件中定制各类数据给接受方，一般支持text（文件）、dfs（HDFS文件）、RPC（Thrift-RPC）和syslog（TCP/UDPsyslog日志系统）等格式文件，从而实现后续应用的灵活调用；数据清洗是通过规则引擎的设置，对源数据库中出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据进行统一的处理，一般包括如：NULL值处理，日期格式转换，数据类型转换等等。转换主要包括不一致的数据转换、数据粒度的转换，以及一些业务规则的计算；数据加载是把清洗转换后的数据，按照预先定义好的数据仓库模型，加载至数据仓库。主要通过接口数据文件入库功能来实现；调度引擎是整个大数据云ETL处理流程能够顺利运转的核心管理进程，以分布式的方式管理各流程中各个环节的启动、挂起、中止、回退、取消等各种状态。并以一定的调度策略，通过对各个运行节点机的系统资源状态、任务完成情况的监控，确保大数据云ETL整个运行环境中采取较为合理的机制运行。

大数据基础内核子系统利用大数据基础能力中所使用的Storm流计算、MapReduce批量计算、Spark、医疗大数据元数据管理、医疗大数据模型、HBASE半结构化数据存储、等技术，实现医疗大数据的存储、计算和分析。Storm流计算是一个分布式的、容错的实时计算系统，可以方便地在一个计算机集群中编写与扩展复杂的实时计算，在一个小集群中，每秒可以处理数以百万计的消息。本发明采用的。Storm流计算架构图如图2所示；MapReduce是一个处理和生成超大数据集的算法模型的相关实现，MapReduce首先创建一个Map函数处理一个基于key/valuepair的数据集合，输出中间的基于key/valuepair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值，本发明使用的MapReduce处理流程如图3所示；Spark是与HadoopMapReduce相似的通用的并行计算框架，拥有MapReduce的优点，不同点是可以将Job中间输出结果保存在内存中，不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法，医疗行业的某些应用，数据处理要求非常快，因此采用Spark来提高平台的处理效率；医疗大数据的元数据管理提供元数据管理、元数据存储、元数据图形分析等功能，医疗大数据元数据的内容涵盖了医院全部信息系统，它使数据在经历长时间的反复流转之后，依然拥有可共享性和可理解性；医疗大数据模型是根据医疗信息系统的容量，复杂度等设计符合SOA特点的医疗活动业务组件模型。该模型解决了传统HIS的医疗相关数据模型先天不足；HBASE半结构化数据存储是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，本发明结合RDBMS领域的成熟技术，用以进一步提高HBase的查询性能（适用于电子医疗档案应用），增量式地建立全文索引，当数据插入或更新时即更新索引，对索引无需定时重建；可以针对半结构化数据、字符串和数字建立索引。

医疗大数据分析挖掘子系统包括数据探索、挖掘建模和模型评估三部分，对医疗大数据基础内核平台存储和处理的结构和非结构化数据进行分析和挖掘，从而支持用户的业务和管理活动。数据探索负责通过对数据进行初步研究，从而更好的理解数据的特殊性质，这样有助于选择合适的数据预处理和数据分析技术，数据探索主要采用数据的中心趋势度量和度量数据散布两种基本统计描述；挖掘建模负责使用数据挖掘算法创建预测模型，同时解释模型和业务目标的特点，通过实施将数据挖掘结果作用于业务过程，医疗行业大数据挖掘建模采用的主要算法包括K-means聚类分析、CART决策树、APRIORI相关分析、Mahout随机森林等；模型评估负责使用保持方法和随机二次抽样、交叉验证和自助方法以及评估图表等模型评估技术来进行模型的评估，医疗行业大数据分析挖掘的模型评估最常用的方法为交叉验证和评估图表。

运行管理监控子系统包括状态监控、配置节点管理、集群节点管理、节点和服务状态管理、数据安全管理，为医疗大数据应用基础平台提供所需的支持、监控、配置和安全服务。状态监控负责完成主机与服务监控、系统监控、服务状态、应用监控任务；配置节点管理主要管理各服务的运行状态与跟踪，包括服务的停止、测试、主节点切换、均衡以及其它配置与清理工作等；集群节点管理负责进行云平台运行环境下所有节点及运行过程管理，包括管理不同的服务类型、节点类型的设备进行停止和重启操作；节点和服务状态管理负责查看并管理各节点和服务状态以及监控属性；数据安全管理实现用户统一登录和认证，并通过数据处理隐私保护、数据访问控制、数据作业服务认证、网络基础设施安全等方面确保数据安全。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.一种医疗大数据应用基础服务系统，其特征在于该系统包括大数据云ETL子系统、大数据基础内核子系统、医疗大数据分析挖掘子系统、运行管理监控子系统。

2.根据权利要求1所述的大数据云ETL子系统，其特征是主要包括数据抽取、数据清洗转换、数据加载、调度引擎等，是医疗大数据应用基础平台的数据来源工具，负责对医院信息系统的相关数据进行抽取、清洗转换和加载。

3.根据权利要求1所述的大数据基础内核子系统，其特征是主要包括Storm流计算、MapReduce批量计算、Spark、医疗大数据元数据、医疗大数据模型、HBASE半结构化数据存储，实现医疗大数据的存储、计算和分析。

4.根据权利要求1所述的医疗大数据分析挖掘子系统，其特征是主要包括数据探索、挖掘建模、模型评估，对医疗大数据基础内核平台存储和处理的结构和非结构化数据进行分析和挖掘。

5.根据权利要求1所述的运行管理监控子系统，其特征是主要包括状态监控、配置节点管理、集群节点管理、节点和服务状态管理、数据安全管理，为医疗大数据应用基础平台提供所需的支持、监控、配置和安全服务。