CN103116643A - 基于Hadoop的智慧医疗数据管理方法 - Google Patents

基于Hadoop的智慧医疗数据管理方法 Download PDF

Info

Publication number
CN103116643A
CN103116643A CN2013100588521A CN201310058852A CN103116643A CN 103116643 A CN103116643 A CN 103116643A CN 2013100588521 A CN2013100588521 A CN 2013100588521A CN 201310058852 A CN201310058852 A CN 201310058852A CN 103116643 A CN103116643 A CN 103116643A
Authority
CN
China
Prior art keywords
data
file
user
hdfs
name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100588521A
Other languages
English (en)
Inventor
盛芳菲
郎宝军
张韧
满伟鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu IoT Research and Development Center
Original Assignee
Jiangsu IoT Research and Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu IoT Research and Development Center filed Critical Jiangsu IoT Research and Development Center
Priority to CN2013100588521A priority Critical patent/CN103116643A/zh
Publication of CN103116643A publication Critical patent/CN103116643A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供一种基于Hadoop的智慧医疗数据管理方法,包括医疗数据的存储方法和查询获取方法,所述医疗数据的存储方法分为非结构化数据存储方法和结构化数据存储方法;所述医疗数据的查询获取方法分为非结构化数据查询获取方法和结构化数据查询获取方法。医疗数据的存储管理可靠性得到提高,医疗数据的存储扩展性好。优化了对图片的存储方式。医疗数据可以查询共享。近期的结构化数据首先保存在关系型数据库中,提高了访问相关数据的实时性,而将时间长的关系型数据库中数据定期转换成文件保存至HDFS中,实现结构化数据的分布式存储,达到高可靠性。本发明用于管理和存储医疗数据。

Description

基于Hadoop的智慧医疗数据管理方法
技术领域
本发明涉及一种数据管理存储和查询方法,尤其是一种基于Hadoop的智慧医疗数据管理方法。
背景技术
近年来物联网的兴起带来了信息产业的第三次浪潮,在智能交通、智能物流、食品溯源、公共安全、城市智能化建设等领域得到了应用发展,其中智慧医疗是也一个重要的应用领域。智慧医疗利用先进的物联网、云计算技术,实现患者与医务人员、医疗机构、医疗设备之间的互动,实现“小病在社区,大病进医院,康复回社区”的居民就诊就医模式。随着 医疗信息化的发展以及数字化医疗设备的广泛使用,医疗数据呈海量增长,医疗数据类型丰富、结构复杂,医疗数据管理面临巨大挑战。
智慧医疗需要管理的数据存在如下几类:
1.血压、血糖、体温、血氧、脉搏、心率、心电图等,以及用户基本信息,用户包括病人和医生,病人基本信息包括姓名、年龄、性别、联系方式、身份证号、病史等,医生基本信息包括姓名、所在医院、科室、主治专长等。
2.以大文件形式存在的医疗数据,包括内窥镜视频流、B超视频流、CT视频流、符合DICOM3格式的医学影像图片、数字病历、医生开出的医疗诊断报告,以及医生与病人在远程诊断时生成的在线交流互动的视音频等。
目前,医疗数据的管理主要存在如下问题:
1.医疗数据的数据量大、类型丰富,存储成本不断增加。随着信息化技术的应用,医疗数据数量和种类迅速增加;同时,医疗数据还需要越来越长的保存期,患者的病历可能要保存70至80年,甚至更长,医疗数据的存储消费速度加快,对空间的持续需求成本不断增加。目前,主要的存储方式包括集中存储方式和分布式存储方式,集中存储方式较易管理,但成本高、可拓展性差、性能有限;而分布式存储方式可拓展性好、成本低、性能较好,但不易管理。
2.医疗数据的安全性低。医疗数据一般保存在本地的存储系统中,没有完善的备份体系,一旦存储系统的安全性出现问题或者本地存储设备出现问题,将导致医疗数据永久丢失,无法获取。
3.医疗数据难以共享。病人去医院就诊的医疗数据、远程医疗会诊的诊疗信息、用户的私有健康档案信息不能被随时随地获取并作为一种服务供有权限的用户获取,难以共享以致重复检验。医疗数据存放在医院、社区诊所或者用户本地服务器中,从外面无法访问,病人就诊时,累积下来的医疗数据无法获取,无法提供参考。
发明内容
本发明的目的是克服现有技术中存在的不足,提供一种基于Hadoop的智慧医疗数据管理方法,将医疗数据分为结构化数据和非结构化数据进行存取,存储使用了Hadoop集群,存储容量大,存储扩展性好,安全性高;并且存储的医疗数据可以供用户查询获取,满足了病人用户和医生用户对数据查询、获取、存储等各种要求。本发明采用的技术方案是:
一种基于Hadoop的智慧医疗数据管理方法,包括医疗数据的存储方法和查询获取方法,所述医疗数据的存储方法分为非结构化数据存储方法和结构化数据存储方法;所述医疗数据的查询获取方法分为非结构化数据查询获取方法和结构化数据查询获取方法;
所述非结构化数据存储方法包括以下步骤:
步骤101,用户将需要上传的非结构化数据重命名,非结构化数据的文件名以用户名_时间_医疗项目名称的方式命名;若存在多个文件名相同的情况,则在已有的文件名基础上加编号;
步骤102,用户访问非结构化数据存取接口,向云存储平台提出非结构化数据存储请求;
步骤103,用户上传非结构化数据的文件;
步骤104,云存储平台收到存储请求,调用非结构化数据存取API,将上传的非结构化数据存储至中转服务器中以该用户名_时间命名的文件夹目录下;
步骤105,初始化Hadoop集群的分布式文件系统HDFS,查询该HDFS系统中是否存在以该用户名命名的目录,若存在则转往步骤107,否则转往步骤106;
步骤106,在分布式文件系统HDFS中创建以该用户名命名的新文件夹目录;
步骤107,在以该用户名命名的目录下创建三个子目录,分别为/image、/video、/file;
步骤108,依次读取中转服务器中以该用户名_时间命名的目录下的非结构化数据的文件,解析其文件特征,确定文件类型;若为视音频,则转往步骤109;若为图片,则转往步骤110,;若为文档,则转往步骤111;
步骤109,直接调用HDFS的API接口将视音频类型的文件上传至HDFS中的/用户名/video/时间的目录下;
步骤110,先将该图片转换成健值对key-value的形式,写入一个单独的S文件数据流中,S文件命名为用户名_时间_医疗项目,继续读取下一个文件,若为图片同样写入该S文件数据流中,将所有图片采用Hadoop的SequenceFile文件格式先合并成一个S文件,调用HDFS的API接口将S文件上传至HDFS中的/用户名/image/时间的目录下;
步骤111,调用HDFS的API接口将文档类型的文件上传至HDFS中的/用户名/file/时间的目录下;
所述结构化数据存储方法包括以下步骤:
步骤201,用户将结构化数据按照事先定义好的XML格式进行保存;
步骤202,用户访问结构化数据存取接口,向云存储平台提出结构化数据存储请求;
步骤203,用户上传结构化数据的XML文档;
步骤204,云存储平台收到存储请求,解析XML文档,并调用结构化数据存取API,将获取的结构化数据存储在面向对象数据结构中;
步骤205,对每个获取的结构化数据进行合法性验证,若验证成功,转往步骤207,则将其保存在关系型数据库中;若验证不成功,则转往步骤206;
步骤206,向用户发送错误提醒信息,随后结束存储;
步骤207,将通过合法性验证的结构化数据保存在关系型数据库中;
步骤208,每隔一段预设时间间隔,将关系型数据库中的数据导出,形成导出文件,导出文件以时间_数据表名_S_D命名;
步骤209,调用HDFS的API接口将导出文件保存至HDFS中的S_D/数据表名/时间目录下;
所述非结构化数据查询获取方法包括以下步骤:
步骤301,用户访问非结构化数据存取接口,调用云存储平台提供的非结构化数据存取服务,向云存储平台发出数据读取请求;
步骤302,云存储平台提取数据读取请求中的用户名信息,在中转服务器中创建以该用户名命名的文件夹;
步骤303,云存储平台根据数据读取请求中的要求从HDFS中读取相关数据,将其保存在步骤302中在中转服务器中创建的文件夹下,等待用户提取;
步骤304,用户从步骤302中创建的文件夹下提取相关数据;
所述结构化数据查询获取方法包括以下步骤:
步骤401,用户访问结构化数据存取接口,调用云存储平台提供的结构化数据存取服务,向云存储平台发出数据读取请求;
步骤402,云存储平台提取数据读取请求中的用户名、时间信息;
步骤403,判断时间的远近,若时间在预设时间间隔内,则转往步骤405,若时间在预设时间间隔以前,则转往步骤404;
步骤404,从Hadoop集群的HDFS中/S_D目录下查找符合请求信息的文件数据,将该文件导入到关系型数据库中;
步骤405,从关系型数据库中查找符合要求的相关数据,返回给用户。
本发明的优点:医疗数据管理的成本得到很大程度的降低,医疗数据的存储管理可靠性得到提高,医疗数据的存储扩展性好。优化了对图片的存储方式。医疗数据可以查询共享。近期的结构化数据首先保存在关系型数据库中,提高了访问相关数据的实时性,而将时间长的关系型数据库中数据定期转换成文件保存至HDFS中,实现结构化数据的分布式存储,达到高可靠性。
附图说明
图1为本发明的智慧医疗数据管理系统体系结构示意图。
图2为本发明的非结构化数据存储方法的流程图。
图3为本发明的结构化数据存储方法的流程图。
图4为本发明的非结构化数据查询获取方法的流程图。
图5为本发明的结构化数据查询获取方法的流程图。
图6为本发明的实施例中搭建的Hadoop集群部署图。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
本发明提出了一种基于Hadoop的智慧医疗数据的管理方法,用于管理结构化数据和包含视音频、图片、文档等多种类型的非结构化数据,以满足用户对医疗数据查询获取、存储等各种要求。
基于Hadoop的智慧医疗数据管理方法包括医疗数据的存储方法和查询获取方法,方法的实现依托于基于Hadoop的云存储平台。该云存储平台实现的功能包括非结构化数据的存取和结构化数据的存取。
所述非结构化数据主要指以大文件形式存在的医疗数据,包括内窥镜视频流、B超视频流、CT视频流、符合DICOM3格式的医学影像图片、数字病历、医生开出的医疗诊断报告,以及医生与病人在远程诊断时生成的在线交流互动的视音频等。非结构化数据分类为视音频、图片、文档等类型。非结构化数据主要的特征是呈爆炸性增长、在最初创建的两周内经常被访问而之后很少访问、需要长时间保存、在多个用户之间共享、对延迟不敏感。
所述结构化数据主要指有一定结构、可以划分固定的基本组成要素、可用二维逻辑表来表现的医疗数据,包括血压、血糖、体温、血氧、脉搏、心率、心电图等,还包括用户基本信息,用户包括病人和医生,病人基本信息包括姓名、年龄、性别、联系方式、身份证号、病史等,医生基本信息包括姓名、所在医院、科室、主治专长等。结构化数据主要的特征是能够用关系型数据库进行存储、数据量增长较快、在多个用户之间共享、对延迟要求较为高。
如图1所示,
非结构化数据的存取功能利用云存储平台的非结构化医疗数据云存储模块实现,采用Hadoop集群存储大文件(非结构化数据),实现大文件的分布式存储。通过调用Hadoop提供的API接口实现与Hadoop集群的分布式文件系统HDFS的交互,包括将数据保存至分布式文件系统中、从分布式文件系统中查询相关数据。Hadoop集群包括一个名称节点Namenode和多个数据节点Datanode,数据节点可以无限制扩充,名称节点和多个数据节点之间通过网络互联。非结构化医疗数据云存储模块提供中转服务器,暂时保存用户上传的数据和用户需要读取的数据。非结构化医疗数据云存储模块提供非结构化数据存取接口,利用Restful Webservice技术将所述非结构化数据存取接口发布成非结构化数据存取服务,实现跨平台数据的交换。
结构化数据的存取功能利用云存储平台的结构化医疗数据云存储模块实现。针对结构化数据的特征,首先采用关系型数据库存储,同时,随着数据量的增长,每隔一段时间(预设时间间隔),将关系型数据库中数据转换成文档,保存至Hadoop集群上,清空关系型数据库中相关记录。结构化医疗数据云存储模块提供结构化数据存取接口,利用SOAP Webservice技术将所述结构化数据存取接口发布成结构化数据存取服务。
所述医疗数据的存储方法分为非结构化数据存储方法和结构化数据存储方法。
非结构化数据存储方法如图2所示,包括以下步骤:
步骤101,用户将需要上传的非结构化数据重命名,非结构化数据的文件名以用户名_时间_医疗项目名称的方式命名;若存在多个文件名相同的情况,则在已有的文件名基础上加编号;
步骤102,用户访问非结构化数据存取接口,向云存储平台提出非结构化数据存储请求;
步骤103,用户上传非结构化数据的文件;
步骤104,云存储平台收到存储请求,调用非结构化数据存取API,将上传的非结构化数据存储至中转服务器中以该用户名_时间命名的文件夹目录下;
步骤105,初始化Hadoop集群的分布式文件系统HDFS,查询该HDFS系统中是否存在以该用户名命名的目录,若存在则转往步骤107,否则转往步骤106;
步骤106,在分布式文件系统HDFS中创建以该用户名命名的新文件夹目录;
步骤107,在以该用户名命名的目录下创建三个子目录,分别为/image、/video、/file;
步骤108,依次读取中转服务器中以该用户名_时间命名的目录下的非结构化数据的文件,解析其文件特征,确定文件类型;若为视音频,则转往步骤109;若为图片,则转往步骤110,;若为文档,则转往步骤111;
步骤109,直接调用HDFS的API接口将视音频类型的文件上传至HDFS中的/用户名/video/时间的目录下;
步骤110,先将该图片转换成健值对key-value的形式(key为原文件名,value为文件内容),写入一个单独的S文件数据流中,S文件命名为用户名_时间_医疗项目,继续读取下一个文件,若为图片同样写入该S文件数据流中,将所有图片采用Hadoop的SequenceFile文件格式先合并成一个S文件,调用HDFS的API接口将S文件上传至HDFS中的/用户名/image/时间的目录下;
步骤111,调用HDFS的API接口将文档类型的文件上传至HDFS中的/用户名/file/时间的目录下。
结构化数据存储方法如图3所示,包括以下步骤:
步骤201,用户将结构化数据按照事先定义好的XML格式进行保存;
步骤202,用户访问结构化数据存取接口,向云存储平台提出结构化数据存储请求;
步骤203,用户上传结构化数据的XML文档;
步骤204,云存储平台收到存储请求,解析XML文档,并调用结构化数据存取API,将获取的结构化数据存储在面向对象数据结构中;
步骤205,对每个获取的结构化数据进行合法性验证,若验证成功,转往步骤207,则将其保存在关系型数据库中;若验证不成功,则转往步骤206;
步骤206,向用户发送错误提醒信息,随后结束存储;
步骤207,将通过合法性验证的结构化数据保存在关系型数据库中;
步骤208,每隔一段预设时间间隔,将关系型数据库中的数据导出,形成导出文件,导出文件以时间_数据表名_S_D命名;(S_D是名字的一部分,意思就是结构化数据)
步骤209,调用HDFS的API接口将导出文件保存至HDFS中的S_D/数据表名/时间目录下。
所述医疗数据的查询获取方法分为非结构化数据查询获取方法和结构化数据查询获取方法。
非结构化数据查询获取方法如图4所示,包括以下步骤:
步骤301,用户访问非结构化数据存取接口,调用云存储平台提供的非结构化数据存取服务,向云存储平台发出数据读取请求;请求参数包括用户名、时间、医疗项目等;
步骤302,云存储平台提取数据读取请求中的用户名信息,在中转服务器中创建以该用户名命名的文件夹;
步骤303,云存储平台根据数据读取请求中的要求从HDFS中读取相关数据,将其保存在步骤302中在中转服务器中创建的文件夹下,等待用户提取;
步骤304,用户从步骤302中创建的文件夹下提取相关数据。
结构化数据查询获取方法如图5所示,包括以下步骤:
步骤401,用户访问结构化数据存取接口,调用云存储平台提供的结构化数据存取服务,向云存储平台发出数据读取请求;
步骤402,云存储平台提取数据读取请求中的用户名、时间信息;
步骤403,判断时间的远近,若时间在预设时间间隔内,则转往步骤405,若时间在预设时间间隔以前,则转往步骤404;
步骤404,从Hadoop集群的HDFS中/S_D目录下查找符合请求信息的文件数据,将该文件导入到关系型数据库中;
步骤405,从关系型数据库中查找符合要求的相关数据,返回给用户。
本发明提出的基于Hadoop的智慧医疗数据的管理方法,是基于Hadoop集群所具有的优点出发的。第一,Hadoop集群可能是由成百上千的服务器组成,构建在大规模廉价机器上的分布式文件系统集群,数据管理的成本得到很大程度的降低。第二,HDFS副本的存放策略也是很有讲究,默认的副本个数为3,如一个副本放在本地机架的一个数据节点,第二个副本放在同一机架的另一数据节点,第三个副本放在其他机架上的数据节点,这样可以最大限度地防止因服务器故障导致的副本的丢失;同时,HDFS具有错误检查和快速自动恢复的能力,任何一个数据节点的失效,都能自动将该数据节点的数据恢复存储在其它节点上,如此,数据的存储管理可靠性得到提高。第三,Hadoop的设计理念是针对大文件进行优化的,其默认的数据块大小为64MB,而医疗数据中的很多图片资料图像大小较小,但一次拍摄产生的图片数量较多,如果直接将这些大量的小文件存储在HDFS文件系统中,过多的小文件将导致HDFS的名称节点Namenode内存消耗过大,降低整个集群的性能,本发明提出的数据管理方法采用Hadoop的SequenceFile文件格式,先将图片合成一个文件,再存储到HDFS中是比较合理的。第四,本发明提出的数据管理方法中非结构化数据存取服务采用Restful Webservice实现,而结构化数据存取服务采用SOAP Webservice实现,相对于SOAP Webservice的成熟度、安全性较高,Restful Webservice是简单的多的一种轻量级Web服务,在调用相应服务时需要解析的时间降低,提高其可用性。第五,针对结构化数据首先将其保存在关系型数据库中,提高访问相关数据的实时性,而将关系型数据库中数据定期转换成文件保存至HDFS中,实现结构化数据的分布式存储,达到高可靠性。
以下为几个具体的实施例。
实施例一:用户username在时间time上传100幅CT图片,此例描述非结构化数据存储方法,其具体步骤如下:
(1)以用户名_时间_医疗项目名称_[编号]的格式修改文件名名称,各文件名分别为username_time_CT_001、username_time_CT_002、username_time_CT_003……username_time_CT_100。用户访问非结构化数据存取接口,调用云存储平台提供的非结构化数据存取服务,向云存储平台提出非结构化数据存储请求。
(2)云存储平台将上传的数据存储至中转服务器中以username_time文件夹目录下。同时初始化Hadoop分布式文件系统HDFS,查询该系统中是否存在/username目录,若存在则进行(3),否则在HDFS系统中创建/username目录。
(3)在系统中/username目录下创建/image、/video、/file三个子目录。
(4)依次读取中转服务器中/username_time目录下的文件,解析其文件特征,为图片,则先将该图片转换成健值对(key/value)的形式,写入一个单独的S文件数据流中,S文件命名为username_time_CT,key为图片原文件名,value为文件内容,继续读取下一个文件,为图片同样写入该S文件数据流中,即将所有图片采用Hadoop的SequenceFile文件格式先合并成一个S文件,调用HDFS的API接口将S文件上传至HDFS中的/username/image/time目录下;
实施例二:用户username查看时间time时检测的CT图片,此例描述非结构数据查询获取方法,其具体步骤如下:
(1)用户访问非结构化数据存取接口,调用云存储平台提供的非结构化数据存取服务,向云存储平台发出数据读取请求;请求参数为username_time_CT。
(2)提取请求中用户名等信息,在中转服务器中创建以username命名的文件夹。
(3)根据请求要求从HDFS中读取相关数据,将其保存在中转服务器username文件夹下,等待用户提取。
(4)用户从中转服务器username文件夹下提取相关数据。
实施例三:用户username查看时间time时的结构化医疗信息,此例描述结构化数据查询获取方法,其具体步骤如下:
(1)用户访问结构化数据存取接口,调用云存储平台提供的结构化数据存取服务,向云存储平台发出数据读取请求;请求参数为username_time_S_D。
(2)云存储平台提取请求中username、time等信息;
(3)假如每隔一年会将关系型数据库中数据导出保存至导出文件,调用HDFS API将导出文件存储在HDFS中。那么判断time是否为近一年内,若是,从关系型数据库中查找符合要求的相关数据,返回给用户;若否,则首先从HDFS中/S_D目录下查找符合请求信息的文件数据,将该文件导入关系型数据库中,再从关系型数据库中查找出符合要求的数据返回给用户。
在实施过程中,可以开启四台服务器模拟一个Hadoop集群,如图6所示。则该Hadoop集群包括一个名称节点(Namenode)和三个数据节点(Datanode),数据节点可以扩充。
Namenode负责元数据的存储,管理文件目录、文件和数据块Block的对应关系以及数据块Block和Datanode的对应关系。
Datanode负责存储,在其上实现容错机制。大文件会被分割成多个数据块Block进行存储,每一个Block会在多个Datanode上存储多份副本,默认是3份。

Claims (2)

1.一种基于Hadoop的智慧医疗数据管理方法,其特征在于,包括医疗数据的存储方法和查询获取方法,所述医疗数据的存储方法分为非结构化数据存储方法和结构化数据存储方法;所述医疗数据的查询获取方法分为非结构化数据查询获取方法和结构化数据查询获取方法;
所述非结构化数据存储方法包括以下步骤:
步骤101,用户将需要上传的非结构化数据重命名,非结构化数据的文件名以用户名_时间_医疗项目名称的方式命名;若存在多个文件名相同的情况,则在已有的文件名基础上加编号;
步骤102,用户访问非结构化数据存取接口,向云存储平台提出非结构化数据存储请求;
步骤103,用户上传非结构化数据的文件;
步骤104,云存储平台收到存储请求,调用非结构化数据存取API,将上传的非结构化数据存储至中转服务器中以该用户名_时间命名的文件夹目录下;
步骤105,初始化Hadoop集群的分布式文件系统HDFS,查询该HDFS系统中是否存在以该用户名命名的目录,若存在则转往步骤107,否则转往步骤106;
步骤106,在分布式文件系统HDFS中创建以该用户名命名的新文件夹目录;
步骤107,在以该用户名命名的目录下创建三个子目录,分别为/image、/video、/file;
步骤108,依次读取中转服务器中以该用户名_时间命名的目录下的非结构化数据的文件,解析其文件特征,确定文件类型;若为视音频,则转往步骤109;若为图片,则转往步骤110;若为文档,则转往步骤111;
步骤109,直接调用HDFS的API接口将视音频类型的文件上传至HDFS中的/用户名/video/时间的目录下;
步骤110,先将该图片转换成健值对key-value的形式,写入一个单独的S文件数据流中,S文件命名为用户名_时间_医疗项目,继续读取下一个文件,若为图片同样写入该S文件数据流中,将所有图片采用Hadoop的SequenceFile文件格式先合并成一个S文件,调用HDFS的API接口将S文件上传至HDFS中的/用户名/image/时间的目录下;
步骤111,调用HDFS的API接口将文档类型的文件上传至HDFS中的/用户名/file/时间的目录下;
所述结构化数据存储方法包括以下步骤:
步骤201,用户将结构化数据按照事先定义好的XML格式进行保存;
步骤202,用户访问结构化数据存取接口,向云存储平台提出结构化数据存储请求;
步骤203,用户上传结构化数据的XML文档;
步骤204,云存储平台收到存储请求,解析XML文档,并调用结构化数据存取API,将获取的结构化数据存储在面向对象数据结构中;
步骤205,对每个获取的结构化数据进行合法性验证,若验证成功,转往步骤207,则将其保存在关系型数据库中;若验证不成功,则转往步骤206;
步骤206,向用户发送错误提醒信息,随后结束存储;
步骤207,将通过合法性验证的结构化数据保存在关系型数据库中;
步骤208,每隔一段预设时间间隔,将关系型数据库中的数据导出,形成导出文件,导出文件以时间_数据表名_S_D命名;
步骤209,调用HDFS的API接口将导出文件保存至HDFS中的S_D/数据表名/时间目录下;
所述非结构化数据查询获取方法包括以下步骤:
步骤301,用户访问非结构化数据存取接口,调用云存储平台提供的非结构化数据存取服务,向云存储平台发出数据读取请求;
步骤302,云存储平台提取数据读取请求中的用户名信息,在中转服务器中创建以该用户名命名的文件夹;
步骤303,云存储平台根据数据读取请求中的要求从HDFS中读取相关数据,将其保存在步骤302中在中转服务器中创建的文件夹下,等待用户提取;
步骤304,用户从步骤302中创建的文件夹下提取相关数据;
所述结构化数据查询获取方法包括以下步骤:
步骤401,用户访问结构化数据存取接口,调用云存储平台提供的结构化数据存取服务,向云存储平台发出数据读取请求;
步骤402,云存储平台提取数据读取请求中的用户名、时间信息;
步骤403,判断时间的远近,若时间在预设时间间隔内,则转往步骤405,若时间在预设时间间隔以前,则转往步骤404;
步骤404,从Hadoop集群的HDFS中/S_D目录下查找符合请求信息的文件数据,将该文件导入到关系型数据库中;
步骤405,从关系型数据库中查找符合要求的相关数据,返回给用户。
2.如权利要求1所述的基于Hadoop的智慧医疗数据管理方法,其特征在于:所述结构化数据包括血压、血糖、体温、血氧、脉搏、心率、心电图、用户基本信息;所述非结构化数据包括内窥镜视频流、B超视频流、CT视频流、符合DICOM3格式的医学影像图片、数字病历、医生开出的医疗诊断报告、远程诊断时生成的在线交流互动的视音频。
CN2013100588521A 2013-02-25 2013-02-25 基于Hadoop的智慧医疗数据管理方法 Pending CN103116643A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013100588521A CN103116643A (zh) 2013-02-25 2013-02-25 基于Hadoop的智慧医疗数据管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013100588521A CN103116643A (zh) 2013-02-25 2013-02-25 基于Hadoop的智慧医疗数据管理方法

Publications (1)

Publication Number Publication Date
CN103116643A true CN103116643A (zh) 2013-05-22

Family

ID=48415016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100588521A Pending CN103116643A (zh) 2013-02-25 2013-02-25 基于Hadoop的智慧医疗数据管理方法

Country Status (1)

Country Link
CN (1) CN103116643A (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294914A (zh) * 2013-05-28 2013-09-11 美合实业(苏州)有限公司 基于云平台的远程医疗服务系统
CN103605760A (zh) * 2013-11-25 2014-02-26 方正国际软件有限公司 病历查询方法和病历查询系统
CN104318499A (zh) * 2014-10-08 2015-01-28 浙江联众智慧科技股份有限公司 一种智慧医疗信息集成平台
CN104392132A (zh) * 2014-11-24 2015-03-04 蔡志明 一种基于云计算的医疗数据存储系统
CN104581435A (zh) * 2015-01-20 2015-04-29 赵树乔 一种数据流的命名方法
CN104735109A (zh) * 2013-12-23 2015-06-24 上海联影医疗科技有限公司 一种医学影像数据的存储系统
CN104765951A (zh) * 2014-04-08 2015-07-08 惠州Tcl移动通信有限公司 多媒体医学记录组件及其数据访问方法
CN104778229A (zh) * 2015-03-31 2015-07-15 南京邮电大学 基于Hadoop的电信业务小文件存储系统及方法
CN104794667A (zh) * 2015-04-03 2015-07-22 南京邮电大学 一种智慧医疗服务下用户居家就诊系统和方法
CN104978336A (zh) * 2014-04-08 2015-10-14 云南电力试验研究院(集团)有限公司电力研究院 基于Hadoop分布式计算平台的非结构化数据存储系统
CN105187536A (zh) * 2015-09-15 2015-12-23 贵阳朗玛信息技术股份有限公司 一种数据上传的方法及数据转发服务器
CN105243140A (zh) * 2015-10-10 2016-01-13 中国科学院软件研究所 一种面向高速列车实时监控的海量数据管理方法
CN105243443A (zh) * 2015-11-16 2016-01-13 国网天津市电力公司 一种大型企业非结构化平台的性能优化方法
CN105512470A (zh) * 2015-12-01 2016-04-20 苏州登顶医疗科技有限公司 一种基于Hadoop平台的灌肠仪数据处理系统
CN105677917A (zh) * 2016-03-03 2016-06-15 威海众成信息科技股份有限公司 面向航空发动机性能监控的海量数据管理方法及系统
CN105978854A (zh) * 2016-04-18 2016-09-28 西安电子科技大学 一种基于不可区分混淆的智能医疗服务方法
CN106453663A (zh) * 2016-12-13 2017-02-22 宁夏凯速德科技有限公司 改进的基于云服务的存储扩容方法及装置
CN106650292A (zh) * 2017-01-04 2017-05-10 梁月强 一种具有过程决策支持功能的个人健康记录系统
CN106709256A (zh) * 2016-12-29 2017-05-24 上海微创电生理医疗科技股份有限公司 Ecg数据处理系统及方法
CN106855872A (zh) * 2015-12-08 2017-06-16 山东商务职业学院 基于Hadoop平台的海量图片的快速检索方法
CN107122371A (zh) * 2016-02-25 2017-09-01 伊姆西公司 用于数据处理的方法和装置
CN107391917A (zh) * 2017-07-10 2017-11-24 无锡启集智能科技有限公司 一种信息资源共享安全的医疗信息平台
CN107463786A (zh) * 2017-08-17 2017-12-12 王卫鹏 基于结构化报告模板的医学影像知识库建立方法
CN107705841A (zh) * 2016-12-28 2018-02-16 江苏博权医疗科技有限公司 一种移动医护信息管理平台
CN108021592A (zh) * 2016-11-04 2018-05-11 上海大学 一种用于影视素材领域的非结构化数据管理方法
CN108108247A (zh) * 2017-12-28 2018-06-01 大唐软件技术股份有限公司 分布式图片存储服务系统和方法
CN108681582A (zh) * 2018-05-11 2018-10-19 星络科技有限公司 一种数据管理方法及系统
CN108806773A (zh) * 2018-05-21 2018-11-13 上海熙业信息科技有限公司 医学影像云存储平台设计方法
CN108831531A (zh) * 2018-06-07 2018-11-16 滨州学院 一种基于云计算的自适应医学图像远程处理方法及应用系统
CN109087690A (zh) * 2018-08-16 2018-12-25 郑州云海信息技术有限公司 一种基于云计算的医疗数据的处理系统
CN109271113A (zh) * 2018-09-28 2019-01-25 武汉烽火众智数字技术有限责任公司 一种基于云存储的数据管理系统及方法
CN109509557A (zh) * 2018-11-16 2019-03-22 郑州大学第附属医院 一种基于大数据平台的中文电子病历信息抽取预处理方法
CN109829073A (zh) * 2018-12-29 2019-05-31 深圳云天励飞技术有限公司 一种图像搜索的方法及装置
CN109947712A (zh) * 2019-03-08 2019-06-28 北京京东尚科信息技术有限公司 计算框架内自动合并文件的方法、系统、设备及介质
CN110096495A (zh) * 2019-03-22 2019-08-06 武汉明炀大数据科技有限公司 精准医学大数据分析处理系统
CN110349652A (zh) * 2019-07-12 2019-10-18 之江实验室 一种融合结构化影像数据的医疗数据分析系统
CN110619048A (zh) * 2019-09-24 2019-12-27 云南昆钢电子信息科技有限公司 一种基于非结构化数据中间件文件云存储的方法和装置
CN110851407A (zh) * 2019-11-15 2020-02-28 南京邮电大学 一种数据分布式存储系统及方法
CN110957016A (zh) * 2019-11-21 2020-04-03 山东鲁能软件技术有限公司 基于健康云管理平台的体检数据智能识别系统及方法
CN112286882A (zh) * 2020-10-30 2021-01-29 山东黄金矿业(莱州)有限公司三山岛金矿 一种工业生产现场将异地非结构化数据采集至Hadoop平台的方法
CN112395292A (zh) * 2020-11-25 2021-02-23 电信科学技术第十研究所有限公司 一种数据特征提取、匹配方法及装置
CN112422510A (zh) * 2020-10-22 2021-02-26 山东浪潮通软信息科技有限公司 基于dmz区的数据传输方法和系统
CN113721856A (zh) * 2021-09-03 2021-11-30 四川远辰通信科技有限公司 一种数字化社区管理数据存储系统
CN115617840A (zh) * 2022-12-19 2023-01-17 江西曼荼罗软件有限公司 医疗数据检索平台构建方法、系统、计算机及存储介质
CN116522415A (zh) * 2023-04-23 2023-08-01 杭州前云数据技术有限公司 一种实现医疗大数据安全存储及共享的系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102377824A (zh) * 2011-10-19 2012-03-14 江西省南城县网信电子有限公司 一种基于云计算的空间信息服务系统
CN102917038A (zh) * 2012-10-10 2013-02-06 江苏物联网研究发展中心 基于云计算的医疗物联网远程服务系统
CN102932443A (zh) * 2012-10-29 2013-02-13 苏州两江科技有限公司 基于hdfs集群的分布式云存储系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102377824A (zh) * 2011-10-19 2012-03-14 江西省南城县网信电子有限公司 一种基于云计算的空间信息服务系统
CN102917038A (zh) * 2012-10-10 2013-02-06 江苏物联网研究发展中心 基于云计算的医疗物联网远程服务系统
CN102932443A (zh) * 2012-10-29 2013-02-13 苏州两江科技有限公司 基于hdfs集群的分布式云存储系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李彭军等: "基于HDFS的区域医学影像分布式存储架构设计", 《南方医科大学学报》 *

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294914A (zh) * 2013-05-28 2013-09-11 美合实业(苏州)有限公司 基于云平台的远程医疗服务系统
CN103605760A (zh) * 2013-11-25 2014-02-26 方正国际软件有限公司 病历查询方法和病历查询系统
CN104735109A (zh) * 2013-12-23 2015-06-24 上海联影医疗科技有限公司 一种医学影像数据的存储系统
CN104978336A (zh) * 2014-04-08 2015-10-14 云南电力试验研究院(集团)有限公司电力研究院 基于Hadoop分布式计算平台的非结构化数据存储系统
CN104765951A (zh) * 2014-04-08 2015-07-08 惠州Tcl移动通信有限公司 多媒体医学记录组件及其数据访问方法
CN104318499A (zh) * 2014-10-08 2015-01-28 浙江联众智慧科技股份有限公司 一种智慧医疗信息集成平台
CN104392132A (zh) * 2014-11-24 2015-03-04 蔡志明 一种基于云计算的医疗数据存储系统
CN104392132B (zh) * 2014-11-24 2019-11-12 深圳市第二人民医院 一种基于云计算的医疗数据存储系统
CN104581435A (zh) * 2015-01-20 2015-04-29 赵树乔 一种数据流的命名方法
CN104778229A (zh) * 2015-03-31 2015-07-15 南京邮电大学 基于Hadoop的电信业务小文件存储系统及方法
CN104794667A (zh) * 2015-04-03 2015-07-22 南京邮电大学 一种智慧医疗服务下用户居家就诊系统和方法
CN105187536A (zh) * 2015-09-15 2015-12-23 贵阳朗玛信息技术股份有限公司 一种数据上传的方法及数据转发服务器
CN105187536B (zh) * 2015-09-15 2019-02-22 贵阳朗玛信息技术股份有限公司 一种数据上传的方法及数据转发服务器
CN105243140A (zh) * 2015-10-10 2016-01-13 中国科学院软件研究所 一种面向高速列车实时监控的海量数据管理方法
CN105243140B (zh) * 2015-10-10 2018-07-06 中国科学院软件研究所 一种面向高速列车实时监控的海量数据管理方法
CN105243443A (zh) * 2015-11-16 2016-01-13 国网天津市电力公司 一种大型企业非结构化平台的性能优化方法
CN105512470A (zh) * 2015-12-01 2016-04-20 苏州登顶医疗科技有限公司 一种基于Hadoop平台的灌肠仪数据处理系统
CN106855872A (zh) * 2015-12-08 2017-06-16 山东商务职业学院 基于Hadoop平台的海量图片的快速检索方法
CN107122371A (zh) * 2016-02-25 2017-09-01 伊姆西公司 用于数据处理的方法和装置
CN105677917A (zh) * 2016-03-03 2016-06-15 威海众成信息科技股份有限公司 面向航空发动机性能监控的海量数据管理方法及系统
CN105978854B (zh) * 2016-04-18 2019-04-30 西安电子科技大学 一种基于不可区分混淆的智能医疗服务方法
CN105978854A (zh) * 2016-04-18 2016-09-28 西安电子科技大学 一种基于不可区分混淆的智能医疗服务方法
CN108021592A (zh) * 2016-11-04 2018-05-11 上海大学 一种用于影视素材领域的非结构化数据管理方法
CN108021592B (zh) * 2016-11-04 2021-11-02 上海大学 一种用于影视素材领域的非结构化数据管理方法
CN106453663A (zh) * 2016-12-13 2017-02-22 宁夏凯速德科技有限公司 改进的基于云服务的存储扩容方法及装置
CN106453663B (zh) * 2016-12-13 2019-10-22 河北思达歌数据科技投资有限公司 改进的基于云服务的存储扩容方法及装置
CN107705841A (zh) * 2016-12-28 2018-02-16 江苏博权医疗科技有限公司 一种移动医护信息管理平台
CN106709256A (zh) * 2016-12-29 2017-05-24 上海微创电生理医疗科技股份有限公司 Ecg数据处理系统及方法
CN106709256B (zh) * 2016-12-29 2019-07-23 上海远心医疗科技有限公司 Ecg数据处理系统及方法
WO2018126925A1 (zh) * 2017-01-04 2018-07-12 梁月强 一种具有过程决策支持功能的个人健康记录系统
US11640853B2 (en) 2017-01-04 2023-05-02 Yueqiang Liang Personal health record system with process decision support function
CN106650292A (zh) * 2017-01-04 2017-05-10 梁月强 一种具有过程决策支持功能的个人健康记录系统
CN107391917A (zh) * 2017-07-10 2017-11-24 无锡启集智能科技有限公司 一种信息资源共享安全的医疗信息平台
CN107463786A (zh) * 2017-08-17 2017-12-12 王卫鹏 基于结构化报告模板的医学影像知识库建立方法
CN108108247A (zh) * 2017-12-28 2018-06-01 大唐软件技术股份有限公司 分布式图片存储服务系统和方法
CN108681582A (zh) * 2018-05-11 2018-10-19 星络科技有限公司 一种数据管理方法及系统
CN108806773A (zh) * 2018-05-21 2018-11-13 上海熙业信息科技有限公司 医学影像云存储平台设计方法
CN108831531A (zh) * 2018-06-07 2018-11-16 滨州学院 一种基于云计算的自适应医学图像远程处理方法及应用系统
CN109087690A (zh) * 2018-08-16 2018-12-25 郑州云海信息技术有限公司 一种基于云计算的医疗数据的处理系统
CN109271113B (zh) * 2018-09-28 2022-03-29 武汉烽火众智数字技术有限责任公司 一种基于云存储的数据管理系统及方法
CN109271113A (zh) * 2018-09-28 2019-01-25 武汉烽火众智数字技术有限责任公司 一种基于云存储的数据管理系统及方法
CN109509557B (zh) * 2018-11-16 2021-07-27 郑州大学第一附属医院 一种基于大数据平台的中文电子病历信息抽取预处理方法
CN109509557A (zh) * 2018-11-16 2019-03-22 郑州大学第附属医院 一种基于大数据平台的中文电子病历信息抽取预处理方法
CN109829073A (zh) * 2018-12-29 2019-05-31 深圳云天励飞技术有限公司 一种图像搜索的方法及装置
CN109829073B (zh) * 2018-12-29 2020-11-24 深圳云天励飞技术有限公司 一种图像搜索的方法及装置
CN109947712A (zh) * 2019-03-08 2019-06-28 北京京东尚科信息技术有限公司 计算框架内自动合并文件的方法、系统、设备及介质
CN110096495A (zh) * 2019-03-22 2019-08-06 武汉明炀大数据科技有限公司 精准医学大数据分析处理系统
CN110349652A (zh) * 2019-07-12 2019-10-18 之江实验室 一种融合结构化影像数据的医疗数据分析系统
CN110349652B (zh) * 2019-07-12 2022-02-22 之江实验室 一种融合结构化影像数据的医疗数据分析系统
CN110619048A (zh) * 2019-09-24 2019-12-27 云南昆钢电子信息科技有限公司 一种基于非结构化数据中间件文件云存储的方法和装置
CN110851407A (zh) * 2019-11-15 2020-02-28 南京邮电大学 一种数据分布式存储系统及方法
CN110957016A (zh) * 2019-11-21 2020-04-03 山东鲁能软件技术有限公司 基于健康云管理平台的体检数据智能识别系统及方法
CN110957016B (zh) * 2019-11-21 2023-08-08 山东鲁能软件技术有限公司 基于健康云管理平台的体检数据智能识别系统及方法
CN112422510A (zh) * 2020-10-22 2021-02-26 山东浪潮通软信息科技有限公司 基于dmz区的数据传输方法和系统
CN112422510B (zh) * 2020-10-22 2023-01-20 山东浪潮通软信息科技有限公司 基于dmz区的数据传输方法和系统
CN112286882A (zh) * 2020-10-30 2021-01-29 山东黄金矿业(莱州)有限公司三山岛金矿 一种工业生产现场将异地非结构化数据采集至Hadoop平台的方法
CN112395292A (zh) * 2020-11-25 2021-02-23 电信科学技术第十研究所有限公司 一种数据特征提取、匹配方法及装置
CN112395292B (zh) * 2020-11-25 2024-03-29 电信科学技术第十研究所有限公司 一种数据特征提取、匹配方法及装置
CN113721856A (zh) * 2021-09-03 2021-11-30 四川远辰通信科技有限公司 一种数字化社区管理数据存储系统
CN115617840A (zh) * 2022-12-19 2023-01-17 江西曼荼罗软件有限公司 医疗数据检索平台构建方法、系统、计算机及存储介质
CN115617840B (zh) * 2022-12-19 2023-03-10 江西曼荼罗软件有限公司 医疗数据检索平台构建方法、系统、计算机及存储介质
CN116522415A (zh) * 2023-04-23 2023-08-01 杭州前云数据技术有限公司 一种实现医疗大数据安全存储及共享的系统
CN116522415B (zh) * 2023-04-23 2023-11-07 杭州前云数据技术有限公司 一种实现医疗大数据安全存储及共享的系统

Similar Documents

Publication Publication Date Title
CN103116643A (zh) 基于Hadoop的智慧医疗数据管理方法
US11461356B2 (en) Large scale unstructured database systems
AU2017218964B2 (en) Cloud-based distributed persistence and cache data model
Biswas et al. Interoperability and synchronization management of blockchain-based decentralized e-health systems
AU2017282656B2 (en) Collaborative dataset consolidation via distributed computer networks
US20100269164A1 (en) Online service data management
CN106547914A (zh) 一种数据采集管理系统及其方法
CN103312791A (zh) 物联网异构数据存储方法及系统
CN104462185A (zh) 一种基于混合结构的数字图书馆云存储系统
US10650478B2 (en) Real-time aggregation and processing of healthcare records
US20180232403A1 (en) Exposing databases via application program interfaces
CN109831486A (zh) 多客户端的后台数据服务器系统及数据处理方法
US10901973B1 (en) Methods and apparatus for a semantic multi-database data lake
Srivastava et al. Analysis of various NoSql database
CN107832159A (zh) 管理分布式锁的方法和计算机可读存储介质
Prasad et al. NextGen data persistence pattern in healthcare: polyglot persistence
Ergüzen et al. An efficient middle layer platform for medical imaging archives
Mohamad et al. Towards a hybrid row-column database for a cloud-based medical data management system
Phan Cloud Databases for Internet-of-Things Data
Azim et al. Offsite 2-Way Data Replication toward Improving Data Refresh Performance
CN104333578A (zh) 一种分布式数据交换系统及方法
Marcu et al. Storage and Ingestion Systems in Support of Stream Processing: A Survey
CN105389368A (zh) 一种mpp架构数据库集群元数据管理方法
Azim et al. Offsite One Way Data Replication towards Improving Data Refresh Performance
CN110119427A (zh) 数据管理方法及相关产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130522