CN106933859A - 一种医疗数据的迁移方法和装置 - Google Patents

一种医疗数据的迁移方法和装置 Download PDF

Info

Publication number
CN106933859A
CN106933859A CN201511021569.7A CN201511021569A CN106933859A CN 106933859 A CN106933859 A CN 106933859A CN 201511021569 A CN201511021569 A CN 201511021569A CN 106933859 A CN106933859 A CN 106933859A
Authority
CN
China
Prior art keywords
data
database
data cell
mapping relations
migrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511021569.7A
Other languages
English (en)
Other versions
CN106933859B (zh
Inventor
常耀斌
于路
程龙龙
张志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201511021569.7A priority Critical patent/CN106933859B/zh
Publication of CN106933859A publication Critical patent/CN106933859A/zh
Application granted granted Critical
Publication of CN106933859B publication Critical patent/CN106933859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明实施例公开了一种医疗数据的迁移方法和装置，该方法可以包括：解析待迁移数据库，获取所述待迁移数据库的主键关系与外键关系；根据所述待迁移数据库的主键关系与外键关系构建关系型的数据单元；根据所述数据单元的大小，通过分布式并行计算将所述数据单元迁移至分布式数据库HBase。本发明实施例提供的医疗数据的迁移方法和装置能够将多态异构的医疗数据完整、一致且低延迟地迁移到分布式数据库中。

Description

一种医疗数据的迁移方法和装置
技术领域
本发明涉及数据库技术领域，尤其涉及一种医疗数据的迁移方法和装置。
背景技术
医疗数据是所有与医疗和生命健康相关以及患者在医疗照护的各阶段所产生的数据的集合，由于医疗数据的类型复杂，来源多样，因此医疗数据的异构度较高。但是医疗数据中蕴含着多样且丰富的信息价值，有效地将医疗数据进行整合对医生、医院、医疗研究机构、保健中心及患者都具有显著的优点。
当前医疗数据的存储是基于关系型数据库和非关系型数据库(NoSQL，NotOnly SQL)MongoDB实现的，但是上述数据库类型在应对与海量大数据相关的业务时具有明显的劣势，比如面对海量数据的高效存储和访问需求，当前医疗数据的存储方案具有存储记录数量有限、SQL查询效率低的弱点；面对高并发读写的需求，当前医疗数据的存储方案会出现数据库读写压力巨大，硬盘IO无法承受的问题；并且关系型数据库的建表方法及表结构特点使得数据库横向扩展艰难，无法通过快速增加服务器节点实现，同时，数据库系统的维护和升级过程将会造成服务的不可用，无法满足高可扩展性和高可用性的需求。
针对当前医疗数据的存储方案的诸多问题，可以通过Hadoop数据库HBase来替代原有的关系型数据库和MongoDB。但是，由于医疗数据类型复杂，来源多样、异构度高，因此，如何将多态异构的医疗数据在完整性、一致性、低延迟的情况下迁移到HBase，是目前的主要问题。
发明内容
为解决上述技术问题，本发明实施例期望提供一种医疗数据的迁移方法和装置，能够将多态异构的医疗数据完整、一致且低延迟地迁移到分布式数据库中。
本发明的技术方案是这样实现的：
第一方面，本发明实施例提供了一种医疗数据的迁移方法，所述方法包括：
解析待迁移数据库，获取所述待迁移数据库的主键关系与外键关系；
根据所述待迁移数据库的主键关系与外键关系构建关系型的数据单元；其中，所述数据单元为具有层级关系的数据集；
根据所述数据单元的大小，通过分布式并行计算将所述数据单元迁移至分布式数据库HBase。
在上述方案中，在将所述数据单元迁移至所述HBase的过程中，所述方法还包括：
建立医疗数据中的临床路径与所述数据单元之间的第一映射关系；其中，所述临床路径包括至少一个路径节点，每个路径节点为至少一个多源异构数据的集合；
根据第一映射关系建立第一本体数据库。
在上述方案中，所述方法还包括：
根据所述第一映射关系为所述第一本体数据库设置对应的第一入库接口。
在上述方案中，在将所述数据单元迁移至所述HBase的过程中，所述方法还包括：
建立用户信息与所述数据单元之间的第二映射关系；其中，所述用户信息包括用户标识；
根据所述第二映射关系建立第二本体数据库。
在上述方案中，所述方法还包括：
根据所述第二映射关系设置所述第二本体数据库的入库接口。
第二方面，本发明实施例提供了一种医疗数据的迁移装置，所述装置包括：解析模块、构建模块和迁移模块；其中，
所述解析模块，用于解析待迁移数据库，获取所述待迁移数据库的主键关系与外键关系；
所述构建模块，用于根据所述待迁移数据库的主键关系与外键关系构建关系型的数据单元；其中，所述数据单元为具有层级关系的数据集；
所述迁移模块，用于根据所述数据单元的大小，通过分布式并行计算将所述数据单元迁移至分布式数据库HBase。
在上述方案中，所述装置还包括：第一建立模块，用于建立医疗数据中的临床路径与所述数据单元之间的第一映射关系；其中，所述临床路径包括至少一个路径节点，每个路径节点为至少一个多源异构数据的集合；
以及，根据第一映射关系建立第一本体数据库。
在上述方案中，所述装置还包括：第一设置模块，用于根据所述第一映射关系为所述第一本体数据库设置对应的第一入库接口。
在上述方案中，所述装置还包括：第二建立模块，用于建立用户信息与所述数据单元之间的第二映射关系；其中，所述用户信息包括用户标识；
以及，根据所述第二映射关系建立第二本体数据库。
在上述方案中，所述装置还包括：第二设置模块，用于根据所述第二映射关系设置所述第二本体数据库的入库接口。
本发明实施例提供了一种医疗数据的迁移方法和装置，根据待迁移数据库的主键关系和外键关系构建具有层级关系的关系型数据单元，并通过分布式并行计算将数据单元迁移至HBase，能够将多态异构的医疗数据完整、一致且低延迟地迁移到分布式数据库中。
附图说明
图1为本发明实施例提供的一种医疗数据的迁移方法流程示意图；
图2为本发明实施例提供的一种医疗数据的迁移具体实施过程示意图；
图3为本发明实施例提供的一种医疗数据的迁移装置结构示意图；
图4为本发明实施例提供的另一种医疗数据的迁移装置结构示意图；
图5为本发明实施例提供的又一种医疗数据的迁移装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一
如图1所示，其示出了本发明实施例提供的一种医疗数据的迁移方法，该方法可以应用于一数据迁移装置，该方法可以包括：
S101：解析待迁移数据库，获取该待迁移数据库的主键关系与外键关系；
S102：根据该待迁移数据库的主键关系与外键关系构建关系型的数据单元；
其中，需要说明的是，该数据单元为具有层级关系的数据集；
S103：根据数据单元的大小，通过分布式并行计算将数据单元迁移至HBase。
需要说明的是，待迁移数据库可以来自于多种数据源，并且通过不同的数据结构进行存储的数据库，所以待迁移数据库具有多源异构的性质。数据源及存储数据结构的差异性通常会导致将这些数据库向HBase整合或者迁移时，造成数据库的表的丢失。
因此，本实施例通过对待迁移数据库进行解析，从而提取待迁移数据库的主键以及外键关系，将具有层级关系连接的多个数据表进行结合，从而能够构建出数据单元，这个数据单元是关系型的，一个数据单元可以通过主键与外键关系将多个表进行存储，从而可以避免在构建数据单元过程中，造成某些有意义的数据表的遗漏，从而保证了迁移数据的完整性。
其次，通过主键和外键关系对数据单元中的多个表建立联系，使得每个数据单元都具有自身的数据规律，从而在数据迁移完成后，当Hbase出现大量的抽取或组织操作时，能够提升后续相关的开发效率，也满足了对数据进行后续分析的要求。
再次，由于数据单元是将具有层级关系连接的多个数据表进行结合而构建成的，因此，在通过分布式并行计算方法对数据单元进行迁移时，能够按照数据单元的大小一次性的进行迁移完毕。而按照现有的数据库迁移技术，如果一次性从甲骨文ORACLE数据库系统中迁移出100个表，那么ORACLE数据库系统由于内存和性能的限制，会出现数据库锁死的情况，从而不能实现整合，加大了数据迁移的时延。因此，将数据单元通过分布式并行计算方法一次性的进行迁移，不仅能够避免出现数据库锁死，而且一次性的将数据单元中的多个数据表完成迁移，减少了数据迁移的时延。
对于图1所示的实施例，以ORACLE数据库为待迁移数据库为例，在具体的实施过程中，如图2所示：
首先，数据整合引擎将由ORACLE数据库存储的不同数据源的医疗数据进行层次关系解析，例如数据整合引擎接收医院的医院信息系统(HospitalInformation System，HIS)、电子病例(Electronic Medical Record，EMR)系统、试验信息系统(Laboratory Information System，LIS)、影像归档和通信系统(Picture Archiving and Communication Systems，PACS)或临床信息系统(Clinical Information System，CIS)、社区健康筛查系统等提供的医疗数据，并进行层次关系解析，产生由多表关联语句描述的层次关系及层次关系图；并存储在解析过程中产生的多个有关联关系的表结构或映射关系；
随后，通过迁移工具执行进行数据迁移的相关脚本文件，比如，利用sqoop工具通过shell脚本将数据整合引擎产生并存储的表结构或映射关系导入至Hadoop的分布式文件系统(HDFS，Hadoop Distributed File System)中，并且通过执行hql(Hibernate Query Language)脚本将已经导入至HDFS的内容导入到Hive中；
最后，由医疗大数据平台为云集群的Hbase和Hive提供网页的统一门户入口，Hive能够为HBase提供相应的hql语言的数据库查询。
可以理解地，图2所示的实施结构，能够对图1所示的实施例进行具体实现，本领域技术人员也可以通过其他实施结构对图1所示的实施例进行实现，本发明实施例对此不做限定。
实施例二
基于图1所示的实施例一，在将数据单元迁移至HBase的过程中，还可以包括：
建立医疗数据中的临床路径与所述数据单元之间的第一映射关系，并且根据第一映射关系建立第一本体数据库；
需要说明的是，由于实施例一中的数据单元可以根据医疗业务表进行构建得到，而临床路径包括挂号，初诊，检查，诊断，住院，医嘱，复查等多个路径节点，每个路径节点都可以对应为至少一个多源异构数据的集合；比如路径节点医嘱就可以包括症状，处方，药品等多个数据库的集合，所以一个路径节点可以认为是一个数据单元，具体对医疗数据来说，根据临床路径中的多个路径节点，可以通过对路径节点的共有属性进行抽离，从而能够实现本体数据库的构建，也就是将实施例一中产生的多个数据单元通过数据单元之间的共性统一为本体数据库。可以理解地，本体数据库可以通过多个数据单元共性将多个数据单元进行关联。
进一步地，对于第一本体数据库，还可以根据第一映射关系为第一本体数据库设置对应的第一入库接口。具体来说，入库的接口可以是RowKey。RowKey是行键同时也是表的主键，行通过行键按字典顺序排序，行键没有数据类型，可包括一个字节数组；在本实施例中，具体的，第一入库接口对应的RowKey的组成结构可以包括：数据单元名称、测量时间、数据集源表、临床路径节点名称、以及医生或患者的标识，这样就能够通过Rowkey进入到第一本体数据库进行访问。
同样的，基于图1所示的实施例一，在将数据单元迁移至HBase的过程中，还可以包括：
建立用户信息与所述数据单元之间的第二映射关系，并且根据所述第二映射关系建立第二本体数据库。
需要说明的是，用户信息可以包括用户标识；基于前述所示，第二本体数据库就是对多个具有用户共性的数据单元进行关联，相应地，对于第二本体数据库，还可以根据第二映射关系为第二本体数据库设置对应的第二入库接口。
可以理解地，第二入库接口也可以为RowKey；需要说明的是，Rowkey长度建议是越短越好，不要超过16个字节。这是因为如果Rowkey过长会影响存储效率，降低内存的有效利用率和检索效率。
并且由于Rowkey的设计必须保证其唯一性，确保Rowkey之间不会发生冲突。况且RowKey是按照字典序存储，因此，设计RowKey时，要充分利用这个排序特点，将经常一起读取的数据存储到一块。
结合上述理由，第二入库接口的Rowkey可以设计成包括：用户标识(如手机号、姓名等)、测量时间、应用程序类型、业务类型及唯一识别码。具体地，唯一识别码可以随机产生，并且每个唯一识别码都是针对一个用户的唯一识别号。
针对实施例一和实施例二所述的方案，在真实应用时，对于总共2.7G大小的961个非关系数据库的表，目前现有的方案是：人工分析每一个表的结构，手动写出查询语句并查询，然后将查询结果保存为文件，这样做的工作量巨大，所需要的时间过长，通常花费2个小时的时间；而采用了本发明实施例的技术方案之后，仅需要10分钟就能够完成，极大的提高了工作效率。
实施例三
基于前述实施例相同的技术构思，参见图3，其示出了本发明实施例提供的一种医疗数据的迁移装置30，其特征在于，所述装置30包括：解析模块301、构建模块302和迁移模块303；其中，
所述解析模块301，用于解析待迁移数据库，获取所述待迁移数据库的主键关系与外键关系；
所述构建模块302，用于根据所述待迁移数据库的主键关系与外键关系构建关系型的数据单元；其中，所述数据单元为具有层级关系的数据集；
所述迁移模块303，用于根据所述数据单元的大小，通过分布式并行计算将所述数据单元迁移至分布式数据库HBase。
示例性地，参见图4，医疗数据的迁移装置30还包括：第一建立模块304，用于建立医疗数据中的临床路径与所述数据单元之间的第一映射关系；其中，所述临床路径包括至少一个路径节点，每个路径节点为至少一个多源异构数据的集合；
以及，根据第一映射关系建立第一本体数据库。
进一步地，所述医疗数据的迁移装置30还包括：第一设置模块305，用于根据所述第一映射关系为所述第一本体数据库设置对应的第一入库接口。
示例性地，参见图5，所述医疗数据的迁移装置30还包括：第二建立模块306，用于建立用户信息与所述数据单元之间的第二映射关系；其中，所述用户信息包括用户标识；
以及，根据所述第二映射关系建立第二本体数据库。
进一步地，所述医疗数据的迁移装置还包括：第二设置模块307，用于根据所述第二映射关系设置所述第二本体数据库的入库接口。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种医疗数据的迁移方法，其特征在于，所述方法包括：
解析待迁移数据库，获取所述待迁移数据库的主键关系与外键关系；
根据所述待迁移数据库的主键关系与外键关系构建关系型的数据单元；其中，所述数据单元为具有层级关系的数据集；
根据所述数据单元的大小，通过分布式并行计算将所述数据单元迁移至分布式数据库HBase。
2.根据权利要求1所述的方法，其特征在于，在将所述数据单元迁移至所述HBase的过程中，所述方法还包括：
建立医疗数据中的临床路径与所述数据单元之间的第一映射关系；其中，所述临床路径包括至少一个路径节点，每个路径节点为至少一个多源异构数据的集合；
根据第一映射关系建立第一本体数据库。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述第一映射关系为所述第一本体数据库设置对应的第一入库接口。
4.根据权利要求1所述的方法，其特征在于，在将所述数据单元迁移至所述HBase的过程中，所述方法还包括：
建立用户信息与所述数据单元之间的第二映射关系；其中，所述用户信息包括用户标识；
根据所述第二映射关系建立第二本体数据库。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述第二映射关系设置所述第二本体数据库的入库接口。
6.一种医疗数据的迁移装置，其特征在于，所述装置包括：解析模块、构建模块和迁移模块；其中，
所述解析模块，用于解析待迁移数据库，获取所述待迁移数据库的主键关系与外键关系；
所述构建模块，用于根据所述待迁移数据库的主键关系与外键关系构建关系型的数据单元；其中，所述数据单元为具有层级关系的数据集；
所述迁移模块，用于根据所述数据单元的大小，通过分布式并行计算将所述数据单元迁移至分布式数据库HBase。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：第一建立模块，用于建立医疗数据中的临床路径与所述数据单元之间的第一映射关系；其中，所述临床路径包括至少一个路径节点，每个路径节点为至少一个多源异构数据的集合；
以及，根据第一映射关系建立第一本体数据库。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：第一设置模块，用于根据所述第一映射关系为所述第一本体数据库设置对应的第一入库接口。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：第二建立模块，用于建立用户信息与所述数据单元之间的第二映射关系；其中，所述用户信息包括用户标识；
以及，根据所述第二映射关系建立第二本体数据库。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：第二设置模块，用于根据所述第二映射关系设置所述第二本体数据库的入库接口。
CN201511021569.7A 2015-12-30 2015-12-30 一种医疗数据的迁移方法和装置 Active CN106933859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511021569.7A CN106933859B (zh) 2015-12-30 2015-12-30 一种医疗数据的迁移方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511021569.7A CN106933859B (zh) 2015-12-30 2015-12-30 一种医疗数据的迁移方法和装置

Publications (2)

Publication Number Publication Date
CN106933859A true CN106933859A (zh) 2017-07-07
CN106933859B CN106933859B (zh) 2020-10-20

Family

ID=59442396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511021569.7A Active CN106933859B (zh) 2015-12-30 2015-12-30 一种医疗数据的迁移方法和装置

Country Status (1)

Country Link
CN (1) CN106933859B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844581A (zh) * 2017-11-13 2018-03-27 成都蓝景信息技术有限公司 一种多源异质数据融合平台
CN108009195A (zh) * 2017-10-23 2018-05-08 苏州市环亚数据技术有限公司 一种基于大数据的降维转换方法、电子设备、存储介质
CN109144977A (zh) * 2018-08-14 2019-01-04 五八有限公司 一种数据迁移方法、装置、设备及存储介质
CN111104396A (zh) * 2019-12-31 2020-05-05 紫光云(南京)数字技术有限公司 一种跨数据库的数据迁移方法、数据访问方法
CN111400273A (zh) * 2019-11-19 2020-07-10 杭州海康威视系统技术有限公司 数据库扩容方法、装置、电子设备及机器可读存储介质
WO2021017269A1 (zh) * 2019-07-30 2021-02-04 平安科技（深圳）有限公司 迁徙数据的方法、装置、计算机设备及存储介质
CN115185929A (zh) * 2022-09-06 2022-10-14 北京奥星贝斯科技有限公司 数据关联迁移方法及装置

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071434A (zh) * 2007-05-14 2007-11-14 腾讯科技（深圳）有限公司 一种分布式数据库系统中用户分布的方法、装置及系统
CN101187948A (zh) * 2007-12-20 2008-05-28 中国科学院计算技术研究所 一种持续数据保护系统及其实现方法
US20090172038A1 (en) * 2007-12-31 2009-07-02 Mintchev Alexander D System and Method for UDDI Data Migration Using Standard UDDI v3 API
CN101546259A (zh) * 2008-03-28 2009-09-30 国际商业机器公司 支持运行时模型扩展的对象关系映射系统和方法
CN101901144A (zh) * 2009-05-27 2010-12-01 北京正辰科技发展有限责任公司 管理档案系统设计原则
CN102308297A (zh) * 2011-07-13 2012-01-04 华为技术有限公司 一种数据迁移方法、数据迁移装置及数据迁移系统
CN102999537A (zh) * 2011-09-19 2013-03-27 阿里巴巴集团控股有限公司 一种数据迁移系统和方法
CN103106044A (zh) * 2012-12-13 2013-05-15 深圳先进技术研究院 分级存储节能方法
CN103106152A (zh) * 2012-12-13 2013-05-15 深圳先进技术研究院 基于层次存储介质的数据调度方法
CN103514274A (zh) * 2013-09-17 2014-01-15 宁波东冠科技有限公司 非关系型数据库HBase的数据迁移方法
CN103530327A (zh) * 2013-09-25 2014-01-22 清华大学深圳研究生院 一种从非关系型数据库到关系型数据库的数据迁移方法
CN103605805A (zh) * 2013-12-09 2014-02-26 冶金自动化研究设计院 一种海量时序数据的存储方法
CN103631907A (zh) * 2013-11-26 2014-03-12 中国科学院信息工程研究所 一种将关系型数据迁移至HBase的方法及系统
CN103793424A (zh) * 2012-10-31 2014-05-14 阿里巴巴集团控股有限公司 数据库数据迁移方法及系统
CN104123392A (zh) * 2014-08-11 2014-10-29 吉林禹硕动漫游戏科技股份有限公司 一种关系型数据库迁移到HBase数据库的工具和方法
CN104239493A (zh) * 2014-09-09 2014-12-24 北京京东尚科信息技术有限公司 跨集群数据迁移方法和系统
CN104376053A (zh) * 2014-11-04 2015-02-25 南京信息工程大学 一种基于海量气象数据的存储与检索方法
CN104504008A (zh) * 2014-12-10 2015-04-08 华南师范大学 一种基于嵌套的SQL到HBase的数据迁移算法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071434A (zh) * 2007-05-14 2007-11-14 腾讯科技（深圳）有限公司 一种分布式数据库系统中用户分布的方法、装置及系统
CN101187948A (zh) * 2007-12-20 2008-05-28 中国科学院计算技术研究所 一种持续数据保护系统及其实现方法
US20090172038A1 (en) * 2007-12-31 2009-07-02 Mintchev Alexander D System and Method for UDDI Data Migration Using Standard UDDI v3 API
CN101546259A (zh) * 2008-03-28 2009-09-30 国际商业机器公司 支持运行时模型扩展的对象关系映射系统和方法
CN101901144A (zh) * 2009-05-27 2010-12-01 北京正辰科技发展有限责任公司 管理档案系统设计原则
CN102308297A (zh) * 2011-07-13 2012-01-04 华为技术有限公司 一种数据迁移方法、数据迁移装置及数据迁移系统
CN102999537A (zh) * 2011-09-19 2013-03-27 阿里巴巴集团控股有限公司 一种数据迁移系统和方法
CN103793424A (zh) * 2012-10-31 2014-05-14 阿里巴巴集团控股有限公司 数据库数据迁移方法及系统
CN103106152A (zh) * 2012-12-13 2013-05-15 深圳先进技术研究院 基于层次存储介质的数据调度方法
CN103106044A (zh) * 2012-12-13 2013-05-15 深圳先进技术研究院 分级存储节能方法
CN103514274A (zh) * 2013-09-17 2014-01-15 宁波东冠科技有限公司 非关系型数据库HBase的数据迁移方法
CN103530327A (zh) * 2013-09-25 2014-01-22 清华大学深圳研究生院 一种从非关系型数据库到关系型数据库的数据迁移方法
CN103631907A (zh) * 2013-11-26 2014-03-12 中国科学院信息工程研究所 一种将关系型数据迁移至HBase的方法及系统
CN103605805A (zh) * 2013-12-09 2014-02-26 冶金自动化研究设计院 一种海量时序数据的存储方法
CN104123392A (zh) * 2014-08-11 2014-10-29 吉林禹硕动漫游戏科技股份有限公司 一种关系型数据库迁移到HBase数据库的工具和方法
CN104239493A (zh) * 2014-09-09 2014-12-24 北京京东尚科信息技术有限公司 跨集群数据迁移方法和系统
CN104376053A (zh) * 2014-11-04 2015-02-25 南京信息工程大学 一种基于海量气象数据的存储与检索方法
CN104504008A (zh) * 2014-12-10 2015-04-08 华南师范大学 一种基于嵌套的SQL到HBase的数据迁移算法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009195A (zh) * 2017-10-23 2018-05-08 苏州市环亚数据技术有限公司 一种基于大数据的降维转换方法、电子设备、存储介质
CN108009195B (zh) * 2017-10-23 2022-06-28 环亚数据技术有限公司 一种基于大数据的降维转换方法、电子设备、存储介质
CN107844581A (zh) * 2017-11-13 2018-03-27 成都蓝景信息技术有限公司 一种多源异质数据融合平台
CN109144977A (zh) * 2018-08-14 2019-01-04 五八有限公司 一种数据迁移方法、装置、设备及存储介质
WO2021017269A1 (zh) * 2019-07-30 2021-02-04 平安科技（深圳）有限公司 迁徙数据的方法、装置、计算机设备及存储介质
CN111400273A (zh) * 2019-11-19 2020-07-10 杭州海康威视系统技术有限公司 数据库扩容方法、装置、电子设备及机器可读存储介质
CN111400273B (zh) * 2019-11-19 2024-02-02 杭州海康威视系统技术有限公司 数据库扩容方法、装置、电子设备及机器可读存储介质
CN111104396A (zh) * 2019-12-31 2020-05-05 紫光云(南京)数字技术有限公司 一种跨数据库的数据迁移方法、数据访问方法
CN115185929A (zh) * 2022-09-06 2022-10-14 北京奥星贝斯科技有限公司 数据关联迁移方法及装置

Also Published As

Publication number Publication date
CN106933859B (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN106933859A (zh) 一种医疗数据的迁移方法和装置
KR102229010B1 (ko) 데이터를 모델링하기 위한 시스템 및 방법
CN107122443A (zh) 一种基于Spark SQL的分布式全文检索系统及方法
Aji et al. Towards building a high performance spatial query system for large scale medical imaging data
CN106250382A (zh) 一种元数据管理引擎系统及实现方法
USRE49254E1 (en) System and method for master data management
CN109785918B (zh) 一种应用于临床科研的数据采集系统及方法
CN109471866B (zh) 增量医疗数据更新方法及系统
Wang et al. Large-scale multimodal mining for healthcare with mapreduce
CN106919608A (zh) 医疗数据处理方法、装置及平台
CN115497631A (zh) 一种临床科研大数据分析系统
Kuo et al. Design and construction of a big data analytics framework for health applications
CN114049927A (zh) 疾病数据处理方法、装置、电子设备及可读介质
Pecoraro et al. Designing ETL tools to feed a data warehouse based on electronic healthcare record infrastructure
GB2507095A (en) Generating synthetic data from a decision tree model of a dataset
Wade et al. A Dimensional Bus model for integrating clinical and research data
Lyu et al. Design and implementation of clinical data integration and management system based on Hadoop platform
CN109542869A (zh) 一种结构化数据核对方法
Post et al. Metadata-driven clinical data loading into i2b2 for clinical and translational science institutes
CN112328621A (zh) Sql转换方法、装置、计算机设备及计算机可读存储介质
Sindhu et al. A framework to handle data heterogeneity contextual to medical big data
CN116089535A (zh) 数据同步方法、装置、设备及存储介质
CN113239096B (zh) 一种提升dicom影像云归档入库速度的方法
CN109994164A (zh) 基于大数据平台的海量医疗数据分析系统
Uskenbayeva et al. Technology of integration of diverse databases on the example of medical records

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant